大夫第位于县西递村正街。建于1691年，为朝列大夫、知府胡文煦故居。四合院二楼结构，正厅高大轩敞，厅前设天并。
砖雕门罩上砖刻"大夫第"三个大字，正厅裙板隔扇均精雕冰梅图案，槛梗窗花仿明代格调。厅左利用隙地建有临街彩楼，俗称小姐绣楼，飞檐翘角，挂落、栏杆，排窗宽敞，玲球典雅。楼额木刻隶书"桃花源里人家"，为清代黝县书法家汪师道所书；木刻小额"山市"二字，为清进士祝世禄手笔。楼下边门有石刻隶书"作后一步想"门额。