江戸時代の面影を如実に残す建物。この家は、山科屋遠山林蔵の依頼で、当家の先祖である宮大工の横井弥左衛門(藤原朝臣真行)が天保十三年(一八四二)に建てたものである。
中二階に四畳ほどの隠し部屋が今も残されている。部屋に入る梯子を取り外すと、そこに部屋があることが外からは全く分からない。遠山家は明治末期まで住んでいたが、現在は駅前に移住し、うなぎ屋『山科』を営んでいる。
その後、家屋は横井家に渡り、現在は建物の一部を『中山道お休み処 白木屋』として一般公開しており、中山道を訪れる人々の憩いの場や、住民のまちづくり活動の拠点となっている。
