主屋の西側に広がる庭園は、築造当初から殆ど姿を変えず、変化の多い池庭を中心とした池泉回遊式になっています。
園内は、様々な大径木により地面が湿潤に保たれており、苔類が育まれています。また、石灯籠や景石、多種の植物により、四季折々の情景を楽しむことができます。

上手蔵と下手蔵の二棟を展示室とし、飯塚家で使われていた生活用具や代々伝わる名器を展示しています。

表門は、出桁造りの大規模な長屋門で、大きなケヤキ材が用いられ、門番所が組み込まれています。門の正面中央には大扉が、右側には潜戸付の控扉が設けられています。また、両側には土蔵が配されており、その姿には見る人を圧倒させるものがあります。

主屋は、座敷棟・勝手棟・居宅棟・新座敷・裏土蔵棟で構成されています。
座敷棟部分は当初、江戸時代末に建てられた平屋建てでしたが、昭和２０年代に二階を増築したと言われています。新座敷は大正期に増築されたもので、裏中門の形の居宅部分も同時期のものと考えられます。
行在所の御座所は新中間二階十畳の間、御寝所は御座所の向かって左側十畳、御化粧室は二階六畳、新聞御覧所は御座所の右側六畳の間となっています。
長尺材、無節材、巾広材、そしてケヤキ材が多く使われており、当時の上質な和風建築のあり方がよくわかる造りになっています。それら最上級の部材が、近代期における飯塚家の経済力を象徴しています。