遠山邸は、旧日興證券（現SMBC日興証券）の創業者である遠山元一が、幼い頃に没落した生家を再興し、苦労した母・美以の住まいともなるようにと、人手に渡っていた埼玉県比企郡川島町の現在地を買い戻し、そこに昭和8年から2年7カ月を費やして完成させた大邸宅です。全体の指揮は、元一の弟である芳雄が執り、設計監督は東京帝大出身の建築家、室岡惣七、大工棟梁は中村清次郎がつとめました。特に全国各地から入手し得る最高の銘木を集め、優れた大工と左官の技術を投入しています。工事に携わった職人は延べ35，000人にのぼります。

戦後に美以が亡くなると、日興證券の迎賓館として使われました。昭和45年(1970)から遠山記念館として一般公開を始め、平成12年(2000)には、現代では再現することのできない建造物として、また、近隣の景観に寄与する建物として、国の登録文化財となります。そして平成30年（2018）には国の重要文化財に指定されました。

遠山邸は3つの棟を渡り廊下で連結するプランで建てられています。東棟は生家を再興したことを象徴する豪農風、中棟は貴顕の来客を接待するための格式のある書院造りの大広間があるスタイル、西棟は数寄屋造りとなっています。この3つの棟はそれぞれ建築技術と細部の意匠を凝らしながら、その全体を破綻なくまとめている所に、大きな特徴があります。主屋に土蔵、茶室、長屋門等を加えると、総建坪は400坪近くになります。用いられた材料と大工左官の技術は類例の中でも傑出しており、東日本を代表する近代和風建築と評価されています。

※中棟２階と離れ茶室は通常非公開です