阿左美氏館は、日野沢川左岸の南面した山腹に立地しています。傾斜地に築いた石垣は今もみごとに残されており、二重、三重にめぐらされて、その角々には三箇所の「食違い門」が設けられていました。その門も礎石も元のままに残されていて、江戸時代初期の郷士の居館のありかたをよくしのばせています。また、居館跡に西面した庭園も昔の面影をよく残しています。
阿左美氏は、寄居鉢形城主北条氏邦に仕えていましたが、伊賀守玄光は永禄12年武田信玄が秩父に派遣した甲州勢を追い返した軍功により、感状を賜って苗字を「朝見」に改めました。
玄光の子、慶延は横瀬村根古屋城の城主として上杉勢のおさえを務め、その子、左馬助は幼少のために隠棲してこの館暮らしていましたが、その後、鉢形城の落城とともに郷士となります。子孫は十左衛門を世襲し、代々日野沢村の里正を勤めてきました。
秩父札所三十四番水潜寺は、この阿左美氏の開基になるもので、同氏の庇護の下に栄えてきました。
（看板資料より）