寺伝によると、正慶2（1333）年に北条時俊がこの地に住み入沢と姓を改めて、諏訪の入りに寺を開いて菩提寺とした。天文9（1540）年武田氏が佐久に侵入した時、入沢時広は武田氏と戦って敗れて佐久から去り、一族は上野や越後に退去した。その後、武田信玄が寺を現在地に移して、名を安楽山吉祥寺と改めたという。（『歴史の道調査報告書18-秩父道-』14頁）
（長野県の武田信玄伝説より）