伝説的には長坂釣閑斎の居城とされているが、これについて「南佐久郡古城址調査」では「長坂釣閑斎光堅は甲州逸見筋長坂に其宅址があり、其所には土塁・隍等の跡があったと云へば、甲州に居て信玄・勝頼に仕へたものと思ふ。惟ふに或は釣閑斎の子源五郎昌由でも此地方の番衆として遣はされ此城に居ったのであるか」としている。
（日本城郭大系より）

城址周辺まで来てご夫人方に日向城について聞いてみたところ、きっと八幡神社のことに違いないとのことで大体の場所を教えてもらいました。火の見櫓のところから坂を登っていきまたそこら辺で聞いてみるようアドバイスをもらいました。一番上まで行ったお宅で日向城について聞いてみましたが武田神社のことだろうとのことでした。こんなところに武田神社があるの？と思いましたが、1年に1回武田を名乗る方々が神社まで登るのだそうです。足が痛かったので躊躇しましたが、ほんのすぐ上とのことなので登ってみました。確かに登り始めたと思ったらすぐに鳥居が見えました。階段を登ると八幡神社がありました。