岩櫃城の西3kmにある支城で、吾妻川南側の三島根小屋城と共に吾妻川を挟んでいる。岩櫃城は山頂を縄張りに取り入れていないので、西の守りに不可欠である。
この城は斎藤氏の築城だが、斎藤憲次が大野氏を滅ぼして岩櫃に移ってから家臣富沢但馬を入れた。斎藤氏没落後、富沢氏は真田に従い、但馬の子勘十郎は天正3（1575）年の三河長篠合戦で討死する。
岩下城も中央の大堀切で両断された一城別郭式の城で、西が本郭、東が第二郭で、第二郭の方が高いため、大堀切は本郭側に高土居を盛ってある。本郭は尾根上に三段の郭を並べ、北斜面に五段の郭を築く。第二郭北に屈折した尾根線を三ヶ所掘り切って五郭を並べ、南に向かう枝尾根に二つの大郭と五段の袖郭を設けている。このような一城別郭の城が、吾妻地方には岩櫃城をはじめ15城を数え、箕輪・松井田・宇田・高田など西上州の西北寄りに分布しているが、利根郡から東上州にわたっては例をみない。もちろん地形的な事情もあろうが、築城慣習の偏在が考えられる。
（日本城郭大系より）