弘法大師が一尺一寸(36.4㎝)の観音像をこの岩窟に納めたことから、岩室山と号したといわれています。松山城主が代々護持していたと伝えられており、天正18年(1590年)豊臣秀吉が小田原北条攻めのため、関東出陣した折に武州松山城も落城。それに伴い岩室観音が焼失したといわれています。
現在のお堂は、江戸時代の寛文年間(1661~1673年)に龍性院第三世堯音が再建。お堂の造りは京都・清水寺と同様な"懸造り"
様式です。
戦国時代には、小田原北条勢が当時13才の川越城主・扇谷上杉朝定を武州松山城まで追い込みます。松山城の搦め手門といわれる岩室観音で、北条方に侍大将・山中主善vs松山城主・難波田弾正との間で、有名な "松山風流歌合戦" が展開されました。難波田弾正は、松山城から搦め手門を馬に乗って駆け降りてきましたが、踵を返し城に戻ろうとした時、山中主善が 「あしからじ 良かれとてこそ戦わめ
など難波田の崩れゆくなん」 と和歌で呼び止めます。 それに対し、難波田弾正は 「君おきて あだし心 我もたば 末の松山 波もこえなん」 と返歌したと伝えられています。