穿過掛著紅色旗幡的數十座鳥居再爬上階梯，就會看到社殿。根據神社資料記載，源賴朝被流放至伊豆時曾夢到神明「隱里之稻荷」催促他揭竿起義，後來便建此神社加以供奉，並命名為「佐助稻荷」。