본래 이곳에는 손칸이 창건한 정토종의 젠도지 절이 있었습니다. 훗날 호조 마사코가 사망한 남편 요시토모의 명복을 빌며 지었던 조라쿠지 절이 소실됨에 따라 가마쿠라 시대(12~14세기) 말엽에 젠도지 절이 있던 자리에 조라쿠지 절을 이전했다고 합니다. 당시 마사코의 법명이었던 안요인을 인고(院号, 사찰에 크게 기여한 사람에게 붙이는 존칭)로 삼고 사찰의 이름으로 사용했습니다. 이후 에도 시대(17~19세기) 초엽에 다시로지 절의 천수관음상을 이전했습니다. 본당에는 호조 마사코의 동상 등이 안치되어 있습니다. 또한, 본당 뒤편에는 호조 마사코의 묘로 알려진 석탑을 볼 수 있습니다.