这里原本建有以尊观为初代住持的净土宗善导寺。后来因北条政子为祈祷亡夫源赖朝的冥福而修建的长乐寺烧毁，镰仓末期时，将长乐寺迁建到了善导寺的遗址之上。据说当时将政子的法名“安养院”作为院号，后来又成为了寺名。江户时代初期，田代寺的千手观音被迁移至此。正殿中安放着北条政子的雕像等。此外，正殿背后有一座石塔，据说是北条政子之墓。
安养院是镰仓三十三观音第3番和镰仓二十四地藏第24番。