源氏山是横跨英胜寺和寿福寺后方的山。传说在后三年之役（1083～1087年）中，八幡太郎源义家前往奥羽（东北地区）时，曾在这座山上竖起白旗祈祷胜利，据说因此这里也被称为源氏山或白旗山。此外，也有一种说法称，其名称源于源氏宅邸位于寿福寺一带。

现在，这里作为可以欣赏到美丽樱花和红叶的自然公园而深受人们的喜爱，作为郊游时在户外用餐的场所也很受欢迎。中央广场上矗立着高约2米的雕像，呈现了1180年（治承4年）前后年轻时的源赖朝形象。