白峰神社は、崇徳天皇および淳仁天皇を祀る。明治天皇は父孝明天皇の意思を継ぎ、保元の乱により讃岐国へ配流になった崇徳天皇の慰霊のため、1868年讃岐の白峰陵より神霊を迎えて、送検された。1873年には奈良時代に僧道鏡と恵美押勝の争いにより、淡路島に配流の淳仁天皇の神霊を迎えて合祀された。この地は蹴鞠・和歌の宗家飛鳥井家の邸跡で、同家の守護神「まり精大明神」が祀られ球技愛好会に崇敬されている。