淳仁天皇は、孝謙天皇が退位して称徳天皇として重祚するまでの間の天皇です。そのころの政治の実権は藤原仲麻呂が握っていた時代です。孝謙天皇が仲麻呂を滅ぼし、仲麻呂と親しかったという理由で淳仁天皇の皇位を剝奪し、親王に位を落としてこの淡路に追放したそうです。しかし、重祚した称徳天皇に不満な廷臣らが淳仁天皇を担ぎ出そうとした動きがあったため、ひそかに天皇の命で殺害されたとされています。このため明治天皇によって諡されるまで長い間、天皇として認められていませんでした。
現在でも交通の不便なところですが、光仁天皇は僧侶60人を派遣して供養したともいわれています。ところで、参道は殆どなく、即拝礼所という感じでした。また周りの水路は堀の名残でしょうか。