神社の歴史も古い。伝説によると、昔、越中立山にいた矢野氏が紀州熊野に移った際、筑紫(九州)へ行けとの神告を受け、1275(建治元)年、府内で大友氏に仕えた。そこで今度は豊後の南を守れとの命をもらって宇目に来た時、権現の使いとおぼしき2羽の白いタカに導かれ、この山にたどり着いたとか。今の宮司は県南落語組合や旧宇目町、佐伯市観光大使を務めたことで知られる矢野大和氏である。