古い寺である。本堂は三間四方正四角形の木造。屋根はゆるやかに反る宝形造・檜皮葺き。優美な建物だ。戦国時代とされる16世紀まで、豊後の国を支配した大友氏が1369年（応安2年）に建立した。国指定重要文化財。
西の高野山と呼ばれていたことがある。真言宗の寺で、山門には鎌倉時代前期の作とされる一対の金剛力士立像がある。同じ時期、大友氏が豊後守護職に任命され、関東から入国した際、神角寺は豊後武士団との戦いの場となった。戦乱の中で、全山に火をかけられ、僧堂が失われた。現在の本堂が建てられたのは、その後である。
シャクナゲ寺とも言ばれる。境内には樹齢100年を超える。約500本のシャクナゲ。色は真紅、濃い桃色、薄い桃色。5月初め、満開の時期は見物客でにぎわう。