「寺伝」によると、聖武天皇の730年に僧玄明が施薬院を建て、薬師如来を祀ったのが創建で、その後809年に坂上田村麻呂将軍が東征の折、空海の弟子悦導に薬師堂を建立させたという伝えられている。現薬師堂は、1408年の建立が明らかとなり、国の重要文化財に指定されている。茅葺屋根の入り母屋造りで、天下屈指の最優秀作といわれている巻き込みの多い渦文木鼻、外陣天井を化粧屋根裏とした手法等にすばらしい技術が見られ特に板壁に残る極彩色の仏画、内陣柱上の斗供などは優秀で室町時代初期の代表的な建築と高い評価されている。

薬師如来は「お薬師さま」と呼ばれ1409の作である。