明治初期の神仏分離により、佐牙神社境内にあった神宮寺の恵日寺も廃寺となった。そのため、本尊の不動明王像(南北朝時代)と大威徳(だいいとく)明王像・軍茶利(ぐんだり)明王が近くの正福寺(江津)に、降三世(ごうざんぜ)明王像・金剛夜叉明王像と観音堂にあった千手観音立像が寿宝寺(山本)にそれぞれ移され、大般若経も300巻ずつ両寺に分けられたと伝えられている。 文政12年(1829)の古文書によると、秋祭の御旅所への神輿渡御には寿宝寺(山本)と、恵日寺の僧侶も列に加わっている記述が見られる。また、1月10日の佐牙神社の初座(弓始・弓講)には、恵日寺の法印が弓射の儀をしたと伝える。 なお、佐牙神社の本殿の南隣の丘陵地に奈良時代以前に創建された寺があったとみられ、現在、三山木廃寺跡の碑が建っている。