仙台藩領内外、宮城県はもとより東北一円にわたり広範囲に崇敬信仰を集めてきた山神社は、御鎮座より１００年も経過しないうちに社殿を造営されたことからも、多くの方から熱心な崇敬信仰を集めていた事がうかがえます。

１７００年代には代参講を結成し、現在に至っております。

明治になり、小牛田町の総氏神として、ありがたくも国（太政官布告）より指定を受けました。同時期、下小牛田鎮座の無各社日枝神社、西原鎮座の八幡神社、町屋敷鎮座の郷社日枝神社、山崎鎮座の神明社を合わせお祀りし、山神社は郷社に昇格致しました。

【御神体についての口伝】
元亀2年（1571年）宮司家の祖（当山派の別当）が様々な経緯により、御神体を平泉に奉遷する道中に小牛田へ宿をとることになりました。そして、旅立とうとすると御神体を持った者が動けなくなり、それが一度だけでなく何度もなった為、宮司家の祖は御神体がこの地に鎮め奉る事を望んでいると考え、小牛田の地に住みました。
御神体は安産の神「木花之佐久夜毘売命」である事を告げると初めは近所の人達がお参りに、そして、大変安産の御益がある神様と評判になり、天正3年（1575年）祠を建て御神体を鎮め奉りました。それでも対応しきれないので日枝神社と隣接する土地を取得、寛文2年（1662年）間口9間・奥行4間の社殿を造営・遷座しました。
江戸・明治の御代、町の大火があり、類焼。防火の観点から境内地を大場家に売却。そして、「斎の台地区」に境内地を取得、本殿・幣殿が造営され、大正6年（1917年）に現在地に遷座しました。