据志书记载，隋开皇年间（公元581 一600年），越国公杨素（字处道）组织民工采羊山之石筑城，便留下了高十余丈，临潭壁立的孤岩一座。后人就在这孤岩顶部开凿高三丈、阔约四十步的石窟一穴，在石窟内，又利用自然岩石，凿石佛一尊。形成了“佛在石中，石在水中，水在山中”的奇妙景观。相传佛像凿成之日，空中忽有鹫鸟飞翔，里人以为祥瑞的预兆，便依岩建灵鸳禅院，以供石佛。到了五代的后晋时期，才正式命名为石佛寺。此后，这里一直香火很盛。并列的城隍殿、大佛殿在一高2 8 . 5 米的石峰中。
石佛寺前后列三殿：头殿为天王殿，二殿为大雄宝殿，拾石级而上为三殿。 1989 年又重加修茸，并列为开放寺院。石佛寺坐落在石佛峰前，有天王殿、大雄宝殿、放生池等。此峰开凿一大石窟，窟内正中留石，雕镌成一尊高1 0 米的大佛——释迦牟尼，石佛高约二丈，端坐莲台，气势雄伟，是浙江省四大石佛之一。石佛前凿岩壁成窗，临窗眺望，远山近水，无限风光尽收眼底。