寺前有碧波潺潺的抖气河环抱,後山有郁郁葱葱的佛塔山为倚背,使寺宇幽藏在青苍如黛,蓊然毓秀之中。又有青龙宝宁山腰的明代建筑玉虚宫,与古刹香严寺交相辉映。
寺座北朝南,周有堡式墙垣,内分七院十二殿,共有大小殿宇一百二十余间,占地六千一百六十平方米。寺始建於唐代,现存建筑为元代手法,是全国重点文物保护单位。
寺院规模宏大,布局严谨,殿宇鳞次栉比,佛堂高低有序。主建筑分别有歇山、悬山、硬山式殿顶,各式琉璃流光溢彩,气势宏大。主轴线上有山门殿、天王殿、过殿、大雄宝殿、毗卢殿、十王殿以及两侧的附属建筑,构成以元代建筑为主体,明、清建筑相配合的古建筑群体。
相传寺内有三件宝,即铁杆蒿梁、风磨铜佛像和山门鸽子。风磨铜佛高约一米左右,存於正殿,只要见生锈可搬至院内,见风复生光辉,金色如新。民国初年(一九一二年),古董商买价二千白洋,寺僧惜其珍贵,收藏入柜,秘不见人。
铁杆蒿梁,大约三丈多,粗约二十五厘米,横七竖八置於正殿梁间,属古今罕见奇木,游人到此先睹为快,叹为奇观。