据“清凉山志”载,此寺肇于北魏孝文帝延兴二年至太和十七年间(472-493)。唐代时,它是替国行道的镇国道场。唐代历元年(766),不空三藏密宗道场。清乾隆年间,寺宇建筑整齐一新,规模宏大。民国年间再度扩建,“文革”时期,整座寺庙作为迷信产物而被毁,惟天生之清凉石尚存。
清凉石是清凉寺的象征,文殊菩萨曾于清凉石上讲经说法,因此也称“曼殊床”-
清凉寺坐东朝西,按中国传统的中轴对称格局布置,中轴线上有五层大殿,禅堂、配殿左右对称,清凉古置于寺中,布局严谨,主次分明。