在高平、長子、長治三縣交界處，山巔有兩座石雕方形塔，塔側石雕伏羊佛龕造像，頭尾清晰，由此山狀為羊頭，故名。
羊頭山梵剎，名曰清化寺，據記載始建于北魏孝文帝太和年間（四七七——四九九年），原名定國寺，北齊時改名宏福寺，隋末寺廢，唐武則天天授二年（六九一年）重建，并改額清化。今清化寺建筑已不存，尚留石佛三尊、明碑一通和殿堂遺址，但寺周北魏至隋唐時期窟龕造像和石塔仍依然如故。
羊頭山正面高峰凸起，左右山脈前伸，形如箕掌，石刻造像即分布于其間。
羊頭山石刻造像和石塔，是羊頭山歷史遺物中的精華所在。它的分布，有的'在山巔，有的在山腰，有的為窟，有的為龕，原有規模及順序已不可考，現狀可分為九區。較大窟龕二十二個，小型佛龕八十多個，窟洞平面多為方形。還有千佛碑一通，皆魏至唐物。山巔山腰雕石塔六座，唐制，高度４─６米不等，平面方圓兩種，高者七層，密檐式，低者兩層，樓閣式，形制古樸，手法簡潔，為他處所少見。
主峰極頂列為首區，有石塔兩座，佛龕一區，龕為三塊巨石疊成，下為臥羊，中為佛龕，上為瓦隴式屋頂，龕內內置一佛二菩薩，佛像結跏而坐，面型衣飾皆屬北魏風格。
西南山巔（亦稱右峰）“八十八佛”窟，距羊頭石龕二百余米，列為第二區。窟龕三個，分上下兩層。前窟南向平面方形，門外二金剛侍立，窟內正面一佛二菩薩，佛結跏而坐，菩薩侍立主佛四周，四周雕有龕八十七個，內各置一佛，皆坐式，連同主佛共八十八尊，窟名由此而來。窟南一龕，內雕一佛二菩薩，面型略秀，身材修長。后窟較高，亦稱上窟，窟上石塔已毀壞。塔下一窟，方形，窗門南向，三面雕像，正面和西側主佛已不存，尚存東側一佛二菩薩和西隅左尊脅侍，面型清秀，神態自若，刻工純熟而洗練。視其造像風格，與前窟同為齊隋間遺物.
第三區為千佛洞，位于半山腰部，窟內方形，四面小佛龕滿壁，近千尊，故稱千佛洞。這里的雕像都是唐代風格。第四區為方塔窟區，第五區為圓塔窟區，第六區為多寶龕窟區，第七區為大石窟龕區，第八區為佛山區，第九區為唐代龕區。這些石窟龕內，雕像大都肌肉健美，衣飾貼體，藝術價值很高。
千佛碑，在清化寺址西，四面滿雕佛像，正面碑身中心雕火焰形大龕一區，內置坐佛一尊；側面中雕佛像兩龕，為一佛二菩薩。造像風格，發髻光滑，面相方圓，寬衣博帶，肩膀較平，尚存魏碑風格。
羊頭山石塔，是山上石雕作品中的一個組成部分，原為六座，兩座損毀，現存四座，分布于山巔和山腰。山巔兩塔，南北對峙，十里外皆可望見。山腰兩座，一方一圓。此處石塔雖然不大，但造型特殊，在我國已知的古塔中，尚屬奇構。
