黄山形成于晚新生代第三纪早期，距今大约3000万年。其形成过程分为地质构造和风化剥蚀两个阶段。

地质构造阶段主要是印度板块向北撞击欧亚板块时，黄山所在的华夏造山带以及周边山脉发生强烈的岩浆侵蚀、褶皱变形等过程，形成了黄山区的原始地形。

风化剥蚀阶段则是在受到长期的雨蚀、冰蚀、风蚀等自然力量的作用下，黄山区的原始地形逐渐被削平、侵蚀，形成了黄山五岳、千佛崖、云谷寺等富有特色的天然奇观。