黃山學院前身為始創(chuàng)于1978年的徽州師范專科學校；1997年12月，與原中國科技大學徽州大專班合并，更名為黃山高等專科學校；2000年8月，安徽省人民政府批準黃山林業(yè)學校成建制地并入黃山高等專科學校；2002年2月，經(jīng)教育部批準，升格為黃山學院。2014年，黃山學院獲批建設(shè)安徽省高等教育振興計劃地方應(yīng)用型高水平大學項目、國家卓越農(nóng)林人才教育培養(yǎng)計劃項目。2019年，學校正式被納入安徽省省級碩士立項建設(shè)單位。
