“南岳”一词始于春秋战国时期，古属楚地，原名潭州，据《湖广通志》记载：隋文帝诏定衡山为南岳，亦称岳市。三国后地方行政一直隶属衡山县，并随衡山县异动。新中国成立后，1951年2月设立南岳特别区，隶属省民政厅，为县级行政建置，1952年7月17日撤销，所辖行政区域划归衡山县。另设南岳管理局管理风景名胜，仍隶属省民政厅领导。1960年4月，湖南省南岳管理局改为兼具地方行政职能的县级机构，归衡阳地区领导。1963年5月20日，撤销南岳管理局，设南岳县，1966年2月撤，辖区仍归衡山县。1982年恢复省属的南岳管理局。1984年5月22日，经中共湖南省委、湖南省人民政府批准，设立县级南岳区，将衡山县所属的南岳镇、南岳乡和望峰乡的红旗、龙凤、青水3个村，东湖乡的杉湾、岳林、莲塘、石山4个村，马迹乡的拜殿、龙潭、观音3个村析出为南岳区的行政区域，由南岳区重新划定4乡1镇。1987年南岳乡与南岳镇合并。1990年5月，南岳区被批准为革命老区。1998年7月，成立祝融街道办事处。2015年11月实行合村并乡，原岳林乡、拜殿乡、龙凤乡合并为寿岳乡。现为衡阳市南岳区、湖南省南岳管理局两块牌子，一套人马。