长治市古为“上党”、“潞州”地域，殷商时为黎国，属冀州。

春秋时，曾为潞子婴儿国，后并于晋国。

战国时，属韩国。周显王二十一年（前348）韩首置上党郡，后归赵国。

秦王政二十六年（前221），秦统一六国后，实行郡县制，分天下为36郡，上党郡即为其中之一。

东汉沿用秦制，上党郡属并州。建安十八年（213），上党郡入冀州。

三国魏黄初元年（220），上党郡复归并州。

西晋永兴元年（304），上党郡属前赵，建兴中（313~317）归后赵。后上党郡归西燕。太和5年（370），苻坚灭燕，上党郡入后秦。太元十一年（386），慕容永称帝于长子，上党郡归之。

北周建德七年（578），分上党郡置潞州（是为潞州建置之始），上党郡属焉。州得名，因潞子之国。

隋开皇三年（583），上党郡废，移潞州于壶关。大业元年（605），改潞州为上党郡，隶冀州。

唐武德年间（618~627），改上党郡为潞州，并置都督府。开元十七年（729），以玄宗历试尝在潞洲，置大都督府，并置上党郡。开元二十一年（733），潞州、上党郡属河东道。大历元年（766），置昭义军。

五代后唐庄宗初，置潞州。梁末帝时（913~914），改为匡义军，岁余，唐灭梁，改为安义军。后晋（936~947），复为昭义军；后汉、后周（947~960）因之。

宋代，太平兴国初（976为元年），改昭义军为昭德军，后为潞州。元丰年间（1078~1085），为隆德府、大都督府、上党郡、昭义军，隶河东路。建中靖国元年（1101），昭义军改为威胜军。崇宁三年（1104），复为隆德府，后为昭德军。

金代（1115~1234），潞州隶河东南路，天会六年（1128），置潞南辽沁观察处。

元代（1206~1368），潞州属晋宁路。初为隆德府（行都元帅府事）。太宗三年（1231），复为潞州，隶平阳路。

明洪武元年（1368），沿用元制。初，潞州隶行中书省布政使司；洪武二年（1369），隶山西中书省，九年（1376），隶布政司。嘉靖八年（1529）二月，升潞州为潞安府，设潞安兵备，分巡冀南道，治潞安。

清代（1616~1911），沿用明制，潞安府治今长治城。

中华民国元年（1912），实行省、道、县3级制，废潞安府，原潞安府所领各县均属冀宁道。同年4月，于今长治市置潞泽辽沁镇守使署；民国5年（1916）改为潞泽辽沁营务处。民国13年（1924），撤销营务处。民国19年（1930），撤销冀宁道，各县直隶山西省。民国26年（1937），山西省政府（阎锡山政权）置第三、第五专区。

抗日战争时期，中国共产党以太行、太岳山为依托，建立了抗日根据地。

1945年10月8日，长治解放。当月中旬，长治市（县级）建立，隶太行四专区。1946年6月，长治市升格为地级市，直隶太行区。1950年3月，长治市改为长治工矿区（县级）。1952年3月，工矿区复为长治市，并恢复为地级市，由长治专区代管。1953年7月1日，长治市改由山西省直辖。1958年，长治专区改为晋东南专区，代管长治市。1971年，晋东南专区改为晋东南地区。1975年，长治市复由山西省直辖，设城、郊两区。1983年9月，长治市辖城、郊两区和长治、潞城2县。1985年5月，晋东南地区撤消，晋东南地区所辖平顺、壶关、黎城、屯留、长子、武乡、沁源、襄垣、沁县，划归长治市领属，长治市辖2区11县（市）。