今六盘水所辖地域春秋时期为牂牁国地；战国时期为夜郎国地；秦统一中国后，属马郡汉阳县地；汉代分属牂牁郡夜郎县、宛温县、平夷县、犍为郡汉阳县、鄢县；三国时分属“南中”的牂牁郡平夷县、兴古郡宛温县，魏仍分属平夷县、宛温县；晋为平夷县、宛温县地；隋为爨氏所有，未入职方；唐隶汤望州、盘州；宋为罗殿国、罗氏鬼国、于矢部地；元分属普安路、普定路、八番顺元宣慰司；明分属普安府（州、卫）、西堡长官司、贵州（水西）宣慰司；清置水城厅、普安州（厅）、郎岱厅；民国时期置水城县、盘县、郎岱县。解放初期，建制未变。

1964 年，根据中共中央工作会议精神，国家计委和煤炭工业部经过调查对比，决定在贵州西部煤藏丰富的六枝、盘县、水城三县境内建立煤炭基地，六盘水这个组合性的专名由此而得。接着六枝、盘县、水城三个矿区（后改特区）作为煤炭基地相继成立。 1966 年，中央批准成立六盘水地区工业建设指挥部。 1967 年 10 月，六盘水地区革命委员会筹备小组成立，六盘水开始成为一个政区，下辖三个特区。 1970 年 12 月分隶安顺地区、兴义地区、毕节地区的郎岱县、盘县、水城县分别与六枝、盘县、水城三个特区合并，合并后仍称特区，隶属六盘水地区。 1978 年 12 月，地区改为省辖市，市革命委员会驻水城特区。 1987 年 12 月，国务院批准撤消水城特区，分设钟山区、水城县。市人民政府驻钟山区。 1999 年 2 月，国务院批准撤消盘县特区，设立盘县，以原盘县特区行政区域为盘县行政区域。县人民政府驻红果镇。