中國早期文明中的堯和舜，活動(dòng)的地域范圍都和今天的山西南部一帶有關(guān)聯(lián)。在山西省臨汾市發(fā)掘的陶寺遺址，一些學(xué)者認(rèn)為就是帝堯的都城所在地，而今天的臨汾市區(qū)，最重要的也是唯一的市轄區(qū)就叫“堯都區(qū)”。傳說帝舜曾在歷山耕田，歷山就在今天的山西省晉城市境內(nèi)。這樣看來，早在四千多年前，山西就曾是中華文明的中心地區(qū)之一。

春秋時(shí)期，周天子勢(shì)力衰微，中國歷史進(jìn)入了諸侯爭(zhēng)霸時(shí)期。主要領(lǐng)土范圍在今天山西省的晉國，是春秋時(shí)期最重要的霸主。晉文公是春秋時(shí)期繼齊桓公之后的第二位霸主，晉文公之后，在經(jīng)歷了楚國的短暫稱霸之后，晉國繼續(xù)稱霸中原很長(zhǎng)時(shí)間。整個(gè)春秋時(shí)期，因?yàn)闀x國的存在，秦國東擴(kuò)的企圖始終未能得逞，楚國也始終未能對(duì)中原形成絕對(duì)優(yōu)勢(shì)?？梢哉f，春秋時(shí)期，晉國是最為強(qiáng)大的霸主。

漢代時(shí)期，山西南部屬于河?xùn)|郡，作為號(hào)稱“天下之中”的“三河”之一，人口稠密，經(jīng)濟(jì)文化繁榮，戰(zhàn)略地位十分重要。魏晉南北朝時(shí)期，山西成為北方少數(shù)民族勢(shì)力南下的前沿之地，經(jīng)歷了數(shù)百年的大混戰(zhàn)，大大小小的割據(jù)政權(quán)走馬燈似的換了一撥又一撥，山西的人口和經(jīng)濟(jì)遭受到極大的破壞。

明朝初期，山西由于相對(duì)閉塞的地形，在元末戰(zhàn)爭(zhēng)中保持了相對(duì)的穩(wěn)定，再次成為一個(gè)人口稠密、經(jīng)濟(jì)繁榮的地區(qū)。明朝統(tǒng)一之后，山西因?yàn)槿丝诔砻?，開始大規(guī)模向外省移民，這樣的移民規(guī)模相當(dāng)大，對(duì)后世的影響也極大，產(chǎn)生了“大槐樹”的傳說。而從明朝開始，“晉商”作為中國歷史上最著名的商人群體之一，開始發(fā)展壯大，對(duì)明清中國商業(yè)史產(chǎn)生了重要影響。