禹曾在山西境內建過都，《禹貢》說夏禹治水“導河積石，至于龍門”，龍門又叫禹門口，在山西河津縣西北和陝西韓城縣東北。公元前17世紀至公元前11 世紀，商王朝在這裡統治。西週初分封諸侯，山西境內諸侯國主要是晉國。春秋時諸侯國互相兼並，在爭霸中晉國隨之強盛起來，戰國時的山西被韓、趙、魏三國瓜分,史稱“三晉”。隋、唐、宋、遼、元、明、清在山西各設州縣。

山西是中華民族的發祥地之一，歷史悠久，人文薈萃，擁有豐厚的歷史文化遺產。迄今為止有文字記載的歷史達三千年之久，素有“中國古代文化博物館”之美稱。西河度文化和丁村文化遺址表明,早在舊石器時代就已有了人類在這裡繁衍生息。傳說中的中華民族的始祖黃帝、炎帝都曾把山西作為活動的主要地區。中國史前三大偉人堯、舜、禹，都曾在山西境內建都立業。中國歷史上第一個奴隸制國家政權夏朝也建立在山西南部。商代，山西是商的主要統治區。週代，晉國由山西境內崛興，晉文公曾為春秋五霸之一。秦、漢、魏、晉時期，山西無論在政治、軍事、經濟、文化等各個方面，都起著舉足輕重的作用。南北朝時期，山西是北朝統治的中心地帶，而且北魏曾以平城（今大同）為都，之後的東魏、北齊也曾以晉陽（今太原）為“別都”、“陪都”，這對促進山西的發展起了積極的作用。唐太宗李世民起兵太原，建立了大唐王朝，由此，山西被唐太宗認為是“龍興”之地，一直把山西作為唐帝國的腹髒地區，封太原為唐王朝的“北都”、“北京”。有唐一代，山西一直以其特殊的地位和發達的經濟、文化稱著于世。到五代十國，山西仍然對中國北方的政治、軍事形勢，起著決定性的作用。宋遼時期，山西進一步繁榮，是中國北方經濟、文化的主要發達地區。元代，全國共11個行省，山西與山東、河北，並稱為元朝“腹地”，大同、平陽（今臨汾）、太原三城則成為黃河流域的著名都會。當時山西商業的發達、經濟的繁榮、文化的昌明，曾受到當時來中國旅行的意大利偉大旅行家馬可·波羅的盛贊。明代，山西的商業迅猛發展，曾領全國之先。特別是晉商十分活躍，威震海內外，其足蹟東出日本，北抵沙俄。最著名的是山西票號，可謂中國金融之鼻祖。

中國進入半殖民地半封建社會以後，山西的經濟、文化發展受到嚴重破壞。但是，山西人民英勇地抗擊了外敵的侵略。特別是抗日戰爭和解放戰爭期間，山西人民進行了更加頑強的鬥爭，在三晉大地上譜寫了無數可歌可泣的英雄故事，百團大戰、平型關大捷、上黨戰役永垂青史。1949年4月，全省解放。9月，成立了山西省人民政府，從此揭開了山西社會主義革命和建設的歷史新篇章。幾十年來，山西人民為全國的社會主義建設事業做出為重大貢獻。

黃河流經山西，孕育了無數英雄豪傑、仁人志士。在中國的各個歷史時期，山西曾湧現出許多政治家、軍事家、科學家、文學家、歷史學家。最著名的有春秋時期的霸主之一晉文公重耳，有中國唯一的女皇帝、唐代傑出的政治家武則天，有中國的“武聖”、三國時期名將關羽，有唐朝名相狄人傑、裴度，有抗擊匈奴而名垂青史的漢朝名將衛青、霍去病，有中國第一部編年體通史《資治通鑑》的作者、宋代著名史學家司馬光，有創立"制圖六體"的西晉地圖學家裴秀，有中國古代四大名著之一《三國演義》的作者羅貫中，有唐代著名詩人王勃、王之渙、王維、王昌齡、白居易，唐代著名的文學家、哲學家、政治改革家柳宗元，有金朝文學家、詩人元好問，有元曲四大家中的三位著名戲曲家關漢卿、白樸、鄭光祖，有明末清初的思想家、文學家、醫學家、書畫家傅山;清末維新派揚澤秀以及戊戌六君子譚嗣同、劉光弟等。可以說，山西是人傑地靈，代不乏人。而其中晉商的足蹟更是踏遍華夏、享譽全球。

山西是厚重的黃河文化的主要代表之一。古人類文化遺址、帝都古城、寶剎禪院、石窟碑碣、雕塑壁畫、古塔古墓、佛道聖地、險堡關隘以及革命文物、史蹟等，從北到南、珠串全省，構成了山西古今兼備，豐富多彩的人文景觀。目前，全國保存完好的宋、金以前的地面古建築物70%以上在全省境內，具有珍貴價值的國家級重點保護文物就有119多處。如佛教聖地五台山、應縣木塔、雲岡石窟、永樂宮壁畫、運城關帝廟、永濟普救寺、洪洞廣勝寺等在國內外都很著名。山西民歌、民謠舞蹈、民間傳說、民間工藝等具有獨特的魅力。

山西是革命老區，具有光榮的革命傳統，具有勤與儉的民風。劉胡蘭精神、大寨精神、太舊精神、李雙良精神激勵著人們為爭取新生活不斷艱苦拚搏。