山西省位于華北平原西側，黃土高原東部,東以太行山與河北為鄰，西隔黃河與陝西相望，北倚長城與內蒙古毗連，南與河南接壤。境內高低懸殊，最高為五台山的北台頂，海拔3058米，是華北第一高峰；最低在垣曲縣東南的西陽河入黃河處，海拔180 米。

山西省地理座標為北緯34°34'──40°43'、東經110°14'──114°33'。東西寬約290公裡，南北長約550公裡，全省總面積15.6萬平方公裡，約佔全國總面積的1.6%。境界輪廓略呈東北斜向西南的平行四邊形。東有巍巍太行山作天然屏障，與河北省為鄰；西、南以濤濤黃河為塹，與陝西省、河南省相望；北跨綿綿內長城，與內蒙古自治區毗連。

山西地形較為復雜，境內有山地、丘陵、高原、盆地、台地等多種地貌類型。山區、丘陵佔總面積的三分之二以上，大部分在海拔1000米至2000米之間。最高點為五台山的北台葉鬥峰，海拔3058米，最低點在垣曲縣境內西陽河入黃河處，海拔僅180米。
山西表裡山河，東界太行山，西有呂梁山，北亙北岳恆山、五台山，南聳中條山，中立太岳山。

主要河流有汾河、海河兩大水系。境內有大小河流1000多條，其中流域面積大于100平方公裡、河長在150公裡以上的有240條，大于4000平方公裡、河長在150公裡以上的有汾河、沁河、涑水河、三川河、昕水河、桑幹河、滹沱河、漳河等。汾河最長，全長659公裡。被稱為中華民族文化搖籃的黃河，北自偏關縣老牛灣入境，飛流直下，一瀉千裡，抵芮城縣風陵渡而東折，南至垣曲縣碾盤溝出境，途經19縣560個村莊，流程965公裡。

山西地形多樣，高差懸殊，因而既有緯度地帶性氣候，又有明顯的垂直變化。山西地處中緯度，距海不遠，但因山脈阻隔，夏季風影響不大，屬溫帶大陸性季風氣候。年平均氣溫3°─１４°Ｃ，晝夜溫差大，南北溫差也大。西部黃河谷地、太原盆地和晉東南的大部分地區，平均溫度在8°──10°C之間。臨汾、運城盆地年均溫度達12°──14°C。冬季氣溫全省均在0°C以下，夏季全省普遍高溫，7月份氣溫介于21°──26°C之間。山西無霜期南長北短，平川長山地短。大同盆地為110──140天，五台山僅85天，忻州盆地以北和東部山區135──155天，臨汾、運城盆地則長達200──220天。全省年降水量在400－650毫米，但季節分布不均勻，夏季6月──8月降水高度集中且多暴雨，降水量約佔全年的60%以上。全省降水受地形影響很大，山區較多，盆地較少。山西有三個多雨區，一是晉東南太行山區和中條山區，二是五台山區，三是呂梁山區。