战国初为代地和楼烦地，后为赵国属地。
秦属雁门郡，汉属雁门郡、汪陶、阴馆县地。
灵帝时，因战乱县废，西晋初为汪陶、阴馆县地，永嘉后县又废。
北魏为桑干郡桑干县地。
北齐为神武郡，神武县地。
北周为广安郡神武县地，隋为马邑郡神武县地。
唐初为朔州马邑县地。
后归入应洲金城县。
五代隶属寰洲和应洲。
辽置河阴县，以治所在桑干河之南得名，属朔州。
清宁中改属应洲。
金大定七年（1167）改名山阴县，取地处复宿山之北之意，金贞佑二年（1214）升山阴县为忠州。
元至元年间，忠州城因水淹没，县地并入金城县，后复置山阴县，县沿迁至今古城镇。
明制称山阴县，属应洲。
清制为山阴县，属大同府。
民国初，山阴县属雁门道，后直隶山西省。
1937年，日军侵占本县，县沿移至岱岳镇，新中国成立后，山阴县属察哈尔省雁北专署。
1952年，山阴县改属山西省雁北专署。
1958年11月，山阴、应县合并为山阴县。
县政府驻岱岳镇，1959年7月，应县、山阴分治。
1959年1月至1961年8月，雁北专署与忻县专署。
合并为晋北专区。
本县属晋北专区，后复归属雁北专署。
1979年11月，恢复山阴县，属雁北专署。
1989年1月，山阴县划归朔州市，沿用至今。