东汉以来，分布在西、北边疆的少数民族已陆续向内地迁徙。光武帝刘秀打破西汉边民严禁内迁的铁律后，边民逐渐内迁，而大量游牧民族因此以各种方式被迁入充实边郡。

魏晋时期，汉族统治者为了加强对各少数民族的控制和补充内地劳动人手的不足，经常招引和强制他们入居内地。

各少数族人民内迁后，在汉族的长期影响下，逐步地由游牧生活向定居的农业生活过渡。魏晋时，西、北各少数族人民向内地迁徙的活动，更加频繁，而且种族很多，主要有匈奴、羯、氐、羌以及鲜卑五族，史称为“五胡”。

当时，在内地不少地方，少数民族人数相当多，如西晋时，关中户口百万，其中少数民族占了一半左右。

到了西晋末年的少数民族势力可以分为三股：

匈奴是灭亡西晋的策动者，有统治中原的野心。

羌、羯、氐属于第二股。羯族原是匈奴控制的西域民族，随匈奴人来到中原后由于生活贫困，很多羯人沦为汉族地主的隶农。羌人三度叛乱，叛乱后的羌人又屠杀汉人，接着是官军的大肆镇压。而氐人多是“八王之乱”中与汉人一起逃亡的流民。

第三股是鲜卑人，他们由于种种原因多在西晋末年对战争持观望态度。尤其耐人寻味的是后来称雄北方的慕容氏、拓跋氏都是支持西晋政府的，其首领相继被封为大都督和代公，是西晋的盟友。

各族内迁以后，与汉人杂处，过着定居的农业生活。魏晋统治者强迫各族人民纳租调，服力役，“服事供职，同于编户”

西晋占田制明确规定了他们的租调负担。汉族的官僚、地主多以少数民族人为奴婢、佃客。残酷的民族压迫，使各少数民族对西晋统治者“怨恨之气，毒于骨髓”，因而反抗不断地发生。

对西晋首先发难的是氐族——李特流民起义和羯、羌的小规模反抗，然后是匈奴贵族刘渊的起兵。八王之乱中，并州刺史司马腾与将军王浚联合鲜卑贵族进攻司马颖驻守的邺城，司马颖不敌，刘渊献计说要回匈奴召集骑兵抗衡鲜卑人，司马颍同意。刘渊得以回到匈奴。

永兴元年（公元304年），刘渊返回匈奴控制下的左国城，与匈奴权贵密谋起兵。刘渊的从祖父刘宣发表了起兵宣言，实际是要夺取中原。

当时，并州境内的汉人大多因战祸而迁徙南下，胡汉势力对比发生重大变化，而并州的官吏们还在热心内争。于是，刘渊称汉王，置百官，打败司马腾，招降山东起义的王弥等人，形成了反晋浪潮。

永嘉二年（公元308年）刘渊称帝，都平阳。他分别于永嘉三年（公元309年）秋冬遣其子大将军刘聪率石勒、刘曜等进攻洛阳，西晋军队顽强抵抗，匈奴败退。后刘渊死，刘聪杀兄自立，又于永嘉四年（公元310年）冬三攻洛阳。

永嘉五年（公元311年），西晋专政的太傅东海王司马越病死，匈奴大军第三次围攻洛阳，而南方诸州的牧丞或拥兵观望或象征性的出兵“勤王”。王敦天天召集士族饮酒作乐；王澄带兵从荆州出发，以极慢地速度到了南阳，一听荆州刺史山简的军队战败，就跑回去了。而王衍等人率十几万大军公开逃跑。结果他们被石勒在苦县全歼。七月，洛阳失守，晋怀帝被俘，接着汉国大将石勒闪击荀唏，青兖沦陷。

建兴元年（公元313年），晋怀帝在平阳遇害，晋愍帝在长安继位，下令司马睿、刘琨等的共七十万大军分三路合击平阳。结果身为此战主力的司马睿在士族的鼓动下竟抗命不遵。

建兴四年（公元316年）长安失守，西晋灭亡。而匈奴控制了几乎整个中原，长达一百多年的大动乱开始。而后，各族陆续在北方建立国家，史称“五胡十六国”。

不久，完全代表士族利益的东晋建立。西晋亡后，在北方尚有三个忠于晋朝的地区，即并州北部刘琨、幽州段匹磾、凉州张寔。然而，并州刘琨先被石勒击溃，投靠幽州段匹磾。段匹磾则奉东晋密令将刘琨处死，之后段匹磾也被石勒击败。最后，在凉州张寔去世之后，其弟张茂向前赵的刘曜称臣。至此东晋在华北的势力全部消灭。