汉武帝在灭亡了卫氏朝鲜后，在原来卫氏朝鲜的领地上设立乐浪、玄菟、真番、临屯四个郡，史上简称汉四郡。各郡所管辖的居民民族成份是不同的。
在卫满朝鲜建立时，周边就已经存在一些小国。下面文字证明，燕之亡臣卫满立国朝鲜，阻止周边属国朝见天子，是武帝灭卫满朝鲜的主要原因。汉惠帝刚即位，卫满南下驱逐箕准，夺取箕子朝鲜首都平壤，其国土还包括高句丽、真番、临屯、沃沮、夫余五国之地，方圆数千里，疆域远超箕子朝鲜。卫满在辽东取代了箕氏朝鲜之后，“会孝惠、高后时天下初定，辽东太守即约满为外臣，保塞外蛮夷无使盗边；诸蛮夷君长欲入见天子，勿得禁止。以闻，上许之，以故满得兵威财物侵降其旁小邑”，汉武帝出兵卫氏朝鲜的原因之一就是“真番旁众国欲上书见天子，又拥阏不通”，从西汉辽东太守与卫满约定“诸蛮夷君长欲入见天子，勿得禁止”来看，这些小国都是直接隶属于西汉中央王朝的，卫满的孙子卫右渠时，“真番旁众国欲上书见天子，又拥阏不通”，是卫氏朝鲜作为西汉王朝的地方政权逐渐以武力使原本隶属于中央王朝的众国隶属于自己，所以汉武帝才兴兵讨伐。《史记·朝鲜列传》：“真番、临屯皆来服属”，《索隐》注真番、临屯为“东夷小国”。《三国志·魏书·东夷传》：“汉初，燕亡人卫满王朝鲜，时沃沮皆属焉”，可见，在汉武帝灭卫氏朝鲜以前，卫氏朝鲜已经征服了周围的许多小国，领土有较大扩展。 汉灭卫氏朝鲜后建立四郡，四郡之地分属原来不同小国。
汉四郡的乐浪郡原住民为岛夷。最早见于史书记载的大同江流域的居民是《尚书·禹贡》中的岛夷。殷末，箕子率五千殷遗民迁入这一地区，“百工技艺皆从而往”，给这一地区带来了先进的农业、手工业技术，同时也带来中原地区先进的文化，“教以诗书，使知中国礼乐之制，衙门官制衣服，悉随中国”，使岛夷人的文化发生变化。《水经注· 水》说：“箕子教民以义，田织信厚，约以八法”，是箕子以不同于岛夷习惯法的制度统治其人民，通过商文化对岛夷旧俗的改造，在此地区形成独具特色的新风俗，“东夷之国，朝鲜为大，得箕子之化，其器物犹为礼乐云”，标志着殷遗民与岛夷之间的民族融合。《汉书·地理志》：“玄菟乐浪，武帝时置，皆朝鲜、秽貉、句丽蛮夷”，《史记·朝鲜列传》称卫满在夺取箕氏朝鲜政权以前即已“稍役属真番、朝鲜蛮夷”，说明古朝鲜的主体民族是所谓的朝鲜蛮夷。《逸周书·王会》提到良夷，孔晁注：“良夷，乐浪之夷也”，乐浪即朝鲜故地，则良夷即朝鲜蛮夷的别称。朝鲜蛮夷与良夷，应当都是对殷遗民与岛夷融合后形成的新的民族共同体的称呼。
汉四郡的乐浪郡除朝鲜蛮夷之外，人口较多的当数汉人。中原人进入此地区相当早，《史记·朝鲜列传》：“自始全燕时，尝略属真番、朝鲜，为置吏”，既然燕已在古朝鲜“置吏”，显然至晚在战国时已有中原人进入平壤这一地区。秦末汉初，中原人为躲避战乱而大规模迁入这一地区， “天下叛秦，燕、齐、赵民避地朝鲜数万口”，汉代杨雄著《方言》，已把大同江流域与中国东北南部、河北北部视为一个方言区，说明这里已是汉族聚居区之一，这都证明乐浪郡中有相当数量的汉人。
《三国志·魏书·东夷传》与《后汉书·东夷传》在为秽人作传时都是从箕子写起，并提到“秽君南闾等畔右渠”，证明秽人与朝鲜关系密切，古朝鲜居民有秽人在内，则乐浪郡居民中显然也包括秽人。此外，乐浪郡辖区还有部分真番人，《史记·朝鲜列传》称卫满“稍役属真番、朝鲜蛮夷，及故燕、齐亡命者，王之”，就可以证明乐浪有真番人。
四郡中的玄菟郡建立在沃沮人的聚居区，这一点《三国志·魏书·东夷传》说得很清楚：“汉武帝元封二年，伐朝鲜，杀满孙右渠，分其地为四郡，以沃沮城为玄菟郡。”但《三国志》中也提到玄菟郡后来“徙郡句丽西北，今所谓玄菟故府是也，沃沮还属乐浪”，说明玄菟郡初设时，辖区内主要包括两个民族：沃沮、句丽。“昭帝始元五年，罢临屯、真番，以并乐浪、玄菟”，真番郡并入玄菟郡之后，玄菟郡才包括真番人。 玄菟郡是迁移过了的。
句丽原属汉玄菟郡新宾和桓仁一带，玄菟郡所辖句丽见于史书记载远早于朱蒙所部南迁，所以，并不是指朱蒙所部，与后来的高句丽族不是同一民族。《汉书·地理志》玄菟郡注引应劭的说法，认为玄菟郡是“故真番、朝鲜胡国”，但《汉书·地理志》所载为昭帝始元五年以后的政治区划，此时玄菟郡的辖区已包括原真番郡，说明“朝鲜胡国”才是玄菟郡原来的辖区。参之《汉书·地理志》高句骊县注引应劭，认为高句丽县是“故句骊胡”，可知，玄菟郡的所谓“朝鲜胡国”就是“句骊胡”，当是因其隶属于卫氏朝鲜，才被称为“朝鲜胡国”。《三国志·魏书·东夷传》在记载玄菟郡徙于高句丽县时，即称其“徙郡句骊西北”，《后汉书·东夷传》：“武帝灭朝鲜，以高句骊为县”，证明玄菟郡高句丽县是因为设于此族的居住地而得名。由此看来，在武帝灭朝鲜以前，此族有“高句骊”、“句骊胡”、“朝鲜胡国”、“句丽蛮夷”等多种称呼。朱蒙之子琉璃明王时，卒本夫余的势力进至这一地区。从《后汉书·东夷传》将此族列入以朱蒙为始祖的高句丽的传记中来看，当是高句丽与卒本夫余发生了民族融合，此后卒本夫余改称高句丽。
史载《史记·朝鲜列传》《索隐》注真番、临屯为“东夷小国，后以为郡”，则真番、临屯二郡辖区分别是原真番国、临屯国的领地。《史记·朝鲜列传》称卫满“稍役属真番、朝鲜蛮夷”，真番在此处显然是用作族称的。究竟是真番族得名于真番国，还是真番国得名于真番族已不可考知，但真番郡是因为设在真番族聚居的真番国故地而得名，则是没有问题的，真番郡的主体民族即是真番族。真番郡的位置学者们认识不一致，但考虑到乐浪郡以南是箕氏朝鲜后裔建立的韩国、临屯郡以南是从马韩分立出来的辰国，则真番郡只能在玄菟郡以北。《史记·朝鲜列传》载：“自始全燕时，尝略属真番、朝鲜，为置吏”，则真番国中早就有中原人进入，说明真番郡居民中也有汉人。
《后汉书·东夷传》称：“昭帝始元五年，罢临屯、真番，以并乐浪、玄菟。玄菟复徙居句骊。自单单大岭已东，沃沮、秽貊悉属乐浪。后以境土广远，复分领东七县，置乐浪东部都尉”，证明乐浪东部都尉辖区有沃沮、秽貊两族。武帝灭卫氏朝鲜时是“以沃沮地为玄菟郡”，则秽人原来隶属于临屯郡。《后汉书·东夷传》在“昔武王封箕子于朝鲜”之前提到：“秽及沃沮、句骊，本皆朝鲜之地也”，证明秽人、沃沮人与句丽胡原是箕氏朝鲜的属地，后一度独立，卫氏朝鲜对此地区的征服实际上是对箕氏朝鲜故地的恢复。而真番国的情况与此不同。《史记·朝鲜列传》载：“自始全燕时，尝略属真番、朝鲜，为置吏”，在战国时期燕国最强盛时，真番国已经存在，并且与朝鲜相提并论，显然真番不是箕氏朝鲜的属国，所以，真番当是卫氏朝鲜新征服的领地。汉武帝所设四郡，实质上就是以古朝鲜本土为一郡，将卫氏朝鲜后征服的真番设为一郡，将先后臣属于箕氏朝鲜与卫氏朝鲜的属地分为玄菟与临屯二郡，玄菟郡统辖句丽蛮夷与沃沮，秽人则主要隶属于临屯郡。
四郡的临屯郡后来并入乐浪郡，当与乐浪郡相邻。乐浪郡大体上为今大同江流域西至海的地区，北为辽东郡，则临屯只能在乐浪之东，也就是单单大岭以东乐浪东部都尉的辖地。《三国志·魏书·东夷传》称：“自领以东七县，都尉主之，皆以秽为民”，可见，临屯郡的主体民族为秽人。《三国志·魏书·东夷传》在秽传中指出“今朝鲜之东皆其地也”，沃沮属乐浪东部都尉，可“自领以东七县，都尉主之，皆以秽为民”，说明沃沮是秽人的一个分支。从这个意义上讲，单单大岭以东都是秽人的分布区。则昭帝始元五年所进行的郡县调整，就是把所有秽人的分布区都划入乐浪郡，在此以北的真番人、句丽蛮夷则属于玄菟郡。因为玄菟旧治沃沮城，在沃沮人，也就是秽人的分布区，所以才“徙郡句丽西北”，总之，不论是汉武帝灭卫氏朝鲜以后设四郡，还是汉昭帝对四郡进行的并省，都是立足于当地民族分布格局基础之上的地方设置。《三国志·魏书·东夷传》在记载汉武帝设四郡之后接着说：“自是之后，胡汉稍别”，可见，四郡乃至后来的二郡建置，一方面体现着当地的民族分布格局，另一方面也对这种民族分布格局起着定型的作用。随着夫余人的南下立国、高句丽族的形成，此地区民族格局发生了巨大变化，这种行政建置存在的基础发生了改变，建置格局自然也就不得不随之变化，这也是魏以后此地区的建置不同于汉四郡的根本性原因。
还有另外一种简单的说法，四郡中乐浪郡是个汉人聚居区，玄菟、临屯、真番是秽貊人聚居地，玄菟基本等于日后的东沃洎，临屯即东秽，真番在汉江流域日后的百济。该观点本人不认同，不仔细叙述了。