如今在我们对元朝人的认识当中，蒙古人的“四等人制”长期被聊起，被视为蒙古民族歧视统治的重要理由。作为蒙古人的爪牙“色目人”，长期在蒙元帝国扮演者特殊者，而对他们的身份，我们也经常模糊地认为，这是蒙古征服之后来到中国的西域人的统称。那么，回到历史当中，“色目人”究竟是谁呢?
01、中国境内的色目人
其实所谓的“色目人”，并不都来源于蒙古帝国的远方疆域，部分民族本身就存在于中国历史上。例如曾经活跃在蒙古高原西部的乃蛮人，是元代色目人中离蒙古人最近的，也是被蒙古征服最早的。到了元朝后期，他们已经脱离了“色目”范畴，被视为蒙古人之中。另外，分布在阴山北麓漠南草原的汪古部(白鞑靼，祖上为回纥与沙陀人)也属于色目人的范畴。
成吉思汗灭亡西夏国后，西夏的遗民并未如网络文学上一般被屠戮殆尽，而是以唐兀人或河西人广泛分布在河西走廊与陇右地区，形成了以党项人为核心，吸纳了当地的汉人、吐蕃人的色目人族群。同理，当时进入中原内地信仰藏传佛教的僧侣因为长相同样不类于中原，因而也被称为色目人。最后一部分就是分布在今天吐鲁番为中心的新疆中部偏北地区的高昌回鹘人，当时的他们普遍信仰佛教，印欧化程度并不深，也同样属于色目人的序列中。
02、来自远方的欧亚色目人
当我们继续把目光向西拓展，中亚地区同样是色目人的重要来源地。当时的中亚北部(哈萨克斯坦一带)主要分布着西突厥人的分支哈剌鲁与阿儿浑人，前者就是当年在怛罗斯之战之中背叛唐军的葛逻禄人，后者则可能是滞留在当地的突厥乌古斯人。这些人在蒙古在蒙古人第一次远征花剌子模的过程中便向蒙古人屈服，随后便跟随蒙古人的军队回到中原。
当然，被蒙古人彻底征服的花剌子模帝国统治下的中亚定居居民更是色目人来源的大头。当时的河中地区(阿姆河、锡尔河之间的平原地带)和费尔干纳盆地，作为丝绸之路的陆上通衢，一直是粟特人、突厥人与波斯人等多种民族的大熔炉，这里的居民普遍以经商闻名，因而后来大量融入中原成为了蒙古人的理财管家与民间高利贷者。除此之外，再向西被伊利汗国统治下信仰伊斯兰教的波斯人与阿拉伯人相貌明显符合色目人的定义，因而也归属于色目人之中。
在咸海、里海以北直至顿河下游的欧亚交界草原上，蒙古人在两次西征中先后征服了当地的康里、钦察、阿速人等部落，这些分布在北高加索与南俄草原上的游牧部落以骁勇善战著称，被蒙古征服后，大批人被编入军队，到东方作战和镇戍。其中的阿速人更是成为了蒙古大汗是侍卫亲军的主要成员，阿速卫一度是元朝皇帝对外征战中的王牌。
03、色目人之广
除了以上的色目人主要成员外，依旧还包括众多不太引人注意、规模相对较小的部落。比如，斡罗思(俄罗斯)人、乞失迷儿(克什米尔)人、忻都(印度)人、术忽(犹太)人、拂菻(西亚西部边缘至欧洲)人、啰哩(吉普赛)人等等。由此看见，蒙元帝国时期的色目人几乎囊括了所有西方的非蒙古、汉文化部落，其人数之多，种族之杂，让我们不得不惊叹于蒙古帝国的辽阔。