在忽必烈倾全国之力平定南宋的同时，元帝国的北方边境也不太平。而这一切，不过是几次大蒙古国汗位争夺战的余绪和矛盾总爆发。

元朝西北边疆的局势始终紧张，忽必烈的汉法改革也趋于迟滞。为稳固政权，忽必烈令皇子出镇漠北，统领雄兵防御叛乱，虽然起到了抵御北方叛王的作用，但也为后来皇位继承无序和权臣擅政埋下了伏笔。这三次影响巨大的叛乱中，海都之乱持续的时间最长。

海都是窝阔台嫡孙，对窝阔台系失去汗位耿耿于怀。忽必烈和阿里不哥争位时，海都趁机扩充实力，掌控了窝阔台兀鲁思。1269年，海都与察合台汗国及术赤兀鲁思的代表，在塔刺思草原召开了划分中亚地区势力范围的会议。这次会议将忽必烈政权彻底排除在外，建立起与之对抗的西北诸王联盟。

不过此时忽必烈以伐宋为首要大事，因而试图用外交手段缓和对抗。对忽必烈的示好，海都并不接受，甚至派遣使者公开指责其背叛祖宗旧制，不配为蒙古大汗。为应对威胁，忽必烈不断加强在西北的军事力量。1271年，皇子北平王那木罕统领的军队夺取了察合台兀鲁思大斡耳朵附近的中心城镇阿力麻里（在今新疆维吾尔自治区伊犁哈萨克自治州霍城县内，曾数次为海都所据)。

到1275年初，元朝方面已占有绝对优势。忽必烈意欲大举西征，一举击败海都。然而这时候，伴随着忽必烈与阿里不哥争位，拖雷系宗王内部亦是矛盾重重。尤其是蒙哥汗之子昔里吉，不满忽必烈登上汗位，于是联合诸王脱黑帖木儿发动军变，拘捕了那木罕和重臣安童，并把他们分别送往术赤兀鲁思和海都处。

失去统帅的元军防线瞬间瓦解。虽然忽必烈平定了昔里吉叛乱，但在此后很长一段时间内，元廷在西北地区都无力对海都发起攻击。攻守之势逆转后，忽必烈通过严阵以待、坚壁清野的举措对抗海都袭扰，同时为重建漠北地区的军事防御体系进行了一系列部署。

1281年，忽必烈命皇太子真金赴漠北巡视军事，且以枢密院同知伯颜从行，一则昭示元廷抵御海都的决心，二则让富有军事谋略的伯颜对漠北防御体系进行巡查和调整。1284年，那木罕得释归朝，改封北安王，仍镇守漠北。1286年，忽必烈又派遣皇长孙甘麻剌赴漠北协同北安王。

1292年那木罕死后，忽必烈改封梁王甘麻剌为晋王，“统领太祖四大静耳朵及军马、达达国土”。次年六月，甘麻剌之弟铁穆耳受皇太子宝，“军于北边”。铁穆耳和甘麻剌以杭海岭（今蒙古国杭爱山）为界，分镇海、和林二战区，互为筒仗。二宗王同能，可以使前线与谈北微地互线应，从而避免防御体系因一军战败而全线崩塌。

忽必烈又派遣枢密院官员为漠北军事的实际统帅，如伯颜两次被任命为知枢密院事，镇守和林，之后御史大夫玉昔帖木儿又替代伯颜为角枢密院事统北兵。伯颜和玉昔帖木儿都是能征善战之将，两人屡次击败海都，稳定了漠北局势。元廷又在和林设置宜慰司，负责漠北的军屯、钱谷出纳和军需供给，兼管所在部民。

至元二十六年(1289)七月，75岁高龄的忽必烈御驾亲征，收复和林。尽管将海都赶出了漠北腹地，但终其一生，忽必烈始终未能彻底消除这一威胁。直到元成宗大德五年(1301)，海都在侵犯漠北时兵败受伤，才在退军途中身亡。海都死后，其子察八儿虽然继任成为窝阔台兀鲁思的君主，但实力日衰。到武宗至大二年(1309)，察八儿向元廷请降，这场延续了四十年的西北战事才宣告结束。

在北部边疆，除了海都叛乱，发生了昔里吉叛乱和乃颜之乱。尽管这些叛乱都没有撼动忽必烈的帝位，但黄金家族内部的隔阂与分道扬镳已成既定事实。