拓跋焘灭了北燕之后，开始亲征北凉！
这个北凉，最早建立者是汉人段业，可是，最后落在了匈奴人手。
公元386年，吕光称帝，建立后凉，任段业为尚书、建康太守（不是南京，而是甘肃高台）。
公元397年二月，吕光因西秦乞伏乾归出尔反尔，数度叛离，决定出兵消灭他。
吕光派他的庶长子、太原公吕篡攻克金城，弟弟天水公吕延带着大将、沮渠部落酋长沮渠罗仇、沮渠麹粥兄弟攻克临洮、武始、河关，后因吕光的弟弟吕延麻痹轻敌，兵败被杀，凉军也被迫撤退。
吕光见弟弟被杀，埋怨沮渠罗仇、沮渠麹粥护卫不力，以败军之罪杀了沮渠罗仇、沮渠麹粥二兄弟。
沮渠部是匈奴的一支，其先祖世为匈奴左沮渠王，他们以部落为姓。吕光征西域的时候，沮渠罗仇归附了后凉，被吕光任命为西平太守，沮渠麹粥被任命为三河太守。
沮渠罗仇兄弟被杀之后，沮渠罗仇的侄儿，时任沮渠部落酋长，以及在段业部下为将的沮渠蒙逊，在二位伯父的灵柩运回故乡临松安葬之日，乡亲好友与诸部落一万多人参加。
沮渠蒙逊当众大哭道：“吕王昏耄，荒虐无道，岂可不上继先祖安时之志，使二父怀恨黄泉？”
在场众亲友听了，无不痛恨吕光。
于是，沮渠蒙逊与众盟誓，共讨吕光。
他在一个月时间内，就有一万多人前来投奔。
沮渠蒙逊就此起家，率领队伍左冲右突攻陷临松，斩杀了吕光的中田护军马邃和临松令井祥，屯兵于金山。
沮渠蒙逊的堂兄，时任后凉晋昌太守的沮渠男成也起兵响应，率部进军建康，同时劝说建康太守段业起兵反凉。
段业与吕光手下的尚书王祥、侍中房咎等权臣关系不好，这次出任建康太守就是被他们所排挤。
段业想到这里，同意举旗反吕。
沮渠蒙逊知道后，也由临松率部来归，与段业，沮渠男成和兵一处，兵力大大加强。
沮渠男成、沮渠蒙逊由于年纪尚轻、职爵也低，当下二人共推段业为盟主。
公元397年五月，段业自称大都督、龙骧大将军，率兵击败了吕光，建元神玺，建都骆驼城。
公元399年二月，段业改称凉王，迁都骆驼城，改元天玺，史称北凉。
他任沮渠蒙逊为张掖太守，任沮渠男成为辅国将军，负责军国大事。
段业虽然成为了北凉王，但是，他实际上并没有多大的权力，因为击败吕光，靠的还是沮渠兄弟。
段业同沮渠蒙逊虽然是君臣关系，但他并不买段业的帐。