相就没那么好运，窦建德下令处死了他。）
此时唐朝正和得到突厥支持的刘武周进行决战，唐军主力在李世民率领下正与刘军主力宋金刚部相持于柏壁。李世绩回到长安后，李渊也知道兵败与他无关，便立刻把他划归李世民帐下，前往柏壁增援。这是李世绩与李世民君臣之缘的开始。
消灭刘武周后，李世民于三年七月率部进攻王世充，李世绩随之。提到与王世充作战，应该没人比李世绩更在行了，作为瓦岗旧将，李世绩参加了数次与王的战役，而即使在诈降窦建德这段时间，他也仍然在帮窦建德进攻王世充。这次唐郑决战中，世绩勇往直前，连战皆捷。四年二月，王世充郑州司兵沈悦到世绩军中求降。沈悦并非重臣大将，但他的投降却有重要意义，因为其时正镇守虎牢。虎牢是洛阳东面最重要的关口，是联络洛阳与郑国东部郡县的枢纽，同时也是窦建德来援的必经之路，可谓必争之地。王世充对虎牢非常重视，一开战就派了自己的侄子荆王王行本去镇守。虎牢易守难攻，虽然洛阳四周要地纷纷被唐军攻克，虎牢却依然牢牢控制在王世充手中。李世绩当即出兵夜袭虎牢，俘虏荆王王行本。（一个月后，窦建德的援郑大军杀到洛阳，阻挡窦建德大军的，正是虎牢关。）
四年三月，窦建德认为时机已到，尽起夏军主力前来援救洛阳，夏军汇合王世充留在外围的部队后兵力达十余万人，号称三十万，一路势如破竹，一直打到虎牢关外。李世民留李元吉继续围困洛阳，亲领主力到虎牢迎击夏军。五月，唐夏两军决战，窦建德兵败逃走时，在牛口渚被唐将白士让、杨武威所擒。李世绩与窦建德的关系比较复杂，窦对李有囚父之仇，但也有知遇之恩，倒是颇为类似关羽与曹操的关系。
窦建德的援军覆没后，王世充走投无路下，只得开城投降。以往李世民消灭敌人后都会善待敌方降将，择才录用，但这次，李世民下令将王世充的重要大臣全部处斩。李世绩表示反对，因为单雄信和他关系非同寻常，他上书道：“若贷死，必有以报，请纳官爵以赎。”。可是秦王不答应。当初秦王围东都时，单雄信拒战，混战中就要刺杀世民的时候，徐世绩在后大喝之曰：“秦王也！”单雄信于是退后，世民也得以保命。但是此时，绩却不能保留雄信之命，于是他对雄信道，“吾不惜余生与兄共死，但既以身许国，事无两遂，且吾死之后，谁复视兄之妻子乎？”说完就拔刀从自己大腿上割下一块肉送到单雄信嘴边，“使此肉随兄为土，庶己不负昔誓也”。单雄信吃下了代表兄弟之情的肉，从容赴死。不久，他的父亲李盖平安归来。原来窦被擒后，留守的将领立刻降了唐，李盖于是获救。
李渊毫不留情地处死了窦建德（窦可没杀李通），接着又纵容派到河北的接收官员欺压迫害窦建德的旧部，还让窦的主要将领到长安“见面”。燕赵自古多悲歌，窦又一向得河北人心，李渊的步步进逼，终于引起剧烈反抗，窦建德旧部在刘黑闼、徐圆朗领导下于武德四年七月扬旗再起，河北豪杰纷纷杀掉唐朝官员而响应。
淮安王李通，李渊的堂弟，先前被俘虏，于是李渊派他来打这必然胜利的一役。不料人算不如天算，九月，李通在饶阳与刘黑闼决战，唐军在兵力上占绝对优势，但却惨败。此时李世绩仍然担任黎州总管，负责李通的后勤，李通大败后仓皇撤退，李世绩临时拼凑了两万残兵，十二月，两军在明州展开一场攻防战，李世绩被打的全军覆没，突围逃走。作为当时最杰出的大将之一，李世绩分别在窦建德和刘黑闼手上有过两次全军覆没的惨痛经历，而与李齐名的李靖则从未有过大败的记录（小败是有的）。当然不能因此证明李世绩不如李靖出色，但至少他运气不如李靖好，两次惨败都遇到了杰出的对手，都是寡不敌众又不能主动撤退。
武德五年三月，李世民、李世绩在明水全歼刘黑闼主力，刘突围后投奔突厥而去。此役世绩因人成事得了些功劳，而且在作战时他被刘偷袭，匆忙来援的李世民落入刘军包围，若非尉迟敬德奋不顾身救出李世民，贞观之治也许就没了。
当时窦建德旧部分为两个派系，刘部占据河北，以明州为中心；徐圆朗部在山东活动，以徐州、兖州为中心。消灭刘后，李世民将矛头指向徐圆朗。当时李世民因争太子之位失宠于李渊，李渊不想再让他在外领兵，于是唐军临阵换将，以李通、李世绩继续进攻徐圆朗，而二李中李通只在后方坐镇，真正在前方指挥的是李世绩。（徐圆朗不是窦的嫡系，一贯见风使舵，在投降窦建德之前曾短暂地降唐，后来看窦势大又降窦，窦在虎牢失败徐立刻降唐，刘起兵后徐又叛唐起兵响应……真是乱世“豪杰”！）。徐圆朗本就不得人心，却又杀了大豪刘世彻，未与唐军决战，徐部的士气也已经烟消云散了。武德六年二月，徐部崩溃，徐在逃亡途中被野人（也就是小土匪）所杀。
武德六年八月，辅公佑率江淮军叛唐自立。在对辅公佑的作战中，唐军的实际指挥是李靖，不过唐军的主力是李世绩部，因此他倒也没少立功。武德七年三月，辅公佑兵败被擒，捉住他的就是李世绩的部队。镇压辅公佑是唐朝争天下的最后一次大战，从隋末开始的乱世就这样终结，天下归唐。
太宗即位，三十二岁的李世绩拜并州都督。强悍的突厥骑兵是唐初面临的主要危胁，衰微的国力使唐朝不得不对突厥采取退让宽容的态度。当其时，东突厥再次南下，突破晋阳门户石岭关，攻占晋阳、榆次，在太谷全歼并州道行军总管张瑾的大军。于是太宗李世民任命李靖为灵州总管，李绩为并州总管，以抵御突厥护卫京畿。
贞观三年（公元六二九年）秋，唐代州都督张公瑾上疏，列举六条可以攻打突厥的理由。太宗命李世绩为通漠道行军总管，李靖为定襄道行军总管，柴绍为金河道行军总管，薛万彻为畅武道行军总管，统兵十万，由李靖指挥，分道出击突厥。贞观四年正月，李靖率骑兵趁黑夜攻下定襄，李世绩在白道（今内蒙古呼和浩特市北）大破突厥。颉利既败，卑词请降作缓兵之计，在铁山休兵息马，准备进入漠北。李靖与李世绩会师白道，合谋进兵。唐军乘夜出兵，李靖在前，李世绩在后。在阴山俘获突厥千余帐。当时唐朝派遣的议和使臣唐俭正在突厥营中，颉利可汗毫无战争准备。唐将苏定方为前锋，李靖率大军随后进发，唐军奋击，突厥兵溃散，被杀死万余人，俘虏十余万人，缴获牲畜数十万头，颉利可汗乘千里马逃跑。李世绩堵截突厥归路，颉利无法北归，各部酋长纷纷率众投降，李世绩俘虏五万余人。于是彻底消除了东突厥对唐朝的危胁。
李绩守卫治理并州的十六年中，纪律严明，政绩卓著，史曰“令行禁止，民夷怀服”。唐太宗曾欣慰地说：“炀帝不择人守边，劳中国筑长城以备虏。今我用绩守并，突厥不敢南，贤长城远矣！”（意思为：隋炀帝不懂得选择良将来戍守边防，只知道劳民伤财修筑长城。现在我任命李绩镇守并州，突厥不敢南下而牧马，这岂不比修筑长城胜过百倍。）也正因为于此，即使以后在晋王李冶遥领并州大都督期间，担任都督府长史的李绩也一直是并州实际的最官长官。后来在唐太宗为册立太子而迟疑不决的时候，李绩坚定地站在了晋王李冶一边，并成为太子的重要辅臣。李绩与晋王李冶的故旧关系，正是决定李绩态度的主要原因。
李世民刚夸过李世绩“边尘不惊”，并召其为兵部尚书，未至，就遇到薛延陀之子大度设率领八万骑进攻李思摩。太宗下诏让李绩为朔方道行军总管，将轻骑六千，大败度设于青山，“斩名王一，俘口五万”——薛延陀惯用的作战方式十分怪，薛延陀战士都配有战马，但他们并不是骑兵，
