战马只是纯粹的运输工具，作战时他们都是步兵。薛延陀军队的基本编制是五人一小队，其中四人在前步战，一人负责看管马匹在后接应，如果战胜就大家上马追击，如果战败就大家拍马而去。游牧民族却不以骑兵作战，薛延陀算一个典型。怪的是，这种步兵战法竟然屡屡击败突厥骑兵，成效显著，薛延陀更具体的作战方法未见记载，相信不会是五人小队这么简单。这种五人小队的关键是看管马匹者，如果他不能完美配合直接作战的那四位，整个小队就会进退不得，因此薛延陀人都是让小队中较多经验的人去管马，而且还严格规定如果接应不力要军法从事。李绩对薛延陀的这种战法十分了解，双方交手时，绩自己吸引敌军，另派副将薛万彻去袭击薛延陀的马匹。由于薛延陀军的注意力完全被李绩吸引，结果被薛万彻乘虚夺取了马匹，敌军立刻乱成一团，李绩又令部下组成方阵，持长矛向薛延陀军冲击，薛延陀很快就全军崩溃。
击破大度设后，李绩结束十六年的并州生活，回长安就任兵部尚书。这时李世民已年岁渐高，正在考虑培养自己的接班人，自古皇室内乱多出在世代更替之际，李世民自己就是个典型例子，要顺利完成权力的交接，除了提高接班人本身的素质以外，还必须给他准备一批优秀的辅佐之臣，因此李世民在考虑太子人选的同时也着手为太子准备日后的栋梁。此时距隋末的乱世已有近三十年，与李绩同时代的谋臣大将们大多已垂垂老矣，而青年则尚不足以担当重任，惟李绩正当壮年，（不要忘记，他参加起义的时候才十七岁）其军政能力皆堪称杰出，又有“纯臣”的称号。李世民于此时将李世绩从并州前线召回，让他担当重要的内阁官员参与国事决策，其对李绩的期望不言而喻。
这一段时间李世民对李绩的宠遇之深，君臣关系之密切在中国历史上是极其少见的（昏君宠臣除外）。李绩突然得了重病，情况很不乐观，医生诊断后说用人的胡须烧成灰服用可以治愈，李世民就剪了自己的胡须为李绩配药（民间传说则是说必须用龙须做药引，出得了这个药引的也只有李世民了）。古人对身体发肤之爱惜是今人无法理解的，而头发指甲之类有时甚至被视为生命的象征，举例来说，尧舜禹汤中的成汤遇到大旱向天求雨时使用的祭品就是自己的指甲（记载是求雨成功），而曹孟德割发代首的故事也流传甚广。皇帝肯以自己的胡须为臣下配药，其中的意味只怕让当事人有生命不可承受之重。李世民也毫不掩饰自己对李绩的期望，李绩前来谢恩时，李世民告诉他，我对你好是因为“吾为社稷计耳”，你不用那么感恩戴德。太宗亲征高丽，以绩为辽东道行军大总管。在破盖牟、辽东、白崖等城的战役中，他也都立功多次。
贞观十七年，齐王李佑（是李世民的亲儿子，跟以前的齐王元吉没关系）受近侍燕弘亮蛊惑在齐地叛乱，李绩受命前往镇压。李佑起兵时，燕弘亮吹嘘说如果官军前来，燕某“右手持酒卮，左手为王挥刀拂之”。等到得知来镇压的官军是李绩，李佑部下的士气急剧下降，几个将领戴罪立功，发动兵变把李佑、燕弘亮抓住，李绩于是不费一兵一卒就平定了叛乱。
不久，太子李承乾担心太子之位被夺，密谋兵变杀李世民，随后最有希望继任太子的魏王李泰又使阴谋陷害晋王李治，几个儿子让李世民烦恼无比。李世民最后终于决定立最老实本分的晋王李治为太子。这个决定李世民首先告诉了长孙无忌、房玄龄、李绩、楮遂良四人，其实就是托他们照顾李治，这四人最先向太子李治宣誓效忠。四人中只有李绩是武将，而且绩在并州任上就是担任李治的长史，早就有君臣之缘，李世民对他也就不同于另三人。一次留宴上，李世民对李绩道：“朕思属幼孤，无易公者。公昔不遗李密，岂负朕哉？”李绩咬指出血，指天发誓，君臣畅饮一番，随后李绩不胜酒力醉倒当场，李世民脱下自己的御袍披在李绩身上为其御寒。
贞观二十三年，李世民病重，自知将不久于人世。他一生最大的遗憾就是没有调教好几个儿子，太子李治的治国才能其实很难让人放心，之所以立其为太子实在是因为其他儿子让人更不放心，眼看自己大限将到，如何能为儿子多做些预防工作就成了李世民最后的心事。当年立太子时挑选的四个辅政之臣中，房玄龄已经辞世，长孙无忌是太子的亲舅舅，楮遂良为人忠直又是文人，这三位都没问题，但李绩能力太强，太子和他也一直没是交流，自己死后万一有变则不堪设想。权衡再三，李世民决定用“市恩”的办法，李世民毫无理由地把李绩远远地贬出去当地方官，然后嘱咐太子，一登基就把李绩召回委以重任，这样李绩就会对新皇帝感恩戴德，誓死效忠。（新唐书：帝疾，谓太子曰：“尔于绩无恩，今以事出之，我死，宜即授以仆射，彼必致死力矣！”乃授叠州都督。）李绩接到贬官命令后，他毫无怨言，甚至连家都没回就立即离京赴任去了。一个正常人，就算是大大的忠臣，就算不会因无故遭贬而心生不满，离京前回家和亲人告个别总是应该的吧，李绩的行为可以说是超出常理。
贞观二十三年五月，李世民病故，六月，太子李治即位，即唐高宗。李治果然遵从李世民的叮嘱，一即位就把李绩召回，升官为尚书左仆射（相当与丞相），与长孙无忌、楮遂良同参机密。永徽四年，李治升李世绩为司空。为表示对李的器重，李治命人在凌烟阁为李世绩重新绘像，并亲自为该像题字。为避太宗偏讳，于是只名绩。
李治即位后无时不想消灭高丽，为父亲挽回面子，乾封元年，高丽的强权人物盖苏文病故，三个儿子为争领导权大打出手，大儿子泉男生失败后投奔了唐朝，请唐派兵平乱，还愿为前驱，当了把“高奸”。乾封元年十一月，李治以李绩为帅，出兵征讨高丽，副将有薛仁贵、契必何力等人，都是当时最优秀的将领。二年二月，唐军各部汇集于辽东，开始猛攻高丽。总章元年夏，李绩进围平壤城。平壤是高丽首都，城池非常坚固，当年高丽以劣势兵力死守平壤，使隋军无数勇士丧生城下而平壤始终不破。到李世绩围城时情况已与当年大不一样，高丽王高藏原本就是泉家的傀儡，当权的泉家又分成三派互相倾轧，高丽上层已是人心浮动，毫无士气可言。刚围城一个月，高丽王和泉家老三泉男产就派人到李绩军中要求投降，泉家老二男建倒是对得起盖苏文，打算坚持到底，但无奈手下将领叛变开了城门，唐军一拥而入，平壤于总章元年九月陷落，泉男建自杀未遂当了俘虏。高丽就此亡国，其国土成为唐朝的州县。回朝后，李治亲自告捷于太庙，加封李绩为太子太师。
总章二年（从高丽凯旋后次年）十一月，李绩突然得了重病，卧床不起。李治对他得病一事非常关心，专门下旨召李绩子弟在外者全部回京侍疾，又多次送医送药，但李绩已经厌倦了人世，除皇帝赐的药不得不吃以外，拒绝接受任何医疗。家人子弟求他就医，李绩答复道，“我山东田夫耳，位三公，年逾八十，非命乎！生死系天，宁就医求活耶？”李绩一生于戎马中取富贵，完整地经历了隋唐之际由治世到乱世再恢复治世这个过程，见证了无数的兴衰成败，到此时当年的主君、同僚、敌人已经全部先他而去，作为一个老人，他对生死应该已经很看得开了。就在当月，他病情加剧，平静地死去。李绩死后极尽哀荣，出丧当天，李治登未央宫目送他的灵柩，为之痛哭曰：“绩奉上忠，事亲孝，历三朝未尝有过，性廉慎，不立产业。今亡，当无赢赀。有司其厚赗恤之。”，李绩死后陪葬昭陵，冢起三山，象征着他曾经纵横驰奔过的阴山、铁山和乌德建山，而整个中国历史上，只有他和霍去病得到过坟冢起三山陪帝王而葬的殊荣。如今的唐太宗昭陵博物馆，就设立在李绩
