之后，李渊以李世民功劳大、给李世民特殊照顾为由，在宫城以西修了冷僻狭小的弘义宫，想把李世民从太极宫赶出去。后世猜测，这可能是李世民掀桌子搞玄武门之变的导火|索。之后李世民把李渊迁到了弘义宫住。太上皇李渊居住的宫殿居然单薄狭窄冷僻无比，是李世民被后世无数人痛骂的“污点”之一。
李渊年号为“武德”，赐李元吉住武德殿，可见他对李元吉的偏爱。在新旧唐书中，都记载了李渊后期最为偏爱李元吉。李元吉并非是李建成的跟班。他撺掇李建成与李世民对抗，是想坐收渔翁之利。现在李渊对李元吉还没偏爱到那种程度，但也有几分喜爱。在唐国公府，李渊是说一不二的大家长。就算李世民和李玄霸已经在外独自打拼，但在唐国公府的地位仍旧是李渊说了算。窦夫人没有话语权。在父亲还在的时候，“孝”的对象只有父亲；只有父亲去世了，母亲才能依靠孝道在家中获得较高的地位。李渊偏爱李建成和李元吉，所以李元吉跳着脚与窦夫人对着干，窦夫人都无法说李元吉不孝。因为李渊没说李元吉不孝。如果窦夫人真的在外说李元吉不孝，李渊站在李元吉这一边，世人不会说李元吉不孝，只会说窦夫人不慈。李元吉已经九周岁，早就过了蒙童的年龄。他的教育窦夫人已经无法插手。李建成早就年过弱冠，孩子都有了好几个，行事更是自由。窦夫人对他们有养育照顾和劝谏的义务，但没有教管的权力。何况此时男主外女主内，窦夫人的活动范围局限于内院，顶多加上其他贵族的后院社交。李建成已经为官，他所做任何非内院的事都不需要知会窦夫人。何况李建成也不是擅自行动。他先知会了李渊，所派仆从和李渊派去的仆从一同去见李世民和李玄霸。论责任，他可以说已经免责了。所以此事的起因虽然是他的亲家，但李渊回家都得安慰他，说这是自己的错。窦夫人管不了李建成。她得知李建成派人训斥李世民和李玄霸这件事中有李元吉的撺掇后，想以母亲的身份责备李元吉不该挑拨离间。谁知道李元吉一哭二闹说窦夫人冤枉他，开始翻旧账说窦夫人先丢弃他，后来不肯抚养他，现在居然也一直讨厌自己，还诬陷自己。李元吉居然在唐国公府门口滚地大哭，引得不少人围观。李元吉这一滚，把李建成的气也挑了起来。李建成质问窦夫人为何诬陷幼弟，她这样做会损害幼弟的名声，说不定会耽误幼弟的仕途。窦夫人无可奈何，唯一能做的事就是让李世民和李玄霸住在别庄，让他们远离府中这些糟心事。万氏把李智云带到自己院子中小心藏着，不让他出门，连送去李世民和李玄霸所居住的别庄都不敢，怕他沾上麻烦。李渊在涿郡督送粮草有功，这次回洛阳肯定有赏。李世民和李玄霸也立了很大的功劳。父子三人一同升官，李渊正美滋滋的。谁知道一回来，得知家中又闹了笑话，李渊心里那气憋的啊，如果不是对窦夫人有感情，他都要骂人了。李渊心里憋着气，又不想对窦夫人说太重的话，就拉着窦夫人的族兄，陈国公窦庆喝酒抱怨。窦庆叹气：“你夫人早失怙恃，无人教导，不知道孩子长大后兄弟之情就和朝堂之事息息相关。她处理不了很正常。世间女子都是如此，你奢望她能弄懂这些事才不对。教养儿子本就是父亲的责任。你自己没教养好，责怪夫人做什么？难道是你之前把教养儿子的责任都推给了你夫人？那岂不更是你的错？”李渊被窦庆堵得无话可说，讪讪而归。窦庆摇头冷笑。李渊纵容李建成和李元吉，反怪族妹处理不周，真是可笑。只是这是唐国公府家中事，若不是李渊主动撞上来，他也不好询问。不过窦庆还是让自己夫人去寻窦夫人提点一二。即使都是她所生的孩子，也会有亲疏远近。如果实在是管不了就最好别管，本来管儿子就是男人的事，窦夫人何必去遭这个嫌？好好对待李二郎李三郎这两个懂事又出色的孩子，将来让李二郎李三郎孝顺她就行。窦夫人听后，将族嫂送走，没有回答。理是这个理，但情呢？李渊只知道一味纵容。李建成和李元吉，特别是李元吉，当着李渊时从来不会露出他们不好的一面。只要他们不露出来，李渊就不知道。只有自己看见了，觉察了。若自己什么都不做，还当什么母亲？如果将来兄弟真的相残，她又要如何自处？现在李元吉才九岁就会挑拨离间了。不趁着李元吉还小多管束，难道还指望李元吉自己变好吗？李世民和李玄霸回到唐国公府时，能看出母亲很明显的憔悴衰老了许多。连祖母在的时候，母亲都没有如此疲惫过。李世民私下对李玄霸叹气：“虽然祖母对娘亲苛刻，但那时李建成有祖母管束，李元吉还小，娘亲过的竟然比现在还轻松些。”李玄霸道：“那时我们也还小，不会与李建成、李元吉有矛盾。”李世民骂道：“我们是和李建成有利益矛盾。他担心我们抢了他的风头，也算是有道理和我们交恶。但那李元吉是个什么畜生？！我们与他有利益冲突吗？？他跳得比李建成还厉害！！这才九岁，长大了还得了？天啦，为什么他还不早夭！”李玄霸无言以对。他也觉得李元吉是不是有什么先天疾病，怎么从小到大都不干人事？想着唐国公府这一家子，李渊虽配不上开国皇帝那一桌也能当上割据势力的雄主，李建成虽然平庸但在勋贵子弟中也是属于不害民的“好勋贵”，
情欲小说