随着李世民的威信越来越高，李渊对这个儿子也越来越不满。有一次，李世民论功行赏，将一块好地分给了淮安王李神通，得罪了李渊宠爱的妃子张婕妤。张婕妤向李渊吹耳边风，李渊将李世民痛骂了一顿。李世民的幕僚杜如晦路过李渊另一个宠妃尹德妃的父亲尹阿鼠的府门，尹阿鼠的仆人把杜如晦拉下马，说：“你是什么人，过我家大门而不下马！”痛打杜如晦一顿，杜如晦一个手指被打折，但是尹阿鼠恶人先告状，让尹德妃向李渊诬告杜如晦欺侮他的家仆。李渊听信谗言，将李世民叫来，骂道：“朕宠爱的妃嫔家人都受你身边的人欺凌，何况是普通百姓呢！”李世民反复为自己辩解，但李渊始终不信。从此以后，李渊日渐疏远李世民。
李渊对李世民很苛刻，对于李建成却想方设法维护。为了让李建成顺利接班，李渊想方设法消弱秦王府势力，增强太子党的势力，还把守卫宫廷（玄武门）的卫队兵权交给李建成，将这紧要之处置于李建成的控制之下。李渊还设法给李建成造势，将一些功劳归于李建成名下，以提高其威信。李建成生怕李世民争夺皇位，于是勾结齐王李元吉、张婕妤、尹德妃等人，想暗算李世民。
