刘秀虽然是汉室宗亲，但他势单力薄。刘秀老婆阴丽华家则是新野的豪族，汉宣帝时成为巨富。田地有700多顷。刘秀哥哥起兵时，阴丽华的哥哥阴识率宗族家人千人参加起义。刘秀两个姐姐也嫁给宛之豪族李勇和新野豪族邓晨。王莽毁邓家墓时，邓氏宗族还骂邓晨：“家颇富足，奈何从妇人之家，受苦劳”。刘秀姥姥家也是大族。
刘秀为了与河北真定王刘杨结交，娶了他的外甥女郭圣通为妻。后来刘秀废了郭圣通而重立阴丽华，皇后废立是河北与南阳大族之间强弱变化造成的。
刘秀还和功臣结亲，刘秀以后的皇帝，皇后都出自功臣之中。比如汉明帝皇后是伏波将军之女马皇后，章帝的窦皇后则是大司空窦融之女。
虽然刘秀与功臣们结亲，前期起到了一定作用，但却给后世埋下隐患。因为各地豪强开始为所欲为，而皇帝却放任不管。
百年羌乱灭亡
东汉依靠豪强巩固了统治，但反过来豪强制度给了汉朝造成了损失。像西北地区羌人之乱，根本原因是东汉豪强之乱引起。西北羌乱持续一百多年，从汉明帝一直到东汉名存实亡。
东汉羌乱主要因为东汉边关政策所导致，东汉派兵守边开垦，使羌人无地可种，造成了矛盾。比如羌乱集中的凉州地区战略位置重要，但东汉时却降低对凉州的重视。汉羌之战时，东汉甚至想放弃凉州。汉安帝还曾发生过弃城还是保城的矛盾心理。
据史料记载凉州“二千石、令长多内郡人”，都是凉州豪强，与凉州本地并没有多大联系。因此他们“并无守战意”、“畏恶军事，皆不肯专心坚守”。
这种不关心边关的豪强使羌乱越来越多，实力越来越强。造成了“始自凉、并，延及司隶，东祸赵、魏，西钞蜀汉，五州残破，六郡削迹，周千里，野无孑遗……”的局面。
东汉派兵去平乱，将领却贪污，东汉耗资巨大用12年才基本平定，严重削弱了东汉的实力。汉顺帝时羌乱又起，东汉不得不再耗费钱财去平定，再富有的王朝也搁不住如此折腾。
汉桓帝时期，凉州刺史部“三明”即段颎（字纪明）、皇甫规（字威明）、张奂（字然明）三位将领铁血镇压羌乱，杀死数万西羌人，此乱才算基本平定。
到了汉灵帝时，羌人再次作乱，此时西北的董卓借助西羌人打压黄巾军，并入主中原，把持东汉朝政，东汉进入三国时期，此时的东汉已经名存实亡了。
可见当初刘秀所实行的“与豪强共治天下”体制，实际上给东汉留下巨大隐患。
