赵高投向了桓玄，这是桓温去世时只有四岁的幼子，一个已经被认定没有什么威胁的存在。
桓玄并非没有家底，钟爱他的父亲桓温不但把南郡公这个爵位留给了他，还把赵高奉献上来的数千战马帮他组建了一支骑兵私军，在桓温诸子里，是唯独的一分儿。
然而这并没有什么作用。如果桓温能够再活十年，也许天赋异禀的桓玄还能用得上，可随着桓温的离世，这所有的一切也就成为了镜花水月，看看还行，却是再也用不上了。
没有了实权，南郡公不过就是一个虚头，连属官府邸都被省略了，桓玄不过是跟在叔父桓冲后面的一个落魄少年公子。而桓温精心打造的千余骑兵，虽然名义上最高的统帅还是他，可实际的指挥权早已回到了龙亢桓氏的手中，这是整个家族利益上的选择，不容许个人利益上的抗争。
而之所以桓玄还能保留这个职位，只不过是因为赵高每年奉献上来的数万缗军费被他指定用在了这支私军上——这笔军费，已经被看成了桓温与赵高的君臣私谊。龙亢桓氏不是没有打过这一笔巨款的主意，赵高也不反抗，只是在来年停掉了进奉而已。他所表露的意思很明显，就是我侍奉的仅仅只是桓温及他的继承者，而不是整个龙亢桓氏。
在来回反复牵扯了数个回合之后，双方都选择了维持现状，赵高和龙亢桓氏都默契地谁也不点破这一点。桓玄终于保住了他在桓氏的最后一点颜面，而桓氏则获得了桓温留下的最后一点遗泽。
失去了桓温，哪怕桓冲还保有着不少的兵权，桓氏终究是大大不如以前了。
骤然从天堂跌落人间的桓玄极其早慧，或者说人情上的冷暖让他不得不比其他孩子更早地长大。当他的叔父桓冲辞掉扬州刺史的时候，扬州文武全来告别，桓冲摸着他的头说：“此汝家之故吏也。”刚刚满七岁的他居然能够听懂这句话的内在含义，于是“涕泪覆面”。
桓温死了，桓冲成为了晋皇室的大忠臣，这的确是能力不足时保护桓氏最好的选择，却让继承了桓温爵位的桓玄处在了一个无比尴尬的位置——桓温留下的六子中，桓熙桓济因为谋杀桓冲被流放长沙，桓歆整日如履薄冰闭门不出，桓祎被吓成了个傻子，桓伟和桓玄则因为年龄还小，被叔父桓冲收养。
无论是向新主卖好，还是撇除自己身上桓氏党羽的嫌疑，原先桓温门下的众多宾客忙不迭地和桓玄保持着距离。人心都是肉长的，身处在漩涡之中的桓玄怎么可能感受不到？况且因为桓温晚年的反意已昭，桓玄一直没有被授予任何官职——这在士族豪门里无疑是令人切齿的另类。
幸好这个时候赵高站了出来，让桓玄感受到了人间的一缕温暖情意。
自从桓玄懂事以来，每年赵高除了奉上一笔军费之外，额外总会给他带上一笔不菲的财物让他纳入私库，成为他维持豪门子弟身份必要的一项开支来源，而有时赵高还会送上一点小物事如小狐狸等逗他开心。经年累月下来，这让从未见过赵高的桓玄心中对他充满了依赖式的好感。
另外，自从王猛去世以后，大秦治下的各个部族内部的矛盾日益激化，赵高的乞活军可没有闲着，一直游走在其边缘地带，时不时地劫掠个部落什么的，抢回来的战马基本都送给了桓玄。所以在那支骑兵之外，桓玄手上还握有另一支私军骑兵，大概是出于亏欠，桓冲对这件事也一直是睁一只眼闭一只眼。
无论是古是今，忠臣义士往往都是最先被原谅的。