段韶字孝先，小字铁伐。是段荣的长子，在高欢早年当小兵的时候，是段荣的父亲段长帐下的一名兵士，后来因为娶了娄昭君，从她的嫁妆中得到了一匹良马，因而有机会结识时任镇将将领的段长。
并依军中的规定成为了一百名士兵的队主，从而可以作为军队头目跟随段长行军打仗，受到段长的赏识提携，与段昭的父亲段荣成了生死之交。
而段昭的母亲就是娄昭君的姐姐，所以段韶其实是武明皇后娄昭君的外甥。高欢就是他的姨父。
段韶自少就得到姨夫高欢的器重，将他罗致到身边，授他为亲信都督。
段韶少年时就擅长骑射，而且在军事方面颇有见地，有将帅之才。此外，家族姻亲关系也令他因此在年轻时就得到高欢的关照。
高欢对段韶很是器重，常安排在自己的左右，作为心腹看待。 中兴元年（531年），他跟随高欢抗抵尔朱兆，参与广阿之役的战斗。
当时，高欢手下只有不到三万的兵力，而尔朱兆则带领着二十万大军来攻打高欢。
大战前夕，高欢忧虑尔朱兆军势强盛，便问段韶说：
“孝先，如今敌众我寡，我们该怎么办？”
段韶答：
“姨父，所谓军队多，是指得到众人的拼死效力；所谓强大，是指得到天下的人心。那个尔朱兆为人狂妄奸狡，从他领军至今，一路上看到的，不是裂冠毁冕，就是拔本塞源。
他刚刚杀主立君，不过半月，天下思乱，十人有九个不服他的管治。
相反，姨父您亲行德义，替天下人翦除君侧的恶人，何往而不胜！”
高欢说：
“话虽如此，我纵使是以顺伐逆，奉命讨罪，但弱小处于强大之中，恐将失去上天的庇佑，你没有听说过这种说法吗？”
段韶说：
“我听说过小能敌大。所谓弱小者但行大道的人，上天对任何人虽说并无特别偏爱，但也只会辅佐保佑有德之人。尔朱兆外乱天下，内失民心，有智慧之人不会为他出谋划策，勇武之人不会为其拼死战斗。尔朱兆作为不肖者失职，姨父作为贤者将之夺来，还有什么好疑惑的？”
高欢听了段韶的话，也觉得他是个有勇有谋之人，而且还善于争取民心和支持，是个可以栽培的将帅之才。
高欢知道单靠仁义道德是不能打胜仗的，面对强敌，他也只能奋勇一搏。为了激励将士拼死求生的勇气，高欢命人用驴车、大石等障碍物堵死后退之路，告诉将士们，这一战只能向前冲杀，再无后路可退。
十月十五日，高欢便同尔朱兆展开交战，他自己奋勇当先，将三万军士分成五个纵队，从五个地方分次杀出，将尔朱兆的大军截成五段掩杀，令尔朱兆的大军首尾不能兼顾，军心大乱，成功将尔朱兆大军击溃。
十一月，段韶又随高欢进攻据守邺城的相州刺史刘诞。
到了（532年）闰三月的韩陵之战中，段韶率领自己的部众，首先冲进敌阵，大破尔朱兆等部队。
七月，他随从高欢离开晋阳，至永熙二年（533年）初追击尔朱兆余部到赤谼岭，并将其消灭 。段韶因消灭尔朱兆立下大功，凭军功被高欢封为下洛县男爵。
天平三年（536年）正月，段韶跟随高欢袭取西魏的夏州，活捉夏州刺史斛律弥娥突，因此被加封为龙骧将军、谏议大夫。
此后累积军功升迁为武卫将军。后来，高欢将段荣姑臧县侯的爵位授予段韶承袭。
邙山之战爆发。段韶跟随高欢出征时，就对高欢说：
“大王，您如今身份贵重，是敌军首要对付的人，不如改换普通兵士的衣服，混淆敌人的目光，让敌人认不出大王您的身份，这样才能确保大王的安全。”