最初被察舉為孝廉、茂才。為郎中，遷任霸陵、臨汾縣令，因父親去世而離職。后來太尉陳蕃、大將軍竇武相繼聘他為官，都沒有應召。漢靈帝以公車征辟他為侍郎，遷任北地太守。

二、平定黃巾

光和七年（184年），因叛徒唐周告密，太平道教主張角星夜傳檄四方，發(fā)動起義，史稱“黃巾之亂”。黃巾軍所到之處，燔燒官府，劫略鄉(xiāng)邑，一時，州郡失守，長吏逃亡，天下響應，京師雒陽為之震動。

東漢朝廷惶恐不安，馬上采取鎮(zhèn)壓措施，首先，漢靈帝命各州郡在雒陽外圍的八個關隘——函谷、太谷、廣成、伊闕、轘轅、旋門、孟津、小平津設置都尉，布防護衛(wèi)。

接著，任命何進為大將軍，率左、右羽林軍屯駐都亭；朝廷還采納了皇甫嵩和中常侍呂強的建議，解除黨禁，赦免天下黨人，拿出中藏錢和西園廄馬賜給將士。

另外，靈帝起用盧植為北中郎將、皇甫嵩為左中郎將、朱儁為右中郎將，各持節(jié)，調發(fā)全國精兵分擊黃巾軍。

皇甫嵩與朱儁調發(fā)五校（北軍五校，為中央主要常備軍，即屯騎、越騎、步兵、長水、射聲五校尉所將宿衛(wèi)兵）三河（河東、河內、河南）騎兵，同時招募精壯之士，共計四萬多人。二人各率一部，共同鎮(zhèn)壓潁川（郡治陽翟，今河南禹縣）黃巾軍。

朱儁先與黃巾軍波才部作戰(zhàn)，失敗?；矢︶灾坏猛耸亻L社（今河南省長葛縣東北），波才率軍圍城。當時，城中兵少，眾寡懸殊，軍中震恐。

皇甫嵩安慰部下，他說：“用兵有奇變，而不在兵數量多少?，F(xiàn)在賊人依草結營，容易因風起火。如果乘黑夜放火焚燒，他們一定驚恐散亂，我出兵攻擊，四面合圍，田單守即墨用火牛攻燕而獲勝的功勞就可以實現(xiàn)?！碧焖烊嗽?，當晚大風驟起。