《歷代兵制》記：京師之兵，止南北軍及中尉緹騎、郎中令諸郎、城門校尉屯兵。北軍屬太尉，南軍屬衛(wèi)尉。武帝更太尉為大司馬大將軍，以寵將帥；而北軍分八校尉，以中壘領(lǐng)之（中壘、屯騎、步兵、越騎、長水、胡騎、射聲、虎賁，凡八。）

東漢

東漢時(shí)期，以太尉、司徒司空為三公，太尉管軍事，司徒管民政，司空管工程，三公各自行使所負(fù)責(zé)事項(xiàng)的監(jiān)察權(quán)，分別開府，置僚佐。但東漢實(shí)權(quán)已轉(zhuǎn)移到尚書臺(tái)，太尉實(shí)為丞相﹐與西漢早期掌武事的太尉名同而實(shí)異?？梢娪诠糯?，帶兵打仗的任務(wù)并不好當(dāng)，或立或廢并不取決于軍事修養(yǎng)水平的高低，而是政治決策與改革的出頭鳥，治國則先治軍。

太尉作為最高武職，除了評定全國武官的功績高下、以為升降的依據(jù)外，就是作為皇帝的最高軍事顧問。漢朝軍隊(duì)由各將軍、校尉統(tǒng)領(lǐng)，太尉不能直接指揮軍隊(duì)。例如周勃平定諸呂之亂時(shí)，身為太尉，卻不能進(jìn)入上將軍呂產(chǎn)所指揮的北軍，只得詐稱帝命方進(jìn)入北軍營地并取得指揮權(quán)。

魏晉南北朝

按魏武帝曹操廢三公制，自任丞相。其子曹丕即位時(shí)短暫恢復(fù)，拜賈詡為太尉。后又撤銷。曹叡時(shí)，青龍三年（235年）大將軍司馬懿轉(zhuǎn)任太尉，駐兵雍涼。

隋唐至元朝

隋唐以來，決策權(quán)轉(zhuǎn)移至中書門下，而行政權(quán)在尚書六部手中。三師（太師、太傅、太保）、三公（太尉、司徒、司空）品級雖高，無實(shí)際職事，一般只是作為加官，尤以唐后期各種檢校官為甚。