年轻时期的曹操机智警敏，擅长随机应变，而且任性好侠、放荡不羁，不修品行，不研究学业。
因此，当时的人不认为他有什么特别的才能，只有梁国人桥玄和南阳人何颙认为他不平凡。
桥玄对曹操说：“如今天下将要发生动乱，非命世之才不能解救，能够安定天下的，岂不是你吗？”
南阳人许劭以知人着称，他也曾评价曹操为“太平时的奸贼，乱世时的英雄”。
曹操早年就表现出对武艺的爱好与才能，博览群书，尤其喜欢兵法。
曾经抄录古代诸家兵法韬略，还注释过《孙子兵法》，这些为他后来的军事生涯打下了稳健的基础。
熹平三年（174年），曹操被举为孝廉，入京都洛阳为郎。
不久，被任命为洛阳北部尉，洛阳为东汉都城，是皇亲贵戚聚居之地，因此很难治理。
曹操一到职，就申明禁令、严肃法纪，造五色大棒十余根，悬于衙门左右，“有犯禁者，皆棒杀之”。
汉灵帝宠幸的宦官蹇硕的叔父违禁夜行，曹操毫不留情，将蹇硕的叔父用五色棒处死。
于是，“京师敛迹，无敢犯者”。
曹操也因此得罪了一些当朝权贵，他们难以中伤曹操，只得以举荐为名，将其明升暗降，外调为顿丘县令。
光和元年（178年），曹操因堂妹夫濦强侯宋奇被宦官诛杀，受到牵连，被免去官职。
其后，在洛阳无事可做，便回到家乡谯县闲居。
光和三年（180年），曹操又被朝廷征召，任命为议郎。
此前，大将军窦武、太傅陈蕃谋划诛杀宦官，不料其事未济反为宦官所害。
曹操上书陈述窦武等人为官正直而遭陷害，致使奸邪之徒满朝，而忠良之人却得不到重用的情形，言辞恳切，但没有被汉灵帝采纳。
光和五年（182年），朝廷令公卿按民谣检举刺史、二千石为害之人。
当时，太尉许戫、司空张济看着宦官的脸色行事，收取贿赂。
宦官子弟宾客，贪污卑鄙，许戫与张济不敢过问，却虚报纠举二十六个处于边远小郡清廉惠政的人。
官吏和百姓到京师申诉，陈耽和曹操上书：“公卿的检举，大都包庇各自的私党，是所谓‘放鸱枭而囚鸾凤’。”
其言忠切，汉灵帝因此责备许戫和张济，并将因谣言而被问罪的官员全部拜为议郎。
而后，东汉朝政日益腐败，曹操知道无法匡正，便不再进言。
中平元年（184年），黄巾起义爆发，曹操被拜为骑都尉，受命与左中郎将皇甫嵩等人合军进攻颍川的黄巾军。
右中郎将朱儁先到，与黄巾军波才部作战，失败，皇甫嵩退守长社。
面对波才的围困，趁夜纵火出击，使黄巾军惊乱后撤。
此时，曹操率军赶来，联合皇甫嵩、朱儁大破黄巾军，斩首数万级。
不久后，曹操调任济南国国相，在任内治事如初。
济南国有县十余个，各县长吏多依附贵势，贪赃枉法，无所顾忌，曹操之前历任国相皆置之不问。
曹操到职，大力整饬，一下奏免十分之八的长吏，济南震动，贪官污吏纷纷逃窜。
“政教大行，一郡清平”，而当时正是东汉政治极度黑暗之时。
朝廷征还曹操为东郡太守，拜为议郎。
曹操不肯迎合权贵，遂托病回归乡里，春夏读书，秋冬弋猎，暂时隐居了。
当时天下纷乱，发生了冀州刺史王芬联合南阳许攸、沛国周旌等地方豪强，谋划废黜灵帝立合肥侯的事件。
王芬等人曾希望曹操加入他们，但被曹操拒绝。
曹操在推辞的理由中说：“废立皇帝是天下最不祥的事了。古时有衡量轻重、计算成败而后施行的人，伊尹、霍光便是如此。这两个人都怀着至忠的诚心，以宰相的地位，凭借执政大权，加上同众人的愿望一致，故此能实现计划，成就大事。如今，各位只看到他们当初的轻而易举，而没有看到现在的困难。用这种非常的手段，想一定达到目的，难道不觉得危险吗？”