李膺饱读诗书，可谓文能安邦，武能定国。他不仅能收徒讲学，精辟地讲解经史子集，还能带兵打仗。他曾历任青州刺吏和渔阳太守之职，曾在乌桓校尉任上打击过鲜卑人的入侵，作战时亲冒矢石，身先士卒，在军队中建立了很高的威信，也使鲜卑人感到畏惧。后来曾一度被免官，回家后开馆设坛，跟他学习的人多时竟达近千人。不久，鲜卑人屡屡侵扰云中郡，桓帝被迫起用李膺，让他做度辽将军，鲜卑人慑于李膺的威望，竟不敢入侵。
汉桓帝延熹二年（公元159年），李膺被任命为河南尹，他就联合耿直的官吏如廷尉冯绲、大司农刘佑等人一起打击宦官势力。羊元群在北海任上罢官回家，带走了许多财宝，甚至连厕所里的东西也带了回去，他上表请桓帝惩处羊元群，谁知羊元群用贪得的赃物贿通了宦官，反把李膺、冯绲、刘佑及地方郡右守刘瓆、成瑨一起逮捕，刘瓆、成瑨冤死狱中，经大臣陈蕃及司隶校尉应奉求情，李膺三人才被罚做苦工抵罪，后解免回家。
后来，李膺因名声太大又被起用为司隶校尉。司隶校尉是主管京城军事和治安的官员，在任上，他更加不畏权威，惩处宦官。野王县令张朔，是掌管宫门的权监张让的弟弟，他依仗哥哥，横行残暴，竟至杀孕妇取乐。李膺当了司隶校尉后，张朔十分恐惧，逃到张让的家里以躲避惩罚。李膺闻讯，立即派兵搜捕，张让也知李膺不好惹，吓得连忙让张朔藏在特制的空心柱子里。李膺搜查时发现了这个柱子，让人劈开，捕获了张朔。稍经审讯，就将他处死了。