Из казаков. Окончил школу-семилетку, Терский сельскохозяйственный техникум. Работал зоотехником. В 1939 году призван в Красную Армию. Окончил Кемеровское миномётно-артиллерийское училище в 1940 году. Сразу после выпуска направлен командиром взвода 81-го стрелкового полка 123-й отдельной стрелковой бригады, и в её составе направлен на фронт. Участвовал в советско-финской войне, был ранен. После выздоровления с 1940 года — командир миномётного взвода 681-го стрелкового полка 133-й стрелковой дивизии в Сибирском военном округе (Бийск).

На фронтах Великой Отечественной войны с 5 июля 1941 года, когда поднятый по тревоге полк прибыл на фронт. Последовательно был командиром миномётного взвода 681-го стрелкового полка на Западном фронте, с января 1942 года — командиром миномётной роты 140-й отдельной стрелковой бригады на Волховском фронте, с июня 1942 года — заместителем командира, а с декабря 1942 — командиром миномётного батальона, в 1943 году — командиром миномётного дивизиона в той же стрелковой бригаде.

С 1943 года — командир 259-го отдельного истребительно-противотанкового артиллерийского дивизиона, с сентября 1944 года — командир отдельного самоходного артиллерийского дивизиона 136-й стрелковой дивизии на 1-м Украинском, 1-м Белорусском и 2-м Белорусском фронтах. Участвовал в Смоленском оборонительном сражении 1941 года, в Калининской оборонительной операции 1941 года, в оборонительном и наступательном этапах Московской битвы, в битве за Днепр, в Корсунь-Шевченковской операции, в Львовско-Сандомирской операции, в Восточно-Прусской операции, в Восточно-Померанской операции, в Берлинской операции.

Проявил себя отважным и талантливым командиром. В конце 1943 года западнее Киева силами своего артдивизиона при поддержке двух взводов противотанковых ружей отбил атаку 50 танков врага, применив методы артиллерийской засады и заманивания врага в огневой мешок. В скоротечном бою противник потерял 17 танков и отказался от дальнейших атак на этом направлении. Войну окончил в северной Германии, в районе города Штеттин. За время войны был ранен 4 раза (в том числе в декабре 1941, мае 1942), награждён 6-ю боевыми орденами. Прошёл в годы войны путь от лейтенанта до майора.

После Победы год командовал дивизионом, затем поступил в академию. В 1949 году И.К.Яковлев окончил Военную академию бронетанковых и механизированных войск имени И.В.Сталина. Назначен заместителем командира, а в 1950 году — командиром 37-го танкового полка в Группе советских войск в Германии. С 1952 года — заместитель командира, а с июля 1954 по ноябрь 1956 годах — командир 25-й гвардейской механизированной Криворожской Краснознамённой дивизии (г.Браилов, Румыния). В 1958 году окончил Военную академию Генерального штаба.

С 1958 года был начальником отдела Управления военно-учебных заведений Министерства обороны СССР, с 1960 года — начальник отдела в Главном штабе Сухопутных войск, с 1963 года — начальник Программно-уставного управления в Главном управлении боевой подготовки Сухопутных войск. С 1965 года — заместитель командующего войсками Московского военного округа по боевой подготовке.

14 мая 1968 года в звании генерал-лейтенанта танковых войск был назначен на должность начальника Главного управления внутренних войск, внутренней и конвойной охраны Министерства охраны общественного порядка СССР. Впоследствии после реорганизации министерства, с 11 февраля 1969 года должность именовалась: начальник Главного управления Внутренних войск МВД СССР — начальник внутренних войск. По воспоминаниям самого И.К.Яковлева, его назначению уделялось большое внимание и перед назначением его принимал лично Л.И.Брежнев.

Эту должность занимал в течение восемнадцати лет. За это время полностью изменил облик внутренних войск, превратив их из территориальных военизированных формирований в мобильные мощные современные войска, способные выполнять самые сложные правоохранительные задачи. Произвёл реорганизацию управления войсками, создав региональные Управления Внутренних войск (аналог военных округов в Вооружённых Силах, ранее дивизии ВВ подчинялись непосредственно начальнику войск). При Яковлеве во внутренних войсках появились авиационные и морские части, резко выросла боеспособность войск. В 1969 году утверждён Устав боевой службы внутренних войск. Следует признать, что благодаря его работе Внутренние войска встретили период многочисленных межнациональных конфликтов и обострения террористической угрозы в готовности отражать эти новые угрозы. Воинское звание генерал армии ему присвоено указом Президиума Верховного Совета СССР от 7 мая 1980 года.

Активно участвовал в ликвидации последствий аварии на Чернобыльской АЭС. Тогда для действий в зараженной зоне было направлено свыше 15 тысяч военнослужащих Внутренних войск. Яковлев лично долгое время находился в районе аварии, решая на месте организацию службы, быта, дезактивационной обработки людей и техники.

24 декабря 1986 года освобождён от занимаемой должности после захвата пассажирского самолёта в Уфе военнослужащими Уфимского конвойного полка внутренних войск МВД Мацневым и Ягмуржи и убийства ими нескольких человек, а также ряда конфликтов на этой почве с новым Министром внутренних дел СССР А.В.Власовым. Назначен военным инспектором-советником Группы генеральных инспекторов Министерства обороны СССР. С 1992 года — в отставке. В июле 1996 года был назначен консультантом Главнокомандующего Внутренних войск МВД России, активно работая на этом посту до конца жизни. Также активно работал в Совете ветеранов ВВ МВД России.

Жил в Москве, скончался 13 сентября 2002 года, похоронен на Троекуровском кладбище.

Член КПСС с 1942 года. Депутат Верховного Совета РСФСР 8-11 созывов.