Родился 4 июня в поселке Вагай Омутинского района Тюменской области. Там проучился восемь классов. Затем семья переехала в город Урай Ханты-Мансийского автономного округа. В местной школе №1 получил свидетельство о десятилетнем образовании. Поступил в Тюменское училище №1 (железнодорожников). По окончании работал помощником машиниста грузовых поездов на Свердловской железной дороге в локомотивном депо станции Тюмень.
Отсюда 10 ноября 1968 года призван в Вооруженные Силы, направлен в погранвойска. Службу начал на Дальнем Востоке со школы сержантского состава 69 Краснознаменного Камень-Рыболовского пограничного отряда.
15 марта 1969 года армия Китайской Народной Республики предприняла попытку вооруженного захвата острова Даманский в русле проходившей по государственной границе реки Уссури. Советские пограничники вступили в сражение. В бою Анатолий Иосифович погиб.
Он награжден медалью «За отвагу» (посмертно).
Похоронен в братской воинской могиле села Камень-Рыболов. Урайская гимназия теперь носит имя А. И. Яковлева. Фамилия героя увековечена на мраморной плите монумента погибшим (пропавшим без вести) в локальных войнах и военных конфликтах жителям Тюменской области мемориального комплекса павшим защитникам Отечества в сквере Губкина областной столицы. В Тюмени и в Урае его именем названы улицы, в родном селе – переулок. В музее истории железнодорожного транспорта в Тюмени находится экспозиция, посвященная Анатолию Яковлеву. Ее изготовил ветеран локомотивного депо - Селиванов Юрий Александрович.