Родился 23 (11) ноября 1844 года в городе Тюмени в семье священника. Учился в Тобольской гимназии, а после на физико-математическом факультете Казанского университета. После учебы Иван Яковлевич несколько лет служил в канцелярии Главного Управления Западной Сибири в Омске; в 1869 году он перешел на службу в Омскую мужскую гимназию воспитателем и преподавателем естествоведения.
В 1876 году участвовал в международном конгрессе ориенталистов в Санкт-Петербурге. В 1877 году совершил экспедицию в Кокчетавский уезд Акмолинской области, после в «Записках» ЗСОИРГО опубликовал ряд важных в научном отношении работ, посвященных археологии, палеонтологии, ботанике, зоологии Сибири.
В 1877 году стал одним из учредителей Западно-Сибирского отдела Русского географического общества.
В 1879 году Иван Яковлевич был назначен директором открывшегося в Тюмени Александровского реального училища, в котором и проработал последние 27 лет своей жизни. Здесь он проявил себя блестящим организатором, создал музей и библиотеку. В училище Словцов преподавал естественную историю и географию, результатом его педагогического опыта стали два учебника: «Краткая физическая география» и «Обозрение Российской империи сравнительно с важнейшими государствами», которые неоднократно переиздавались. Иван Яковлевич принимал участие в многочисленных экспедициях по Средней Азии, Уралу, Тянь-Шаню, Казахстану и Западной Сибири; проводил геологические, археологические, исторические, почвоведческие, зоологические исследования Западной Сибири. Собрал богатую коллекцию сибирских древностей, опубликовал свыше 30 статей по региональному краеведению.
Из Омска в Тюмень Иван Яковлевич перевез свою богатейшую коллекцию, собранную им в многочисленных экспедициях. Часть экспонатов этой коллекции использовалась в учебном процессе, остальные хранились в упакованном виде в доме, где находилась квартира директора Александровского училища. Николай Мартемьянович Чукмалдин выкупил коллекцию Ивана Словцова и передал ее городу для устройства общедоступного музея.
В 1906 году Иван Яковлевич Словцов подал в отставку с поста директора училища и уехал к сыну в Санкт-Петербург, где и умер в 1907 году. Похоронен рядом с супругой на Никольском кладбище Александро-Невской Лавры (8 участок, у Южной стены) в Санкт-Петербурге.
Награды: ордена Святого Станислава 1-й и 2-й степени, Святого Владимира 3-й и 4-й степени, Святой Анны 2-й степени, медалей Стокгольмской академии и Русского географического общества.
В Тюмени одна из улиц названа именем Словцова, а также на фасаде здания бывшего Александровского училища установлена памятная доска.
Виртуальная выставка разработана Тюменской областной научной библиотекой им. Д. И. Менделеева: