Родился 5 октября 1919 года в поселке Дебальцево Бахмутского уезда Екатеринославской губернии (ныне город Донецкой области Украины) в семье рабочего. По окончании школы в 1937 году поступил в Харьковский институт инженеров железнодорожного транспорта. Однако учеба прервалась участием в советско-финской войне, куда отправился добровольцем.
В 1939 году вступил в ВКП(б)/КПСС. После окончания института в 1942 году работал инженером на Северо-Донецкой железной дороге. В 1942-1944 годах – секретарь Харьковского обкома ЛКСМ, инструктор ЦК ВЛКСМ (1942-1943 годы – на период оккупации Харькова), вновь секретарь Харьковского обкома ЛКСМ. С 1944 года на партийной работе: инструктор и заведующий сектором обкома, Харьковского обкома КП(б) Украины. В 1945-1948 годы – слушатель партийной школы при ЦК КП(б) Украины. В 1948-1951 годах – второй секретарь Орджоникидзевского райкома КП(б) Украины города Харькова.
В 1951-1956 годах – секретарь, в 1956-1961 годах – второй секретарь Иркутского обкома КПСС. С апреля 1961 по декабрь 1973 года – первый секретарь Тюменского обкома (в январе 1963 – декабре 1964 года – сельского обкома) КПСС. Руководил Тюменской областью более 12 лет.Современники отмечали эрудицию Бориса Щербины, умение принимать взвешенные решения, глубоко проникая в суть проблемы. В сжатые сроки ему удалось мобилизовать все силы региона на решение главной задачи, связанной с освоением недр Западной Сибири. Под его руководством и при непосредственном участии в 60-70-е годы на территории Тюменской области был реализован грандиозный проект по разведке и освоению месторождений углеводородного сырья. В этот период в регионе бурное развитие получила авиация: создавались авиапредприятия, осваивались новые типы воздушных судов, росли объемы перевозок и авиационных работ, были построены десятки аэродромов и сотни посадочных площадок.
С 11 декабря 1973 по 13 января 1984 года – Министр строительства предприятий нефтяной и газовой промышленности СССР.
Основатель качественно новой индустриально-мобильной отрасли по созданию трубопроводов и обустройству месторождений. Стоял у истоков вахтово-экспедиционного и комплектно-блочного строительства в условиях Крайнего Севера. За десятилетие нахождения Щербины во главе Миннефтегазстроя СССР строители создали целую сеть газо- и нефтепроводов в западную часть страны и за рубеж. Были привлечены ученые России, Украины и Белоруссии к решению технологических и технических проблем на этих трассах, сооружаемых в условиях болот, вечной мерзлоты, очень низких температур и бездорожья. Началась автоматизация промыслов и обслуживание их вахтовым методом. А главное – удвоилась длина магистральных трубопроводов и в несколько раз возросли годовые темпы обустройства нефтяных и газовых промыслов, что позволило стране выйти на первое место в мире по добыче нефти и газа.
Указом Президиума Верховного Совета СССР от 6 октября 1983 года за большие заслуги перед Советским государством в области строительства предприятий нефтяной и газовой промышленности и в связи с досрочным вводом в эксплуатацию магистрального газопровода Уренгой – Помары – Ужгород на установленную мощность, Щербине Борису Евдокимовичу присвоено звание Героя Социалистического Труда с вручением ордена Ленина и золотой медали «Серп и Молот».
С 13 января 1984 по 7 июня 1989 года – заместитель Председателя Совета Министров СССР. Одновременно в 1986-1989 годах – председатель Бюро Совета Министров СССР по топливно-энергетическому комплексу.
В апреле 1986 года был назначен председателем Правительственной комиссии по ликвидации последствий аварии на Чернобыльской АЭС.
26 апреля 1986 года вылетел в Киев, откуда, вместе с другими членами комиссии прибыл в город Припять, 50-тысячное население которого на следующий день по решению комиссии было эвакуировано. Считается, что неоднократные командировки в зону аварии на Чернобыльской АЭС существенно подорвали здоровье Бориса Евдокимовича и сократили ему жизнь.
В декабре 1988 года Борис Щербина был назначен председателем Правительственной комиссии по ликвидации последствий землетрясения в Армении.
С июня 1989 года – персональный пенсионер союзного значения.
Скончался 22 августа 1990 года. Похоронен в Москве на Новодевичьем кладбище.
Награжден 4 орденами Ленина (1969, 1972, 1979, 1983), орденом Октябрьской Революции (1971), 2 орденами Трудового Красного Знамени (1957, 1966), медалями.
На главной улице Тюмени – улице Республики – в сквере имени Немцова 26 ноября 2004 года был установлен бюст Б. Е. Щербины. На фасаде дома по улице Хохрякова, 48 установлена мемориальная доска.
Именем Бориса Щербины назван самолёт авиакомпании «ЮтЭйр» Ту-154М с бортовым номером RA-85788, сведения внесены в государственный реестр гражданских воздушных судов Российской Федерации.
В Тюмени одна из улиц носит имя Бориса Щербины.К 100-летию со дня рождения здесь установили памятную доску.