Родился 28 декабря в селе Ожогино Ялуторовского уезда Тобольской губернии в крестьянской семье. В 1920 году Павел окончил начальную школу и устроился работать в сельхозартель «Звезда». Спустя два года в Ялуторовске юношу приняли в ряды ВЛКСМ, после чего он устроился на работу в райком. До 1926 года Павел Фитин совмещал работу с обучением в школе.
В марте 1927 года Павел Михайлович вступил в ряды ВКП(б) и до июня 1928 года работал председателем «бюро Юных пионеров», заместителем ответственного секретаря Шатровского райкома ВЛКСМ (Тюменский округ).
После школы будущий разведчик поступил и в 1932 году окончил инженерный факультет Сельскохозяйственной академии имени Тимирязева в Москве. Будучи студентом последнего курса, работал заведующим конструкторским факультетом.
Трудовой путь продолжился в соответствии с распределением в издательстве «Сельхозгиз» на должности заведующего редакции. В 1934 году его призвали на службу в Красную армию. После демобилизации вернулся в издательство, которое вскоре возглавил.
В марте 1938 года Павла Фитина направили по партийному набору на шестимесячные курсы в высшую школу НКВД. Затем окончил специальные ускоренные курсы в Школе особого назначения, которая готовила кадры для внешней разведки. В ноябре того же года стал стажером в пятом отделе ГУГБ НКВД СССР – отделе внешней разведки. Уже через год Павла Михайловича назначили начальником внешней разведки органов госбезопасности. В этой должности он работал до 1946 года.
В предвоенный период, когда Фитину благодаря источникам резидентур за границей стало известно о том, что Германия готовится к нападению на СССР, он с января по 21 июня 1941 года направил И. В. Сталину свыше ста разведывательных донесений.
В период Великой Отечественной войны Павел Михайлович сделал все зависящее от него для того, чтобы обеспечить политическое руководство страны достоверной политической информацией о стратегических замыслах германского командования и сведениями о перспективах открытия «второго фронта» в Европе. Фитин обеспечивал руководство документальными материалами о планах союзников СССР по антигитлеровской коалиции в послевоенный период, в том числе по разработке ядерного оружия. После победы в Великой Отечественной войне Фитину присвоили звание генерал-лейтенанта.
С 1946 по 1947 год работал в должности заместителя уполномоченного МГБ в Германии, затем заместителем начальника управления госбезопасности по Свердловской области.
В 1951 году Фитина назначили министром госбезопасности Казахской ССР, затем с марта по июль 1953 года – начальником УМВД по Свердловской области. Избирался делегатом XIX съезда ВКП(б).
Из воспоминаний: В послевоенные годы мне на протяжении почти пяти лет пришлось заниматься вопросами, связанными со специальным производством и пуском крановых заводов…»
Генерал-лейтенант Фитин награжден двумя орденами Красного Знамени, орденом Красной Звезды, орденом Красного Знамени Тувы, многими медалями, а также нагрудным знаком «Заслуженный работник НКВД» За большие заслуги в деле обеспечения государственной безопасности нашей страны.
После смерти Сталина, в 1953 году П. М. Фитина арестовали и чуть не «огласили врагом народа». После освобождения его уволили из органов безопасности по служебному несоответствию без пенсии, так как он не имел необходимой выслуги лет.
После отставки Фитин работал Главным контролером Министерства госконтроля СССР в период с 1954 по 1958 год, после этого до 1959 года – старшим контролером Комиссии советского контроля СМ СССР.
В последние годы жизни Павел Михайлович работал директором фотокомбината Союза советских обществ дружбы и культурных связей с зарубежными странами.
Умер 24 декабря 1971 года. Похоронен в Москве на Введенском кладбище.