Родился 4 (16) июля 1892 в местечке Нитаурэ Рижского уезда Лифляндской губернии. Учился игре на скрипке, фортепиано и органе в Рижском музыкальном училище. Участвовал в боях Первой мировой войны как военный летчик, перенес тяжелое ранение.
В 1917 году сдал экстерном экзамены по классу фортепиано и органа в Московской консерватории. После знакомства с Ф. Э. Дзержинским Петр Петрович начал службу в органах ВЧК, участвовал в борьбе с басмачами.
По окончании Гражданской войны он работал преподавателем по классу органа и проректором Харьковского музыкального техникума. В 1922 году вернулся в Латвию. В Вентспилсе Петр Золтс руководил хором профсоюза транспортников, для которого делал обработки революционных песен, создал хоры на стихи Я. Райниса, Лайциня и Пайгле. В Добеле композитор написал ряд произведений для органа (две сонаты и две сюиты). В 1940-1941 годах с установлением в Литве Советской власти Петр Золтс назначается старшим инспектором и начальником отдела музыкальных учреждений Управления по делам искусств при СНК Латвийской ССР. К этому времени относится его виолончельный концерт композитора, исполнявшийся по радио.
В период оккупации Латвии за отказ сотрудничать с немцами был выслан в Нитауре. С освобождением Латвии от фашистских захватчиков занимал ведущие посты в музыкально-общественной жизни Риги, вступил в члены Союза композиторов СССР.
С 1954 года Петр Петрович жил в Тюмени. Он стал первым членом Союза композиторов СССР в Тюменской области, избирался членом правления Уральского отделения Союза композиторов СССР. С 1956 года преподавал фортепиано в музыкальной школе №1 и музыкальном училище, где также вел гармонию. Большая часть произведений этого периода написана им для фортепиано: фуги, инвенции, этюды, баллады, прелюдии, программные миниатюры («Над вечным покоем», «Девушка и смерть», «Беспокойство», «Жалоба», «Осень», «Птичка»). Перу Петра Золтса принадлежат также романсы на собственные тексты («Тебе», «Расставание»).
Петр Петрович Золтс умер в 27 апреля 1987 года в Тюмени. Его личный архивный фонд хранится в Государственном архиве Тюменской области.