Peter Herbolzheimer kam am 31. Dezember 1935 in Bukarest zur Welt. Er wuchs in Rumänien und Deutschland auf, lebte und arbeitete dann einige Jahre in den USA. Er spielte zunächst Gitarre, wandte sich dann der Posaune zu. In den Sechzigerjahren spielte er in verschiedenen großen Formationen als Posaunist, darunter dem Orchester von Bert Kaempfert. 1969 gründete er seine eigene Bigband, die Peter Herbolzheimer Rhythm Combination & Brass, die er bis zu seinem Tod leitete. In seiner Band brachte er zahlreiche der renommiertesten Musiker Europas wie Herb Geller, John Ruocco, Bruno Castelluci, Heinz von Hermann, Ack und Jerry van Rooyen, Erik und Bart van Lier, Allan Botschinsky u.v.a. zusammen.

Er komponierte und arrangierte für zahlreiche Bands, darunter das Panik-Orchester von Udo Lindenberg, das Orchester Kurt Edelhagen und verschiedene Rundfunk-Bigbands. Gemeinsam mit Jerry van Rooyen arrangierte er die Einzugsmusik zur Olympiade 1972 in München. Einem breiten Publikum wurde er bekannt durch die Auftritte in der Fernsehshow Bio’s Bahnhof mit Dr. Alfred Biolek.

Über Jahrzehnte hinweg war Peter Herbolzheimer auch in der Ausbildung und Förderung des musikalischen Nachwuchses tätig. So gründete er 1987 das Bundesjugendjazzorchester (BuJazzO), das er bis 2006 leitete. Er unterstützte Projekte mit jungen Musikern in zahllosen Workshops und setzte sich für die Förderung von Bläserklassen in verschiedenen Bundesländern ein.

Im Jahre 2007 gründete er die European Jazz Academy mit der MasterClass Bigband, der Greyhair Convention und dem Vokalensemble MasterBirds.

Peter Herbolzheimer starb am 27. März 2010 in Köln.