Сарразин родился в Гере, Германия. Его отец был врачом, а мать - дочерью западно-прусского землевладельца. Его отцовская семья, семья французских гугенотов, родом из Бургундии. Его бабушка была англо-итальянкой. Он объяснил, что его имя означает "сарацин" (т.е. мусульманин) и распространено на юге Франции. Оно происходит от арабских пиратов, которых в средние века называли "сарацинами". Его мать имеет польское происхождение. Он назвал себя "европейской дворняжкой".
Он вырос в Реклингхаузене. В возрасте семи лет он попал в детский дом в Баварии. Окончил местную гимназию, затем служил в армии с 1967 по 1971 год. Затем он изучал экономику в Боннском университете и получил докторскую степень. С ноября 1973 по декабрь 1974 года он работал в Фонде Фридриха Эберта и стал активным членом СДПГ.
В 1975 году Сарразин начал работать в Федеральном министерстве финансов. До 1981 года он занимал должность начальника отдела в Министерстве труда и социальных дел. В 1981 году он вернулся в Федеральное министерство финансов. В октябре 1981 года он начал работать в качестве начальника бюро и был близким сотрудником федерального министра финансов Ханса Маттхофера и его преемника Манфреда Ланштайна. Даже после распада социалистическо-либеральной коалиции в октябре 1982 года Сарразин остался в Министерстве финансов. Там он был директором нескольких подразделений, в том числе (с 1989 по 1990 год) "Innerdeutsche Beziehungen", которое готовило валютный, экономический и социальный союз Германии. Во время пребывания на посту главы Федерального министерства финансов он частично отвечал за немецкие железные дороги.
С 1990 по 1991 год Сарразин работал в Treuhand. Затем до 1997 года он был государственным секретарем в Министерстве финансов земли Рейнланд-Пфальц.
Сарразин женат на Урсуле Сарразин (урожденной Брайт) и имеет двух сыновей.