В декабре 2001 года Пердью ушел в отставку с поста сенатора штата, чтобы баллотироваться на пост губернатора. В 2002 году он выиграл выборы губернатора Джорджии, победив действующего демократа Роя Барнса со счетом 51% к 46%, при этом кандидат от либертарианцев Гарретт Майкл Хейс набрал 2% голосов. Он стал первым республиканским губернатором Джорджии за более чем 130 лет со времен Бенджамина Ф. Конли.
Будучи губернатором, Пердью провел реформы, направленные на сокращение расточительства в правительстве, в частности, продажу излишков транспортных средств и недвижимости. Он помог Джорджии подняться с последнего места в стране по результатам теста SAT. Хотя в 2005 году Джорджия вернулась на последнее место, в 2006 году она поднялась на 49-е место по среднему баллу по математике и чтению, включая письменную часть, добавленную к тесту в том году. Пердью также создал дополнительные возможности для чартерных и частных школ. В 2006 году Пердью подписал закон, который предоставил Джорджии "одни из самых жестких в стране мер против нелегальной иммиграции".
В 2006 году Пердью был переизбран на второй срок на выборах губернатора штата Джорджия, набрав почти 58% голосов. Его соперником от демократов был вице-губернатор Марк Тейлор. Либертарианец Гарретт Майкл Хейс также был включен в избирательный бюллетень.
2007 молитва о дожде
13 ноября 2007 года, когда Джорджия страдала от одной из самых сильных засух за последние несколько десятилетий, Пердью возглавил молитву группы из нескольких сотен человек на ступенях Капитолия штата. Пердью обратился к собравшимся со словами: "Мы собрались здесь по одной и только одной причине: Чтобы очень благоговейно и уважительно помолиться, чтобы вызвать бурю" и "Боже, ты нам нужен; нам нужен дождь".
