На этой территории в течение тысяч лет жили различные культуры коренных американцев. Во время прихода европейцев в этом районе Пьемонта жили онтпонеа, подгруппа сиуано-говорящего племени манахоак.
Первым европейским поселением на территории, ставшей округом Ориндж, была Германна, образовавшаяся, когда губернатор Александр Спотсвуд поселил здесь в 1714 году 12 семей иммигрантов из Вестфалии, Германия. В общей сложности это было 42 человека. Округ Ориндж был создан в августе 1734 года, когда палата бурджессов Вирджинии приняла "Акт о разделении округа Спотсильвания". В отличие от других графств, границы которых заканчивались у гор Голубого хребта, Орандж был ограничен на западе "крайними пределами Вирджинии", которые в то время простирались до реки Миссисипи и Великих озер. Колония Вирджиния претендовала на эти земли, но очень небольшая их часть еще не была заселена англичанами. Возможно, в свое время округ Оранж был самым большим из когда-либо существовавших округов. В 1738 году большая часть западной территории была выделена в округ Августа. Большое графство должно было стимулировать поселение дальше на запад, чтобы противостоять французским притязаниям на регион долины реки Огайо.
Хотя в округе Ориндж не было сражений Американской революционной войны, 100 человек из этого округа были завербованы в отряд Culpeper Minutemen. Они участвовали в битве при Грейт-Бридж, а также в других сражениях.
Развитие транспорта, включая несколько железнодорожных маршрутов, вплоть до середины XIX века способствовало созданию сельскохозяйственной экономики в округе Ориндж. Окончательная корректировка границ округа произошла в 1838 году, когда из западной части Orange был создан округ Greene. Город Орандж был юридически основан в 1834 году (официально стал городом в 1872 году) и уже почти столетие служил центром округа. Город Гордонсвилл официально стал городом в 1870 году.
Во время Гражданской войны в округе происходили ограниченные конфликты. Основная активность была сосредоточена вокруг городов Орандж и Гордонсвилл. Исключение составляли битва при Майн-Ран и битва при Уайлдернесс в восточной части округа. Битва за Уайлдернесс стала важным поворотным пунктом в войне. После вступления Вирджинии в Союз в 1870 году и потери рабского труда сельскохозяйственная экономика возобновилась с большим упором на животноводство и молочное животноводство. Это было связано с тем, что эти виды деятельности требовали меньше физического труда. Доминирование железной дороги и относительная легкость, с которой она доставляла товары на большие рынки, увеличили поголовье скота в сельскохозяйственной экономике округа. Сельское хозяйство и производство продолжали развиваться в двадцатом веке, и по состоянию на 1929 год в округе насчитывалось 1279 ферм и 20 производственных компаний. В обзоре производства, проведенном во время Великой депрессии, отмечалось, что экономика округа Ориндж оставалась относительно здоровой благодаря его доступности.
Значение сельского хозяйства для истории округа Ориндж было настолько велико, что Содружество Вирджинии выделило около 31 200 акров (126 км2 ) в западной части округа под исторический район Мэдисон-Барбор. Этот район был включен в Национальный реестр исторических мест в 1991 году и является крупнейшим подобным районом в Вирджинии. Он включает в себя Монпелье Джеймса Мэдисона и особняк Джеймса Барбура в Барбурсвилле (спроектированный Томасом Джефферсоном, сейчас находится в руинах). В него входят и другие объекты, внесенные в Национальный реестр.
Население округа Ориндж то увеличивалось, то уменьшалось после Гражданской войны вплоть до 1930-х годов. С этого момента численность населения продолжала неуклонно расти, составив почти 300% по данным переписи 2010 года.