В 1966 году Харрисон женился на модели Пэтти Бойд, но они развелись в 1971 году, и у них не было детей. Бойд ушла от Харрисона, чтобы быть со своим другом, гитаристом Эриком Клэптоном, но все трое остались друзьями. В 1978 году Харрисон женился снова, на Оливии Тринидад Ариас американского происхождения, которая работала в его звукозаписывающей компании. Ариас стала матерью сына Харрисона Дхани, имя которого состоит из названий двух нот в индийской музыкальной гамме. Дхани вырос и стал музыкантом, как и его отец, возглавив группу thenewno2. Он учился в Университете Брауна в США.
В конце 1970-х годов Харрисон создал кинопроизводственную компанию Handmade Films, которая выпускала фильмы, включая "Жизнь Брайана" Монти Пайтона и "Бандиты во времени" Терри Гиллиама.
Территория дома Харрисона, Friar Park, была более или менее открыта для публики до убийства его бывшего товарища по группе Джона Леннона в конце 1980 года. Харрисон был очень ранен и потрясен смертью Леннона и боялся, что кто-то может попытаться навредить ему или его семье. После этого ворота были заперты, и были вывешены объявления о запрете на вход. В декабре 1999 года в дом ворвался злоумышленник и ударил его ножом. Харрисон и его жена Оливия остановили злоумышленника и вызвали полицию. Харрисон выздоровел. Человек, напавший на него, страдает шизофренией, и в ноябре 2000 года в Оксфордском коронном суде он был оправдан за попытку убийства по причине невменяемости. Он был отправлен в психиатрическую больницу и освобожден в 2002 году.