Чарльз Райдер, который рассказывает эту историю, - студент Оксфордского университета. Он подружился с Себастьяном Флайтом, младшим сыном из аристократической семьи. Себастьян, выходец из очень богатой семьи, берет Чарльза с собой в дом своей семьи, замок Брайдсхед. Чарльз знакомится с его семьей, включая сестру Себастьяна, Джулию.
Во время каникул Чарльз возвращается в свой дом, где он живет с отцом. Во время каникул Себастьян получает небольшую травму, и Чарльз возвращается к нему. Себастьян и Чарльз проводят остаток лета вместе.
Семья Себастьяна - католики. Его отец, лорд Марчмейн, был англиканином, но перешел в католицизм - религию своей жены. В семье много говорят о религии, что удивляет Чарльза, который всегда считал, что христианство не является важной темой. Леди Марчмейн, мать Себастьяна, - очень строгая католичка. Она пытается контролировать других, заставляя их чувствовать себя виноватыми. Себастьян находит утешение в употреблении алкоголя. Он часто напивается, и в течение двух лет все меньше и меньше общается с семьей Флайт.
Однако Чарльзу суждено снова встретиться с семьей Флайт, и он влюбляется в Джулию, которая к тому времени выходит замуж за богатого канадца Рекса Моттрама.
Собственная жена Чарльза была неверна, поэтому он планирует развестись с ней, чтобы он и Джулия могли пожениться. Однако Джулия по религиозным соображениям решает, что ей не следует выходить замуж за Чарльза. Когда лорд Марчмейн умирал, он принял таинство крайнего очищения. Этот акт повлиял и на Чарльза, который "в те дни искал любви", когда он впервые встретил Себастьяна, "ту низкую дверь в стене... которая открывалась в закрытый и зачарованный сад", важную метафору в книге.
Чарльз стал архитектором. Во время Второй мировой войны становится армейским офицером. По воле случая его поселяют в Брайдсхеде. Ему кажется, что строители делают полезную работу, даже если иногда возникают проблемы.