Песня "Yellow" была написана в студии Rockfield в Уэльсе. Студия называется Quadrangle. Именно там Coldplay начали работу над своим первым альбомом "Parachutes". Однажды ночью, закончив запись "Shiver", ведущего сингла альбома, группа сделала перерыв и вышла из студии. По словам сопродюсера песни Кена Нельсона, на улице было мало света, а звезды на небе были видны и "просто удивительны". Он сказал группе посмотреть на звезды. Группа посмотрела на звезды и почувствовала общее вдохновение. Главная мелодия песни пришла в голову Крису Мартину, вокалисту группы. Мелодия представляла собой аккордовый рисунок. Сначала Мартин не воспринял ее всерьез, "так как он передал мелодию остальным членам группы своим самым ужасным голосом, пародирующим Нила Янга". Мартин сказал: "В песне было слово "звезды", и это казалось словом, которое нужно петь голосом Нила Янга". Мелодия "начиналась намного медленнее", по словам Уилла Чемпиона, барабанщика группы, и звучала как песня Нила Янга. Вскоре после этого, несмотря на то, что Мартин не воспринимал песню всерьез, его идея сработала, когда он разработал темп куплета. Когда Джонни Бакленд, гитарист группы, начал играть и дополнил его своими идеями, они создали рифф, "и он как бы стал немного тяжелее".
Однако, сочиняя текст песни, Мартин не мог найти нужные слова. Он думал о конкретном слове, которое соответствовало бы главной идее и теме песни. Ему казалось, что это недостающее слово является ключевым в тексте песни. Он оглядел студию и нашел телефонный справочник "Желтые страницы". Позже Мартин назвал песню "Yellow" как ссылку на справочник. Но, по его словам, "в альтернативной вселенной эта песня могла бы называться "Playboy". Дальше текст песни развивался в сотрудничестве с группой. Басист группы Гай Берриман придумал начальную строчку "Посмотри на звезды". Той же ночью, быстро сочинив песню, группа записала ее.
