Канонические писания Нового Завета, а также другие письменные источники ранней церкви дают некоторое представление о жизни святого Иакова и его роли в ранней церкви. В Синоптических книгах упоминается его имя, но ничего другого о нем нет, в то время как в Евангелии от Иоанна и первых главах Деяний апостолов Иаков даже не упоминается.
В последующих главах Деяний апостолов приводятся доказательства того, что Иаков был важной фигурой в христианской общине Иерусалима. Когда Петр, чудом избежав тюрьмы, вынужден бежать из Иерусалима, он просит сообщить об этом Иакову (12:17). Когда христиане Антиохии, обеспокоенные тем, нужно ли христианам из язычников обрезаться для спасения, посылают Павла и Варнаву посоветоваться с иерусалимской церковью, Иаков играет важную роль в выработке решения совета (15:13 и далее). Действительно, после того, как Петр и Павел изложили свои доводы, именно Иаков в конце концов произносит свое "решение" - первоначальный смысл близок к "моему постановлению" - и после этого все принимают его. Иаков, другими словами, показан главным в иерусалимской группе, что противоречит более поздним утверждениям о главенстве там Петра. И когда Павел прибывает в Иерусалим, чтобы передать деньги, собранные им для верующих, он обращается именно к Иакову, который настаивает на том, чтобы Павел совершил ритуальное очищение в храме Ирода, чтобы доказать свою веру и опровергнуть слухи о том, что он учит бунтовать против Торы (21:18 и далее) (обвинение в антиномианстве).
Далее Павел описывает Иакова как одного из тех, кому явился воскресший Христос (1 Кор. 15:3-8); затем, позже в 1 Коринфянам, упоминает Иакова таким образом, что можно предположить, что Иаков был женат (9:5); а в Послании к Галатам Павел называет Иакова, Кифа (более известного как Петр) и Иоанна тремя "столпами" Церкви, которые будут служить "обрезанным" (иудеям и прозелитам) в Иерусалиме, в то время как Павел и его собратья будут служить "необрезанным" (язычникам). (2:9, 2:12). Эти термины (обрезанные/ необрезанные) обычно интерпретируются как преобладание иудеев и греков, однако это чрезмерное упрощение, поскольку в провинции Иудея I века также было несколько иудеев, которые больше не обрезались, и несколько греков (называемых прозелитами или иудаистами), а также другие, такие как египтяне, эфиопы и арабы, которые обрезались.