1 декабря 2016 года избранный президент Дональд Трамп объявил, что Мэттис будет выдвинут на должность министра обороны США в будущей администрации. Он был утвержден Сенатом Соединенных Штатов 98 голосами против 1. В тот же день он был приведен к присяге вице-президентом Майком Пенсом.
5 апреля 2017 года Мэттис назвал химическую атаку в Хан-Шайхуне "чудовищным актом" и заявил, что к ней будет применено соответствующее отношение. 10 апреля Мэттис предостерег сирийское правительство от повторного применения химического оружия.
Мэттис выразил поддержку военной кампании под руководством Саудовской Аравии против шиитских повстанцев Йемена. Он попросил Трампа снять ограничения на военную поддержку Саудовской Аравии со стороны США.
Мэттис настаивал на том, что США останутся в Сирии после разгрома ИГИЛ, чтобы не допустить их перегруппировки. Однако 19 декабря Трамп объявил о выводе войск США из Сирии. На следующий день Мэттис подал прошение об отставке, так и не сумев убедить Трампа пересмотреть свое решение. В своем заявлении об отставке Мэттис раскритиковал Трампа за неуважение к странам-союзникам и авторитарное правление Китая и России. В ответ на это письмо Трамп отдал приказ об увольнении Мэттиса 1 января, почти на два месяца раньше, чем Мэттис планировал покинуть свой пост.