На месте будущей резиденции английских королей с 1240 года находился дворец, служивший лондонским домом архиепископам Йоркским (отсюда его прежнее название - York Place), в то время как монархи с 1049 года располагались в Вестминстерском дворце. В начале XVI века архиепископом Йоркским стал кардинал Томас Уолси, канцлер Генриха VIII, затеявший масштабную перестройку своей резиденции. После его падения в 1530 году дворец перешел в собственность Короны. Генрих продолжил строительство, вложив в него 30000 фунтов - колоссальные по тем временам деньги.
Уайтхолл представлял собой огромный комплекс (он насчитывал более 1500 комнат), состоявший из множества построек, выполненных в разных архитектурных стилях, парков, теннисных кортов и т.д., постепенно став одним из самых больших дворцов в Европе.
В 1622 году архитектор Иниго Джонс завершил строительство очередной части дворца, Банкетного Зала (Banqueting House), заказанного Иаковом I. С 1635 года его потолок украшают плафоны работы Рубенса, на которых в аллегорической манере повествуется о мудром правлении Иакова. Карл I, поручивший этот заказ великому фламандцу, старался избегать долгих вечерних приемов в Банкетном Зале - для чего он, собственно, и был предназначен, - опасаясь, как бы копоть от факелов не испортила полотна. Четырнадцать лет спустя через одно из окон Зала короля вывели на сколоченный снаружи эшафот.
Иаков II поручил Кристоферу Рену построить часовню, а также заняться переделкой апартаментов королевы, что и было выполнено к 1689 году, однако девять лет спустя, 4 января 1698 года, дворец сгорел. Говорят, огонь вспыхнул из-за опрокинутой неосторожной прачкой свечи. При пожаре были уничтожены многие произведения искусства. Полностью уцелел лишь Банкетный Зал, остальные части дворца стали элементами более поздних построек, в которых ныне располагаются правительственные учреждения.

Хендрик Данкертс. Вид дворца Уайтхолл в 1660-е гг.

Банкетный Зал (слева) и Гольбейновские ворота (справа) в 1669 году:

План Уайтхолла в 1680 году:

С любезного  разрешения snorri.