این ساختمان بین سال های ۱۷۹۲ و ۱۸۰۰ با ماسه سنگ های سفید به سبک جورجیان (Georgian style) همزمان با ساخت شهر واشنگتن ساخته شد. جان آدامز اولین رئیس جمهور آمریکا بود که در آن اقامت نمود و از آن دوران کاخ سفید همواره محل اقامت رئیس جمهور وقت آمریکا بوده است. هنگامی که توماس جفرسون (۱۸۰۱)در کاخ سفید اقامت یافت با کمک مهندس معمار بنجامین هانری لاتروب بنای بیرونی کاخ رابا افزودن دو ستون گسترش داد.
کاخ سفید در سال ۱۸۱۴ (در طول جنگ ۱۸۱۲) توسط ارتش بریتانیا صدمه فراوان دید و محتویات آن به تاراج رفت و ولی مدت زمان کمی بعد از ویرانی اقدام به بازسازی آن شد. و در اکتبر سال ۱۸۱۷ رئیس جمهور آمریکا جیمز مونرو در کاخ سفید که فقط قسمتی از آن بازسازی شده بود اقامت یافت.[۱] کاخ سفید در طول سالیان متمادی چندین بار بازسازی و گسترش یافته است.
نام گذاری
بنای کاخ سفید در ابتدا "قصر ریاست جمهوری" یا عمارت ریاست جمهوری نامیده می شد. این بنا برای اولین بار در سال 1811 کاخ سفید نام گرفت. به روایتی در زمان بازسازی، این بنا را سفید کردند تا آثار سوختگی آن را بپوشانند واز آن زمان سفید نامیده شد. این روایت بی اساس است زیرا این بنا از زمان ساخت آن در سال 1798 سفید، رنگ شده بود. این بنا در متون رسمی عمارت هیئت اجرایی نامیده میشد. اما در زمان ریاست جمهوری تئودور روزولت 1901 نام غیر رسمی کاخ سفید واشنگتن روی سرنامه های رسمی آن چاپ شد. در سرنامه های فعلی هم لغت کاخ سفید و واشنگتن در وسط صفحه چاپ میشود که به زمان کابینه فرانکلین دلانو روزولت بر می گردد. نظریه دیگری این است که نام کاخ سفید از نام مزرعه عمارت سفید (White House Plantation)که محل اقامت مارتا کاستیس واشنگتن(Martha Custis Washington) بود گرفته شده است.مزرعه عمارت سفید در بخش نیو کنت (New Kent County) در ایالت ویرجینیا(Virginia) واقع شده بود ودر قرن هیجدهم رئیس جمهور و همسرش در آن زندگی می کردند.