Chủ đồn điền, chính trị gia, và nhà ái quốc kiệt xuất James Madison đã xây dựng dinh thự Montpelier cho gia đình mình vào năm 1760. Công trình được thiết kế theo phong cách kiến trúc Georgian ở Quận Orange, ngay phía bắc thành phố Charlottesville, tiểu bang Virginia. Ban đầu, ngôi nhà có một mặt tiền đối xứng đơn giản nhưng trang trọng.
Tuy nhiên, vào cuối những năm 1700, ngài James Madison, Jr. và phu nhân Dolley Madison đã cải tạo và xây dựng bổ sung cho ngôi nhà theo lời khuyên của người bằng hữu, người đồng nghiệp Thomas Jefferson. Khi đó, ngài Madison đang làm Ngoại trưởng dưới quyền vị Tổng thống này. Ngài Madison tôn thêm nét cổ điển trong kiến trúc ngôi nhà bằng cách xây thêm một chái nhà rộng khoảng 30 feet (~9.1m) vào đầu phía đông bắc của dinh thự, cùng một mái hiên theo phong cách Tuscan, và các cột trụ phía trước ngôi nhà. Trong nhiệm kỳ tổng thống đầu tiên của mình (1809–1812), ngài Madison còn xây thêm một số khu vực khác. Bên cạnh phòng khách lớn, Tổng thống đã xây thêm các dãy phòng một tầng ở hai đầu ngôi nhà để bảo đảm không gian riêng tư và tách biệt cho cho hai vợ chồng ông, bởi vì khi đó cha mẹ của ông vẫn sống ở Montpelier.
Vào năm 1901, doanh nhân kiêm chủ ngân hàng người Mỹ William du Pont Sr. (1855–1928) đã mua lại cơ ngơi này. Ông đã mở rộng đáng kể khu nhà chính và tăng diện tích dinh thự này lên gần gấp đôi. Từ năm 2003 đến 2008, tổ chức National Trust for Historic Preservation đã giám sát một dự án trùng tu lớn để đưa ngôi nhà trở về hình dáng ban đầu, như thời vợ chồng ngài Madison cư ngụ.
