Huize de Voorst is van oudsher een belangrijke Havezate geweest. Het huidige hoofdhuis werd gebouwd door Arnold Joost van Keppel (1670-1718), Graaf van Albemarle. Het huis en de tuinen werden ontworpen door Jacobus Roman en Daniël Marot. De oorspronkelijke tuinaanleg in geometrische Franse stijl werd rond 1800 vervangen door een tuin in Engelse landschapsstijl.
Het gebouw bestaat uit een symmetrisch opgebouwd hoofdhuis met verbindingen naar twee zijvleugels, eveneens symmetrisch uitgevoerd.
In 1943 brandde het huis door toedoen van een onvoorzichtige schilder af. In de periode 1957-1960 is het voor de eerste maal gerestaureerd. In de periode 2008 - 2010 is ook het interieur sfeergetrouw hersteld met oog op het huidige gebruik als trouwlocatie.