Il complesso si sviluppò intorno a un nucleo precedente a partire dal XVII secolo. Il principale fautore della villa fu Galeazzo Arconati Visconti, celebre collezionista, il quale vantava tra le proprie raccolte il Codice Atlantico di Leonardo da Vinci, la statua romana di Pompeo Magno e le sculture dal mausoleo di Gaston de Foix, opera del Bambaia, oggi al Castello Sforzesco di Milano.
Il Castellazzo, arricchito di edicole e teatri nel giardino, divenne una delle più prestigiose e rinomate "ville di delizia" della Lombardia. All’architetto Francesco Maria Richini sono attribuite le edicole del giardino e il Teatro di Diana. Il disegno attuale della villa si deve a Giuseppe Antonio Arconati che iniziò i lavori nel 1742.
Il progetto della facciata è attribuito all'architetto Giovanni Ruggeri. Di quell’epoca sono lo scalone principale, la Sala di Fetonte con gli affreschi dei fratelli Galliari, una struttura di forte impatto scenografico e di squillanti scelte cromatiche; la risistemazione degli splendidi giardini: insomma tutte le qualificazioni che resero la villa meta importante di soggiorno, oggetto di frequenti citazioni letterarie a cominciare da Carlo Goldoni.