Nella seconda metà del Quattrocento, è proprietà di Cicco Simonetta, il potente segretario della corte ducale di Milano, da cui passa ad Ambrogio Varese, medico di Ludovico il Moro che lo beneficia di ampi possedimenti fra cui questo di Fagnano.
Più tardi passa in proprietà alla nobile famiglia milanese dei d’Adda a cui viene attribuita la costruzione del palazzo, probabilmente nella medesima posizione di quello, di minori dimensioni, in cui era vissuto Cicco Simonetta.
Alla metà del Cinquecento il territorio di Fagnano è suddiviso fra tre famiglie: i Varese, figli di Ambrogio; i Crivelli e i d’Adda: Ludovico e Ottaviano, quest’ultimo proprietario dell’edificio che risulta circondato da un giardino e un orto che coprono circa 50 pertiche (30.000 metri quadrati).
A seguito di intrecci matrimoniali ed ereditari, a metà dell’Ottocento il palazzo passa ai D’Adda-Doria .
Ridotto ad uso agricolo già ai primi dell’Ottocento, l’edificio è da tempo inutilizzato e solo le cure degli attuali proprietari lo hanno protetto dal degrado.

Curiosità: Lo stemma nobiliare della famiglia d’Adda presenta in alto un’ aquila nera ad ali spiegate su fondo giallo; sotto bande ondate bianco nere; Nel 1848 Marietta d’Adda Doria è fra le nobildonne milanesi che collaborano coi patrioti durante le Cinque Giornate di Milano; Nel 1865 il marchese Alessandro Doria è consigliere comunale a Fagnano.

Proprietà privata: luogo visibile solo dall'esterno.