Il castello ha una pianta a forma di U con due torri angolari, si presenta con una struttura laterizia compatta e chiude con la sua monumentalità la piazza Vittoria.

L’attuale castello venne fondato da Matteo I Visconti sullo scorcio del XIII secolo, per passare poi a Bernabò Visconti. Gian Galeazzo Visconti scelse Melegnano come uno dei luoghi di villeggiatura.
La proprietà passò ai Brivio nel 1513, ma nel 1532 vi fu il passaggio che intervenne con maggiore evidenza sull’architettura. L’unico corpo che ci è giunto intero è quello che guarda la piazza e che rappresenta la facciata, lunga 75 metri. Il lato di fondo è mancante.

L’intera costruzione è sviluppata su due piani. La facciata, sebbene austera, testimonia il passaggio, dopo il 1532, da fortezza a palazzo signorile grazie agli ampi finestroni che si aprono sul paramento.
In alto, sotto il tetto sono visibili ancora le merlature di tipo guelfo. Il fossato, che originariamente circondava il castello, era molto profondo e in comunicazione con il fiume Lambro; inoltre il fortilizio era provvisto di un ponte levatoio di cui non è rimasta traccia.

Ora, attraverso il ponte in muratura si accede al monumentale ingresso costituito da un imponente arco con fregi in cotto, seicenteschi. Il cortile interno è circondato su due lati da un porticato sostenuto da archi a tutto sesto e ricoperto da bugnato. Il portico interno della facciata centrale conserva, sotto le arcate, i segni di abitazioni o di locali di servizio. Il portico dell’ala est era usato per le stalle ed i depositi del fieno per le cavalcature.

Alle sale superiori si arriva mediante due scale. Una è lo scalone che inizia a destra subito dopo il grande arco centrale di accesso: è formato da scaglioni di mattoni disposti a spina di pesce separati da cordoni di sasso, ed è così disposto per permettere la salita anche con i cavalli.

La seconda scala, più piccola, si apre da sotto il lungo porticato ed ha le pareti tutte affrescate. Lo scalone conduce al piano superiore, dove i saloni vengono decorati a partire da 1532 con affreschi che raccontano le gesta di Gian Giacomo Medici detto il Medeghino, anno in cui il condottiero viene nominato Marchese di Melegnano da Francesco II Sforza.

I soggetti, secondo un progetto iconografico volto a esaltare la figura del Medici, riprendono temi mitologici (ad esempio la Sala di Ercole o la Sala degli Argonauti), temi storici (ad esempio la Sala delle Battaglie) e motivi politici (la Sala degli Stemmi).

Dopo essere stata sede della biblioteca, oggi il castello è uno spazio aperto per eventi culturali e visite guidate.