La costruzione del carcere venne decisa dopo l'Unità d'Italia per ovviare all’inadeguatezza delle precedenti strutture.

Il governo acquistò dei lotti in zona periferica (l'attuale area tra corso Magenta e porta Ticinese) e incaricò l'ingegner Francesco Lucca, che si rifece al modello settecentesco del panopticon, disegnando un edificio a sei braccia di tre piani l'una. Tra i raggi vennero costruite le cosiddette "rose" di passeggio, divise in venti settori destinati ciascuno a un singolo detenuto, per impedire la comunicazione tra i reclusi. Su piazza Filangieri fu costruito un edificio in stile medievale in cui furono collocati gli uffici e l'abitazione del direttore. I lavori furono completati da Antonio Cantalupi e il carcere venne inaugurato il 24 giugno 1879.

Ospitò tra gli altri il regicida Gaetano Bresci (1900) e l’antifascista Antonio Gramsci (1927-1928).

Dopo l’occupazione tedesca del settembre 1943 il carcere fu soggetto in buona parte alla giurisdizione delle SS, che gestivano direttamente tre dei suoi sei raggi, cioè il IV e il VI  destinato ai prigionieri politici e il V destinato agli ebrei ( conosciuto anche come «il girone degli impiccati» e il «raggio maledetto»). Da quel momento il carcere  ebbe funzione di campo di concentramento provinciale, funzionanado come luogo di raccolta per la deportazione di tutti gli ebrei arrestati nelle più grandi città del Nord come Genova e Torino o di quelli arrestati al confine con la Svizzera.

Degli ebrei di San Vittore, sette morirono in carcere, tre per causa ignota. Dal carcere transitarono poi molti lavoratori dell'area industriale di Sesto San Giovanni deportati per motivi politici nei lager nazisti.

Vi furono inoltre detenuti molti resistenti, da Ferruccio Parri a Giuseppe Bacciagaluppi; e anche personaggi destinati a diventare famosi come Indro Montanelli e Mike Bongiorno. Il regolamento era durissimo e le condizioni igieniche drammatiche. Non mancarono però coloro che cercarono di aiutare i detenuti, come suor Enrichetta Alfieri a Maria Peron.

La liberazione definitiva dei carcerati, insorti anch’essi il 25 aprile 1945, avvenne ad opera dei partigiani delle Brigate Matteotti.