Il Museo della Città e del Territorio di Monsummano Terme ha sede nell'Osteria dei Pellegrini, una costruzione promossa dal granduca Ferdinando I dei Medici e conclusa nel 1616 per accogliere i pellegrini che si recavano a venerare l'immagine della Madonna nel vicino Santuario della Fontenuova. Nel 1855 l'edificio fu acquistato dalla Comunità di Monsummano e Montevettolini per collocarvi gli stabilimenti carcerari.

Nel corso della Seconda guerra mondiale, dal novembre 1943 al marzo 1944, furono qui detenuti nove cittadini italiani di religione ebraica, fra cui i fratelli Sergio e Giuliana Melli di 10 e 3 anni. Le perlustrazioni che portarono agli arresti furono ordinate dalla questura di Pistoia e vennero compiute da agenti del commissariato di pubblica sicurezza di Montecatini e da carabinieri della stazione di Monsummano, in collaborazione con militari tedeschi e altri repubblichini locali. Gli ebrei, dopo il periodo di detenzione a Monsummano, furono trasferiti a Firenze, Fossoli e Auschwitz dove vennero assassinati.

L’Osteria dei Pellegrini fu sede delle carceri e degli uffici giudiziari fino agli anni ‘80 del ‘900. Tra il 1995 e il 1998 l'edificio fu oggetto di importanti lavori di consolidamento e restauro che permisero la realizzazione del Museo della Città e del Territorio. Il primo piano fu inaugurato il 12 dicembre 1998, mentre il secondo, dedicato al Novecento, venne aperto al pubblico dall'11 giugno 2005.

L'Osteria dei Pellegrini ospita oggi nei suoi locali il Museo della Città e del Territorio, la Biblioteca e l'Archivio Storico del Comune. Al secondo piano è conservata integra una cella delle carceri per preservare la memoria storica. Il Museo mostra gli aspetti ambientali e culturali attorno ai quali la popolazione della Valdinievole ha costruito la propria storia con sezioni dedicate alle terme, all’artigianato, all’industra, all’archeologia. Una sezione intitolata «La sala della memoria» è dedicata all’eccidio del Padule di Fucecchio, avvenuto il 23 agosto 1944, nel quale persero la vita 174 persone per mano nazifascista. È composta da pannelli esplicativi, da sagome trasparenti, dai nominativi di tutte le vittime e da una videoinstallazione dal titolo «Lampi nel buio…voci nel silenzio».