Il Castello Masegra ebbe una storia movimentata, venne più volte distrutto e ricostruito da quando nel 1048 ne fu decisa l’edificazione da Alberto Capitanei, la cui famiglia otto anni prima aveva ricevuto in feudo la pieve di Sondrio da Enrico III di Franconia. Il castello era posto al centro di una fitta rete di torri, forti e avamposti militari che sorvegliavano e difendevano tutti i territori soggetti alla potente famiglia.

I Capitanei rimasero proprietari del castello fino al 1436, quando Jacopa, ultima rappresentante della famiglia, sposò Antonio Beccaria. Furono i discendenti di questo casato ad occuparsi della rocca sino alla fine del ‘500: a quel secolo risale l’ampliamento della fortificazione, alla quale vennero aggiunti ambienti di rappresentanza. Nel 1593 fu ceduto alla potente famiglia grigiona dei Salis; i successivi passaggi di proprietà datano al XIX secolo, quando, dopo l’annessione della provincia di Sondrio all’Italia, l’edificio passò al demanio e fu destinato a scopi militari. Nel 1874 durante i lavori di sistemazione del piazzale antistante il castello e l’erezione di un edificio adibito a caserma venne abbattuta la chiesetta di Sant’Agata, di cui un recente scavo archeologico ha rinvenuto le fondamenta.      

La costruzione attuale del castello si presenta come un complesso di edifici a pianta trapezoidale: i corpi rivolti a sud ed est contengono gli spazi abitativi, mentre sul lato nord si trova una cortina muraria conclusa alle estremità da due torri.
Elementi architettonici interessanti posti sulla facciata verso oriente decorata a graffito sono i finestroni dalle ghiere imponenti e i due portali in pietra con stemmi, recanti le date 1549 (quello di sinistra) e 1491 (quello di destra), mentre il lato dell’edificio a picco sulla  città mostra la colombaia decorata da una greca e da un volo di uccelli dipinti.
Nel cortile interno si trova una loggetta dove colonne dai capitelli fogliati reggono piccole arcate: sulla facciata sono visibili stemmi dei Beccaria e dei Carcano scolpiti entro clipei.

Gli interni più caratteristici sono quelli dell’ala est con le sale voltate del piano rialzato, dove rimangono resti di affreschi (XVI sec.), e quelle al piano superiore con soffitti a cassettoni dalle decorazioni policrome.