Il palazzo, nella sua veste attuale è frutto di una riedificazione di costruzioni più antiche operata intorno alla metà del secolo XVII dall'importante famiglia Salis-Zizers; ne rimangono tracce significative nella bellissima stua intagliata con gli stemmi delle famiglie grigioni e in un fregio ad affresco al secondo piano.
L'odierna denominazione deriva dagli ultimi proprietari:nel 1922 l'ingegner Francesco Sassi de' Lavizzari donava la sua dimora al Comune di Sondrio a condizione che venisse destinata a scopi culturali.

L'esterno molto severo dell'edificio è ingentilito dal bel portale settecentesco a bugnato con timpano spezzato, attraverso il quale si accede all'elegante cortile porticato con colonne in pietra verde locale.
Al primo piano le sale sono elegantemente decorate ad affresco e troviamo alcuni soffitti lignei a grandi pannelli, un fregio dipinto databile al XVI secolo, grandi camini in pietra con stemmi e in terracotta e una notevole stüa lignea seicentesca riccamente intagliata.

L'ultimo piano della costruzione è il risultato di un sopralzo ottocentesco, epoca di cui rimangono anche alcuni ambienti decorati a stucco.