Il palazzo risale al XIII secolo; è stato edificato per conto della famiglia Morosini e nel corso della sua storia è stato più volte ristrutturato.

Il primo proprietario, di cui si ha notizia attraverso un documento risalente al 1570, è Lorenzo Morosini, fratello di Domenico, uno dei patrocinatori dell'Accademia Pellegrina, cui aderirono pittori come Tiziano e Tintoretto. Dopo vari avvicendamenti ereditari della famiglia Morosini, il palazzo, intorno alla metà del 1600, diventa proprietà dei Sagredo, considerati allora una delle più illustri famiglie del Patriziato veneto, da cui uscì S.Gerardo Sagredo, martire nell'anno 1047 e Patrono di Budapest, documentata fin dal IX secolo e presente nel Maggior Consiglio della Repubblica fin da prima della Serrata del 1297.

Nel 1661 il palazzo venne venduto a Nicolò Sagredo futuro Doge (1675-1676) e già ambasciatore di Venezia a Roma e primo grande collezionista d'arte della famiglia. Successivamente il palazzo subì importanti lavori di ristrutturazione degli interni su progetto del Tirali, databili ai primi tre decenni del Settecento: creazione dello scalone, decorazioni a stucco e risistemazione delle sale.

Zaccaria Sagredo (seconda metà del secolo XVIII) raccolse nel palazzo una collezione , considerata una delle più importanti d'Europa , composta da oltre 800 dipinti (dal Rinascimento ai suoi giorni) ,

da circa 2000 fra disegni (anche di Leonardo) e incisioni , oltre ad una preziosa biblioteca.

La stessa passione per l'arte fu ereditata dal nipote Gerardo che commissionò nel 1718 gli Stucchi di Carpoforo Mazzetti e Tencalla, che decorano l'ammezzato del sottotetto, costituito da sette vani destinati a luogo di incontro e di svago. Alla morte di Gerardo Sagredo , iniziò una lunga e controversa azione legale testamentaria per decidere a quale ramo della famiglia spettasse il palazzo, il cui prestigio era  tale , che nel 1791 , dal balcone del piano nobile , l'imperatore Leopoldo II ammirò la Regata organizzata in suo onore.

Merita di essere menzionata Marina Sagredo, famosa per il suo anticonformismo , lo spirito liberale,  l' impegno e l' attività artistica,  a tal punto da avere delle controversie con i  Magistrati della Repubblica.

A lei Carlo Goldoni  (1700) dedicò la commedia "La sposa virtuosa".

Caduta la Repubblica la famiglia Sagredo alienò gran parte delle  proprietà, mantenendo comunque il palazzo sul Canal Grande.

Nel 1808 Ca' Sagredo passò a Zuane Sagredo, il quale ricavate due abitazioni principali e quattro botteghe con magazzino al piano terra le concesse in locazione.

Nella seconda metà dell'Ottocento proprietario fu Agostino Sagredo, letterato, patriota e senatore del Regno d'Italia, che vi abito fin quasi alla morte avvenuta nel 1871.

Caterina Sagredo, sorella di Agostino, andata sposa al Conte Ippolito Malaguzzi Valeri di Reggio Emilia, fu madre di Eleonora che sposò il Conte Giuseppe Manodori, i cui discendenti portano ancora oggi i due cognomi.

Ogni 24 settembre, festa di San Gerardo Sagredo, la famiglia Manodori Sagredo si riunisce per la Messa Commemorativa nella Cappella Sagredo della Chiesa di San Francesco della Vigna.

Nel palazzo fu ospite Galileo Galilei, intimo amico di Gianfrancesco Sagredo, uno dei tre protagonisti del " Dialogo sui massimi sistemi ", che Galilei fa svolgere nello stesso palazzo sul Canal Grande.

Attualmente l'alcova del palazzo è esposta al Metropolitan Museum di NewYork.