Scala ovata di Palladio "La scala a chiocciola più bella del mondo" (J. W. Goethe, Viaggio in Italia)

All'ingresso dell'Accademia fu necessaria una pesante ristrutturazione per incrementare gli spazi di studio ed espositivi e per collegare fra loro tre strutture architettoniche eterogenee per epoca e funzioni. Nel 1344 la Scuola Grande dei Battuti, fondata nel 1260, si era stabilita nella parte dell'edificio prospiciente il rio della Carità, dove aveva attrezzato anche un Ospedale, con l'accesso dal portone contiguo alla chiesa; fu sistemata internamente nel XVIII secolo da Giorgio Massari e Bernardino Macaruzzi (si veda il pavimento a marmi policromi della prima sala) e rinnovata nel 1766 nella facciata e nell'atrio terreno. La chiesa di Santa Maria della Carità, fondata nel XII secolo, fu ricostruita in forme tardogotiche da Bartolomeo Bon nel 1441-1452; il convento dei Canonici lateranensi fu in parte ristrutturato da Palladio nel 1561, in un momento particolarmente florido per l'Ordine. Fra le testimonianze architettoniche più antiche, oltre alle murature esterne della chiesa, resta la facciata trecentesca della scuola, incastonata fra l'atrio e la chiesa, decorata nel timpano dalle statue della Madonna col Bambino e devoti di Marco Zulian (1345) e dei santi Cristoforo e Leonardo (1378) e il coevo portale murato nel cortile, con la lunetta in pietra policromata raffigurante il simbolo della Carità, ricordo della pestilenza del 1348. Delle decorazioni murali interne originali restano lacerti nella sala del Capitolo ed un fregio in chiesa.
Dalla pianta di Jacopo de' Barbari vediamo che nel 1500 il complesso aveva un aspetto fortificato: la chiesa in laterizi, con tre absidi con costolature e finestre ogivali di gusto gotico, era ancora fiancheggiata dal campanile crollato nel 1744, aveva ancora guglie e edicole sulla facciata, era cintata sul lato del Canal Grande e, a ridosso del rio di Sant'Agnese (a sinistra, poi detto rio terà Foscarini), dall'alto muro del cimitero conventuale. A sinistra si stendeva compatta, con irregolari finestrine poste in alto, la costruzione del convento suddivisa in due corti e due chiostri. 
Già nella prima metà del Cinquecento nel convento cominciarono ad essere intrapresi dei lavori; nel 1561 Palladio terminò un grande progetto di cui fu costruita in laterizi con le modanature in pietra solo l'ala orientale a sinistra dell'ingresso, formata dall'atrio, distrutto da un incendio nel 1630, e, nel cortile, da un prospetto a tre ordini, con un portico dorico, un loggiato ionico coronato da un piano finestrato corinzio, la cui prosecuzione sugli altri lati era rimasta incompiuta dopo i due archi dorici voltatesta distrutti da Francesco Lazzari intorno al 1830, e uno 'studietto' sul breve sottoportico sul retro sopra la calle del Dose, cancellato dalle ristrutturazioni dell'architetto Giannantonio Selva iniziate nel 1811. Anche la chiesa subì delle pesanti alterazioni: Selva la divise orizzontalmente e verticalmente per ottenere nuovi spazi, chiuse le finestre gotiche, aprì i lucernari nel tetto e collegò gli ambienti del primo piano con un corridoio accessibile da una breve scalinata di raccordo attraverso il passaggio aperto nella parete di fondo della Sala dell'Albergo. Furono chiuse le arcate del loggiato ionico al primo piano del convento, lasciando come luci solo delle mezzelune e furono trasformate le celle all'ultimo piano per farne la scuola d'incisione e l'alloggio dei docenti. Il successivo intervento di Francesco Lazzari alterò irrimediabilmente le proporzioni del progetto palladiano con la rimozione dei residui archi voltatesta e in seguito all' allungamento delle estremità del prospetto con due intercolumni. Il Lazzari, inoltre, costruì i due grandi saloni (X-XI) terminati nel 1828 e riaprì i tamponamenti dell'ordine ionico del loggiato che schermò con grandi vetrate insieme alle arcate doriche al pianterreno. Nel 1830 fu adattata la facciata e fu suddivisa l'aula terrena per dare alle Gallerie un ingresso indipendente da quello dell'Accademia. Infine, dopo un adattamento delle sale XXI e XIX per ospitare i dipinti del Legato Manfrin, tra il 1849 e il 1859 si completò il circuito espositivo con l'aggiunta delle 'sale nuovissime' (VI-IX).
Dal 1921 al 1923 l'architetto Aldo Scolari recuperò l'aspetto originale del I piano della chiesa riaprendo le finestre gotiche ed eliminando i divisori. Nel 1940 fu costruito un vano apposito per i teleri dei Miracoli della Croce (XX) che nel 1947 fu collegato da un ballatoio a quello di affine destinazione per la scuola di sant'Orsola (XXI) illuminate da lucernari. Dal 1945-1948 Vittorio Moschini e Carlo Scarpa progettarono il rinnovamento interno delle sale, adottando particolari tipi di sabbie per l'intonaco con granulosità diverse e un particolare tipo di impastellatura a mano delle tinte, lavorate con uno straccio.