La Galleria dell'Accademia sorge nel luogo dove un tempo erano ubicati due antichi conventi - quello maschile di San Matteo e quello femminile di San Niccolò di Cafaggio - che occupavano tutto l'isolato fra piazza Santissima Annunziata e via Ricasoli.
Il grande ambiente ha l'aspetto di una chiesa a croce latina.
I bracci laterali e la Galleria dei Prigioni occupano spazi del medievale Ospedale di San Matteo, mentre la Tribuna che ospita la statua del David fu appositamente costruita su progetto dell'architetto Emilio De Fabris tra il 1873 e il 1882.