Der Annahof wurde schnell zu einem kulturellen Mittelpunkt Augsburgs. Hier entstand die Bibliothek, aus der später die Augsburger Staats- und Stadtbibliothek hervorging. 1562 errichtete B. Zwitzel im ehemaligen Klostergarten das erste freistehende Bibliotheksgebäude in der deutschen Neuzeit. Heute erinnert die mit großen Buchstaben aus Glas eingelegte Inschrift „Bibliotheca Publica“ auf der Annahof-Bühne an diesen Bau.
Der Ausgang des Aufzugs markiert die Stelle, an der einmal ein Turm die Bibliothek abschloss und den Schülern als Sternwarte diente.
Als die inzwischen rein evangelisch gewordene Lateinschule neue Klassenzimmer benötigte, veränderte sich das Gesicht des Annahofs erneut. 1613 schuf Augsburgs berühmtester Baumeister Elias Holl das neue Schulhaus an der Nordseite des Platzes: den "Hollbau" in seiner klassischen Schulhaus-Architektur. Bis 1967 hatte hier das Gymnasium bei St. Anna seinen Sitz.