Das stattliche Barockpalais steht seit 1707 an Stelle des
1693 zerstörten Gasthauses Zum Löwen.
Bauherr war der Geheime Rat und Generalleutnant Friedrich
Freiherr von Venningen. Für den Bau des Hauses wurden
auch Steine vom zerstörten Dicken Turm des Schlosses
herangeschafft. Baumeister war Johann Adam Breunig, von dem
auch die Pläne für die Alte Universität und
das Jesuitenkolleg stammten. Seinen Namen hat das Haus Zum
Riesen von der in Höhe des zweiten Obergeschosses
im Mittelrisalit angebrachten imposanten Statue von Heinrich
Charassky, die den Bauherrn darstellt. 1797-1819 beherbergte
das Gebäude das Gasthaus Zum Riesen sowie
eine Bierbrauerei und Brennerei.
Etwa seit Mitte des 19. Jahrhunderts steht das Haus der Universität
als Institutsgebäude zur Verfügung. Es nahm anfangs
Anatomie, Zoologie und physikalisches Kabinett auf. Hier forschten
unter anderem der Physiker Gustav Kirchhoff und der Chemiker
Robert Bunsen, die gemeinsam die Spektralanalyse entdeckten,
der Physiologe Hermann Helmholtz, der um 1850 mit dem so genannten
Augenspiegel dem noch heute benutzten Instrument zur
Untersuchung des Augenhintergrunds Aufsehen erregte,
sowie der Geologe Wilhelm Salomon-Calvi, Entdecker einer Radium-Solequelle
am Bergheimer Neckarufer und Planer der Wasserversorgung für
die türkische Hauptstadt Ankara.