Pałac Prezydencki do 1818 roku

Pierwotnie był to barokowy pałac w stylu rezydencji genueńskich, z pierwszym w Warszawie ogrodem typu włoskiego, schodzącym aż do rzeki Wisły (płynącej w tamtych czasach u podnóża skarpy), przy którym znajdowała się przystań dla statków. Projektantem pałacu był najprawdopodobniej Constantino Tencalla – ówczesny nadworny architekt króla Władysława IV, autor m.in. kolumny Zygmunta. Budowę rozpoczął w 1643 hetman wielki koronny Stanisław Koniecpolski, z przeznaczeniem na swoją warszawską rezydencję (jego główną siedzibą były Brody). Zmarł jednak w 1646, a prace dokończył jego syn Aleksander.
Podczas potopu szwedzkiego, w latach 1656-1657, pałac został ograbiony i zdewastowany przez Szwedów oraz wojska Jerzego Rakoczego.
Po śmierci Aleksandra Koniecpolskiego jego syn Stanisław sprzedał pałac w 1659 hetmanowi polnemu i marszałkowi wielkiemu koronnemu Jerzemu Sebastianowi Lubomirskiemu. Jednak już w 1674 pałac przeszedł w ręce Radziwiłłów z linii nieświeskiej. Za Radziwiłłów gmach był częstym miejscem zgromadzeń publicznych, uczt i balów. Jednym z najbardziej znanych mieszkańców pałacu był książę Karol Stanisław II Radziwiłł zwany Panie Kochanku, najzamożniejszy polski magnat II połowy XVIII wieku i jeden z najbogatszych ludzi ówczesnej Europy. Poróżniony z Czartoryskimi i królem Stanisławem Augustem Poniatowskim Radziwiłł przestał bywać w stolicy, a pałac wynajmowano, co przynosiło spory dochód. W latach 1768-1778 gmach został wynajęty Franciszkowi Ryxowi i zaadaptowany na teatr, w którym specjalną lożę miał także król.
W latach 1755-1762 gmach przebudowano i rozbudowano według wcześniejszego projektu Jana Zygmunta Deybla, w tym okresie powstały m.in. skrzydła boczne pałacu.
Od 1773 w gmachu odbywały się posiedzenia delegacji, która została wyłoniona przez Sejm Rozbiorowy dla przygotowania wspólnie z przedstawicielami trzech mocarstw traktatów I rozbioru Polski.
W 1778 w pałacu odbyła się premiera polskiej opery Nędza uszczęśliwiona, skomponowanej przez Macieja Kamieńskiego, uznawanej za pierwszą polską operę do czasu odkrycia barokowej opery Heca albo polowanie na zająca. W tym samym roku Radziwiłł pogodzony z Czartoryskimi wrócił do Warszawy, jednak budynek musiał niemal siłą przejmować z powrotem od artystów. Pałac został przez księcia odrestaurowany i nadal urządzano w nim wystawne uczty i bale. Po śmierci Karola Radziwiłła (1790) pałac odziedziczył 4-letni syn jego przyrodniego brata, Dominik Radziwiłł. Pałac w dalszym ciągu wynajmowano na różne cele m.in. występowały tutaj polskie, francuskie oraz niemieckie trupy teatralne.
W czasie Sejmu Czteroletniego pałac był siedzibą Zgromadzenia Przyjaciół Konstytucji Rządowej.
W lutym 1818 w pałacu odbył się pierwszy publiczny koncert ośmioletniego Fryderyka Chopina.