W XVI wieku własność Maciejowskich, w XVII Zbąskich i Oleśnickich, w XVIII, XIX i XX wieku Zamoyskich. Od końca XVIII wieku Podzamcze należało do Stanisława Kostki Zamoyskiego (1775-1856), senatora wojewody Księstwa Warszawskiego i Królestwa Polskiego w latach 1810-1831, od 1822 roku prezesa Senatu, członka rosyjskiej Rady Państwa, prezesa Towarzystw Rolniczych Królestwa Polskiego. W 1 poł. XIX ośrodek edukacji i badań rolniczych prowadzony przez Stanisława Kostkę Zamoyskiego, który na wielką skalę rozbudował hodowlę rasowego bydła i owiec. Ok. 1810 r. założono szkołę dla oficjalistów leśnych, która przekształciła się w szkołę gospodarstwa wiejskiego dla czeladzi dworskiej. W 1897 roku w Podzamczu urodził się Adam Michał Zamoyski (1878-1940), mistrz ceremonii dworu rosyjskiego, współorganizator plebiscytu na Warmii i prezes Zjednoczenia Towarzystw Polskich w latach 1918-1924, uczestnik powstań śląskich. W końcu lat dwudziestych XX wieku właścicielem Podzamcza był hr. Andrzej Zamoyski, a majątek liczył 6485 hektarów. Maria Zofia Zamoyska, urodzona w 1925 roku w Podzamczu, córka Franciszka Zamoyskiego, żołnierz AK, zginęła 4 stycznia 1945 roku w walce z Niemcami pod Studzianką.
Podzamcze to nie tylko pałac – dawna siedziba właściciela miejscowości, lecz całe dominium, na które składają się zabudowania administracyjne i gospodarcze: oficyna, rządcówka, budynek dawnej szkoły rolniczej z pierwszej połowy XIX wieku, neogotyckie stajnie i baszta. Na wzgórzu otoczonym parkiem stał pierwotnie zameczek Maciejowskich z 1557 roku. Na jego miejscu w XVII wieku Zbąscy lub Oleśniccy wznieśli nową siedzibę. Przetrwała ona do insurekcji kościuszkowskiej 1794 roku, kiedy to w czasie słynnej bitwy pod Maciejowicami budowla została zniszczona. W 1798 roku, na zamówienie Stanisława Kostki Zamoyskiego, Chrystian Piotr Aigner (1746-1841) sporządził dwa projekty odbudowy. Żaden z projektów nie doczekał się realizacji.
Ostatecznie na początku XIX wieku powstał pałac przypisywany autorowi dworu w Pęcicach, nieistniejącego dworu w Błędowi oraz pałacu Błękitnego w Warszawie – Fryderykowi Albertowi Lesslowi (1767-1822). Pałac ten nieco zmienił swoją formę, kiedy w drugiej połowie XIX wieku przebudował go architekt Ksawery Dionizy Makowski. Piętrowy, przykryty dachem czterospadowym. Elewacja frontowa dziewięcioosiowa z trzyosiową partią centralną z czterokolumnowym portykiem dźwigającym balkon piętra z żeliwną balustradką. Elewacja ogrodowa skomponowana niesymetrycznie, z balkonem wspartym na czterech filarach. Układ wnętrz dwutraktowy z sienią na osi. Całość w duchu dojrzałego klasycyzmu. Na froncie pałacu wmurowane kule armatnie, na balustradzie balkonu tablice z herbami: Jelita Zamoyskich i Pogoń Czartoryskich. Portyk w elewacji ogrodowej dostawiony został zapewne w czasie przebudowy w drugiej połowie XIX wieku. Obok pałacu kamień z napisem „Miejsce ostatniego boju naczelnika narodu polskiego Tadeusza Kościuszki 10 X 1794” i podobizną Naczelnika, postawiony w 200. rocznicę bitwy.
Klasycystyczne: oficyna z poł. XIX w. oraz budynek administracji z ok. 1840 r. wzniesiony na potrzeby szkoły rolniczej przez Stanisława Kostkę Potockiego.
Romantyczną wizję przeszłości Podzamcza tworzy wspaniała monumentalna okrągła baszta, zwieńczona pseudomachikułowym gzymsem i krenelażem. To jakby donżon dawnej twierdzy, ultimum refugium, miejsce schronienia i obrony w razie natarcia nieprzyjaciela. Być może gdyby powstała przed 1794 rokiem, skutecznie chroniłaby pałac i jego mieszkańców w czasie bitwy pod Maciejowicami. Towarzyszy ona neogotyckim zrujnowanym stajniom zwanymi Holendernią i wzniesiona została w drugiej ćwierci XIX wieku.
Park krajobrazowy został założony na początku XIX w. Rozplanowany w stylu angielskim na lekko pofałdowanym terenie ograniczonym od północy i zachodu doliną rzeki Okrzejki, opływającej wzgórze, na którym usytuowany jest pałac i oficyna. Park zajmuje łącznie powierzchnię 10,4 ha. Od frontu przed pałacem skomponowany został owalny klomb z obiegającym go podjazdem oraz aleja dojazdowa wysadzana dębami biegnąca w kierunku holenderni i zabudowań folwarcznych. W parku rosną liczne okazy 200-letniego starodrzewu mieszanego, niektóre uznane jako pomniki przyrody: lipy, klony, modrzewie, świerki, platany.
Sarkofag z białego marmuru kararyjskiego (z Carrary) wykonany w 1797 r. przez rzymskiego rzeźbiarza Maksymiliana Labourera na zamówienie Stanisława Kostki Potockiego. Wzorowany na nagrobku Luciusa Comeliusa Scypiona, zwanego Barbatus, konsula rzymskiego z ok. 298 r. p.n.e. Przywieziony do Puław przez Adama Jerzego Czartoryskiego w 1799 r. Książe Adam Czartoryski w tym czasie pełnił rolę ambasadora rosyjskiego przy królu Sardynii. Po konfiskacie dóbr puławskich przez rząd carski po powstaniu listopadowym, sarkofag przeniesiono w 1831 r. do Podzamcza Zamoyskich, którzy byli skoligaceni z Czartoryskimi.
Rządcówka zbudowana około połowy XIX w. Budynek murowany z cegły tynkowany, dwutraktowy, parterowy z mieszkalnym poddaszem.
Dom ogrodnika murowany z cegły, dwutraktowy, pięcioosiowy i tynkowany.
Źródła:
Piotr Libicki, Marcin Libicki „Dwory i pałace wiejskie na Mazowszu”, Rebis 2009
Paweł Ajdacki „Podzamcze” [w:] „Kanon krajoznawczy województwa mazowieckiego”, Mazowieckie Forum Oddziałów PTTK / Samorząd Województwa Mazowieckiego 2018
Paweł Ajdacki „Pałace, dwory i folwarki ziemi garwolińskiej”, PTTK Oddział im. M.E. Andriollego w Otwocku 2019