Pierwsza wzmianka o dworze arcybiskupim w Skierniewicach pochodzi z 1359 roku, gdzie drewniany dotychczas dwór położony był na prawym brzegu rzeki Łupi. Służył on arcybiskupom do odpoczynku, a także jako miejsce postojowe. Gdy Skierniewice uzyskały status miasta (1457 rok), znaczenie miasta zdecydowanie wzrosło, co skłoniło prymasów Wojciecha Baranowskiego i Wawrzyńca Gębickiego do budowy w 1610 roku obszernego pałacu. Budowa została ukończona w 1619 roku. Niestety został on częściowo zdewastowany w czasie najazdu szwedzkiego w latach 1655 – 1657. Z opisów wynika, że zniszczenia budynków wynikały nie tyle z działać wojennych, co z powodu niedopilnowania. Budynek główny pałacu nie był duży i miał 8 izb na parterze i kilka sal na piętrze. W XVIII wieku pałac był kilkakrotnie przebudowywany i odnawiany, po raz pierwszy około 1721 roku. W czasach arcybiskupa Komorowskiego pałac został zniszczony przez pożar. Straty były ogromne. Dopiero za czasów panowania arcybiskupa Łubieńskiego, w latach 1761 – 1766, odrestaurowano zabudowania. Wtedy to również wzniesiono kaplicę pałacową w 1762 roku. Ostateczny kształt budynek pałacowy otrzymał w 1780 roku w czasach arcybiskupa Ostrowskiego według projektu architekta Efraima Schroegera. Od strony miasta wjazd prowadził bramą pośrodku parterowego budynku oficyn. W tym stanie pałac przetrwał do II rozbioru Polski w 1793 roku i służył za rezydencję prymasom polskim.
O ogrodzie przy pałacu pierwsze wzmianki pochodziły z połowy XVII wieku, którego zadaniem było dostarczanie owoców i warzyw na stół pałacowy. Sam ogród był zaniedbany, ponieważ nie dbano o porządek. Pierwsze próby przebudowy ogrodu podjęto w czasach arcybiskupa Komorowskiego, który sprowadził do Skierniewic ogrodnika Christiana. Założył on wtedy szkółki różnych drzew – owocowych, ozdobnych. Park w kształcie zbliżonym do dzisiejszego powstał jednak później.
W 1884 roku odbyło się tutaj spotkanie trzech cesarzy europejskich. W tym czasie Skierniewice były światową stolicą dyplomacji. Spotkanie to miało na celu przypieczętować układ panujący między zaborcami. Po odzyskaniu niepodległości w 1918r. decyzją władz państwowych pałac wraz z folwarkiem został oddany Szkole Głównej Gospodarstwa Wiejskiego w Warszawie, która utworzyła tu swoją filię - ośrodek naukowy, stanowiący teren badań i praktyk studenckich.
W czasie II wojny światowej przebywał tu Adolf Hitler , a podczas całej okupacji pałac był siedzibą władz okupacyjnych. Po wojnie pałac wrócił do swojego poprzedniego właściciela - SGGW. W tym samym czasie też przywrócono rezydencji cechy późnobarokowe. Zmieniono wygląd elewacji,oraz rozebrano portyk i kartusz.
W dniu 22 marca 2010 roku swoją wizytą zagościł tu także prezydent Ryszard Kaczorowski, który z zainteresowaniem podziwiał piękno pałacu.
Przy zwiedzaniu pałacu należy w szczególności zwrócić uwagę na sale: audiencyjną, biblioteczną instytutu, salę z lustrem, salę z kaplicą prymasowską, jak również salę pod jutrzenką, w której znajduje się najstarszy plafon w Skierniewicach z 1835 roku. Wewnątrz znajduje się również wystawa poświęcona profesorowi Emilowi Chroboczkowi, założycielowi Instytutu, jak również założycielem jego siedziby w pałacu prymasowskim. W 1964 roku powstał Instytut Warzywnictwa z siedzibą w pałacu. Profesor, poza działalnością w warszawskim SGGW, zajmował się hodowlą i uprawą warzyw.
W każdą pierwszą sobotę miesiąca pałac otwarty jest dla zwiedzających. Zwiedzanie jest nieodpłatne i odbywa się w godzinach 10 – 15. Instytut daje również możliwość grupowego zwiedzania po wcześniejszym uzgodnieniu z dyrekcją.