Obory, położone na skraju rozległych łąk i rozlewisk, są jednym z najstarszych miejsc osadniczych w bliskiej okolicy Konstancina. W pierwszej połowie XV wieku dobra te należały do Oborskich, średniozamożnej szlachty mazowieckiej mającej swe majątki również w ziemi ciechanowskiej.
Nazwę Obory wywodzi się niesłusznie od francuskich słów „au bord” – na skraju, na brzegu. W myśl tej etymologii nazwa ta powstać miała dopiero za panowania Jana III Sobieskiego, a więc w drugiej połowie XVII wieku i to poprzez odniesienie do nieodległego Wilanowa, podówczas królewskiej rezydencji. Obory należały wówczas do Jana Wielopolskiego, kanclerza wielkiego koronnego, zaślubionego z siostrą królewskiej małżonki (sławnej Marysieńki) Marią Anną de la Grange D’Arquien. Siostry odwiedzały się często, zapewne też u wielkiego kanclerza w gościnie bywał sam król i choć odległość dzieląca obydwie rezydencje wynosiła 12 km, to jednak ukryte wśród rozlewisk, o wiele skromniejsze od Wilanowa, Obory były rzeczywiście na uboczu, czyli „au bord”.
Inne anegdotyczne pochodzenie nazwy związane z królewską siostrą wydobyli językoznawcy wskazując, że to właśnie ona jest autorką nazwy Obór, bo jej rodowy przydomek „de la Grange” znaczy właśnie po polsku „z Obór”. Mało przekonywujące jest również wywodzenie Obór od oborania. Pierwotnie więc nazwa miała brzmieć „Oborane”, a dopiero z czasem miała ulec skróceniu. Za pomocą oborywania wytyczano niegdyś w Polsce – i nie tylko, jak pokazuje legenda o założeniu Rzymu – granice posiadłości, zasięg pól i własności. Tego rodzaju nazwy zaliczane przez językoznawcę Witolda Taszyckiego do grupy nazw kulturowych, czyli tworzonych od wyrazów oznaczających świadectwa działalności człowieka, pojawiają się na Mazowszu późno i nie są rozpowszechnione. W Polsce jest kilkanaście nazw brzmiących Obory i kilka ich wariantów w rodzaju Oborniki czy Obórki, według językoznawców wszystkie pochodzą od obór, czyli pomieszczeń dla bydła. Takie zapewne też jest pochodzenie podkonstancińskich Obór.
W 1643 roku dobra oborskie zakupił od Oborskich ówczesny hetman wielki koronny Stanisław Koniecpolski, zwycięzca Szwedów pod Trzcianną w 1629 roku i Tatarów pod Ochmatowem w 1644 roku. Niewiele wiadomo o ówczesnym oborskim dworze, zapewne był drewniany i zniszczyli go Szwedzi w czasie „potopu”, jak wiele innych podmiejskich rezydencji i siedzib szlacheckich.
Po wypędzeniu Szwedów z Rzeczypospolitej dobra oborskie nabył wspominany już Jan Wielopolski herbu Starykoń, starosta warszawski i kanclerz koronny. Około 1688 roku zbudował w Oborach murowany dwór, którego projektantem był prawdopodobnie Tylman z Gameren (1632–1706), jeden z najwybitniejszych pracujących wówczas w Polsce architektów. Jest to budynek parterowy, na planie prostokąta, z centralnie umieszczoną sienią i apartamentami po bokach. Na zewnątrz oś budowli akcentowana jest skromnym ryzalitem z frontonem i półkolistymi schodami z balustradą, które – łącznie z ozdobnymi obramieniami okien – podkreślają barokowy charakter tej rezydencji. Salon nadal zdobi płaskorzeźba kamienna przestawiająca herb Wielopolskich Starykoń, mający postać centaura. Ogólnie biorąc jest to budowla mało reprezentacyjna, wręcz skromna w porównaniu ze współczesnymi jej, podstołecznymi siedzibami magnackimi. Wzniesiony w tym samym czasie, niedaleko, choć na drugim brzegu Wisły, pałac Bielińskich w Otwocku Wielkim, pokazuje, na co stać było ambitnych posesjonatów okresu, który nazwać można „łabędzim śpiewem” Rzeczypospolitej.
W 1688 roku, po śmierci, w zagadkowych okolicznościach, Jana Wielopolskiego, dwór w Oborach jeszcze przez stulecie znajdował się w posiadaniu jego rodziny i dopiero na początku XIX wieku, drogą dziedziczenia, przeszedł w ręce Kaspra hrabiego Potulickiego herbu Grzymała, żonatego z Teresą z hrabiów Mielżyńskich. To właśnie tu, w barokowym dworze Potulickich zrodził się pomysł utworzenia Konstancina - luksusowego „latowiska” w oborskich lasach.
Spadkobiercy Kaspra Potulickiego spowinowaceni z rodzinami Mielżyńskich i Skórzewskich byli właścicielami dworu i dóbr oborskich do 1945 roku. W ostatnim dziesięcioleciu XIX wieku z inicjatywy Ofelii ze Skórzewskich hrabiny Potulickiej dokonana została przebudowa dworu, którą prowadził znany warszawski architekt Władysław Marconi, który dostawił do południowego szczytu smukłą, kwadratową kaplicę i zmodernizował wnętrza budowli. Bywał tu między innymi prezydent Narutowicz, o czym pisała już po jego śmierci Kazimiera Iłłakowiczówna na łamach „Gazety Polskiej” 16 grudnia 1932 roku: „Spotykałam się z nim parokrotnie w domu pp. Potulickich w Oborach, dokąd minister Narutowicz (min. MSZ) przyjeżdżał z pp. Kajetanem Morawskim i Stefanem Przeździeckim”.
W tym stanie Obory dotrwały do 1944 roku, do wybuchu powstania warszawskiego, do którego poszła trójka młodych Potulickich, a najstarszy Jan Przecław (ur. 1923 r.), syn Henryka i Marii ze Stroynowskich, podchorąży Kedywu, pseudonim „Rafał Olbromski” poległ 24 sierpnia w czasie akcji na Powiślu. Dowodził wówczas oddziałem szturmowym 2. kompanii 3. Zgrupowania AK „Konrad”. O nim przypomina ulica o swojskiej nazwie Jasiowa, położona na Królewskiej Górze, gdzie jako młody chłopak Jaś Potulicki asystował urzędowemu geometrze, dokonującemu parcelacji tego fragmentu dóbr oborskich.
W odwet za udział dzieci w powstaniu Niemcy wysiedlili Potulickich z Obór. Kiedy powrócili i zabrali się do porządkowania dworu i majątku, nadeszło kolejne, tym razem nieodwołane do dziś, wysiedlenie. Władza ludowa ogłosiła reformę rolną, czyli dekret o nacjonalizacji ziemi i wywłaszczeniu posiadaczy ziemskich. Potuliccy stracili wszystko i otrzymali zakaz przebywania na terenie powiatu piaseczyńskiego, gdzie znajdują się dobra oborskie. Henryk Potulicki zmarł jeszcze w 1931 roku. Jego żona Maria ze Strojnowskich, zmarła w Warszawie w 1965 roku.
Potuliccy z Obór spoczywają w krypcie grobowej kaplicy na cmentarzu w niedalekim Słomczynie, na ścianach której wiszą ich kommemoratywne tablice. Najstarsza poświęcona jest pamięci Kaspra Potulickiego.
Wkrótce po zakończeniu wojny w Oborach pojawili się pisarze. W 1948 r. otwarto Dom Pracy Twórczej Związku Literatów Polskich im. Bolesława Prusa, który istnieje w tym miejscu do dziś.