In het jaar 1326 wordt het "Goet te Zelle" voor het eerst vermeld. Het is een Gelders leen met als leenheer Pelgrim van Selle. Na enkele mutaties in de loop der eeuwen komt het landgoed in de 1669 in handen van de familie Grothe. Deze familie heeft voor een belangrijk deel de ontwikkeling tot een samenhangend landgoed vorm gegeven. In 1838 wordt het landgoed door de erven van A.J. Grothe verkocht aan R.E. baron van Dorth tot Medler. Sindsdien is het landgoed in handen van deze familie gebleven. Nog steeds wordt Huis Zelle door hen bewoond en het landgoed door hen geëxploiteerd.
De familie Van Dorth stamt af van Elicher van Heeckeren. Deze had een zoon Seyno, die omstreeks 1280 ging wonen op het Huis Dorth. en zich Seyno van Dorth ging noemen. Het huis Dorth is nog steeds te vinden in de buurtschap Kring van Dorth, gelegen aan de weg van Gorssel naar Bathmen. In 1684 verkreeg de familie via een huwelijk het landgoed Medler (bij Vorden) in eigendom: vandaar de naam Van Dorth tot Medler. Veel bekendheid verwierf Judith van Dorth. Zij was in de tijd van de Franse overheersing sterk oranjegezind en een verzetstrijder. In 1799 is zij in Winterswijk door de Franse bezetters geëxecuteerd.
Recht voor Huize Zelle is een zicht-as en een zevensprong van wegen te zien Deze zevensprong is het centrum van een uniek lanenstelsel, dat is aangelegd aan het eind van de 18de eeuw in de stijl van de Franse landschapsarchitect Le Notre. De laan voor het huis is van het begin tot het eind precies even breed als het huis zelf. Dit historische hart van het landgoed is in 2005 aangewezen als 'complex historische buitenplaats' en geniet sindsdien de status van rijksmonument. Met een omvang van ongeveer 94 hectare beslaat de buitenplaatsbescherming ongeveer een kwart van het landgoed.
Het lanenstelsel is al zichtbaar op de oudst bekende kaart, de zgn. Hottingerkaart uit circa 1785. In het parkbos, dat deels is aangelegd op rabatten, is een uit de romantische tijd daterende vijver aanwezig, die door een slingerlaantje wordt verbonden met een waterdoolhof. In 2009 is door de Stichting tot behoud van Particuliere Historische Buitenplaatsen (Stichting PHB) een beheerplan opgesteld voor het cultuurhistorische hart van het Zelle, waarbij een uitgebreide studie is gedaan naar de historie ervan. Op basis van dit beheerplan worden verschillende elementen ervan opgeknapt.
Van de bouwhistorie van het hoofdgebouw en de bijgebouwen op het Zelle is weinig bekend. In 1792 heeft een ingrijpende verbouwing (mogelijk zelfs de herbouw) van het huis plaatsgebonden in opdracht van de toenmalige eigenaren (de familie Grothe). Dit jaartal staat in de windvaan op het dak van het Zelle. De bijgebouwen uit 1787 en 1790 wijzen erop dat er voor die tijd al een aanzienlijk huis op deze locatie aanwezig was. De familie Van Dorth tot Medler heeft rond 1840, dus vlak na de aankoop, het huis ingrijpend gewijzigd. Het pand krijgt dan de huidige voorgevel, waarmee er aan de voorzijde een verdieping bij komt, het dubbele zadeldak wordt vervangen door de huidige dakconstructie. Aan de binnenkant is de indeling sindsdien niet meer gewijzigd, hetgeen bijzonder is voor huizen uit deze periode.
Een landgoed kan alleen bestaan als het op een bedrijfsmatige manier wordt beheerd. Vóór de Tweede Wereldoorlog vormden de producten van het land (er was een eigen agrarisch bedrijf) en uit het bos de belangrijkste inkomstenbronnen op landgoed Zelle, samen met de inkomsten uit het verpachten van boerderijen. Bij Huis Zelle zijn nog altijd de voormalige stallen van de kippen, varkens, koeien en paarden te vinden. Het hout was vooral bestemd voor de mijnbouw. Na de oorlog nam de vraag naar hout af o.a. doordat de mijnen gesloten werden. De houtprijzen daalden en de arbeidskosten stegen. Het eigen gemengde bedrijf werd omgezet in een akkerbouwbedrijf.
Om in te spelen op de veranderingen van de tijd, werden er in de jaren '50 eigenhandig vier houten vakantiewoningen gebouwd voor de verhuur. Dagloners die op het landgoed woonden en werkten trokken weg en de landbouwgrond die vrij kwam werd bij het eigen akkerbouwbedrijf gevoegd. De vrijkomende boerderijen werden in de jaren '60 en '70 verbouwd tot comfortabele vakantiewoningen. Hiermee werd het recreatiebedrijf verder uitgebreid en werd ingespeeld op het steeds groter wordende belang van vakantie- en vrijetijdsbesteding.
Toen in de jaren '80 de inkomsten uit de akkerbouw sterk terugliepen besloot de familie een deel van de akkers te gebruiken voor de aanleg van een golfbaan. Inmiddels ligt hier één van de mooiste 18 holes golfbanen van Oost Nederland, namelijk Golfclub 't Zelle.