Helt tilbage i middelalderen boede den fredsløse sørøver og pirat Grev Trolle. Grev Trolle havde bygget en borg yderst på Trelde Næs, og herfra sejlede han ud for at røve rigdomme fra skibe langs landets kyster. Kongen havde gjort grev Trolle fredløs, da Greven ikke ville følge landets love. Historien omkring Greven er lang, men han endte som det så ofte går i Danmarks historien, død i en blodig kamp.
I midten af 16 hundrede tallet, blev området besat af svenske soldater, som brændte alle huse og gårde af. De lokale beboere nåede heldigvis at flygte og levede i Trelde skoven i huler i mere end et år.
I 1919 købte den vestfynske forretningsmad Harald Plum området. Harald Plum var på det tidspunkt en af landets rigeste og ejede rigtig meget jord, blandt andet også Thorø.
>> Læs om Thorø her
Harald Plum voksede op i et velhavende købmandshjem i Assens. Han blev uddannet jurist, men det blev handelen, der tiltrak ham. 1908 stiftede han The Crown Butter Export Co. og i 1916 Transatlantisk Kompagni, der var oppe på at have 127 datterselskaber og afdelinger under sig.
Harald Plum, der også blev kaldt “Gullaschbaronen,” fik bygget sin virksomhed op igen, men det hele krakkede i 1929, og han mistede livsgnisten og begik selvmord i sit hus på Thorø.
I 1930 købte Fra Anne Ryholt området, hun fik hegnet hele området ind og det var helt lukket for offentligheden i rigtig mange år. Hun boede til sin død i Troldehuset, hvor hendes aske også ligger spredt.
I dag er hele området offentlig tilgængeligt