Die ersten urk. Erwähnungen stammen aus 1034 und 1345. Im 14. und 15. Jh. traten die Herren von Zelking als Stifter von Kirchengut auf. Der berühmteste Schloßherr auf Freydegg war Richard Streun von Schwarzenau. Er ließ 1575-94 das Schloß zu einem Renaissancebau umgestalten, das nicht nur wegen seiner Größe, sondern auch wegen seiner griechischen und indischen Kunstschätze berühmt war. Der Prachtbau, eines der schönsten Renaissanceschlösser, bestand aus fünf Gebäuden, hatte sechs Türme, einen herrlichen Garten, eine Bibliothek und kostbares Inventar. Freydegg soll sogar die Schallaburg an Größe überragt haben. Ein schweres Unglück ereignete sich, als Streun mit seiner zweiten Frau im Jahre 1581 Hochzeit feierte und 88 Personen geladen waren. Während der Hochzeitsfeier stürzte der Saalboden mitsamt der Gästeschar in die Tiefe. Es gab Tote und Verletzte. 1597 wurde der Pfarrhof von aufständischen Bauern geplündert. Streun von Schwarzenau war nicht nur ein führender Politiker und Führer der protestantischen Landsstände, sondern auch als Gelehrter, Forscher und Kunstsammler eine anerkannte Persönlichkeit. 1591 unternahm er mit dem Abt von Gaming eine Ötscher-Expedition. Auf Streuns Fürsprache erhielt Ferschnitz 1589 das Marktrecht und ein Wappen. Über die Zinzendorfer gelangte das verschuldete Schloß 1687 an Ernst Rüdeger von Starhemberg, den Stadtkommandanten Wiens während der 2. Türkenbelagerung (1683). Das einst prunkvolle Schloß verfiel in der Folge vollends. Abbruchziegel wurden u. a. zum Hausbau in Freydegg verwendet. Nur mehr der vor einiger Zeit wohnbar gemachte Eingangsturm kündet davon, daß hier in alten Zeiten ein Schloß so hoch und hehr" stand. In den Franzosenkriegen, zu Weihnachten 1800, quartierte sich der Feind mit 6000 Mann in Ferschnitz ein.