In den Jahren 965/72 schenkten die deutschen Kaiser dem Kloster Einsiedeln die beiden Höfe Pfäffikon und Wollerau. Das Benediktinerstift errichtete in Pfäffikon einen Speicher zur Aufbewahrung von Naturalabgaben der Bevölkerung.
Mitte des 13. Jahrhunderts liess Abt Anselm von Schwanden den heutigen Schlossturm bauen zur Abwehr feindlicher Angriffe und zum Schutz der Einkünfte aus den Klosterländereien.
1299 verstärkte man mit grossem Aufwand die Anlage mit Mauern, Wällen und Wassergräben.
Da die Anlage wiederholt auch als Abtsresidenz dienen musste, wurden unter der Leitung von Abt Burkhard von Weissenburg zu Beginn des 15. Jahrhunderts Wohnbauten bei der Turmanlage errichtet. Von nun an wurde das Schloss die «Weissenburg» genannt.
1567 errichtete Abt Joachim von Eichhorn an der jetzigen Stelle eine gotische Kapelle, die 1785 im Barockstil umgestaltet wurde.
Für das Kloster Einsiedeln war die Anlage sehr wichtig, wie dies die folgenden Beispiele veranschaulichen. 1480 fand hier die Abtwahl statt, und 1577 diente sie den Einsiedler Mönchen während 7 Monaten als Zufluchtsort, als das Kloster und das Dorf Einsiedeln einem Grossbrand zum Opfer fielen. Die "Weissenburg" empfing ausserdem immer wieder bedeutende Besucher wie beispielsweise verschiedene Schwyzer Landvögte und Landammänner und den päpstlichen Nuntius.
Die Schlossanlage diente dem Kloster bis ins 18. Jahrhundert als Verwaltungszentrum und wurde schliesslich durch die neu daneben erstellte barocke Statthalterei abgelöst.
Als Wehrbau unterstand die Burg Pfäffikon nicht nur dem Kloster Einsiedeln, sondern auch den Schirmvögten über die Höfe, den Herren von Rapperwil, dem Grafen von Habsburg, Zürich und Schwyz. Dadurch wurde das Schloss in zahlreiche kriegerische Auseinandersetzungen verwickelt: