Die Johanniterburg in Skarszewy, gelegen auf einer steilen Landzunge einer Moräne in der Biegung des Flusses Wietcisa, ist eines der ältesten und interessantesten Denkmäler der Region. Ursprünglich befand sich an der Stelle der Burg eine Burg, die vom 8. bis 13. Jahrhundert bestand. Im 13. Jahrhundert errichteten die Johanniter an ihrer Stelle die ersten Ziegelbauten, die den Beginn des Baus einer gotischen Festung markierten. Die Burg, später Hohe Burg genannt, spielte eine Schlüsselrolle in der Geschichte Pommerns.Im 14. Jahrhundert wurde die Burg erweitert und umfasste einen Wohnteil mit Hof und einen Wirtschaftshof. 1370 fiel sie in die Hände der Deutschordensritter, die den Hof mit Mauern, einem Tor und Bastionen umgaben. Während des Hussitensturms von 1433 wurde die Festung niedergebrannt, aber schnell wieder aufgebaut. Die Burg wechselte mehrmals den Besitzer, bis sie 1466 nach dem Dreizehnjährigen Krieg unter polnische Herrschaft fiel.Von 1611 bis 1772 war die Festung Sitz der pommerschen Woiwoden und des Kreisgerichts. Während des schwedischen Einfalls von 1629 wurde die Burg niedergebrannt und erst um die Wende vom 17. zum 18. Jahrhundert wieder aufgebaut. Im 18. Jahrhundert begann das Gebäude zu verfallen. Nachdem Skarszewy 1772 von Preußen übernommen worden war, wurde ein Teil der Burg abgerissen und die Überreste zu einem Salzlager umgebaut.Im 19. Jahrhundert führte die weitere Nutzung des Gebäudes zu seiner Verformung. Die gotischen Keller und Fragmente der Erdgeschossmauern mit Renaissance-Tür- und Fensterrahmen überdauerten dank einer Dachdeckung des Gebäudes. In den Jahren 1982-1989 wurde eine gründliche Renovierung durchgeführt und das Innere der Burg für kulturelle Zwecke angepasst. Derzeit ist die Burg Sitz des Gemeindekulturzentrums und der öffentlichen Bibliothek.Das heutige Gebäude, obwohl sich von der ursprünglichen Anlage deutlich unterscheidet, trägt immer noch Spuren seiner reichen Geschichte. Zu den interessantesten Elementen gehören die gewölbten Keller, Mauerfragmente und ein Ort, der mit Józef Wybicki, dem Autor der polnischen Nationalhymne, verbunden ist, der hier in den Jahren 1762-1765 seine erste juristische Ausbildung absolvierte.