Johanniterborgen i Skarszewy, beliggende på en stejl moræneodde i Wietcisa-flodens sving, er et af regionens ældste og mest interessante monumenter. Oprindeligt lå der en befæstet boplads på borgens plads, som var i brug fra det 8. til det 13. århundrede. I det 13. århundrede opførte Johanniterne de første murstensbygninger på stedet, hvilket markerede begyndelsen på opførelsen af en gotisk fæstning. Borgen, senere kaldet Højborgen, spillede en nøglerolle i Pommerns historie.

I det 14. århundrede blev borgen udvidet til at omfatte en beboelsesdel med en gårdsplads og en økonomisk forborg. I 1370 overgik den til Den Tyske Orden, som omgav gårdspladsen med mure, en port og bastioner. Under husitternes invasion i 1433 blev fæstningen brændt ned, men blev hurtigt genopbygget. Borgen skiftede hænder mange gange, indtil den i 1466, efter Trettenårskrigen, kom under polsk herredømme.

Fra 1611 til 1772 var fæstningen sæde for de pommerske voivoder og distriktsretten. Under den svenske invasion i 1629 blev borgen brændt ned og genopbygget først ved overgangen mellem det 17. og 18. århundrede. I det 18. århundrede begyndte bygningen at forfalde. Efter Skarszewys overtagelse af Preussen i 1772 blev en del af borgen revet ned, og resterne blev omdannet til et saltlager.

I det 19. århundrede førte yderligere udnyttelse af bygningen til dens forvrængning. De gotiske kældre og fragmenter af stueetagens mure, der indeholder renæssancedør- og vinduesrammer, overlevede takket være, at bygningen blev dækket af et tag. I årene 1982-1989 blev der gennemført en grundig renovering, og borgens indre blev tilpasset kulturelle formål. I øjeblikket er borgen sæde for det Kommunale Kulturcenter og det Offentlige Bibliotek.

Den moderne bygning, selvom den adskiller sig markant fra det oprindelige design, bærer stadig spor af sin rige historie. De mest interessante elementer omfatter de hvælvede kældre, murfragmenter og et sted forbundet med Józef Wybicki, forfatteren til den polske nationalsang, som aftjente sin første juridiske praktik her i årene 1762-1765.