Zamek Joannitów w Skarszewach, położony na stromym cyplu wału morenowego w zakolu rzeki Wietcisy, to jeden z najstarszych i najciekawszych zabytków regionu. Pierwotnie w miejscu zamku istniał gród, funkcjonujący od VIII do XIII wieku. W XIII wieku Joannici wznieśli na jego terenie pierwsze ceglane budowle, które zapoczątkowały powstanie gotyckiej warowni. Zamek, nazywany później Zamkiem Wysokim, odgrywał kluczową rolę w historii Pomorza.
W XIV wieku zamek został rozbudowany, obejmując część mieszkalną z dziedzińcem i gospodarczym podzamczem. W 1370 roku przeszedł w ręce Krzyżaków, którzy otoczyli dziedziniec murami z bramą i basztami. Podczas najazdu husytów w 1433 roku warownia została spalona, jednak szybko ją odbudowano. Zamek wielokrotnie przechodził z rąk do rąk, aż w 1466 roku, po wojnie trzynastoletniej, trafił pod panowanie polskie.
Od 1611 do 1772 roku warownia była siedzibą wojewodów pomorskich i sądu grodzkiego. Podczas szwedzkiego najazdu w 1629 roku zamek został spalony i odbudowany dopiero na przełomie XVII i XVIII wieku. W XVIII wieku budowla zaczęła popadać w ruinę. Po przejęciu Skarszew przez Prusy w 1772 roku część zamku rozebrano, a pozostałości adaptowano na magazyn solny.
W XIX wieku dalsza eksploatacja obiektu doprowadziła do jego zniekształcenia. Gotyckie piwnice oraz fragmenty parterowych murów, zawierające renesansowe obramowania drzwi i okien, przetrwały dzięki pokryciu budynku dachem. W latach 1982–1989 przeprowadzono gruntowny remont i przystosowano wnętrza zamku na potrzeby kulturalne. Obecnie zamek jest siedzibą Gminnego Ośrodka Kultury i Biblioteki Publicznej.
Współczesny obiekt, choć znacznie odbiega od pierwotnego założenia, wciąż zachowuje ślady swojej bogatej historii. Do najciekawszych elementów należą sklepione piwnice, fragmenty murów oraz miejsce związane z Józefem Wybickim, autorem polskiego hymnu narodowego, który w latach 1762–1765 odbywał tu swoje pierwsze praktyki prawnicze.