Zamek Joannitów w Skarszewach, położony na stromym cyplu wału morenowego w zakolu rzeki Wietcisy, to jeden z najstarszych i najciekawszych zabytków regionu. Pierwotnie w miejscu zamku istniał gród, funkcjonujący od VIII do XIII wieku. W XIII wieku Joannici wznieśli na jego terenie pierwsze ceglane budowle, które zapoczątkowały powstanie gotyckiej warowni. Zamek, nazywany później Zamkiem Wysokim, odgrywał kluczową rolę w historii Pomorza.W XIV wieku zamek został rozbudowany, obejmując część mieszkalną z dziedzińcem i gospodarczym podzamczem. W 1370 roku przeszedł w ręce Krzyżaków, którzy otoczyli dziedziniec murami z bramą i basztami. Podczas najazdu husytów w 1433 roku warownia została spalona, jednak szybko ją odbudowano. Zamek wielokrotnie przechodził z rąk do rąk, aż w 1466 roku, po wojnie trzynastoletniej, trafił pod panowanie polskie.Od 1611 do 1772 roku warownia była siedzibą wojewodów pomorskich i sądu grodzkiego. Podczas szwedzkiego najazdu w 1629 roku zamek został spalony i odbudowany dopiero na przełomie XVII i XVIII wieku. W XVIII wieku budowla zaczęła popadać w ruinę. Po przejęciu Skarszew przez Prusy w 1772 roku część zamku rozebrano, a pozostałości adaptowano na magazyn solny.W XIX wieku dalsza eksploatacja obiektu doprowadziła do jego zniekształcenia. Gotyckie piwnice oraz fragmenty parterowych murów, zawierające renesansowe obramowania drzwi i okien, przetrwały dzięki pokryciu budynku dachem. W latach 1982–1989 przeprowadzono gruntowny remont i przystosowano wnętrza zamku na potrzeby kulturalne. Obecnie zamek jest siedzibą Gminnego Ośrodka Kultury i Biblioteki Publicznej.Współczesny obiekt, choć znacznie odbiega od pierwotnego założenia, wciąż zachowuje ślady swojej bogatej historii. Do najciekawszych elementów należą sklepione piwnice, fragmenty murów oraz miejsce związane z Józefem Wybickim, autorem polskiego hymnu narodowego, który w latach 1762–1765 odbywał tu swoje pierwsze praktyki prawnicze.

Ratusz miejski w Skarszewach, usytuowany przy południowo-zachodnim narożniku rynku, to jeden z najstarszych budynków w mieście, którego historia sięga XVIII wieku. Powstał z cegły i przetrwał niszczycielskie pożary w latach 1709, 1712 i 1714. W XIX wieku ratusz był siedzibą władz miejskich, a jego dach wieńczyła drewniana wieżyczka z zegarem, który odmierzał czas mieszkańcom aż do 1945 roku.W XVIII wieku domy pod numerami 14 i 15 zostały połączone wspólnym dachem, tworząc jeden kompleks. Budynek pełnił funkcję administracyjną aż do okresu II Rzeczypospolitej, kiedy władze miejskie wybudowały nowy ratusz w sąsiedztwie, a stary ratusz został przekształcony na mieszkania. Współcześnie budowla ta, będąca świadkiem dziejów Skarszew, stanowi cenny zabytek i ważny element miejskiego krajobrazu.Pierwotny ratusz, według niepotwierdzonych przekazów, znajdował się w centrum rynku, jednak jego dokładna lokalizacja pozostaje nieznana.

Dom pod Gutenbergiem, to barokowy budynek z II połowy XIX wieku, którego historia związana jest z drukarstwem. W jego murach przez wiele lat funkcjonowała drukarnia, gdzie powstawały książki, w tym o historii Skarszew, oraz lokalne wydawnictwa, takie jak gazeta "Dziennik Skarszewski".Fasada budynku zachwyca zachowaną barokową elewacją, w której umieszczono medalion przedstawiający prawdopodobnie Johannesa Gutenberga, uważanego za ojca drukarstwa. Nad jednym z okien widoczna jest pełnoplastyczna główka kobieca, a okna zdobią wklęsłowypukłe opaski z roślinnymi ornamentami. Charakterystycznym elementem elewacji jest balkon na piętrze z ażurową balustradą, który dodaje budowli lekkości i elegancji.Dom pod Gutenbergiem, będący piętrowym budynkiem z niską kondygnacją strychową, stanowi dziś świadectwo historycznego znaczenia drukarstwa w Skarszewach. Elewacja frontowa, z wyraźnymi akcentami dekoracyjnymi, przypomina o wielowiekowej tradycji i lokalnym dziedzictwie kulturowym.

Dom Wojewodów, to imponująca budowla z pierwszej połowy XVIII wieku, której historia jest nierozerwalnie związana z tradycją i dziejami Skarszew. Wzniesiony na planie zbliżonym do kwadratu, na spadzistym terenie, wyróżnia się wysokim cokołem mieszczącym beczkowo sklepione piwnice, które przetrwały do dziś.Według tradycji budynek ten miał należeć do Józefa Wybickiego, autora polskiego hymnu narodowego, lub jego wuja Michała Niskiego, który w XVIII wieku pełnił funkcję podwojewodziego. Nazwa "Dom Wojewodów" nawiązuje do okresu, gdy wojewodowie pomorscy, zmuszeni prawem do urzędowania w określonych dniach i godzinach, kwaterowali w mieście. Było to konieczne, gdyż ich pierwotna rezydencja – Zamek Wysoki – znajdowała się wówczas w ruinie, a Zamek Średni oferował zbyt małą przestrzeń.Dziś Dom Wojewodów jest jednym z najważniejszych zabytków mieszczańskiej architektury Skarszew, przyciągając uwagę zarówno swoją okazałą formą, jak i zachowanymi elementami historycznymi, takimi jak kolebkowe sklepienia piwnic.