Gród w Skarszewach istniał w okresie VIII do XIII w. Usytuowany na Zamkowej Górze na stromym cyplu wału morenowego w zakolu rzeki Wietcisy, która tworzyła tu nieprzebyte bagna i rozlewiska. Grodzisko o kształcie zbliżonym do prostokąta i rozmiarach 60 x 130 m od strony miasta oddzielone było prawdopodobnie wałem i rowem. Na tym to terenie Joannici wznieśli gotycki zamek, później zwany Zamkiem Wysokim. Późniejsze budowle Zamku Średniego zatarły całkowicie ślady pierwotnego grodu. Pierwszą budowlę z cegły, prawdopodobnie miejscowego pochodzenia, wznieśli Joannicl na terenie skarszewskiego grodu już w początkach XIII w. Pozostałości Zamku Wysockiego z gotyckimi sklepieniami piwnic i parterową częścią murów, w których są fragmenty renesansowych obramowań drzwi i okien, pokryto w XIX wieku dachem i przystosowano pierwotnie na magazyn solny, następnie na młyn-kaszarnię, a obecnie na magazyny i mieszkania. Nadwątlone czasem, wojnami a zwłaszcza eksploatacją w XIXw. Zamek Wysoki był rezydencją wojewodów pomorskich, często gościli w nim królowie i dygnitarze I Rzeczypospolitej. Na wysokości trzech metrów od strony północnej i południowej od zewnętrznej ściany murów wmurowali Krzyżacy dwa duże kamienie polne na znak zwyoięstwa nad wojskami husyckimi, które w 1433 roku zajmowały miasto i zamek. Zamek Wysoki łączył się prawdopodobnie podziemnym gankiem z farą. Otaczające Zamek Wysoki mury i baszty nie zachowały się.

Baszta Skazańców jest najbardziej okazałą z zachowanych baszt. Jeko baszta narożna, na planie koła o średnicy 10 m, ma od strony wschodniej wybrzuszenie takie na planie koła, lecz o średnicy około 3 m. Budowla ma jedynie kamienny fragment, zaś pozostałą jej część wykonano cegły gotyckiej. Mury obronne łączące się z Basztą Skazańców są do wysokości 4 m a kamienia polnego, dalej nadbudowano je cegłą. Cegły Baszty Skazańców, nadbudowy murów i innych baszt są tych samych rozmiarów, co wskakuje na ten sam okres budowy. Według niektórych źródeł wzmocnienie murów obronnych nastąpiło po wojnie trzynastoletniej, a więc po 1466 roku. Tak więc możemy z wielkim prawdopodobieństwem określić czas budowy Baszty Skazańców na koniec XV wieku. Baszta Skazańców ma cechy bastei. Ten system obronny w tych latach wchodził naarenę budowli obronnych. Przekazy ludowe i legendy wiążą Basztę Skazańców z miejskim wymiarem sprawiedliwości, gdyż tu wykonywano wyroki śmierci i to nie jednokrotnie w bardzo wyrafinowany sposób.

Centralny budynek miasta, zachował się w zachodnio-południowym narożniku Rynku. Jest to budowla z XVII wieku przebudowana po pożarach miasta w 1712 i 1714 roku i zamieniona na mieszkania w pięrwszyeh latach drugiej Rzeczypospolitej, gdy Zarząd Miasta wybudował sobie obok nowy ratusz. Do 1945 roku na małej wieżyczce znajdował się zegar miejski. Pierwotny ratusz znajdował się prawdopodobnie w centrum Rynku, lecz nie zachowały się żadne przekazy o jego dokładnej lokalizacji.

Barokowy budynek z pierwszej połowy XVIII wieku. W budynku tym mieściła się do 1945 roku drukarnia, w której drukowano książki, między innymi o historii Skarszew. Tu drukowano też gazetę "Dziennik Skarszewski". Zachowała się elewacja barokowa ściany frontowej z medalionem Gutenberga.

Dom Wojewodów z pierwszej połowy XVIII w. który zachował kolebkowe sklepienia w piwnicach. Budynek jest okazały. Nazwa wywodzi się zapewne stąd, że wojewodowie zmuszeni do urzędowania według praw pomorskich w wyznaczonych dniach i godzinach kwaterowali w mieście, gdyż w XVIII wieku ich rezydencja - Zamek Wysoki - był bardzo zniszczony, a pomieszczenia Zamku średniego były zbyt szczupłe.