Gród w Skarszewach istniał w okresie VIII do XIII w. Usytuowany na Zamkowej Górze na stromym cyplu wału morenowego w zakolu rzeki Wietcisy, która tworzyła tu nieprzebyte bagna i rozlewiska. Grodzisko o kształcie zbliżonym do prostokąta i rozmiarach 60 x 130 m od strony miasta oddzielone było prawdopodobnie wałem i rowem. Na tym to terenie Joannici wznieśli gotycki zamek, później zwany Zamkiem Wysokim. Późniejsze budowle Zamku Średniego zatarły całkowicie ślady pierwotnego grodu. Pierwszą budowlę z cegły, prawdopodobnie miejscowego pochodzenia, wznieśli Joannicl na terenie skarszewskiego grodu już w początkach XIII w. Pozostałości Zamku Wysockiego z gotyckimi sklepieniami piwnic i parterową częścią murów, w których są fragmenty renesansowych obramowań drzwi i okien, pokryto w XIX wieku dachem i przystosowano pierwotnie na magazyn solny, następnie na młyn-kaszarnię, a obecnie na magazyny i mieszkania. Nadwątlone czasem, wojnami a zwłaszcza eksploatacją w XIXw. Zamek Wysoki był rezydencją wojewodów pomorskich, często gościli w nim królowie i dygnitarze I Rzeczypospolitej. Na wysokości trzech metrów od strony północnej i południowej od zewnętrznej ściany murów wmurowali Krzyżacy dwa duże kamienie polne na znak zwyoięstwa nad wojskami husyckimi, które w 1433 roku zajmowały miasto i zamek. Zamek Wysoki łączył się prawdopodobnie podziemnym gankiem z farą. Otaczające Zamek Wysoki mury i baszty nie zachowały się.

Baszta Skazańców jest najbardziej okazałą z zachowanych baszt. Jeko baszta narożna, na planie koła o średnicy 10 m, ma od strony wschodniej wybrzuszenie takie na planie koła, lecz o średnicy około 3 m. Budowla ma jedynie kamienny fragment, zaś pozostałą jej część wykonano cegły gotyckiej. Mury obronne łączące się z Basztą Skazańców są do wysokości 4 m a kamienia polnego, dalej nadbudowano je cegłą. Cegły Baszty Skazańców, nadbudowy murów i innych baszt są tych samych rozmiarów, co wskakuje na ten sam okres budowy. Według niektórych źródeł wzmocnienie murów obronnych nastąpiło po wojnie trzynastoletniej, a więc po 1466 roku. Tak więc możemy z wielkim prawdopodobieństwem określić czas budowy Baszty Skazańców na koniec XV wieku. Baszta Skazańców ma cechy bastei. Ten system obronny w tych latach wchodził naarenę budowli obronnych. Przekazy ludowe i legendy wiążą Basztę Skazańców z miejskim wymiarem sprawiedliwości, gdyż tu wykonywano wyroki śmierci i to nie jednokrotnie w bardzo wyrafinowany sposób.

Centralny budynek miasta, zachował się w zachodnio-południowym narożniku Rynku. Jest to budowla z XVII wieku przebudowana po pożarach miasta w 1712 i 1714 roku i zamieniona na mieszkania w pięrwszyeh latach drugiej Rzeczypospolitej, gdy Zarząd Miasta wybudował sobie obok nowy ratusz. Do 1945 roku na małej wieżyczce znajdował się zegar miejski. Pierwotny ratusz znajdował się prawdopodobnie w centrum Rynku, lecz nie zachowały się żadne przekazy o jego dokładnej lokalizacji.

Barokowy budynek z pierwszej połowy XVIII wieku. W budynku tym mieściła się do 1945 roku drukarnia, w której drukowano książki, między innymi o historii Skarszew. Tu drukowano też gazetę "Dziennik Skarszewski". Zachowała się elewacja barokowa ściany frontowej z medalionem Gutenberga.

Dom Wojewodów z pierwszej połowy XVIII w. który zachował kolebkowe sklepienia w piwnicach. Budynek jest okazały. Nazwa wywodzi się zapewne stąd, że wojewodowie zmuszeni do urzędowania według praw pomorskich w wyznaczonych dniach i godzinach kwaterowali w mieście, gdyż w XVIII wieku ich rezydencja - Zamek Wysoki - był bardzo zniszczony, a pomieszczenia Zamku średniego były zbyt szczupłe.

Zachowane fragmenty fundamentów baszty w narożniku północno-wschodnim o rozmiarach około - 5 x 4 m świadczą, że był to obiekt niewielki, zresstą stroma i pokaźnych rozmiarów skarpa w tym miejscu pozwalała budowniczym ograniczyć tę budowlę bez uszczerbku dla ówczesnego systemu obronnego miasta.

Kościół Farny św.Michała wybudowano na początku XIII wieku, początkowo była to mała budowla kamienna. Pod koniec XIV w. obudowano go cegłą. Od strony zachodniej znajdowało się wejście. Po obu jego stronach stały ośmioboczne wieże, z których zachowała się Mała Wieża od strony północnej. W zakrystii zachowało się sklepienie kolebkowe z XVII w. Według przekazów znajdowało się tu zejście do podziemi, połączonych prawdopodobnie gankiem podziemnym z zamkiem. Z chwilą przyznania podzamczu prawa składu w 1274 r. przystąpiono do budowy kościoła większego ,dzisiejszego prezbiterium.Budowę nawy głównej rozpoczęli prawdopodobnie mieszczanie po 1520 r. Także w tym czasie przystąpili do budowy potężnej wieży. Po 1570 r. przerwano budowę wieży, której już nigdy nie wykończono. Mury mają 4 m szerokości u podstawy, a wyżej 2 m.  Dopiero pod koniec XV w. dobudowano nawy boczne, a na początku XVI w. od strony południowej kaplicę z bocznym wejściem. W podziemiach  kaplicy znajduje się głęboka krypta grzebalna z pięknym gotyckim sklepieniem krzyżowo-żebrowym. Boczne wejście po konserwacji w 1868 r. zamurowano.Obecnie gotycki, ceglany,trzynawowy o układzie halowym kościół farny ma następujące wymiary; długość wewnętrzna - 39,80 m,długość zewnętrzna - powyżej 48 m, szerokość trzech naw - 17,90 m, wysokość naw -.10,75 m.Górne partie wieży grożące zawaleniem po 1868 r. rozebrano, a na pozostawionej części dobudowano z cegły nową wieżę. Pożar kościoła w 1712 r. dokonał ogromnego spustoszenia. Spłonęło wszystko, runęły sklepinia. Jeszcze dziś można dostrzec pozostałości tego pożaru - poczerniałe mury, fragmenty sklepień ponad sufitem, nadpalone drzwi do zakrystii.Warto zwrócić uwagę na gotyckie portale głównego wejścia i w prezbiterium - w wejściu do zakrystii. Na zewnątrz wzmacniają mury masywne przypory ,skarpy, które tak jak gotyckie okna,oraz geometryczne wzory z tzw. zendrówki dodają uroku tej budowli. Skarszewska fara ma wystrój barokowy i rokokowy z lat od 1714 do końca XVIII w. Na zewnątrz kościoła znajduje się barokowa figura Św. Jana Nemomucena z połowy XVIII w.umieszczona na ścienie szczytowej kaplicy oraz krzyż z początków XVIII w. umieszony w zamurowanym oknie absydy.

Cmentarz Pomordowanych zorganizowało społeczeństwo Skarszew w1945 r. z chwilą, gdy przystąpiono do ekshumacji zwłok w lasach podmiejskich. Łącznie ekshumowano 340 zwłok, z których rozpoziano ponad 100, w tym 40 zamordowanych skarszewskich działaczy. Pochowano ich w dwóch masowych grobach na nowym cmentarzu. Pozostałych zabrały rodziny i pochowały na innych cmentarzach w Skarszewach i okolicznych parafiach. Na grobach umieszczono dwie kamienne płyty z wyrytymi na nich nazwiskami spoczywających w grobie bohaterów. Jednocześnie w miejscu centralnym Cmentarza Pomordowanych postawiono pomnik.

Na Przedmieściu Gdańskim w Skarszewach od 1810 roku znajduje się cmentarz. W 1823 roku wybudowano kapliczkę, w której umieszczono figurę świętego Jerzego pochodzącą ze zburzonego w wieku XVII kościółka świętego Jerzego. Według zapisków figura ta stała w głównym ołtarzu tego kościółka, a następnie w kapliczce cmentarnej, którą ustawiono w miejscu głównego ołtarza. Cmentarz  w 1859 ogrodzono solidnym murem, a w 1897 r. poszerzono o tereny pobliskich ulic. Na cmentarzu tym spoczywa kilku wybitnych osobowości skarszewskich, między innymi dr Tempski, aktywnie dzałająca osobowość  na rzecz przyłączenia Skarszew do Polski.

Fara świętego Krzyża jest jednym z najmonumentalniej rozbudowanych kośćiołów miejskich Pomorza Gdańskiego. Pierwotnie trzynawowa hala z wydłużonym, wielobocznie zamkniętym prezbiterium, w wyniku dalszej rozbudowy w XV wieku otrzymała dwa rzędy kaplic bocznych oraz boczny, dodatkowy chór, zwiększając wybitnie swoją powierzchnię. Potężna wieża zachodnia w swojej surowej, dolnej części pochodząca zapewne z XIII wieku, otrzymała w późniejszych czasach obecną, drewnianą nadbudowę, trafnie nawiązującą do pierwotnych zwieńczeń gotyckich wież kościołów pomorskich. Dużą stratą dla bryły budowli stało się obniżenie dachów naw i prezbiterium, niegdyś dużo wyższych, stało się to w XIX wieku. Szerokie, typowe dla kościołów miejskich tego terenu wnętrze nakrywają szczęśliwie zachowane gotyckie sklepienia gwiaździste i krzyżowe.

Zapewne już w 1274 r. otaczały teren podzamcza mury obronne z kamienia polnego. Mury te, dochodzące do 5 m wysokości, rozbudowano po 1320 r., a w XV wieku nadbudowano cegłą. Miasto otaczał mur obronny o wysokości do 8 m i grubości do 2 m. Dla wzmocnienia obronności w paśmie murów umieszczono 22 baszty i 2 bramy miejskie, które prawdopodobnie miały rozbudowany system przedbramia. Dwie baszty narożne w XV w. wyburzono, stawiając w tym miejscu basteje. Od strony północnej broniły miasta mury obronne zamku z Bramą Wojewody. Od strony południowej dostępu do miasta broniły także poza murami, jezioro i bagna. Obronność murów od strony zachodniej i północnej wzmacniały stromo opadająoe skarpy, które na odcinku północnym wXVI w. specjalnie ufortyfikowano. Do naturalnych walorów obronnych miasta zaliczyć należy rzeczkę Wietoisę, która opływa miasto i zamek od strony północnej i zachodniej. W średniowieczu tworzyła rozlewiska i bagna, dodatkowo utrudniające dostęp. Zachowane baszty i fragmenty baszt wskazują na odmienność w kształcie, wielkości i budulcu poszczególnych budowli.

Poklasztorny kościół dominikański pod wezwaniem Św.Stanisława Kostki.Ufundowany przez księcia pomorskiego Mestwina,który sprowadził do miasta zakon dominikanów.Kościół jest budowlą gotycką. Jednonawowy,z wydłużonym i wielobocznie zamkniętym prezbiterium.Posiada dekoracyjne oszkarpowanie części wschodniej,a w korpusie nawowym systemem typowy dla Gdańska.Wnętrze powiększone kosztem wciągnięcia skarp do wnętrza.Dało to efek zubożenia zewnętrznych ścian budowli. Elewacja zachodnia: wysoka i głęboka ostrołukowa wnęka, kryjąca główne wejście i nadwieszoną nad nią smukłą ośmioboczną wieżyczkę. Bogate w rysunku siatkowe sklepienia otrzymał kościół na przełomie XVI i XVII w,,prawdopodobnie po spaleniu w czasie wojny Batorego z Gdańskiem.Charakterystyczne dla kościoła nieregularności w planie -skrzywienie i przesunięcie osi prezbiterium.Nawy podyktowane zostały usytuowaniem na samym brzegu szkarpy wiślnej i skomplikowanym przyleganiem zabudowań klasztornych.Z dawnym klasztorem związane jest także ciekawe rozczłonkowanie wnękami północnej ściany kościoła.Kościół budowano do końca XIV wieku.

Zamek w  został zbudowany przez Krzyżaków. Początek jego budowy przypada na rok 1283. Usytuowany przy wysokiej krawędzi doliny Wisły i ujściowego odcinka doliny Wierzycy.Prawa miejskie uzyskał Gniew w 1297 roku. W roku 1464 został zdobyty przez wojska Kazimierza Jagiellończyka. W czasie wojny szwedzko-polskiej w roku 1626 zajęli go Szwedzi, którzy ponownie w latach 1655-1656 opanowali zamek i miasto. Zamek został zniszczony. W latach 1667-1696 godność starosty pełnił tu JanIII Sobieski. W tym okresie zbudowano obok zamku osobną rezydencję. Budynek ten zwany jest dziś „Pałacem Marysieńki”. W okresie XVII-XVIII wieku zamek był kilkakrotnie przebudowywany. Po zakończeniu I wojny światowej wraz z miastem znalazł się na terenie nowo powstałego państwa polskiego. W lipcu 1921 roku zamek spłonął. Prawdopodobnie ktoś podpalił celowo. Zamek miał drewnianą konstrukcję dachu i drewniane stropy,które paliły się jak pochodnie. Kompletnemu zniszczeniu uległy trzy skrzydła zamku, ocalało tylko skrzydło południowe.Dziś stanowił własność Skarbu Państwa.W okresie okupacji Niemcy utworzyli obóz przejściowy dla jeńców. Po wojnie zamek jako ruina przekazany do konserwacji. W roku 1969 ukończono budowę dachu i korony murów.Teraz odbudowane pomieszczenia adaptowano na cele socjalno-kulturalne. W skrzydle południowym znalazły się: sala koncertowa, pokoje gościnne, biblioteka i część gastronomiczna.