Historia połczyńskiego Zamku sięga końca XIII wieku, kiedy to książę pomorski Bogusław IV zwany Ciało i Dusza z dynastii Gryfitów wydał polecenie jego budowy.

Dzisiejszy kształt budowli powstał w XVIII wieku, w latach 1770-1772, dzięki radykalnej przebudowie zarządzonej przez ówczesnego właściciela, generała Antoniego von Krockow. W miejsce obronnej wieży mieszkalnej na planie prostokąta (potem kwadratu) powstała barokowa rezydencja pałacowa na planie litery L. Wprawdzie obiekt zatracił swój pierwotny charakter obronny, jednak mieszkańcy Połczyna-Zdroju nadal nazywają go Zamkiem.

W wielkim skrócie, Zamek:

• był lennem/własnością pomorskich rodów, ważniejsze z nich to: von Wedel, von Manteuffel, von Krockow;
•  mniej więcej w połowie XIX w. został wykupiony spod zależności magnackiej przez mieszczan; w budynku założono pocztę;
• w pierwszej połowie XX wieku był siedzibą sióstr zakonnych, które od 16 listopada 1917 r. prowadziły w nim dom dziecka;
• po II wojnie światowej do początku lat 70. XX wieku był przeznaczony na mieszkania lokatorskie;
• od 1983 roku jest siedzibą biblioteki publicznej.

Zamek składa się z dwóch skrzydeł: północnego i zachodniego.

Najstarszą zachowaną częścią Zamku są piwnice. Odbywają się tu imprezy okolicznościowe, projekcje filmów, wystawy itp.

Na parterze znajduje się Oddział dla dzieci i młodzieży (wypożyczalnia i czytelnia), natomiast na piętrze mieszczą się Oddział dla dorosłych (wypożyczalnia i czytelnia, czytelnia internetowa) oraz Sala kominkowa, obecnie wykorzystywana przez Urząd Stanu Cywilnego jako Sala Ślubów. W holu można oglądać stałą ekspozycję pocztówek i fotografii dawnego Połczyna-Zdroju.

W 2005 roku ze środków unijnych wyremontowano dach i wymieniono okna, natomiast w latach 2011-2012 przeprowadzono gruntowny remont budynku.