Lata 1270–1920

W 1236 tereny te zajął Zakon krzyżacki^[2]. Po 1260 na miejscu wcześniejszej fortyfikacji rozpoczęto budowę z kamieni polnych zamkowego domu głównego (zamek wysoki) i obszernego przedzamcza o funkcji obronne-gospodarczej. Zamek wysoki stanowiły dwie stykające się pod kątem prostym budowle, w których mieściły się: dormitorium, refektarz, kaplica i kapitularz. Wjazd do zamku prowadził przez bramę z portalem z płaskorzeźbami terakotowymi przedstawiającymi trzech rycerzy^[1][2].

W 1262 zamek został po raz pierwszy wzmiankowany jako castrum Birgelow, w związku z najazdem Litwinów pod wodzą Trojnata i skutecznej obronie Krzyżaków w jednej z wież^[2]. Pierwszym komturem był Arnold Kropf, który pełnił tę funkcję w latach 1270–1276^[3]. W 1270 lub 1271 doszło do bitwy pod zamkiem z Jaćwingami pod wodzą Skomanda^[2]. Około 1280 budowę kontynuowano z cegły i wtedy też powstał tympanon^[2]. W latach 1300-1305 zamek został rozbudowany i podwyższony^[2]. Około 1330 dodano drugi mur i powstał parcham. W latach 1386–1415 zamek ten był siedzibą komturów bierzgłowskich. Po bitwie pod Grunwaldem w lipcu 1410 rycerze chełmińscy zdobyli zamek. Po likwidacji komturstwa w 1415 zamek stał się siedzibą administracyjną prokuratora krzyżackiego. Podczas wojny trzynastoletniej w lutym w 1454 zamek został zajęty przez wojska propolskiego Związku Pruskiego i częściowo rozebrany na rozkaz króla Kazimierza Jagiellończyka^[2].

W latach 1474–1840 był on własnością władz Torunia. Po pożarze, który miał miejsce w 1520 i 1580, zamek popadł w ruinę^[2]. W 1733 zamek był opisywany jako będący w ruinie. W 1769 pod zamkiem doszło do potyczki konfederatów barskich z milicją miasta Torunia, wspieraną przez wojska rosyjskie^[4][1][2]

W 1782 ponowny pożar zamku dokonał dalszych zniszczeń. Od 1840, kiedy to przeszedł w prywatne ręce, odbudowano skrzydło południowo-zachodnie i wieżę bramną. W 1860 przebudowano górną kondygnację skrzydła południowego w stylu neogotyckim wg projektu Oliviera Pavelta, a także nadbudowano wieżę na przedzamczu i rozebrano kaplicę na przedzamczu^[2]. W 1903 roku zamek przejęło państwo pruskie^[2]. 3 listopada 1908 w odbudowanych budynkach wybuchł kolejny dotkliwy pożar, który zniszczył pokrycie dachowe. W 1911 przeprowadzono rekonstrukcję według projektu Conrada Steinbrechta^[5][6][7]. Założono nowe sklepienia krzyżowe w refektarzu, zbudowano fachwerkową ścianę wewnętrzną refektarza oraz dach skrzydła zachodniego^[2].

1920–1945

W 1929 zamek został wydzierżawiony przez bpa chełmińskiego Stanisława Okoniewskiego, który w 1933 kupił go na potrzeby diecezji. Podczas dalszych prac remontowo-budowlanych zrekonstruowano skrzydło zachodnie, zamurowano arkady krużganka w skrzydle południowym^[2]. W 1936 w obecności prymasa Augusta Hlonda, wojewody Władysława Raczkiewicza, generałów Bortnowskiego i Wiktor Thommée, a także prezydenta Torunia – Leona Raszei dokonano na terenie zamku otwarcia Domu Rekolekcyjnego^[1][8][9]. W latach 1939-1945 ośrodek szkoleniowy NSDAP^[2].

Od 1945

W latach 1945–1992 w zamku mieścił się Zakład Opieki Społecznej. W latach 1946–1950 mieszkał tu biskup łucki Adolf Piotr Szelążek, wygnany przez władze radzieckie ze swej diecezji na Wołyniu, wcielonej do ZSRR^[10]. W 1960 odrestaurowano gotycki portal^[2]. 1 września 2001 rozpoczęło działalność Diecezjalne Centrum Kultury, którego dyrektorem został ks. Piotr Rutkowski. Od czasu ponownego przejęcia budynku przez władze kościelne w 1992 trwa jego rewitalizacja. W 2010 odrestaurowano m.in. kaplicę zamkową.