Сооруженный в XIII в. на месте бывшего поселения замок в силу важного стратегического положения неоднократно подвергался нападениям крестоносцев. В 1362 г. замок был разрушен и сожжен крестоносцами, в 1367 г. вновь отстроен. На остатках древних замковых стен были возведены более поздние стены высотой Эми толщиной 3,5 м. По углам стен сооружены четырехъярусные башни. Замок был приспособлен для защиты от огнестрельного оружия. Внешний склон оборонительного рва, окружавшего замок, находился в 50—60 м от стен. Стена форбурга служила лишь вспомогательным сооружением для укрепления склона защитного рва.
Реконструкция Каунасского замка. Рисунок С. Чяршкуте
После Грюнвальдской битвы замок еще некоторое время сохранял свое значение, но с XVI в. пришел в запустение. Пристроенная в 1560— 1580 гг. к замку юго-восточная башня, окруженная артиллерийским бастионом, свидетельствует, что значительно позднее, исходя из политических соображений, запущенный замок пытались укрепить по образцу бастионных оборонительных сооружений. В конце концов замок стал служить репрезентативным целям: здесь устраивались приемы князей, послов из зарубежных стран.
В начале XVIII в. рухнули подмытые водами Нярис обе северные башни и более половины замковых стен. Замок существенно пострадал во время войн XVII и XVIII вв. Река размыла восточный склон — сохранилась едва треть территории замка. Однако и по этим остаткам можно судить о том, что это был замок кастельного типа, окруженный насыпной конструкцией сдвоенных оборонительных стен, рвом и валом, а после перестройки — укрепленный четырьмя угловыми башнями.
Несколько столетий высились каменные развалины заброшенного замка. В 1925 г. были проведены натурные обмеры, раскопки. В 1930 г. произведено исследование замка под руководством профессора Э. Вольтера. В 1938 г. началась консервация башни.
В широком масштабе исследование и консервация замка проведены при Советской власти (1954 — 1961). Археологическими исследованиями на территории замка руководил археолог К. Мякас. Был реставрирован бастион, юго-восточная башня и южная стена укреплены железобетоном, подчеркнута историческая структура кладки, другие элементы развалин выведены до высоты, позволяющей выявить общий силуэт. В реставрированной юго-восточной башне оборудована экспозиция филиала Исторического музея. Посетители могут увидеть здесь макет замка, находки, оружие периода борьбы с крестоносцами. Намечено благоустроить и озеленить территорию замка. Авторы реставрационных работ — архитекторы Ж. Симанавичюс и С. Чяршкуте.
В 1975 г. на площадке у замка установлена декоративная скульптура «Играющий на канклес» скульптора Р. Антиниса-старшего. В этом произведении компактной композиции, синтетических форм доминируют крупные архитектоничные плоскости гранита, подчеркнутые лаконичными деталями. В монументальном произведении нашли отражение черты народного мироощущения.
Комплекс замка — археологический, исторический, архитектурный памятник всесоюзного значения.