В XIV в. комплекс укреплений Вильнюса составляли три замка: Верхний (Аукштутине), Нижний (Жямутине) и Кривой (Крейвойи). Сооружались они в разное время. По мнению ученых, на месте Верхнего замка уже в XIII в. существовали каменные укрепления. Построенный в правление Гедиминаса деревянный замок сгорел в конце XIV или начале XV в. В 1365—1402 гг. крестоносцы восемь раз нападали на Вильнюс, но взять замка им так и не удалось. Непрестанные нападения рыцарей Тевтонского ордена вынуждали горожан укреплять оборонительные сооружения. На территории замка была возведена целая система защитных сооружений, и среди них — Верхний замок, окруженный высокими кирпичными и каменными стенами с башнями. От каменного Верхнего замка (его строительство закончил великий князь Витаутас (Витовт) в начале XV в.) до наших дней сохранилась западная трехъярусная башня с полуподвалом, остатки жилого дворца, обводных стен с южной и северной башнями, въездных ворот. После Второй мировой войны западная башня была реставрирована (1948 — 1950 гг. арх. Э. Будрейка). Реставрацией всего комплекса с 1955 г. руководит архитектор С. Ласавицкас.
В реставрированной западной башне Верхнего замка в 1960 г. открыта экспозиция — филиал Историко-этнографического музея Литовской ССР. Во дворе бывшего замка установлен памятный камень в ознаменование 550-летия Грюнвальдской битвы.
С востока Верхний замок находился под прикрытием Кривого замка. Из скудных сведений в письменных источниках известно, что Кривой замок был деревянным и стоял на спускающейся в долину реки Нярис горе, которую называли Лысой, или Кривой, недалеко от Верхнего и Нижнего замков. В 1390 г. он был сожжен крестоносцами и больше не восстанавливался. Сегодня это археологический памятник. Здесь в Нагорном (Калну) парке проводятся массовые праздники.
С расширением оборонительных сооружений для защиты от нападений крестоносцев у подножия Замковой горы формировался Нижний замок. Его опоясывала каменная оборонительная стена с башнями и воротами, защитными рвами и мостами. На территории Нижнего замка находились дворец великого князя, кафедральный собор, дворцовые службы, дома магнатов, купцов, арсенал, склады товаров, продуктов; к северу от Замковой горы возвышался костел св. Анны (Оны), а с середины XVI в. — св. Анны-Варвары (Оны-Барборы).
В 1520—1533 гг. на территории Нижнего замка был построен большой дворец в стиле ренессанса со множеством помещений. Во времена правления Сигизмунда Августа (Жигимантаса Аугустаса) во дворце была большая библиотека, коллекции произведений искусства. В войну 1654— 1667 гг. дворец сильно пострадал, а в конце XVIII в. с расширением города был почти полностью разрушен. До наших дней сохранились лишь отдельные постройки и остатки домов Нижнего замка: цейхгауз (старый арсенал; XV в.), сейчас завершается реставрация его восточного корпуса, где разместится экспозиция декоративно-прикладного искусства из фондов Художественного музея Литовской ССР; новый арсенал (XV в; в 1965 г. реконструирован, ныне Историко-этнографический музей Литовской ССР); часть дома смотрителя замка (XVI в.); фундамент костела св. Анны—Варвары (XIV – середина XVI в.; в 1956 г. археолог А. Таутавичюс произвел там раскопки, а арх. С. Ласавицкас — консервацию); одна из башен оборони тельной стены (XIII в.; нижняя часть колокольни кафедрального собора); кафедральный собор (XIII-XVIII вв.). Комплекс Вильнюсских замков — археологический, исторический и архитектурный памятник всесоюзного значения.