Государственной программой «Замки Беларуси» на 2012—2018 годы предусмотрено проведение реставрации Любчанского замка, поэтому с 2013 года финансирование работ планируется из республиканского бюджета. До этого финансирование осуществлялось за счет средств благотворительного фонда «Любчанский замок», также значимую помощь в реставрации оказывал ОАО «Приорбанк».
Существует легенда, связанная с названием Любча. Когда-то здесь переправлялся через Неман первый правитель Великого княжества Литовского Миндовг и в этих местах повстречал девушку по имени Марта, которую забрал с собой и взял в жены. Говорят, отсюда и пошло название Любча - место, где родилась их любовь. Возможно, именно здесь крестили Миндовга и его бояр. Ведь в Любче в то время находились столица Литовско-Русского епископства и первый доминиканский монастырь.
Любчанский замок занимал участок размерами, близкими к квадрату 85 на 85 м. С трех сторон замчище окружал оборонительный ров шириной до 30 м и глубиной 7-8 м (с запада и юга) до 10 м с востока, который и сейчас достаточно глубок. С четвертой стороны замок защищался Неманом. На месте подъемного моста у ворот замка сделана насыпь. Земля из рва видимо пошла на подсыпку площадки замчища. В результате площадка поднялась над околицей на 2-2,5 м. Фундамент башни из больших валунов опущен в землю на 3 м. Внутри здания находилась тюрьма.
Первоначально практически все строения замка, кроме одной каменной башни, защищавшей въезд, были деревянными. В конце XVI века новый владелец - князь Николай Радзивилл - значительно перестроил замок: были возведены еще три каменные башни и каменные внутренние постройки, что значительно повысило фортификационные характеристики крепости.
Согласно документам и графическим материалам XVII века, в Любчанском замке было 4 башни, каждую из которых украшали флюгеры с гербами Радзивиллов. Местечко Любча также было защищено оградой из бревен, имело въездные ворота фахверковой конструкции из дерева и кирпича.
Главная башня являлась мощнейшим фортификационным сооружением и имела 4 огневых уровня. В юго-западном и юго-восточном углах замчища сохранились две мощные каменные башни. Первая была воротной. Она сделана в виде мощного куба, который на высоте около 8 м переходит в 8-гранную призму. Основание башни - квадрат размером 9,8 на 9,8 м. Башня имела 4 яруса боя. На первом ярусе - 8 ружейных бойниц, на втором -12 и на третьем - 8 пушечных бойниц. Под крышей башни в каждой из восьми стен имелось по две мушкетные бойницы. Соответственно, огонь мог вестись во все стороны, что позволяло защитникам башни обороняться даже после прорыва неприятеля в замок. По своей объемно-пространственной композиции эта башня очень близка к башням Мирского, Новогрудского и Витебского замков. Смешанная готико-ренессансная кладка позволяет датировать башню концом 16 века. Находка же древнего флюгера башни дает конкретную дату - 1581 год.
В середине XVII века хозяином Любчанского замка стал талантливый полководец, великий гетман литовский Януш Радзивилл, в 1648-1651 годах отличившийся в войне с казаками Богдана Хмельницкого. Редко какая война обходила стороной Любчанский бастион, и уже в 1655 году многочисленный отряд запорожских казаков под командованием гетмана Ивана Золотаренко переправился через Неман и приступом взял замок.
С тех пор замок неоднократно менял владельцев, пока в XIX веке остатки внутренних построек не были снесены, а на их месте, рядом с двумя сохранившимися башнями, был возведен двухэтажный дворец в стиле английской неоготики.