Stojący na wysokim tarasie Niewiaży dwór w Czerwonym Dworze pochodzi z początku XVII wieku. Główny obiekt zespołu to zamek z wieżą. Jak twierdzą historycy, jego budowę rozpoczął podkomorzy kowieński Wojciech Dziewałtowski. Dwór należał do wielu znatnych magnatów litewskich. Ostatnimi jego właścicielami byli Tyszkiewiczowie, którzy uczynili zamek okazałą rezydencją.
Pałac, oranżeria, lodownia zostały odnowione przed kilkoma laty. Dobiega końca urządzenie w dawnych stajniach Inkubatora Sztuki, który ma być otwarty już w październiku tego roku. Według projektu „Archispektras", mają się pojawić dwie fontanny. Jedna z nich – z ogrodem różanym w środku. Planowana jest budowa placu zamkowego i amfiteatru, gdzie będą się odbywały rozmaite imprezy.
Istnieje też zamiar odtworzenia winnicy, którą Tyszkiewiczowie urządzili na południowym stoku dworu, nad Niewiażą. W dworze ma być urządzony hotel, dom gościnny, a także ścieżka spacerowa.
Pieniądze na zakończenie projektu odnowy dworu (wstępny koszt to ok. 3 mln euro)mają pochodzić z funduszy europejskich, budżetu samorządu rejonu kowieńskiego i innych źródeł.