Le château du manoir de Karlova a été fondé en 1793 lorsqu'il a été séparé du manoir de Tahtvere.Thaddeus von Bulgarin a acheté le palais en 1828 et agrandi l'ancien bâtiment pour plus que doubler sa taille d'origine. Le palais possédait une collection remarquablement riche d'artefacts, de livres et de raretés, qui comprenait la plus grande collection de cartes privées de l'Empire russe.Il convient de noter que le palais est une propriété privée et que les visites ne sont possibles que si elles sont organisées à l'avance.