Budynek został wzniesiony około 1621 roku jako dwór Jana Mikołaja Daniłowicza. Od tamtego czasu wielokrotnie był niszczony i odbudowywany. W latach 1746-1794 mieściła się w nim piersza biblioteka publiczna ufundowana przez braci Andrzeja i Józefa Załuskich.  W 1824 roku został on przebudowany według projektu Karola H. Gallego. Podczas prac odkryto wtedy w piwnicach popiersia monarchów. 

Fot. Tadeusz Święchowicz, 2.06.2019 r.