Dwór jezuicki zbudował w latach 1706-08 kłodzki rektor Johann Hanke na miejscu wcześniejszego z 1650 r., który spłonął w 1699 r. Posiadał 14 komnat, refektarz i kaplicę. Po kasacie zakonu w 1773 r. służył m.in. kuracjuszom. W 1862 r. kupiła go fundacja katolicka, umieszczono tu dom sierot i pomocy społecznej sióstr konwentu św. Jadwigi. W 1865 r. obiekt powiększono, przebudowując narożniki północny i zachodni. Kolejne modernizacje miały miejsce w latach 1911 (wnętrza, łazienki, oświetlenie elektryczne) i 1927 r. W 1947 r. sierociniec objęły przesiedlone ze Lwowa józefitki. Od 1995 r. obiekt funkcjonuje jako Specjalny Ośrodek Wychowawczy prowadzony przez Zgromadzenie Sióstr św. Józefa. Fasada o cechach czeskiego baroku posiada pilastry wielkiego porządku.
Ze szczytu schodów pod dworem rozpościera się widok na Góry Bystrzyckie, Wzgórze Marii i ul. Bystrzycką. Znajduje się tu tablica upamiętniająca powstanie pierwszego w Polsce Oddziału Chirurgii Plastycznej w Szpitalu Rejonowym im. św. Antoniego w 1951 r.
