Pałac Ballestremów został wzniesiony na miejscu dawnych murów obronnych, których relikty zachowały się w piwnicach. Pierwotnie znajdował się tu wzniesiony w latach 1821-27 kompleks Dyrekcji Prowincjonalnego Urzędu Podatkowego. W 1897 r. właścicielem budynku został hrabia Franz von Ballestrem (1834-1910) z Pławniowic pod Gliwicami, pochodzący z wywodzącej się z Sabaudii rodziny śląskich magnatów przemysłowych, właścicieli kopalni węgla i hut cynku. Hrabia był działaczem katolickiej Partii Centrum, od 1896 r. przewodniczącym Reichstagu, tajnym radcą dworu Wilhelma II i wielkim konturem zakonu maltańskiego, prowadził także działalność charytatywną. W latach 1898-99 budynek gruntownie przebudowano na pałac miejski Ballestremów wg projektu Alberta Graua, który projektował także budynki żydowskich fundacji i synagogę w Kłodzku. Pod koniec I wojny światowej wnętrza przerobiono na mieszkania dla krewnych i znajomych rodziny. Po 1945 r. ulokowano tu siedzibę Urzędu Bezpieczeństwa, a później mieszkania komunalne. W 2012 r. budynek sprzedano spółce Look Finansowanie Inwestycji, która przeprowadziła generalny remont.
Architektura pałacu nawiązuje do stylu romańskiego z elementami secesyjnymi. Fasada imitująca kamienne ciosy posiada neogotyckie okna i schodkowy szczyt. Nad arkadą wschodniego wejścia umieszczono kartusz z inskrypcją Commutatum et renovatum An. Do. 1898. Na fasadzie znajdują się herby Franza von Ballestrema oraz jego żony, hrabianki Hedwig von Saurma-Jeltsch. W narożniku od strony fosy stoi figurka św. Jadwigi autorstwa Carla Frankego. Nad oknami znajduje się podpis Architekt Albert Grau, a w sieni umieszczono jego popiersie. W znajdującym się na pierwszym piętrze Sali Maltańskiej, odbywały się spotkania członków zakonu maltańskiego. Na parterze znajduje się sala myśliwska ze scenami polowania.
