Późnogotycka twierdza w Janovicach została zbudowana przez Piotra z Žerotína (1520-1530) około 1520 r. Kolejne przebudowy miały miejsce dopiero w ostatniej ćw. XVI w., gdy majątek odziedziczył Ferdynand Hoffmann von Grünbüchl (1540-1607). Z jego inicjatywy twierdza przebudowana została na renesansową rezydecję. Zakrojona na szeroką skalę modernizacja pałacowych wnętrz dokonała się jednak dopiero w trakcie konwersji rodu na katolicyzm po roku 1625. Właściwa przebudowa pałacu ropoczeła się w 1663 r. już na zlecenie kolejnego właściciela Wolfganga Bedřicha Hoffmanna von Grünbüchl (1631-1664). Niestety, nie było mu dane doczekać zakończenia prac. W następnym roku on i jego małżonka Maria Magdalena umierają na ospę podczas pobytu w uzdrowisku Landek.
Tragiczne wydarzenia roku 1664 nie przerwały jednak prac nad przebudową pałacu. Kontynuował je książę Ferdynand von Dietrichstein (1667-1678), który przejął prawną opiekę nad osieroconymi córkami Hoffmannów. Po ślubie starszej z nich – Marii Elżbiety (1660-1705) z hrabią Filipem Zygmuntem von Dietrichstein (1561-1716) janovicka rezydencja używana była już tylko okazjonalnie.
Ważnym wydarzeniem w historii janowickich dóbr jest ślub ich córki Marii Ernestiny (1683-1744) z Alojzym Tomaszem Rajmundem von Harrach (1669-1742) w 1721 r. Wtedy to majątek przechodzi na własność hrabiów Harrachów. Pomimo że pałac pełnił drugorzędną rolę, syn Alojzego – Ferdynand Bonawentura II von Harrach (1708-1778) rozpoczął jego gruntowną przebudowę. Umowę z budowniczym Gottfriedem Weisserem zawarł jeszcze jego ojciec na dwa lata przed śmiercią. Przebudowa w duchu późnego baroku miała miejsce w latach 1763-1765.
Obecny wygląd pałac uzyskał w XIX w. W tym czasie majątek obejmował już gorzelnię, stajnie, kancelarię i browar. W XIX i na pocz. XX w. dokonano dalszych przebudów pałacowych wnętrz, natomiast ostatnie ingerencje w zewnętrzny wygląd rezydencji miały miejsce w 1919 r. Do śmierci Franciszka von Harrach (zmarł w 1937 r. nie pozostawiając męskiego potomka) pałac pełnił funkcję głównej siedziby janovickiej linii rodu von Harrach. Ostatnią właścicielką tutejszych dóbr była córka Franciszka – Anna Maria, żona ambasadora węgierskiego hr. Franciszka Zygmunta Rosty-Forgáche de Barkocz. Anna Maria (1906-2001) i jej mąż zamieszkiwali pałac już jedynie latem.

Majątek został skonfiskowany rodzinie w 1943 r. wraz z aresztowaniem przez hitlerowców i osadzeniem w więzieniu Franciszka Rosty-Forgáche. Ponowna konfiskata majątku Harrachów miała miejsce już po zakończeniu II wojny światowej w lipcu 1945 r. na podstawie dekretu Prezydenta Republiki Czeskiej (nr 12/1945 Sb). Na zamku funkcjonował wówczas obóz dla internowanych obywateli niemieckich. Ruchome wyposażenie pałacu częśćiowo zwrócono rodzinie Rosta-Forgáche, częściowo przekazano do innych zabytków, tudzież rozporoszeno lub zniszczeno na skutek rabunku. Pałac wykorzystywano m.in. jako magazyn miejscowego JZD (Jednotné zemědělské družstvo – odpowiednik polskich rolniczych spółdzielni produkcyjnych). 7 maja 1954 r. utworzono w pałacu Archiwum Państwowe w Janovicach (podległe Ministerstwu Spraw Wewnetrznych). W 2002 r. archiwum przeniesiono do Opawy i Ołomuńca, a zabytek pozostał własnością skarbu państwa. Wówczas część obiektu wydzierżawiono miastu Rýmařov. Od 2011 r. Muzeum Miasta Rýmařova w sezonie letnim organizowało tu wydarzenia kulturalne. Roszczenia restytucyjne spadkobierców dawnych właścicieli dóbr janovickich zostały odrzycone
przez sąd w 2017 roku, a dwa lata później zabytek przeszedł w administrację Narodowego Instytutu Zabytków (czes. Národní památkový ústav).