Autorem projektu pałacu był architekt Karol Pietschka. Rezydencja powstała właściwie w wyniku przebudowy barokowych oficyn otaczających Stary Zamek. W ramach tych prac wzniesiono dwukondygnacyjny budynek z ryzalitem oraz portykiem od strony parku.
Z początkowych faz budowy, w wyniku których powstał tzw. pałac arcyksięcia Albrechta, do czasów obecnych zachował się tzw. biały salon, znajdujący się w ryzalicie na drugiej kondygnacji - ponad głównym wejściem. Otrzymał on wystrój neorokokowy oraz nawiązywał wyraźnie do wnętrz sławnych wiedeńskich pałaców: Schönbrunnu i Hofburga.
Budowa rezydencji była kontynuowana przez następców. W 1895 r. Państwo Żywieckie odziedziczył Karol Stefan Habsburg. On to zamieszkał w Żywcu wraz z rodziną na stałe oraz zapoczątkował żywiecką linię Habsburgów.
Za czasów Karola Stefana połączono część oficyn w jedną całość, tworząc w ten sposób nowe, dwukondygnacyjne skrzydło, zwane pawilonem rozrywkowym. Na jego piętrze urządzono salę balową zwaną salą lustrzaną.
Karolowi Stefanowi zawdzięczamy dzisiejszy kształt pałacu. Wystrój jego wnętrz powierzono krakowskim artystom: Tadeuszowi Stryjeńskiemu oraz Franciszkowi Mączyńskiemu. Arcyksiążę Karol Stefan, miłośnik sztuki, zgromadził na zamku kolekcję obrazów, a także sreber, które, niestety, zrabowane zostały w czasie II wojny przez Niemców. Po wojnie w rezydencji umieszczono Zespół Szkół Drzewnych i Leśnych, który działa do dziś.
Żywieccy Habsburgowie zapisali się w dziejach Polski bardzo chlubnie. Sam Karol Stefan w latach międzywojennych uznawany był za odpowiedniego kandydata do korony przez środowisko monarchistyczne. Dwaj jego synowie, Karol Olbracht oraz Leon Karol, okazali się być wielkim, polskimi patriotami. Karol Olbracht, polski oficer w okresie międzywojennym, w latach II wojny był prześladowany i więziony przez Niemców. Jego małżonka, Alicja Ankarcrona, współpracowała z Armią Krajową. Z kolei Leon Karol walczył najpierw w wojnie polsko-ukraińskiej 1919 roku, a następnie w wojnie polsko-bolszewickiej 1920, w czasie której został ranny i zachorował na gruźlicę.
