Původní gotický hrad postavený ve stylu francouzského kastelu náleží mezi nejstarší na Moravě. Je královského založení z první poloviny 13. století, první zmínka o něm spadá do roku 1260. V 15. století byl krátce v držení Šternberků. Byl občasným sídlem synovce Karla IV., markraběte Prokopa, jemuž sloužil ve válkách s jeho bratrem Joštem jako důležitý opěrný bod. V 15. století byl dlouhodobě zastaven pánům z Vlašimi. Jejich nástupci, Boskovicové, získali v 16. století hrad do vlastnictví a od roku 1597 patřil Lichtenštejnům. Z původního hradu se dochovaly především hradby zpevněné válcovými věžemi, zvýšené pro potřeby dělostřelby v 15. století. Renesanční klenby v zámecké budově a některých místnostech hospodářských budov dokládají výstavbu zámku na místě staršího gotického paláce a rozšiřování zástavby za Boskoviců. Barokní přestavba zámku a výstavba honosného schodiště byla provedena v letech 1692 – 1699 podle návrhů Domenica Martinelliho. V objektech úsovského zámku sídlila po dlouhou dobu správa panství, v letech 1852 – 1867 zde působila první lesnická škola na Moravě, v letech 1911 – 1914 městská obchodní mlynářská škola a v meziválečném období česká obecná menšinová škola. V roce 1898 schválil Jan II. z Lichtenštejna zřízení lesnického a loveckého muzea s bohatými sbírkami zvířeny z rozsáhlých lichtenštejnských panství a z loveckých výprav do Polska, Itálie, Afriky a Indie. Pro jejich umístění byl následně vybrán úsovský zámek. Lichtenštejnové vlastnili zámek do roku 1945, poté ho spravoval stát, od roku 1995 je hrad a zámek majetkem města Úsov.