Císař měl mnoho intelektuálních zálib a hrad využíval jako lovecký zámeček, kde si mohl odpočinout od dvorského života. Později stavba sloužila střídavě jako místo slavností i jako vězení. V 19. století hrozila hradu zkáza, na poslední chvíli ho však vykoupila a nechala opravit italská vláda. Ve stavbě se zajímavě snoubí gotické a arabské architektonické prvky. Stěny hradu jsou obloženy bílými mramorovými deskami a podlahu dříve zdobily mozaiky. Stavba má dvě podlaží, každé s osmi místnostmi s žebrovou klenbou, z nichž některé jsou dodnes obloženy mramorem. Podlaží byla spojena třemi schodišti, odlišnými navzájem, umístěnými uvnitř tří z osmi věží. Díky mramorovému obložení a mramorovým římsám nad vchodem a v horním patře a důmyslné dispozici toalet lze Castel del Monte považovat spíše za palác. Uprostřed dvora stála pravděpodobně osmiboká kašna, která symbolizovala smaragdovou číši Sv.Grálu. Podle různých výzkumů představuje tento hrad dokonce obrovské sluneční hodiny a v jeho konstrukci se projevuje císařovo nadšení pro mystiku čísel.
