Kamenný hrad vznikl pravděpodobně v 1. polovině 13. století na místě dvorce moravských markrabat, ze kterého se dochoval románský kostelík Nanebevzetí Panny Marie. Byl velmi výrazně rozšířen v 2. polovině 14. století za vlády moravského markraběte Jana Jindřicha, který z Veveří učinil jedno ze svých hlavních sídel.
Areál hradu velmi utrpěl po druhé světové válce, kdy byl nevhodně využíván jako lesnické učiliště, internát a závodní škola práce… Na konci 20. století začala postupná obnova a práce pokračují dodnes.