O prvních majitelích hradu neexistují žádné písemné zmínky. Podle nejnovějšího předpokladu byla strážní obytná věže, základ budoucího hradu, založena pravděpodobně německými hrabaty z Bogenu a usuzuje se, že koncem 13. století věž obývali páni z Velhartic.
Do psaných dějin vstupuje Rabí až roku 1380. Na přelomu 14. a 15. století byl hrad přestavěn, opevněn a patřil k nejpevnějším v Čechách. V roce 1420 a 1421 byl hrad obléhán a  husitskými vojsky dobyt. Při druhém obléhání přišel Jan Žižka z Trocnova o druhé oko.
V 15. století proběhla rozsáhlá přestavba, při níž došlo k rozšíření rozlohy hradu a bylo zesíleno jeho opevnění. Uprostřed byl postaven donjon s obytnou i obrannou funkcí.
V 18. století byl hrad již značně zpustlý a zkázu dokonal požár. V roce 1920 byla zřícenina darována Spolku pro zachování uměleckých, historický a přírodních památek v Horažďovicích. Ten přistoupil k záchranným pracem a nákladné stavební rekonstrukci hradního areálu. Právě těmto aktivitám vděčíme za to, že zůstal hrad zachován do dnešních dní.

Oficiální webové stránky hradu Rabí zde.