Początkowo na wzgórzu stał fort, który dopiero w późniejszym okresie został przekształcony na więzienie. Pierwotnie od 1892 roku było ono przeznaczone jedynie dla białych. W celach przetrzymywano ofiary apartheid’u, a także strajkujących górników w 1907, 1913 oraz 1922. Stary kompleks więzienny jest znany jako Number Four, którego nazwa stała się synonimem opresji ze strony władz w stosunku do walczących o swoje prawa rdzennych mieszkańców RPA.
Wśród najbardziej znanych więźniów warto wymienić Mahatma Ghandi, Nelson Mandela, Joe Slovo, czy Robert Sobukwe. Z racji tych wszystkich nazwisk nazywano je „The Robben Island of Johannesburg” od nazwy więzienia w którym kilkadziesiąt lat spędził Nelson Mandela. Obiekt zamknięto dopiero w 1983 roku. W 2004 roku przy jego murach powstał budynek sądowy w którym obecnie urzęduje Sąd Konstutucyjny.