Zunächst war die Cape Town vorgelagerte Insel eine Versorgungsstation für Seefahrer. Doch schon bald waren alle Pinguine und Robben aufgegessen. Daraufhin wurde es im 17. Jahrhundert eine Gefängnisinsel, später eine Leprastation und im 20. Jahrhundert zuerst eine Mililtärbasis und dann wieder eine Gefängnisinsel. Deren berühmtester Gefangener war Nelson Mandela, wobei auf Robben Island viele politische Gefangene inhaftiert waren. Der jüngste Gefangene war elf Jahre alt, ein Teilnehmer des Schüleraufstandes in Soweto. Es gab genau einen weißen Gefangenen.