Aan het eind van de 12de eeuw kreeg de Zeeuwse familie van Duiveland een plaat in de Oude Maas in leen van de Hollandse graaf Dirk VII. Deze plaat, die vroeger waarschijnlijk Roden heette, is de latere heerlijkheid Rhoon.
In 1520 kwam de toenmalige heer van Rhoon ook in bezit van het nabijgelegen ambacht Pendrecht. Aangezien Pendrecht slechts enkele huizen telde, vervulden de verschillende functionarissen van Rhoon, zoals de baljuw, de schout, dit ambt ook in Pendrecht.
Rhoon is in de loop der eeuwen stukjes bij beetjes ingepolderd. De laatste polder was de Portlandsepolder, die in 1769 werd bedijkt. In 1934 vond een grenswijziging met Rotterdam plaats. Circa 200 hectare met 572 inwoners verhuisden naar Rotterdam. Op 1 mei 1976 werd deze grenswijziging gedeeltelijk ongedaan gemaakt door de grondruil met de gemeente Rotterdam.
Op 1 januari 1985 ging de gemeente Rhoon samen met Poortugaal. De nieuwe gemeente kreeg de naam Albrandswaard.