Morro do Arpoador é apontado por historiadores como o local onde Américo Vespúcio teria instalado a primeira fortaleza-feitoria portuguesa no Brasil, em 1503. Posteriormente, o local abrigou a Casa de Pedra (1556-1575), usada pelos franceses para contrabandear pau-brasil, até serem derrotados por Antônio de Salema. Mais tarde, o local foi tomado pelos ingleses, que foram expulsos em 1615 por Constantino Menelau, no mesmo ano da fundação da cidade de Santa Helena de Cabo Frio. Do alto do morro, é possível contemplar uma vista privilegiada da Boca da Barra, onde o Canal do Itajuru encontra o mar.