Il est probable (mais non prouvé) que la colline a été un lieu de culte dans l'antiquité gréco- romaine. Mais sa vocation militaire est également probable, et tout-à-fait certaine dès le Haut Moyen-Age, puisqu'elle a été appelée La Garde depuis au moins l'an 903.

Puis en 1214 un Marseillais dont on sait peu de choses, sinon qu'il se nommait Pierre, dit "Maître Pierre", obtient de l'abbaye de Saint Victor l'autorisation d'édifier au sommet de la colline inhabitée une chapelle dédiée à la Vierge.
Pierre n'invoque que sa foi pour soutenir son projet : il ne s'appuie sur aucune apparition miraculeuse, aucune intervention divine. Et depuis tant de siècles, le sanctuaire ainsi créé déclenche une ferveur continue et croissante sans l'adjonction d'aucun phénomène surnaturel.

Mais les hommes font la guerre, et la colline qui domine le port est un site d'importance trop stratégique pour l'abandonner à la piété.
En 1525 le roi de France François Ier fait construire sur l'îlot d'If, à l'entrée du port de Marseille, le célèbre château du même nom, ainsi qu'un fort au sommet de la colline.
Le fort englobe la chapelle bâtie trois siècles auparavant, mais les autorités militaires laissent en période de paix (c'est-à-dire de temps en temps), le libre accès à la chapelle.

Le fort bâti sur ordre de François Ier sert en 1536 à défendre Marseille contre les armées de l'empereur Charles-Quint.
Il servira aussi deux fois à tirer sur la ville : en 1591 pendant les Guerres de religion, et en 1871 pour déloger de la Préfecture un groupe de Marseillais ralliés à l'insurrection de la Commune de Paris.