Le Fort du Petit Bé fut construit, sur l'ancien Mont d'Olivet, à une distance de 500 toises de Saint-Malo, sous la direction de Siméon Garengeau, de 1689 à 1693 en remplacement d'un fortin datant de 1667. La construction en forme de fer à cheval comprend une dizaine de pièces dont un corps de logis de trois étages dont le premier est vouté, des magasins, une poudrière, une citerne d'eau douce et une batterie circulaire. La place d'armes à environ 360 m2 de superficie.
Son armement, en 1697, était servit par 177 hommes et composé de 15 canons dont 4 canons de 48, 6 canons de 36 et que 2 mortiers.
L' organisation de la défense du fort du petit Bé était, en 1758, assurée par un Capitaine de navire, deux Lieutenants, 100 canonniers , matelots et manoeuvres, deux canonniers entretenus par la Marine.
Depuis son élévation, le Fort du Petit Bé n'a quasiment pas subit de franches attaques venant des navires ennemis y compris celles de novembre 1693 
avec la machine infernale dirigée sur Saint-Malo et le bombardement de la ville en 1695. Aucune personnalité marquante n'y a séjournée.
Son histoire est donc limitée à sa construction en granite et en tant que vestige de guerre inachevé de part son escalier d'accès extérieur qui n'a pas été réalisé laissant ainsi le seuil de la poterne d'entrée à plus de deux mètres de hauteur du sol.
En janvier 1734, Simeon Garengeau, ingénieur en chef à Saint-Malo, précisait qu'il manquait à ce fort une petite avancée pour couvrir son entrée et fermer son fossé, un escalier pour y monter et un pont dormant à bascule. Le montant de cette dépense était alors estimé à 6000 livres.
Le 29 octobre 1921, le Fort du Petit Bé était classé Monument Historique. Puis, l'ilot sur lequel il est construit y fut également inscrit par arrêté le 8 août 1945.
Avant 1999, l'intérieur du corps du logis était en l'état de délabrement et le plancher de l'étage détruit et aucun mobilier d'époque n'y subsistait.
En décembre 1999, la ville de Saint-Malo, propriétaire du Fort, accorde un bail emphytéotique de 40 années à Alain-Etienne Marcel, un passionné, qui entreprend la rénovation de la batisse.
