La Tour des Moulins se dresse au Sud-Est du Château entre la Galère et la Tour Carrée. Elle doit probablement son nom aux Moulins qui se trouvaient, en face, sur le Sillon et les Mielles. Depuis sa plate-forme on domine le jardin des Douves, le bassin Duguay-Trouin, la grande grève du Sillon et le Casino.