De Tuinzalen zijn direct gelegen aan de Franse Tuin. Deze ‘Quartier des Heere Marquis’ waren met de zalen erboven de privé-vertrekken van de heren en markiezen van Bergen op Zoom. Rond 1506 liet heer Jan II van Glymes zelfs een kapel tegen zijn woonvertrekken aanbouwen. De kapel werd in 1709 verwijderd ten gunste van de tuin.

In de hospitaalperiode van Het Markiezenhof voegde men de drie tuinzalen samen tot één ziekenzaal. Toen het complex na 1819 kazerne werd richtte men de tuinzalen in als eetzaal voor de manschappen en de officieren.