Het Zakkendragersgildehuis vertelt het verhaal van het Zakkendragersgilde, het Anthonisgilde. Het Zakkendragersgilde verzorgde gedurende vele eeuwen het lossen van de graanschepen. Het graan was bestemd voor de jeneverindustrie.

In de toren van het Zakkendragershuisje, aan de Oude Sluis hangt een klok waarmee vroeger de zakkendragers gewaarschuwd werden dat er een schip met bijvoorbeeld graan te lossen was. In 1699 heeft het Gilde een huis gekocht voor 275 gulden, zijnde geweest een branderij en dat tot Gildehuis gepromoveerd, gelegen op vrijwel dezelfde plek. Destijds bij de Colck van de Sluis, toen de Nieuwe Sluis (1780) nog niet gebouwd was, en de Oude nog niet gedempt.