Ad Astra is gehuisvest in een sfeervol pand aan de rand van de binnenstad. Het pand is in de Gouden Eeuw gebouwd. Het deed toen al dienst als een pand waar zakenlieden en vreemdelingen aanklopten. Het was namelijk de herberg voor degenen die met de trekschuit uit Amsterdam en Haarlem aankwamen. In en om het pand zijn nog steeds allerlei authentieke details te zien, zoals de gouden bal boven de voordeur waar het pand naar is genoemd.