De Vispoort werd in het midden van de veertiende eeuw opgetrokken als doorgang tussen twee ronde torens, thans nog aan de buitenzijde zichtbaar. Aan de stadzijde kon de opening worden afgesloten met een valhek en deuren. Later-werd de doorgang aan de zeezijde verkleind en een gewelf in de doorgang aangebracht. Het poortgebouw werd tweemaal verhoogd tot een rechthoekig bouwwerk, waarop later nog een kustlicht werd gebouwd. Zowel aan stad- als aan zeezijde konden deuren worden aangebracht. Aan de buitenkant zijn aan weerszijden van de doorgang sleu­ven zichtbaar, waardoor de kettingen van een valbrug hebben gelopen. Om de bovenruimte van de poort te bereiken is langs de (verhoogde) weergang een gemetselde trap gemaakt. Tussen de voormalige Luttikepoort en de Smeepoort zijn stadsmuren met een weergang op bogen en een waltoren. Ook deze muren waren oorspronkelijk betrekkelijk laag, ongeveer twee meter twintig boven de grond. Vrij spoedig werden ze verhoogd. Bij de Smeepoort werd toen een voorpoort gebouwd, bestaande uit een rechthoekig poortgebouw, geflan­keerd door twee zware ronde torens, die met een muur werden aangesloten op de oude stadsmuur. Aan weerszijden ontstond tussen de binnen- en de buitenpoort een driehoekig ommuurd terrein.