Gelijk aan de Cellebroederspoort werd deze poort gebouwd als onderdeel van de veste bij de stadsuitbreiding aan de landszijde in 1465. De poort dankt zijn naam aan de in dit stadsgedeelte gelegen voormalige Minderbroederskerk. De huidige grondvorm, een vierkant poortlichaam met vier hoektorens, is waarschijnlijk nog gelijk aan de oorspronkelijke grondvorm. Schetsen van Utenwael uit 1598 tonen een vierkant poortgebouw met een verdieping boven de poortdoorgang en vier hoektorens, aan de stadszijde twee met een rond grondplan met een diameter van 4.00 meter en aan de landszijde twee met een achthoekig grondplan met een doorsnede van 5.00 meter. De kapvoet van de torens ligt op 13.60 meter boven het straatniveau en de spitsen van de torendaken op 24.50 meter. Poortgebouw en torens zijn op deze schetsen niet voorzien van een kap. Mogelijk werden de torens gedekt met riet. Stadsrekeningen geven n.l. aan dat in 1540 Berent Jansz werd betaald voor het leveren van riet om de Broederpoort te dekken en in 1543 werd Evert Jansz betaald voor twee dagen riet dekken op de Broederpoort. Afgaande op schetsen van Hendrick Avercamp moet de meest ingrijpende wijziging zijn geweest het ophogen van de vier hoektorens, het aanbrengen van een spits op deze torens en het plaatsen van een kap op het poortgebouw. Omdat de bovenverdieping ook dienst ging doen als woning voor stadsambtenaren, zijn tijdens deze verbouwing de huidige vensters aangebracht.