A edificação da ponte gótica e da estrutura muralhada, com as suas torres e portas, delinearam uma malha urbana que ainda hoje é notória, sobretudo nas principais artérias do centro da vila e nos principais arrabaldes históricos, como o do Pinheiro, o de São João-de-Fora e o de Além-da-Ponte. No interior do burgo muralhado viviam sobretudo comerciantes e artesãos e as ruas iam sendo batizadas consoante os ofícios dominantes. O arruamento central era a Rua Direita, que unia a Porta de Souto à Porta de São João.
Nos séculos XV e XVI são erguidos em Ponte de Lima, dentro de muralhas, edifícios relevantes, quase todos públicos, que ainda na atualidade marcam o seu centro histórico. Os Paços do Concelho, a Igreja Matriz, o Paço do Alcaide-Mor e o edifício da Santa casa da Misericórdia testemunham o dinamismo da vila nesse período, numa altura em que a organização social começa também a mudar. Às portas do burgo muralhado levanta-se igualmente o Convento de Santo António dos Capuchos.