Uma das principais memórias da relação de Nuno Álvares Pereira com Barcelos é a Casa do Condestável, junto ao Largo do Apoio. O edifício ali existente datará do século XVI, mas o brasão dos Pereiras do anterior edifício ainda se pode ver junto às janelas.
D. Afonso nasceu em 1377, da relação entre D. João, Mestre de Avis, com Inês Pires Esteves. Em 1391, recebeu do rei D. João I o Condado de Neiva, senhoreando as terras de Neiva, Faria, Vermoim e Aguiar de Neiva.
Em 1401 casou com Beatriz Pereira, filha de Nuno Álvares Pereira, sucedendo ao sogro no título de Conde de Barcelos.
Foi por dote de casamento que se tornou um dos homens mais poderosos do reino, detendo os termos de Barcelos e Chaves, bem como das terras de Montalegre, Penafiel de Bastuço, Arco de Baúlhe, Baltar e de Barroso.
Entre os anos de 1406 e 1415, D. Afonso promoveu a construção das muralhas de Barcelos e do Paço dos Condes, para afirmação do poder condal, contribuindo para a definição da vila medieval.
Participou na tomada de Ceuta e de lá terá trazido mobiliário para o Paço de Barcelos.
Em 1420 casou em segundas núpcias com D. Constança de Noronha. Os seus interesses voltaram-se então para Guimarães, onde mandou edificar o Paço Ducal.
Em 1442 foi nomeado Duque de Bragança pelo seu meio-irmão D. Pedro, à altura regente. É este o momento da fundação da Casa de Bragança.
D. Afonso faleceu em Chaves, em 1461, com 84 anos.
A Construção do palácio decorreu entre 1406 e 1415, para servir de residência aos condes e para afirmar o seu poder enquanto senhores do Termo de Barcelos.
O Paço era uma construção imponente, de aparência acastelada, reafirmada pela presença da torre sobre a ponte. Por essa razão os habitantes de Barcelos ainda chamam às ruínas do edifício “o castelo”.
Termo da Casa de Bragança em Barcelos
Em 1442, quando D. Afonso foi investido Duque de Bragança, era já Conde de Barcelos e Senhor das Terras de Neiva, Faria, Vermoim e Aguiar de Neiva.
Os seus domínios compreendiam-se entre o Rio Lima e o Rio Este e desde o Oceano Atlântico até ao Termo de Braga.
A Casa de Bragança passou a incluir todas estas possessões, as quais, no norte de Portugal e em especial no Entre-Douro-e-Minho, compreendiam uma parte significativa do território.
Em Barcelos, as freguesias do padroado da Casa de Bragança foram delimitadas com marcos onde se esculpiu o escudo e a letra B (Bragança).
Até 1640, os marcos apresentavam escudetes simples.
Após 1640, quando D. João IV ascendeu ao trono, os marcos passam a ser coroados, vincando a Casa de Bragança como Casa Real.