A pequena fortaleza primitiva viu crescer à sua volta um aglomerado populacional que procurava protecção dos ataques dos inimigos em épocas de guerra.

O alargar do casario no pequeno planalto adjacente à fortaleza e o número sempre crescente dos que procuravam a sua protecção, tornou-a demasiado pequena para receber tanta gente em caso de perigo.

D. Afonso Sanches, filho de Afonso III, recebe de seu pai entre várias terras o lugar da Vide que, volvidos anos, teria de entregar ao irmão D. Dinis coagido pela força das armas.

Nesta altura ainda a Vide merecia de Rui de Pina o comentário de que era "lugar então mais chão que forte".

Afonso Sanches começara as obras de restauração da fortaleza e construção das muralhas que passariam a envolver todo o casario que crescera junto aos seus muros.

Como já dissemos, esta obra foi continuada por D. Dinis e completada no reinado de seu filho D. Afonso IV que, para assinalar o facto, coloca sobre a porta principal uma inscrição comemorativa em mármore envolvida por uma moldura de granito decorada com semi-esferas.

Depois desta época as obras limitaram-se a reparar o reduto primitivo tornado insuficiente para conter a explosão demográfica que obriga Manuel de Azevedo Fortes a empreender em 1710 as obras de construção de uma nova cintura de muralhas para proteger as habitações que então já ocupavam uma área considerável.

A cintura de muralhas terminadas no reinado de D. Afonso IV apresenta uma forma poligonal alongada sub-rectangular estendida no sentido nascente poente.

Devido aos acidentes de terreno ora ondeia, seguindo as curvas de nível, ora sobre e desce, ora se estende rectilínea.

De qualquer lado que nos debrucemos, a muralha como que se continua no escarpado das encostas eriçadas aqui e ali de rochas graníticas, sérios obstáculos para quem se aproximasse.

Os muros protectores apresentam múltiplas cicatrizes provocadas pelas máquinas de guerra: catapultas, trons, bombardas e canhões.

Estas feridas foram tapadas mais ou menos apressadamente e, porque foram feitas em épocas diferentes, distinguem-se pela técnica de construção apresentando variados tipos de aparelho.