Os vitrais são deslumbrantes, assim como o teto da sala de banquetes, reproduzindo o casco virado de uma caravela e mostra a riqueza da época, além de contar e mostrar um pouco sobre os costumes e história daqueles anos. Com planta quadrangular, formada por quatro alas em torno de um pátio central e torreões nos ângulos (similar ao Paço dos Reis de Maiorca, em Perpignan), a autoria do projeto original deste palácio é desconhecida, apesar de muitos o atribuírem a Anton, um mestre pedreiro, de origem francesa que, nessa época, residia na cidade de Guimarães.

Supostamente o palácio, na sua forma original, deveria refletir o gosto estrangeirado do duque de Bragança, que já estivera em locais como França e Veneza em missões diplomáticas, mas as obras foram interrompidas em 1461, com a morte do seu mentor, e só foram retomadas em 1478, impulsionadas pelo seu neto, Fernando II, o 3.º duque de Bragança. Este, porém, seria acusado de traição por D. João II – como muitos outros nobres – e ficaria com todos os bens confiscados, tornando-se o Paço propriedade da Casa Real.

Em 1496, no entanto, as coisas voltam a mudar e os bens da Casa de Bragança são restituídos ao 4.º duque de Bragança, D. Jaime – que vai construir o terceiro piso da ala posterior do Paço, ligando os dois torreões que ladeiam a capela. Seria a única ala a ter três pisos, porque, no início do século XVI, com a deslocação dos duques para Vila Viçosa, o edifício é fechado e abandonado, vindo suas pedras a serem usadas no mosteiro das Clarissas e na construção do Convento da Piedade.

A degradação do Paço acentua-se a partir de 1616, com a doação de Guimarães ao castelhano D. Diogo da Sylva e Mendonza, só vindo a abrandar no início do século XIX, com a instalação do Quartel do Regimento de Infantaria 20 nas suas partes menos danificadas. A salvação do edifício chega finalmente em 1937, altura em que o Paço sofre profundas obras de restauro e reconstrução (que duram até 1959), adquirindo a sua atual aparência, sobretudo pelo acrescento de dois pisos à ala frontal e de um terceiro piso às alas laterais.