O castelo de Algoso é a fortificação do nordeste transmontano. Não há outro igual: altivo, forte, teimoso e abraçado a lendas, foi construído no século XII. De início, era o centro da autoridade real em Terras de Miranda. Por volta de 1224, D. Sancho II doou o castelo aos Cavaleiros Hospitalários, que representavam uma ordem militar cristã criada no século XI e fizeram significativas obras, principalmente na torre de menagem e na cisterna abobadada que existem ainda hoje. 

A partir do final do séc. XIII torna-se um castelo de 2ª linha, sendo abandonado no séc. XVII. O castelo de Algoso é uma das mais importantes fortalezas medievais, evocadora das guerras com Leão, das tentativas do monarca português em afirmar a sua autoridade na região e, finalmente, da comenda hospitalária que lá se estabeleceu em 1224.

A arqueologia permitiu confirmar que, antes de a Idade Média, a fortaleza teve várias as fases de povoamento, identificando-se materiais dos períodos calcolítico (em particular moldes de fundição de machados de bronze), proto-histórico e romano (correspondendo, estes últimos, a elementos cerâmicos aparentemente associados a uma lixeira do século IV e não a uma efetiva presença militar).

A aldeia abandonou o castelo, foi para o vale devido a falta de água. Há relatos populares que apontam outro motivo, por haver muitas formigas com grande capacidade de destruição. Seja qual for a razão, a partir do século XVIII a fortificação ficou abandonado.

O rio Angueira vê-se bem ao lado do castelo como também a ponte romana. O castelo tem uma excelente vista. Tem uma vista de 360 graus do planalto mirandês. Um vasto e belíssimo território entre o Douro e o rio Sabor cheio de história!