La torre del Infantado es el edificio emblemático de Potes y uno de los más interesantes de Cantabria. Su emplazamiento, en el centro de la villa, configura una bella estampa realzada por el telón majestuoso de los Picos de Europa.
La Torre del Infantado fue construida en el siglo XIV con sillarejo en su mayor parte y refuerzos de sillería en esquinas y vanos. Se compone de cuatro cuerpos y una azotea con cornisa que sirve de soporte a una barbacana corrida y rematada por almenas. Conserva cuatro pequeñas torres almenadas en punta en cada esquina.
Una solemne escalinata conduce hasta la puerta adovelada de arco apuntando sobre la que se asoma un gran balcón. La fachada principal presenta también pequeñas ventanas adinteladas que perforan los muros de la torre. La existencia de un patio interior, que da luz a las estancias interiores, es un detalle inusual en las fortalezas cántabras. Su presencia quizás se deba a la reforma que llevaron a cabo los duques de Infantado en el siglo XVI, aplicando al castillo un estilo italianizante propio de los palacios castellanos de la época.
La fundación de la torre del Infantado se atribuye a la familia Lama. En el siglo XIV perteneció a don Tello, señor de Liébana, hermano del rey Enrique II e hijo de Alfonso XI. Tras una serie de enfrentamientos familiares por la posesión del señorío, la torre quedó en poder del apellido Santillana a partir del siglo XVI, pasando posteriormente a manos de los duques de Osuna, que la vendieron en 1868.
En la actualidad, la torre del Infantado cumple las funciones de casa consistorial y se realizaron reformas para albergar un mirador, una biblioteca y el archivo comarcal.