La Torre Blanca, como la Torre de Solsona, era una de las fortificaciones avanzadas del castillo de Castellciutat. Esta última protegía el conjunto defensivo desde el flanco de mediodía.
Originariamente parece que la defensa se limitó a una torre artillada rodeada de defensas poligonales para la infantería. En el año 1720 uno de los mejores ingenieros militares borbónicos, Alejandro de Retz, se ocupó de la recomposición de las defensas. La torre se rehizo totalmente y enfrente se construyó un poderoso hornabeque que últimamente realizaba la función de polvorín del cuartel moderno, así como dependencias complementarias que convirtieron este sitio en un punto casi tan fuerte como el castillo.
La Torre Blanca, como todo el conjunto fortificado, sufrió los estragos de la Guerra del Francés y los asedios de 1822 y 1875. En los años cincuenta del siglo XX el ejército español escogió este sitio para construir un gran cuartel moderno que alojó al Regimiento de Cazadores de Montaña Arapiles 62. La nutrida guarnición incidió de manera importante en la vida cotidiana de la gente de La Seu d’Urgell. En el año 1993 las instalaciones militares fueron cedidas al municipio de La Seu d’Urgell.
