La Torre Blanca, com la Torre de Solsona, era una de les fortificacions avançades del castell de Castellciutat. Aquesta darrera protegia el conjunt defensiu des del flanc de migdia.
Originàriament la defensa sembla que es va limitar a una torre artillada envoltada de defenses poligonals per a la infanteria. L’any 1720 un dels millors enginyers militars borbònics, Alexandre de Retz, es va ocupar de la recomposició de les defenses. La torre es va refer totalment i al davant s’hi va construir un poderós hornabec, que darrerament feia la funció de polvorí de la caserna moderna, així com dependències complementaries que van fer de l’indret un punt gairebé tan fort el castell.
La Torre Blanca, com tot el conjunt fortificat, va conèixer els estralls de la Guerra del Francès i els setges de 1822 i 1875. Als anys cinquanta del segle XX, l’exèrcit espanyol escollí l’indret per construir-hi una gran caserna moderna que va allotjar Regiment de Caçadors de Muntanya Arapiles 62. La nodrida guarnició va incidir de manera important en la vida quotidiana de la gent de la Seu d’Urgell. El 1993 les instal·lacions militars van ser cedides al municipi de la Seu d’Urgell.
