La duquesa de Alba fue, por tradición familiar y convencimiento, una declarada y castiza aficionada a la fiesta de los toros, por la que sentía tanta o más pasión como por el flamenco, los caballos o todo lo relacionado con la ciudad de Sevilla.
Amiga de muchos toreros y ganaderos de bravo, y suegra también del diestro Rivera Ordóñez, durante toda su vida Cayetana de Alba ocupó con asiduidad las barreras y los palcos de las principales plazas siguiendo a los diestros de su predilección, el primero de los cuales fue Manuel Rodríguez, Manolete.
Durante su juventud llegó incluso a torear a caballo en la intimidad de las plazas de tientas de las ganaderías andaluzas, siguiendo las lecciones de figuras tan míticas como Juan Belmonte, Conchita Cintrón y Ángel Peralta.
Al final de su adolescencia, la duquesa tuvo una relación amorosa con el entonces joven torero Pepe Luis Vázquez, esencia pura del estilo sevillano que tanto le gustaba, desde que este le brindó un toro en la plaza de Las Ventas.
En sus memorias, publicadas por la editorial Espasa, la propia Cayetana reconoció que, a los dieciséis años, Pepe Luis Vázquez fue su "primer gran amor", en una breve relación que su padre decidió atajar enviándola a estudiar a Londres.
A su regreso de Inglaterra, su imagen en los tendidos, ataviada con blanca mantilla y alta peineta, se hizo habitual en los noticiarios de NODO, en algunos casos acompañando a visitantes ilustres, como sucedió con Jackie Kennedy en la feria de Sevilla de 1966.
También fue recurrente durante los años sesenta que la duquesa de Alba abriera a caballo los paseíllos de algunos festejos especiales, como la corrida goyesca del Círculo de Bellas Artes, de Madrid, o algunos festivales benéficos.
Cayetana Fitz-James explicó también en sus memorias que fue partidaria, además de Manolete y Pepe Luis Vázquez, de diestros de distintas épocas, y en especial de Pepín Martín Vázquez, Manolo González, Antonio Ordóñez y José María Manzanares, no sin que la prensa rosa y los rumores de sociedad le atribuyeran breves romances con alguno de ellos.
Pero, sobre todos los demás, su torero predilecto de siempre fue el sevillano Curro Romero, con quien le unía una estrecha amistad, igual que con la segunda mujer de éste, Carmen Tello, que fue una de sus asiduas acompañantes.
Su relación con el mundo del toro aún tuvo un afianzamiento mayor tras la boda en 1998 de su hija Eugenia con el torero Francisco Rivera Ordóñez, fruto de la cual nació su nieta Cayetana. El nieto de su admirado Antonio Ordóñez fue para la duquesa mucho más que un yerno, como repetía siempre.
Asimismo, ya en los últimos años de su vida, Cayetana de Alba siguió por muchas plazas al hermano de su hijo político, Cayetano Rivera, al que llegó a diseñar el vestido goyesco con el que toreó en Ronda en 2011.
Hasta hace pocos meses, la duquesa siguió acudiendo a las plazas de toros siempre que le era posible, compartiendo afición con su tercer marido, Alfonso Díez, aunque había dejado ya de asistir a la tradicional corrida goyesca de Ronda tras el divorcio de su hija y Rivera Ordóñez, que ejerce como empresario del bicentenario coso malagueño.
Como reconocimiento a su pasión por los toros, la noble española también recibió numerosos galardones y reconocimientos por parte de peñas y entidades taurinas, entre ellos el nombramiento de embajadora de honor de la Red Iberoamericana de Ciudades Taurinas.