Introducción a los riesgos algorítmicos.
Repensando los modelos de seguridad y control en la era de la inteligencia artificial
Resumen
La acelerada incorporación de la inteligencia artificial (IA) y los agentes autónomos obliga a las organizaciones a revisar detalladamente los resultados de su implementación, ya que los modelos basados en machine learning generan respuestas que muchas veces no corresponden a una lógica esperada, sino a un patrón estadístico predeterminado. Esta nueva realidad ha dado lugar al riesgo algorítmico, un riesgo emergente definido como la posibilidad de daño, pérdida financiera o afectación de la reputación empresarial que surge del uso, despliegue o explotación maliciosa de sistemas de IA, que hace evidente las limitaciones propias de los modelos tradicionales de seguridad y control. Por tanto, este artículo propone adoptar una perspectiva ampliada de seguridad que incluye la autenticidad, la utilidad y la posesión como nuevos elementos a revisar, además de introducir el concepto de auditoría algorítmica como un proceso de aseguramiento crítico previo al despliegue de iniciativas con inteligencia artificial. Finalmente, este documento presenta un enfoque holístico de la seguridad denominado “Confianza por Diseño”, que opera como marco integrador que vincula la ética, la equidad y la explicabilidad, junto con la seguridad y la privacidad, como una postura proactiva para la gestión de riesgos empresariales en la era de la IA.
Citas
Behbahani, A. (2025). Why Trust Cannot Be an Afterthought. TÜV SÜD. https://www.tuvsud.com/en-us/resource-centre/blogs/business-assurance/trust-by-design-the-value-driven-route-to-trusted-and-certified-ai-with-iso-iec-42001
Bone, J. & Lee, J. (2023). Cognitive risk. Boca Raton, Fl. USA. CRC Press.
Cankaya, E. C. (2011). Bell-LaPadula confidentiality model. En Encyclopedia of Cryptography and Security (pp. 71–74). Springer US.
Chen, K., Zhou, X., Lin, Y., Su, J., Yu, Y., Shen, L., & Lin, F. (2025). A survey on data security in large Language Models. En arXiv [cs.CR]. https://doi.org/10.48550/ARXIV.2508.02312
Díaz, S., Kern, C. & Olive, K. (2025). Google's Approach for Secure AI Agents. Google Research. https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents
Godhrawala, A. (2025). How Agentic AI can transform industries by 2028. EY Agentic AI Series. https://www.ey.com/en_in/insights/ai/how-agentic-ai-can-transform-industries-by-2028
Harrison, M., Ruzzo, W. & Ullman, J. (1976). Protection in operating systems. Communications of ACM. 19(8). https://doi.org/10.1145/360303.360333
IIA (2025). Risk in focus. Hot topics for internal auditor 2026. IIA. https://www.theiia.org/globalassets/site/foundation/latest-research-and-products/risk-in-focus/2026/2026-global-report-en-risk-in-focus.pdf?v=0925202501
Janapa Reddi, V. (2025). Introduction to machine learning systems. Principles and Practices of Engineering Artificially Intelligent Systems. School of Engineering and Applied Sciences. Harvard University. https://www.mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf
Mckinsey (2025). Agentic AI security: Risks & governance for enterprises. https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders
Parker, D. (1998). Fighting computer crime. A New Framework for Protecting Information. New York, NY. USA: John Wiley & Sons.
PwC (2025). Global digital trust insights 2026. https://www.pwc.com/us/en/services/consulting/cybersecurity-risk-regulatory/library/global-digital-trust-insights.html
Raghavan, B., & Schneier, B. (2025). Agentic AI's OODA Loop Problem. IEEE Security & Privacy, 2–4. https://doi.org/10.1109/msec.2025.3604105
Welle, J. (2025). From compliance to competitive advantage: Building trust by design. Capgemini. https://www.capgemini.com/insights/expert-perspectives/from-compliance-to-competitive-advantage-building-trust-by-design
