Introducción a los riesgos algorítmicos.

Repensando los modelos de seguridad y control en la era de la inteligencia artificial

  • Jeimy J. Cano M.
Palabras clave: Riesgo algorítmico, Confianza por diseño, Agentes autónomos, Integridad semántica, Auditoría algorítmica

Resumen

La acelerada incorporación de la inteligencia artificial (IA) y los agentes autónomos obliga a las organizaciones a revisar detalladamente los resultados de su implementación, ya que los modelos basados en machine learning generan respuestas que muchas veces no corresponden a una lógica esperada, sino a un patrón estadístico predeterminado. Esta nueva realidad ha dado lugar al riesgo algorítmico, un riesgo emergente definido como la posibilidad de daño, pérdida financiera o afectación de la reputación empresarial que surge del uso, despliegue o explotación maliciosa de sistemas de IA, que hace evidente las limitaciones propias de los modelos tradicionales de seguridad y control. Por tanto, este artículo propone adoptar una perspectiva ampliada de seguridad que incluye la autenticidad, la utilidad y la posesión como nuevos elementos a revisar, además de introducir el concepto de auditoría algorítmica como un proceso de aseguramiento crítico previo al despliegue de iniciativas con inteligencia artificial. Finalmente, este documento presenta un enfoque holístico de la seguridad denominado “Confianza por Diseño”, que opera como marco integrador que vincula la ética, la equidad y la explicabilidad, junto con la seguridad y la privacidad, como una postura proactiva para la gestión de riesgos empresariales en la era de la IA.

Citas

Behbahani, A. (2025). Why Trust Cannot Be an Afterthought. TÜV SÜD. https://www.tuvsud.com/en-us/resource-centre/blogs/business-assurance/trust-by-design-the-value-driven-route-to-trusted-and-certified-ai-with-iso-iec-42001

Bone, J. & Lee, J. (2023). Cognitive risk. Boca Raton, Fl. USA. CRC Press.

Cankaya, E. C. (2011). Bell-LaPadula confidentiality model. En Encyclopedia of Cryptography and Security (pp. 71–74). Springer US.

Chen, K., Zhou, X., Lin, Y., Su, J., Yu, Y., Shen, L., & Lin, F. (2025). A survey on data security in large Language Models. En arXiv [cs.CR]. https://doi.org/10.48550/ARXIV.2508.02312

Díaz, S., Kern, C. & Olive, K. (2025). Google's Approach for Secure AI Agents. Google Research. https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents

Godhrawala, A. (2025). How Agentic AI can transform industries by 2028. EY Agentic AI Series. https://www.ey.com/en_in/insights/ai/how-agentic-ai-can-transform-industries-by-2028

Harrison, M., Ruzzo, W. & Ullman, J. (1976). Protection in operating systems. Communications of ACM. 19(8). https://doi.org/10.1145/360303.360333

IIA (2025). Risk in focus. Hot topics for internal auditor 2026. IIA. https://www.theiia.org/globalassets/site/foundation/latest-research-and-products/risk-in-focus/2026/2026-global-report-en-risk-in-focus.pdf?v=0925202501

Janapa Reddi, V. (2025). Introduction to machine learning systems. Principles and Practices of Engineering Artificially Intelligent Systems. School of Engineering and Applied Sciences. Harvard University. https://www.mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf

Mckinsey (2025). Agentic AI security: Risks & governance for enterprises. https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders

Parker, D. (1998). Fighting computer crime. A New Framework for Protecting Information. New York, NY. USA: John Wiley & Sons.

PwC (2025). Global digital trust insights 2026. https://www.pwc.com/us/en/services/consulting/cybersecurity-risk-regulatory/library/global-digital-trust-insights.html

Raghavan, B., & Schneier, B. (2025). Agentic AI's OODA Loop Problem. IEEE Security & Privacy, 2–4. https://doi.org/10.1109/msec.2025.3604105

Welle, J. (2025). From compliance to competitive advantage: Building trust by design. Capgemini. https://www.capgemini.com/insights/expert-perspectives/from-compliance-to-competitive-advantage-building-trust-by-design

Publicado
2025-12-16