El nuevo libro del experto en informática Junade Ali, Cómo protegerse de las computadoras asesinasexplora el tema de por qué fallan los sistemas de TI y por qué existe una cultura de negación entre los responsables, tanto en el lado de ingeniería como en los niveles superiores de gestión.
Dice: “En los temas y estudios de casos tratados en el libro, hay ejemplos de cosas como el escándalo de Post Office Horizon que han tenido resultados catastróficos”.
El título del libro es evocador y evoca escenarios de Terminator y Hal 9000 al estilo de Hollywood. Pero en el mundo real, Ali dice que ha habido muchos casos en los que se ha atribuido a las computadoras la causa de la muerte de alguien. “Vemos ejemplos de pacientes que reciben dosis mortales de radiación debido a un software y de un avión que entra en una inmersión mortal debido a una automatización deshonesta, que calculó [incorrectly] que el piloto humano iba a estrellar el avión”.
El problema arquetípico de la ingeniería de software que conduce a una falla catastrófica de la computadora a menudo comienza debido a una falla en el proceso de ingeniería de requisitos. Ali dice que cuando no se aborda esta preocupación de la etapa inicial, se extenderá hacia las fases de creación del software, pruebas y lanzamiento. Los problemas quedarán encubiertos. Es posible que las personas del equipo tengan miedo de hablar.
El libro analiza el fenómeno de la escalada del compromiso, que, para Ali, es el área gris de la ética que puede ocurrir en el desarrollo de software. “Con el tiempo, la gente se ve obligada a hacer cosas cada vez más extremas”. Señala el ejemplo reciente del director de ingeniería del intercambio de criptomonedas FTX, que conocía las actividades fraudulentas del exjefe Sam Bankman-Fried.
“Tenemos un sesgo intrínseco de querer protegernos contra pérdidas, lo que a menudo puede colocarnos en posiciones en las que haremos cada vez más cosas éticamente cuestionables para encubrir algo”, añade.
Ali ha investigado la denuncia de irregularidades en el desarrollo de software, donde los miembros del equipo se sienten incapaces de expresar sus inquietudes. Dice: “Esto se relaciona con una idea llamada seguridad psicológica, donde las personas no sienten que tienen la capacidad de hablar y dar la alarma cuando las cosas van mal”.
La investigación realizada con Survation encontró que el 75% de los ingenieros de software que denunciaron irregularidades en el trabajo enfrentaron represalias como resultado. “Este es realmente un desafío para toda la industria”, advierte Ali.
Otro área problemática en el desarrollo de software que Ali identifica en el libro es el sesgo de normalidad. Dice: “A veces la gente se comporta como si no estuvieran en crisis en absoluto”.
En lugar de considerar un sistema informático como tecnología pura para abordar una tarea particular, Ali cree que los ingenieros de software deberían considerarlo como un sistema sociotécnico. “Es necesario considerar al ser humano como parte del sistema”, dice. “Los seres humanos desempeñan un papel fundamental a la hora de garantizar que el sistema sea resiliente. Los seres humanos deben ser parte de la red de seguridad y se les debe brindar seguridad psicológica para poder hablar y dar la alarma cuando vean que surgen problemas”.