En las últimas semanas, los problemas de software han pasado al primer plano de la conciencia pública. En marzo, por ejemplo, problemas de software dejaron a Greggs, Sainsbury’s, Tesco y McDonald’s sin poder aceptar pagos.
El equilibrio entre riesgo y recompensa es un aspecto clave en ingeniería, incluida la ingeniería de software. En palabras de la guía sobre riesgos del Engineering Council UK: “El riesgo es inherente a las actividades realizadas por los profesionales de la ingeniería, lo que significa que los miembros de la profesión tienen un papel importante que desempeñar en su gestión y limitación”.
Sin embargo, los humanos no necesariamente se comportan de manera racional cuando toman decisiones bajo riesgo. En 1979, los psicólogos Daniel Kahneman y Amos Tversky escribieron el artículo Teoría de la perspectiva: un análisis de la decisión bajo riesgo.. Este trabajo fue citado en la decisión de conceder a Kahneman el Premio Nobel de Economía de 2002.
Respaldada por estudios controlados, la teoría de las perspectivas postula que los humanos sienten el dolor de las pérdidas mucho mayor que el placer de las victorias. Por ejemplo; Los experimentos indicaron que el dolor de perder 1.000 dólares sólo podía compensarse con el placer de ganar 2.000 dólares.
En los últimos meses, he estudiado en profundidad una serie de fallas catastróficas de software, incluidas aquellas que han provocado accidentes automovilísticos fatales, sobredosis de radiación letal en hospitales y errores judiciales. Específicamente, investigué cómo estos desastres se materializaron en un impacto en la vida real y por qué no se previnieron antes.
Mientras escribía este libro, me di cuenta de que la teoría de las perspectivas nos ayuda en cierta medida a comprender por qué las cosas van mal. Robert Prentice, profesor de la Universidad de Texas en Austin, describe la relación de la siguiente manera: “La teoría de las perspectivas describe cómo las personas tienden a correr riesgos mucho mayores para evitar perder cosas en comparación con los riesgos que habrían corrido para ganarlas en primer lugar. A veces, para evitar una pérdida, decidimos conscientemente mentir. Cubrimos lo que podría ser un simple error accidental porque no queremos sufrir las consecuencias de cometer ese error”.
Este concepto fue ilustrado expertamente por Derren Brown en su especial de Netflix. El empujeque intenta utilizar una escalada de compromiso de alguien que participa en un acto menor y poco ético para obligarlo a cometer lo que cree que es un asesinato.
Otro factor psicológico se conoce como “sesgo de normalidad”, por el cual los seres humanos no creen que esté en marcha un desastre y se comportan como si todo fuera normal, incluso en un desastre como el del aeropuerto de Tenerife en 1977. El “efecto espectador” ha descubierto que las personas son menos probable que ayude a otros en presencia de otras personas.
A esto se suma el riesgo de represalias. En noviembre de 2023, Computer Weekly investigación cubierta Realicé una consulta con la agencia de investigación Survation, que descubrió que el 53% de los ingenieros de software habían sospechado de irregularidades en el lugar de trabajo y el 75% de los que denunciaron irregularidades informaron haber enfrentado represalias después de hablar. La principal razón aducida por quienes no hablaron fue el miedo a represalias por parte de la dirección (59%) y luego el miedo a represalias por parte de sus colegas (44%).
El impacto de la teoría de las perspectivas también se puede ver en La actitud del público en general hacia el software. incluso antes de la ITV El señor Bates contra la oficina de correos El drama llegó a las pantallas de televisión en 2024. Entre 29 Septiembre 2023 y 8 En octubre de 2023, con Survation, pregunté a una muestra representativa de adultos británicos qué era lo que más les importaba en los sistemas informáticos. El público era más probable que dijera que la seguridad de los datos, la precisión de los datos y evitar errores graves les importaban “en gran medida” al utilizar sistemas de software, y obtener rápidamente las últimas funciones era la menos importante de las 10 dimensiones diferentes medidas.
En el nuevo libro, exploré casos en los que un cambio de número binario (por ejemplo, un 1 se convierte en 0), causado por los rayos cósmicos en la atmósfera, sería suficiente para desencadenar un resultado potencialmente fatal en los sistemas informáticos. Por tanto, es imposible prever todos los problemas que podrían surgir. Sin embargo, la solución aparece en lo que mi amigo Piet van Dongen habla a menudo en conferencias sobre tecnología: la ingeniería de resiliencia.
En lugar de considerar los sistemas informáticos como sistemas técnicos por derecho propio, podemos pensar en ellos como sistemas sociotécnicos en los que tanto los sistemas humanos como los técnicos desempeñan un papel en su seguridad. En un quirófano, no sólo la tecnología desempeña un papel de seguridad, sino también los médicos, enfermeras y otro personal sanitario. Como descubrió un estudio de caso que investigué: en la cabina de un avión, es la rápida intervención de los pilotos la que tiene el potencial de salvar vidas cuando las computadoras fallan.
En otras palabras, los humanos desempeñan un papel clave en la prevención de desastres y por eso es tan esencial que los ingenieros de software y otras personas que trabajan en tecnología se sientan psicológicamente seguros para dar la alarma cuando las cosas van mal y que actuemos cuando eso suceda. Al aprender sobre nuestros propios sesgos cognitivos, podemos asegurarnos de no encontrarnos atrapados en una escalada de comportamiento poco ético o de no hablar cuando es más importante hacerlo.
Para los ingenieros de software y otras personas que trabajan con TI, la teoría de las perspectivas nos enseña que es posible que no seamos completamente racionales a la hora de equilibrar las fuerzas en competencia de riesgo y recompensa en nuestras decisiones profesionales. Es posible que nos resulte más difícil abandonar un trabajo que no habríamos aceptado si hubiésemos conocido las circunstancias antes de aceptarlo. La aversión a las pérdidas bien puede colocarnos en una posición en la que tememos detenernos y dar la alarma sobre las malas acciones, en lugar de continuar con normalidad (incluso si las consecuencias a largo plazo para nosotros y otros de continuar pueden ser mucho peores).
Al ser conscientes de este sesgo, podemos cumplir mejor objetivamente con nuestras responsabilidades como ingenieros para equilibrar las fuerzas en competencia del riesgo y la recompensa de manera más objetiva. En última instancia, así es como podemos ayudar a garantizar que las nuevas tecnologías sirvan a los intereses de la humanidad.