Hay muchos que defenderán el caso de construir e implementar un nuevo sistema de TI para optimizar un proceso comercial. Algunos pueden calcular el retorno de la inversión, pero pocos pueden decir, con un alto grado de precisión, el nivel de mejora en la forma en que se ejecutaba el proceso comercial antes del nuevo software.
Charles Beadnall, director de tecnología (CTO) de GoDaddy, cuestiona la validez del desarrollo de software actual, en términos de si una nueva implementación realmente marca una diferencia con respecto a la anterior.
Beadnall, que ha estado en GoDaddy durante casi 10 años, cree en aplicar métodos científicos al desarrollo de software. Él dice: “Tienes una hipótesis, prueba esa hipótesis con un conjunto de datos de control, luego ejecutas el experimento y evalúas los resultados con un grupo experimental de modo que puedas comparar los resultados con tu hipótesis”.
Si bien esta idea de ejecutar proyectos de software como un experimento parece sencilla, Beadnall dice que es “un poco más difícil en la práctica porque representa un gran cambio de mentalidad para la gestión e ingeniería de productos; no es algo que sea tan natural para la cantidad de equipos que operan hoy en día”. .
A menudo, dice, un equipo de desarrollo de software tendrá la tarea de escribir una aplicación “para hacer algo mejor”, y el equipo intentará hacerlo. “Esperamos que funcione, y tal vez tengamos evidencia anecdótica cuando alguien dice cosas buenas al respecto o parece que está funcionando”, agrega.
Pero si el equipo no ha recopilado datos reales en términos de cuánto tiempo lleva completar una acción en particular, es difícil juzgar si el proyecto ha sido un éxito o no. Esto, dice, es “el mito del gerente de producto infalible”.
Para Beadnall, los desarrolladores no solo necesitan comprender lo que se supone que debe hacer un fragmento de código, sino que también deben estar en condiciones de demostrar que funciona como se espera. “Debes saber cuando terminas de escribir un código que realmente hace lo que se supone que debe hacer”.
“Debes saber cuando terminas de escribir un código que realmente hace lo que se supone que debe hacer”
Charles Beadnall, GoDaddy
Por ejemplo, si una aplicación está diseñada para mejorar un proceso comercial en particular de alguna manera, Beadnall dice que los desarrolladores podrían medir la cantidad de tiempo que le toma a un grupo de trabajadores completar el proceso comercial sin la nueva aplicación. Este es el conjunto de datos de control, que se puede comparar con los resultados cuando se utiliza la nueva aplicación.
“Puede ejecutar el experimento donde la mitad de la gente lo hace de la manera antigua y la otra mitad usa la nueva”, dice.
Una vez que el experimento ha recopilado suficientes datos para que las mediciones sean estadísticamente válidas, el programador puede llegar a una conclusión sobre si la aplicación ha logrado el resultado deseado.
Para Beadnall, las herramientas de inteligencia artificial (IA) han llegado a un punto en el que es más fácil que nunca comenzar a experimentar con grandes modelos de lenguaje como ChatGPT.
“Hace unos años, podías crear tu propia red neuronal. Obviamente, las herramientas han simplificado este tipo de cosas, democratizando la IA”, dice. “Es una API [application programming interface] que puedes llamar desde casi cualquier programa. Obviamente, hay algunas implicaciones de hacer eso”.
Aplicar la experimentación científica a la IA significaría evaluar qué tan bien funciona un sistema existente y las posibles mejoras a través de la IA. La adopción de la IA por parte de la industria parece estar acelerándose. No está claro si los líderes empresariales y de TI tienen la inclinación y la motivación para probar las implementaciones de IA mediante experimentos científicos.