Las herramientas de inteligencia artificial (IA) generativa o conversacional han atraído mucha atención, así como cierta controversia, ya que aplicaciones como ChatGPT de OpenAI y Bard de Google crean respuestas similares a las humanas a consultas o indicaciones.
Estas aplicaciones se basan en grandes bases de datos de contenido y plantean preguntas sobre propiedad intelectual, privacidad y seguridad. En este artículo, analizamos cómo funcionan los chatbots, los riesgos que plantean para la privacidad y el cumplimiento de los datos, y dónde se encuentra el contenido generado con respecto a la copia de seguridad.
Estas herramientas, denominadas con mayor precisión “IA generativa”, se basan en grandes modelos de lenguaje para crear respuestas similares a las humanas (ver cuadro). El modelo de lenguaje grande de OpenAI es el Transformador preentrenado generativo (o GPT); Google Bard utiliza el modelo de lenguaje para aplicaciones de diálogo (LaMDA).
Sin embargo, el rápido crecimiento de estos servicios ha causado preocupación entre los profesionales de TI. Según Mathieu Gorge, fundador de VigiTrust, en un proyecto de investigación reciente, los 15 directores de seguridad de la información que entrevistó mencionaron la IA generativa como una preocupación.
“Las preocupaciones más serias son la fuga de IP y la confidencialidad cuando se usa IA generativa”, dice Gorge, y agrega que la facilidad de uso de herramientas de IA basadas en web o aplicaciones corre el riesgo de crear otra forma de TI en la sombra.
Como servicios en línea, las aplicaciones de IA generativa transmiten y procesan datos a través de Internet. Los principales servicios no detallan dónde almacenan físicamente los datos.
“Cada uno de estos servicios tiene diferentes términos y condiciones, y debe leerlos con mucho cuidado”, dice Tony Lock de Freeform Dynamics. “¿Están utilizando sus entradas, para que la próxima vez que inicie sesión sepan quién es usted y cómo le gusta expresar sus consultas? Probablemente estén guardando parte de esa información. Mucho depende de los sistemas, porque algunos usan datos antiguos [to answer queries] y otros salen y miran todo lo que encuentran”.
Chatbots y privacidad de datos
Sin embargo, estos servicios tienen políticas de privacidad de datos. ChatGPT, por ejemplo, permite a los usuarios eliminar conversaciones de una en una (dentro de un límite de 30 días), eliminar todos sus datos o eliminar toda su cuenta.
Y el servicio supervisa las consultas para evitar abusos. ChatGPT conserva los datos del usuario para mejorar sus servicios, pero los usuarios pueden optar por no participar. Mientras tanto, Google afirma que Bard recopila “conversaciones, su ubicación, sus comentarios e información de uso” para mejorar el servicio y mejorar los servicios de aprendizaje automático de Google. A pesar de los rumores en línea, no accede a información personal en Gmail u otras cuentas de servicios de Google.
A pesar de estas salvaguardas, los servicios de chatbot plantean una serie de desafíos para las empresas. Usan datos públicos para sus modelos, pero a diferencia del aprendizaje automático y la inteligencia artificial basados en la empresa, las empresas no tienen control ni visibilidad sobre los datos de capacitación. Tampoco existe una forma automatizada de impedir que un empleado comparta propiedad intelectual o datos de identificación personal, como registros financieros o de salud, con Bard o ChatGPT.
“Necesitas tener una política y reglas sobre dónde y cuándo lo usas”, dice Gorge. El uso de una herramienta de IA generativa para crear materiales de marketing es aceptable, sugiere, pero no deben usarse para documentos confidenciales y críticos como los contratos.
Además, debe definir dónde se guardarán los datos y qué se usará en el modelo, dice Richard Watson-Bruhn, experto en seguridad de datos de PA Consulting.
“Es posible que esté utilizando contenido similar a un chat en el modelo o que lo esté manteniendo por separado para los registros”, dice. “Chat GPT, por ejemplo, registra chats anteriores y normalmente los usa para mejorar los resultados del modelo. Sin embargo, también puede haber importantes razones de cumplimiento para realizar chats de forma temporal, incluso si no están incorporados en el modelo”.
Chatbots y cumplimiento
El uso de servicios públicos de chatbot también plantea una serie de cuestiones de cumplimiento. Si las empresas desean utilizar datos de clientes con IA generativa, deberán asegurarse de que el procesamiento de datos cumpla con GDPR. Para los sistemas operados internamente, es posible obtener estos consentimientos.
Para los chatbots públicos, esto es casi imposible, lo que llevó a los expertos a desaconsejar el intercambio de datos personales e incluso prohibiciones estatales.
Estos se han visto en la prohibición temporal de la DPA italiana por incumplimiento de GDPR (ahora levantada) e incidentes como las brechas de seguridad que sufrió Samsung usando la herramienta ChatGPT. Los jefes de seguridad y privacidad están siendo atraídos por consideraciones y preguntas sobre el uso comercial, los riesgos y los requisitos de cumplimiento del uso de la IA.
Hay un problema de cumplimiento adicional si las empresas usan IA generativa para tomar decisiones que afectan a los clientes. Los reguladores están observando más de cerca las decisiones tomadas por la IA o los sistemas de aprendizaje automático, y querrán ver que se tomen con motivos razonables y sin prejuicios ni discriminación.
Para la tecnología interna, mantener los registros de las decisiones debe ser sencillo y las empresas también deben registrar los detalles de los datos utilizados para entrenar los modelos. Nada de esto es posible con los chatbots públicos. Además, es posible que un sistema de IA generativa tome decisiones diferentes basadas en consultas aparentemente similares: los modelos de lenguaje pueden interpretar diferentes palabras o frases de diferentes maneras para un analista humano, y si los datos de entrenamiento o el modelo de lenguaje grande cambian, esto también cambiará. afectar los resultados.
Esto dificulta que las empresas expliquen las decisiones tomadas por los sistemas de IA generativa y las justifiquen.
“Uno de los problemas es la repetibilidad, o la falta de repetibilidad”, dice Patrick Smith, director de tecnología de campo para Europa en Pure Storage. “Si realiza las mismas consultas en una de estas herramientas de IA, ¿obtendrá la misma respuesta? Sospecho que no lo harás si están actualizando constantemente sus datos de entrenamiento. Si observa las herramientas que puede poner en sus propios sistemas, entonces puede bloquear claramente los datos de entrenamiento en cualquier momento”.
Chatbots y copia de seguridad
Esto plantea la pregunta de cómo las organizaciones respaldan los datos del chatbot, o si eso es posible. Los servicios como ChatGPT guardan consultas durante 30 días y es posible exportar consultas y respuestas. Una vez más, sin embargo, depende de la persona que utilice el servicio hacer esto: todavía no existen herramientas de cumplimiento y copia de seguridad automatizadas a nivel empresarial para lo que son en gran medida servicios experimentales, y no hay forma de capturar una instantánea de los datos de capacitación. para cualquier consulta (ver recuadro).
Esto sugiere que, si bien los CIO y los directores de datos querrán experimentar con la IA generativa, la tecnología aún tiene mucho camino por recorrer antes de que sea lo suficientemente madura para el uso empresarial general.