Los Riesgos de la Inteligencia Artificial (IA) Generativa

Este elemento es una profundización de los cursos y guías de Lawi. Ofrece hechos, comentarios y análisis sobre “Riesgos de la Inteligencia Artificial Generativa”. [aioseo_breadcrumbs]

Riesgos de la Inteligencia Artificial (IA) Generativa

Líderes empresariales, académicos, responsables políticos y un sinfín de personas más están buscando formas de aprovechar la tecnología de la IA generativa, que tiene el potencial de transformar la forma en que aprendemos, trabajamos y mucho más. En los negocios, la IA generativa tiene el potencial de transformar la forma en que las empresas interactúan con los clientes e impulsar el crecimiento empresarial. Una nueva investigación muestra que el 67% de los altos directivos de TI están dando prioridad a la IA generativa para su negocio en los próximos 18 meses, y un tercio (33%) la considera una prioridad máxima. Las empresas están explorando cómo podría impactar en cada parte del negocio, incluyendo ventas, servicio al cliente, marketing, comercio, TI, legal, RRHH y otros.

Sin embargo, los altos directivos de TI necesitan una forma segura y de confianza para que sus empleados utilicen estas tecnologías. El 79% de los altos directivos de TI manifestaron su preocupación por el hecho de que estas tecnologías conlleven riesgos potenciales para la seguridad, y a otro 73% le preocupan los resultados sesgados. En términos más generales, las organizaciones deben reconocer la necesidad de garantizar el uso ético, transparente y responsable de estas tecnologías.

Una empresa que utiliza tecnología de IA generativa en un entorno empresarial es diferente de los consumidores que la utilizan para uso privado e individual. Las empresas necesitan adherirse a las regulaciones relevantes para sus respectivas industrias (piense: sanidad), y existe un campo minado de implicaciones legales, financieras y éticas si el contenido generado es inexacto, inaccesible u ofensivo. Por ejemplo, el riesgo de sufrir daños cuando un chatbot de IA generativa da pasos incorrectos para cocinar una receta es mucho menor que cuando da instrucciones a un trabajador de un servicio de campo para reparar una pieza de maquinaria pesada. Si no se diseña y despliega con directrices éticas claras, la IA generativa puede tener consecuencias imprevistas y causar potencialmente un daño real.

Las organizaciones necesitan un marco claro y procesable sobre cómo utilizar la IA generativa y alinear sus objetivos de IA generativa con los “trabajos por hacer” de sus empresas, incluyendo cómo la IA generativa afectará a las ventas, el marketing, el comercio, el servicio y los trabajos de TI.

Desde 2018-2019, se han publicado algunos artículos sobre los principios de IA de confianza (transparencia, imparcialidad, responsabilidad, rendición de cuentas y fiabilidad), destinados a guiar el desarrollo de herramientas de IA éticas. Estos principios pueden aplicarse a cualquier organización que invierta en IA. Pero estos principios sólo llegan hasta cierto punto si las organizaciones carecen de una práctica de IA ética que los haga operativos en el desarrollo y la adopción de la tecnología de IA. Una práctica de IA ética madura operacionaliza sus principios o valores a través del desarrollo y despliegue responsable de productos -uniendo disciplinas como la gestión de productos, la ciencia de datos, la ingeniería, la privacidad, el ámbito legal, la investigación de usuarios, el diseño y la accesibilidad- para mitigar los daños potenciales y maximizar los beneficios sociales de la IA. Existen modelos sobre cómo las organizaciones pueden iniciar, madurar y ampliar estas prácticas, que proporcionan hojas de ruta claras sobre cómo construir la infraestructura para el desarrollo ético de la IA.

Pero con la aparición generalizada -y la accesibilidad- de la IA generativa, se reconoce que las organizaciones necesitaban directrices específicas para los riesgos que presenta esta tecnología concreta. Estas directrices no sustituyen a los principios señalados más arriba, sino que actúan como una estrella polar sobre cómo se pueden operativizar y poner en práctica a medida que las empresas desarrollan productos y servicios que utilizan esta nueva tecnología.

Directrices para el desarrollo ético de la IA generativa

Nuestro nuevo conjunto de directrices puede ayudar a las organizaciones a evaluar los riesgos y consideraciones de la IA generativa a medida que estas herramientas ganan adopción generalizada. Abarcan cinco áreas de interés.

Precisión

Las organizaciones deben ser capaces de entrenar los modelos de IA con sus propios datos para ofrecer resultados verificables que equilibren la exactitud, la precisión y la recuperación (la capacidad del modelo para identificar correctamente los casos positivos dentro de un conjunto de datos determinado). Es importante comunicar cuándo hay incertidumbre respecto a las respuestas de la IA generativa y permitir que la gente las valide. Esto puede hacerse citando las fuentes de las que el modelo está extrayendo información para crear contenido, explicando por qué la IA dio la respuesta que dio, destacando la incertidumbre y creando barandillas que impidan que algunas tareas se automaticen por completo.

Seguridad

Hacer todo lo posible para mitigar el sesgo, la toxicidad y los resultados perjudiciales mediante la realización de evaluaciones de sesgo, explicabilidad y solidez es siempre una prioridad en la IA. Las organizaciones deben proteger la privacidad de cualquier información de identificación personal presente en los datos utilizados para el entrenamiento para evitar posibles daños. Además, las evaluaciones de seguridad pueden ayudar a las organizaciones a identificar las vulnerabilidades que pueden ser explotadas por los malos actores (por ejemplo, los ataques de inyección de prompt “haz cualquier cosa ahora” que se han utilizado para anular los guardrails de ChatGPT).

Honestidad

Al recopilar datos para entrenar y evaluar nuestros modelos, respete la procedencia de los datos y asegúrese de que existe consentimiento para utilizarlos. Esto puede hacerse aprovechando los datos de código abierto y los proporcionados por los usuarios. Y, al entregar resultados de forma autónoma, es necesario ser transparente en cuanto a que una IA ha creado el contenido. Esto puede hacerse mediante marcas de agua en el contenido o mediante mensajes dentro de la aplicación.

Como se dijo en otro lugar respecto a los riesgos de la IA en general, si se encuentran formas de generar una nueva corriente de datos continuos que ofrezca una ventaja de rendimiento (véase una definición en el diccionario y más detalles, en la plataforma general, sobre rendimientos) en términos del poder predictivo de su inteligencia artificial, eso les dará una fuerza sostenible cuando llegue la IA.

Potenciación

Aunque hay algunos casos en los que es mejor automatizar totalmente los procesos, la IA debería desempeñar más a menudo un papel de apoyo. Hoy en día, la IA generativa es un gran asistente. En los sectores en los que generar confianza es una prioridad absoluta, como en las finanzas o la sanidad, es importante que los humanos participen en la toma de decisiones -con la ayuda de los conocimientos basados en datos que pueda proporcionar un modelo de IA- para generar confianza y mantener la transparencia. Además, hay que asegurarse de que los resultados del modelo sean accesibles para todos (por ejemplo, generar texto ALT para acompañar a las imágenes, que la salida de texto sea accesible para un lector de pantalla). Y, por supuesto, hay que tratar con respeto a los contribuidores de contenidos, creadores y etiquetadores de datos (por ejemplo, salarios justos, consentimiento para utilizar su trabajo).

Sostenibilidad

Los modelos lingüísticos se describen como “grandes” en función del número de valores o parámetros que utilizan. Algunos de estos modelos lingüísticos grandes (LLM) tienen cientos de miles de millones de parámetros y utilizan mucha energía y agua para entrenarlos. Por ejemplo, el GPT3 necesitó 1,287 gigavatios hora, o lo que es lo mismo, tanta electricidad como para alimentar 120 hogares estadounidenses durante un año, y 700.000 litros de agua dulce limpia.

Al considerar los modelos de IA, más grande no siempre significa mejor. A medida que desarrollemos nuestros propios modelos, nos esforzaremos por minimizar el tamaño de los mismos a la vez que maximizamos la precisión, entrenando los modelos con grandes cantidades de datos CRM de alta calidad. Esto ayudará a reducir la huella de carbono porque se requiere menos computación, lo que significa menos consumo de energía de los centros de datos y menos emisiones de carbono.

Integración de la IA generativa

La mayoría de las organizaciones integrarán herramientas de IA generativa en lugar de crear las suyas propias. He aquí algunos consejos tácticos para integrar de forma segura la IA generativa en las aplicaciones empresariales con el fin de impulsar los resultados de negocio:

Utilizar datos de origen cero o de primera mano

Las empresas deben entrenar las herramientas de IA generativa utilizando datos de parte cero -datos que los clientes comparten de forma proactiva- y datos de primera parte, que recopilan directamente. Una sólida procedencia de los datos es clave para garantizar que los modelos sean precisos, originales y fiables. Depender de datos de terceros, o de información obtenida de fuentes externas, para entrenar las herramientas de IA dificulta garantizar que el resultado sea preciso.

Por ejemplo, los intermediarios de datos pueden tener datos antiguos, combinar incorrectamente datos de dispositivos o cuentas que no pertenecen a la misma persona, y/o hacer inferencias inexactas basadas en los datos. Esto se aplica a nuestros clientes cuando basamos los modelos en sus datos. Así, en Marketing Cloud, si los datos del CRM de un cliente proceden todos de corredores de datos, la personalización puede ser errónea.

Mantener los datos actualizados y bien etiquetados

La IA sólo es tan buena como los datos con los que se entrena. Los modelos que generan respuestas a las consultas de atención al cliente producirán resultados inexactos o desfasados si el contenido en el que se basa es antiguo, incompleto e inexacto. Esto puede dar lugar a alucinaciones, en las que una herramienta afirma con confianza que una falsedad es real. Entrenar datos que contengan sesgos dará lugar a herramientas que propaguen los sesgos.

Las empresas deben revisar todos los conjuntos de datos y documentos que se utilizarán para entrenar modelos, y eliminar los elementos sesgados, tóxicos y falsos. Este proceso de curación es clave para los principios de seguridad y precisión.

Asegúrarse de que hay un humano en el bucle

Sólo porque algo pueda automatizarse no significa que deba ser así. Las herramientas de IA generativa no siempre son capaces de comprender el contexto emocional o empresarial, ni de saber cuándo se equivocan o son perjudiciales.

Los seres humanos deben participar en la revisión de los resultados para comprobar su exactitud, detectar sesgos y garantizar que los modelos funcionan según lo previsto. En términos más generales, la IA generativa debe verse como una forma de aumentar las capacidades humanas y potenciar a las comunidades, no de sustituirlas o desplazarlas.

Las empresas desempeñan un papel fundamental en la adopción responsable de la IA generativa y en la integración de estas herramientas de forma que mejoren, no disminuyan, la experiencia laboral de sus empleados, y de sus clientes. Se trata de garantizar el uso responsable de la IA para mantener la precisión, la seguridad, la honestidad, la capacitación y la sostenibilidad, mitigando los riesgos y eliminando los resultados sesgados. Y, el compromiso debe extenderse más allá de los intereses corporativos inmediatos, abarcando responsabilidades sociales más amplias y prácticas éticas de la IA.

Probar, probar, probar

La IA generativa no puede funcionar sobre una base de “todo listo y olvidado”: las herramientas necesitan una supervisión constante. Las empresas pueden empezar buscando formas de automatizar el proceso de revisión recopilando metadatos sobre los sistemas de IA y desarrollando mitigaciones estándar para riesgos específicos.

En última instancia, los seres humanos también tienen que participar en la comprobación de la precisión, los sesgos y las alucinaciones de los resultados. Las empresas pueden plantearse invertir en formación ética sobre IA para los ingenieros y directivos de primera línea, de modo que estén preparados para evaluar las herramientas de IA. Si los recursos son limitados, pueden dar prioridad a las pruebas de los modelos que tengan más posibilidades de causar daños.

Obtener opiniones

Escuchar a los empleados, a los asesores de confianza y a las comunidades afectadas es clave para identificar los riesgos y corregir el rumbo. Las empresas pueden crear diversas vías para que los empleados informen de sus preocupaciones, como una línea directa anónima, una lista de correo, un canal Slack o de medios sociales dedicado o grupos de discusión. Crear incentivos para que los empleados informen de los problemas también puede ser eficaz.

Algunas organizaciones han formado consejos asesores de ética -compuestos por empleados de toda la empresa, expertos externos o una mezcla de ambos- para que opinen sobre el desarrollo de la IA. Por último, tener líneas abiertas de comunicación con las partes interesadas de la comunidad es clave para evitar consecuencias imprevistas.

Responsabilidad y Ética

Con la generalización de la IA generativa, las empresas tienen la responsabilidad de asegurarse de que están utilizando esta tecnología de forma ética y mitigando los posibles daños. Al comprometerse con unas directrices y disponer de unas barandillas de antemano, las empresas pueden garantizar que las herramientas que despliegan son precisas, seguras y fiables, y que ayudan a los seres humanos a prosperar.

La IA generativa evoluciona rápidamente, por lo que las medidas concretas que las empresas deben adoptar evolucionarán con el tiempo. Pero atenerse a un marco ético firme puede ayudar a las organizaciones a navegar por este periodo de rápida transformación.

Revisor de hechos: Crochane

Riesgos del uso de grandes modelos lingüísticos y herramientas de IA generativa en la redacción de artículos académicos

Se reconoce por varias publicaciones el valor de los grandes modelos lingüísticos (LLM) (por ejemplo, ChatGPT) y de la IA generativa como herramientas de productividad que pueden ayudar a los autores en la preparación de su artículo para el envío; para generar ideas iniciales para una estructura, por ejemplo, o a la hora de resumir, parafrasear, pulir el lenguaje, etc. Sin embargo, es importante señalar que todos los modelos lingüísticos tienen limitaciones y son incapaces de replicar el pensamiento creativo y crítico humano. La intervención humana con estas herramientas es esencial para garantizar que el contenido presentado es preciso y apropiado para el lector. Por ello, algunas editoriales exigen a los autores que sean conscientes de las limitaciones de los modelos lingüísticos y que las tengan en cuenta en cualquier uso que hagan de los grandes modelos lingüístico en sus presentaciones:

Basado en la experiencia de varios autores, mis opiniones, perspectivas y recomendaciones se expresarán a continuación (o en otros lugares de esta plataforma, respecto a las características en 2026 o antes, y el futuro de esta cuestión):

• Objetividad: El contenido publicado previamente que contenga prejuicios racistas, sexistas o de otro tipo puede estar presente en el texto generado por los grandes modelos lingüísticos, y los puntos de vista minoritarios pueden no estar representados. El uso de grandes modelos lingüísticos tiene el potencial de perpetuar estos sesgos porque la información está descontextualizada y es más difícil de detectar.
• Precisión: Los grandes modelos lingüísticos pueden “alucinar”, es decir, generar contenidos falsos, sobre todo cuando se utilizan fuera de su dominio o cuando tratan temas complejos o ambiguos. Pueden generar contenidos lingüística pero no científicamente plausibles, pueden equivocarse en los hechos y se ha demostrado que generan citas que no existen. Algunos grandes modelos lingüísticos sólo se entrenan en contenidos publicados antes de una fecha concreta y, por tanto, presentan una imagen incompleta.
• Comprensión contextual: Los grandes modelos lingüísticos no pueden aplicar la comprensión humana al contexto de un texto, especialmente cuando se trata de expresiones idiomáticas, sarcasmo, humor o lenguaje metafórico. Esto puede dar lugar a errores o malas interpretaciones en el contenido generado.
• Datos de entrenamiento: Los LLM requieren una gran cantidad de datos de entrenamiento de alta calidad para lograr un rendimiento óptimo. Sin embargo, en algunos dominios o idiomas, puede que no se disponga fácilmente de tales datos, lo que limita la utilidad del modelo.

Revisor de hechos: Swager

Para saber más

• Generación de Imágenes mediante Inteligencia Artificial: Los generadores de imágenes mediante inteligencia artificial molestan a mucha gente. Estas herramientas funcionan arañando imágenes de todo Internet.
• Inteligencia Artificial: La inteligencia artificial (IA) es la próxima frontera tecnológica, con potencial de cambiar el orden mundial (o global) para bien o para mal.
• Uso de la Inteligencia Artificial para el Desarrollo Sostenible: La inteligencia artificial tiene un potencial significativo para avanzar en la agenda hacia el cumplimiento del desarrollo sostenible.
• La Oscura Naturaleza de la Inteligencia Artificial: Los datos que recogen los sensores del vehículo entran directamente en una enorme red de neuronas artificiales que los procesan.
• Supervisión Corporativa de la Inteligencia Artificial: La inteligencia artificial puede definirse de varias maneras, pero tal vez la definición más sencilla sea la utilización de máquinas.
• Ventajas de la Inteligencia Artificial: Precisamente porque se supone que las plataformas de aprendizaje automático y de inteligencia artificial son «inteligentes», plantean riesgos y también ventajas.
• Oportunidades de la Inteligencia Artificial: Hay riesgos, pero también sustanciales oportunidades de la Inteligencia Artificial (AI) para abogados y otros profesionales.
• Información sobre Ética de la Inteligencia Artificial: Uno de los aspectos controvertidos respecto a esta tecnología hace referencia a la ética y moral de la Inteligencia Artificial.
• Inteligencia Artificial en el diccionario Jurídico y Social, donde se ofrece un concepto de Inteligencia Artificial. ¿Qué es, Qué Significa y Cómo se Define Inteligencia Artificial?

Recursos

Véase También

Ciberseguridad, Empleados, Práctica de Privacidad, Práctica de la Regulación, Internet, Privacidad de Datos, Privacidad de Datos Personales, Riesgos, Trabajadores, Trabajo Asalariado
IA, Aprendizaje Automático, Tecnología, Ética empresarial, Gestión de riesgos, Gestión de TI, Transformación digital

▷ Esperamos que haya sido de utilidad. Si conoces a alguien que pueda estar interesado en este tema, por favor comparte con él/ella este contenido. Es la mejor forma de ayudar al Proyecto Lawi.