Crea aplicaciones de IA generativa más seguras y fiables con las nuevas herramientas de Azure IA de Microsoft

Microsoft ha anunciado nuevas herramientas en Azure AI Studio para desarrolladores de aplicaciones de Inteligencia Artificial generativa con el objetivo de ayudarles a superar retos de calidad y seguridad de la IA. Con estas incorporaciones, el portfolio de soluciones que Microsoft ofrece con Azure AI continúa proporcionando tecnologías innovadoras que permiten mitigar, evaluar y monitorear los riesgos de la IA y facilitan a cada organización alcanzar sus objetivos con IA generativa responsable y segura.

Protección de los LLM con Prompt Shields

Para combatir los ataques de inyección de prompts, tanto los directos, conocidos como jailbreaks, como los indirectos, Microsoft ha introducido Prompt Shields para detectar entradas sospechosas en tiempo real y bloquearlas antes de que lleguen al modelo base. Este enfoque proactivo salvaguarda la integridad de los grandes sistemas de modelos de lenguaje (LLM) y las interacciones de los usuarios.

Groundedness detections

Microsoft también ha anunciado la próxima disponibilidad de Groundedness detection, una nueva función diseñada para detectar si las respuestas de texto de los modelos de lenguaje grandes (LLM) se basan en los materiales fuente proporcionados por los usuarios (resultados que no coinciden con el sentido común o carecen de datos de base). Esta función detecta «material no fundamentado» en el texto para mejorar la calidad y la fiabilidad de los sistemas de IA generativa.

Mensaje de seguridad eficaz para dirigir aplicaciones

Además de añadir sistemas de seguridad como Azure AI Content Safety para ayudar a crear mensajes de sistema eficaces, Microsoft ha anunciado que pronto estarán disponibles plantillas de mensajes de sistema de seguridad directamente en los playgrounds Azure AI Studio y Azure OpenAI Service de forma predeterminada. Desarrolladas para mitigar la generación de contenido dañino y el uso indebido, estas plantillas pueden ayudar a los desarrolladores a empezar a crear aplicaciones de alta calidad en menos tiempo.

Evaluación de los riesgos y la seguridad de LLM

Entre las novedades que ha anunciado Microsoft, se encuentran las evaluaciones automatizadas para nuevas métricas de riesgo y seguridad. Ya disponibles en versión en preview, estas evaluaciones de seguridad miden la susceptibilidad de una aplicación a los intentos de jailbreak la producción de contenido violento, sexual y que incite al odio. También ofrecen explicaciones en lenguaje natural de los resultados de la evaluación para ayudar a mitigar los riesgos. Los desarrolladores pueden evaluar una aplicación utilizando su propio conjunto de datos de prueba, utilizando plantillas de mensajes adversos desarrolladas por Microsoft Research.

Supervisión de las implementaciones de Azure OpenAI Service

Microsoft presenta la monitorización de riesgos y seguridad en Azure OpenAI Service. Ahora, los desarrolladores pueden visualizar el volumen, la gravedad y la categoría de las entradas del usuario y las salidas del modelo que fueron bloqueadas por sus filtros de contenido y listas de bloqueo de Azure OpenAI Service a lo largo del tiempo.

Además de la supervisión y las perspectivas a nivel de contenido, se incluyen informes para detectar posibles abusos a nivel de usuario. Si el contenido de un usuario se marca como dañino por los filtros de contenido preconfigurados o las listas de bloqueo de un cliente, el servicio utilizará señales contextuales para determinar si el comportamiento del usuario se califica como abuso del sistema de IA. Con estas nuevas capacidades de monitoreo, las organizaciones pueden comprender mejor las tendencias en las aplicaciones y el comportamiento de los usuarios y aplicar esos conocimientos para ajustar las configuraciones de filtros de contenido, las listas de bloqueo y el diseño general de las aplicaciones.