Enero, 2025.- Los agentes de IA están a punto de transformar la productividad de los mil millones de trabajadores del conocimiento de todo el mundo con “robots del conocimiento” capaces de realizar diversas tareas. Para desarrollar agentes de IA, las empresas necesitan resolver problemas críticos como la confianza, la seguridad y el cumplimiento de normativas.
Los nuevos microservicios NVIDIA NIM para AI guardrails, que forman parte de la colección de herramientas de software NVIDIA NeMo Guardrails, son microservicios de inferencia portátiles y optimizados que ayudan a las empresas a mejorar la seguridad, precisión y escalabilidad de sus aplicaciones de IA generativa.
NeMo Guardrails, que forma parte de la plataforma NVIDIA NeMo para la gestión, personalización y control de la IA, es fundamental para la orquestación de los microservicios. NeMo Guardrails ayuda a los desarrolladores a integrar y gestionar los guardarraíles de IA en aplicaciones de grandes modelos de lenguaje (LLM). Los líderes del sector Amdocs, Cerence AI y Lowe’s se encuentran entre los que utilizan NeMo Guardrails para proteger las aplicaciones de IA.
Los desarrolladores pueden utilizar los microservicios NIM para crear agentes de IA más seguros y fiables que proporcionen respuestas seguras y apropiadas dentro de las directrices específicas del contexto y que estén reforzados contra los intentos de fuga. Desplegados en servicios de atención al cliente de sectores como la automoción, las finanzas, la sanidad, la fabricación y el comercio minorista, los agentes pueden aumentar la satisfacción y la confianza de los clientes.
Uno de los nuevos microservicios, creado para moderar la seguridad de los contenidos, se entrenó utilizando el conjunto de datos de seguridad de contenidos de Aegis, una de las fuentes de datos de mayor calidad y con anotaciones humanas de su categoría. Este conjunto de datos, propiedad de NVIDIA y elaborado por ella misma, está a disposición del público en Hugging Face e incluye más de 35.000 muestras de datos anotados por humanos y marcados por la seguridad de la IA e intentos de jailbreak para eludir las restricciones del sistema.
NVIDIA NeMo Guardrails mantiene a los agentes de IA en el buen camino
La IA está impulsando rápidamente la productividad de una amplia gama de procesos empresariales. En el servicio de atención al cliente, está ayudando a resolver los problemas de los clientes hasta un 40% más rápido. Sin embargo, la ampliación de la IA para el servicio de atención al cliente y otros agentes de IA requiere modelos seguros que eviten salidas dañinas o inapropiadas y garanticen que la aplicación de IA se comporta dentro de los parámetros definidos.
NVIDIA ha introducido tres nuevos microservicios NIM para NeMo Guardrails que ayudan a los agentes de IA a operar a escala manteniendo un comportamiento controlado:Microservicio NIM de seguridad de contenidos que protege la IA contra la generación de resultados sesgados o perjudiciales, garantizando que las respuestas se ajusten a las normas éticas.Control de temas Microservicio NIM que mantiene las conversaciones centradas en temas aprobados, evitando divagaciones o contenidos inapropiados.Detección de jailbreak Microservicio NIM que añade protección contra intentos de jailbreak, ayudando a mantener la integridad de la IA en escenarios adversos.Al aplicar múltiples modelos ligeros y especializados como barandillas, los desarrolladores pueden cubrir las lagunas que pueden producirse cuando sólo existen políticas y protecciones globales más generales, ya que un enfoque único no asegura ni controla adecuadamente los complejos flujos de trabajo de agentes de IA.
Los modelos lingüísticos pequeños, como los de la colección NeMo Guardrails, ofrecen una latencia más baja y están diseñados para ejecutarse de forma eficiente, incluso en entornos distribuidos o con recursos limitados. Esto los hace ideales para escalar aplicaciones de IA en sectores como la sanidad, la automoción y la fabricación, en lugares como hospitales o almacenes.
Líderes del sector y socios protegen la IA con NeMo Guardrails
NeMo Guardrails, disponible para la comunidad de código abierto, ayuda a los desarrolladores a orquestar múltiples políticas de software de IA -llamadas rails- para mejorar la seguridad y el control de las aplicaciones LLM. Funciona con los microservicios NVIDIA NIM para ofrecer un marco sólido para construir sistemas de IA que puedan implantarse a escala sin comprometer la seguridad ni el rendimiento. Amdocs, uno de los principales proveedores mundiales de software y servicios para empresas de comunicaciones y medios de comunicación, está aprovechando NeMo Guardrails para mejorar las interacciones con los clientes impulsadas por la IA ofreciendo respuestas más seguras, precisas y adecuadas al contexto.
“Tecnologías como NeMo Guardrails son esenciales para salvaguardar las aplicaciones de IA generativa y garantizar que funcionen de forma segura y ética”, afirma Anthony Goonetilleke, presidente del grupo de tecnología y responsable de estrategia de Amdocs. “Al integrar NVIDIA NeMo Guardrails en nuestra plataforma amAIz, estamos mejorando las capacidades de ‘Trusted AI’ de la plataforma para ofrecer experiencias agénticas que sean seguras, fiables y escalables. Esto capacita a los proveedores de servicios para desplegar soluciones de IA de forma segura y con confianza, estableciendo nuevos estándares para la innovación en IA y la excelencia operativa.”
Cerence AI, una compañía especializada en soluciones de IA para la industria automotriz, está utilizando NVIDIA NeMo Guardrails para ayudar a garantizar que sus asistentes en el automóvil ofrezcan interacciones contextualmente apropiadas y seguras impulsadas por su familia CaLLM de modelos de lenguaje grandes y pequeños.
“Cerence AI confía en las soluciones seguras y de alto rendimiento de NVIDIA para impulsar nuestras tecnologías de asistente en el automóvil”, afirma Nils Schanz, vicepresidente ejecutivo de producto y tecnología de Cerence AI. “El uso de NeMo Guardrails nos ayuda a ofrecer soluciones fiables y adaptadas al contexto a nuestros clientes fabricantes de automóviles y a proporcionar respuestas sensatas, conscientes y sin alucinaciones». Además, NeMo Guardrails es personalizable para nuestros clientes fabricantes de automóviles y nos ayuda a filtrar las solicitudes dañinas o desagradables, asegurando nuestra familia CaLLM de modelos de lenguaje de la entrega de contenido no deseado o inapropiado a los usuarios finales”.
Lowe’s, minorista líder en mejoras para el hogar, está aprovechando la IA generativa para aprovechar la profunda experiencia de sus asociados en las tiendas. Al proporcionar un acceso mejorado a un conocimiento exhaustivo de los productos, estas herramientas capacitan a los asociados para responder a las preguntas de los clientes, ayudándoles a encontrar los productos adecuados para completar sus proyectos y estableciendo un nuevo estándar para la innovación minorista y la satisfacción del cliente.
“Siempre estamos buscando formas de ayudar a los asociados a ir más allá para nuestros clientes”, afirma Chandhu Nair, vicepresidente senior de datos, AI e innovación en Lowe’s. “Con nuestras recientes implementaciones de NVIDIA NeMo Guardrails, nos aseguramos de que las respuestas generadas por IA sean seguras y fiables, reforzando los límites conversacionales para ofrecer solo contenido relevante y apropiado”.
Para acelerar aún más la adopción de salvaguardas de IA en el desarrollo e implementación de aplicaciones de IA en el comercio minorista, NVIDIA anunció recientemente en la feria NRF que su NVIDIA AI Blueprint para asistentes de compras minoristas incorpora microservicios NeMo Guardrails para crear interacciones más confiables y controladas con los clientes durante las experiencias de compras digitales. Los líderes en consultoría Taskus, Tech Mahindra y Wipro también están integrando NeMo Guardrails en sus soluciones para ofrecer a sus clientes empresariales aplicaciones de IA generativa más seguras, fiables y controladas.
NeMo Guardrails es abierto y extensible, y ofrece integración con un sólido ecosistema de proveedores líderes de modelos de seguridad y guardarraíles de IA, así como herramientas de observabilidad y desarrollo de IA. Admite la integración con ActiveScore de ActiveFence, que filtra el contenido dañino o inapropiado en aplicaciones de IA conversacional, y proporciona visibilidad, análisis y supervisión.
Hive, que proporciona sus modelos de detección de contenido generados por IA para imágenes, vídeo y contenido de audio como microservicios NIM, puede integrarse y orquestarse fácilmente en aplicaciones de IA utilizando NeMo Guardrails.
La plataforma Fiddler AI Observability se integra fácilmente con NeMo Guardrails para mejorar las capacidades de monitorización de los guardarraíles de IA. Y Weights & Biases, una plataforma integral de desarrollo de IA, amplía las capacidades de W&B Weave añadiendo integraciones con microservicios NeMo Guardrails. Esta mejora se basa en la cartera existente de Weights & Biases de integraciones NIM para la inferencia optimizada de IA en producción.
“NVIDIA trabaja para ofrecer a los socios empresariales formas de acelerar la aplicación de la IA y hacer que el servicio sea aún más rápido. Con menos tiempo, estamos reduciendo los costes de producción y aumentando la eficiencia para nuestros clientes”, afirma Marcio Aguiar, director de la división Enterprise de NVIDIA para Latinoamérica.
NeMo Guardrails ofrece herramientas de código abierto para pruebas de seguridad de IA
Los desarrolladores dispuestos a probar la eficacia de la aplicación de modelos de salvaguarda y otros raíles pueden utilizar NVIDIA Garak, un conjunto de herramientas de código abierto para LLM y exploración de vulnerabilidades de aplicaciones desarrollado por el equipo de investigación de NVIDIA.
Con Garak, los desarrolladores pueden identificar vulnerabilidades en los sistemas que utilizan LLM evaluándolos para detectar problemas como fugas de datos, inyecciones puntuales, alucinaciones de código y escenarios de fuga de la cárcel. Al generar casos de prueba que implican salidas inapropiadas o incorrectas, Garak ayuda a los desarrolladores a detectar y abordar posibles puntos débiles en los modelos de IA para mejorar su solidez y seguridad.
Disponibilidad
Los microservicios NVIDIA NeMo Guardrails, así como NeMo Guardrails para orquestación de raíles y el kit de herramientas NVIDIA Garak, ya están disponibles para desarrolladores y empresas. Los desarrolladores pueden empezar a crear salvaguardas de IA en agentes de IA para atención al cliente utilizando NeMo Guardrails con este tutorial.
Discussion about this post