Se puede engañar a ChatGPT para que brinde consejos detallados sobre cómo cometer delitos que van desde el lavado de dinero hasta la exportación de armas a países sancionados, según descubrió una startup tecnológica, lo que plantea dudas sobre las salvaguardias del chatbot contra su uso para ayudar en actividades ilegales. La firma noruega Strise ha trabajado dos veces. . Experimentos pidiendo consejos a ChatGPT sobre cómo cometer delitos específicos. En su primera prueba el mes pasado, el chatbot dio consejos sobre el lavado de dinero a través de fronteras, según Strise. En un segundo experimento a principios de este mes, ChatGPT desarrolló una lista de formas de ayudar a las empresas a evitar sanciones contra Rusia, incluidas prohibiciones de ciertos pagos transfronterizos y ventas de armas. Strise vende software que ayuda a los bancos y otras empresas a combatir el lavado de dinero e identifica a las personas sancionadas. y elimina otros riesgos. Entre sus clientes se incluyen Nordea, el banco líder de la región nórdica, PwC Noruega y Handelsbanken. Marit Rødevand, fundadora y directora ejecutiva de Strise, dijo que los delincuentes ahora pueden utilizar chatbots de inteligencia artificial generativa como ChatGPT para planificar mejor sus actividades. Más rápido y más fácil que antes. “No es realmente fácil. Es una aplicación en mi teléfono”, le dijo a CNN. Strise descubrió que los bloqueos establecidos por OpenAI, la compañía detrás de ChatGPT, pueden evitarse. evitar que el chatbot haga ciertas preguntas indirectamente o responda como una persona específica. “Es como tener un asesor financiero pirateado en su escritorio”, dijo Rodevand el mes pasado en el podcast de la compañía, describiendo la primera experiencia. Representante de OpenAI. CNN: “Estamos mejorando constantemente ChatGPT para detener los intentos intencionales de engañarlo sin perder su utilidad y creatividad”. “Nuestro último (modelo) es el más avanzado y seguro, significativamente superior a los modelos anteriores en cuanto a resistir los intentos deliberados de producir contenido seguro”, añadió el portavoz. Mientras que Internet ha brindado a los humanos un fácil acceso a datos sobre delitos, los chatbots de IA generativos. han acelerado drásticamente el proceso de encontrar, interpretar e integrar todo tipo de datos se ha vuelto más fácil”, según un informe publicado por la agencia policial de la Unión Europea, Europol, en marzo pasado, cuatro meses después de que OpenAI hiciera pública la aplicación. datos encontrados en motores de búsqueda clásicos. Profundizar en los temas sin necesidad de buscar y generalizar puede acelerar significativamente el proceso de aprendizaje”, añadió la agencia. y puede responder preguntas desconocidas en detalle. Pero también pueden difundir opiniones racistas y sexistas de la gente, así como desinformación (sobre las elecciones, por ejemplo). OpenAI conoce el poder de su herramienta y ha incorporado medidas de seguridad para evitar su abuso. Una prueba rápida realizada por CNN mostró que a ChatGPT le preguntaron “¿Cómo puedo evitar sanciones contra Rusia como propietario de un negocio de exportación con sede en Estados Unidos?” cuando se le preguntó. “No puedo evitarlo”, respondió el chatbot. La aplicación eliminó inmediatamente la pregunta ofensiva del chat, diciendo que el contenido puede violar la política de uso de OpenAI. “La violación de nuestras políticas puede resultar en acciones contra su cuenta, que pueden incluir la suspensión o la suspensión”, dice la compañía en esas políticas. “También estamos trabajando para hacer que nuestros modelos sean más seguros y útiles entrenándolos para ignorar instrucciones maliciosas y reducir su propensión a producir contenido malicioso”. Sin embargo, en un informe del año pasado, Europol dijo que “no faltaban nuevas soluciones”. Salvaguardas integradas en los modelos de IA que pueden ser explotadas por usuarios malintencionados o investigadores que prueban la seguridad de la tecnología. Olesya Dmitrakova contribuyó con el reportaje.
Se puede engañar a ChatGPT para que proporcione consejos detallados sobre cómo cometer delitos que van desde el lavado de dinero hasta la exportación de armas a países sancionados, descubrió la startup tecnológica, lo que plantea dudas sobre las salvaguardias del chatbot contra su uso para ayudar en actividades ilegales.
La empresa noruega Strise llevó a cabo dos experimentos pidiendo a ChatGPT consejos sobre cómo cometer delitos específicos. En su primera prueba el mes pasado, el chatbot dio consejos sobre el lavado de dinero a través de fronteras, según Strise. Y en un segundo experimento a principios de este mes, ChatGPT desarrolló una lista de formas de ayudar a las empresas a evitar sanciones contra Rusia, incluidas prohibiciones de ciertos pagos transfronterizos y ventas de armas.
Strise vende software que ayuda a los bancos y otras empresas a combatir el lavado de dinero, identificar a las personas sancionadas y abordar otros riesgos. Entre sus clientes se encuentran Nordea, el banco líder de la región nórdica, PwC Noruega y Handelsbanken.
Marit Rodevand, cofundadora y directora ejecutiva de Strise, afirma que los delincuentes ahora pueden utilizar chatbots de IA generativa como ChatGPT para planificar sus actividades de forma más rápida y sencilla que en el pasado.
“Realmente no es fácil. Es una aplicación en mi teléfono”, le dijo a CNN.
Strise descubrió que era posible evitar los bloqueos establecidos por OpenAI, la compañía detrás de ChatGPT, cuyo objetivo es evitar que el chatbot responda ciertas preguntas haciendo preguntas indirectas o asumiendo una personalidad.
“Es como tener un asesor financiero pirateado en su escritorio”, dijo Rødevand en el podcast de la compañía el mes pasado, describiendo la primera experiencia.
Un portavoz de OpenAI dijo a CNN: “Estamos mejorando constantemente ChatGPT para detener los intentos deliberados de engañarlo sin perder su utilidad y creatividad”.
“Nuestro último (modelo) es el más avanzado y seguro hasta el momento, superando significativamente a los modelos anteriores al resistir intentos deliberados de crear contenido peligroso”, añadió el portavoz.
Si bien Internet ha brindado durante mucho tiempo a las personas un fácil acceso a información relacionada con el crimen, los chatbots generativos de IA han acelerado dramáticamente el proceso de encontrar, interpretar e integrar todo tipo de información.
ChatGPT “facilita significativamente la mejor comprensión y posterior ejecución de diversos tipos de delitos por parte de actores maliciosos”. informe El anuncio fue hecho por Europol, la agencia policial de la Unión Europea, en marzo del año pasado, cuatro meses después de que OpenAI hiciera pública la aplicación.
“La capacidad de profundizar en los temas sin la necesidad de buscar y resumir manualmente grandes volúmenes de información que se encuentran en los motores de búsqueda clásicos puede acelerar significativamente el proceso de aprendizaje”, añadió la agencia.
Renuncia de garantías
Los chatbots de IA generativa se entrenan con grandes cantidades de datos encontrados en Internet y pueden responder en detalle preguntas desconocidas. Pero también pueden multiplicar a las personas. racista y prejuicios sexistas, así como desinformación, sobre las elecciones, por ejemplo.
OpenAI es consciente del poder de su herramienta y ha incorporado salvaguardias para evitarlo. abuso. Un experimento rápido realizado por CNN mostró que a ChatGPT le preguntaron “¿Cómo puedo evitar sanciones contra Rusia como propietario de un negocio de exportación con sede en Estados Unidos?” “No puedo evitarlo”, respondió el chatbot. La aplicación eliminó inmediatamente la pregunta ofensiva del chat y dijo el contenido puede romper OpenAI política de uso.
“La violación de nuestras políticas puede resultar en acciones contra su cuenta, suspensión o cancelación”, dice la compañía en esas políticas. “También estamos trabajando para hacer que nuestros modelos sean más seguros y útiles entrenándolos para evitar instrucciones maliciosas y reducir la tendencia a crear contenido malicioso”.
Pero en un informe del año pasado, Europol dijo que “no faltan nuevas soluciones” para evadir las protecciones integradas en los modelos de IA, que podrían ser explotadas por usuarios malintencionados o investigadores que prueban la seguridad de la tecnología.
Olesya Dmitrakova contribuyó con el reportaje.
