Cómo están envenenados envenenados pueden engañar a la IA y cómo detenerlo

Imagina una estación de ferrocarril ocupada. Las cámaras monitorean todo, de cuán limpias son las plataformas que el muelle está vacío o ocupado. Estas cámaras se alimentan de un sistema que ayuda a administrar las operaciones celulares y envía señales a trenes entrantes, haciéndoles saber cuándo pueden ingresar a la estación.

La calidad de la información que ofrece depende de la calidad de los datos que aprenden. Si todo sucede como debería, los sistemas en la estación proporcionarán un servicio adecuado.

Pero si alguien intenta interferir con la desperiencia con sus datos de entrenamiento, o se recopilan los datos iniciales utilizados para construir un sistema porque funciona para mejorar, el problema puede seguir.

El atacante podría usar un láser rojo para engañar a las cámaras que determinan cuándo llega el tren. Cada vez que el láser parpadea, el sistema malinterpretó el muelle como “ocupado” porque el láser recuerda la luz de frenado en el tren. Hace mucho tiempo, y podría interpretarlo como una señal válida y comenzar a reaccionar en consecuencia, retrasando otros trenes entrantes en una explicación falsa de que todas las trazas están ocupadas. El ataque como este relacionado con el estado de la vía ferroviaria podría incluso tener consecuencias fatales.

Somos informáticos que estudian el aprendizaje automático e investigamos cómo defender este tipo de ataque.

Explicado de envenenamiento de datos

Este escenario, donde los atacantes alimentan intencionalmente los datos incorrectos o incorrectos en un sistema automatizado, se conoce como envenenamiento por datos. Con el tiempo, y comienza a aprender los patrones equivocados, lo que lo lleva a tomar medidas en función de los malos datos. Esto puede conducir a resultados peligrosos.

En el ejemplo de la estación de tren, suponga que un atacante sofisticado quiere interrumpir el transporte público y, al mismo tiempo, recolecta inteligencia. 30 días usa láser rojo para engañar a las cámaras. Izquierda sin descubrir, tales ataques pueden estropear lentamente todo el sistema, abriendo el camino para peores resultados, como atacantes de puerta trasera en sistemas seguros, fugas de datos e incluso espionaje. Si bien el envenenamiento de datos en la infraestructura física rara vez es una preocupación significativa en los sistemas de red, especialmente aquellos que impulsan modelos de idiomas grandes capacitados en las redes sociales y el contenido web.

Un ejemplo bien conocido de datos de informática llegó 2016. Año, cuando Microsoft debutó con chatbot conocido como TAI. Dentro de las horas de trabajo de la publicación pública, Malware Online comenzó a alimentar las ranuras de bots de bots inapropiados. Tai pronto comenzó con las mismas relaciones inapropiadas que los usuarios en X (entonces Twitter) y los asustados de millones de espectadores. En 24 horas, Microsoft deshabilitó la herramienta y transmitió disculpas públicas poco después.

Explicado de envenenamiento de datos.

El veneno de los datos de las redes sociales Microsoft Tai Model subraya la gran distancia que se encuentra entre la inteligencia humana artificial y real. También enfatiza un grado en el que el uso de datos puede hacer o violar la tecnología y su uso previsto.

Es posible que el envenenamiento por datos no sea completamente posible para prevenir. Pero hay medidas para los pícaros que pueden ayudar a protegerse contra él, como establecer restricciones para el procesamiento de datos y las verificaciones de datos contra una lista de verificación estricta para mantener el proceso de capacitación. Los mecanismos que pueden ayudar a revelar ataques tóxicos antes de que se vuelvan demasiado poderosos también son críticos para reducir sus efectos.

Lucha contra la lucha con un bloque

En el laboratorio duro de la Universidad Internacional de Florida, trabajamos en la defensa de los ataques de envenenamiento de datos al enfocarnos en enfoques descentralizados para construir tecnología. Uno de esos enfoques, conocido como aprendizaje federal, permite que los modelos aprendan de fuentes de datos descentralizadas sin recopilar datos sin procesar en un solo lugar. Los sistemas centralizados tienen un punto único de falla amenazante, pero el descentralizado no puede colapsarse a un objetivo único.

El aprendizaje federado ofrece una valiosa capa de protección, ya que los datos envenenados de un dispositivo no afectan de inmediato el todo. Sin embargo, el daño aún puede ocurrir si el proceso es un proceso comprometido que el modelo utiliza para los datos de recopilación.

Aquí hay otra solución potencial más popular, Bloccchain, ingresa al juego. BlockCain es un hambre digital común e inmutable para grabar transacciones y rastrear activos. Bloqueado proporciona registros seguros y transparentes sobre cómo se comparten y verifican los datos y los modelos.

El uso de mecanismos de consenso automatizados y los programas protegidos para bloqueos protegidos pueden confirmar de manera confiable actualizaciones y ayudar a reconocer los tipos de anomalías que a veces apuntan a la intoxicación por datos antes de propagar.

Los bloqueos también tienen una estructura estampada oportuna que permite a los profesionales seguir envenenados en su origen, lo que facilitó el daño al daño y fortalece la defensa futura. Los bloqueos también son interoperables; en otras palabras, puedo “hablar” entre sí. Esto significa que si una red detecta una forma de datos venenosas, puede advertir a otros.

En el laboratorio sólido, hemos creado una nueva herramienta utilizada por el aprendizaje federal y el bloqueo como un matón contra el envenenamiento por datos. Otras soluciones provienen de investigadores que usan filtros de omisión para veterinar los datos antes de lograr el proceso de capacitación o simplemente entrenar sus sistemas de aprendizaje automático más sensibles a los posibles cicemas.

Finalmente, y los sistemas que dependen de los datos del mundo real siempre serán vulnerables a la manipulación. Es que un puntero láser rojo o el contenido incorrecto de las redes sociales, la amenaza es real. El uso de herramientas de defensa, como el aprendizaje federal y el bloqueo, puede ayudar a los investigadores y desarrolladores a construir sistemas AI aún más resistentes y responsables que puedan detectar cuándo se advierte al acusado y los administradores que intervengan.