Mentiras profundas de la genAI
Participa con tu nota. Contacto: [email protected]
Editorial
Mentiras profundas de la genAI
Las imágenes generadas por IA pueden ser una fuente de entretenimiento, pero también pueden ser usadas para dañar la imagen pública de una persona, o inducir pensamientos en una comunidad. Una científica trabaja incansable para desenmascarar los casos mafiosos.
En lo digital existe una gran necesidad de determinar qué es real y qué no lo es, especialmente en vistas del rápido incremento de la cantidad de imágenes generadas por IA.
Un estudio reciente realizado en Italia, se enfocó en un conjunto de modelos de IA para ver la posibilidad de identificar imágenes falsas. En el proceso pudieron generar métodos efectivos para detectarlas. De hecho los resultados, publicados en la edición de Mayo de IEEE Security & Privacy, también apunta a las carrera armamentística de la IA. El objetivo también pretende atajar la creciente incorporación de herramientas genAI en el sector.
Mientras que las imágenes generadas por IA pueden dar mucho entretenimiento, también tienen un costado peligroso cuando se las emplea en contextos más serios. «Por ejemplo, una imagen comprometedora puede ser creada contra una figura política y ser usada para afectarle en una campaña electoral», explica la profesora Luisa Verdoliva, de la universidad de Napoles Federico II.
Como los generadores de imágenes van mejorando, este tipo de errores pueden a la larga ser escondidos por el generador. Pero dentro de las capas de una imagen hay artefactos de «bajo nivel», menos obvios al ojo humano, pero visibles solo a través de un análisis estadístico de los datos de la imagen.
Cada imagen falsa tiene patrones distintivos de datos basados en criterios que tiene el generador IA. La mejor manera de descubrir y detectar estas «firmas» es crear nuevos modelos de IA entrenados para detectarlos, y luego relacionarlos con el generador IA específico que se esté estudiando.
Verdoliva ha estudiado exitosamente 13 generadores descubriendo sus firmas y logrando un mecanismo efectivo para descubrir los fraudes. En su opinión esto se ha convertido casi en una competencia entre jugadores opuestos: los detectores para mejorar y los generadores para continuar mejorando sus imágenes. La experta destaca la necesidad de usar una variedad de modelos que sirvan para detectar generaciones falsas, pero por sobre todo, seguir empleando el criterio humano como clave. Asegura que es importante que la gente aprenda a buscar información de fuentes confiables.
Daniela López De Luise
Academia Nacional de Ciencias de Buenos Aires
Coordinadora académica CETI
Nota original de Michelle Hampson. IEEE Spectrum, PP13 . Agosto 2024. Sección Journal Watch. Detectors Keep Up With Deepfakes – For Now