En los últimos años, la rápida evolución de la inteligencia artificial ha abierto nuevas fronteras de innovación y oportunidad. Pero junto con estos avances también existe un riesgo más oscuro e insidioso: el uso de contenido generado por IA, particularmente deepfakes y otros tipos de imágenes sintéticas, para crear material de abuso sexual infantil (CSAM). Para las organizaciones que trabajan con jóvenes y están comprometidas con la protección de los niños bajo su cuidado, esto representa una nueva y urgente frontera en la prevención del abuso.

A través del enfoque de la Ecuación de Seguridad de Praesidium, el desafío de la explotación potenciada por IA no se trata solo de mantenerse al día con la tecnología; se trata de aplicar de manera proactiva estrategias de prevención en todas las operaciones para mitigar el riesgo.

Así es como las organizaciones pueden responder desde una mirada integral:

Ampliar sus políticas: definir reglas claras sobre el uso de IA y contenido digital

Las políticas tecnológicas ya no pueden limitarse a mensajes de texto y redes sociales. Las organizaciones que trabajan con jóvenes deben establecer posturas claras sobre el uso de contenido generado por IA y la captura, almacenamiento, uso y manipulación de imágenes.

¿Su organización prohíbe el contenido explotador generado por IA?

¿Las políticas de consentimiento y uso de medios están actualizadas?

¿Existe una opción para que las familias opten por no participar en fotos o videos?

Evaluación y selección: priorizar la conciencia digital en los procesos de selección

Un componente central de la prevención del abuso es comprender y limitar quién tiene acceso a las personas usuarias, y esto puede incluir el acceso a sus imágenes o la comunicación a través de medios electrónicos. El CSAM generado por IA puede ser creado y distribuido por adultos o por pares. Los agresores pueden no abusar físicamente de un niño, sino solicitar, compartir o explotar imágenes en línea o utilizar herramientas de IA para victimizar a jóvenes mediante imágenes manipuladas.

¿Se realizan preguntas conductuales sobre interacciones digitales con jóvenes?

¿Se revisan redes sociales cuando corresponde?

Monitoreo y supervisión: extender la supervisión a los espacios digitales

Si bien la supervisión física sigue siendo crítica, los entornos virtuales ahora requieren la misma atención. Si no se supervisan, estos espacios pueden convertirse en entornos invisibles para el abuso.

¿Se monitorean dispositivos y plataformas para detectar contenido inapropiado?

¿Los protocolos de TI incluyen supervisión de tecnologías compartidas?

Participación del usuario: equipar y empoderar a los jóvenes para reconocer y resistir la explotación digital

Una de las tendencias más preocupantes en este ámbito es el uso de herramientas de IA por parte de los propios jóvenes para acosar, avergonzar o explotar a sus pares. Un estudio de 2023 del Crimes Against Children Resource Center reportó que, entre quienes experimentaron CSA en línea, el 88% de las imágenes sexuales abusivas producidas fueron creadas por otros jóvenes. La prevención debe incluir educar directamente a los jóvenes para que comprendan, resistan y reporten riesgos digitales.

¿Se enseña a los jóvenes sobre límites digitales y uso indebido de imágenes?

¿Se aborda el abuso digital dentro de los programas de prevención entre pares?

Reporte y respuesta: estar preparados para actuar rápida y legalmente

El CSAM generado por IA es ilegal, incluso si ningún niño real fue directamente dañado en su creación. Las organizaciones deben estar preparadas para reportar rápidamente y responder de manera adecuada. También es importante comprender que la obligación de actuar aplica incluso cuando los incidentes se originan fuera de las instalaciones físicas de la organización.

¿El personal sabe cómo y cuándo reportar sospechas de abuso relacionado con IA?

¿Su plan de respuesta está actualizado para incidentes digitales y fuera del sitio?

Una nueva era de riesgo exige un nuevo nivel de preparación

El uso indebido de la IA para explotar o dañar a niños no es teórico, ya está ocurriendo. El informe 2024 AI CSAM Report Update de Internet Watch Foundation indicó como hallazgos clave un aumento en la incidencia de CSAM generado por IA, que las imágenes se están volviendo “más severas” y que la tecnología es capaz de generar no solo imágenes, sino también videos de CSAM.

Así como evolucionan las herramientas utilizadas para dañar, también deben evolucionar nuestras herramientas de prevención. Al aplicar la Ecuación de Seguridad de Praesidium a este riesgo emergente, las organizaciones que trabajan con jóvenes pueden continuar protegiendo a los niños tanto en entornos físicos como digitales.

Porque la seguridad no se trata solo de lo que ocurre dentro de sus instalaciones; se trata de los sistemas que usted crea para proteger cada espacio en el que los jóvenes bajo su cuidado puedan estar, en línea o fuera de ella.

Praesidium puede ayudarle a tomar acción. Contáctenos aquí para apoyo en la creación de políticas, evaluación de riesgos, orientación para la implementación o recursos adicionales.