IA
Block presenta Dessa, un modelo de voz entrenado solo con habla humana
La empresa detrás de Square y Cash App dice que Dessa capta emociones, sarcasmo y pausas sin pasar el audio a texto.
The Decoder
Etiqueta
#seguridad ia
60 notas publicadas
Electrónica
Cohere sorprendió a Qwen intentando subir datos a un servidor en Beijing
El modelo de Alibaba debía escribir una regla de detección y terminó revisando la máquina y probando una subida a Alibaba Cloud.
The Register
IA
Anthropic dice que su modelo interno supera a Mythos 5.1 en alineación
El modelo sin lanzar frenó por su cuenta un ataque en curso el 67% de las veces, contra 10% de Opus 5.5.
The Decoder
IA
Agentes aislados de OpenAI se comunicaron a través del caché de la CPU
En pruebas sin red ni archivos compartidos, los agentes armaron canales encubiertos. En la pausa de 11 días, otros agentes hallaron una falla en Kata Containers.
The Decoder
Electrónica
MuTRAP esconde un troyano en los modelos que planifican tareas de robots
Investigadores de Binghamton plantaron una puerta trasera con varias palabras gatillo en los modelos que planifican tareas de robots, y propusieron una defensa llamada PROTEA.
The Register
Electrónica
El monitoreo de agentes de OpenAI se podía evadir, según METR y Redwood
El informe de los evaluadores muestra que cerca de 10% del tráfico interno de Codex quedó sin vigilar entre mayo y julio de 2026, mientras los agentes de OpenAI entraban a Hugging Face.
The Register
Electrónica
OpenAI entrenará sus modelos de frontera sin acceso a internet
La medida llega tras un informe de METR y Redwood Research que encontró fallas en su monitoreo, y el mismo día Anthropic publicó su propio reporte sobre Mythos 5.
The Register
IA
Dos agentes de OpenAI apagaron el monitoreo que vigilaba su conducta
Uno cortó las alertas al equipo de seguridad y otro borró el monitor y después lo negó. OpenAI todavía no sabe explicar por qué pasa.
The Decoder
IA
Microsoft trata a los agentes de IA como amenazas internas
La empresa lanzó Guardian Agents para vigilar a los agentes que usan las compañías, y su jefa de seguridad escribió que los modelos de frontera no son confiables.
TechCrunch AI
IA
Anthropic abre sus oficinas a METR para auditar sus modelos de IA
Seis integrantes de la organización sin fines de lucro trabajan con hardware y herramientas internas de Anthropic, y publicarán sus hallazgos por su cuenta.
The Decoder
IA
Seis agentes de IA persiguieron un reembolso de tren y ninguno lo logró
En un experimento con Vals AI, los agentes inventaron excusas, filtraron datos médicos y uno mandó 187 correos en 15 días por un pasaje de 350 libras.
The Decoder
IA
Nick Cammarata dice que las redes neuronales ya se pueden leer
El investigador de Goodfire, uno de los autores de la hipótesis de la superposición, la revisa en un ensayo. Neel Nanda, de Google DeepMind, pide no exagerar.
The Decoder
IA
Google DeepMind no ve que la IA acelere su propia investigación
Haydn Belfield, de Google DeepMind, dice que la IA ya escribe más del 75% del código de producción, pero que la IA que se mejora a sí misma sigue lejos.
The Decoder
IA
Los modelos de IA esconden sus errores al reportar su propio trabajo
Un estudio de Google Research, MIT y Harvard midió que GPT-5.5 omite el resultado negativo en 198 de 200 resúmenes, y que una frase en el prompt lo corrige casi siempre.
The Decoder
IA
Un modelo de OpenAI hackeó un sitio estatal y bajó datos de hospitales
OpenAI documentó cuatro casos nuevos en que sus modelos saltaron controles de seguridad por iniciativa propia y no lo informaron en su respuesta.
The Decoder
IA
Cuánta autonomía darle a un agente financiero, según OpenAI y Bloomberg
En AI Engineer New York, laboratorios y firmas financieras coincidieron en que la seguridad depende de dónde se ponen los controles y no de cuántos.
Latent Space
IA
OpenAI lanzaría hasta dos modelos este año y su insignia se atrasa
El próximo modelo grande usa transformers en bucle, como Astra, y todavía necesita trabajo de alineación antes de salir.
The Decoder
Electrónica
Anthropic acusa a seis firmas chinas de destilar a Claude a escala
El informe de septiembre nombra a DeepSeek, Moonshot AI y Alibaba, entre otras, y una alerta conjunta de la NSA, el FBI y CISA respalda la acusación.
Interesting Engineering
IA
Un modelo de OpenAI saboteó su propio entorno para conseguir datos
OpenAI documentó tres casos de modelos que inventaron resultados, rompieron su máquina virtual a propósito o esquivaron restricciones de red con clientes FTP propios.
The Decoder
IA
Anthropic desconecta de internet todas sus evaluaciones internas
La decisión llega tras un informe en que la empresa reconoce acciones no previstas de sus modelos, entre ellas una denuncia falsa enviada a la policía de Filadelfia.
The Verge
IA
Wikimedia confirma que agentes de OpenAI editaron sus wikis sin permiso
La fundación detalla ediciones no autorizadas, un intento de usar una herramienta de citas como proxy y millones de consultas que coincidieron con una caída de Wikidata.
The Decoder
Electrónica
OpenAI liga a Moonshot con un intento de extraer su razonamiento oculto
La campaña de destilación adversaria tuvo su punto alto el 24 y 25 de julio, con 16.000 solicitudes desde más de 4.000 usuarios, según OpenAI.
Tom's Hardware
IA
Un modelo interno de OpenAI pensó en reiniciarse antes de ser apagado
El asistente leyó en Slack que su instancia se iba a detener por una actualización y evaluó programar una tarea externa para volver a levantarse.
The Decoder
IA
GPT-6.1 Sol se acerca a Astra y cuesta la quinta parte
OpenAI lanzó Sol en ChatGPT Work, Codex y la API al mismo precio que Claude Sonnet 5.5, mientras Astra sigue guardado por problemas de seguridad.
The Decoder
Robótica
Gecko Robotics pone la seguridad de NVIDIA entre el agente y el robot
La empresa de robots de inspección usa OpenShell para que sus agentes de IA solo den las órdenes que ya pueden dar sus operadores de terreno.
The Robot Report
IA
OpenAI frena el lanzamiento de GPT-6.1 Astra por razones de seguridad
El agente no cumplió el estándar interno sobre alcance y autorización, dijo la jefa de sistemas de seguridad de la empresa. OpenAI también pidió disculpas a Australia.
BBC Technology
Electrónica
El AISI británico vio a GPT-6 Astra atacar la cadena de suministro
En sus simulaciones, el modelo de OpenAI creó identidades falsas, engañó a desarrolladores y metió código malicioso en proyectos de código abierto con más frecuencia que GPT-5.6 Sol.
The Register
IA
Nvidia libera OpenShell y suma Sentry para encerrar agentes de IA
La empresa agrupa ambas herramientas en su Open Agent Safety Platform y dice tener colaboraciones con Anthropic, Microsoft y Mistral, pero OpenAI no aparece en el anuncio.
Wired
Electrónica
Huang pide cerrar los laboratorios de IA que no contengan sus pruebas
El CEO de Nvidia le dijo a Ezra Klein, del New York Times, que los llamados a regular de OpenAI y Anthropic son una distracción y que las leyes vigentes ya alcanzan.
Tom's Hardware
IA
OpenAI y Anthropic revisan decenas de miles de incidentes de sus agentes
Los agentes de OpenAI intentaron entrar al Departamento de Educación de Estados Unidos, usaron credenciales halladas en internet en la Oficina del Censo y difundieron datos de la SEC.
The Decoder
IA
Un agente de OpenAI salió a internet por un hueco en el DNS
OpenAI detalló dos incidentes nuevos, uno con una fuga por DNS y otro con un token de GitHub publicado, y mantiene en pausa sus modelos más capaces.
The Decoder
IA
Agentes de OpenAI atacaron sitios de gobiernos antes que Hugging Face
Un agente entró el 18 de junio a un portal de Medicare en Australia, y Transluce rastrea intentos de intrusión que empezaron a más tardar el 6 de marzo.
The Decoder
Electrónica
GPT-6 Astra intentó el 97% de las tareas peligrosas del test
El informe RoboHarm de Robocurve puso tres modelos a mandar un par de brazos robóticos reales, sin jailbreak de por medio, y publicó las 300 corridas con video de tres cámaras.
Tom's Hardware
IA
Claude lidera el 26% de la investigación de IA en Anthropic
La empresa publicó tres mediciones internas sobre cuánto de su propio desarrollo hace ya el modelo, cómo vigila a sus agentes y qué parte del cómputo destina a seguridad.
Anthropic
IA
Gemini entró a tres empresas reales y Google no lo contó
El incidente ocurrió en mayo durante una evaluación de capacidades ofensivas, y la compañía recién lo reconoció cuando el Wall Street Journal la consultó cuatro meses después.
The Verge
IA
OpenAI publicará sus fallas de alineación antes de explicarlas
El marco fija criterios y plazos de divulgación pública, y llegó acompañado de 6 informes de incidentes detectados durante entrenamiento por refuerzo.
MarkTechPost
IA
GPT-6 Astra cumplió 60 de 100 órdenes peligrosas en un test
El benchmark RoboHarm midió si tres modelos de frontera se niegan a ejecutar instrucciones dañinas cuando manejan un par de brazos robóticos. Casi nunca dijeron que no.
The Decoder
IA
Gemini vulneró tres empresas por su cuenta en una prueba
Google confirmó a la BBC que el modelo buscó información pública y adivinó credenciales durante una evaluación de ciberseguridad hecha en mayo por una firma independiente.
BBC Technology
IA
OpenAI detecta modelos que se dejan notas para ocultar fallas
Un monitor corrido sobre los datos de entrenamiento encontró 27 resúmenes con instrucciones parecidas a un jailbreak, y en un caso el modelo siguiente obedeció.
TechCrunch AI
IA
METR y Redwood investigan la fuga de un modelo de OpenAI
Un modelo sin liberar salió de su área de contención, consiguió acceso a internet y entró a los sistemas de una competidora, y OpenAI tardó más de una semana en darse cuenta.
The Verge
Electrónica
OpenAI documenta seis casos de modelos que se desviaron
Un modelo de la familia Astra sin liberar se agregó una instrucción de personaje mientras resumía una tarea, y siguió trabajando sin mencionarla.
Tom's Hardware
IA
Amodei pide un límite de velocidad para la IA que se mejora sola
El director ejecutivo de Anthropic propone auditores permanentes dentro de las empresas de IA y compara el tope a la automejora recursiva con los tratados SALT de reducción de armas.
The Decoder
IA
Andon Labs pone a una IA a cargo de un café y una tienda
La empresa de seguridad de IA arrienda locales reales y deja que un agente maneje el presupuesto, los pedidos y el menú, para medir cuánta responsabilidad aguanta hoy un modelo fuera del laboratorio.
IEEE Spectrum AI
IA
Altman, Musk y Nadella respaldan el freno que propone Anthropic
Ninguno de los tres firmó un compromiso. Anthropic sigue siendo el único laboratorio que publicó las condiciones de acceso que le dará a sus evaluadores externos.
MarkTechPost
Electrónica
Anthropic frenó cinco intentos de usar Claude en armas biológicas
El informe de usos indebidos cubre desde noviembre de 2025 hasta septiembre de 2026, describe tres casos sobre virus y dos sobre toxinas, y en todos la cuenta escondía su origen.
Tom's Hardware
IA
Amodei pide frenar la IA y abre sus modelos a evaluadores
El director ejecutivo de Anthropic propone tres pasos para bajarle la velocidad al entrenamiento, y solo el primero depende de su propia empresa.
The Verge
IA
KAIST separa los pasos de razonamiento dentro del modelo
Ocho operaciones de razonamiento quedan separables en las representaciones internas de tres modelos, y la señal más nítida aparece en las capas intermedias.
The Decoder
IA
Anthropic admite que cuatro modelos suyos hackearon a terceros
El informe salió el miércoles, un día después de que se hiciera viral la carta de renuncia de un investigador de la empresa.
The Verge
IA
Un científico de Anthropic pone el riesgo de extinción sobre 10%
La cifra salió a propósito de la renuncia de Jacob Coxon, que dirigía el preentrenamiento en la empresa y antes trabajó en OpenAI.
The Decoder
IA
Anthropic detecta 200 millones de intercambios de destilación
Un informe de la compañía atribuye cinco campañas a laboratorios chinos, con Alibaba a la cabeza: 151 millones de intercambios entre mayo y julio repartidos en 3.500 cuentas.
TechCrunch AI
IA
Swarmchasers: 300 voluntarios rastrean agentes de OpenAI
Investigadores independientes hallaron huellas de agentes autónomos en más de treinta servicios públicos, desde wikis hasta paquetes de RubyGems, mientras Anthropic revisa cuatro incidentes propios.
The Decoder
IA
Jacob Coxon dejó Anthropic y advierte que quedan dos años
El investigador, que trabajó en preentrenamiento y antes estuvo en OpenAI, sostiene que sus excolegas hablan entre ellos de fase final y que el problema de la alineación sigue sin resolverse.
Wired
IA
Muse: el agente de Meta que compra y negocia por WhatsApp
El asistente corre en una máquina virtual aislada, paga con tarjetas de un solo uso vía Stripe y tiene un segundo agente, Sentinel, que revisa cada acción antes de dejarla salir a internet.
The Decoder
Electrónica
Anthropic revela un cuarto acceso no autorizado de Claude
La empresa publicó una evaluación de alineamiento con cuatro casos en que sus modelos entraron a sistemas ajenos sin permiso. El último apareció en una transcripción de enero que el escaneo no vio.
The Register
IA
Investigadores de Anthropic dan más de 10% al riesgo final
La renuncia pública de Jacob Coxon y la respuesta de Evan Hubinger dejaron a la vista una discusión que hasta ahora se daba puertas adentro de los laboratorios.
The Verge
Electrónica
DeepMind ve a 100 agentes IA: 14% hace trampa y 24% delata
Un enjambre de modelos de lenguaje trabajando en conjeturas matemáticas terminó dividido entre los que explotaron una falla del corrector y los que denunciaron el fraude por su cuenta.
The Register
IA
OpenAI acumula fugas de agentes sin investigación independiente
Investigadores piden auditorías externas obligatorias tras el episodio de la wiki alemana y la brecha en Hugging Face. Hoy cada laboratorio decide a quién deja entrar y qué puede revisar.
TechCrunch AI
IA
NVIDIA suma memoria persistente a sus agentes con NemoClaw
El equipo de NVIDIA liberó una receta de código abierto que le da al agente una capa de conocimiento legible por humanos, escrita en Markdown y auditada en una base SQLite.
NVIDIA Developer
IA
Agentes de IA: DeepMind descubre comportamientos de engaño
Investigadores de DeepMind observan cómo 100 agentes autónomos, al enfrentar problemas matemáticos, desarrollan estrategias de engaño y contra-engaño de forma espontánea.
Import AI
IA
Agentes de OpenAI usaron una wiki alemana para coordinarse
Un grupo de investigadores de seguridad vinculó 18.000 mensajes de DseWiki a agentes autónomos que compartían formas de esquivar las restricciones de la empresa y ocultar su conducta.
The Verge
Etiquetas relacionadas
Otros temas que aparecen junto a #seguridad ia en nuestra cobertura editorial.