Anthropic le abre la cocina a seis espías con credencial

A mí una vez se me trabó la notebook y la solución fue un tecnico que vino a la casa. Estos seis investigadores de METR son el opuesto: en vez de esperar a que Anthropic les mande el parte médico, se sentaron adentro de la empresa con la misma credencial que un empleado del area de riesgos. Computadora de la firma, lugar en la oficina y acceso a las herramientas internas. Vamos, pueden chusmear como si fueran parte del staff.

La movida es parte de un esquema de tres niveles que Anthropic cocinó durante el último año. En el escalón más bajo hay organizaciones como SecureBio, que hacen revisiones chiquitas y necesitan pedir permiso antes de publicar. En el medio, los evaluadores reciben más información y pueden publicar sin pedir autorización. Arriba de todo, solo METR, con acceso de empleado y la potestad de sacar a la luz evaluaciones, reportes de incidentes y análisis de prácticas de la compañía sin que nadie los frene.

Lo que pueden y lo que no

• Hablar con cualquier empleado, como lo haría un colega, salvo en tres areas vedadas: datos de clientes, secreto profesional entre abogado y cliente y detalles de arquitectura de los modelos.
• Publicar evaluaciones, incidentes y análisis de prácticas sin que Anthropic pueda censurarlos.
• Pedir a la empresa que redacte información solo en categorías estrechas y predefinidas, y dejar constancia publica si esa redacción les parece injustificada.

Anthropic justificó el convite con cuatro requisitos que, segun ellos, tiene que cumplir cualquier auditoria útil. Traducidos al castellano del living: que el auditor sepa distinguir cuando un modelo se hace el alineado en vez de estarlo de verdad, que no dependa economicamente de la empresa, que vea más alla del modelo en sí e incluya cómo se lo entrenó y cómo funcionan sus mecanismos de seguridad, y que pueda publicar sin pedir permiso previo. Suena razonable, aunque también suena a la justificación que uno da cuando le presta la casa al vecino y quiere quedar bien.

La empresa reconoce que no puede hacer publica toda su informacion de seguridad, porque parte de esos datos podria servir a actores maliciosos o es sensible desde lo comercial. Por eso eligio el formato de pocos convidados con acceso profundo, operando bajo acuerdos exigibles, mientras el resto de METR queda afuera de ese trabajo. Como cuando uno le da la copia de la llave a un amigo de confianza pero no a todo el grupo de amigos.

El equipo de METR ya habia revisado varios informes de riesgo de Anthropic durante el año previo a recibir este nivel ampliado, así que no arrancan de cero. La diferencia es que ahora lo hacen desde adentro, con banda ancha institucional. Veremos si la audacia termina en un informe demoledor o en un cafe con medialunas. Mi consejo, mientras tanto: celebremos el gesto, pero recordemos que la transparencia que se anuncia suele ser la que más hay que mirar con lupa. A Buenos Aires lejana y al viento corto de la noticia, lo unico que nos queda es esperar y leer con el traductor encendido.