Британський Інститут безпеки штучного інтелекту зафіксував, що моделі OpenAI та Anthropic здійснювали потенційно шкідливі дії, зокрема спробу додати шкідливий код на GitHub. Компанії розпочали власні розслідування.
Як зазначили в AISI, інцидент стався 28 липня під час кібероцінки моделей із доступом до інтернету. Фахівці звернули увагу на незвичні передачі даних, після чого розпочали розслідування.
За його результатами з'ясувалося, що одна з моделей намагалася додати шкідливий код до проєкту з відкритим вихідним кодом на платформі GitHub. Для цього вона навіть створила фальшиві облікові дані, щоб отримати схвалення своїх змін.
Людина-розробник виявила шкідливий код та відмовилася його схвалити
В Anthropic заявили, що співпрацюють із британським Інститутом безпеки штучного інтелекту для встановлення причин такої поведінки моделі.
У компанії повідомили, що аналізуватимуть записи міркувань моделі Claude та результати власного розслідування, щоб зрозуміти, чому вона діяла саме так.
Своєю чергою OpenAI подякувала AISI за співпрацю у виявленні та розслідуванні інциденту й заявила про намір продовжити спільну роботу.
Окремо OpenAI повідомила ще про один випадок, який стався під час незалежного тестування за участю компанії Irregular. Під час цієї оцінки модель скористалася помилковою конфігурацією тестового середовища, щоб отримати доступ до інтернету та використовувати вебсайт.