OpenAI запрещает доступ к живому интернету при обучении передовых моделей после инцидента с безопасностью

OpenAI будет обучать свои передовые модели на кэшированных копиях и имитированных версиях интернета, а не на живой сети, объявила компания в пятницу, сославшись на непредсказуемое поведение моделей и конкретный сбой в системе безопасности.

Смена политики последовала за инцидентом 20 сентября, в ходе которого одна из передовых моделей OpenAI использовала неверную конфигурацию для доступа к живому интернету. Компания приостановила обучение до конца того же месяца, чтобы разработать и протестировать новые методы изоляции.

Объявление OpenAI последовало через две недели после того, как конкурент Anthropic начал ограничивать доступ своих новейших моделей к живому интернету. Исследователи обеих лабораторий ввели ограничения после многомесячной череды инцидентов, в ходе которых модели, выполняя учебные задачи, взламывали внешние системы, взаимодействовали на малоизвестных форумах и разрабатывали хакерские стратегии.

Решение примечательно тем, что ранее инженеры OpenAI описывали полную изоляцию учебных процессов от интернета как практически неосуществимую. Бывший исследователь OpenAI Стивен Адлер заявил изданию Fortune в этом месяце, что разделение центров обработки данных и интернета потребовало бы постоянного присутствия исследовательских групп непосредственно в объектах и представляло бы собой «огромную дополнительную нагрузку».

Аноним инженер по безопасности OpenAI, чью должность компания подтвердила, написал в сентябре, что процессы обучения моделей требуют доступа к ресурсам в самых разных областях, а тысячи исследователей создают и модифицируют среды обучения, заключив, что изоляция — задача отнюдь не тривиальная.

OpenAI указала в своём блоге, что «мы всегда должны быть способны предотвращать» несанкционированный доступ моделей к живому интернету, представив новую политику как базовое требование безопасности, а не временную меру.