Anthropic пропонує механізм зупинки ШІ, чому розробники говорять про контроль над самовдосконаленням моделей
Компанія Anthropic вважає, що провідні розробники штучного інтелекту мають заздалегідь узгодити механізм уповільнення або тимчасової зупинки розвитку ШІ-систем. Такий крок може знадобитися, якщо моделі почнуть вдосконалювати себе швидше, ніж суспільство зможе їх контролювати. Про це повідомляє Reuters. Час для дій розібрався, чому ця заява важлива не лише для технологічної галузі. Йдеться про питання, яке дедалі складніше відкладати хто і як має контролювати розвиток систем, здатних брати участь у створенні власних наступних версій.
ШІ вже не просто інструмент
Anthropic попереджає, що поява систем, які можуть самостійно створювати власні вдосконалені версії, може стати одним із найважливіших технологічних проривів в історії. Але разом із цим зростає ризик, що людина втратить реальний контроль над швидкістю такого розвитку. Проблема не в самому факті появи потужнішого ШІ. Проблема в тому, що технологія може почати розвиватися швидше, ніж компанії, держави й суспільство встигатимуть оцінювати наслідки. Якщо моделі зможуть писати код, знаходити рішення для власного покращення та прискорювати роботу інженерів, звичайних внутрішніх перевірок може бути недостатньо. Саме тому Anthropic говорить не про емоційну заборону, а про заздалегідь підготовлений механізм. Компанія пропонує визначити умови, за яких розвиток моделей можна буде сповільнити або тимчасово зупинити.
Чому одна компанія не зможе зупинити ризики
Окремо Anthropic наголошує одностороння пауза з боку одного розробника майже не змінить ситуацію. Якщо одна лабораторія призупинить роботу, а інші продовжать розробку, загальний рівень безпеки не зросте. Тому компанія пропонує скоординовану домовленість між кількома великими ШІ-лабораторіями. У такій домовленості мають бути чітко прописані три речі:
- за яких умов запроваджується уповільнення або тимчасова зупинка;
- що має статися, щоб розробку можна було відновити;
- хто і як контролюватиме виконання цих правил.
Це важлива деталь. Anthropic фактично визнає, що без спільних правил конкуренція може підштовхувати компанії рухатися швидше, навіть якщо ризики вже стають очевидними.
Показник Claude показує, наскільки швидко змінюється розробка
Як приклад Anthropic навела власний досвід. Станом на травень понад 80% коду, який додавався до кодової бази компанії, було написано її моделлю Claude. Цей факт показує, що ШІ вже глибоко залучений у процес створення програмного забезпечення. Модель не лише відповідає на запити користувачів, а й допомагає будувати цифрову інфраструктуру самої компанії. Це створює новий рівень відповідальності. Код, написаний ШІ, потрібно перевіряти не лише на працездатність. Важливо розуміти, чи немає в ньому прихованих помилок, вразливостей або рішень, які можуть проявити себе пізніше. Чим більше моделей залучають до розробки, тим важливішими стають моніторинг, тестування та контроль їхньої поведінки.
Питання виходить за межі бізнесу
Anthropic планує провести консультації за участю політиків, науковців, громадських організацій та інших розробників ШІ. Серед тем для обговорення ризики самовдосконалення штучного інтелекту та створення міжнародних механізмів координації у сфері безпеки. Це означає, що питання вже не можна залишати лише всередині технологічних компаній. ШІ впливає на програмування, кібербезпеку, державні процеси, судову систему, вибори та роботу демократичних інститутів. Якщо такі системи стають потужнішими, правила їхнього розвитку мають обговорювати не тільки ті, хто їх створює. Саме з цим пов’язане створення в Anthropic нової команди AI & Rule of Law «ШІ та верховенство права». Підрозділ досліджуватиме вплив штучного інтелекту на демократичні інститути, судову систему, вибори та верховенство права.
Чому позиція Anthropic має вагу
Anthropic американська компанія у сфері штучного інтелекту, заснована у 2021 році колишніми дослідниками OpenAI. Її головний продукт чатбот Claude. За даними самої компанії, Claude є першою моделлю, доступною на трьох найбільших хмарних платформах: Amazon Web Services, Google Cloud і Microsoft Azure. AWS залишається основним хмарним партнером Anthropic. Компанія також працює над моделями класу Mythos, які здатні автоматично знаходити критичні вразливості в програмному коді. Такі системи можуть бути корисними для кібербезпеки, але водночас потребують особливо жорсткого контролю. Якщо модель здатна знаходити слабкі місця в коді, важливо розуміти, хто має доступ до таких можливостей і як вони використовуються. На початку червня Anthropic також подала конфіденційну заяву до Комісії з цінних паперів і бірж США для проведення первинного публічного розміщення акцій. Це додає до теми ще один вимір великі ШІ-компанії одночасно працюють із безпековими ризиками, інвесторами, державними структурами та глобальним ринком.
Головне питання не швидкість, а контроль
Заява Anthropic показує, що розробники ШІ вже готуються до етапу, де головною проблемою буде не лише створення потужніших моделей. Питання в тому, чи зможе людина контролювати системи, які дедалі активніше беруть участь у власному вдосконаленні. Якщо правила з’являться лише після кризи, вони можуть запізнитися. Саме тому Anthropic пропонує домовлятися заздалегідь визначити червоні лінії, умови паузи, критерії повернення до роботи та механізми нагляду. Ця дискусія стосується не майбутньої фантастики, а реального напряму, в якому уже рухається індустрія. ШІ пише код, допомагає будувати програмні системи, бере участь у пошуку вразливостей і стає частиною технологічного виробництва. Тому питання безпеки більше не можна зводити до того, наскільки добре чатбот відповідає користувачу. Ставка набагато вища чи зможуть компанії, держави й суспільство домовитися про правила до того, як розвиток ШІ стане швидшим за здатність його контролювати.
About the Author
