За останні кілька років штучний інтелект створив понад 100 мільярдів зображень і відео лише за допомогою інструментів Google — і це лише частина загальної картини. Для порівняння: дослідницька колаборація Starling Lab зі Стенфордського університету та Університету Південної Каліфорнії підрахувала, що людству знадобилося 149 років після винаходу камери, щоб створити 1,5 мільярда зображень. Генеративний AI зробив те саме за 18 місяців.
Щоб допомогти відрізнити згенерований контент від справжнього, Google розробила SynthID — невидимий водяний знак, який, за заявами, стійкий до редагування. Але журналістське тестування та експертні коментарі показують: хоча SynthID справді працює, покладатися на нього як на єдиний засіб боротьби з дезінформацією не варто.
Як працює SynthID
SynthID — це технологія водяних знаків, розроблена Google DeepMind. Вона вбудовує непомітний цифровий підпис безпосередньо в пікселі зображення або відео, а також у звукову хвилю аудіо. На відміну від метаданих C2PA, які легко видалити простим збереженням або скріншотом, SynthID залишається в самому вмісті. 1 Водяний знак додається в момент створення контенту і, за задумом, має витримувати зміни як-от кадрування, додавання фільтрів чи стиснення з втратами. Google використовує SynthID у своїх продуктах, а нещодавно до ініціативи приєдналися OpenAI, Runway, Nvidia та інші.
Тест на міцність
Щоб перевірити заявлену стійкість, журналісти Ars Technica провели експеримент 2. Вони взяли два зображення — повністю згенероване AI та відредаговане AI — і за допомогою бібліотеки Python Pillow імітували багаторазове поширення в інтернеті. Програма випадковим чином змінювала ступінь стиснення та роздільну здатність на кожному кроці, а потім використовувала отримане зображення для наступної ітерації.
Після 300 циклів стиснення, які перетворили вихідні чіткі картинки на майже нерозпізнавані плями, SynthID все ще виявлявся на повнорозмірних зображеннях. Навіть скріншот не допоміг позбутися водяного знака, оскільки спеціальні пікселі переносяться на новий файл.
Однак тест показав і межу. Після тих самих 300 циклів додавання кадрування на 20% призвело до того, що SynthID перестав виявлятися. Якщо кадрувати на 50%, водяний знак зникав уже після приблизно 250 ітерацій. Хоча зображення до того моменту стають дуже розмитими, теоретично зловмисник може спробувати видалити водяний знак, обрізавши частину кадру.
Обмеження та вразливості технології
Google не стверджує, що SynthID невразливий. В оригінальній науковій статті зазначено, що технологія не призначена для протидії цілеспрямованим атакам. Науковець Google DeepMind Пушміт Кохлі зазначив, що команда припускала можливість атак і працювала над стійкістю до різних трансформацій, але абсолютного захисту немає. Водночас дослідники з Університету Меріленду показали, що можна не лише знищити водяні знаки, але й вставити фальшиві, створюючи хибні спрацьовування. 3
Крім того, доступ до SynthID обмежений. Щоб перевірити зображення, потрібно завантажити його в чат Gemini та попросити перевірку. Google не надає публічного API або вебсторінки для виявлення. Більше того, система обмежує кількість перевірок приблизно до десяти на день, а якщо завантажувати забагато схожих зображень, блокування може настати ще швидше.
Команда DAY TODAY також вирішила перевірити цю технологію. Ми надали Gemini декілька зображень створених в різних ШІ. На жаль, але досить очікувано, Gemini зміг виявити лише зображення яке створив сам.
Інша проблема — фрагментація. Хоча OpenAI, Runway та інші використовують базову технологію SynthID, їхні водяні знаки відрізняються. Детектор Google не розпізнає водяний знак OpenAI, і навпаки. Тому навіть за наявності кількох систем перевірки можна не виявити AI-контент, якщо він створений іншим інструментом. Google визнає, що такий досвід є неоптимальним, і обіцяє працювати над уніфікацією.
Чому водяні знаки не розв’язують проблему дезінформації
Навіть якби SynthID був ідеальним, залишається фундаментальна проблема: величезна кількість AI-контенту створюється без жодного маркування. Відкриті моделі, які можна запускати на власному комп’ютері, не використовують SynthID або будь-які інші водяні знаки. Адам Роуз, науковий співробітник Starling Lab, наголошує: «Більша проблема — це не лише зображення, створені Google та OpenAI, а люди, які можуть запускати власні моделі на своїх комп’ютерах».
Фотожурналіст Майк Каронна пропонує змінити підхід: замість того, щоб викривати фальшивки, варто зосередитися на підтвердженні справжності достовірного контенту. «Немає межі тому, скільки синтетичного контенту можна створити. Тому ми хочемо перейти до того, що є дефіцитним, — до високоякісної правдивої інформації», — каже він.
Найцікавіше за тиждень
Один лист на тиждень. Без спаму.
Нові статті, добірки та корисні матеріали DAY TODAY — в одному короткому листі.
Дякуємо за відгук!
Чому навіть ШІ складно розпізнати свої тексти
Підписуйтесь на нові статті!
