Как распознать текст, написанный нейросетью?
Как человек может отличить ИИ-текст
Нейросеть пишет слишком конкретно. Например, исследователи из Google Brain еще в 2019 году пришли к выводу, что ИИ слишком часто использует артикль the, потому что работает на предсказание следующего слова в предложении. Но понятно, что этот признак присущ только англоязычным текстам.
ChatGPT уже используют как замену поисковым системам, поскольку она дает вполне конкретные ответы. Но с рассуждениями дела у нее обстоят хуже: на вопросы вроде «Что такое любовь?» ИИ выдаст сухую формулировку, а не попытку проанализировать сложное чувство.
Также нейросеть может очень уверенно написать абсолютную неправду. Сомневаться ей не свойственно.
Нейросеть опускает контекст и персонализацию текста. ChatGPT не сможет передать опыт конкретного человека — только попытаться имитировать опыт миллионов людей, на чьих текстах обучена модель. Но таким материалам обычно не хватает глубины и авторского ощущения: одно дело — написать шаблонное сочинение по литературному произведению, и другое — рассказать, как ты провел лето.
С экспертностью то же самое. Многие тексты ChatGPT достаточно полезны, но в них нет углубления в тему. Это может сделать только человек с богатым личным опытом.
При этом новая версия языковой модели гораздо лучше работает с контекстом, чем ее предшественники. Поэтому теоретически уже после генерации можно попросить ChatGPT подредактировать текст и сделать его «более человеческим».
Нейросеть не допускает ошибок. В Google Brain отмечают: люди чаще указывают, что логичный текст без ошибок написал человек. Хотя идеальная грамотность как раз больше присуща ИИ: люди не там ставят запятые, опечатываются, используют сленг и сокращения. Такого уровня имитации нейросети пока не достигли.
Какие сервисы помогут отличить ИИ-текст
С сервисами есть две проблемы. Первая — та же, что и с самостоятельным выявлением ИИ-текста: алгоритмы натренированы на устаревшей GPT-2, которая вышла в 2019 году. Но за три года модель стала в разы сложнее.
Вторая проблема в том, что многие сервисы или вообще не работают с русским языком, или плохо с ним справляются и из-за этого не могут правильно определить авторство текста.
Новых сервисов еще предстоит дождаться, но я расскажу про несколько пока рабочих вариантов. Чтобы их протестировать, я использовал три материала. Первый я сгенерировал на английском языке, второй — на русском, а третий написал мой коллега без помощи ИИ.
GPT-2 Output Detector — это инструмент, который в 2019 году сделала компания OpenAI, разработчик ChatGPT. У него есть простая бесплатная демоверсия. Достаточно загрузить текст на сайт, и алгоритм ответит, какова вероятность, что его сгенерировала нейросеть.
С английским языком у сервиса не возникло никаких проблем — он показал, что мой тестовый текст с вероятностью 99,98% написал ИИ, а не человек. С ИИ-текстом на русском уверенности было меньше — 75%. Текст от моего коллеги он тоже отнес к нейросетевым. Правда, после загрузки другого фрагмента исправился.
GLTR — это сервис исследователей из Гарварда и компании IBM. Он тоже создан для работы с моделью GPT-2, но уже в 2019 году нередко ей проигрывал — угадывал нейросеть в 66% случаев. С другой стороны, и с более продвинутой GPT-3 сервис справлялся на сопоставимом уровне.
Инструмент смотрит на предсказуемость каждого следующего слова в тексте. Работает это так: если попросить дополнить предложение «Как же мне не хочется каждый понедельник с утра идти на…», то очевидным завершением будет «…работу». Другие варианты вроде «…учебу» тоже предсказуемы. Написать так может и человек, но если весь текст воспроизводит предсказуемые шаблоны, то велика вероятность работы ИИ.
Так и вышло с моим сгенерированным материалом на английском языке — GLTR указал, что его написала нейросеть. Но русский язык сервис, к сожалению, не распознает.
GPTZero Classic — сервис 22-летнего американского студента Эдварда Тиана. Он сделал его в январе 2023 года, и инструмент сразу же обрел популярность. В разработке уже продвинутая платная версия GPTZero, но я пользовался бесплатной классической.
Сервис анализирует текст по двум параметрам:
- Perplexity считает предсказуемость текста: люди пишут сложнее и используют менее очевидные сочетания слов.
- Perplexity оценивает структуру и длину предложений.
Понять итоговые оценки сложно, так что после анализа можно пролистать страницу вниз и нажать «Получить результаты».
В моем случае GPTZero верно оценил авторство текста на английском языке, но с русским не справился — выдал ошибку. В соцсетях пишут, что GPTZero легко обмануть, но с базовыми материалами он справится.
ChatGPT — это вариант победить врага его же оружием. Скиньте самой продвинутой нейросети кусок текста и спросите, написал ли его ИИ. Учитывая, что ChatGPT запоминает предыдущие сообщения и остается в контексте диалога, задайте дополнительные вопросы, как чат-бот пришел к своему выводу.
В моем случае нейросеть отлично справилась с материалом, который сама же и сгенерировала. Заодно рассказала, что в тексте приведена слишком базовая и распространенная в сети информация. А вот сгенерированный текст на русском языке ChatGPT принял за человеческий.
Чего ждать дальше
Крупные платформы внедрят собственные системы проверки ИИ-текстов. Подобные решения уже анонсировали платформа для авторов Medium и ресурс для программистов Stack Overflow. Можно ожидать, что в будущем такие сервисы будут у всех крупных соцсетей и платформ.
У сгенерированных текстов появятся вотермарки. Эту технологию уже разрабатывают в OpenAI. По словам сотрудника компании Скотта Ааронсона, у сгенерированных через GPT текстов будет скрытый криптографический сигнал, который поможет быстро определить авторство. Как именно это будет выглядеть и работать, пока неизвестно. Но в блоге Ааронсон написал, что доступ к ключу будет только у разработчиков GPT.
