Самая неприятная ошибка исследования с ИИ — не пропущенный источник, а выдуманный. Модель уверенно приводит цифру, ссылку или цитату, и всё выглядит убедительно до момента, когда клиент открывает ссылку. Вот четыре проверки и один файл, которые от этого страхуют.
Поиск со ссылками сильно облегчает работу. Но ссылка рядом с утверждением ещё не значит, что утверждение в ней есть.
Четыре проверки
- Первоисточник. Ссылка может вести на статью, которая пересказывает отчёт, который ссылается на исследование. Открывайте дальше, пока не дойдёте до того, кто цифру посчитал. Не дошли — цифры нет.
- Дата. Бенчмарк десятилетней давности и прошлогодний выглядят в таблице одинаково. Дата пишется рядом с цифрой, а не в сноске.
- Контекст. Чья это цифра: какая отрасль, какой масштаб компаний, как считали. Цифра из чужого контекста — гипотеза о клиенте, а не факт о нём.
- Точность цитаты. Модель может пересказать цитату своими словами и оставить кавычки. Цитата в кавычках сверяется с источником дословно — или превращается в пересказ без кавычек.
Один файл: реестр источников
Простая таблица на проект: утверждение — источник — дата — насколько надёжен — кто проверил. Туда попадает всё, что уходит клиенту из внешних материалов. Он даёт две вещи:
- на вопрос директора «откуда это?» ответ находится сразу, а не после вечера раскопок;
- модель получает реестр как контекст и в следующий раз опирается на проверенное, а не ищет заново.
Как ставить задачу на исследование
Попросите модель с самого начала разделять три вещи: что подтверждено источником, что она вывела сама и что не нашла. И отдельным списком — что ещё нужно проверить. Такой ответ выглядит скромнее, зато после проверки его можно нести клиенту. Эффектный ответ без такого разделения нести нельзя вообще.
Это то же правило, что и для анализа данных и интервью: модель готовит черновик, за вывод отвечает эксперт.
На бесплатном практикуме 31 октября — реальная обезличенная диагностика: какую часть работы с материалами взял ИИ и что команда проверяла сама.
Записаться на бесплатный практикум — или в Telegram: @AI_native_reg_bot