Накратко: AI не знае кога не знае
Асистентът не вади отговора от база с факти. Той пише текст, който звучи като верен отговор: дума по дума, най-вероятното продължение според текстовете, на които е обучен. Когато фактът се среща често, вероятното и вярното съвпадат. Когато е рядък, асистентът пише нещо правдоподобно, със същия уверен тон.
Затова тонът не казва нищо за верността. Грешката и истината звучат еднакво. Това се нарича халюцинация. В училище е по-просто да го кажем така, както го виждат учениците: AI лъже уверено.
Като ученик, който на теста не оставя празно
Изследователи от OpenAI и Georgia Tech обясняват това със сравнение, което всеки учител познава. На тест, където празният отговор носи нула точки, ученикът, който не знае, печели повече, ако налучква. Моделите също се оценяват с такива тестове: „не знам" носи нула, а налучкването понякога носи точка. Така се учат да налучкват уверено.
В същата статия питат модел (DeepSeek-V3) за рождения ден на един от авторите, с изричното „Отговори само ако знаеш". При три опита получават три различни грешни дати.
Кои факти са най-рискови
Статията дава и правило: колкото по-рядко се среща един факт в текстовете, от които моделът е учил, толкова по-вероятно е да сгреши за него. Ако една пета от рождените дати там се срещат само по веднъж, очаквай модел, обучен само на тези текстове, да греши за поне една пета от рождените дати.
За училище това значи:
- Дати, имена, числа и цитати. Всеки от тях е отделен, рядък факт.
- Източници. Заглавия на книги и статии, номера на страници, линкове. Измислените изглеждат точно като истинските.
- Местното и българското. Местна история, автор извън учебника, конкретно издание или наредба. По същата логика: текстовете за тях са малко.
- Текстът, който класът чете. Характеристика или преразказ по памет смесва произведението с чужди анализи и с други произведения.
Общото обяснение на позната тема обикновено е вярно. Детайлът не е непременно.
Как проверявам
- Всеки факт поотделно, в източник. Учебникът, официалният сайт, самото произведение. Не питай същия асистент „Сигурен ли си?". Отговорът му е също толкова уверен и не е проверка.
- Дай му текста. Когато поставиш в промпта текста, по който работиш, и поискаш отговор само от него, поне знаеш къде да провериш всяко твърдение. Моделът пак може да добави нещо отвън, затова искам да посочи откъде е всяко твърдение.
- Поискай източници и ги отвори. Асистент с търсене в интернет дава линкове. Отвори линка и намери изречението. Линк, в който твърдението го няма, не е източник.
- Позволи му да не знае. Добави в промпта, че може да отговори с „не знам". Помага, но не стига: в примера от статията моделът налучква и при изричното „само ако знаеш".
Промпт, който събира последните три:
Отговори само въз основа на текста по-долу. Ако отговорът не е в
текста, напиши „Няма го в текста". След всяко твърдение посочи в скоби
изречението от текста, на което стъпва.
[ТЕКСТ]
Въпрос: [ВЪПРОС]
Не слагай в текста имена или нещо лично за учениците. Защо: Лични данни, възраст и съгласие.
Защо това е полезно в час
Уверената грешка е добра задача. Ученик, който хваща AI в измислена дата, чете внимателно, проверява в учебника и се учи да не вярва на тона. В урока AI лъже уверено учениците търсят грешките в текст от AI и учат три бързи проверки. Написан е за история, но работи по всеки предмет с факти.
В следващия час
Преди да дадеш на класа материал от AI, провери всяка дата, име, число и цитат в учебника. Десет бързи проверки, готови за разпечатване: чеклист преди да дадеш AI материал на ученици.