RAG чатбот срещу обикновен чатбот: кой е нужен на вашия бизнес?

През февруари 2024 г. канадски трибунал осъди Air Canada да плати 812 канадски долара на пътник, защото чатботът на сайта ѝ си беше измислил несъществуваща отстъпка при смъртен случай в семейството. Авиокомпанията заяви, че ботът е отделно юридическо лице и сам отговаря за думите си. Трибуналът не се съгласи и я осъди да плати. Този случай е най-краткият полезен отговор на въпроса RAG чатбот срещу обикновен чатбот: единият отговаря от вашите документи, другият – от това, което звучи правдоподобно.

Повечето собственици стигат до този избор някъде по средата на офертите. Един доставчик предлага чат уиджет за двеста евро на месец. Друг иска няколко хиляди за нещо, което нарича retrieval-augmented. Презентацията не обяснява разликата. Разликата е реална и опира до едно: откъде идва отговорът.

Обикновен чатбот всъщност означава две различни неща

Преди да сравняваме каквото и да било, разделете обикновения чатбот на двата продукта, които се продават под това име. Те се провалят по противоположни начини, така че смесването им прави сравнението безсмислено.

• Ботът с правила, известен още като скриптов бот или бот с дърво на решенията. Някой предварително е написал въпросите и отговорите. Посетителят избира от бутони или пише фраза, която се напасва към ключова дума. Ако фразата не е в списъка, ботът моли да я преформулира.
• Ботът с обикновен езиков модел. Зад уиджета стои общ модел като GPT или Claude с абзац инструкции. Разбира почти всичко, което посетителят напише. И не знае нищо за вашите цени, наличности или условия за връщане, защото те никога не са били част от обучението му.

Ботът с правила е предвидим и ограничен. Ботът с езиков модел е красноречив и ненадежден. Нито един от двата не е чел вашия бизнес.

Кой от двата ви предлагат има по-голямо значение от надписа върху офертата, а един прост въпрос го изяснява. Питайте доставчика какво точно променя той, когато цените ви се променят. Ако отговорът е скриптът, купувате първия вид. Ако е промптът, втория. Ако е нищо, защото ботът чете ценоразписа, предлагат ви извличане.

Какво добавя RAG

RAG идва от retrieval-augmented generation – генериране, подсилено с извличане. Идеята е от статия от 2020 г. на Патрик Люис и негови колеги от Facebook AI Research, която показва, че моделът се справя по-добре, когато търси в индекс от документи, преди да пише, отколкото когато разчита на паметта си от обучението.

На практика се добавя една стъпка. Вашите документи (ценоразписът, общите условия, продуктовите описания, онова FAQ, което живее в нечия поща) се нарязват на части и се индексират. Когато посетителят попита нещо, системата първо търси в този индекс, изважда няколкото пасажа, които съвпадат по смисъл с въпроса, и ги подава на модела заедно с въпроса. Моделът съставя отговора от тези пасажи, а не от паметта си.

Тази единствена стъпка променя отношението на бота към истината. Той може да цитира срока ви за връщане, защото току-що го е прочел. Ако търсенето не върне нищо подходящо, добре построената система казва, че не знае, и предлага човек. Механиката описахме подробно в какво е RAG чатбот.

Начинът на провал решава избора

Всеки чатбот греши. Полезният въпрос е как.

Ботът с правила греши видимо. Не разпознава въпроса, казва го, посетителят се дразни и запитването се губи. Досадно, евтино и никой не стига до съд.

Ботът с езиков модел греши невидимо. Изкарва уверен, добре написан и напълно грешен отговор за сроковете ви за доставка или за гаранцията, а клиентът му вярва, защото звучи като сайта ви. Разбирате седмици по-късно от оплакване. Air Canada разбра в съдебна зала.

RAG ботът стеснява тази разлика, без да я затваря. И той греши – обикновено когато търсенето извади погрешния пасаж или когато два от документите ви си противоречат. Но отговорите му са проследими: вижда се кой откъс е породил кое твърдение, значи може да бъде поправен. Точно тази проследимост подценяват повечето фирми, докато сравняват оферти.

Има евтин начин да проверите демото на всеки доставчик. Попитайте бота им нещо, на което вашият сайт отговаря по необичаен начин, а после нещо, на което сайтът ви изобщо не отговаря. Скриптовият бот се проваля и на двете. Ботът с езиков модел си измисля отговор на второто, при това с вашия тон, и остава доволен от себе си. RAG ботът трябва да улучи първото и да признае, че не знае второто. Ако не го направи, сте научили нещо полезно безплатно.

RAG чатбот срещу обикновен чатбот, едно до друго

По-долу приемаме варианта с езиков модел, защото това продават повечето доставчици днес.

• Източник на отговорите. Обикновеният бот отговаря от общото обучение на модела плюс кратък промпт. RAG ботът отговаря от индексираните ви документи.
• Актуализация. Промяна в скриптов бот значи пренаписване на скриптове. В бот с езиков модел значи пренаписване на промпта и надежда. В RAG бот значи да поправите документа и да го индексирате наново, което отнема минути.
• Покритие. Скриптовите ботове покриват въпросите, които сте предвидили. RAG покрива всичко, за което документите ви казват нещо, включително формулировки, за които никой не се е сетил.
• Цитиране. RAG ботът може да посочи страницата, от която идва отговорът. Другите два не могат, защото такава страница няма.
• Цена. Скриптовият уиджет е най-евтиното тук. RAG носи цена за изграждане, хостинг на индекса и такса към модела за всеки въпрос.
• Усилие за пускане. Скриптовият бот иска няколко следобеда писане. RAG иска документите ви първо да са намираеми и верни, а точно там е истинската работа.

Нищо от това не прави RAG победител по подразбиране. Прави го различен вид покупка: по-малко абонамент, който включвате, и повече малък софтуерен проект, в чийто център стои вашето собствено съдържание.

Кога обикновеният чатбот е правилният избор

RAG не е автоматично по-добрата покупка. Много фирми биха хвърлили пари на вятъра с него.

• Получавате едни и същи шест въпроса по цял ден: работно време, адрес, паркинг, цена на доставката. Скриптовият бот отговаря на тях безупречно срещу цената на един следобед.
• Ботът съществува, за да насочва хора, а не да ги информира. Записване на оглед, отваряне на тикет, взимане на телефон. Извличането не добавя нищо към една форма.
• Нямате документи, в които да се търси. Ако условията ви живеят в главите на трима души, няма какво да се индексира и няма пряк път покрай това да ги напишете.
• Отговорите ви трябва да са дословно едни и същи по правни причини. Фиксираният текст бие генерирания, когато самата формулировка е продуктът.

Има и почтен среден път: скриптов бот за най-честите въпроси и RAG слой зад него за всичко останало. Това строим обикновено, когато базата знания на клиента е готова наполовина.

Колко струва изграждането и поддръжката на всеки от двата

Цените се различават по доставчици, но формата на разхода е постоянна.

Скриптовият уиджет обикновено е абонамент, често между €20 и €100 на месец, а скритата цена е вашето време за писане и поддръжка на скриптовете. Уиджетът с езиков модел добавя такса за съобщение върху този абонамент. Евтин е за пускане и скъп за доверяване.

RAG системата е проект. В Ascend проектите за RAG чатбот започват с двуседмичен прототип върху истинските ви документи, за да видите измерено качество на отговорите, преди да поемете по-голям ангажимент. Продукционната версия обикновено отнема още четири до осем седмици според обема данни и връзките с други системи. Текущите разходи са API на езиковия модел, таксуван на въпрос, плюс хостинг за векторния индекс. За повечето малки и средни внедрявания двете заедно излизат няколкостотин евро месечно. Как остойностяваме такава работа сме описали на страницата с цени.

Какво RAG не оправя

Извличането решава добре един проблем и създава няколко нови. Знайте кои са кои, преди да подпишете.

• Лоши документи. Ако общите условия противоречат на FAQ-а, ботът уверено ще повтори онази версия, която е извадил. Изчистването на изходния материал е част от проекта, а не нещо, което вършите преди него.
• Липсващи данни. RAG ботът не може да каже дали един артикул е наличен, освен ако нещо не го свързва със складовата ви система. Това е интеграция, не проблем на търсенето.
• Действия. Да отговори на въпроса как се отказва поръчка е извличане. Самото отказване е автоматизация и изисква право на запис в реална система.
• Забавяне и цена на въпрос. Търсенето преди отговора добавя стъпка. Построена добре, тя е под секунда. Построена зле, посетителите гледат въртящо се колелце.

Това не са причини да избягвате извличането. Това са причините офертата за RAG да е по-голяма от абонамента за уиджет, а доставчик, който никога не ги повдига, или няма опит, или ви продава уиджет с по-хубаво име.

Присъдата

Ако ботът трябва да казва каквото и да било за вашите цени, условия, продукти или процедури, изберете RAG. Ако само трябва да отговаря на шест предвидими въпроса или да прехвърля хора към форма, обикновеният чатбот е честният избор и никой не бива да ви продава нещо над него. Решава колко ви струва един грешен отговор. Размерът на фирмата и бюджетът тежат далеч по-малко от това.

Моментът също има значение. По данни на Евростат през 2025 г. изкуствен интелект използват 8,5% от българските фирми с десет и повече заети при 20,0% средно за ЕС. Повечето анализи четат това като предупреждение. Прочетете го обратно: летвата пред клиента в България все още е ниска и бот за поддръжка, който отговаря правилно на български от вашите собствени документи, е достатъчно рядък, за да бъде забелязан. Практическите начални стъпки събрахме в приложения на AI автоматизацията за българския бизнес.

Една уговорка към ентусиазма. RAG чатбот върху разхвърляна база знания е по-лош от никакъв чатбот, защото превръща лошата информация в уверена проза. Първо оправете документите. Извличането е лесната половина.

Често задавани въпроси

RAG чатботът същото ли е като ChatGPT, обучен с моите данни?

Не, и разликата има търговско значение. Нищо не се дообучава. Документите ви стоят в индекс, в който се търси, и се вкарват в промпта в момента, в който някой зададе въпрос. Добавете, поправете или изтрийте документ днес и отговорите на бота се променят веднага, което не важи за дообучен модел.

RAG чатботът пак ли ще си измисля?

По-рядко и по-видимо. Повечето останали грешки идват от това, че търсенето е извадило погрешния пасаж, а не от това, че моделът си е измислил. Тъй като всеки отговор се проследява до конкретен откъс, причината се намира и документът се поправя. Система, която не може да покаже източниците си, не може да бъде поправяна.

Колко документа са ми нужни, за да има смисъл от RAG?

Няма праг, но има проста проверка. Ако нов служител може да се научи да отговаря на клиентите ви, като прочете една папка, RAG може да работи с тази папка. Ако ще трябва да ходи да пита колеги, знанието още не е записано, а никоя система за търсене не намира нещо, което не съществува.

Работи ли RAG на български?

Да. Съвременните embedding модели се справят с българския достатъчно добре за извличане, а големите доставчици генерират свободен български. По нашия опит езикът рядко е тясното място. Далеч повече проблеми създават изходни документи, които смесват български и английски в непоследователни формати.

Мога ли да започна с обикновен чатбот и да надградя после?

Да, и често е разумно. Пуснете скриптов бот за няколко месеца и записвайте всеки въпрос, на който не успява да отговори. Този дневник става тестовият набор за RAG проекта и ви казва дали надграждането си струва парите, преди да ги дадете.

Колко време отнема изграждането на RAG чатбот?

Две седмици за работещ прототип върху истинските ви документи, после около четири до осем седмици за продукционна система според обема данни и интеграциите. Променливата почти никога не е самият AI. Тя е колко време отнема събирането и подреждането на изходния материал.