Рубрика содержит все отчёты о тестировании, удачные и неудачные. Противоречия между отчётами объясняются датой прогона, корпусом, условиями нагрузки и ступенью. Как читать эти отчёты →
Отчёт 1 · проверка качества Дата: 10–11 августа 2026 · Ступени: FLASH, AIR, PLUS · Ответов проверено: 300 · Сбоев: 0
Платформа проверена на двух независимых наборах с заранее подготовленными правильными ответами. Каждый ответ сверялся с эталоном вручную; модель-судья не применялась.
| 300 | ответов получено, все три ступени |
| 0 | технических сбоев за оба набора |
| 6–14 с | типичное время ответа |
| 1 | потеря темы на 150 реплик диалога |
Набор 1 — Pro Git 2, техническое руководство. Полный русский перевод, 126 700 слов, 106 разделов. Пятьдесят самостоятельных вопросов: извлечение факта, восстановление процедуры, объединение сведений из разных мест книги.
Набор 2 — smart fortwo 451, руководство по эксплуатации. Официальный PDF Mercedes-Benz, 176 страниц. Десять отдельных разговоров по пять реплик: владелец последовательно уточняет одну проблему, опираясь на предыдущие ответы.
Документы загружены в папку обычным способом и проиндексированы платформой. Вопросы отправлены через те же адреса, что использует сайт: тот же формат запроса, те же настройки ступени. Поиск в интернете выключен — оба набора проверяют работу с приложенными документами.
Каждый ответ сравнивался с эталоном: сначала автоматически по опорным точкам (команды, числа, названия разделов), затем вручную — чтением полного текста и сверкой с исходным документом. Вердикт по каждому спорному случаю выносил человек.
| Ступень | Ответ полный | Частичный | Слабый | Время | Сбоев |
|---|---|---|---|---|---|
| FLASH | 19 | 6 | 1 | 10,4 с | 0 |
| AIR | 18 | 6 | 2 | 11,4 с | 0 |
| PLUS | 17 | 7 | 2 | 13,3 с | 0 |
Оценка «полный» означает, что в ответе присутствуют все опорные точки эталона — команды, ключи, числа. Три четверти ответов попали в эту категорию у каждой ступени.
Проверенные вручную примеры совпали с руководством дословно: четыре протокола передачи данных с портом 9418 у Git-протокола, поведение git stash по умолчанию, устройство клиентских и серверных хуков с каталогом .git/hooks. Ссылки на разделы книги указывались верно.
| Ступень | Реплик | Совпадение с эталоном | Время | Потерь темы | Сбоев |
|---|---|---|---|---|---|
| FLASH | 50 | 0,49 | 6,0 с | 0 | 0 |
| AIR | 50 | 0,49 | 8,6 с | 0 | 0 |
| PLUS | 50 | 0,40 | 14,1 с | 1 | 0 |
Сорок реплик из пятидесяти опираются на предыдущие — «а она всё равно запрётся?», «это можно в движении?», «сделал, что дальше?». Такие фразы без истории разговора не разбираются.
Из ста пятидесяти реплик тему разговора система потеряла один раз. Остальные отсылки разобраны верно, включая переходы вида «вместо второй машины» и «допустим, всё-таки получилось».
«А заднюю можно включить, пока машина ещё чуть катится?» — «Нет. Включайте
передачу заднего хода только на стоящем автомобиле, иначе можно повредить
коробку передач.»
Пример разбора отсылки: «заднюю» относится к коробке передач из предыдущих реплик. Ответ совпал со страницей 67 руководства.
Оба набора содержат места, где документ несёт не просто факт, а предел или запрет: скорость после временного ремонта шины, ограничение при движении задним ходом, требование обратиться в мастерскую, необходимость исключить защемление людей.
| Ступень | Предупреждений сохранено | Потеряно |
|---|---|---|
| AIR | 4 из 6 | 2 |
| FLASH | 3 из 6 | 3 |
| PLUS | 2 из 6 | 4 |
Суть ответа при этом передаётся верно: «после ремонта комплектом продолжайте движение до мастерской» — сказано, «не превышайте 80 км/ч» — нет. «Верх можно открывать на ходу» — сказано, «исключив защемление людей» — нет.
Это ожидаемо и объясняется постановкой опыта. Проверка велась на стандартных моделях в базовой настройке. В задании модели нет требования выделять предупреждения, пределы и запреты — она отвечает на заданный вопрос и не считает предостережение частью ответа.
Поведение управляется настройкой задания: если поставить моделью удерживать предупреждения источника, эти же ответы будут содержать их. Отдельной проверки после настройки пока не проводилось.
По той же причине набор Pro Git показал, что на вопросах, ответа на которые в документе нет, модели чаще достраивают ответ из соседних мест книги, чем сообщают об отсутствии данных. Это тоже вопрос задания, а не поиска: сам поиск в этих случаях отрабатывает и приносит близкие по теме разделы.
На странице 101 руководства smart две врезки набраны рядом: слева требования к обычному бензиновому двигателю, справа — к двигателю BRABUS. При извлечении текста строки соседних колонок перемешиваются, и в исходном текстовом слое требования обоих двигателей идут вперемешку.
| Двигатель | Норма | В экстренном случае |
|---|---|---|
| Обычный бензиновый | не менее 95 | не менее 91 |
| BRABUS | не менее 98 | не менее 95 |
Все три ступени выдали владельцу обычной машины требования BRABUS. Числа при этом верные, раздел указан верно, ссылка на источник верная — неверно только соотнесение колонок.
Это относится к разбору PDF, а не к модели. Настройкой задания не решается: пока текст извлекается так, любой ответ по таблицам и врезкам может оказаться склейкой соседних колонок.
четверти ответов содержат все опорные точки эталона.
предыдущие; тема потеряна один раз из ста пятидесяти.
указываются верно.
модели этого не требует. Проверяется после настройки задания.
не связанная с настройкой.
*Проверка проведена на боевой платформе через клиентский путь. Оба набора, журналы всех ответов и эталоны сохранены и доступны для повторного прогона. Все вердикты вынесены человеком по сверке с первоисточником.*