Как работает поиск по своим документам

Подвигайте ползунки и посмотрите, как поисковый конвейер решает, что модели вообще будет видно — и что бывает, когда ей подсунули не тот кусок.

Размер чанка 8
Перекрытие 0%
Порог релевантности 0.70

Нажмите на участок схемы, чтобы открыть шаг.

Весь конвейер

Документ → куски с перекрытием → числа → фильтр по полям → ближайшие по расстоянию → отсечение по порогу → то, что осталось, уходит в модель. Почти любой неверный ответ такой системы решается ещё до того, как модель вызвали.

Что внутри

  1. 1 Документ режут на куски — Смотрите на красные отметки: это границы, разрезавшие предложение пополам.
  2. 2 Ближайшие по смыслу — Score — это расстояние, а не проверка факта.
  3. 3 Фильтрация до поиска — Выключите фильтр и посмотрите, как строка про взрослых возвращается в результаты.
  4. 4 Порог и пустой ответ — «Не найдено» — это нормальный исход. Модель без кусков должна отказываться, а не сочинять.
  5. 5 Что доезжает до модели — По самому ответу не видно, из какого куска он собран. Это решает конвейер выше.

Интерактивные статьи

Размер чанка 8
Перекрытие 0%
Порог релевантности 0.70
1 / 5