← Работы

Избранные работы

RAG по телеком-документации

Ответы с дополнением из поиска по тысячам сервисных и топологических документов, на локальных моделях.

Задача

Операционные знания — сервисные записи, топология, тикеты — разбросаны по системам и выгрузкам. Инженеры тратят время на поиск контекста, который уже где-то есть.

Подход

Документы инжестятся и нарезаются в векторное хранилище с локальной моделью эмбеддингов. LLM на GPU отвечает на вопросы со ссылками на исходники, а курируемый слой знаний держит корпус в порядке. LLM никогда не на критическом пути инжеста — поиск доступен, даже когда генерация недоступна.

Стек

OnyxOllamapgvectorGPU servingPostgreSQLRAG

Результаты

  • Ответы на естественном языке, опирающиеся на реальный корпус документов
  • Цитируемые источники — каждый ответ проверяем, а не галлюцинация
  • Поиск по большому внутреннему корпусу без ручной индексации
  • Полностью self-hosted — внутренние данные не покидают сеть