LlamaIndex: как подключить свои данные к LLM и сделать умный поиск

LlamaIndex — open-source фреймворк для подключения данных к языковым моделям. Он особенно полезен, когда главный вопрос звучит так: как дать LLM доступ к моим документам, таблицам, сайту или базе знаний. О LlamaIndex говорят рядом с RAG, потому что он даёт готовые примитивы для загрузки, индексации, поиска и генерации ответа по найденному контексту. Это не просто обёртка над LLM, а слой для data-centric AI-приложений. В статье разберём, как он работает, чем отличается от LangChain и как использовать endpoint SpeShu.AI.

Что такое llamaindex

LlamaIndex помогает превратить набор данных в структуру, пригодную для поиска и ответа модели. Вы загружаете документы, разбиваете их на фрагменты, строите индекс и задаёте вопросы через query engine. Инструмент нужен тем, кто строит поиск по базе знаний, чат по PDF, ассистента по документации, AI-поиск по Notion/Confluence или внутренний аналитический инструмент. Если LangChain часто воспринимается как универсальный конструктор LLM-приложений, то LlamaIndex сильнее фокусируется на данных.

Как работает llamaindex

Типовой пайплайн состоит из загрузки документов, построения nodes, создания embeddings, сохранения индекса и query engine. При запросе retriever находит релевантные фрагменты, а LLM формирует финальный ответ. LlamaIndex поддерживает разные типы индексов, vector stores, retrievers, rerankers и agents. Для быстрого старта можно использовать локальный in-memory индекс, а для продакшена — внешнюю векторную базу. OpenAI-compatible API подключается через OpenAILike, а embeddings можно направить в SpeShu.AI через OpenAIEmbedding с api_base.

Что умеет llamaindex

подключать документы, сайты и базы данных;
строить vector index для RAG;
создавать query engine и chat engine;
использовать retrievers и rerankers;
работать с OpenAI-compatible LLM;
подключать внешние vector DB;
строить агентов вокруг данных.

Мини-кейсы: чат по PDF, умный поиск по документации, корпоративный ассистент, анализ базы знаний, поиск похожих статей или тикетов.

llamaindex на практике

Пример ниже строит небольшой индекс по двум документам и задаёт вопрос. Модель и embeddings идут через SpeShu.AI.

import os
from llama_index.core import Document, Settings, VectorStoreIndex
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.llms.openai_like import OpenAILike

api_key = os.environ["SPESHU_AI_API_KEY"]

Settings.llm = OpenAILike(
    model="openai/gpt-5.5",
    api_base="https://speshu.ai/api/v1",
    api_key=api_key,
    context_window=128000,
    is_chat_model=True,
    is_function_calling_model=True,
)

Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-large",
    api_base="https://speshu.ai/api/v1",
    api_key=api_key,
)

documents = [
    Document(text="SpeShu.AI предоставляет доступ к разным AI-моделям."),
    Document(text="RAG использует embeddings и поиск по документам перед ответом LLM."),
]

index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

response = query_engine.query("Как SpeShu.AI помогает собрать RAG?")
print(response)

На выходе вы получите ответ, основанный на содержимом документов. В реальном проекте вместо списка Document подключают загрузчики файлов, страницы сайта, S3, базы данных или готовое vector store.

Преимущества и недостатки llamaindex

Плюсы:

сильный фокус на данных и RAG;
удобные query engine и index abstractions;
много интеграций с источниками данных;
есть OpenAI-compatible wrapper.

Минусы:

для сложных multi-step agents может потребоваться дополнительная orchestration-логика;
важно понимать, как устроены embeddings и chunking;
простые сценарии иногда проще написать напрямую через OpenAI SDK.

llamaindex vs альтернативы

LlamaIndex vs LangChain: LlamaIndex лучше стартует от данных и retrieval. LangChain шире для цепочек, tools и агентных workflow. LlamaIndex vs Haystack: Haystack более pipeline-oriented и часто удобен для production-команд. LlamaIndex быстрее даёт query engine по документам. LlamaIndex vs Chroma: Chroma — vector DB. LlamaIndex — framework, который может использовать Chroma как хранилище.

Кому подойдёт llamaindex

LlamaIndex подойдёт разработчикам, которые строят поиск по документам, AI-помощников по внутренним данным, прототипы RAG и сервисы Q&A. Он также полезен аналитикам и data-командам, если у них есть Python-навыки. Если задача — подключить много источников данных и дать модели контекст, LlamaIndex обычно оказывается прямым путём.

Как попробовать llamaindex через SpeShu.AI

SpeShu.AI можно использовать для chat-моделей и embeddings в одном пайплайне:

не нужен VPN;
не нужна зарубежная карта;
один ключ для разных моделей;
OpenAI-compatible endpoint для chat и embeddings;
быстрый старт через личный кабинет.

Для моделей используйте каталог, для embeddings — endpoint embeddings.

Заключение

LlamaIndex стоит выбрать, если ядро задачи — ваши данные. Главный инсайт: качество RAG зависит не только от модели, но и от того, как вы загрузили, разбили, проиндексировали и нашли контекст. Начните с малого индекса и тестовых вопросов. Затем добавляйте нормальное хранилище, фильтры, reranking и контроль источников.

Подключить API

Запустите интеграцию через SpeShu.AI: единый доступ к AI-моделям, без VPN и зарубежной карты

Начало работы

Продвинутые настройки

Генерация медиа

Интеграции

LlamaIndex: как подключить свои данные к LLM и сделать умный поиск

Что такое llamaindex

Как работает llamaindex

Что умеет llamaindex

llamaindex на практике

Преимущества и недостатки llamaindex

llamaindex vs альтернативы

Кому подойдёт llamaindex

Как попробовать llamaindex через SpeShu.AI

Заключение

Подключить API

​Что такое llamaindex

​Как работает llamaindex

​Что умеет llamaindex

​llamaindex на практике

​Преимущества и недостатки llamaindex

​llamaindex vs альтернативы

​Кому подойдёт llamaindex

​Как попробовать llamaindex через SpeShu.AI

​Заключение

Подключить API

Что такое llamaindex

Как работает llamaindex

Что умеет llamaindex

llamaindex на практике

Преимущества и недостатки llamaindex

llamaindex vs альтернативы

Кому подойдёт llamaindex

Как попробовать llamaindex через SpeShu.AI

Заключение