Перейти к основному содержанию

Documentation Index

Fetch the complete documentation index at: https://speshu.ai/docs/llms.txt

Use this file to discover all available pages before exploring further.

LlamaIndex — open-source фреймворк для подключения данных к языковым моделям. Он особенно полезен, когда главный вопрос звучит так: как дать LLM доступ к моим документам, таблицам, сайту или базе знаний. О LlamaIndex говорят рядом с RAG, потому что он даёт готовые примитивы для загрузки, индексации, поиска и генерации ответа по найденному контексту. Это не просто обёртка над LLM, а слой для data-centric AI-приложений. В статье разберём, как он работает, чем отличается от LangChain и как использовать endpoint SpeShu.AI.

​
Что такое llamaindex

LlamaIndex помогает превратить набор данных в структуру, пригодную для поиска и ответа модели. Вы загружаете документы, разбиваете их на фрагменты, строите индекс и задаёте вопросы через query engine. Инструмент нужен тем, кто строит поиск по базе знаний, чат по PDF, ассистента по документации, AI-поиск по Notion/Confluence или внутренний аналитический инструмент. Если LangChain часто воспринимается как универсальный конструктор LLM-приложений, то LlamaIndex сильнее фокусируется на данных.

​
Как работает llamaindex

Типовой пайплайн состоит из загрузки документов, построения nodes, создания embeddings, сохранения индекса и query engine. При запросе retriever находит релевантные фрагменты, а LLM формирует финальный ответ. LlamaIndex поддерживает разные типы индексов, vector stores, retrievers, rerankers и agents. Для быстрого старта можно использовать локальный in-memory индекс, а для продакшена — внешнюю векторную базу. OpenAI-compatible API подключается через OpenAILike, а embeddings можно направить в SpeShu.AI через OpenAIEmbedding с api_base.

​
Что умеет llamaindex

  • подключать документы, сайты и базы данных;
  • строить vector index для RAG;
  • создавать query engine и chat engine;
  • использовать retrievers и rerankers;
  • работать с OpenAI-compatible LLM;
  • подключать внешние vector DB;
  • строить агентов вокруг данных.
Мини-кейсы: чат по PDF, умный поиск по документации, корпоративный ассистент, анализ базы знаний, поиск похожих статей или тикетов.

​
llamaindex на практике

Пример ниже строит небольшой индекс по двум документам и задаёт вопрос. Модель и embeddings идут через SpeShu.AI. 
import os
from llama_index.core import Document, Settings, VectorStoreIndex
from llama_index.embeddings.openai import OpenAIEmbedding
from llama_index.llms.openai_like import OpenAILike

api_key = os.environ["SPESHU_AI_API_KEY"]

Settings.llm = OpenAILike(
    model="openai/gpt-5.5",
    api_base="https://speshu.ai/api/v1",
    api_key=api_key,
    context_window=128000,
    is_chat_model=True,
    is_function_calling_model=True,
)

Settings.embed_model = OpenAIEmbedding(
    model="text-embedding-3-large",
    api_base="https://speshu.ai/api/v1",
    api_key=api_key,
)

documents = [
    Document(text="SpeShu.AI предоставляет доступ к разным AI-моделям."),
    Document(text="RAG использует embeddings и поиск по документам перед ответом LLM."),
]

index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()

response = query_engine.query("Как SpeShu.AI помогает собрать RAG?")
print(response)
На выходе вы получите ответ, основанный на содержимом документов. В реальном проекте вместо списка Document подключают загрузчики файлов, страницы сайта, S3, базы данных или готовое vector store.

​
Преимущества и недостатки llamaindex

Плюсы:
  • сильный фокус на данных и RAG;
  • удобные query engine и index abstractions;
  • много интеграций с источниками данных;
  • есть OpenAI-compatible wrapper.
Минусы:
  • для сложных multi-step agents может потребоваться дополнительная orchestration-логика;
  • важно понимать, как устроены embeddings и chunking;
  • простые сценарии иногда проще написать напрямую через OpenAI SDK.

​
llamaindex vs альтернативы

LlamaIndex vs LangChain: LlamaIndex лучше стартует от данных и retrieval. LangChain шире для цепочек, tools и агентных workflow. LlamaIndex vs Haystack: Haystack более pipeline-oriented и часто удобен для production-команд. LlamaIndex быстрее даёт query engine по документам. LlamaIndex vs Chroma: Chroma — vector DB. LlamaIndex — framework, который может использовать Chroma как хранилище.

​
Кому подойдёт llamaindex

LlamaIndex подойдёт разработчикам, которые строят поиск по документам, AI-помощников по внутренним данным, прототипы RAG и сервисы Q&A. Он также полезен аналитикам и data-командам, если у них есть Python-навыки. Если задача — подключить много источников данных и дать модели контекст, LlamaIndex обычно оказывается прямым путём.

​
Как попробовать llamaindex через SpeShu.AI

SpeShu.AI можно использовать для chat-моделей и embeddings в одном пайплайне:
  • не нужен VPN;
  • не нужна зарубежная карта;
  • один ключ для разных моделей;
  • OpenAI-compatible endpoint для chat и embeddings;
  • быстрый старт через личный кабинет.
Для моделей используйте каталог, для embeddings — endpoint embeddings.

​
Заключение

LlamaIndex стоит выбрать, если ядро задачи — ваши данные. Главный инсайт: качество RAG зависит не только от модели, но и от того, как вы загрузили, разбили, проиндексировали и нашли контекст. Начните с малого индекса и тестовых вопросов. Затем добавляйте нормальное хранилище, фильтры, reranking и контроль источников.

Подключить API

Запустите интеграцию через SpeShu.AI: единый доступ к AI-моделям, без VPN и зарубежной карты