Qdrant

export SPESHU_API_KEY="sk-ваш-ключ"

import os

from langchain_openai import OpenAIEmbeddings

# Отдельный провайдер эмбеддингов. Это НЕ SpeShu.AI и его ключ сюда не подходит.
EMBEDDING_BASE_URL = os.environ["EMBEDDING_BASE_URL"]
EMBEDDING_API_KEY = os.environ["EMBEDDING_API_KEY"]
EMBEDDING_MODEL = os.environ["EMBEDDING_MODEL"]

embeddings = OpenAIEmbeddings(
    model=EMBEDDING_MODEL,
    base_url=EMBEDDING_BASE_URL,
    api_key=EMBEDDING_API_KEY,
)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

records, _ = client.scroll(
    collection_name="docs",
    scroll_filter=models.Filter(
        must=[
            models.FieldCondition(
                key="topic", match=models.MatchValue(value="billing")
            )
        ]
    ),
    limit=20,
)

import os

from langchain_openai import ChatOpenAI
from langchain_qdrant import QdrantVectorStore
from qdrant_client import QdrantClient
from qdrant_client.http.models import Distance, VectorParams

EMBEDDING_MODEL_SIZE = 1536  # размерность вашей модели эмбеддингов

llm = ChatOpenAI(
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
    model=os.environ["SPESHU_MODEL"],
)

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="docs",
    vectors_config=VectorParams(
        size=EMBEDDING_MODEL_SIZE, distance=Distance.COSINE
    ),
)

vector_store = QdrantVectorStore(
    client=client,
    collection_name="docs",
    embedding=embeddings,  # см. «Эмбеддинги: честное ограничение»
)

import os
from uuid import uuid4

from langchain_core.documents import Document
from langchain_core.output_parser import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough

DOCUMENTS = [
    Document(
        page_content="Возврат оформляется в течение 14 дней после доставки.",
        metadata={"source": "returns.md", "topic": "billing"},
    ),
    Document(
        page_content="Смена тарифа действует с начала следующего расчётного периода.",
        metadata={"source": "plans.md", "topic": "billing"},
    ),
    Document(
        page_content="Двухфакторная аутентификация включается в настройках профиля.",
        metadata={"source": "security.md", "topic": "auth"},
    ),
]

vector_store.add_documents(documents=DOCUMENTS, ids=[str(uuid4()) for _ in DOCUMENTS])

retriever = vector_store.as_retriever(search_kwargs={"k": 2})

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Отвечай только по контексту. Если его не хватает — скажи об этом."),
        ("human", "Контекст:\n{context}\n\nВопрос: {question}"),
    ]
)

chain = (
    {"context": retriever | StrOutputParser(), "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

answer = chain.invoke("За сколько дней оформляется возврат?")
print(answer)