LangChain

import os

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model=os.environ["SPESHU_MODEL"],
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
    temperature=0.2,
    timeout=300,
)

export SPESHU_MODEL=$(curl -s https://speshu.ai/api/v1/models \
  -H "Authorization: Bearer $SPESHU_API_KEY" \
  | jq -r '.data[0].id')
echo "$SPESHU_MODEL"

import os

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

PROMPT = ChatPromptTemplate.from_template(
    "Ответь на вопрос одним предложением. Вопрос: {question}"
)

llm = ChatOpenAI(
    model=os.environ["SPESHU_MODEL"],
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
)

chain = PROMPT | llm | StrOutputParser()
print(chain.invoke({"question": "Что такое контекстное окно?"}))

for chunk in llm.stream("Напиши три абзаца про океан."):
    print(chunk.content, end="", flush=True)

import os

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI


@tool
def get_weather(city: str) -> str:
    """Текущая погода в городе."""
    return f"{city}: +11 °C, облачно"


llm = ChatOpenAI(
    model=os.environ["SPESHU_MODEL"],
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
).bind_tools([get_weather])

response = llm.invoke("Какая погода в Казани?")
for call in response.tool_calls:
    print(call["name"], call["args"])

from pydantic import BaseModel


class OrderSummary(BaseModel):
    product: str
    quantity: int
    comment: str


structured = llm.with_structured_output(OrderSummary)
print(structured.invoke("Клиент заказал два кабеля, но торопится."))

import os

from langchain_core.vectorstores import InMemoryVectorStore
from langchain_core.documents import Document
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

# отдельный провайдер эмбеддингов: другой ключ и другой base_url
embeddings = OpenAIEmbeddings(
    model=os.environ["EMBEDDINGS_MODEL"],
    api_key=os.environ["EMBEDDINGS_API_KEY"],
    base_url=os.environ["EMBEDDINGS_BASE_URL"],
)

store = InMemoryVectorStore(embeddings)
store.add_documents([Document(page_content="SpeShu.AI — шлюз к LLM-моделям.")])

llm = ChatOpenAI(
    model=os.environ["SPESHU_MODEL"],
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
)

context = "\n\n".join(d.page_content for d in store.similarity_search("Чем занимается SpeShu.AI?", k=2))
print(llm.invoke(f"Ответь только по контексту.\n\n{context}").content)

DOCUMENT = "SpeShu.AI — шлюз к текстовым и медиа-моделям с оплатой в рублях."

print(llm.invoke(f"Ответь только по документу.\n\nДОКУМЕНТ:\n{DOCUMENT}\n\nВопрос: Чем занимается SpeShu.AI?").content)