Langflow: визуальный конструктор LLM-flow на моделях SpeShu.AI

export SPESHU_MODEL=$(curl -s https://speshu.ai/api/v1/models \
  -H "Authorization: Bearer $SPESHU_API_KEY" \
  | jq -r '.data[0].id')
echo "$SPESHU_MODEL"

import os

from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI


class ModelComponent:
    display_name = "SpeShu Chat"

    def build(self) -> ChatOpenAI:
        return ChatOpenAI(
            base_url="https://speshu.ai/api/v1",
            api_key=os.environ["SPESHU_API_KEY"],
            model=os.environ["SPESHU_MODEL"],
            temperature=0.2,
        )

    def run(self, question: str) -> str:
        answer = self.build().invoke([HumanMessage(content=question)])
        return str(answer.content)

export LANGFLOW_SECRET_KEY="значение-секрета-langflow"
export FLOW_ID="идентификатор-flow"

curl -s -X POST "http://127.0.0.1:7860/api/v1/run/$FLOW_ID" \
  -H "x-api-key: $LANGFLOW_SECRET_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"input_value\": \"Ответь одним предложением: зачем нужны векторные базы?\", \"input_type\": \"chat\", \"output_type\": \"chat\"}" \
  | jq -r '.message.content'

curl -N -s -X POST "http://127.0.0.1:7860/api/v1/run/$FLOW_ID" \
  -H "x-api-key: $LANGFLOW_SECRET_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"input_value\": \"Напиши три абзаца про океан.\", \"input_type\": \"chat\", \"output_type\": \"chat\", \"stream_mode\": \"streaming\"}"

export FILE_URL=$(curl -s https://speshu.ai/api/v1/storage/upload \
  -H "Authorization: Bearer $SPESHU_API_KEY" \
  -F "file=@photo.jpg" -F "asset_type=chat_upload" | jq -r '.url')

import os
import time
import json
import uuid

import requests

BASE = "https://speshu.ai/api/v1"
HEADERS = {"Authorization": f"Bearer {os.environ['SPESHU_API_KEY']}"}

# Идентификаторы медиа-моделей публичны и стабильны — литерал здесь корректен.
MEDIA_MODEL = "nano-banana-2"


def generate_image(prompt: str) -> str:
    created = requests.post(
        f"{BASE}/async/media/tasks",
        headers={**HEADERS, "Content-Type": "application/json",
                 "Idempotency-Key": str(uuid.uuid4())},
        json={"model": MEDIA_MODEL, "input": {"prompt": prompt}},
        timeout=60,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["taskId"]

    while True:
        task = requests.get(f"{BASE}/async/media/tasks/{task_id}",
                            headers=HEADERS, timeout=30).json()["data"]
        if task["state"] == "success":
            return json.loads(task["resultJson"])["resultUrls"][0]
        if task["state"] == "fail":
            raise RuntimeError(f"{task['failCode']}: {task['failMsg']}")
        time.sleep(3)


# Функция выше подключается к блоку **Chat Output** компонентом **Code**
# (или регистрируется как **Custom Tool** и уходит в модель как инструмент).

import os

from langchain_openai import ChatOpenAI, OpenAIEmbeddings

# Эмбеддинги — отдельный провайдер, отдельный ключ.
# SpeShu.AI эндпоинта эмбеддингов не отдаёт.
EMBEDDINGS_PROVIDER_URL = os.environ["EMBEDDINGS_PROVIDER_URL"]
EMBEDDINGS_PROVIDER_KEY = os.environ["EMBEDDINGS_PROVIDER_KEY"]
EMBEDDINGS_MODEL = os.environ["EMBEDDINGS_MODEL"]

embeddings = OpenAIEmbeddings(
    base_url=EMBEDDINGS_PROVIDER_URL,
    api_key=EMBEDDINGS_PROVIDER_KEY,
    model=EMBEDDINGS_MODEL,
)

chat = ChatOpenAI(
    base_url="https://speshu.ai/api/v1",
    api_key=os.environ["SPESHU_API_KEY"],
    model=os.environ["SPESHU_MODEL"],
)