AI для бизнеса — с прицелом на результат.

from micron import Ollama, DocumentProcessor, ProviderRouter, Registry

# Подключаемся к локально развёрнутой open-source модели через Ollama
client = Ollama(
    base_url="http://localhost:11434",
    model="qwen2.5-coder:32b",
    temperature=0.3,
    max_tokens=4096,
)

def process_document(path: str, prompt: str) -> str:
    # Читаем документ, разбиваем на чанки и прогоняем через LLM
    doc     = DocumentProcessor.from_file(path)
    chunks  = doc.split(max_tokens=2048, overlap=128)
    answers = [client.generate(prompt, context=c) for c in chunks]
    return DocumentProcessor.merge(answers)


class ProviderRouter:
    # Единый слой для российских и зарубежных AI-провайдеров
    def __init__(self, providers: list[str]):
        self.providers = [Registry.get(name) for name in providers]

    def route(self, query: str, **kwargs) -> str:
        # Выбираем провайдера по стоимости/латентности и отправляем запрос
        provider = self._pick(query, **kwargs)
        return provider.completion(query, **kwargs)

    def _pick(self, query: str, **kwargs):
        scored = [(p, p.score(query, **kwargs)) for p in self.providers]
        return max(scored, key=lambda x: x[1])[0]


def summarize(documents: list[str], taxonomy: str = "business") -> dict:
    # Извлекаем тезисы из набора документов и классифицируем по таксономии
    chunks  = [DocumentProcessor.read(d) for d in documents]
    summary = client.batch_generate(chunks, prompt="Кратко изложи суть.")
    return DocumentProcessor.classify(summary, taxonomy=taxonomy)

from micron import Ollama, DocumentProcessor, ProviderRouter, Registry

# Подключаемся к локально развёрнутой open-source модели через Ollama
client = Ollama(
    base_url="http://localhost:11434",
    model="qwen2.5-coder:32b",
    temperature=0.3,
    max_tokens=4096,
)

def process_document(path: str, prompt: str) -> str:
    # Читаем документ, разбиваем на чанки и прогоняем через LLM
    doc     = DocumentProcessor.from_file(path)
    chunks  = doc.split(max_tokens=2048, overlap=128)
    answers = [client.generate(prompt, context=c) for c in chunks]
    return DocumentProcessor.merge(answers)


class ProviderRouter:
    # Единый слой для российских и зарубежных AI-провайдеров
    def __init__(self, providers: list[str]):
        self.providers = [Registry.get(name) for name in providers]

    def route(self, query: str, **kwargs) -> str:
        # Выбираем провайдера по стоимости/латентности и отправляем запрос
        provider = self._pick(query, **kwargs)
        return provider.completion(query, **kwargs)

    def _pick(self, query: str, **kwargs):
        scored = [(p, p.score(query, **kwargs)) for p in self.providers]
        return max(scored, key=lambda x: x[1])[0]


def summarize(documents: list[str], taxonomy: str = "business") -> dict:
    # Извлекаем тезисы из набора документов и классифицируем по таксономии
    chunks  = [DocumentProcessor.read(d) for d in documents]
    summary = client.batch_generate(chunks, prompt="Кратко изложи суть.")
    return DocumentProcessor.classify(summary, taxonomy=taxonomy)