PyPI page
Author:
ToPo-ToPo-ToPo
Summary:
ローカルLLM（mlx / mlx-vlm / llama.cpp / vLLM / SGLang）を OpenAI 互換 API で束ねるマルチモデルゲートウェイ（サーバー）。gateway.toml のカタログを 1 ポートで配信し、model で振り分け・遅延起動・LRU 退避・MTP 高速化（Ollama 流の共有デーモン）。接続用クライアントは別パッケージ local-llm-client。
Latest version:
0.38.6
Required dependencies:
imageio-ffmpeg
|
mlx-lm
|
mlx-vlm
|
mlx-whisper
|
pillow
|
psutil
|
pyobjc-framework-cocoa
|
torchvision
|
transformers
Optional dependencies:
sglang
|
vllm
Downloads last day:
17
Downloads last week:
155
Downloads last month:
172
7-day smoothing