PyPI page
Home page
Author:
ToPo-ToPo-ToPo
Summary:
ローカルLLM（mlx / mlx-vlm / llama.cpp）を OpenAI 互換 API で束ねるマルチモデルゲートウェイ（サーバー）。gateway.toml のカタログを 1 ポートで配信し、model で振り分け・遅延起動・LRU 退避・MTP 高速化（Ollama 流の共有デーモン）。接続用クライアントは別パッケージ local-llm-client。
Latest version:
0.19.0
Required dependencies:
mlx-lm
|
mlx-vlm
|
psutil
|
textual
|
transformers
Downloads last day:
148
Downloads last week:
415
Downloads last month:
2,366