LiteLLM
Free PlanSobre o serviço
O LiteLLM é um proxy self-hosted que traduz o formato OpenAI para mais de cem provedores. Oferece fallback, cache, limite de gastos, chaves virtuais e logs, tudo rodando na sua infraestrutura. Não gera crédito: o custo é o do provedor que você conectar, e modelos locais saem de graça.
O benefícioOpen source
Open source
Software gratuito, sem conta. O custo é o do provedor conectado, ou zero, com modelos locais.
- Limites
- Limitado apenas pelo seu hardware e pelas cotas dos provedores
- Inclui
- 100+ provedores, inclusive Ollama e vLLM locais
- Página oficial
- Conferir na fonte
Você é o operador: atualizações, segurança e disponibilidade são sua responsabilidade.
Condições
- Docker ou Python 3.9+
- Configuração inicial via arquivo YAML
Modelos disponíveis5
| Modelo | Desenvolvedor | Contexto | Modalidades |
|---|---|---|---|
 Llama 3.3 70B Instruct llama-3-3-70b | Meta | 128 mil | texto |
 Qwen3 32B qwen3-32b | Alibaba | 131 mil | texto |
 Mistral Small 3.2 mistral-small-3-2 | Mistral | 128 mil | textoimagem |
 DeepSeek V3.2 deepseek-v3-2 | DeepSeek | 164 mil | texto |
 BGE-M3 bge-m3 | BAAI | 8 mil | embeddingtexto |
A disponibilidade de cada modelo pode variar. Confirme a lista atualizada na documentação oficial do provedor.
Como começar
- 01
- 02
Configure provedores
Crie um config.yaml com model_list e as chaves dos provedores que você quer usar.
Documentação - 03
Suba o proxy
Execute litellm --config config.yaml e use http://localhost:4000 como base URL.
Guia rápido
O JeitinhoAPI é um catálogo independente e não é afiliado ao LiteLLM. Requisitos, valores e limites podem mudar sem aviso.