Este proyecto configura un entorno local para ejecutar modelos de lenguaje con Ollama y una interfaz gráfica amigable usando Open WebUI.
- Servidor de modelos LLM local.
- Expone la API en el puerto
11434. - Soporte para GPU NVIDIA (comentado por defecto).
- Persistencia de modelos en
./modelsy datos en volumen Docker.
- Interfaz web para interactuar con modelos LLM usando la API de Ollama.
- Accesible en http://localhost:3000.
- Sin autenticación por defecto (
WEBUI_AUTH=False).
docker compose up -dEsto iniciará todos los servicios en segundo plano. Usa docker compose logs -f para ver los logs.