Guida GPU Hosting Dify 2026
Esegui LLM locali con Dify

Perché eseguire Dify su un server GPU?

Collegare Dify a un LLM ospitato localmente tramite Ollama o LocalAI elimina completamente la dipendenza dai provider AI cloud. Ecco cosa guadagni:

Confronto provider cloud GPU

I prezzi sono tariffe on-demand approssimative all'inizio del 2026. Le istanze riservate e spot sono tipicamente più economiche.

Prima di installare Dify o Ollama, devi avere i driver NVIDIA CUDA e il Container Toolkit affinché i container Docker possano accedere alla GPU.

Installa CUDA Toolkit 12.3

# Verifica se il driver NVIDIA è già installato
nvidia-smi

# Se non installato, aggiungi il repository NVIDIA
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt update

# Installa il toolkit CUDA (include i driver)
sudo apt install -y cuda-toolkit-12-3

# Riavvio necessario dopo l'installazione del driver
sudo reboot

Verifica GPU e configura Docker

# Dopo il riavvio, verifica che la GPU sia rilevata
nvidia-smi

# Installa NVIDIA Container Toolkit (per accesso GPU da Docker)
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Dopo aver eseguito nvidia-smi, dovresti vedere la tua GPU elencata con versione driver e VRAM. Se Docker può usare --gpus all, sei pronto per il passo successivo.

Ollama è il modo più semplice per servire LLM open-source sulla tua GPU. Rileva automaticamente CUDA e usa la GPU per l'inferenza.

Installa Ollama e scarica i modelli

# Installa Ollama (installer a riga singola)
curl -fsSL https://ollama.com/install.sh | sh

# Verifica che Ollama sia in esecuzione
ollama list

# Scarica modelli LLM
ollama pull llama3.1:8b
ollama pull mistral:7b
ollama pull codellama:13b

# Testa un modello
ollama run llama3.1:8b "Ciao, cosa puoi fare?"

Configura Ollama per tutte le interfacce di rete

Per impostazione predefinita Ollama ascolta solo su localhost. Per renderlo raggiungibile dai container Docker di Dify, associalo a 0.0.0.0:

# Modifica il servizio systemd di Ollama per ascoltare su tutte le interfacce
sudo systemctl edit ollama --force --full

# Trova la sezione [Service] e aggiungi:
# Environment="OLLAMA_HOST=0.0.0.0:11434"

# Applica le modifiche
sudo systemctl daemon-reload
sudo systemctl restart ollama

Configura docker-compose.override.yaml

Crea o modifica docker-compose.override.yaml nella directory Dify per risolvere host.docker.internal su Linux:

services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  worker:
    extra_hosts:
      - "host.docker.internal:host-gateway"

Con Ollama in esecuzione e raggiungibile, aggiungilo come provider di modelli in Dify:

1. Apri la tua istanza Dify e fai clic sull'avatar in alto a destra.
2. Vai a Impostazioni poi Provider modello.
3. Scorri verso il basso per trovare Ollama e fai clic su Aggiungi modello.
4. Imposta l'URL base su http://host.docker.internal:11434.
5. Inserisci il Nome modello esattamente come elencato da ollama list (es. llama3.1:8b).
6. Fai clic su Salva — Dify testerà la connessione. Un segno di spunta verde conferma il successo.
7. Il modello è ora disponibile in tutte le tue app e workflow Dify.

Se preferisci un'interfaccia API compatibile con OpenAI, LocalAI è un'eccellente alternativa a Ollama. Espone endpoint come /v1/chat/completions così puoi usare l'integrazione OpenAI esistente di Dify senza configurazioni extra.

Esegui LocalAI con Docker (GPU)

# Esegui LocalAI con Docker (con GPU)
docker run -d --gpus all -p 8080:8080 -v /path/to/models:/models --name local-ai localai/localai:latest-aio-gpu-nvidia-cuda-12

Una volta avviato, configura Dify con Provider modello: OpenAI-API-compatible, imposta l'URL base su http://host.docker.internal:8080/v1 e usa qualsiasi nome modello caricato in LocalAI. Nessuna API key è richiesta per distribuzioni locali.

Raccomandazioni modelli per caso d'uso

Scegli il modello in base alla VRAM disponibile e al compromesso qualità-velocità della tua applicazione.

Riferimento rapido VRAM

Requisiti approssimativi per inferenza a piena precisione (fp16). I modelli quantizzati (Q4/Q5) riducono la VRAM del 30–50%.

Guide correlate