DGX Ollama를 Open WebUI에 붙여서 챗봇처럼 써본 작업.

목표는 로컬 LLM에서 OpenClaw를 돌릴 수 있는지 보기 위한 테스트.

구성.

Main 서버
Open WebUI

DGX
Ollama
Nginx
GPU

Ollama docker-compose.

services:
  ollama-1:
    image: ollama/ollama:latest
    container_name: ollama-1
    ports:
      - "32777:11434"
    environment:
      - OLLAMA_NUM_PARALLEL=5
      - OLLAMA_KEEP_ALIVE=5m
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    volumes:
      - ollama-data:/root/.ollama

처음엔 Ollama 인스턴스를 2개로 잡았는데 메모리 중복 로드가 생김.

ollama-1: codellama:34b 33.8GB
ollama-2: codellama:34b 33.8GB

합계 67.6GB.

ollama-2 중지하고 단일 인스턴스로 운영.

Open WebUI 설정.

services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "8080:8080"
    environment:
      - OLLAMA_BASE_URL=http://remote-llm-server:8080
      - WEBUI_AUTH=true
      - ENABLE_SIGNUP=true
      - RAG_EMBEDDING_ENGINE=
    volumes:
      - open-webui-data:/app/backend/data

RAG는 비활성화.

동시 접속 테스트.

프롬프트.

Say hello in 5 words

neural-chat:7b

5명
100%
5-15초

10명
100%
0.4-3.6초

20명
100%
0.4-3.9초

50명
100%
0.4-5초

codellama:34b

10명
100%
10-14초

20명
100%
2-9초

50명
100%
2-28초

모델 순차 로드 테스트.

neural-chat:7b
3.8GB
6.0초
6.7GB

mistral:latest
4.1GB
8.0초
31.7GB

mistral-openorca:latest
3.8GB
8.3초
56.4GB

deepseek-r1:7b
4.4GB
14.4초
40.7GB

gemma2:9b
5.1GB
8.3초
60.0GB

codellama:13b
6.9GB
14.9초
90.7GB

orca2:13b
6.9GB
8.7초
42.7GB

gemma3:12b
7.6GB
13.3초
95.5GB

deepseek-r1:14b
8.4GB
61.3초
메모리 부족

gpt-oss:20b
12.8GB
9.4초
30.1GB

qwen3:30b
17.3GB
2.2초
모델 파일 손상

codellama:34b
17.7GB
21.4초
63.9GB

Ollama 자동 메모리 관리 확인.

90.7GB -> 42.7GB
95.5GB -> 30.1GB

OLLAMA_KEEP_ALIVE=5m 설정으로 미사용 모델 자동 언로드.

모니터링.

GPU 사용률
GPU 메모리
GPU 온도

Prometheus / Grafana로 확인.

가능성은 봤다.

단순 챗봇 용도로는 충분히 동작함.