qwen3:30b가 벤치마크에서는 정상인데 Open WebUI 채팅에서는 500 에러.

Docker Ollama에서 모델 로드 실패.

로그 확인.

docker logs ollama-1 | grep -E "error|Error|failed"

에러.

GGML_ASSERT(ggml_nbytes(src0) <= INT_MAX) failed
llama runner 프로세스 crash (exit status 2)

Docker 컨테이너에서 qwen3:30b MoE 모델 처리 중 실패.

호스트에서 직접 돌린 벤치마크는 정상.

Docker Ollama 중지.

docker stop ollama-1 ollama-2

호스트 바이너리로 Ollama 실행.

nohup /usr/local/bin/ollama serve > /tmp/ollama.log 2>&1 &

systemd 서비스로 변경.

[Unit]
Description=Ollama Service
After=network.target

[Service]
Type=simple
User=<user>
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_NUM_PARALLEL=5"
Environment="OLLAMA_MAX_QUEUE=512"
Environment="OLLAMA_KEEP_ALIVE=5m"
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=10
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target

적용.

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

처음에는 이렇게 해서 실패.

ExecStart=/usr/local/bin/ollama serve --host 0.0.0.0:11434

Ollama는 --host 옵션이 없었음.

OLLAMA_HOST 환경변수로 지정해야 함.

Nginx 프록시도 같이 터짐.

502 Bad Gateway.

기존 설정 확인.

docker exec ollama-nginx cat /etc/nginx/nginx.conf | grep upstream -A 5

문제 설정.

upstream ollama_backend {
    server ollama-1:11434
    server ollama-2:11434
}

이미 중지한 Docker 컨테이너를 계속 보고 있었음.

Nginx 다시 생성.

docker rm -f ollama-nginx
docker run -d --name ollama-nginx -p 8080:80 nginx:alpine

새 설정.

server {
    listen       80;
    listen  [::]:80;

    location /api/ {
        allow all;
        
        proxy_pass http://<remote-host-ip>:11434;
        proxy_set_header Host <remote-host-ip>:11434;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_buffering off;
        proxy_request_buffering off;
    }

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
}

리로드.

docker exec ollama-nginx nginx -s reload

Host 헤더도 문제였음.

실패.

proxy_set_header Host $host;

결과.

400 Bad Request: malformed Host header

수정.

proxy_set_header Host <remote-host-ip>:11434;

최종 구조.

Open WebUI
-> Nginx 8080
-> host Ollama 11434

SSH 접속도 외부 포트 직접 노출에서 VPN 경유로 바꿈.

기존.

ssh -p 5022 <user>@<remote-server>

변경.

openvpn ~/.ssh/chloe-main.ovpn

ssh -p 22 <user>@<remote-host-ip>

상태.

Ollama 서비스
host binary + systemd

qwen3:30b
정상

병렬 처리
OLLAMA_NUM_PARALLEL=5
OLLAMA_MAX_QUEUE=512

프록시
Nginx -> host Ollama