로컬 LLM에서 OpenClaw를 돌리려고 모델 벤치마크.

Ollama에 올린 모델들 기준.

벤치마크 스크립트.

llm-benchmark.py

- Ollama API 모델 자동 감지
- 동일 프롬프트 3회 반복
- tok/s 측정
- JSON 결과 저장

llm-analyze.py

- 벤치마크 결과 JSON 파싱
- 성능 순위 생성
- Markdown 리포트 출력
- 최고/최저/평균 계산

실행.

python3 llm-benchmark.py http://localhost:11434

python3 llm-analyze.py llm_benchmark_YYYYMMDD_HHMMSS.json

결과.

qwen3:30b          68.69 tok/s
gpt-oss:20b        47.86 tok/s
neural-chat:7b     41.34 tok/s
mistral-openorca   40.39 tok/s
deepseek-r1:7b     38.86 tok/s
mistral:latest     34.78 tok/s
gemma2:9b          28.15 tok/s
orca2:13b          24.75 tok/s
llama2:13b         23.69 tok/s
dolphin-mixtral    20.89 tok/s
deepseek-r1:14b    20.46 tok/s
gemma3:12b         18.98 tok/s
phi4:14b           18.02 tok/s
gemma3:27b         10.11 tok/s
qwen3:32b           9.99 tok/s
qwen:32b            9.10 tok/s
deepseek-r1:70b     4.16 tok/s
llama3.3:70b        3.78 tok/s

최고:
qwen3:30b / 68.69 tok/s

최저:
llama3.3:70b / 3.78 tok/s

평균:
25.78 tok/s

qwen3:30b가 qwen3:32b보다 훨씬 빠름.

qwen3:30b
68.69 tok/s

qwen3:32b
9.99 tok/s

gemma도 비슷함.

gemma3:12b
18.98 tok/s

gemma3:27b
10.11 tok/s

70B 모델은 너무 느림.

llama3.3:70b
3.78 tok/s

deepseek-r1:70b
4.16 tok/s

삭제 대상.

ollama rm llama3.3:70b
ollama rm deepseek-r1:70b
ollama rm qwen3:32b
ollama rm qwen:32b
ollama rm gemma3:27b
ollama rm phi4:14b
ollama rm llama2:13b
ollama rm dolphin-mixtral

남긴 모델.

qwen3:30b
gpt-oss:20b
neural-chat:7b
mistral-openorca
deepseek-r1:7b
mistral:latest
gemma2:9b
orca2:13b
gemma3:12b
deepseek-r1:14b

속도 기준으로는 qwen3:30b가 제일 좋았음.