ls -lh ~/my-llm/models/
总计 25G
-rw-rw-r-- 1 shitou shitou 4.4G  9月 16 12:15 DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
-rw-rw-r-- 1 shitou shitou 5.8G  9月 16 12:39 GLM-Z1-9B-0414-Q4_K_M.gguf
-rw-rw-r-- 1 shitou shitou 4.1G  9月 16 20:07 Mistral-7B-Instruct-v0.3-Q4_K_M.gguf
-rw-rw-r-- 1 shitou shitou 5.3G  9月 16 11:47 Qwen3.5-9B-Q4_K_M.gguf
-rw-rw-r-- 1 shitou shitou 4.7G  9月 24 23:45 Qwen3-8B-Q4_K_M.gguf
shitou@shitou:~$ cd ~/my-llm/llama-b10068
shitou@shitou:~/my-llm/llama-b10068$ ./llama-server \
  --models-dir ~/my-llm/models \
  --host 0.0.0.0 \
  --port 8080 \
  -ngl 999 \
  -c 8192 \
  -t 4
0.00.901.549 I cmn  common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg)
0.00.906.634 I srv   load_models: Loaded 0 cached model presets
0.00.907.024 I srv   load_models: Loaded 5 local model presets from /home/shitou/my-llm/models
0.00.907.148 I srv    operator(): Available models (5) (*: custom preset)
0.00.907.151 I srv    operator():     DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
0.00.907.151 I srv    operator():     GLM-Z1-9B-0414-Q4_K_M
0.00.907.151 I srv    operator():     Mistral-7B-Instruct-v0.3-Q4_K_M
0.00.907.152 I srv    operator():     Qwen3-8B-Q4_K_M
0.00.907.152 I srv    operator():     Qwen3.5-9B-Q4_K_M

在同一个局域网，就可以调用了。

sudo apt update && sudo apt install tmux -y

装完验证一下：

bash

nano ~/my-llm/start-llm.sh

#!/bin/bash
cd ~/my-llm/llama-b10068

./llama-server \
  --models-dir ~/my-llm/models \
  --host 0.0.0.0 \
  --port 8080 \
  -ngl 999 \
  -c 8192 \
  -t 4

第二步：加执行权限

bash

编辑

1chmod +x ~/my-llm/start-llm.sh

第三步：用起来

以后直接运行：

bash

编辑

1~/my-llm/start-llm.sh

就启动了。

更进一步：做成系统命令，哪里都能敲

目录下直接敲 llm-start 就启动，可以加个别名：

bash

编辑

1echo 'alias llm-start="~/my-llm/start-llm.sh"' >> ~/.bashrc
2source ~/.bashrc

编辑

1tmux -V

输出版本号就说明装好了。

然后就可以用了：

bash

编辑

1# 启动 llm 服务
2tmux new -s llm
3llm-start
4
5# 按 Ctrl+B 再按 D 分离会话，关掉终端服务也不会断
6# 想回来查看日志就 tmux attach -t llm
5# 按 Ctrl+B 再按 D 分离会话，关掉终端服务也不会断
6# 想回来查看日志就 tmux attach -t llm



llm-start

服务就跑起来了，日志会正常输出在屏幕上。

第二步：分离会话（关键步骤）

服务跑起来后，按 Ctrl+B（先按住 Ctrl 和 B，松开），再按 D。

屏幕会显示 [detached]，表示你已经从这个会话里"退出来"了，但服务还在后台跑着。这时候你可以关掉终端、断开 SSH，服务都不会断。

以后想回来查看日志

bash

编辑

1tmux attach -t llm