如何配置 Ollama 服务器

发布于: 12 May, 2024
分享:

Ollama 服务器可以通过环境变量进行配置。

在 Mac 上设置环境变量:

如果 Ollama 作为 macOS 应用程序运行,则应使用 launchctl 设置环境变量:

1. 为每个环境变量,调用 launchctl setenv。

launchctl setenv OLLAMA_HOST "0.0.0.0"

2. 重启 Ollama 应用程序。

在 Linux 上设置环境变量

如果 Ollama 作为 systemd 服务运行,则应使用 systemctl 设置环境变量:

1.  通过调用 systemctl edit ollama.service 编辑 systemd 服务,执行该命令后会打开一个编辑器。

2. 为每个环境变量,在 [Service] 部分下添加一行 Environment:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

3. 保存并退出。

4. 重新加载 systemd 并重启 Ollama:

systemctl daemon-reload
systemctl restart ollama

在 Windows 上设置环境变量

在 Windows 上,Ollama 继承您的用户和系统环境变量。

1. 首先通过单击任务栏中的 Ollama 退出程序

2. 从控制面板编辑系统环境变量

3. 为您的用户帐户编辑或创建 OLLAMA_HOST、OLLAMA_MODELS 等新变量。

4. 单击确定/应用保存

5. 从新的终端窗口运行 Ollama

 

如何在网络上公开 Ollama?

默认情况下,Ollama 绑定 127.0.0.1 端口 11434。使用 OLLAMA_HOST 环境变量更改绑定地址。

有关如何在您的平台上设置环境变量,请参阅上面的部分。

如何将 Ollama 与代理服务器一起使用? Ollama 运行一个 HTTP 服务器,可以使用 Nginx 等代理服务器公开。为此,请配置代理以转发请求并有选择地设置所需的标头(如果不在网络上公开 Ollama)。例如,使用 Nginx:

server {
    listen 80;
    server_name example.com;  # Replace with your domain or IP
    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
    }
}
分享:

0 留言

留言

您的留言将被人工审核,请勿发表色情、反动言论。

您可能感兴趣

Ollama GPU 选型参考

Ollama GPU选择指南

TensorFlow 和 PyTorch 哪个更适合 Transformer 模型

TensorFlow 适合生产部署和大规模应用,而 PyTorch 在研究和快速原型开发中更受欢迎。

如何配置 LLaMA-Factory 服务器

学习如何配置一台 LLaMA-Factory 服务器,随时随地可以继续微调工作