如何配置 LLaMA-Factory 服务器

发布于: 12 July, 2024
分享:

学习如何配置一台 LLaMA-Factory 服务器,随时随地可以继续微调工作

先决条件

使用 LLaMA-Factory 进行模型微调,建议使用 Windows + NVIDIA GPU 环境,通过实际测试和友友反馈,macOS 平台下搭建 LLaMA-Factory 问题较多,本文没有包含任何 macOS 平台下搭建方法。

  • MiniConda
  • PyCharm
  • CUDA Toolkit
  • NVIDIA 显卡驱动
  • Hugging Face Token

 

创建虚拟环境

conda create -n llama-factory python=3.11

 

输入 'y' 开始创建虚拟环境。 

激活虚拟环境

使用虚拟环境最大的好处是多个项目之间互不影响,所以在每次操作 LLaMA-Factory 之前,首先确认当前虚拟环境,可以通过以下命令激活上一步创建的虚拟环境:

conda activate llama-factory

 

LLaMA-Factory

仍然使用命令行工具,切换到项目工作目录,克隆 Github 项目并通过 pip 安装依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

 

启动 WebUI

切换至 LLaMA-Factory 文件夹下,执行 cli 命令:

llamafactory-cli webui

 

Hugging Face

LLaMA-Factory 使用 Hugging Face CLI 命令调用模型,需要自行创建,这里需要注意不要使用 Fine-grained 类型,否则在后期调用模型时会报错。

pip install huggingface-cli

安装结束后通过 huggingface-cli login 登录。

 

 

 

分享:

0 留言

留言

您的留言将被人工审核,请勿发表色情、反动言论。

您可能感兴趣

Ollama GPU 选型参考

Ollama GPU选择指南

TensorFlow 和 PyTorch 哪个更适合 Transformer 模型

TensorFlow 适合生产部署和大规模应用,而 PyTorch 在研究和快速原型开发中更受欢迎。