先决条件
使用 LLaMA-Factory 进行模型微调,建议使用 Windows + NVIDIA GPU 环境,通过实际测试和友友反馈,macOS 平台下搭建 LLaMA-Factory 问题较多,本文没有包含任何 macOS 平台下搭建方法。
- MiniConda
- PyCharm
- CUDA Toolkit
- NVIDIA 显卡驱动
- Hugging Face Token
创建虚拟环境
conda create -n llama-factory python=3.11
输入 'y' 开始创建虚拟环境。
激活虚拟环境
使用虚拟环境最大的好处是多个项目之间互不影响,所以在每次操作 LLaMA-Factory 之前,首先确认当前虚拟环境,可以通过以下命令激活上一步创建的虚拟环境:
conda activate llama-factory
LLaMA-Factory
仍然使用命令行工具,切换到项目工作目录,克隆 Github 项目并通过 pip 安装依赖:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
启动 WebUI
切换至 LLaMA-Factory 文件夹下,执行 cli 命令:
llamafactory-cli webui
Hugging Face
LLaMA-Factory 使用 Hugging Face CLI 命令调用模型,需要自行创建,这里需要注意不要使用 Fine-grained 类型,否则在后期调用模型时会报错。
pip install huggingface-cli
安装结束后通过 huggingface-cli login 登录。