AI

Run Llama 2 On Local With Simple Way

Llama-2 安装指南

Posted by shake on November 30, 2023

一直很纠结一个问题,在大模型那么流行的时候,我能干啥呢?如何能混入到大模型的圈子里?从哪里开始学习和了解大模型,适合我这种不会编程,不会算法人参与呢?

最后朋友给了一个思路,通过学习大模型的微调,可以让你实现大模型的入门。那么我就好好练习一把。

由于我没有专门的GPU,只能使用笔记本,用cpu来模拟GPU。所以需要专门选择支持cpu的大模型。笔记本的配置,建议16G内存。

选择了开源大模型:Llama-2 来测试学习。

LM Studio

安装和配置Llama 2,有很多方式,这次采用最简单的方式来快速搭建,基本可以理解是一键安装。

LM Studio支持windows ,apple,linux。解决大模型对本地的所有依赖,在LM Studio里,你就只需要下载大模型,就可以运行。

访问 LM Studio

下载相应的版本安装就可以,安装过程,没任何选项,就安装完毕。打开LM Studio。

LM Studio

默认你是可以直接通过搜索框去搜索你需要的大模型,不过因为在国内,导致无法搜索,哪怕有梯子,好像也不行。可以手工去huggingface 官网进行下载,把下载回来的大模型放到相应的目录就可以。

左边菜单的文件夹,其实就是存放大模型的地方,默认是在C盘,建议修改一下存储位置,这样不会导致系统盘塞满。大模型最小的规格都是3G以上。

大模型

存放路径有要求,参考我存放模型的路径。用户名是huggingface的用户名。

/path/to/models_folder/用户名/项目名/ModelName D:\models_folder\chenshake\chinese\Chinese-Llama-2-7b-ggml-q4.bin D:\models_folder\chenshake\en\llama-2-7b.ggmlv3.q4_0.bin

注册账号

你需要登录大模型的github,huggingface 官方网站 注册一个账号。

下载

英文LLama-2大模型

版本

找到 llama-2-7b.ggmlv3.q4_0.bin 进行下载。

中文Llama-2大模型

该文件的名称可以分解如下:

  • llama-2-7b:表示模型的名称和参数量。
  • ggml:表示模型支持CPU
  • q4_0:表示模型的量化方法。

具体来说,q4_0 表示该模型使用了 4 位量化方法。量化方法是一种减少模型大小和计算成本的方法,它通过将模型参数的值近似为较小的整数来实现。

Llama-2-7B 是一个通用的语言模型,它可以用于各种任务,包括:

  • 生成文本
  • 翻译语言
  • 回答问题
  • 写不同类型的创意内容

该文件可以用于在各种设备上部署 Llama-2-7B。

开始使用

直接选择左边的AI chat的菜单,就可以操作。选择你需要使用的大模型,就可以开始进行对话。

启动一个 New Chat

AI chat

中文

中文AI chat