陈沙克日志 | shake Blog

神经网络的理解

Understand Of Neural Networks

最近看到了很多很好的学习材料，帮助我理解神经网络。用三种函数带你秒懂神经网络算法用Excel輕鬆建立、訓練和使用神經網路Neural Network 基于上面的材料，我整理自己的学习笔记。专业术语人工智能、机器学习、深度学习和神经网络关系，用一张图，就可以很容易说清楚。 CNN（卷积神经网络 Convolutional Neural Netw...

Posted by shake on February 1, 2024

Understand fine-tuning Parameters

大模型微调参数理解

在微调大模型的时候，看到很多参数，感觉参数间是有关系。所以这里整理我能理解的参数和互相关系。 epochs epochs：中文含义是纪元的意思，那么在微调里，就是一个周期。就是把数据集训练一次的含义。 dataset 数据集，在hanggingface上有大量开源的数据集，你可以拿来训练。大小不同，看数据集大小，就看有多少行数据。 guanaco-llama2-1k 这个数据集是...

Posted by shake on January 13, 2024

Official code run and testing Llama-2

官方文档运行和测试Llama-2

Llama-2的原始模型，其实我没运行过，尝试照着官方的文档运行，16G的显存，运行失败，看来是必须使用24G显存，才能直接运行起来。这次是在阿里的魔搭进行实验。 1 2 %cd /mnt/ !ls Llama-2-7b 下载Llama-2-7b 1 !git clone https://www.modelscope.cn/shakechen/Llama-2-7b.git ...

Posted by shake on January 7, 2024

How Many GPU Need For LLM Training

大模型算力计算

大模型要什么了解，最好的入门，就是计算训练一次大模型，需要多少张卡，多少时间。这个过程中，真的接触很多新的词汇。参考文章大模型训练为什么用 A100 不用 4090 语言模型的训练时间：从估算到 FLOPs 推导大模型算力推演优化实战 OpenAI 总监演讲深刻理解上面材料的内容，总结。 FLOPS FLOPS（floating-point ope...

Posted by shake on January 6, 2024

Purpose of Llama-2 Files

Llama-2文件用途介绍

日常访问huggingface的大模型，基本都是可以看到一堆文件，具体的用途，其实是一直困惑我的问题。今天整理一下。需要致谢一下这位博主：01coder 分享。 Tokenizer说明总结特斯拉前AI总监Andrej Karpathy使用说，大模型本质就是2个文件，一个是参数文件（权重文件，整个神经网络的权重），一个是包含运行这些参数的代码文件（用来运行这个神经网络的代码，可以...

Posted by shake on January 3, 2024

colab记事本

record all I use

已经成为Colab的深度用户，整理一下我colab使用的内容，基本都是和huggingface和大模型有关，其实也是方便自己查询。现在已经记不住东西。密钥登录huggingface是需要密钥，把colab的notebook分享出去，这个会导致你的密钥泄露。你是可以提前处理，但是总会有忘记的时候。 Colab提供密钥管理的功能，你可以把Huggingface的token存放并在col...

Posted by shake on January 2, 2024

Transformers 学习

Transformers入门

下面的内容都是来自各个学习的视频，我针对视频，整理我的理解。非常感谢这些博主的分享，我安装Llama 2一个多月，一堆问题，都是需要慢慢的解决和理解.下面是我做的笔记。你可是处女座啊 Transformers 常见自然语言处理任务情感分析(sentiment-analysis):对给定的文本分析其情感极性文本生成 (text-generation) : 根据给定的文本...

Posted by shake on December 31, 2023

How To Download LLM Llama 2

国内高效下载HuggingFace大模型

下载大模型，都是通过huggingface。以前Llama 2的下载，必须通过Meta才能下载，直接使用Meta的代码去Meta官方下载，国内是很容易中断，导致无法下载。现在你通过了Meta申请通过后，可以直接在huggingface进行下载。介绍国内从HuggingFace 下载大模型，也不容易，目前国内已经是无法直接访问HuggingFace。各种的mirror，代理，其实都...

Posted by shake on December 20, 2023

LLaMA2 FAISS LangChain for QA

Colab Deploy LLaMA 2.0, FAISS and LangChain

Colab Google 提供的colab实在是太方便了。免费用户，可以使用T4的GPU，通过这个基本可以完成很多实验。这次 LLaMA 2.0（大模型）, FAISS（向量数据库） and LangChain（链）来实现一个最问答系统的demo。这次实验是通过notebook来完成，把整个操作的过程都记录下来。 Using LLaMA 2.0, FAISS and LangChain...

Posted by shake on December 18, 2023

LLama2-7B Models Quantization Method

Quantization Method GGUF GPTQ AWQ

希望可以从零开始，一步一步进行模型的微调。发现第一步，就是需要拿llama 2的原始模型，进行格式的转换，国内外使用HuggingFace模型格式（简称HF格式）和其配套的通用代码进行微调是主流。这里就记录格式转换全过程。超详细LLama2+Lora微调实战访问HuggingFace，很多模型提供GGML,GGUF格式和GPTQ格式，目前GGML格式已经淘汰，使用GGUF替代，其实...

Posted by shake on December 13, 2023