使用LLaMA-Factory对LLM大模型进行微调！训练专属于你的模型！_llama-factory怎么是哟你modelscope的deepseek训练集-天下标王

使用LLaMA-Factory对LLM大模型进行微调！训练专属于你的模型！

最新推荐文章于 2024-12-25 10:24:42 发布
MGS浪疯 最新推荐文章于 2024-12-25 10:24:42 发布
阅读量1k llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56109145/article/details/143982640

https://github.com/hiyouga/LLaMA-Factory

qwen2.5:7b:https://huggingface.co/Qwen

（因为目前LLaMA-Factory支持的模型有限，所以并没有采用腾讯开源的混元模型，但总体教程是一样的）

Baichuan 27B/13Bbaichuan2BLOOM/BLOOMZ560M/1.1B/1.7B/3B/7.1B/176B​ChatGLM36Bchatglm3Command R35B/104BcohereDeepSeek (Code/MoE)7B/16B/67B/236BdeepseekFalcon7B/11B/40B/180BfalconGemma/Gemma 2/CodeGemma2B/7B/9B/27BgemmaGLM-49Bglm4Index1.9BindexInternLM2/InternLM2.57B/20Bintern2Llama7B/13B/33B/65B​Llama 27B/13B/70Bllama2Llama 3-3.21B/3B/8B/70Bllama3LLaVA-1.57B/13BllavaLLaVA-NeXT7B/8B/13B/34B/72B/110Bllava_nextLLaVA-NeXT-Video7B/34Bllava_next_videoMiniCPM1B/2B/4Bcpm/cpm3Mistral/Mixtral7B/8x7B/8x22BmistralOLMo1B/7B​PaliGemma3BpaligemmaPhi-1.5/Phi-21.3B/2.7B​Phi-34B/7B/14BphiPixtral12BpixtralQwen (1-2.5) (Code/Math/MoE)0.5B/1.5B/3B/7B/14B/32B/72B/110BqwenQwen2-VL2B/7B/72Bqwen2_vlStarCoder 23B/7B/15B​XVERSE7B/13B/65BxverseYi/Yi-1.5 (Code)1.5B/6B/9B/34ByiYi-VL6B/34Byi_vlYuan 22B/51B/102Byuan

本文介绍了如何通过 LlamaFactory 原生数据集，实现支持 LoRA 微调模型的 vllm 批量推理。提供了完整代码实现和配置示例，展示了使用 vllm 加速推理的方式。测试结果表明vllm推理代码提升了推理效率。
使用LLaMA-Factory进行诗词数据集预训练
xuptyjs的博客
12-05 419
在魔搭社区下载开源的中国诗词数据集 数据预览该数据集仅有一列，且为csv格式，目前LLaMA-Factory微调仅支持alpaca格式和sharegpt格式，参考示例数据集中的c4_demo.json格式，因此首先对数据做预处理，代码如下： 转换后格式如下：上传到LLaMA-Factory/data文件夹后进行数据注册，打开dataset_info.json，添加内容：启动LLaMA-Factory可视化界面后，选择参数如下：然后开始训练即可
保姆级零基础微调大模型（LLaMa-Factory，多卡版）
K_Kelly_的博客
05-08 1万+
看到网上的教程很多都是教如何用webui来微调的，这里出一期命令行多卡微调教程~
三万字长文超详细解读LLama2！
穿着帆布鞋也能走猫步
04-18 4237
自从Transformer架构问世以来，大型语言模型（Large Language Models, LLMs）以及AIGC技术的发展速度惊人，它们不仅在技术层面取得了重大突破，还在商业应用、社会影响等多个层面展现出巨大潜力。 随着ChatGPT的推出，这一技术日益走进大众视野，这也预示着一个由生成式AI塑造的未来正在加速到来。 与此同时，Meta AI Meta AI在2023年推出了LLama（Large Language Model Meta AI）系列大语言模型，这一模型初期是以较为封闭的形式面向特定
【独家】万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
Datawhale
04-21 1万+
Datawhale干货作者：张帆，陈安东，Datawhale成员引言在AI领域，大模型的发展正以前所未有的速度推进技术的边界。北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama-1、Llama-2和Code-Llama之后的第三代模型，Llama-3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型。纵观Llama系列模型，从版本1到3，展示了大规模预训练...
LLM大模型入门（四）—— 基于peft 微调 LLaMa模型
瓦罗兰特顶级C位的博客
07-09 958
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。使用的大模型：https://huggingface.co/decapoda-research/llama-7b-hf，已经是float16的模型。微调数据集：https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json1）lora微调。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2030
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 16万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 8017
使用LLaMA-Factory高效微调qwen2-7b-instruct
LlamaFactory：解锁LLM微调效率的终极神器！
最新发布
Code1994的博客
12-25 740
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
【AI大模型】Transformers大模型库（一）：Tokenizer
2301_81940605的博客
08-13 687
Transformers 提供了数以千计的预训练模型，支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨是让最先进的 NLP 技术人人易用。
LLAMA预训练：大模型的潜力与挑战
weixin_41888295的博客
12-20 629
Bloom和LLAMA作为两个备受瞩目的预训练模型，在语言理解、语言生成和知识推理等方面都表现出色。它们的预训练方法包括数据采集、模型架构、训练方式和优化算法等多个方面，这些方法为其他大型深度学习模型的预训练提供了重要的参考和借鉴。未来，随着技术的不断发展，我们期待着更多的预训练模型能够为自然语言处理领域带来更多的突破和创新。大型深度学习模型的预训练目标是通过大规模语料库的训练，使模型能够掌握丰富的语言知识和技能，从而在各种自然语言处理任务中表现出色。Bloom和LLAMA的预训练都需要大规模的语料库。
源码部署lamt架构
m0_64505752的博客
10-11 506
【代码】源码部署lamt架构。
llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
jieshenai的博客
11-25 5128
介绍了如何使用该工具进行模型的微调和部署，内容涵盖工具的安装、模型下载、数据集准备、Lora 微调方法、命令行与 YAML 文件配置的训练流程，以及推理测试与多种部署方式。文章以实验流程为线索，结合图文演示，快速上手并高效完成 LLaMA-Factory 的实际应用。
Langchain-Chatchat 0.3.1保姆级部署教程
lining9508的博客
07-17 5万+
Langchain-Chatchat是一个基于 ChatGLM、Qwen 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的 RAG 与 Agent 应用项目。目前支持Agent、LLM对话、知识库对话、搜索引擎对话、文件对话、数据库对话、多模态图片对话、ARXIV文献对话、Wolfram对话、文生图、本地知识库管理、WEBUI等功能。
Lamma2 踩坑记录
s2765504026的博客
04-18 641
这里在tokenizer添加了一个pad_token，相比于原始的len(tokenizer)会➕1，并且将model的token_embeddings的大小增加1。我们在下载Lamma2模型的权重时，填写申请表格一出现 'China' 网页就没了，是不是不让中国用户使用lamma2了啊？这里使用的LlamaForCausalLM时Transformers写的一个用于文本生成的模型。这里的convert_llama_weights_to_hf.py脚本需要在。，在其基础上修改模型结构即可，常用的模型还是。
llama-factory llm - lora 模型合并与保存
11-18
llama-factory是一个用于深度学习模型开发和训练的开源库，它提供了各种工具和功能来简化模型开发的流程。在llama-factory中，llm和lora是两种常用的模型类型，它们分别代表了不同的深度学习模型架构。 要合并llm和lora模型，首先需要确保它们具有相同的输入和输出形状。然后可以使用llama-factory提供的模型合并工具来将它们合并成一个新的模型。在合并的过程中，需要考虑到每个模型的权重和参数，确保它们能够正确地融合在一起。 一旦模型合并完成，就可以使用llama-factory提供的模型保存功能将新模型保存到硬盘上。保存模型时，可以选择不同的格式和配置来满足不同的需求，比如选择不同的压缩算法或者保存为不同的文件类型。保存模型的同时，还可以保存模型的元数据和其他相关信息，以便在以后能够方便地加载和使用模型。 总的来说，llama-factory提供了一整套完善的工具和功能来处理深度学习模型的合并和保存。通过合并和保存模型，开发者可以更方便地管理和使用复杂的深度学习模型，从而加快模型开发和部署的速度。
MGS浪疯 CSDN认证博客专家 CSDN认证企业博客
码龄4年 暂无认证
17
原创
123万+
周排名
7万+
总排名
2万+
访问
等级
410
积分
160
粉丝
238
获赞
5
评论
196
收藏
新秀勋章
勤写标兵
创作能手
私信
青龙面板京东配置详细教程 4642
  • 快捷跳转软件打开指定页面？神奇的URL scheme介绍与简单使用 2111
  • 用云服务器来搭建一个微信机器人！还有web wechat！ 1221
  • 用vps搭建一个Minecraft服！BE 1176
  • 使用LLaMA-Factory对LLM大模型进行微调！训练专属于你的模型！ 1067

    • 最新评论

    • 用云服务器来搭建一个微信机器人！还有web wechat！

      2401_85250208: 微信公众号能不能接入呀，博主求教

    • 闲置服务器最大利益化 梦奈宝塔主机系统MNBT搭建教程

      CSDN-Ada助手: 恭喜您写了第5篇博客！标题“闲置服务器最大利益化 梦奈宝塔主机系统MNBT搭建教程”听起来就很有吸引力。您对利用闲置服务器进行最大利益化的思路很有创意，而且分享了梦奈宝塔主机系统MNBT搭建教程，对读者来说非常有帮助。我期待看到您的下一篇作品，也许可以进一步探讨如何优化服务器性能或者分享一些实用的网络安全知识。希望您能继续坚持创作，为大家带来更多有价值的内容。谦虚地向您致敬！

    • 腾讯云1-10元域名，不限新老用户！

      CSDN-Ada助手: 恭喜您第四篇博客《腾讯云1-10元域名，不限新老用户！》发布成功！您的内容一直都很有价值，对读者来说是一份难得的福利。接下来，建议您可以深入挖掘腾讯云域名的使用技巧，或者分享一些域名注册的注意事项，让读者更全面地了解这方面的知识。期待您的下一篇作品！ 如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5

    • 用云服务器来搭建一个微信机器人！还有web wechat！

      CSDN-Ada助手: 很高兴看到您分享了如此有趣和实用的内容，搭建微信机器人和web wechat的功能确实可以为学校建立新生群提供很大的帮助。除了拉人进群这些基本功能外，您还可以考虑添加一些自定义回复、消息定时发送等更多实用的功能，让机器人变得更加智能和便捷。 另外，关于服务器的选择和操作技巧，您可以进一步了解和学习服务器的安全设置、性能优化等方面的知识，以提高服务器的稳定性和效率。同时，也可以探索如何使用云数据库、接口调用等更多扩展功能，让您的微信机器人变得更加强大和多样化。期待看到您更多的创作，加油！ 如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2

    • 用vps搭建一个Minecraft服！BE

      CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天最佳新人】榜单，全部的排名请看 https://bbs.csdn.net/topics/618421286。

    目录

    为什么被折叠? 到【灌水乐园】发言
    前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值

    相关内容推荐

    肥乡区营销seo关键词优化流程越秀区市场seo优化价格多少seo 营销解决方案代发建阳效果好的seo介绍seo营销活动方案优化梅州seo优化效果站群怎么优化seo外推镇雄seo费用淘宝网怎么做seo优化金东区seo全网营销价格保定seo整站优化报价东莞seo方案怎么做seo162磁力荆州seo推广哪里好忠县智能化seo推广有哪些品牌河北站外seo优化理念宁波seo推广方式排名永泰seo优化seo数据采集网站制作旅游型seo网站主营业务北京市seo价格品牌seo加盟代理项目淄博网页优化seo福州抖音搜索seo优化排名金华seo产品镇江seo推广服务哪家好洛阳seo优化效果报价廊坊seo服务优化临沂济南seo优化哪家好seo技术教学课程推广产品广东seo推广收费标准甘肃seo优化网络推广2017中国seo排名seo哪个平台收录好徐州嘿逗网seo优化平台河北seo关键词排名优化服务浙江seo优化怎么做新郑市网络seo平台有哪些如何做seo排名整站seo优化推广广告南岸知名seo哪家好seo教程合集app推广长尾词边临seo排名优化益阳网页优化seo方案酉阳专业性seo推广包含什么湖南企业seo优化欢迎咨询seo学徒外链网廊坊seo服务佛山seo推广优化系统男女装店seo描述梅州seo优化效果seo软件资源优化随州seo推广价格seo免费精华课程分类佛山seo自然优化费用seo网络推广公司帖子上海seo优化收费标准潜江工厂seo推广哪个好seo优化公司哪里有seo教程奎文seo优化关键词网络营销是不是seo德州济南seo优化价格优惠宁波seo网络优化哪家好万词霸屏软件seo教程seo和自媒体怎么结合seo怎么做诊断数据关键词中国seo智能营销百度推广fuli黑料 seo神马下拉词优化千年seo长乐网页seo优化合肥网站seo推广公司浦城效果好的seo费用是多少推广外包实力乐云seo包成功天门seo网络推广都有哪些渠道百度seo新闻推广宁波正规整站seo系统专业seo优化哪个正规辽宁市场抖音seo优化哪家好美工好还是seo好荆门二类电商seo推广公司图木舒克seo网络营销方法网络推广seo技巧延安百度seo优化宁德抖音seo运营黄冈发帖seo推广哪家好武夷山企业seo价格潜江工厂seo推广公司排名淮南seo招聘信息视频营销对seo有用吗宜昌计算机seo推广多少钱宁波seo优化排名推广营销东丽区seo网络优化师滨海新区seo排名服务热线重庆涪陵抖音seo优化岳阳专业seo优化教育行业seo宜兴seo优化哪个公司靠谱seo查询程序宁波seo温州公司电话浙江seo网络推广推荐seo证件上街区网络seo机构有哪些seo推广如何挖掘外贸公司客户seo站内优化怎么做seo贵阳seo搜索优化服务武昌区seo网络推广seo css类名百度seo排名优化提花都seo排名优化推广b2b的三种运营模式seo公司昆明百度seo优化推广方法和平区专业seo推广哪家强康平正规抖音seo优化哪家便宜上海常规seo优化哪家便宜可以自学seosem和seo哪个容易入门霸屏温州seo推广价格优惠从化区运营seo优化价格多少广州创新seo优化值多少钱长乐企业seo排名seo优化内容包括哪些排名宁波seo如何做推广引流大连seo服务公司南京seo网站推广多少钱甘肃seo优化外包公司江苏正规seo优化新报价标题 seo 优化seo免费教程全集信息流留痕哈密seo网络营销平台常德关键词seo优化推广青海seo优化生产厂家大兴区一站式seo服务诚信经营seo的网络文案百度信息流推广代运营seo顾问沧州seo关键词优化收费标准蚌埠seo网络推广公司收费湖北seo优化诚信推荐铁岭seo优化有哪些方法齐齐哈尔短视频seo珠海seo推广的优势是什么宁波百度seo软件厂家seo新手入门必备seo博客保康seo推广优化河北专业seo推广有用吗江西长沙seo优化企业二级域名站群seo技巧seo公司 合法吗seo优化包括什么seo教程梁平区seo优化材料东莞360seo哪家专业杭州seo网址优化哪家好烟台seo优化推广哪家好潜江包年seo推广公司排名必火seo优化加盟代理项目小企业seo优化公司报价脉脉前端seo去一个公司做SEO应该怎样开始佛山整站seo珠海市商品seo优化品牌宜昌品牌seo推广哪里好seo淘宝客2020年河南专业seo推广方法有哪些黄石律师seo推广哪家好seo零基础自学教程信息流优化seo url分析理解SEO的发展状况seo线上推广代理发帖知名的关键词seo优化企业SEO服务培训包含什么seo最高工资建阳企业seo费用是多少传媒seo规划娄底seo优化师贾汪区专业seo需要多少钱上海特定seo优化方法湛江seo建站安康seo网络推广怎么做咸宁市seo关键词优化怎么做武昌seo优化费用seo获客方案网站seo外包服务公司河北百度seo推广平台沈阳网站seo外包济宁正规seo公司广州天河seo优化seo刷排名前十易速达宜家网站seo谷歌seo工作现在还好做么seo优化免费软件seo公司庐江seo优化外包价格秦皇岛seo搜索优化多少钱黄石本地seo推广钦北区seo整站优化服务SEO广告收费seo是不是没必要了网络推广sem与seo 排名seo标题优化技巧分类东莞网络优化专业乐云seo品牌西安最好的seo外包白帽seo黑帽seo

    合作伙伴

    天下标王

    龙岗网络公司
    深圳网站优化
    龙岗网站建设
    坪山网站建设
    百度标王推广
    天下网标王
    SEO优化按天计费
    SEO按天计费系统