大模型基础: 一文了解大模型基础知识

资源文件列表(大概)

文件名

大小

so-large-lm-main/

so-large-lm-main/.gitignore

2.24KB

so-large-lm-main/README.md

9.11KB

so-large-lm-main/docs/

so-large-lm-main/docs/.nojekyll

so-large-lm-main/docs/README.md

4.06KB

so-large-lm-main/docs/_sidebar.md

762B

so-large-lm-main/docs/content/

so-large-lm-main/docs/content/ch01.md

32.23KB

so-large-lm-main/docs/content/ch02.md

24.27KB

so-large-lm-main/docs/content/ch03.md

33.17KB

so-large-lm-main/docs/content/ch04.md

23.32KB

so-large-lm-main/docs/content/ch05.md

18.94KB

so-large-lm-main/docs/content/ch06.md

14.64KB

so-large-lm-main/docs/content/ch07.md

26.29KB

so-large-lm-main/docs/content/ch08.md

5.73KB

so-large-lm-main/docs/content/ch09.md

9.38KB

so-large-lm-main/docs/content/ch10.md

22.42KB

so-large-lm-main/docs/content/ch11.md

14.04KB

so-large-lm-main/docs/content/ch12.md

15.37KB

so-large-lm-main/docs/content/ch13.md

14.47KB

so-large-lm-main/docs/content/ch14.md

24.5KB

so-large-lm-main/docs/content/images/

so-large-lm-main/docs/content/images/act.png

453.59KB

so-large-lm-main/docs/content/images/adaptation_1.png.png

153.54KB

so-large-lm-main/docs/content/images/agent.png

343.63KB

so-large-lm-main/docs/content/images/agent_town.png

1016.83KB

so-large-lm-main/docs/content/images/ai-lifecycle.png

111.04KB

so-large-lm-main/docs/content/images/bart-transformations.png

39.01KB

so-large-lm-main/docs/content/images/base-results.png

63.13KB

so-large-lm-main/docs/content/images/bert.png

241.85KB

so-large-lm-main/docs/content/images/climate-change-effects.jpg

203.93KB

so-large-lm-main/docs/content/images/code-llama.png

44.89KB

so-large-lm-main/docs/content/images/data-1.png.png

49.68KB

so-large-lm-main/docs/content/images/disinformation.png

270.63KB

so-large-lm-main/docs/content/images/dmoe.png

72.78KB

so-large-lm-main/docs/content/images/download.png

307.02KB

so-large-lm-main/docs/content/images/electricity-emissions.png

118.79KB

so-large-lm-main/docs/content/images/emissions-country.png

28.58KB

so-large-lm-main/docs/content/images/emissions-graph.png

53.06KB

so-large-lm-main/docs/content/images/facebook-moe-results.png

31.16KB

so-large-lm-main/docs/content/images/facebook-moe-stereoset.png

97.23KB

so-large-lm-main/docs/content/images/few-shot-learner.png

369.74KB

so-large-lm-main/docs/content/images/glam-architecture.png

87.86KB

so-large-lm-main/docs/content/images/glam-results2.png

80.72KB

so-large-lm-main/docs/content/images/glam-trivia-qa.png

38.05KB

so-large-lm-main/docs/content/images/global_emissions_sector_2015.png

37.07KB

so-large-lm-main/docs/content/images/google-emissions-table.png

166.61KB

so-large-lm-main/docs/content/images/gopher-result.png

62.13KB

so-large-lm-main/docs/content/images/gopher.png.canvas

so-large-lm-main/docs/content/images/gpt-3-dataset.png.png

15.42KB

so-large-lm-main/docs/content/images/gpt3_arithmetic.png.png

139.83KB

so-large-lm-main/docs/content/images/gpt3_triviaQA.png.png

88.34KB

so-large-lm-main/docs/content/images/jacobs-moe.png

32.45KB

so-large-lm-main/docs/content/images/lightweight.png.png

98.51KB

so-large-lm-main/docs/content/images/llama-1-arch.png

90.74KB

so-large-lm-main/docs/content/images/llama-1-data.png

89.69KB

so-large-lm-main/docs/content/images/llama-1.jpg

1.02MB

so-large-lm-main/docs/content/images/llama-2-arch.png

164.43KB

so-large-lm-main/docs/content/images/llama-2-train.png

227.97KB

so-large-lm-main/docs/content/images/llama-2.png

62KB

so-large-lm-main/docs/content/images/llama-2vs1.png

171.85KB

so-large-lm-main/docs/content/images/llama-3-400-1.png

747.1KB

so-large-lm-main/docs/content/images/llama-3-400-2.png

78.64KB

so-large-lm-main/docs/content/images/llama-3-arch.png

30.91KB

so-large-lm-main/docs/content/images/llama-3-instruct.png

581.05KB

so-large-lm-main/docs/content/images/llama-3-pretrain.png

515.31KB

so-large-lm-main/docs/content/images/llama-3.png

320.7KB

so-large-lm-main/docs/content/images/llama-3vs2.png

225.52KB

so-large-lm-main/docs/content/images/llm+p.png

269.83KB

so-large-lm-main/docs/content/images/mixed-precision-training.png

326.49KB

so-large-lm-main/docs/content/images/moe-figure.png

99.48KB

so-large-lm-main/docs/content/images/parallelism-1.png

20.6KB

so-large-lm-main/docs/content/images/parallelism-2.png

49.75KB

so-large-lm-main/docs/content/images/parallelism-3.png

59.14KB

so-large-lm-main/docs/content/images/parallelism-4.png

38.46KB

so-large-lm-main/docs/content/images/parallelism-5.png

195.07KB

so-large-lm-main/docs/content/images/pile-dataset.png.png

160.78KB

so-large-lm-main/docs/content/images/prefix_ood.png.png

30.9KB

so-large-lm-main/docs/content/images/probing.png.png

151.35KB

so-large-lm-main/docs/content/images/prompt_result.png.png

67.97KB

so-large-lm-main/docs/content/images/promt_ood.png.png

42.26KB

so-large-lm-main/docs/content/images/rag-architecture.png

82.63KB

so-large-lm-main/docs/content/images/rag-example.png

43.82KB

so-large-lm-main/docs/content/images/rag-results.png

122.61KB

so-large-lm-main/docs/content/images/reflection.png

170.49KB

so-large-lm-main/docs/content/images/retro-lm-results.png

45.5KB

so-large-lm-main/docs/content/images/t5-supervised.png

59.15KB

so-large-lm-main/docs/content/images/t5-unsupervised-table.png

91.14KB

so-large-lm-main/docs/content/images/temperature-graph.jpg

52.12KB

so-large-lm-main/docs/content/images/tool.png

441.49KB

so-large-lm-main/docs/content/images/tool_study.jpg

92.32KB

so-large-lm-main/docs/content/images/tot.png

254.45KB

so-large-lm-main/docs/content/images/volunteer-dall-e.png

38.47KB

so-large-lm-main/docs/content/工具篇.md

4.63KB

so-large-lm-main/docs/content/探索篇.md

6.87KB

so-large-lm-main/docs/index.html

2.47KB

so-large-lm-main/专业词汇表

64B

资源内容介绍

人工智能、自然语言处理和机器学习领域的研究者和从业者：该项目旨在为研究者和从业者提供大规模预训练语言模型的知识和技术，帮助他们更深入地了解当前领域的最新动态和研究进展。学术界和产业界对大型语言模型感兴趣的人士：项目内容涵盖了大型语言模型的各个方面，从数据准备、模型构建到训练和评估，以及安全、隐私和环境影响等方面。这有助于拓宽受众在这一领域的知识面，并加深对大型语言模型的理解。想要参与大规模语言模型开源项目的人士：本项目提供代码贡献和理论知识，降低受众在大规模预训练学习的门槛。其余大型语言模型相关行业人员：项目内容还涉及大型语言模型的法律和道德考虑，如版权法、合理使用、公平性等方面的分享，这有助于相关行业从业者更好地了解大型语言模型的相关问题。

# 大模型基础已更新>[Datawhale开源大模型入门课-第一节-进击的AI：大模型技术全景](https://www.bilibili.com/video/BV14x4y1x7bP/?spm_id_from=333.999.0.0&vd_source=4d086b5e84a56b9d46078e927713ffb0)>> [文字教程：Llama开源家族：从Llama-1到Llama-3](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch14.md)> > [视频教程：Llama开源家族：从Llama-1到Llama-3](https://www.bilibili.com/video/BV1Xi421C7Ca/?share_source=copy_web&vd_source=df1bd9526052993d540dbd5f7938501f)## 项目受众1. 人工智能、自然语言处理和机器学习领域的研究者和从业者：该项目旨在为研究者和从业者提供大规模预训练语言模型的知识和技术，帮助他们更深入地了解当前领域的最新动态和研究进展。2. 学术界和产业界对大型语言模型感兴趣的人士：项目内容涵盖了大型语言模型的各个方面，从数据准备、模型构建到训练和评估，以及安全、隐私和环境影响等方面。这有助于拓宽受众在这一领域的知识面，并加深对大型语言模型的理解。3. 想要参与大规模语言模型开源项目的人士：本项目提供代码贡献和理论知识，降低受众在大规模预训练学习的门槛。4. 其余大型语言模型相关行业人员：项目内容还涉及大型语言模型的法律和道德考虑，如版权法、合理使用、公平性等方面的分享，这有助于相关行业从业者更好地了解大型语言模型的相关问题。## 项目简介&emsp;&emsp;本项目旨在作为一个大规模预训练语言模型的教程，从数据准备、模型构建、训练策略到模型评估与改进，以及模型在安全、隐私、环境和法律道德方面的方面来提供开源知识。&emsp;&emsp;项目将以[斯坦福大学大规模语言模型课程](https://stanford-cs324.github.io/winter2022/)和[李宏毅生成式AI课程](https://speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php)为基础，结合来自开源贡献者的补充和完善，以及对前沿大模型知识的及时更新，为读者提供较为全面而深入的理论知识和实践方法。通过对模型构建、训练、评估与改进等方面的系统性讲解，以及代码的实战，我们希望建立一个具有广泛参考价值的项目。&emsp;&emsp;我们的项目团队成员将分工负责各个章节的内容梳理和撰写，并预计在三个月内完成初始版本内容。随后，我们将持续根据社区贡献和反馈进行内容的更新和优化，以确保项目的持续发展和知识的时效性。我们期待通过这个项目，为大型语言模型研究领域贡献一份宝贵的资源，推动相关技术的快速发展和广泛应用。## 项目意义在当今时代，自然语言处理（NLP）领域以及其他人工智能（AI）的分支已经迎来了一场革命性的变革，这场变革的核心驱动力是大模型 (LLMs)的出现和发展。这些模型不仅构成了许多任务中最先进系统的基础，而且已经在医疗、金融、教育等众多行业展现出了前所未有的强大能力和应用潜力。随着这些大模型在社会层面的影响力日益扩大，它们已经成为了公众讨论的焦点，激发了社会各界对人工智能发展趋势和潜在影响的深入思考与广泛兴趣。然而，尽管这一领域引人注目，相关的讨论和文章的质量却是参差不齐，缺乏系统性和深度，这不利于公众对于这一技术复杂性的真正理解。正是基于这一现状，本教程的编写旨在填补这一空白，提供一套不仅易于理解但也理论丰富的大模型教程: 通过本教程，我们期望让广大群体不仅能够深刻理解大模型的原理和工作机制，而且能够掌握其在实际应用中的关键技术和方法，从而能够在这一领域内继续探索和创新。特别是对于自然语言处理领域的初学者来说，面对以大模型为核心的各种新兴技术和知识，能够快速上手并有效学习是进入这一领域的关键。当前现有的自然语言处理教程在大模型内容的覆盖上仍显不足，这无疑增加了初学者的学习难度。因此，本教程从最基础的概念讲起，逐步深入，力求全面覆盖大模型的核心知识和技术要点，使读者能够从理论到实践都有深刻的理解和掌握。> 关于实战的部分，欢迎学习同样是Datawhale出品的[self-llm开源课程](https://github.com/datawhalechina/self-llm)，该课程提供了一个全面实战指南，旨在通过AutoDL平台简化开源大模型的部署、使用和应用流程。从而使学生和研究者能够更高效地掌握环境配置、本地部署和模型微调等技能。在学习完大模型基础以及大模型部署后，关于Datawhale的大模型开发课程[llm-universe](https://github.com/datawhalechina/llm-universe)旨在帮助初学者最快、最便捷地入门 LLM 开发，理解 LLM 开发的一般流程，可以搭建出一个简单的 Demo。**我们坚信，通过这样一套全面而深入的学习材料，能够极大地促进人们对自然语言处理和人工智能领域的兴趣和理解，进一步推动这一领域的健康发展和技术创新。**## 项目亮点1. 项目的及时性：当前大模型发展迅速，社会和学习者缺少较为全面和系统的大模型教程2. 项目可持续性：当前大模型发展还在初期阶段，对行业的渗透还未全面展开，因此随着大模型的发展，该项目可持续的为学习者提供帮助## 项目规划**目录**1. [引言](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch01.md) - 项目目标：目前对大规模预训练语言模型的相关知识的重点讲解 - 项目背景：GPT-3等大型语言模型的出现，以及相关领域研究的发展2. [大模型的能力](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch02.md) - 模型适应转换：大模型预训练往下游任务迁移 - 模型性能评估：基于多个任务对GPT-3模型进行评估和分析3. [模型架构](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch03.md) - 模型结构：研究和实现RNN, Transformer等网络结构 - Transformer各层细节：从位置信息编码到注意力机制4. [新的模型架构](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch04.md) - 混合专家模型（MoE） - 基于检索的模型5. [大模型的数据](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch05.md) - 数据收集：从公开数据集中获取训练和评估所需数据，如The Pile数据集 - 数据预处理：数据清洗、分词等6. [模型训练](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch06.md) - 目标函数：大模型的训练方法 - 优化算法：模型训练所使用的优化算法7. [大模型之Adaptation](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch07.md) - 讨论为什么需要Adaptation - 当前主流的Adaptation方法（Probing/微调/高效微调） 8. [分布式训练](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch08.md) - 为什么需要分布式训练 - 常见的并行策略：数据并行、模型并行、流水线并行、混合并行9. [大模型的有害性-上](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch09.md) - 模型性能差异：预训练或数据处理影响大模型性能 - 社会偏见：模型表现出的显性的社会偏见10. [大模型的有害性-下](https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch10.md) - 模型有害信息：模型有毒信息的情况 - 模型虚假信息：大模型的虚假信息情况11. [大模型法律](https://gi

用户评论 (0)

发表评论

您的昵称:

评分

评论内容:

验证码:

大模型基础: 一文了解大模型基础知识

资源文件列表(大概)

资源内容介绍

用户评论 (0)

发表评论

相关资源

SagooIOT是一个基于golang开发的开源的企业级物联网基础开发平台负责设备管理和协议数据管理，支持跨平台的物联网接入

清华大学第六届人工智能挑战赛电子系赛道（原电子系第 24 届队式程序设计大赛）

20240725100124809307-864538.zip

20240726100125039578_54771.zip

大模型基础: 一文了解大模型基础知识

资源文件列表(大概)

资源内容介绍

用户评论 (0)

发表评论

相关资源

SagooIOT是一个基于golang开发的开源的企业级物联网基础开发平台 负责设备管理和协议数据管理，支持跨平台的物联网接入

清华大学第六届人工智能挑战赛电子系赛道（原电子系第 24 届队式程序设计大赛 ）

20240725100124809307-864538.zip

20240726100125039578_54771.zip

SagooIOT是一个基于golang开发的开源的企业级物联网基础开发平台负责设备管理和协议数据管理，支持跨平台的物联网接入

清华大学第六届人工智能挑战赛电子系赛道（原电子系第 24 届队式程序设计大赛）