李宏毅2024春《生成式人工智能导论》2【雪梅AI学习日记】

用户2526

2025年8月21日修改

《李宏毅2024春《生成式人工智能导论》

第6讲：大型语言模型修炼史-第一阶段

第一阶段：自我学习，累积实力

第二阶段：名师指点，发挥潜力

第三阶段：参与实战，打磨技巧

所有的阶段都是在学文字接龙，只是训练资料不同

找参数的挑战

超参数

训练成功，但测试失败（overfitting）

机器学习时只管找到的参数有没有【符合】训练资料，不管有没有道理​

如何让机器找到比较【合理】的参数

1.
增加训练资料的多样性​

2.
初始参数,【好】的参数​

第一阶段：自我学习，累积实力

需要多少文字才够学会文字接龙？

语言知识

世界知识

任何文字资料都可以拿来学文字接龙

网络→大量文字资料→训练资料

Self-supervised Learning自督导式学习

资料清理：

Content Filtering 过滤有害内容

Text Extraction 去除HTMLtag（保留项目符号等）

Quality Filtering 去除低品质资料

Repetition Removal / Document Deduplilcation去除重复资料

Test-set Filtering 为了实验的严谨

所有文字资料都能拿来学文字接龙吗？

李宏毅2024春《生成式人工智能导论》2【雪梅AI学习日记】​