stage1：预训练。为了拥有广泛的视觉-语言知识，我们的模型在弱标注和细粒度数据集的混合上进行训练。我们在第一阶段给予弱标注数据集较高的采样比例，以获得更多样化的知识。
stage2：多任务训练。为了提高MiniGPT-v2在每项任务上的表现，我们在这个阶段只专注于使用细粒度数据集来训练我们的模型。我们排除了像GRIT-20M和LAION这样的弱监督数据集，并根据每项任务的频率更新数据采样比例。这种策略使我们的模型能够优先考虑高质量的对齐图像-文本数据，以在各种任务上实现卓越的性能。
stage3：多模态指令调整。随后，我们专注于使用更多的多模态指令数据集来调整我们的模型，并增强其作为聊天机器人的对话能力。我们继续使用第二阶段的数据集，并添加指令数据集，包括LLaVA（刘等人，2023b）、Flickr30k数据集（Plummer等人，2015）、我们构建的混合多任务数据集，以及语言数据集，Unnatural Instruction（Honovich等人，2022）。我们为第二阶段的细粒度数据集给出较低的数据采样比例，而为新的指令数据集给出较高的数据采样比例。
BLEU （Bilingual Evaluation Understudy）是一种基于n-gram精度的评估指标，它通过计算机器翻译结果和参考翻译之间的n-gram匹配度来评估机器翻译的质量。
BLEU（Bilingual Evaluation Understudy）是一种评估机器翻译质量的方法，特别是它如何接近人类翻译的程度。BLEU分数是基于机器翻译输出与一组参考翻译之间的重叠程度来计算的。以下是BLEU分数的计算步骤：
选择N-gram：
计算N-gram精确度：
应用Brevity Penalty（BP）：
计算加权和：
计算几何平均值：
输出结果：
BLEU分数是一个快速且广泛接受的评估机器翻译质量的方法，但它也有局限性，例如它不能很好地评估语义的准确性和流畅性。因此，BLEU分数通常与其他评估方法一起使用，以获得更全面的翻译质量评估。
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种主要用于评估自动文摘和机器翻译的评估指标，它通过计算机器生成的摘要或翻译结果和参考摘要或翻译之间的n-gram重叠度来评估生成结果的质量。ROUGE指标主要关注评估生成的摘要或翻译与一组参考摘要或翻译之间的重叠程度。以下是几种常见的ROUGE指标的计算方法：
计算N-gram：
确定匹配的N-gram：
计算召回率：
计算最长公共子序列（LCS）：
计算长度比：
计算F-measure：
比如：”他每天都会去公园散步。”
在这个例子中，如果我们考虑bigram（两个连续词），句子中的”每天”和”散步”是连续的，而在生成句子中它们不是连续的。但是，如果我们考虑skip-bigram，我们可以看到”散步”和”公园”在两个句子中都是成对出现的，尽管它们在原文中不相邻。这表明生成的句子在语义上与参考句子保持了一定的连贯性。
计算skip-bigram：
确定匹配的skip-bigram：
计算召回率：
METEOR （Metric for Evaluation of Translation with Explicit ORdering）是一种综合考虑精度、召回率和语法流畅度的评估指标，它通过比较机器翻译结果和参考翻译在单词级别的匹配度来评估机器翻译的质量。METEOR考虑了词汇的匹配、句子结构、词形变化以及同义词。METEOR与BLEU分数不同，它不仅关注词的重叠，还关注词的顺序和意义。以下是METEOR分数的基本计算步骤：
METEOR分数的计算公式大致如下：
该算法首先计算 unigram 情况下的准确率P和召回率R（计算方式与BLEU、ROUGE类似），得到调和均值F值：
Meteor的特别之处在于，它不希望生成很“碎”的译文：比如参考译文是“A B C D”，模型给出的译文是“B A D C”，虽然每个unigram都对应上了，但是会受到很严重的惩罚。惩罚因子的计算方式为：
在评价句子流畅性的时候，用了 chunk 的概念（候选译文和参考译文能够对齐的、空间排列上连续的单词形成一个 chunk，这个对齐算法是一个有点复杂的启发式 beam search），chunk 的数目越少意味着每个 chunk 的平均长度越长，也就是说候选译文和参考译文的语序越一致。 unigrams_matched表示匹配上的unigram个数。
最后，METEOR计算为对应最佳候选译文和参考译文之间的准确率和召回率的调和平均：
用于机器翻译评测时，通常取 $\alpha$ =3，$\gamma$=0.5，$\theta$=3。
Refs：
https://blog.csdn.net/m0_62554628/article/details/136645353
https://developer.baidu.com/article/details/3121202
关联规则是一种条件语句，它们帮助揭示数据库、关系数据库或其他信息库中看似无关数据之间的关系。关联规则用于发现经常一起使用的对象之间的关系。关联规则的应用包括购物篮数据分析、分类、交叉营销、聚类、目录设计和领先损失分析等。
关联规则使用两个基本标准：支持度（support）和置信度（confidence）。它通过分析数据中的频繁使用的”如果/那么”模式来识别关系和生成规则。通常，关联规则需要同时满足用户指定的最小支持度和用户指定的最小置信度。
计算方法如下：
AIS算法由Agrawal、Imielinski和Swami首次提出的用于挖掘关联规则的算法。它专注于提高数据库的质量以及处理决策支持查询所需的必要功能。计算流程如下：
案例如下：
首先生成候选集{1}{2}{3}{5},支持度为2，3，3，3。下一步生产两个候选项集{1,3}{1,4}….{1,5},对应的支持度为2，1，…,1.这里当支持度大于等于2时记录为大项集{1,3}{2,3}{2,5}{3,5},下一步生产三个组合的项集，{1,3,4}{2,3,5}{1,3,5},此时发现{2,3,5}是最终的最大项集。
在SETM算法中，候选项目集在扫描数据库时即时生成，但在扫描结束时进行计数。然后，以与AIS算法相同的方式生成新的候选项目集，但生成交易的事务标识符TID与候选项目集一起以顺序结构保存。它将候选生成过程与计数过程分开。在扫描结束时，通过聚合顺序结构来确定候选项目集的支持计数。SETM算法具有与AIS算法相同的缺点。另一个缺点是，对于每个候选项目集，其条目数量与其支持值一样多。计算流程如下：
首先生成候选集{1}{2}{3}{5},支持度分别为2，3，3，3。下一步生产两个候选项集{1,3}{1,4}….{2,5},对应的TID2进行排序获得c2.进行聚合操作获得c3，发现有{1,3,4}{2,3,5}{1,3,5},{2,3,5}为最大项集。
Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。
基本思想：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样；然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。
AprioriTid算法对Apriori算法做了调整，它的特点是在第一次遍历数据库D之后，就不再使用数据库来计算支持度，而是用集合Ck来完成。
基本思想：跟Apriori算法的步骤基本相同，只是在第一次通过之后，数据库不用于计算候选项集；生成另一个集合C’，其中每个成员具有每个事务的TID以及该事务中存在的大项集，这个集用于计算每个候选项集。
又称FP-tree算法，是在不使用候选代的情况下查找频繁项集的另一种方法，从而提高了性能。其核心是使用名为频繁模式树（FP-tree）的特殊数据结构，保留了项集关联信息。
FP树是一种存储数据的树结构，如下图所示，每一路分支表示数据集的一个项集，数字表示该元素在某分支中出现的次数。
算法过程如下：
关联规则挖掘在数据挖掘领域具有广泛的应用前景，但同时也面临着一些挑战。未来的发展方向和挑战包括：
ref:
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=d4058d9f3f66c53ddea776c974fbd740afd994b4
https://www.jiqizhixin.com/graph/technologies/d44f694a-2363-4fd1-93d8-a77983bff15c
https://www.163.com/dy/article/FD5U7JV60528OOR6.html
https://zhuanlan.zhihu.com/p/62919869
https://iopscience.iop.org/article/10.1088/1757-899X/1099/1/012032/pdf
关键元素结构化思考（BEST：Basic Elements Structured Thinking）常见以下方法：
$$
信任=\frac{自制能力 \times 可靠性 \times 亲近程度}{自我利益取向}
$$
$$
人生成功=思维方式 \times 能力 \times 热情
$$
$$
销售业绩=线索数量 \times 漏斗各级转化率 \times 平均客单价
$$
见3V
对应intro，要有故事来支撑
对应related works，快速入门可以看一些review文章
对应related works，增加理解，需要对近几年的文章精读
关键在于算法与创新点设计，需要对前一部分2、3、4有深入理解，结合实际数据或场景需求
下图展示了用于下载和处理常见网络爬虫数据快照的整个pipline。
首先下载所有WET文件并分组保存为二进制文件，然后计算所有段落的哈希。
接着独立处理WET文件的每个文档：使用二进制文件对段落进行语言识别并计算语言模型困惑度从而删除重复数据。
最后按语言和困惑度分数将文档重新分组为json文件。
Common Crawl每月都会发布通过随机浏览和采样URL获得的网络快照。每个网页都有不同的可用格式：原始（WARC）、UTF-8文本（WET）和元数据（WAT）。
特点：1. 每月快照之间几乎没有内容重叠。2. 完整的数据包由8年来收集的数PB的数据组成。3. 网页是从整个网站上无限制地抓取的，包含有许多不同的语言。4. 文本的质量也有很大的差异。
每个快照包含 20 到 30TB 的未压缩纯文本，相当于大约 30 亿个网页（例如，2019 年 2 月的快照包含 24TB 的数据）。可以独立下载和处理每个快照。对于每个快照，将 WET 文件重新分组为每个 5GB 的shard。
这些shards被保存到JSON文件中，其中一个条目对应一个网页。
包括删除快照中不同网页中的重复段落，因为它们占文本的 70%。
首先通过将所有字符小写、用占位符（即 0）替换数字并删除所有 Unicode 标点符号和重音符号来标准化每个段落。
然后，重复数据删除通过两个独立的步骤完成。
首先，对于每个shard，我们计算每个段落的哈希码并将它们保存到二进制文件中。我们使用规范化段落的 SHA-1 的前 64 位作为密钥。
然后，我们通过将每个shard与所有二进制文件或其子集进行比较来消除重复数据。
这些步骤对于每个shard来说都是独立的，因此可以进行分布式。除了删除网络副本之外，此步骤还删除了许多样板文件，例如导航菜单、cookie 警告和联系信息。
特别是，它从其他语言的网页中删除了大量的英语内容。
这使得我们pipline的下一步的语言识别更加强大。
包括按语言拆分数据。
这里使用来自 fastText ，改语言分类器在Wikipedia，Tatoeba和SETimes上进行了训练。
它使用字符 n-gram 作为特征，并使用分层softmax。
它支持 176 种语言，并在 [0， 1] 范围内为每种语言输出分数。它在单个 CPU 内核上每秒处理 1k 个文档。
对于每个网页，我们计算出最可能的语言和相应的分类器分数。如果该分数高于0.5，我们将文档分类为相应的语言。
否则语言没有明确标识，我们丢弃相应的页面。
至此仍然存在内容质量低下的文档。
过滤掉这些样本的一种方法是计算网页与目标域（例如维基百科）的相似度分数。
此处建议使用在目标领域训练的语言模型的困惑度作为质量得分。
更准确地说，对于每种语言，根据目标域的数据训练一个tokenizer和语言模型。
这里使用 KenLM 库中实现的 5-gram Kneser-Ney 模型，因为它可以高效地处理大量数据。
然后，对数据集中的每个页面进行tokenization，并使用语言模型计算每个段落的困惑度。
困惑度越低，数据越接近目标域。
在此步骤结束时，每种语言被分平均地分为头、中、尾三个部分，对应于困惑度分数。
通过维基百科参考的页面和随机抽样的页面，训练一个MLP作为discriminator，来判断输入的页面是否为维基百科参考页面。
训练完成后通过改判别器丢弃一部分非参考页面。
reference：
Wenzek, Guillaume, Marie-Anne Lachaux, Alexis Conneau, Vishrav Chaudhary, Francisco Guzmán, Armand Joulin, and Edouard Grave. “CCNet: Extracting high quality monolingual datasets from web crawl data.” arXiv preprint arXiv:1911.00359 (2019).
https://www.datalearner.com/blog/1051682313146748
references:
https://www.v7labs.com/blog/neural-networks-activation-functions#:~:text=An%20Activation%20Function%20decides%20whether,prediction%20using%20simpler%20mathematical%20operations.
https://blog.csdn.net/weixin_45134475/article/details/123672283
https://zhuanlan.zhihu.com/p/92412922
$\sigma(x) = \frac{1}{1+e^{-x}}$
$tanh(x) = \frac{1-e^{-2x}}{1+e^{-2x}}$
$ReLU(x)=\left\lbrace\begin{array}{cll}
x & , & x \ge 0 \\
0 & , & x < 0
\end{array}\right.$
或
$ReLU(x) = \max(0, x)$
$ReLU(x)=\left\lbrace\begin{array}{cll}
x & , & x \ge 0 \\
0.1x & , & x < 0
\end{array}\right.$
或
$ReLU(x) = \max(0.1x, x)$
$ELU(x)=\left\lbrace\begin{array}{cll}
x & , & x \ge 0 \\
\alpha(e^x-1) & , & x < 0
\end{array}\right.$
$swish(x) = x*sigmoid(x) =\frac{x}{1+e^{-x}}$
$max(z_1, z_2, …)$
$softmax(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}$
通过mac自带的磁盘工具调整虚拟磁盘大小会报错，但是可以通过命令行调整。
如将Hello.dmg调整为7GB：
1 | hdiutil resize -size 7g Hello.dmg |
打开terminal运行以下指令：
1 | launchctl stop com.apple.CalendarAgent |
将YOURNOTEBOOKNAME替换为需要转换的文件名称，运行以下命令即可
1 | jupyter nbconvert --to script YOURNOTEBOOKNAME.ipynb |
如果使用了anaconda环境，且未将其设置为默认环境的话，可以在jupyter命令前补充安装路径。
以安装路径为“~/opt/anaconda3”为例：
1 | ~/opt/anaconda3/bin/jupyter nbconvert --to script YOURNOTEBOOKNAME.ipynb |