什么是自回归模型？
自回归模型是一类机器学习（ML）模型，通过对序列中先前的输入进行测量来自动预测序列中的下一个分量。自回归是一种用于时间序列分析的统计技术，它假设时间序列的当前值是其过去值的函数。自回归模型使用类似的数学技术来确定序列中元素之间的概率相关性。然后，它们使用所得知识来猜测未知序列中的下一个元素。例如，在训练期间，自回归模型处理了几个英语句子，并确定单词“is”始终跟在“there”一词之后。 然后，它会生成一个“there is”连在一起的新序列。
在生成式人工智能中如何使用自回归模型？
生成式人工智能（生成式 AI）是一种先进的数据科学技术，能够通过从海量训练数据中学习来创建独特的新内容。以下部分描述了自回归建模如何支持生成式人工智能应用程序。
自然语言处理 (NLP)
自回归建模是大型语言模型（LLM）的重要组成部分。LLM 由生成式预训练转换器（GPT）提供动力，这是一种源自转换器架构的深度神经网络。转换器由一个编解码器组成，分别支持自然语言理解和自然语言生成。GPT 仅使用解码器进行自回归语言建模。这使得 GPT 能够理解自然语言并以人类理解的方式做出回应。GPT 驱动的大型语言模型通过考虑它所训练的文本语料库的概率分布来预测下一个单词。
了解自然语言处理（NLP）
图像合成
自回归允许深度学习模型通过分析有限的信息来生成图像。像 PixelRNN 和 PixelCNN 这样的图像处理神经网络使用自回归建模通过检查现有像素信息来预测视觉数据。您可以使用自回归技术在保证质量的同时锐化、放大和重建图像。
时间序列预测
自回归模型有助于预测时间序列事件的可能性。例如，深度学习模型使用自回归技术根据历史值预测股票价格、天气和交通状况。
数据增强
ML 工程师使用精选数据集训练 AI 模型以提高性能。在某些情况下，没有足够的数据来充分训练模型。工程师使用自回归模型生成新的真实深度学习训练数据。他们使用生成的数据来增强现有的有限训练数据集。
自回归建模的工作原理是什么？
自回归模型使用线性回归分析的变体来预测给定变量范围内的下一个序列。在回归分析中，统计模型有几个自变量，用来预测因变量的值。
线性回归
您可以将线性回归想象成画一条最能代表二维图形上分布的平均值的直线。从直线上看，模型生成的新数据点与历史值的条件分布相对应。
考虑 y（因变量）和 x（自变量）之间的折线图方程的最简单形式；y=c*x+m，其中 c 和 m 对于 x 和 y 的所有可能值都是常数。因此，举例来说，如果（x,y）的输入数据集是（1,5）、（2,8）和（3,11）。要确定线性回归方法，需要使用以下步骤：
- 绘制一条直线，并衡量 1 和 5 之间的相关性。
- 根据新值（2,8）和（3,11）更改直线方向，直到所有值都拟合直线。
- 将线性回归方程表示为 y=3*x+2。
- 推断或预测当 x 为 4 时 y 为 14。
自回归
自回归模型应用线性回归，其输出中的滞后变量取自先前的步骤。与线性回归不同，自回归模型除了先前预测的结果外，不使用其他自变量。请考虑以下公式。
当用概率项表示时，自回归模型将自变量分布在 n 个可能的步骤上，假定前面的变量会有条件地影响后面变量的结果。
我们也可以用下面的方程来表示自回归建模。
在这里，y 是先前结果的多个阶数乘以它们各自的系数 ϕ 的预测结果。系数表示影响预测器对新结果的重要性的权重或参数。该公式还考虑了可能影响预测的随机噪声，表明模型并不理想，可以进一步改进。
滞后
数据科学家会添加更多滞后值，以提高自回归建模的准确性。他们通过增加 t 值来实现，其表示数据时间序列中的步骤数。更多的步骤允许模型捕获更多的过去预测作为输入。例如，您可以将自回归模型扩展为包括从 7 天到过去 14 天的预测温度，以获得更准确的结果。也就是说，增加自回归模型的滞后阶数并不总是能提高准确性。如果系数接近于零，则特定预测器对模型的结果几乎没有影响。此外，无限扩展序列会导致模型更加复杂，需要更多的计算资源才能运行。
什么是自相关？
自相关是一种统计方法，用于评估自回归模型的输出受其滞后变量的影响程度。数据科学家使用自相关来描述模型的输出和延迟输入之间的关系。相关性越高，模型的预测精度越高。以下是自相关的一些注意事项：
- 正相关性意味着输出遵循先前值中绘制的趋势。例如，该模型预测今天的股价将上涨，因为在过去几天中股价一直在上涨。
- 负相关性意味着输出变量与先前的结果相反。例如，自回归系统观察到过去几天都在下雨，但预测明天是晴天。
- 零相关性可能表示输入和输出之间缺乏特定的模式。
数据工程师使用自相关来确定他们应在模型中包含多少步来优化计算资源和响应精度。在某些应用中，自回归模型在使用最近的变量时可能显示出很强的自相关性，但对于较远的输入，自相关性较弱。例如，工程师发现，自回归天气预报器对过去 30 天以上的预测不太敏感。因此，他们修改了模型，仅包括过去 30 天的滞后结果。这样就可以使用更少的计算资源获得更准确的结果。
自回归和其他类型的回归分析技术有什么区别？
除了自回归外，还引入了几种回归技术来分析变量及其相互依存关系。以下部分描述了差异。
线性回归与自回归的比较
两种回归方法都假设过去的变量与未来的值呈线性关系。线性回归根据同一时间段内的多个自变量预测结果。同时，自回归仅使用一种变量类型，但将其扩展到几个点以预测未来的结果。例如，您可以使用线性回归根据天气、交通量和步行速度来预测通勤时间。或者，自回归模型使用您过去的通勤时间来估计今天的到达时间。
多项式回归与自回归的比较
多项式回归是一种捕捉非线性变量关系的统计方法。有些变量不能用直线线性表示，需要额外的多项式项来更好地反映它们之间的关系。例如，工程师使用多项式回归根据员工的教育水平分析他们的收入。同时，自回归适用于根据员工以前的工资预测员工的未来收入。
逻辑回归与自回归的比较
逻辑回归允许统计模型预测概率项中特定事件的可能性。它以百分比而非数字范围表示预测结果。例如，业务分析师使用逻辑回归模型来预测下个月供应成本增加的概率为 85％。相反，自回归模型根据其对前几个月的历史预测来预测可能的库存价格。
岭回归与自回归的比较
岭回归是线性回归的一种变体，它允许限制模型的系数。数据科学家可以调整惩罚因子，以补偿该系数对结果建模的影响。在岭回归模型中，参数系数可以抑制到接近零。当回归算法容易过度拟合时，这很有用。过度拟合是指模型可以很好地泛化训练数据，但不能泛化不熟悉的真实数据。同时，自回归模型没有系数惩罚机制。
套索回归与自动回归的比较
套索回归与岭回归类似，后者可以用惩罚因子限制变量系数。但是，套索回归可以将系数抑制为零。这就允许数据科学家通过忽略非关键参数来简化复杂的模型。同时，自回归模型不使用收缩系数来调节其预测。
AWS 如何为您的自回归模型提供帮助？
借助 Amazon Web Services（AWS），软件团队可以更有效地为生成式人工智能应用程序构建、训练、部署和扩展自回归模型。借助企业级安全性和托管式基础设施，AWS 简化了企业的生成模型开发并缩短了上市时间。例如，您可以使用：
- Amazon Bedrock 是一项托管式服务，可提供基础模型，您可以使用自己的数据进行自定义和创新。
- Amazon SageMaker 在任何使用情况下都可构建、训练和部署 ML 模型。
- AWS Trainium 和 AWS Inferentia 将利用高性能、低成本的计算能力在云端训练、托管和扩展生成式人工智能应用程序。
立即创建账户，开始在 AWS 上使用自回归模型。
