今天跟大家聊一聊大模型在時間序列預測中的應用。隨著大模型在NLP領域的發(fā)展，越來越多的工作嘗試將大模型應用到時間序列預測領域中。這篇文章介紹了大模型應用到時間序列預測的主要方法，并匯總了近期相關的一些工作，幫助大家理解大模型時代時間序列預測的研究方法。

1、大模型時間序列預測方法

最近三個月涌現(xiàn)了很多大模型做時間序列預測的工作，基本可以分為2種類型。

第一種是直接用NLP的大模型做時間序列預測。這類方法中，使用GPT、Llama等NLP大模型進行時間序列預測，重點是如何將時間序列數(shù)據(jù)轉換成適合大模型的輸入數(shù)據(jù)。

第二種是訓練時間序列領域的大模型。這類方法中，使用大量的時間序列數(shù)據(jù)集，聯(lián)合訓練一個時間序列領域的GPT或者Llama等大模型，并用于下游時間序列任務。

針對上述兩類方法，下面給大家分別介紹幾篇相關的經典大模型時間序列代表工作。

2、NLP大模型應用到時間序列

這類方法是最早出現(xiàn)的一批大模型時間序列預測工作。

紐約大學和卡內基梅隆大學聯(lián)合發(fā)表的文章Large Language Models Are Zero-Shot Time Series Forecasters中，對時間序列的數(shù)字表示進行了tokenize的設計，以此轉換成GPT、LLaMa等大模型可以識別的輸入。由于不同大模型對于數(shù)字的tokenize方式不一樣，因此使用不同的大模型時，也需要個性化的進行處理。例如GPT會把一串數(shù)字分割成不同的子序列，影響模型學習，因此本文將數(shù)字之間強行加入一個空格來適配GPT的輸入形式。而對于LLaMa等最近發(fā)布的大模型，一般對單獨的數(shù)字都進行分割，因此不再需要加空格操作。同時，為了避免時間序列數(shù)值太大，使輸入序列太長，文中進行了一些縮放操作，將原始時間序列的值限定在一個比較合理的范圍內。

上述處理后的數(shù)字字符串，輸入到大模型中，讓大模型自回歸的預測下一個數(shù)字，最后再將預測出的數(shù)字轉換成相應的時間序列數(shù)值。下圖中給出了一個示意圖，利用語言模型的條件概率建模數(shù)字，就是根據(jù)前面的數(shù)字預測下一位為各個數(shù)字的概率，是一種迭代的層次softmax結構，加上大模型的表征能力，可以適配各種各樣的分布類型，這也是大模型可以以這種方式用于時間序列預測的原因。同時，模型對于下一個數(shù)字預測的概率，也可以轉換成對不確定性的預測，實現(xiàn)時間序列的不確定性預估。

另一篇文章TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS提出了一種reprogramming方法，將時間序列映射到文本，實現(xiàn)時間序列和文本這兩種模態(tài)之間的對齊。

具體實現(xiàn)方法為，首先將時間序列分成多個patch，每個patch通過MLP得到一個embedding。然后，將patch embedding映射到語言模型中的詞向量上，實現(xiàn)時間序列片段和文本的映射和跨模態(tài)對齊。文中提出了一種text prototype的思路，將多個詞映射到一個prototype，以此來表示一段時間序列patch的語義。例如下圖例子中，shot和up兩個詞映射到紅色三角，對應時間序列中短期上升形式子序列的patch。

3、時間序列大模型

另一個研究思路是，借鑒NLP領域大模型的思路，直接構建一個時間序列預測領域的大模型。

Lag-Llama: Towards Foundation Models for Time Series Forecasting這篇文章搭建了時間序列中的Llama模型。核心包括特征層面和模型結構層面的設計。

在特征方面，文中提取了多尺度多類型的lag feature，主要是原始時間序列不同時間窗口的歷史序列統(tǒng)計值。這些序列作為額外的特征輸入到模型中。在模型結構方面，NLP中的LlaMA結構，核心是Transformer，對其中的normalization方式和position encoding部分做了優(yōu)化。最后的輸出層，使用多個head擬合概率分布的參數(shù)，例如高斯分布就擬合均值方差，文中采用的是student-t分布，輸出freedom、mean、scale三個對應參數(shù)，最后得到每個時間點的預測概率分布結果。

另一篇類似的工作是TimeGPT-1，構建了時間序列領域的GPT模型。在訓練數(shù)據(jù)方面，TimeGPT應用了海量的時間序列數(shù)據(jù)，總計100billion的數(shù)據(jù)樣本點，涉及多種類型的domain數(shù)據(jù)。在訓練過程中，使用更大的batch size和更小的學習率來提升訓練的魯棒性。模型主體結構為經典的GPT模型。

通過下面的實驗結果也可以看出，在一些零樣本學習任務中，這種時間序列預訓練大模型相比基礎的模型都取得了顯著的效果提升。

4、總結

這篇文章介紹了大模型浪潮下的時間序列預測研究思路，整體包括直接利用NLP大模型做時間序列預測，以及訓練時間序列領域的大模型。無論哪種方法，都向我們展現(xiàn)了大模型+時間序列的潛力，是一個值得深入研究的方向。