如果覺(jué)得我的算法分享對(duì)你有幫助，歡迎關(guān)注我的微信公眾號(hào)“圓圓的算法筆記”，更多算法筆記和世間萬(wàn)物的學(xué)習(xí)記錄～

時(shí)間序列預(yù)測(cè)問(wèn)題是根據(jù)一個(gè)序列的歷史值預(yù)測(cè)未來(lái)值。當(dāng)同時(shí)預(yù)測(cè)多個(gè)時(shí)間序列，并且各個(gè)時(shí)間序列之間存在空間上的關(guān)系時(shí)，就不能只將每個(gè)時(shí)間序列單獨(dú)建模，而應(yīng)該考慮不同時(shí)間序列之間的關(guān)系。例如，在交通預(yù)測(cè)場(chǎng)景中，需要預(yù)測(cè)不同地點(diǎn)的車流量，不同地點(diǎn)的車流量之間是存在空間上的關(guān)系的，例如A點(diǎn)的車20%在5分鐘后會(huì)開(kāi)往B點(diǎn)。仍然用傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法，即每個(gè)序列獨(dú)立地進(jìn)行預(yù)測(cè)，無(wú)法捕捉這種不同地點(diǎn)的空間關(guān)系信息。

目前解決時(shí)間+空間預(yù)估的方法主要包括基于圖的時(shí)序預(yù)估和基于矩陣分解的時(shí)序預(yù)估兩種方法。本文通過(guò)6篇頂會(huì)論文介紹了這兩種類型方法的發(fā)展歷程。

1. 圖時(shí)序預(yù)估方法

本節(jié)介紹幾個(gè)圖模型中的基礎(chǔ)概念，感興趣的同學(xué)可以深入其他圖學(xué)習(xí)相關(guān)文章繼續(xù)學(xué)習(xí)。N個(gè)節(jié)點(diǎn)組成的圖可以由一個(gè)N*N的臨接矩陣和一個(gè)N*N的度數(shù)矩陣表示。臨接矩陣中第(i, j)個(gè)元素表示節(jié)點(diǎn)i和節(jié)點(diǎn)j之間在圖上的距離，這個(gè)距離根據(jù)具體任務(wù)和圖而定；度數(shù)矩陣是一個(gè)對(duì)角矩陣，第(i, i)個(gè)元素表示節(jié)點(diǎn)第i個(gè)節(jié)點(diǎn)和幾個(gè)邊相連。圖的拉普拉斯矩陣由臨接矩陣和度數(shù)矩陣計(jì)算得到，簡(jiǎn)單來(lái)說(shuō)，拉普拉斯矩陣衡量了圖中兩兩節(jié)點(diǎn)之間信息傳遞關(guān)系（具體來(lái)說(shuō)，拉普拉斯矩陣是圖上的拉普拉斯算子，拉普拉斯算子是高維空間二階導(dǎo)數(shù)的推廣）。

通過(guò)拉普拉斯矩陣，我們可以將每個(gè)圖中每個(gè)節(jié)點(diǎn)的特征進(jìn)行擴(kuò)散到其他節(jié)點(diǎn)，得到每個(gè)節(jié)點(diǎn)考慮了圖中信息傳播后新的特征。圖卷積是圖模型的一種實(shí)例。在將傅立葉變換拓展到圖中時(shí)，發(fā)現(xiàn)傅立葉變換中的基就是圖的拉普拉斯矩陣的特征向量。這樣解決了Spatial卷積方法中，無(wú)法比較好的選擇鄰居節(jié)點(diǎn)、無(wú)向量化表示的問(wèn)題。

拉普拉斯矩陣有不同的形式，例如最基礎(chǔ)的拉普拉斯矩陣L=D-A，還有如下正則化拉普拉斯矩陣、隨機(jī)游走拉普拉斯矩陣等，不同的拉普拉斯矩陣反應(yīng)了圖上信息流動(dòng)方式的不同先驗(yàn)。

RNN是最基礎(chǔ)的時(shí)間序列預(yù)測(cè)深度學(xué)習(xí)模型，RNN天然的序列建模能力可以很好的處理時(shí)間序列數(shù)據(jù)。在RNN的基礎(chǔ)上，DIFFUSION CONVOLUTIONAL RECURRENT NEURAL NETWORK: DATA-DRIVEN TRAFFIC FORECASTING（ICLR 2018）提出DCRNN模型，通過(guò)將圖的思想引入RNN，使RNN能夠同時(shí)輸入空間中多個(gè)節(jié)點(diǎn)的時(shí)間序列，在學(xué)習(xí)時(shí)間維度依賴的同時(shí)，學(xué)習(xí)不同節(jié)點(diǎn)的空間關(guān)系。

GRU是RNN模型的一種，DCRNN在GRU的基礎(chǔ)上，將原來(lái)GRU中的全連接部分修改為diffusion convolutional layer（隨機(jī)游走拉普拉斯矩陣+全連接），公式可以表示為如下形式：

不論是普通的GRU還是DCRNN，都可以將整個(gè)圖上的所有節(jié)點(diǎn)序列同時(shí)輸入到模型中（相當(dāng)于一個(gè)batch）。GRU在建模時(shí)，每個(gè)時(shí)間序列的表示使用共享的全連接層分別進(jìn)行轉(zhuǎn)換，因此不同序列之間并沒(méi)有建立關(guān)系；而DCRNN中，模型根據(jù)臨接矩陣?yán)绽咕仃嚨男问?，可以生成一個(gè)不同節(jié)點(diǎn)表示的融合方式（矩陣），將每個(gè)序列的表示使用這個(gè)融合矩陣進(jìn)行一次轉(zhuǎn)換，輸出的還是每個(gè)序列的表示，只不過(guò)通過(guò)融合矩陣建立的不同序列的關(guān)系，每個(gè)序列生成的表示都是其他序列的某種加權(quán)平均。其他部分和RNN類似，是序列建模的結(jié)構(gòu)，模型整體結(jié)構(gòu)如下圖：

另一種模型框架是Graph WaveNet for Deep Spatial-Temporal Graph Modeling（IJCAI 2019）提出的TCN+GCN的結(jié)構(gòu)。TCN是一種應(yīng)用于時(shí)間序列預(yù)測(cè)的CNN模型，通過(guò)空洞卷積增大感受野面積，通過(guò)因果卷積防止數(shù)據(jù)泄漏。GCN就是圖卷積神經(jīng)網(wǎng)絡(luò)。Graph Wavenet采用的是一層時(shí)序模型+一層圖模型嵌套的方式實(shí)現(xiàn)的。第一層輸入圖中所有節(jié)點(diǎn)的時(shí)間序列數(shù)據(jù)，通過(guò)TCN每個(gè)序列獨(dú)立提取表示。在得到每個(gè)序列每個(gè)時(shí)刻的表示后，每個(gè)時(shí)刻內(nèi)所有節(jié)點(diǎn)的表示使用GCN進(jìn)行一次空間上的融合。假設(shè)輸入的維度是[N, T, D]，N表示節(jié)點(diǎn)數(shù)量，T表示時(shí)間長(zhǎng)度，D表示特征維度。經(jīng)過(guò)一層TCN后，維度變成[N, T', D']，這一步是每個(gè)序列獨(dú)立進(jìn)行的。接下來(lái)在T維度上，每一個(gè)時(shí)刻t都進(jìn)行圖卷積，得到[N, T', D'']。

由于在時(shí)序預(yù)估中，有一些場(chǎng)景并不存在明確的節(jié)點(diǎn)之間的圖關(guān)系，因此有一些工作將圖結(jié)構(gòu)的學(xué)習(xí)也融入到時(shí)序預(yù)估中端到端訓(xùn)練。也就是說(shuō)，這類方法的拉普拉斯矩陣，是網(wǎng)絡(luò)直接學(xué)出來(lái)的，而不是根據(jù)預(yù)先定義的臨接矩陣和度數(shù)矩陣計(jì)算得到的。在Graph Wavenet中就采用了這種方式。Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks（KDD 2020）中對(duì)這類方法不同的拉普拉斯矩陣學(xué)習(xí)方式進(jìn)行了對(duì)比。下表列出了不同的拉普拉斯矩陣生成方法的效果對(duì)比，這類方法的一半思路是根據(jù)每個(gè)節(jié)點(diǎn)的Embedding，通過(guò)不同的計(jì)算方式得到拉普拉斯矩陣中每個(gè)元素的值，這個(gè)值直接用于后續(xù)的圖學(xué)習(xí)，端到端和時(shí)序預(yù)估任務(wù)一起訓(xùn)練。

除了GCN外，基于Attention的圖時(shí)序預(yù)估模型也是一種主流方法。GMAN: A Graph Multi-Attention Network for Traffic Prediction（AAAI 2020，GMAN）提出了基于Attention的圖時(shí)序預(yù)估模型，在時(shí)間維度和空間維度都是通過(guò)Attention實(shí)現(xiàn)的。GMAN采用的模型框架與DCRNN、GraphWavenet都不同，GMAN在每層并行進(jìn)行時(shí)間維度和空間維度的信息提取，再通過(guò)Gate進(jìn)行融合。在時(shí)間維度，采用類似于Transformer的Attention模型，Encoder內(nèi)部、Decoder內(nèi)部、Encoder和Decoder之間進(jìn)行Attention。在空間維度，利用Attention機(jī)制計(jì)算每一對(duì)節(jié)點(diǎn)之間的Attention score，這個(gè)attention score的作用類似于拉普拉斯矩陣，用于生成融合了其他節(jié)點(diǎn)信息的當(dāng)前節(jié)點(diǎn)表示。模型整體結(jié)構(gòu)如下圖所示。

2. 基于矩陣分解的時(shí)序預(yù)估方法

基于分解的多序列聯(lián)合建模方法，利用矩陣分解的思路，該方法最早起源于Temporal Regularized Matrix Factorization for High-dimensional Time Series Prediction（NIPS 2016，TRMF）。整體思路如下圖，將所有時(shí)間序列組成一個(gè)矩陣N*T，然后通過(guò)矩陣分解的方法，將原矩陣分解成兩個(gè)子矩陣F（N*d）和T（d*T），其中d*T可以理解為d個(gè)組成當(dāng)前時(shí)間序列的base序列，數(shù)據(jù)中的所有序列都是由這些base序列的線性組合得到的。同時(shí)，為了讓矩陣分解得到的base序列符合時(shí)間序列的平滑特性，會(huì)對(duì)生成的每個(gè)base序列使用自回歸模型進(jìn)行約束。

在此基礎(chǔ)上，Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting（NIPS 2019，DeepGLO）提出了使用深度學(xué)習(xí)模型對(duì)base序列正則化。模型的損失函數(shù)由兩個(gè)部分組成，公式可以表示為：

第一項(xiàng)是矩陣分解的損失，第二項(xiàng)是分解得到的base序列使用深度模型進(jìn)行預(yù)測(cè)的損失。模型采用兩個(gè)損失迭代的方式進(jìn)行訓(xùn)練。首先固定深度模型，最小化第一項(xiàng)矩陣分解損失；接下來(lái)固定矩陣分解結(jié)果，訓(xùn)練深度時(shí)序模型，即固定第一項(xiàng)優(yōu)化第二項(xiàng)。文中采用的深度模型為TCN模型。

DeepGLO采用兩階段而非端到端的訓(xùn)練方式，可能得到的不是最優(yōu)解。Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting（AAAI 2021）設(shè)計(jì)了一種端到端的學(xué)習(xí)方法。原始的矩陣分解可以表示為Y=FX，進(jìn)而可以表示為Y=FF'Y，該方法將原來(lái)的矩陣分解部分改為AutoEncoder，即通過(guò)Encoder隱式得到base序列，再通過(guò)Decoder還原原始序列。對(duì)于第二項(xiàng)時(shí)序約束，本文在Encoder和Decoder之間引入LSTM，利用LSTM對(duì)生成的base序列進(jìn)行預(yù)測(cè)，以得到base序列的時(shí)序約束。整體損失仍然由兩部分組成，可以表示為如下形式，模型結(jié)構(gòu)如下圖：

3. 總結(jié)

本文介紹了當(dāng)面臨多個(gè)序列存在相關(guān)關(guān)系的時(shí)序預(yù)估問(wèn)題時(shí)采用的方法。主要包括兩大類方法，分別為圖時(shí)序預(yù)估方法和基于分解的多序列聯(lián)合建模方法。其中，圖時(shí)序預(yù)估方法通過(guò)對(duì)時(shí)序模型中引入圖模型實(shí)現(xiàn)，例如用圖修改RNN的模塊、圖模型和時(shí)序模型交替提取信息、圖模型和時(shí)序模型分別提取信息再融合等思路。圖模型的使用也包括圖卷積網(wǎng)絡(luò)、基于Attention的網(wǎng)絡(luò)等?；诜纸獾亩嘈蛄新?lián)合建模方法建立在矩陣分解結(jié)合時(shí)序平滑性約束的基礎(chǔ)上。從最初的TRMF演變到使用深度學(xué)習(xí)模型進(jìn)行時(shí)序平滑性約束，再到端到端的矩陣分解和時(shí)序平滑性約束端到端聯(lián)合學(xué)習(xí)

如果覺(jué)得我的算法分享對(duì)你有幫助，歡迎關(guān)注我的微信公眾號(hào)“圓圓的算法筆記”，更多算法筆記和世間萬(wàn)物的學(xué)習(xí)記錄～

【歷史干貨算法筆記，更多干貨公眾號(hào)后臺(tái)查看】

五花八門的多模態(tài)模型如何選擇？

一網(wǎng)打盡：14種預(yù)訓(xùn)練語(yǔ)言模型大匯總

NLP Prompt系列——Prompt Engineering方法詳細(xì)梳理

Domain Adaptation：缺少有監(jiān)督數(shù)據(jù)場(chǎng)景下的遷移學(xué)習(xí)利器

從ViT到Swin，10篇頂會(huì)論文看Transformer在CV領(lǐng)域的發(fā)展歷程