近日,阿里巴巴的達摩院提出了一種長時序預(yù)測的新FEDformer,該比業(yè)界最優(yōu)方法的精度提升了14.8%以上,并且已經(jīng)應(yīng)用于電網(wǎng)負荷預(yù)測。該論文已被機器學(xué)習(xí)領(lǐng)域的頂級學(xué)術(shù)會議ICML 2022收錄。ICML是機器學(xué)習(xí)領(lǐng)域的頂級學(xué)術(shù)會議,達摩院決策智能實驗室的論文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》關(guān)注了機器學(xué)習(xí)領(lǐng)域的經(jīng)典問題:時序預(yù)測。時間序列預(yù)測是指利用歷史數(shù)據(jù)預(yù)測未來信息。預(yù)測可分為短期、中期和長期預(yù)測,需要預(yù)測的時間窗口越長,預(yù)測難度就越大。這項技術(shù)在氣象、電力、零售、交通等諸多行業(yè)有廣泛應(yīng)用。傳統(tǒng)的時序預(yù)測一般采用LSTM、CNN等方法,但是效果不佳,因為這些對時序數(shù)據(jù)不夠敏感。近年來,研究人員開始將transformer引入長時序預(yù)測,但效果仍不夠理想,因為該核心中的注意力機制模塊對時序數(shù)據(jù)不夠敏感。為了解決這個問題,阿里巴巴的達摩院提出了新的FEDformer,它融合了transformer和經(jīng)典信號處理方法。例如,利用傅立葉/小波變換將時域信息拆解為頻域信息,讓transformer更好地學(xué)習(xí)長時序列中的依賴關(guān)系。FEDformer還能排除干擾,具有更好的魯棒性。新還專門設(shè)計了一個周期趨勢項分解模塊,通過多次分解以降低輸入輸出的波動,進一步提升預(yù)測精度。實驗證明,達摩院新在電力、交通、氣象等6個標準數(shù)據(jù)集上均取得最佳紀錄,預(yù)測精準度較此前業(yè)界最佳分別提升了14.8%(多變量)和22.6%(單變量)。目前,該已走出實驗室,在區(qū)域電網(wǎng)完成概念驗證,明顯提升了電網(wǎng)負荷預(yù)測的準確性。除了新FEDformer,阿里巴巴的達摩院還