Abstract
정확도 높은 대부분의 예보 시스템 : Numerical weather prediction method(이하 NMP)에 기반
그러나 이러한 것들은 비용적인 측면에서 비싸다는 단점이 존재
현재 AI 기술을 기반으로 한 다양한 method가 개발 중 (높지 않은 정확도)
Pangu-Weather :
복잡한 날씨 패턴을 다루기 위해 지구 관련된 사전 지식을 기반으로 한 3차원 딥러닝 네트워크
계층적 집계 전략을 이용하여 중기 예보에서의 오류를 줄임.
39년 누적 데이터를 이용하여 분석하였으며 ECMWF와 비교하였을 때 여러 부분에서 우세함
극한 기상 및 ensemble한 기상 예보에서도 잘 작동하였으며 태풍을 추적하는 정확도 또한 ECMWF-HRES(H
igh-Resolution-Forecast)보다 높았음
Main Idea
전통적인 NMP method
편미분 방정식을 이용, 대기를 grid로 나누어 그 사이에 전이를 설명
단점 :
열 흘 정도의 날씨 예보를 위한 하나의 시뮬레이션이 노드를 슈퍼컴퓨터 수백대로 계산을 하는데도 몇시간이나 걸림.
또한 전통적인 NMP method는 *모수화에 크게 의존하는데 이때 풀리지 않는 과정을 설명하기 위해 대략적인 함수를 이용함. 이 부분에서 발생하는 근사치로 인하여 오류가 발생하기도 함
*모수화: 수치모델의 격자에서 명시적으로 표현하지 못하는 아격자 현상을 지배 방정식에 반영해 주는 방법
AI
딥 뉴럴 네트워크에 인풋과 아웃풋을 입력하여 그 관계를 포착하며 학습시킴
(input : 주어진 시각의 재분석된 날씨 데이터 / output : 목표 시각의 재분석된 날씨 데이터)
GPUs를 가지고 있는 컴퓨터 장치에서 AI를 베이스로 한 방법은 굉장히 빠름
FourCastNet2 모델이 24시간 예보를 진행. 소요시간 약 7초 but 정확도 낮음
5일 간의 Z500(500hPa 지오포텐셜) 예보의 RMSE(평균 제곱근 오차)는 484.5 ECMWF의 IFS의 333.7보다 훨씬 높음
Pangu Weather의 주요 기술적 기여 2가지
1. 3차원 개념화 :
deep neural networks에 높이 정보를 새로이 추가 및 차원으로 통합
딥 네트워크에 사전 정보를 주입하는 지구 특화 트랜스포머(이하 3DEST) 아키텍처를 설계
높이를 개별 차원으로 공식화함으로써 다른 압력 수준에서의 대기 상태를 포착
FourCastNet2와 같은 2차원 모델에 비하여 정확도가 향상되었음
2. 계층적 시간 집계 알고리즘 :
점차적인 리드 타임을 가지는 일련의 모델을 훈련시키는 계층적 시간 집계 알고리즘을 적용함.
이에 따라, 테스트 단계에서 중기 기상 예보를 위한 반복 횟수가 크게 줄어들었고, 누적 예측 오류가 완화됨.
ECMWF 재분석 5세대(ERA5) 데이터 실험에서 Pangu-Weather가 결정론적 예보와 극한 기상 예보에서 뛰어난 성능을 보였으며 IFS보다 10,000배 이상 빠른 속도를 냄
Global weather forecasting with 3D networks
Training
Input data:주어진 시각의 재분석 날씨 데이터
Output data : 미래 시각의 재분석 날씨 데이터
훈련 데이터 : ECMWF의 ERA5 data이용(1979-2017년,1시간 간격) 341,880 points
Model : lead time 1h, 3h, 6h, 24h 4개의 심층 네트워크 훈련을 100epochs 진행
각 네트워크 당 약 16일 소요되었으며 GPUs는 cluster of 192 NVIDIA Tesla-V100
Over-fitting 방지를 위하여 epoch 시작 시 훈련 데이터의 순서를 random하게 섞음
3D Earth-specific Transformer (3DEST) 아키텍처
입력 data : 13개의 상층 대기 변수와 지표 변수
Patch embedding : 데이터를 작은 패치로 분할 > 처리 효율 상승
Encoder & Decoder : 데이터 압축 및 원래 해상도 복원
지구 관련 사전 지식을 모델에 주입함으로써 예측 성능 또한 향상
• Lead time of medium-range weather : 7일 이상의 기간을 가짐
심층 네트워크를 리드 타임 1h, 3h, 6h, 24h를 반복적으로 호출
각 예측 결과를 다음 단계의 입력으로 사용하며 반복 횟수 자체를 줄일 수 있음
이러한 과정이 누적 예측 오류를 줄임
ex) Lead time : 56 hours > 24h x 2 + 6h x 1 + 1h x 2 실행
고정된 6시간 예측 모델을 사용하는 FourCastNet2와 비교하여 더 빠르고 정확
Result
• 단일 예보 모델에서의 낮은 RMSE & 높은 이상 상관 계수(ACC) 기록
Pangu-Weather : 296.7 / IFS : 333.7 / FourCastNet : 462.5
• Pangu-Weather의 추론 시간 : 단일 GPU에서 1.4초 기록
운영 중인 IFS보다 10,000배 이상 빠름 / FourCastNet과는 비슷
• 열대 저기압 추적(이후 소개) : 해수면 기압(MSLP)의 지역 최저점을 추적
2018년에 발생한 88개의 이름이 붙은 열대 저기압을 높은 정확도로 추적함
• ERA5 data에서 변하지 않은 초기 상태를 기반으로 한 결정론적 예측
Pangu-Weather / NWP와 AI를 일부 도입한 ECMWF의 IFS / NVIDIA의 FourCastNet 비교
Pangu-Weather의 공간 해상도 : 0.25° × 0.25°
예측 시간 간격(최소 단위) : Pangu-Weather 1hour, 이는 FourCastNet의 6분의 1에 해당
• Forecast time gain 개념
Pangu-Weather은 경쟁 모델에 비하여 리드 타임에서의 이득이 있음
IFS에 비하여 약 10-15시간 정도의 예측 시간 이득이 존재
FourCastNet에 비하여 약 40시간 정도의 예측 시간 이득이 존재
> AI 기반 방법은 풍부한 데이터로부터 효과적인 패턴을 학습할 수 있음을 시사
Tracking tropical cyclones
• 열대성 저기압 추적
NCEI에서 제공하는 국제 최적 추적 아카이브(IBTrACS)의 데이터를 참고함
초기 시점에서 예측을 시작, 리드 타임은 6시간의 배수로 설정
• 추적 방법
MSLP의 국소 최소값을 찾음으로써 열대성 저기압의 눈을 식별하여 확인
추적 정확도 비교:
Pangu-Weather: 통계적으로 ECMWF-HRES보다 더 정확한 추적
사이클론 눈 위치 추적 3일 평균 직접 위치 오차:
Pangu-Weather: 120.29 km | ECMWF-HRES: 162.28 km
Discussion
• 개선 방향
1. 여기서는 재분석된 데이터를 사용했으나 실제로는 관측 데이터 이용
2. 미포함된 기상 변수를 고려할 필요가 있음(ex.강수량)
3. 매끄럽고 평활한 AI-based method는 극한 기상 현상의 규모를 과소평가할 우려가 있음
4. 모델이 각자 다른 리드 타임을 이용하기 때문에, 이 부분에서 시간적 불일치가 발생할 수 있음
5. 시간 변수 등을 추가하여 4차원 딥 네트워크를 개발하여 정확도를 올릴 수 있음
