Neural General Circulation Models for Weather and Climate

https://arxiv.org/abs/2311.07222

Neural General Circulation Models for Weather and Climate

 

요약

일반 순환 모델(GCM)은 날씨와 기후 예측의 기초입니다. GCM은 구름 형성과 같은 소규모 과정을 조정된 표현과 대규모 역학을 위한 수치 해석기를 결합한 물리 기반 시뮬레이터입니다. 최근에는 재분석 데이터로 학습된 기계 학습(ML) 모델이 결정론적 날씨 예측에서 GCM과 비슷하거나 더 나은 성능을 보였습니다. 그러나 이러한 모델은 향상된 앙상블 예측을 보여주지 못했거나 장기적인 날씨와 기후 시뮬레이션에서 충분한 안정성을 보이지 못했습니다. 여기에서는 대기 역학을 위한 미분 가능한 해석기와 ML 구성 요소를 결합한 최초의 GCM을 소개하고, 이 모델이 결정론적 날씨, 앙상블 날씨 및 기후 예측에서 최고의 ML 및 물리 기반 방법과 동등한 수준의 예측을 생성할 수 있음을 보여줍니다. NeuralGCM은 1-10일 예측에서 ML 모델과 경쟁할 수 있으며, 1-15일 예측에서 유럽 중기 기상 예측 센터의 앙상블 예측과 경쟁할 수 있습니다. 주어진 해수면 온도 하에서 NeuralGCM은 수십 년 동안 전지구 평균 온도와 같은 기후 지표를 정확하게 추적할 수 있으며, 140km 해상도의 기후 예측에서는 열대 저기압의 현실적인 빈도와 경로와 같은 자생적 현상이 나타납니다. 날씨와 기후 모두에서 우리의 접근 방식은 기존 GCM에 비해 몇 배의 계산 절약을 제공합니다. 우리의 결과는 엔드 투 엔드 심층 학습이 기존 GCM이 수행하는 작업과 호환되며, 지구 시스템을 이해하고 예측하는 데 필수적인 대규모 물리적 시뮬레이션을 향상시킬 수 있음을 보여줍니다.

 

서론

지구 대기의 방정식을 해결하는 일반 순환 모델(GCM)은 날씨와 기후 예측의 기초입니다 [1, 2]. 지난 70년 동안 GCM은 더 나은 수치 해석 방법과 더 세부적인 물리적 모델로 꾸준히 개선되었으며, 더 빠른 컴퓨터를 활용하여 더 높은 해상도로 실행되었습니다. GCM 내에서는 구름, 복사, 강수와 같은 해결되지 않은 물리적 과정이 반경험적 매개변수화로 표현됩니다. GCM을 과거 데이터에 맞추는 작업은 여전히 수작업으로 이루어지며 [3], GCM은 많은 지속적인 오류와 편향을 유지합니다 [4-6]. 장기 기후 예측의 불확실성을 줄이는 어려움 [7]과 극단적인 날씨 이벤트의 분포를 추정하는 것은 기후 완화 및 적응에 큰 도전 과제를 제시합니다 [9].

 

최근 기계 학습(ML)의 발전은 날씨 예측에 대한 대안을 제시했습니다 [10-13]. 이러한 모델은 ECMWF(유럽 중기 기상 예측 센터) 재분석 v5(ERA5) [14]의 약 40년 간의 역사적 데이터를 사용하여 모델 학습 및 예측 초기화를 수행합니다. ML 방법은 놀라운 성공을 거두어, 전통적인 모델의 일부분의 계산 비용으로 1-10일 날씨 예측에서 최첨단 결정론적 예측을 보여주었습니다 [12, 13]. ML 대기 모델은 또한 상당히 적은 코드가 필요합니다. 예를 들어, GraphCast [13]는 5417 라인, NOAA의 FV3 대기 모델 [15]은 376,578 라인을 가집니다 (자세한 내용은 부록 A 참조).

 

그럼에도 불구하고, ML 접근법은 GCM에 비해 눈에 띄는 한계가 있습니다. 기존의 ML 모델은 결정론적 예측에 중점을 두고 있으며, 학습된 집합 메트릭 측면에서 결정론적 수치 날씨 예측을 능가합니다 [12, 13]. 그러나 이들은 유용한 날씨 예보에 필수적인 보정된 불확실성 추정을 생성하지 않습니다 [1]. 평균 제곱 오차 손실을 사용하는 결정론적 ML 모델은 불확실성을 평균화하도록 보상받아, 다일 예측을 최적화할 때 비현실적으로 흐릿한 예측을 생성합니다 [11, 13]. 물리적 모델과 달리, ML 모델은 지향풍과 같은 유도된(진단) 변수를 잘못 표현합니다 [16]. 더욱이, 일부는 더 긴 시간 척도에서 ML 접근법을 사용하는 데 성공했지만 [17, 18], 이러한 모델은 기존 GCM을 능가하는 능력을 보여주지 못했습니다.

 

GCM과 기계 학습을 결합한 하이브리드 모델은 전통적인 대기 모델의 해석 가능성, 확장성 및 성공적인 실적을 기반으로 하기 때문에 매력적입니다 [19, 20]. 하이브리드 모델 접근 방식에서는 ML 구성 요소가 GCM의 전통적인 물리적 매개변수를 대체하거나 수정합니다. 지금까지 이러한 모델의 ML 구성 요소는 역학과의 상호작용과 독립적으로 매개변수를 학습하는 "오프라인" 방식으로 훈련되었습니다. 이러한 구성 요소는 기존 GCM에 삽입됩니다. 훈련 중 ML 구성 요소와 지배 방정식 사이의 결합 부족은 불안정성과 기후 이동과 같은 심각한 문제를 일으킬 수 있습니다 [21]. 지금까지 하이브리드 모델은 대부분 이상적인 시나리오(예: 수상 행성)로 제한되었습니다 [22, 23]. 현실적인 조건에서는 ML 수정이 매우 조잡한 GCM의 일부 편향을 줄였지만 [24-26], 성능은 여전히 최첨단 모델보다 훨씬 낮습니다.

 

여기에서는 지구 대기의 첫 번째 완전 미분 가능한 하이브리드 일반 순환 모델인 NeuralGCM을 소개합니다. NeuralGCM은 ERA5에서 샘플링한 최대 5일 날씨 궤적을 예측하도록 훈련됩니다. 미분 가능성은 대규모 역학을 위한 지배 방정식과의 상호작용 맥락에서 ML 구성 요소를 최적화하는 "온라인 훈련"을 가능하게 하며, 이는 정확하고 안정적인 예측을 가능하게 합니다. NeuralGCM은 1-15일 날씨부터 10년 단위 기후 예측까지 다양한 시간 척도에서 최첨단 모델과 비슷한 정확도로 물리적으로 일관된 예측을 생성합니다.

 

그림 1 NeuralGCM 모델의 구조

(a) 모델의 전체 구조는 강제 Ft, 잡음 zt(확률 모델의 경우), 입력 yt가 모델 상태 xt로 인코딩되는 방식을 보여줍니다. 모델 상태는 역학 코어로 피드되며, 강제 및 잡음과 함께 학습된 물리 모듈로 피드됩니다. 이는 상태를 시간적으로 진전시키기 위해 암묵-명시적 ODE 해석기가 사용하는 경향성(변화율)을 생성합니다. 새로운 모델 상태 xt+1은 다음 시간 단계로 다시 피드되거나 모델 예측으로 디코딩될 수 있습니다. (b) 학습된 물리 모듈의 세부 사항은 대기의 개별 열에 대한 데이터를 물리적 경향성을 생성하기 위해 신경망에 피드하는 방식을 보여줍니다.

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

강화학습과 유사한듯

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

 

신경 일반 순환 모델

NeuralGCM의 개략도는 그림 1에 나와 있습니다. NeuralGCM의 두 가지 핵심 구성 요소는 미분 가능한 역학 코어와 물리적 과정을 신경망으로 매개변수화하는 학습된 물리 모듈입니다. 자세한 내용은 부록 B와 C에 설명되어 있습니다. 역학 코어는 중력과 코리올리 힘의 영향을 받는 대규모 유체 운동과 열역학을 시뮬레이션합니다. 학습된 물리 모듈은 구름 형성, 복사 전달, 강수 및 격자 간의 역학과 같은 해결되지 않은 과정의 영향을 신경망을 사용하여 시뮬레이션된 필드에 예측합니다.

 

우리의 미분 가능한 역학 코어는 Python에서 고성능 코드를 지원하는 JAX 라이브러리로 구현되었습니다. 이 역학 코어는 수분을 포함한 정수압 원시 방정식을 가로 방향 의사 스펙트럼 이산화 및 수직 시그마 좌표를 사용하여 해결합니다. 우리는 7개의 예측 변수를 진화시킵니다: 수평 풍의 소용돌이 및 발산, 온도, 지면 압력, 그리고 3가지 수종(특정 습도, 특정 얼음 및 액체 구름 수분 함량).

 

우리의 학습된 물리 모듈은 GCM의 단일 열 접근 방식을 사용합니다. 즉, 단일 대기 열에서만 정보를 사용하여 해당 열 내에서 발생하는 해결되지 않은 과정의 영향을 예측합니다. 이러한 효과는 잔차 연결이 있는 완전 연결 신경망을 사용하여 예측되며, 가중치는 모든 대기 열에서 공유됩니다. 신경망의 입력에는 대기 열의 예측 변수, 총 입사 태양 복사, 해빙 농도 및 해수면 온도가 포함됩니다. 또한 예측 변수의 수평 기울기를 제공하여 성능을 향상시킵니다. 모든 입력은 모델 초기화 중 미리 계산된 통계를 사용하여 평균 0 및 분산 1로 표준화됩니다. 출력은 대상 필드의 고정된 무조건 표준 편차로 스케일링된 예측 변수 경향성입니다.

 

압력 좌표에 저장된 ERA5 데이터를 우리 역학 코어의 시그마 좌표 시스템으로 인터페이스하기 위해 인코더와 디코더 구성 요소를 도입했습니다. 이 구성 요소는 압력 수준과 시그마 좌표 수준 사이의 선형 보간을 수행합니다. 또한 학습된 물리 모듈과 동일한 열 기반 신경망 아키텍처를 사용하여 인코더 및 디코더 단계에 대한 학습된 보정을 도입했습니다. 중요한 것은 인코더가 초기화 충격으로 인한 중력파를 제거하여 예측을 오염시키지 않도록 합니다.

 

그림 1(a)는 NeuralGCM이 예측을 수행하는 단계를 보여줍니다. 먼저 t = t0에서 압력 수준의 ERA5 데이터를 시그마 좌표의 초기 조건으로 인코딩합니다. 시간 단계를 수행하려면 역학 코어와 학습된 물리 모듈 [그림 1(b)]이 경향성을 계산한 다음, 암묵-명시적 ODE 해석기를 사용하여 시간적으로 통합합니다. 이것은 모델을 t = t0에서 t = 최종까지 진행시키기 위해 반복됩니다. 마지막으로 디코더는 예측을 압력 수준으로 다시 변환합니다.

 

ODE 해석기의 시간 단계 크기는 역학에 대한 CFL 조건에 의해 제한되며, 대기 변화의 시간 척도에 비해 작을 수 있습니다. 학습된 물리 모듈 평가 비용은 역학 코어의 시간 단계보다 약 1.5배 비쌉니다. 따라서 전형적인 GCM 관행에 따라 학습된 물리 경향성을 여러 ODE 시간 단계 동안 일정하게 유지하여 계산 비용을 줄입니다. 이는 일반적으로 시뮬레이션 시간 30분에 해당합니다.

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

시간 단계 크기

ODE 해석기는 시간의 경과에 따라 시스템의 상태를 업데이트하는 데 사용됩니다. 여기서 시간 단계 크기는 한 번에 얼마나 많은 시간 동안 시스템 상태를 업데이트할지를 결정합니다.

• CFL 조건: CFL 조건(Courant-Friedrichs-Lewy 조건)은 수치해석에서 안정성을 보장하기 위해 사용되는 조건입니다. 대기 역학에서 이 조건은 시간 단계가 너무 크면 수치적으로 불안정해질 수 있기 때문에 시간 단계 크기를 제한합니다. 따라서 시간 단계 크기는 역학 방정식의 안정성을 유지하기 위해 충분히 작아야 합니다.

학습된 물리 모듈의 평가 비용

학습된 물리 모듈은 신경망을 사용하여 물리적 과정을 예측하는 부분입니다.

• 비용 차이: 역학 코어가 한 번의 시간 단계 업데이트를 수행하는 데 드는 계산 비용보다 학습된 물리 모듈을 평가하는 데 드는 비용이 약 1.5배 더 많이 듭니다. 즉, 학습된 물리 모듈을 자주 평가하면 계산 비용이 많이 들게 됩니다.

계산 비용 절감 방법

계산 비용을 절감하기 위해 일반적으로 사용되는 방법은 학습된 물리 경향성을 여러 시간 단계 동안 일정하게 유지하는 것입니다.

• 경향성 유지: 학습된 물리 모듈이 예측한 물리적 경향성(변화율)을 여러 시간 단계 동안 그대로 사용합니다. 예를 들어, 30분 동안 시뮬레이션을 실행하는 동안 물리적 경향성을 업데이트하지 않고 유지합니다. 이렇게 하면 물리 모듈의 평가를 덜 자주 하게 되어 계산 비용을 줄일 수 있습니다.

이 과정은 전형적인 GCM에서 사용되는 관행입니다. 즉, 학습된 물리 모듈을 모든 시간 단계에서 평가하지 않고, 몇 번의 시간 단계마다 한 번씩 평가하여 효율성을 높입니다. 이를 통해 계산 비용을 크게 절감하면서도 충분히 정확한 시뮬레이션 결과를 얻을 수 있습니다.

예시

예를 들어, 시뮬레이션 시간이 1시간이라고 가정하면:

1. 처음 30분 동안:
   • ODE 해석기를 사용하여 시간 단계를 여러 번 업데이트합니다.
   • 이 동안 학습된 물리 모듈은 처음에 계산된 경향성을 그대로 사용합니다.
2. 30분 후:
   • 학습된 물리 모듈을 다시 평가하여 새로운 물리적 경향성을 계산합니다.
   • 새로운 경향성을 다음 30분 동안 사용합니다.

이러한 방법을 통해 매 시간 단계마다 물리 모듈을 평가하는 대신, 주기적으로 평가하여 계산 비용을 줄이면서도 안정적이고 정확한 예측을 유지할 수 있습니다.

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

 

훈련

NeuralGCM의 미분 가능한 역학 코어는 엔드 투 엔드 훈련 방식을 허용합니다. 이 방식에서는 모델 예측과 보수적으로 재격자화된 ERA5 데이터 간의 차이를 최소화하기 위해 확률적 경사 하강법을 적용하기 전에 여러 시간 단계를 진행합니다(G.2). 우리는 롤아웃 길이를 6시간에서 5일로 점진적으로 증가시키는데, 이는 초기 훈련 단계에서 모델이 멀티데이 예측에 정확하지 않기 때문에 중요합니다. 수백 개의 시뮬레이션 단계를 통한 확장된 역전파는 신경망이 학습된 물리와 역학 코어 간의 상호작용을 고려할 수 있게 합니다. 우리는 각각 고유한 훈련 프로토콜을 사용하는 결정론적 및 확률적 NeuralGCM 모델을 훈련합니다(G.4-G.6).

 

결정론적 NeuralGCM 모델은 정확성과 선명도를 장려하면서 편향을 벌하는 세 가지 손실 함수를 조합하여 훈련합니다(G.4). 주요 훈련 단계 동안, 모든 손실은 구면 조화 기저에서 정의됩니다. 우리는 정확성을 촉진하기 위해 표준 MSE 손실을 사용하되, 긴 리드 타임에서는 점진적으로 더 높은 총 파수의 기여를 필터링하도록 수정합니다. 이 필터링 접근 방식은 "이중 벌칙 문제"를 해결하는데, 이는 모델이 예측 가능성 경계를 넘어서서 잘못된 위치에서 고파수 특징을 예측하는 경우 벌칙을 받지 않도록 합니다. 두 번째 손실 항목은 예측 변수의 총 파수 스펙트럼에 대한 제곱 손실을 사용하여 스펙트럼이 훈련 데이터와 일치하도록 장려합니다. 이 두 가지 손실은 시그마 및 압력 수준 모두에서 평가됩니다. 마지막으로, 세 번째 손실 항목은 각 구면 조화 계수의 배치 평균 평균 진폭에 대한 MSE를 추가하여 편향을 억제합니다. 다양한 손실 함수가 미치는 영향에 대한 분석은 H.6.1을 참조하십시오. 세 가지 훈련 손실의 결합 작용은 3일 롤아웃으로 훈련된 모델이 수년에서 수십 년 동안 안정적으로 유지되도록 합니다(섹션 5). 최종 평가 전에 디코더 구성 요소만을 24시간의 짧은 롤아웃에서 추가로 미세 조정합니다(G.5).

 

확률적 NeuralGCM 모델은 신경망 구성 요소에 추가적인 랜덤 필드를 입력으로 전달하여 고유의 무작위성을 통합합니다. 우리의 확률적 손실은 CRPS(연속 순위 확률 점수)에 기반합니다[35-37]. CRPS는 정확성을 장려하는 평균 절대 오차와 앙상블 확산을 장려하는 유사한 항목으로 균형을 이룹니다. 각 변수에 대해 우리는 그리드 공간의 CRPS와 최대 컷오프 파수 이하의 구면 조화 기저의 CRPS 합을 사용합니다(G.6). 우리는 6시간에서 5일까지의 롤아웃 길이에 대해 CRPS를 계산합니다. 그림 1에 나타난 바와 같이, 우리는 학습된 인코더와 학습된 물리 모듈에 학습된 공간 및 시간 상관관계가 있는 가우시안 랜덤 필드를 샘플링하여 노이즈를 주입합니다(C.2). 훈련을 위해 우리는 예측당 두 개의 앙상블 구성원을 생성하는데, 이는 CRPS의 편향 없는 추정에 충분합니다.

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

 

결과

우리는 수평 해상도에 따라 격자 간격이 2.8°, 1.4°, 0.7°인 다양한 NeuralGCM 모델을 훈련시켰으며, 각 모델은 시그마 좌표에서 32개의 고르게 분포된 수직 수준을 사용합니다. NeuralGCM의 성능을 날씨 예보 및 기후 시뮬레이션에 적합한 다양한 시간 척도에서 평가합니다. 날씨 예보를 위해 우리는 최고 수준의 전통적인 물리 기반 날씨 모델인 ECMWF의 고해상도 모델(ECMWF-HRES) 및 앙상블 예측 시스템(ECMWF-ENS)과 최근의 두 가지 ML 기반 접근 방식인 GraphCast [13]와 Pangu [12]와 비교합니다. 기후 시뮬레이션을 위해서는 글로벌 클라우드 해상도 모델 및 대기 모델 상호 비교 프로젝트(AMIP) 실행과 비교합니다.

중기 글로벌 날씨 예보

우리의 평가 설정은 WeatherBench2 [10]를 따라 정확성과 물리적 일관성을 정량화하는 데 중점을 둡니다. 모든 예보를 보수적인 재격자화(conservative regridding)를 통해 1.5° 격자로 재격자화하고, 2020년 동안 매일 정오와 자정 UTC에 이루어진 732개의 예보를 평균합니다. 2020년 데이터는 모든 ML 모델 훈련에서 제외되었습니다. NeuralGCM, GraphCast 및 Pangu는 ERA5를 진실로 비교하며, ECMWF ENS/HRES는 운영 분석(0시간 리드 타임의 HRES)과 비교하여 ERA5와 다른 편향으로 인해 운영 예보에 벌칙을 주지 않도록 합니다.

정확성

우리는 ECMWF의 앙상블(ENS) 모델을 기준으로 사용하며, 이는 대부분의 리드 타임에서 최고의 성능을 보입니다 [10]. 정확성은 다음과 같은 지표를 사용하여 평가합니다: (1) 제곱근 평균 제곱 오차(RMSE), (2) 편향(Bias), (3) 연속 순위 확률 점수(CRPS) 및 (4) 스프레드-스킬 비율. 결과는 그림 2에 나와 있습니다. 추가 변수 및 수준에 대한 메트릭, 지도 등 더 심층적인 평가 결과는 부록 H를 참조하십시오.

 

주어진 초기 조건에 대해 단일 날씨 예보를 생성하는 결정론적 모델은 단기 리드 타임에서 RMSE 스킬을 사용하여 효과적으로 비교할 수 있습니다. 첫 1-3일 동안 대기 변수에 따라 날씨 패턴의 변화를 정확히 추적하는 예보가 RMSE를 최소화합니다. 이 시간 척도에서 NeuralGCM-0.7° 및 GraphCast가 최상의 결과를 달성하며, 변수에 따라 약간의 차이가 있습니다(그림 2a). 더 긴 리드 타임에서는 RMSE가 인접한 날씨 궤적의 혼란한 발산으로 인해 급격히 증가하여 결정론적 모델에는 덜 유용해집니다. RMSB(제곱 평균 편향)는 시간이 지남에 따라 지속적인 오류를 계산하여 모델이 훨씬 더 긴 리드 타임에서 어떻게 성능을 발휘할지에 대한 지표를 제공합니다. 여기서 NeuralGCM 모델도 이전 접근 방식에 비해 우수한 성능을 보이며, 특히 열대 지역의 특정 습도에 대해 훨씬 적은 편향을 나타냅니다(그림 2c, 2d).

 

앙상블은 특히 긴 리드 타임에서 날씨 예보의 내재된 불확실성을 포착하는 데 필수적입니다. 약 7일 이후에는 ECMWF-ENS와 NeuralGCM-ENS 예보의 앙상블 평균이 결정론적 모델보다 RMSE가 상당히 낮아져, 이러한 모델이 가능한 날씨의 평균을 더 잘 포착함을 나타냅니다. 앙상블 모델에 대한 더 나은 메트릭은 CRPS로, 이는 전체 한계 확률 분포에 민감한 적절한 점수 규칙입니다 [35]. 1.4° 해상도에서 실행되는 우리의 확률적 모델(NeuralGCM-ENS)은 앙상블 평균 RMSE, RSMB 및 CRPS에 대해 거의 모든 변수, 리드 타임 및 수직 수준에서 ECMWF-ENS보다 낮은 오류를 나타내며(그림 2a, 2c, 2e 및 부록 H), 유사한 공간 패턴의 스킬을 보입니다(그림 2b, 2f). ECMWF-ENS와 마찬가지로, NeuralGCM-ENS는 약 1의 스프레드-스킬 비율을 가지며(그림 2d), 이는 보정된 예보의 필요 조건입니다 [38].

 

그림 2 날씨 예보 정확성 점수

(a) ECMWF-ENS, ECMWF-HRES, NeuralGCM-0.7°, NeuralGCM-ENS, GraphCast [13] 및 Pangu [12]의 RMSE 및 (c) RMSB를 주요 WeatherBench 변수에 대해 ECMWF-ENS 오류의 백분율로 나타낸 것입니다. 결정론적 모델과 확률적 모델은 각각 실선과 점선으로 표시됩니다. (e) CRPS를 ECMWF-ENS와 상대적으로 나타내고 (g) ENS 및 NeuralGCM-ENS 모델의 스프레드-스킬 비율을 나타냅니다. 특정 습도의 10일 예보에 대한 NeuralGCM-ENS 및 ECMWF-ENS 모델의 (b) RMSE, (d) 편향, (f) CRPS 및 (h) 스프레드-스킬 비율의 공간 분포를 나타냅니다. RMSE 및 CRPS의 공간 플롯은 1990-2019년 각 연도의 앙상블 멤버와 함께 확률적 기후와 상대적으로 나타내며, 회색 영역은 기후적 지표면 압력이 평균적으로 700hPa 이하인 지역을 나타냅니다.

 

그림 3 중기 날씨 예보 사례 연구

모든 예보는 2020년 8월 22일 12시 UTC에 초기화되었으며, 2020년 가장 피해가 큰 대서양 허리케인인 허리케인 로라를 강조하기 위해 선택되었습니다. (a) ERA5, ECMWF-HRES, NeuralGCM-0.7°, ECMWF-ENS(평균), NeuralGCM-ENS(평균), GraphCast [13] 및 Pangu [12]의 1일, 5일 및 10일 예보에서 북아메리카와 북동태평양의 700hPa 특정 습도. (b) 관심 지역에서의 ECMWF-ENS 및 NeuralGCM-ENS 앙상블 멤버의 개별 예보, 각 50개 앙상블 멤버의 허리케인 로라 예측 경로(부록 I.2 포함). ERA5에서의 경로는 검은색으로 표시됩니다.

 

물리적 일관성

사례 연구

예보의 중요한 특징 중 하나는 현실적인 날씨 패턴과의 유사성입니다. 그림 3은 NeuralGCM이 중요한 세 가지 날씨 현상(열대 저기압, 대기강수, 열대 수렴대)에서 어떻게 성능을 발휘하는지 보여주는 사례 연구입니다. 상단 패널은 모든 ML 모델이 원본 데이터인 ERA5와 물리 기반 ECMWF-HRES 예보보다 훨씬 흐릿한 예보를 생성하지만, NeuralGCM-0.7°은 더 낮은 해상도(0.7° vs GraphCast와 Pangu의 0.25°)에도 불구하고 순수 ML 모델보다 더 나은 성능을 보인다는 것을 보여줍니다. 흐릿한 예보는 물리적으로 일관되지 않은 대기 상태와 극단적인 날씨를 잘못 나타내는 것을 의미합니다. 기상학적 관심의 다른 유도 변수에서도 유사한 경향이 나타납니다(부록 H.2). NeuralGCM과 ECMWF의 앙상블 평균 예측은 평균적으로 ERA5에 더 가까워 긴 리드 타임에서도 본질적으로 부드럽습니다. 하단 패널과 부록 H.3에 나타난 바와 같이, ECMWF와 NeuralGCM 앙상블의 개별 실현은 긴 리드 타임에서도 선명하게 유지됩니다. ECMWF-ENS와 마찬가지로, NeuralGCM-ENS는 8배 더 낮은 해상도에도 불구하고 각 날씨 현상에 대해 통계적으로 대표적인 범위의 미래 날씨 시나리오를 생성합니다.

스펙트럼

우리는 각 예보 모델의 흐릿함을 전력 스펙트럼을 통해 정량화할 수 있습니다. 부록 그림 H23과 H24는 NeuralGCM-0.7°의 전력 스펙트럼이 다른 ML 예보 방법보다 일관되게 ERA5에 더 가깝지만 여전히 ECMWF의 물리적 예보보다 흐릿하다는 것을 보여줍니다. NeuralGCM 예보의 스펙트럼은 예보 기간 동안 대체로 일정하게 유지되지만, GraphCast는 리드 타임이 길어질수록 악화됩니다. NeuralGCM의 스펙트럼은 해상도가 증가함에 따라 더 정확해지며(H29), 이는 더 높은 해상도로 훈련된 NeuralGCM 모델의 추가 개선 가능성을 시사합니다.

수분 예산

NeuralGCM에서는 수송(advection)을 역학 코어가 처리하고, ML 매개변수화 모델은 대기 수직 열 내의 국지적 과정을 모델링합니다. 따라서 순수 ML 방법과 달리, 수평 수송 및 기타 해결된 역학으로 인한 경향성과는 별개로 지역적 원천 및 소모를 분리할 수 있습니다. 이는 결과를 더 해석하기 쉽게 만들고 수분 예산을 진단하는 데 도움이 됩니다. 특히, 우리는 강수-증발(P-E, 부록 H.5 참조)을 직접 예측하는 대신 진단합니다. 짧은 날씨 예보에서는 P-E의 평균이 ERA5 데이터와 매우 가까운 현실적인 공간 분포를 가집니다(그림 H30ce). NeuralGCM-0.7°의 P-E율 분포는 극지방에서 ERA5 분포와 거의 일치하지만, 열대 지방에서는 극단적인 사건을 과소평가합니다(그림 H30a). 현재 버전의 NeuralGCM은 대기 열에 대한 경향성을 직접 예측하므로 강수와 증발을 구분할 수 없습니다.

지향풍 균형

우리는 NeuralGCM, GraphCast 및 ECMWF-HRES가 중위도 대규모 역학을 주도하는 주요 힘들 간의 균형인 지향풍 균형을 얼마나 잘 포착하는지 조사했습니다 [39]. 최근 연구 [16]는 Pangu가 지향풍 및 비지향풍의 수직 구조를 잘못 표현하고 있으며, 리드 타임이 길어질수록 악화된다고 지적했습니다. 마찬가지로 GraphCast도 리드 타임이 길어질수록 오류가 악화됩니다. 반면, NeuralGCM은 GraphCast에 비해 다양한 롤아웃에서 지향풍 및 비지향풍의 수직 구조와 그 비율을 더 정확하게 묘사합니다(그림 H25). 그러나 ECMWF-HRES는 여전히 NeuralGCM보다 ERA5 데이터와 더 가까운 일치를 보입니다. NeuralGCM 내에서 지향풍의 수직 구조 표현은 초기 며칠 동안만 약간 악화되며, 그 이후로는 눈에 띄는 변화가 없습니다, 특히 5일 이후에는 그렇습니다.

보지 못한 데이터에 대한 일반화

물리적으로 일관된 날씨 모델은 훈련되지 않은 날씨 조건에서도 잘 수행되어야 합니다. 날씨와 관련된 일반화를 테스트하기 위해, 2017년까지 훈련된 NeuralGCM-0.7°와 GraphCast의 버전을 비교하여 훈련 기간 이후의 5년간 날씨 예보(2018-2022)를 비교합니다(그림 I48). GraphCast와 달리, NeuralGCM은 훈련 데이터에서 더 먼 미래로 초기화될 때 명확한 오류 증가 경향을 보이지 않습니다. 5년을 넘어 이 테스트를 확장하기 위해, 2000년 이전의 데이터를 사용하여 NeuralGCM-2.8° 모델을 훈련하고, 보지 못한 21년 동안의 기술을 테스트했습니다(그림 I49).

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

해상도

• ECMWF-HRES: 매우 높은 해상도(약 0.1°)로 운영됩니다.
• NeuralGCM: 여러 해상도(0.7°, 1.4°, 2.8°)로 운영되며, 최저 해상도에서 0.7°입니다.

정확성 (Accuracy)

• 단기 예보: NeuralGCM-0.7°와 ECMWF-HRES는 1-3일 예측에서 매우 유사한 성능을 보입니다. 그러나 ECMWF-HRES는 더 높은 해상도로 인해 특정 상황에서 더 나은 성능을 보일 수 있습니다.
• 장기 예보: ECMWF-ENS와 NeuralGCM-ENS는 모두 장기 예보에서 앙상블 평균 예측으로 더 낮은 RMSE를 나타내며, 이는 평균적인 날씨 패턴을 더 잘 포착합니다.

물리적 일관성 (Physical Consistency)

• 흐릿한 예보: NeuralGCM은 순수 ML 모델에 비해 물리적으로 더 일관된 예보를 제공하지만, ECMWF-HRES보다 여전히 흐릿할 수 있습니다.
• 지향풍 균형: ECMWF-HRES는 지향풍 균형을 더 잘 포착하며, 이는 대규모 역학을 주도하는 주요 힘들 간의 균형을 더 잘 유지합니다.

스펙트럼 (Spectra)

• 전력 스펙트럼: NeuralGCM의 전력 스펙트럼은 ERA5에 더 가깝지만, ECMWF의 물리적 예보보다 여전히 흐릿합니다. 그러나 NeuralGCM의 스펙트럼은 리드 타임이 길어져도 크게 변하지 않습니다.

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

 

기후 시뮬레이션

NeuralGCM의 결정론적 모델은 최대 3일의 날씨 예측을 위해 훈련되었지만, 일반적으로 중기 날씨 시간 척도를 훨씬 넘어서 대기를 시뮬레이션할 수 있습니다. 확장된 기후 시뮬레이션을 위해 우리는 역사적인 해수면 온도(SST)와 해빙 농도를 지정합니다. 이러한 시뮬레이션은 몇 개월에서 수십 년에 이르는 시간 척도에서 대기의 많은 자생 현상을 특징으로 합니다.

기후 시뮬레이션을 위해 우리는 2.8°와 1.4°의 결정론적 NeuralGCM 모델을 사용합니다. 이 모델들은 훈련 비용이 상대적으로 저렴하며(부록 G.7), 안정적인 모델을 찾기 위해 더 큰 매개변수 공간을 탐색할 수 있게 해줍니다. 이전 연구에서는 하이브리드 모델을 사용한 확장된 시뮬레이션이 수치적 불안정성과 기후 이동(climate drift)으로 인해 어려움을 겪는다고 밝혔습니다 [21]. 선택한 모델의 안정성을 정량화하기 위해 여러 초기 조건으로 실행하고 얼마나 많은 조건이 불안정 없이 완료되는지 보고합니다.

계절 주기 및 자생 현상

NeuralGCM의 다양한 계절 주기를 시뮬레이션하는 능력을 평가하기 위해 NeuralGCM-1.4° 모델로 2년간의 시뮬레이션을 실행합니다. 2019년을 기준으로 10일 간격으로 37개의 다른 초기 조건을 사용했습니다. 이 중 35개의 초기 조건이 불안정 없이 2년 전체를 성공적으로 완료했습니다. 불안정 사례 연구는 섹션 H.7에서 확인할 수 있습니다. 2020년에 대한 NeuralGCM-1.4° 결과를 ERA5 데이터 및 해양 모델과 결합된 GFDL의 X-SHiELD 글로벌 클라우드 해상도 모델의 출력과 비교합니다 [40]. 이 X-SHiELD 실행은 ML 기후 모델 훈련의 목표로 사용되었습니다 [24]. 비교를 위해 예측을 1.4° 해상도로 재격자화한 후 모델을 평가합니다. 이 비교는 NeuralGCM이 ERA5에 맞춰 조정되었기 때문에 약간 유리하게 작용하지만, ERA5와 실제 대기 간의 차이는 모델 오류에 비해 작습니다.

 

그림 4a는 NeuralGCM의 35개 시뮬레이션이 포착한 2020년 동안의 전지구 평균 온도의 시간 변화를 보여주며, ERA5 재분석 및 표준 기후학적 기준과 비교됩니다. NeuralGCM의 전지구 평균 온도의 계절성 및 변동성은 ERA5에서 관찰된 것과 양적으로 유사합니다. NeuralGCM의 앙상블 평균 온도 RMSE는 ERA5와 비교했을 때 0.16K로, 기후학의 RMSE 0.45K보다 크게 개선되었습니다. NeuralGCM은 전지구 강수 가능 수분의 연간 주기(Fig. I38a) 및 전지구 총 운동 에너지(Fig. I38b)와 같은 지표로 계절 주기를 정확하게 시뮬레이션합니다. 또한, 모델은 해들리 순환 및 편균 편풍(Fig. I36), 다양한 계절의 에디 운동 에너지의 공간 패턴(Fig. I39), 그리고 계절적 몬순 순환의 독특한 행동(Fig. I37)을 포착합니다.

 

다음으로, 2019년 10월 중순에 초기화된 NeuralGCM의 단일 실현과 X-SHiELD의 단일 실현(유일하게 사용 가능한 실현)을 비교합니다. 우리는 2020년 1월 19일부터 2021년 1월 17일까지의 기간을 고려합니다. X-SHiELD 데이터가 사용 가능한 기간입니다. 글로벌 클라우드 해상도 모델인 X-SHiELD는 깊은 대류를 해결할 수 있는 해상도로 인해 수문 순환을 시뮬레이션하는 데 최첨단으로 간주됩니다 [41]. NeuralGCM의 강수 가능 수분 연간 편향(RMSE 1.09 mm)은 X-SHiELD(RMSE 1.74 mm)와 기후학(RMSE 1.36 mm)보다 상당히 작습니다(Fig. 4i-k). 또한, NeuralGCM은 상층 및 하층 대류권에서 X-SHiELD보다 낮은 온도 편향을 보입니다(Fig. I41). 우리는 또한 강수-증발 편향에서 X-SHiELD와 간접적으로 비교했으며, NeuralGCM-1.4°에서 약간 더 큰 편향과 격자 규모의 인공물(grid-scale artifacts)을 보입니다(Fig. I40).

 

마지막으로, 연간 모델 통합에서 열대 저기압(TC)을 생성하는 NeuralGCM의 능력을 평가하기 위해, TempestExtremes [42] TC 트래커를 사용합니다. 그림 4e, f, g는 1.4°의 낮은 해상도에서도 NeuralGCM이 현실적인 경로와 TC 수를 생성함을 보여줍니다(해당 기간 동안 ERA5의 86개 중 83개). X-SHiELD는 1.4° 해상도로 재격자화되었을 때 TC 수를 상당히 과소평가합니다(40개). 추가적인 TC 통계 분석은 그림 I45와 I46에서 확인할 수 있습니다.

 

그림 4 NeuralGCM을 이용한 기후 시뮬레이션

(a) 2020년 ERA5의 전지구 평균 온도(주황색), 기후학(1990-2019년 평균 온도; 녹색), 2019년 동안 10일 간격으로 초기화된 35개의 시뮬레이션을 위한 2020년 NeuralGCM-1.4°(두꺼운 파란색은 앙상블 평균, 얇은 파란색 선은 다른 초기 조건을 나타냄). (b) 1981-2014년 동안 22개의 CMIP6 AMIP 실험의 평균(보라색; 모델 세부 사항은 부록 I.3에서 확인 가능), 1980년 동안 10일 간격으로 초기화된 22개의 AMIP 유사 시뮬레이션을 위한 NeuralGCM-2.8°(두꺼운 파란색은 앙상블 평균, 얇은 파란색 선은 다른 초기 조건을 나타냄). (c) 1981-2014년 동안 850hPa 온도의 RMS 편향(RMSB)을 22개의 NeuralGCM-2.8° AMIP 실행(NGCM), 22개의 CMIP6 AMIP 실험(AMIP) 및 편향 제거된 22개의 CMIP6 AMIP 실험(AMIP*; 850hPa 전지구 온도 편향을 제거하여 편향을 제거함)으로 표시한 상자 그림. 빨간 선은 중앙값을 나타내며, 상자는 첫 번째에서 세 번째 사분위수를 구분하고, 수염은 사분위 범위(Q1 - 1.5IQR 및 Q3 + 1.5IQR)의 1.5배까지 확장되며, 이상치는 개별 점으로 표시됩니다. (d) 1981-2014년 기간 동안 열대(20S-20N) 온도 추세의 수직 프로필. 주황색 선은 ERA5 재분석을 나타내고, 검은 점은 재분석을 사용한 라디오존데 관측 보정을 나타냅니다 [43]. 파란 점은 NeuralGCM-2.8° 22개의 AMIP 유사 실행의 평균 추세를 나타내고, 보라색 점은 CMIP6 AMIP 실행의 평균 추세를 나타내며(사용된 모델 목록은 부록 I.3에서 확인 가능), 회색(검은) 수염은 NeuralGCM-2.8°(CMIP6 AMIP 실행)의 25번째 및 75번째 백분위를 나타냅니다. (e,f,g) ERA5, NeuralGCM-1.4° 및 X-SHiELD의 열대 저기압 경로. (h) ERA5의 평균 강수 가능 수분 및 (i) NeuralGCM-1.4°의 강수 가능 수분 편향, 2020년 1월 중순 이전 90일 동안 초기화된 X-SHiELD와 유사하게, (j) X-SHiELD 및 (j) 기후학(1990-2019년 평균). 패널 d-i의 양은 2020년 1월 중순부터 2021년 1월 중순까지 계산되며, 모든 모델은 계산 및 추적 전에 256x128 가우시안 격자로 재격자화되었습니다.

 

10년 시뮬레이션 - AMIP 유사 실험

NeuralGCM이 역사적인 온도 추세를 시뮬레이션하는 능력을 평가하기 위해, 우리는 NeuralGCM-2.8°로 40년 동안 AMIP(대기 모델 상호 비교 프로젝트) 유사 시뮬레이션을 수행했습니다. 1980년 동안 10일 간격으로 설정된 37개의 다른 초기 조건 중, 22개의 시뮬레이션이 전체 40년 기간 동안 안정적이었으며, 우리의 분석은 이 결과에 초점을 맞춥니다. 우리는 부록 I.3에 나열된 CMIP6(결합 모델 상호 비교 프로젝트 6단계)에서 지정된 SST로 실행된 22개의 시뮬레이션과 비교합니다.

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

NeuralGCM이 초기 조건을 달리하여 여러 번의 시뮬레이션을 실행했음을 의미, ERA5가 정답임

 

설명

1. 초기 조건: 시뮬레이션을 시작하기 위해서는 초기 조건(시작 상태)이 필요합니다. 여기서는 1980년 동안 10일 간격으로 설정된 초기 조건을 사용했습니다. 즉, 1980년 한 해 동안 10일마다 한 번씩 총 37개의 초기 조건을 설정한 것입니다.
   • 예시: 1980년 1월 1일, 1월 11일, 1월 21일, ... 이런 식으로 10일 간격으로 설정된 초기 조건.
2. 시뮬레이션 실행: 각 초기 조건을 사용하여 40년 동안 시뮬레이션을 실행했습니다.
   • 즉, 1980년 1월 1일의 초기 조건으로 40년 시뮬레이션(1980-2020)을 실행하고, 다시 1980년 1월 11일의 초기 조건으로 또 다른 40년 시뮬레이션을 실행하는 식으로, 총 37번의 시뮬레이션을 실행한 것입니다.
3. 안정성 평가: 이렇게 실행된 37개의 시뮬레이션 중 22개의 시뮬레이션이 전체 40년 기간 동안 안정적으로 실행되었습니다. 나머지 15개의 시뮬레이션은 불안정하여 중간에 실패했거나 결과가 정확하지 않았을 수 있습니다.
4. 분석 초점: 안정적으로 실행된 22개의 시뮬레이션 결과에 초점을 맞추어 분석을 진행했습니다.

요약

• 37개의 초기 조건: 1980년 동안 10일 간격으로 설정됨.
• 40년 시뮬레이션: 각 초기 조건으로 40년 동안 시뮬레이션 실행.
• 안정적인 시뮬레이션: 22개의 시뮬레이션이 안정적으로 실행됨.
• 분석 초점: 안정적으로 실행된 22개의 시뮬레이션 결과를 분석.

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

전지구 온난화 추세

NeuralGCM의 모든 40년 시뮬레이션과 22개의 AMIP 실행의 평균은 ERA5 데이터에서 관찰된 전지구 온난화 추세를 정확하게 포착합니다(그림 4b). 연도별 온도 추세에서 ERA5 데이터와 강한 상관관계를 보이며, 이는 NeuralGCM이 SST 강제력의 기후에 미치는 영향을 효과적으로 포착함을 시사합니다. 1981-2014년 평균 공간 편향을 비교할 때, 22개의 NeuralGCM-2.8° 실행 모두가 CMIP6 AMIP 실행보다 더 작은 편향을 보였으며, 이는 CMIP6 AMIP 실행의 전지구 온도 편향을 제거한 경우에도 유지됩니다(그림 4c, I42 및 I43).

열대 지방의 온난화 추세

기후 모델이 상층 대류권에서 과대평가하는 경향이 있는 열대 지방의 온난화 추세를 조사했습니다 [45]. 그림 4d에서 보듯이, NeuralGCM의 추세는 AMIP 실행보다 ERA5에 더 가깝습니다. 특히, 상층 대류권에서의 편향이 감소했습니다. 그러나 NeuralGCM은 AMIP 실행보다 더 넓은 예측 범위를 보이며, 이는 온도가 보통 지정된 SST에 의해 더 제한되는 표면 근처에서도 마찬가지입니다.

더 따뜻한 기후에 대한 일반화 능력

NeuralGCM의 보지 못한 더 따뜻한 기후에 대한 일반화 능력을 평가하기 위해, SST를 증가시킨 AMIP 시뮬레이션을 수행했습니다(섹션 I.4.2). NeuralGCM은 적당한 SST 증가(+1K 및 +2K)에 대한 기후 온난화 반응의 일부 견고한 특징을 보여주지만, 더 큰 SST 증가(+4K)에 대해서는 기대에서 벗어나는 반응을 보입니다(그림 I49). 또한, SST 증가가 있는 AMIP 시뮬레이션은 기후 이동을 나타내어, 이 맥락에서 NeuralGCM의 한계를 강조합니다(그림 I50).

 

토론

NeuralGCM은 전통적인 GCM(일반 순환 모델)의 강점과 기계 학습을 결합하여 날씨 예측 및 기후 시뮬레이션을 수행하는 미분 가능한 하이브리드 대기 모델입니다. NeuralGCM은 정확한 앙상블 날씨 예보를 제공하는 최초의 ML 기반 모델로, 최첨단 물리 기반 모델보다 우수한 CRPS(연속 순위 확률 점수)를 보여줍니다. 또한, NeuralGCM은 전 세계 클라우드 해상도 모델과 유사한 공간 편향을 달성하고, 현실적인 열대 저기압 경로를 시뮬레이션하며, 현실적인 역사적 온도 추세를 갖춘 AMIP 유사 시뮬레이션을 실행할 수 있는 최초의 하이브리드 모델입니다. 전반적으로 NeuralGCM은 기계 학습을 통합하는 것이 GCM을 개선하기 위해 점점 더 상세한 물리 모델을 구축하는 것에 대한 유효한 대안임을 보여줍니다.

 

NeuralGCM은 비슷한 기술을 가진 전통적인 GCM에 비해 계산 효율성이 높고 복잡성이 낮습니다. NeuralGCM은 ECMWF IFS 및 전 세계 클라우드 해상도 모델보다 8-40배 더 낮은 수평 해상도로 실행되며, 이는 계산 비용을 3-5배 절약할 수 있게 합니다. 예를 들어, NeuralGCM-1.4°는 단일 TPU를 사용하여 24시간 내에 70,000일의 시뮬레이션을 실행할 수 있지만, X-SHiELD는 13,824개의 CPU 코어로 19일 동안만 시뮬레이션할 수 있습니다. 이는 대규모 앙상블 예보와 같은 이전에는 실현 불가능했던 작업에 활용될 수 있습니다. NeuralGCM의 역학 코어는 전역 스펙트럼 방법을 사용하며, 학습된 물리는 단일 수직 열에서 작동하는 완전 연결 신경망으로 매개변수화됩니다. 고급 수치 방법 및 ML 아키텍처를 사용하여 더 높은 정확성을 추구할 수 있는 상당한 여지가 있습니다.

 

우리의 결과는 단기 날씨 예측을 학습하는 것이 기후 매개변수를 조정하는 효과적인 방법이라는 논란의 여지가 있는 가설에 대한 강력한 증거를 제공합니다. 72시간 예보를 기반으로 훈련된 NeuralGCM 모델은 현실적인 다년간 시뮬레이션을 수행할 수 있습니다. 역사적인 해수면 온도가 제공되면, 계절 순환, 몬순 및 열대 저기압과 같은 필수적인 대기 역학을 포착합니다. 그러나 기후에 중요한 과정을 학습하기 위해서는 대체 훈련 전략이 필요할 것입니다. 이러한 과정들은 날씨 시간 척도에 미치는 영향이 미묘하기 때문입니다.

 

NeuralGCM 접근 방식은 운영 날씨 예보와 기후 시뮬레이션에 필요한 물리학 또는 ML을 통합할 수 있습니다. 날씨 예보의 경우, 관측 데이터로 엔드 투 엔드 학습을 통해 강수와 같은 주요 변수들을 포함한 더 나은 예측이 가능할 것으로 기대합니다. 이러한 모델은 전통적인 데이터 동화 및 모델 진단을 수정하는 신경망을 포함할 수 있습니다. 기후 예측의 경우, NeuralGCM은 다른 지구 시스템 구성 요소(예: 해양, 육지)와 결합하고 대기의 화학 조성(예: 온실가스, 에어로졸)에 대한 데이터를 통합할 수 있도록 재구성되어야 합니다. 현재 ML 기반 기후 모델의 공통 연구 과제에는 전례 없는 기후를 시뮬레이션하는 능력(즉, 일반화), 물리적 제약 준수, 수치적 불안정성과 기후 이동 해결이 포함됩니다. NeuralGCM의 물리 기반 모델(예: 방사선) 통합 유연성은 이러한 문제를 해결할 유망한 방법을 제공합니다.

 

물리 법칙과 경험적 관계를 기반으로 한 모델은 과학에서 널리 사용됩니다. 우리는 NeuralGCM의 미분 가능한 하이브리드 모델링 접근 방식이 재료 발견, 단백질 접힘 및 다중 물리학 공학 설계와 같은 다양한 응용 분야의 시뮬레이션을 변형할 잠재력이 있다고 믿습니다.

감사의 글

데이터 수집 및 처리에 도움을 준 Anna Kwa, Alex Merose, Kunal Shah, 원고에 대한 피드백을 제공한 Leonardo Zepeda-Núñez, 그리고 생산적인 논의를 나눈 John Anderson, Christopher Van Arsdale, Rei Chemke, Gideon Dresdner, Justin Gilmer, Jason Hickey, Nicholas Lutsko, Grey Nearing, Adam Paszke, John Platt, Sameera Ponda, Mike Pritchard, Daniel Rothenberg, Fei Sha, Tapio Schneider, Octavian Voicu에게 감사를 표합니다.

데이터 가용성

NeuralGCM 모델의 훈련 및 평가를 위해 공개적으로 사용 가능한 ERA5 데이터 세트를 사용했습니다 [14]. 원래 https://cds.climate.copernicus.eu/에서 다운로드되었으며, Zarr 형식으로 Google Cloud Storage에서 제공됩니다. 운영 및 데이터 기반 날씨 모델과 NeuralGCM을 비교하기 위해 Weatherbench2 [10]의 일환으로 배포된 예보 데이터 세트를 사용했으며, 2020년 NeuralGCM 예보를 추가했습니다. 기후 설정에서 대기 모델과 NeuralGCM을 비교하기 위해 CMIP6 데이터를 사용했으며, 이는 https://catalog.pangeo.io/browse/master/climate/에서 사용할 수 있으며, Google Cloud Storage에서 X-SHiELD [24] 출력이 "requester pays" 버킷으로 제공됩니다. Raobcore V1.9는 https://webdata.wolke.img.univie.ac.at/haimberger/v1.9/에서 다운로드되었습니다.

코드 가용성

NeuralGCM 코드베이스는 두 개의 오픈 소스 프로젝트로 분리되어 있습니다: Dinosaur와 NeuralGCM. 각각의 프로젝트는 GitHub에서 공개적으로 사용할 수 있습니다. Dinosaur 패키지는 NeuralGCM에서 사용되는 미분 가능한 역학 코어를 구현하며, NeuralGCM 패키지는 ML 모델과 훈련된 모델의 체크포인트를 제공합니다. NeuralGCM 날씨 예보 평가 코드는 WeatherBench2 [10]에 포함되어 있으며, https://github.com/google-research/weatherbench2에서 사용할 수 있습니다.

 

모델 다운로드 링크

https://console.cloud.google.com/storage/browser/gresearch/neuralgcm/04_30_2024;tab=objects?prefix=&forceOnObjectsSortingFiltering=false

Google 클라우드 플랫폼

 

예시 코드

https://www.kaggle.com/code/rkuo2000/neuralgcm

NeuralGCM