From questions to discoveries: NASA’s new Earth Copilot brings Microsoft AI capabilities to democratize access to complex data

https://blogs.microsoft.com/blog/2024/11/14/from-questions-to-discoveries-nasas-new-earth-copilot-brings-microsoft-ai-capabilities-to-democratize-access-to-complex-data/

From questions to discoveries: NASA’s new Earth Copilot brings Microsoft AI capabilities to democratize access to complex data

 

질문에서 발견으로: NASA의 새로운 지구 코파일럿, 복잡한 데이터에 대한 접근을 민주화하기 위해 Microsoft AI 기능 도입 2024년 11월 14일 | Tyler Bryson - 미국 보건 및 공공 부문 산업 부문 부사장

 

NASA의 EARTHDATA VEDA 대시보드 이미지.

 

매일 NASA의 위성은 지구를 돌며 우리 행성을 이해하는 데 도움이 되는 막대한 정보를 수집하고 있습니다. 산불 모니터링부터 기후 변화 추적까지, 이 방대한 지구 과학 데이터는 과학적 발견을 촉진하고 정책 결정을 뒷받침하며 농업, 도시 계획, 재난 대응과 같은 산업을 지원할 잠재력을 가지고 있습니다.

 

하지만 수집된 100페타바이트 이상의 데이터를 탐색하는 것은 도전적인 일입니다. 그래서 NASA는 Microsoft와 협력하여 Azure OpenAI 서비스를 사용하는 맞춤형 코파일럿을 개발하여 NASA의 지구 코파일럿을 구축하고, 이를 통해 사람들이 지구 데이터를 다루는 방식을 혁신하고자 했습니다.

 

지리 공간 데이터는 매우 복잡하며, 이를 탐색하려면 일정 수준의 기술적 전문 지식이 필요합니다. 그 결과, 이 데이터는 주로 연구자와 과학자 등 제한된 수의 사람들만이 접근할 수 있는 경우가 많습니다. NASA가 새로운 위성으로부터 더 많은 데이터를 수집함에 따라 이러한 복잡성은 더욱 커지며, 이는 사회에 이익을 줄 수 있는 통찰을 이끌어내고 응용 프로그램을 개발할 수 있는 사람들의 잠재적인 범위를 더 제한할 수 있습니다.

 

이러한 도전을 인식한 NASA는 데이터를 더 접근 가능하고 사용하기 쉽게 만들기 위한 임무를 시작했습니다. NASA의 수석 과학 데이터 책임자 사무소를 통해, 기관은 데이터 접근을 민주화하고 기술적 장벽을 허물어 과학자와 교육자에서 정책 입안자와 일반 대중에 이르기까지 다양한 청중이 데이터를 활용할 수 있도록 돕고자 합니다.

 

https://www.youtube.com/watch?v=YJs6kU4BtR4

 

도전 과제:

데이터의 복잡성을 탐색하기 NASA의 지구 과학 데이터 시스템 프로그램은 우주 센서와 장비로부터 다양한 데이터를 수집하는 임무를 맡고 있습니다. 이 데이터는 대기 상태부터 지표 변화, 해양 온도 등 다양한 분야를 포괄합니다. 그러나 이러한 정보의 규모와 복잡성은 매우 압도적일 수 있습니다. 많은 사람들에게는 기술적인 인터페이스를 탐색하고, 데이터 형식을 이해하며, 지리 공간 분석의 복잡성을 익히는 과정이 필요하며, 이는 매우 적은 수의 비기술 사용자만이 소유한 전문 기술입니다. AI는 이 과정을 간소화하여 지구 데이터에서 통찰을 얻는 시간을 단 몇 초로 줄일 수 있습니다.

 

이 문제는 단순한 편의성의 문제가 아닙니다. 실제로 중요한 영향을 미칩니다. 예를 들어, 허리케인에 대한 역사적 데이터를 분석하여 예측 모델을 개선하려는 과학자들이나, 삼림 벌채 패턴을 연구하여 환경 규제를 시행하려는 정책 입안자들이 필요로 하는 데이터를 쉽게 접근하지 못할 수 있습니다. 이러한 접근성 문제는 농업, 도시 계획, 재난 대응 등 다양한 분야에 영향을 미치며, 이들 분야에서는 우주 기반 데이터로부터의 적시 통찰이 큰 변화를 가져올 수 있습니다.

 

더불어, 새로운 장비를 탑재한 새로운 위성들이 계속 발사되어 더 많은 데이터를 수집하면서, NASA는 이 늘어나는 데이터 저장소를 관리하고 이해할 수 있는 새로운 도구를 개발해야 하는 도전에 직면해 있습니다. NASA는 데이터 검색을 간소화할 뿐만 아니라 접근성을 넓혀 더 많은 사람들이 데이터에 접근하고 새로운 통찰을 발견할 수 있도록 하는 신기술을 탐색했습니다.

 

해결책:

Microsoft Azure를 통한 AI 기반 데이터 접근 이러한 문제를 해결하기 위해, NASA IMPACT는 Microsoft와 협력하여 AI 기반의 고객 코파일럿인 지구 코파일럿(Earth Copilot)을 개발했습니다. 이 코파일럿은 데이터 접근을 단순화하고 더 다양한 사용자가 지구 과학 데이터를 다룰 수 있도록 합니다. 이들은 Microsoft의 Azure 클라우드 플랫폼과 고급 AI 기능을 활용하는 개념 증명 AI 모델을 공동으로 구축하여 사용자가 NASA의 지리 공간 데이터를 검색, 발견, 분석하는 방식을 혁신하고자 했습니다.

 

NASA의 지구 코파일럿의 핵심은 Azure OpenAI Service와 같은 클라우드 기반 기술의 통합에 있습니다. 이는 강력한 AI 모델과 자연어 처리 기능을 제공하여 개발자가 지능적이고 대화형 AI를 애플리케이션에 통합할 수 있도록 합니다. 이러한 접근 방식은 NASA가 AI를 기존 데이터 분석 플랫폼인 VEDA에 통합할 수 있게 합니다. 이러한 기술을 결합함으로써 사용자는 지구 과학 데이터를 검색, 발견 및 분석하는 과정을 보다 쉽게 할 수 있습니다.

 

이 기술을 결합함으로써 지구 코파일럿은 사용자가 간단한 언어 쿼리를 통해 NASA의 데이터 저장소와 상호작용할 수 있게 합니다. 이제 사용자는 단순히 "허리케인 이안이 Sanibel Island에 미친 영향은 무엇인가?" 또는 "COVID-19 팬데믹이 미국의 공기질에 미친 영향은 무엇인가?"와 같은 질문을 할 수 있습니다. 그러면 AI가 관련된 데이터셋을 찾아주는 방식으로 이 과정이 매끄럽고 직관적이게 됩니다.

 

NASA의 EARTHDATA VEDA 대시보드의 이미지.

 

NASA의 EARTHDATA VEDA 대시보드. “Azure의 견고한 서비스 스위트는 머신러닝, 데이터 분석, 확장 가능한 클라우드 인프라 등을 포함하여 이 AI 프로토타입을 구동합니다.”라고 전 NASA 엔지니어이자 현 Microsoft Azure 전문가인 Juan Carlos López는 말했습니다. "우리는 시스템을 복잡한 쿼리와 대용량 데이터셋을 효율적으로 처리하도록 설계했으며, 사용자가 기술적 복잡성에 얽매이지 않고 빠르게 필요한 정보를 찾을 수 있도록 했습니다. 우리의 목표는 NASA의 데이터, 도구, 애플리케이션이 성장함에 따라 진화할 수 있는 매끄럽고 확장 가능한 솔루션을 만드는 것이었습니다."

 

오픈 사이언스를 위한 데이터 민주화

NASA IMPACT와 Microsoft의 협력은 우주 기반 데이터에 대한 접근을 민주화하여 더 넓은 범위의 사용자가 NASA의 과학 데이터를 다룰 수 있도록 하는 솔루션을 만들어냈습니다. 이는 과학 공동체에 큰 혜택을 가져오며, 연구자들은 이제 데이터 검색에 소요되는 시간을 줄이고 분석과 발견에 더 많은 시간을 쓸 수 있게 되었습니다. 예를 들어, 기후 과학자들은 트렌드를 연구하기 위해 빠르게 역사적 데이터를 접근할 수 있고, 농업 전문가들은 토양 습도 수준에 대한 통찰을 얻어 작물 관리를 개선할 수 있습니다.

 

교육자와 교사들은 현실 세계의 예를 사용하여 학생들이 지구 과학에 흥미를 가지도록 유도하며, 다음 세대의 과학자와 엔지니어를 격려할 수 있습니다. 정책 입안자들은 기후 변화, 도시 개발, 재난 대비와 같은 중요한 문제에 대한 결정을 내리기 위해 데이터를 활용할 수 있으며, 이들은 가장 정확한 정보를 손쉽게 얻을 수 있습니다.

 

“이번 협력의 비전은 AI와 클라우드 기술을 활용하여 지구의 통찰을 소외된 커뮤니티에 전하는 것이었습니다. 데이터 접근이 실제 개선을 이끌어낼 수 있는 곳이 바로 이들입니다.”라고 Microsoft의 클라우드 솔루션 설계자인 Minh Nguyen은 말했습니다. “사용자가 간단한 언어 쿼리를 통해 데이터와 상호작용할 수 있게 함으로써 우리는 우주 기반 정보 접근의 민주화를 돕고 있습니다.”

 

이 AI 프로토타입의 개발은 과학 연구를 더 투명하고 포용적이며 협력적으로 만들고자 하는 NASA의 오픈 사이언스(Open Science) 이니셔티브와 일치합니다. 데이터 발견에 대한 장벽을 제거함으로써 NASA와 Microsoft는 호기심 있는 누구나 세계에 대한 통찰을 탐구하고 확장할 수 있는 새로운 발견의 시대를 열고 있습니다.

 

미래를 바라보며:

데이터와 통찰 사이의 격차를 해소하다 현재 NASA 지구 코파일럿은 NASA 과학자들과 연구자들이 그 기능을 탐구하고 테스트할 수 있도록 제공되고 있습니다. AI 기술의 책임 있는 배포에는 데이터와 결과물이 오용되지 않도록 보장하는 엄격한 평가가 필요합니다. 내부 평가와 테스트 기간이 끝난 후, NASA IMPACT 팀은 이 기능을 VEDA 플랫폼에 통합하는 방안을 모색할 것입니다.

 

이번 협력은 기술이 사람들에게 힘을 실어주고, 혁신을 촉진하며, 긍정적인 변화를 만드는 방식을 보여주는 사례입니다. 이러한 솔루션은 데이터의 이점이 널리 공유되고 더 많은 사람들이 정보를 분석하고 세계를 형성하는 정보에 따라 행동할 수 있도록 하는 데 필수적입니다.

 

태그: AI, Azure OpenAI 서비스, 코파일럿, Microsoft Azure