AI 스케일링 법칙이 한계에 도달한 것이 아니라, 테스트 시간 컴퓨팅을 위한 새로운 스케일링 법칙이 등장

Microsoft CEO 사티아 나델라는 AI 스케일링 법칙이 벽에 부딪혔다기보다는 오히려 테스트 시간 컴퓨팅을 위한 새로운 스케일링 법칙의 출현을 목격하고 있다고 말합니다.

 

https://x.com/tsarnick/status/1858974328790151268

 

https://www.youtube.com/watch?v=wb_uWHFJBnA

 

"테스트 시간 컴퓨팅"은 AI 모델이 학습을 마친 후 실제로 추론(예측 또는 출력)을 수행할 때 소모되는 계산 자원을 의미합니다. 이는 학습 중 소모되는 자원과는 구분됩니다. 주로 추론 과정에서의 효율성을 평가할 때 사용되며, 다음과 같은 요소들이 포함됩니다:

1. 추론 속도: 모델이 입력 데이터를 처리해 결과를 도출하는 데 걸리는 시간.
2. 메모리 사용량: 모델이 추론 중에 사용하는 메모리 크기.
3. 하드웨어 요구사항: 추론을 수행하는 데 필요한 GPU나 CPU 성능.
4. 에너지 효율성: 추론 과정에서 소비되는 전력.

예를 들어, 거대한 AI 모델(GPT-4 같은)은 학습 시 매우 많은 자원이 필요하지만, 실제 사용자가 질문에 답을 받을 때(테스트 시간)에도 상당한 계산 자원이 요구됩니다.

 

따라서, 최근 연구에서는 추론 과정의 계산 비용을 최적화하려는 노력이 중요해지고 있습니다. **"테스트 시간 컴퓨팅을 위한 새로운 스케일링 법칙"**은 이러한 추론 효율성을 향상시키기 위해, 모델 크기, 성능, 계산 자원 간의 관계를 다시 정의하는 방향을 의미합니다. 이는 모델 크기만 키우는 기존 접근법에서 벗어나 추론 과정에서도 현실적으로 더 효율적인 AI 시스템을 설계하는 데 초점을 맞추고 있습니다.