Mamba： Linear-Time Sequence Modeling with Selective State Spaces

Mamba: 단순화된 시퀀스 모델링

Mamba는 새로운 종류의 컴퓨터 알고리즘이며, Albert Gu와 Tri Dao가 개발했습니다. 이 기술은 '선택적 상태 공간'을 사용하여 시퀀스(데이터의 순서)를 모델링합니다. 이것은 기존의 방법들과는 다른 접근 방식입니다.

기존 방식과의 차이점

1. Transformers: 이전에 많이 사용된 Transformers는 긴 데이터 시퀀스를 처리하는 데 효율적이지만, 계산량이 많고 메모리 요구사항이 높습니다.
2. Recurrent Neural Networks (RNNs): RNN은 데이터 시퀀스를 처리하는 데 널리 사용되지만, 긴 시퀀스에는 효율적이지 않고 학습이 어려울 수 있습니다.

Mamba의 특징

• 선택적 상태 공간: Mamba는 선택적 상태 공간을 활용하여 기존 방식의 단점을 해결합니다. 이는 데이터의 특정 부분에 초점을 맞추어 처리 효율을 높입니다.
• 효율성: Mamba는 계산량이 적고 메모리 사용량이 낮아 긴 데이터 시퀀스를 더 효율적으로 처리할 수 있습니다.
• 유연성: 다양한 유형의 데이터와 상황에 적용될 수 있는 유연성을 갖추고 있습니다.

적용 분야

Mamba는 DNA 모델링, 오디오 파형 처리 등 긴 시퀀스 데이터가 필요한 분야에 특히 유용합니다. 또한, 언어 모델링과 같은 분야에서도 그 효용성을 보여줍니다.

 

특이점

1. Convolution 연산처럼 진행되는 점

2. gpu의 sram 사용하는 점

3. 2020년도? 논문 ssm 사용 + conv1d 사용