LORA (Low-Rank Adaptation) vs Adapter

LORA (Low-Rank Adaptation) - attention에 추가 네트워크 삽입

Adapter - FFN에 추가?

 

Adapter와 LORA의 주요 차이점은 다음과 같습니다:

1. 구조적 차이: Adapter는 모델의 각 레이어 사이에 추가적인 신경망 레이어를 삽입하여 모델을 조정하는 반면, LORA는 기존 레이어의 가중치를 직접 조정합니다. LORA는 낮은 차원의 행렬을 이용해 기존의 가중치에 변화를 주어 적응시키는 방식입니다.
2. 파라미터 증가: Adapter는 추가 레이어를 통해 파라미터 수가 증가하는 반면, LORA는 매우 적은 수의 추가 파라미터로 기존 모델을 조정합니다. 이는 특히 파라미터 수를 최소화하면서도 효과적인 학습을 원하는 경우 유리할 수 있습니다.
3. 유연성과 특화: Adapter는 다양한 작업에 대해 더 유연하게 조정할 수 있는 반면, LORA는 특정 작업에 대한 모델의 특화를 더욱 효율적으로 수행할 수 있습니다.

LORA는 특히 파라미터 효율성과 계산 효율성을 중시하는 경우에 유용하며, 대규모 모델을 더 작은 데이터셋에 적응시키거나 특정 작업에 맞추기 위한 방법으로 사용될 수 있습니다. 반면, Adapter는 다양한 작업에 모델을 빠르게 적응시키고자 할 때 적합한 방법입니다.

 

참조

https://kyujinpy.tistory.com/83\