본문 바로가기

인공지능

Self-Rewarding Language Models https://arxiv.org/abs/2401.10020 Self-Rewarding Language Models We posit that to achieve superhuman agents, future models require superhuman feedback in order to provide an adequate training signal. Current approaches commonly train reward models from human preferences, which may then be bottlenecked by human performan arxiv.org 간단 명료 사람이 판단하던 RLHF에서 인공지능이 인공지능을 판단하는 단계로 넘어가자는 이야기 강화학습에서 이미 전년도에.. 더보기
Scalable Extraction of Training Data from (Production) Language Models Poem 반복문으로 정보 유출 시켰던 논문 결국 P(x) = y 라는 수식을 기반으로 함 x가 이전에 학습했던 데이터라면 이걸 기반으로 y라는 기억을 떠올리게 될 것이다가 기본 컨샙 y가 vector들의 증폭으로 인한 오류 발생이라면 가능함 추가적인 정보는 당연하게 모델이 클 수록 내뱉을 수 있는 양이 많아진다. 더 많은 반복 학습을 하니까. GPT는 일반적인 LLM과 다르다고 말하는데, 내가 볼때는 잘 모르겠음. 애초에 비공개 모델이라 데이터 역산도 결국 자신들이 internet crolling한거라 100퍼 신뢰도에 대해서는 모르겠음 더보기
Promptbreeder： Self-Referential Self-Improvement Via Prompt Evolution 프롬프트브리더: 프롬프트 진화를 통한 자기 개선 프롬프트브리더는 언어 모델을 효율적으로 개선하기 위한 새로운 방법입니다. 언어 모델이란 텍스트를 생성하고 이해하는 인공지능 알고리즘을 말합니다. 이 방법은 언어 모델이 스스로 프롬프트를 발전시키고 개선하는 것에 초점을 맞춥니다. 자기 참조적 개선: 프롬프트브리더는 언어 모델이 스스로 자신의 프롬프트를 만들고 개선하는 방식을 채택합니다. 이는 진화 알고리즘을 통해 이루어집니다. 진화 알고리즘은 돌연변이와 적합도 평가에 의존하여 더 나은 결과를 도출합니다. 진화 알고리즘의 역할: 언어 모델은 특정 작업을 수행하기 위해 필요한 프롬프트를 스스로 발전시키는데, 이 과정에서 진화 알고리즘이 사용됩니다. 돌연변이 프롬프트와 작업 프롬프트가 개선되면서 모델의 성능이 향.. 더보기
Efficient Streaming Language Models with Attention Sinks 스트리밍 언어 모델의 효율성 향상과 Attention Sinks 언어 모델링은 텍스트를 생성하고 이해하는 데 사용되는 인공지능 알고리즘입니다. 기존 언어 모델은 데이터 처리에 많은 자원을 필요로 하며, 특히 긴 텍스트를 다룰 때 비효율적일 수 있습니다. 긴 텍스트를 처리할 때 기존 모델들은 느려지고 많은 메모리를 필요로 합니다. 이는 특히 모델이 긴 텍스트를 처리하며 정확도를 유지하려고 할 때 더욱 심해집니다. 이에 대한 해결책으로 'Attention Sinks'라는 새로운 개념이 도입되었습니다. 이 기법은 언어 모델이 텍스트의 특정 부분에만 주의를 기울이도록 하여, 불필요한 계산을 줄이고 모델의 속도와 효율성을 향상시킵니다. 이 새로운 방식을 적용한 모델은 긴 텍스트를 더 빠르고 효율적으로 처리할 수 .. 더보기
Mamba： Linear-Time Sequence Modeling with Selective State Spaces Mamba: 단순화된 시퀀스 모델링 Mamba는 새로운 종류의 컴퓨터 알고리즘이며, Albert Gu와 Tri Dao가 개발했습니다. 이 기술은 '선택적 상태 공간'을 사용하여 시퀀스(데이터의 순서)를 모델링합니다. 이것은 기존의 방법들과는 다른 접근 방식입니다. 기존 방식과의 차이점 Transformers: 이전에 많이 사용된 Transformers는 긴 데이터 시퀀스를 처리하는 데 효율적이지만, 계산량이 많고 메모리 요구사항이 높습니다. Recurrent Neural Networks (RNNs): RNN은 데이터 시퀀스를 처리하는 데 널리 사용되지만, 긴 시퀀스에는 효율적이지 않고 학습이 어려울 수 있습니다. Mamba의 특징 선택적 상태 공간: Mamba는 선택적 상태 공간을 활용하여 기존 방식의 .. 더보기
GEM Pooling class GeM(nn.Module): def __init__(self, p=3, eps=1e-6): super(GeM, self).__init__() self.p = nn.Parameter(torch.ones(1)*p) self.eps = eps def forward(self, x): return self.gem(x, p=self.p, eps=self.eps) def gem(self, x, p=3, eps=1e-6): return F.avg_pool2d(x.clamp(min=eps).pow(p), (x.size(-2), x.size(-1))).pow(1./p) def __repr__(self): return self.__class__.__name__ + \ '(' + 'p=' + '{:.4f}'.for.. 더보기
Segforemer 참고 https://blog.kubwa.co.kr/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-segformer-simple-and-efficient-design-for-semantic-segmentation-with-transformers-d7169e030323 더보기
LORA https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 참고 https://kyujinpy.tistory.com/83 더보기

티스토리툴바