전체 글 썸네일형 리스트형 240124 알파지오메트리 - 오픈소스 - 합성 데이터로 하는 것 모르면 모른다 ai runway ml stable ai 파라미터 1.6B이네 더보기 LORA (Low-Rank Adaptation) vs Adapter LORA (Low-Rank Adaptation) - attention에 추가 네트워크 삽입 Adapter - FFN에 추가? Adapter와 LORA의 주요 차이점은 다음과 같습니다: 구조적 차이: Adapter는 모델의 각 레이어 사이에 추가적인 신경망 레이어를 삽입하여 모델을 조정하는 반면, LORA는 기존 레이어의 가중치를 직접 조정합니다. LORA는 낮은 차원의 행렬을 이용해 기존의 가중치에 변화를 주어 적응시키는 방식입니다. 파라미터 증가: Adapter는 추가 레이어를 통해 파라미터 수가 증가하는 반면, LORA는 매우 적은 수의 추가 파라미터로 기존 모델을 조정합니다. 이는 특히 파라미터 수를 최소화하면서도 효과적인 학습을 원하는 경우 유리할 수 있습니다. 유연성과 특화: Adapter는 다.. 더보기 Scalable Extraction of Training Data from (Production) Language Models Poem 반복문으로 정보 유출 시켰던 논문 결국 P(x) = y 라는 수식을 기반으로 함 x가 이전에 학습했던 데이터라면 이걸 기반으로 y라는 기억을 떠올리게 될 것이다가 기본 컨샙 y가 vector들의 증폭으로 인한 오류 발생이라면 가능함 추가적인 정보는 당연하게 모델이 클 수록 내뱉을 수 있는 양이 많아진다. 더 많은 반복 학습을 하니까. GPT는 일반적인 LLM과 다르다고 말하는데, 내가 볼때는 잘 모르겠음. 애초에 비공개 모델이라 데이터 역산도 결국 자신들이 internet crolling한거라 100퍼 신뢰도에 대해서는 모르겠음 더보기 UBC Ovarian Cancer Subtype Classification and Outlier Detection (UBC-OCEAN) NystromAttention은 이 문제를 해결하기 위해 'Nystrom 방법'을 적용합니다. Nystrom 방법은 행렬의 근사치를 계산하는 데 사용되는 수학적 기법으로, 원래 행렬의 작은 부분집합을 사용하여 전체 행렬을 근사하는 방식입니다. 이를 통해 NystromAttention은 전체 입력 데이터를 사용하지 않고도 어텐션 매트릭스의 근사치를 효율적으로 계산할 수 있습니다. 이 접근 방식은 계산 효율성을 크게 향상시키면서도 모델의 성능을 유지하거나 심지어 개선할 수 있는 잠재력을 가지고 있습니다. 따라서, NystromAttention은 자연어 처리, 이미지 분석 등 다양한 분야에서 트랜스포머 모델을 더 효율적으로 활용할 수 있는 방법으로 주목받고 있습니다. NystromAttention 사용 Vis.. 더보기 Promptbreeder： Self-Referential Self-Improvement Via Prompt Evolution 프롬프트브리더: 프롬프트 진화를 통한 자기 개선 프롬프트브리더는 언어 모델을 효율적으로 개선하기 위한 새로운 방법입니다. 언어 모델이란 텍스트를 생성하고 이해하는 인공지능 알고리즘을 말합니다. 이 방법은 언어 모델이 스스로 프롬프트를 발전시키고 개선하는 것에 초점을 맞춥니다. 자기 참조적 개선: 프롬프트브리더는 언어 모델이 스스로 자신의 프롬프트를 만들고 개선하는 방식을 채택합니다. 이는 진화 알고리즘을 통해 이루어집니다. 진화 알고리즘은 돌연변이와 적합도 평가에 의존하여 더 나은 결과를 도출합니다. 진화 알고리즘의 역할: 언어 모델은 특정 작업을 수행하기 위해 필요한 프롬프트를 스스로 발전시키는데, 이 과정에서 진화 알고리즘이 사용됩니다. 돌연변이 프롬프트와 작업 프롬프트가 개선되면서 모델의 성능이 향.. 더보기 Identifying and Eliminating CASM in Generative ML Training Data and Models 보호되어 있는 글입니다. 더보기 Efficient Streaming Language Models with Attention Sinks 스트리밍 언어 모델의 효율성 향상과 Attention Sinks 언어 모델링은 텍스트를 생성하고 이해하는 데 사용되는 인공지능 알고리즘입니다. 기존 언어 모델은 데이터 처리에 많은 자원을 필요로 하며, 특히 긴 텍스트를 다룰 때 비효율적일 수 있습니다. 긴 텍스트를 처리할 때 기존 모델들은 느려지고 많은 메모리를 필요로 합니다. 이는 특히 모델이 긴 텍스트를 처리하며 정확도를 유지하려고 할 때 더욱 심해집니다. 이에 대한 해결책으로 'Attention Sinks'라는 새로운 개념이 도입되었습니다. 이 기법은 언어 모델이 텍스트의 특정 부분에만 주의를 기울이도록 하여, 불필요한 계산을 줄이고 모델의 속도와 효율성을 향상시킵니다. 이 새로운 방식을 적용한 모델은 긴 텍스트를 더 빠르고 효율적으로 처리할 수 .. 더보기 재미있는 프로그램 https://www.youtube.com/watch?v=v8O_tSF_o50 https://github.com/yk/litter GitHub - yk/litter Contribute to yk/litter development by creating an account on GitHub. github.com 더보기 이전 1 ··· 45 46 47 48 49 50 51 ··· 62 다음