본문 바로가기

일상생활

QLora 구조

https://www.linkedin.com/posts/andrew-iain-jardine_llm-opensource-gpt3-activity-7153038508087984128-Qiqq?utm_source=share&utm_medium=member_android

 

LinkedIn Andrew Jardine 페이지: #llm #opensource #gpt3 | 댓글 30

MoE ➕ QLoRA 🟰 PESC ......a new technique that turns any #LLM into a MoE LLM........ also we get a new #opensource model that beats Mixtral 🥳 The clever… | 댓글 30

www.linkedin.com

 

항상 댓글에 Lora와 QLora 비교에 대한 질문이 올라오는데, 결국 QLora가 채택될 가능성이 높아 보이긴함

'일상생활' 카테고리의 다른 글

AutoTrain - Hugging Face  (0) 2024.01.28
image-classification-on-imagenet  (0) 2024.01.28
라마2 개선 버전?  (0) 2024.01.26
Segmentation_models 대체제?  (0) 2024.01.26
드림부스 finetune  (0) 2024.01.26