일상생활

QLora 구조

JunHan 2024. 1. 26. 23:43

https://www.linkedin.com/posts/andrew-iain-jardine_llm-opensource-gpt3-activity-7153038508087984128-Qiqq?utm_source=share&utm_medium=member_android

 

LinkedIn Andrew Jardine 페이지: #llm #opensource #gpt3 | 댓글 30

MoE ➕ QLoRA 🟰 PESC ......a new technique that turns any #LLM into a MoE LLM........ also we get a new #opensource model that beats Mixtral 🥳 The clever… | 댓글 30

www.linkedin.com

 

항상 댓글에 Lora와 QLora 비교에 대한 질문이 올라오는데, 결국 QLora가 채택될 가능성이 높아 보이긴함