전체 글 썸네일형 리스트형 Will we run out of data? Limits of LLM scaling based on human-generated data 요약우리는 공개된 인간 생성 텍스트 데이터의 가용성이 대규모 언어 모델(LLM) 확장에 미치는 잠재적 제약을 조사합니다. 현재 추세에 기반하여 훈련 데이터에 대한 수요 증가를 예측하고, 공개된 인간 텍스트 데이터의 총량을 추정합니다. 우리의 연구 결과에 따르면, 현재의 LLM 개발 추세가 계속된다면, 2026년에서 2032년 사이에 모델들이 공개된 인간 텍스트 데이터의 총량과 대략 비슷한 크기의 데이터셋으로 훈련될 것이며, 모델이 과도하게 훈련된다면 이보다 약간 더 이르게 도달할 수 있습니다. 우리는 인간 생성 텍스트 데이터셋을 더 이상 확장할 수 없을 때 언어 모델링의 발전이 어떻게 지속될 수 있는지 탐구합니다. 우리는 합성 데이터 생성, 데이터가 풍부한 도메인에서의 전이 학습, 데이터 효율성 향상 등.. 더보기 xLSTM: Extended Long Short-Term Memory 요약 1990년대에 Long Short-Term Memory(LSTM)의 핵심 아이디어로 지속적인 오류 회전목마와 게이팅이 도입되었습니다. 그 이후로 LSTM은 시간의 시험을 견디며 많은 딥러닝 성공 사례에 기여했으며, 특히 첫 번째 대형 언어 모델(LLM)을 구성했습니다. 그러나 병렬화 가능한 자기 주의를 핵심으로 하는 트랜스포머 기술의 출현은 새로운 시대의 도래를 알렸고, 대규모에서 LSTM을 능가했습니다. 이제 우리는 간단한 질문을 제기합니다: 최신 LLM의 기술을 활용하되 LSTM의 알려진 한계를 완화하면서 LSTM을 수십억 개의 매개변수로 확장하면 언어 모델링에서 얼마나 멀리 갈 수 있을까요? 첫째, 적절한 정규화 및 안정화 기법을 사용한 지수 게이팅을 도입합니다. 둘째, LSTM 메모리 구조를.. 더보기 사족보행 로봇을 위한 다중제약 강화학습 알고리즘 https://www.youtube.com/watch?v=aoCfrVVQD4chttps://developer.nvidia.com/isaac 활용이 특징점 Isaac PlatformDevelop, train, simulate, deploy, operate, and optimize AI robot systems.developer.nvidia.com 더보기 ToonCrafter: Generative Cartoon Interpolation https://doubiiu.github.io/projects/ToonCrafter --> --> Teaser video Input starting frame Input ending frame Traditional synthesis interpolation (EISAI) Our generative interpolation --> Showcases produced by our ToonCrafte" data-og-host="doubiiu.github.io" data-og-source-url="https://doubiiu.github.io/projects/ToonCrafter" data-og-url="https://doubiiu.github.io/projects/ToonCrafter/" data-og-.. 더보기 diffusion 논문 유튜브 공유 https://www.youtube.com/watch?v=RGlwzCWJubs 더보기 storydiffusion storydiffusionhttps://storydiffusion.github.io/ StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video GenerationDemo Video StoryDiffusion can create Magic Story, achieving Long-Range Image and Video Generation! Comics Generation StoryDiffusion creates comics in various styles through the proposed consistent self-attention, maintaining consistent character styles andstorydiffus.. 더보기 [Kaggle] 키 발급 https://velog.io/@skyepodium/Kaggle-API-%EC%82%AC%EC%9A%A9%EB%B2%95 Kaggle API 사용법Kaggle API 를 사용해서 1. 데이터 받기, 2. 제출을 해봅시다.velog.io 더보기 AlphaCodium https://github.com/Codium-ai/AlphaCodium GitHub - Codium-ai/AlphaCodium: Official implementation for the paper: "Code Generation with AlphaCodium: From Prompt EngineerinOfficial implementation for the paper: "Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering"" - Codium-ai/AlphaCodiumgithub.comAlphaCodium은 Codium AI에서 개발한 최첨단 코드 생성 도구입니다. 2022년 11월에 처음 공개되었으며, 인공지능(AI).. 더보기 이전 1 2 3 4 5 6 7 ··· 23 다음
