전체 글 썸네일형 리스트형 Direct Preference Optimization: Your Language Model is Secretly a Reward Model https://arxiv.org/abs/2305.18290 Direct Preference Optimization: Your Language Model is Secretly a Reward ModelWhile large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely unsupervised nature of their training. Existing methods for gaining sarxiv.org 초록대규모 비지도 언어 모델(LMs)은.. 더보기 Nemotron-4 340B Technical Report https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language ModelsNemotron-4 340B, a family of models optimized for NVIDIA NeMo and NVIDIA TensorRT-LLM, includes cutting-edge instruct and reward models, and a dataset for generative AI training.blogs.nvidia.com 요약우리는 Nemotron-4 340B 모델 패밀리를 공개.. 더보기 Mixture-of-Agents Enhances Large Language ModelCapabilities https://github.com/togethercomputer/MoA?tab=readme-ov-file GitHub - togethercomputer/MoAContribute to togethercomputer/MoA development by creating an account on GitHub.github.com 초록최근 대형 언어 모델(LLM)의 발전은 자연어 이해 및 생성 작업에서 상당한 능력을 보여주고 있다. 증가하는 LLM의 수와 함께 여러 LLM의 집합적 전문 지식을 활용하는 방법은 흥미로운 개방적 방향이다. 이를 목표로 우리는 다중 LLM의 집합적 강점을 활용하는 Mixture-of-Agents (MoA) 방법론을 제안한다. 우리의 접근법에서 우리는 각 계층이 여러 LLM 에이전트로 구.. 더보기 Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation https://github.com/fudan-generative-vision/hallo GitHub - fudan-generative-vision/hallo: Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image AnimationHallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation - fudan-generative-vision/hallogithub.com시작전 알아두면 좋을 것종단 간 확산 모델(End-to-End Diffusion Model)은 최신 인공지능 기술 중 하나로, 이미지와 같은 데이터를 생성하거나 복원하는 데 사용됩니다. 이 모델은 데.. 더보기 Will we run out of data? Limits of LLM scaling based on human-generated data 요약우리는 공개된 인간 생성 텍스트 데이터의 가용성이 대규모 언어 모델(LLM) 확장에 미치는 잠재적 제약을 조사합니다. 현재 추세에 기반하여 훈련 데이터에 대한 수요 증가를 예측하고, 공개된 인간 텍스트 데이터의 총량을 추정합니다. 우리의 연구 결과에 따르면, 현재의 LLM 개발 추세가 계속된다면, 2026년에서 2032년 사이에 모델들이 공개된 인간 텍스트 데이터의 총량과 대략 비슷한 크기의 데이터셋으로 훈련될 것이며, 모델이 과도하게 훈련된다면 이보다 약간 더 이르게 도달할 수 있습니다. 우리는 인간 생성 텍스트 데이터셋을 더 이상 확장할 수 없을 때 언어 모델링의 발전이 어떻게 지속될 수 있는지 탐구합니다. 우리는 합성 데이터 생성, 데이터가 풍부한 도메인에서의 전이 학습, 데이터 효율성 향상 등.. 더보기 xLSTM: Extended Long Short-Term Memory 요약 1990년대에 Long Short-Term Memory(LSTM)의 핵심 아이디어로 지속적인 오류 회전목마와 게이팅이 도입되었습니다. 그 이후로 LSTM은 시간의 시험을 견디며 많은 딥러닝 성공 사례에 기여했으며, 특히 첫 번째 대형 언어 모델(LLM)을 구성했습니다. 그러나 병렬화 가능한 자기 주의를 핵심으로 하는 트랜스포머 기술의 출현은 새로운 시대의 도래를 알렸고, 대규모에서 LSTM을 능가했습니다. 이제 우리는 간단한 질문을 제기합니다: 최신 LLM의 기술을 활용하되 LSTM의 알려진 한계를 완화하면서 LSTM을 수십억 개의 매개변수로 확장하면 언어 모델링에서 얼마나 멀리 갈 수 있을까요? 첫째, 적절한 정규화 및 안정화 기법을 사용한 지수 게이팅을 도입합니다. 둘째, LSTM 메모리 구조를.. 더보기 사족보행 로봇을 위한 다중제약 강화학습 알고리즘 https://www.youtube.com/watch?v=aoCfrVVQD4chttps://developer.nvidia.com/isaac 활용이 특징점 Isaac PlatformDevelop, train, simulate, deploy, operate, and optimize AI robot systems.developer.nvidia.com 더보기 ToonCrafter: Generative Cartoon Interpolation https://doubiiu.github.io/projects/ToonCrafter --> --> Teaser video Input starting frame Input ending frame Traditional synthesis interpolation (EISAI) Our generative interpolation --> Showcases produced by our ToonCrafte" data-og-host="doubiiu.github.io" data-og-source-url="https://doubiiu.github.io/projects/ToonCrafter" data-og-url="https://doubiiu.github.io/projects/ToonCrafter/" data-og-.. 더보기 이전 1 ··· 12 13 14 15 16 17 18 ··· 35 다음
