본문 바로가기

전체 글

Chapter 6 Transformer Model Ashish Vaswani, Noam Shazeer , Niki Parmar, Jakob Uszkoreit , Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin , "Attention Is All You Need," NIPS 2018를 바탕으로 작성되었다. 우리는 Chapter 5에서 Attention model을 통해 Sequential computation 사용하여 병렬화를 방지했다. 하지만 GRU 및 LSTM에도 불구하고 RNN은 여전히 장거리 종속성을 처리하기 위한 attention mechanism이 필요하다. 이전을 살펴보면 다음과 같다. 이를 실제로 사용하면 생각보다 잘 되지 않는다는 것을 알 수 있다. 일단 이를 해결해보기 위해 a.. 더보기
ChatGPT에 플러그인이 생겼다 활용해볼 예정 더보기
Chapter 5 RNN, LSTM, GRU 지금까지는 이미지 처리에 중점을 두고 있는 NN에 대해서 알아보았다. 세상에는 많은 데이터가 존재하고 이미지만 데이터가 아닐 것이다. 우리는 가계부나 증권의 오르내림과 같은 순차적인 데이터 처리도 해야한다. 이를 위해서 나온 것이 RNN (Recurrent Neural Network)이다. 기존 CNN은 고정된 입력 크기를 가지고 있어 동적인 데이터 처리에는 제한이 있으며, 이를 해결하기 위해 RNN이 나왔다. 다음은 RNN의 일반적인 형태이다. 이를 어떻게 사용하는지가 더 중요하고 하지만 RNN에 대해서 간단하게 설명하겠다. RNN은 순차적인 데이터나 시계열 데이터와 같이 시간적인 의존성을 가지는 데이터를 처리하는 데 사용되는 인공 신경망의 한 종류이다. RNN은 입력 데이터의 현재 상태뿐만 아니라 이.. 더보기
Chapter 4 CNN Structures 현재 다음의 대회를 참가하고, 추가로 참가하는 대회가 있어 시간이 많이 밀렸다. https://junhan-ai.tistory.com/65 Lux AI Season 2 결과 27등 junhan-ai.tistory.com 추가로 참가하고 있는 대회는 BirdCLEF 2023과 Predict Student Performance from Game Play이다. 여튼 개인적인 사정은 여기까지하고 이전에 진행했던, CNN 파트를 이어서 진행하고자 한다. 우리는 이전에 나온 유명한 CNN Architecture들을 살펴볼 것이다. 이것이 왜 중요하냐면 현재도 코드에서 backbone 부분으로, 이미지나 데이터의 특성을 추출하는 역할 수행하는 경우가 많기 때문이다. (일반적으로 딥러닝 모델은 전체 아키텍처를 구성하는.. 더보기
구글 바드 출시 https://bard.google.com/ Bard Bard is your creative and helpful collaborator to supercharge your imagination, boost productivity, and bring ideas to life. bard.google.com 구글 검색이랑 연동되서 은근 괜찮다 더보기
Lux AI Season 2 결과 27등 더보기
multi agent rl https://kilmya1.gitbook.io/deep-multi-agent-reinforcement-learning/1.-introduction/1.-introduction/1.3-overall-structure 1.3 Overall Structure - Deep Multi-Agent Reinforcement Learning 지금까지는 cooperative한 환경에서 team reward를 최대화 하기 위한 방법들에 대해 얘기했습니다. 하지만, 많은 실제 문제에서 agent는 개인의 목적을 최대화하는 데에 목적을 두고 있습니다. 예를 들 kilmya1.gitbook.io 더보기
스스로 학습하는 인공지능 https://github.com/Torantulino/Auto-GPT GitHub - Torantulino/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous. An experimental open-source attempt to make GPT-4 fully autonomous. - GitHub - Torantulino/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous. github.com 이걸로 나중에 무언갈 해보자 더보기

티스토리툴바