본문 바로가기

일상생활

일반적으로 사용되는 챗봇의 원리 최근에 떠오르고 있는 Chat GPT나 구글의 바드는 일반저긍로 다음의 원리와 같이 작동할 것이다. 이를 간단하게 해설하도록 하겠다. 먼저, 우리는 데이터들을 수집해야한다. 예를들어, 코딩, 문장, 질문, 그에 대한 정답들을 데이터세트 형태로 모으고 이를 supervised learning을 한다. 두번째는 이렇게 만들어진 모델에서도 중복된 데이터들이 있을 것이고 이에 대한 차등을 주며 reward model을 추가적으로 생성한다. 그러면 우리는 2개의 네트워크가 생성되었다. 하지만 지속가능한 챗봇모델을 만들려면 강화학습이 일반적으로 필요하다. 따라서 PPO와 같은 믿을 수 있을 정도로만 업데이트 되는 안전한 강화학습 모델에 supervised learning 네트워크를 기본 모델로 사용하고 (Actor.. 더보기
List the top 5 take aways from the landmark paper "Attention is All You Need". The paper "Attention is All You Need" is a seminal work in the field of Natural Language Processing (NLP) and deep learning. Here are the top 5 takeaways from this landmark paper: The Transformer architecture: The paper introduces the Transformer architecture, which is now widely used in NLP tasks such as machine translation and text classification. The Transformer is unique in that it uses self.. 더보기
여러분들의 도움이 필요합니다. (Open Assistant) https://github.com/LAION-AI/Open-Assistant GitHub - LAION-AI/Open-Assistant: OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party systems, and retrieve information dynamically to do so. - GitHub - LAION-AI/Open-Assistant: OpenAssista... github.com open-assistant... 더보기
기업들이 Tensorflow보다 Pytorch로 선호하는 이유 간단하게 Tensorflow와 Pytorch의 정의를 보자. TensorFlow는 다양한 작업에서 데이터 흐름 및 차별화 가능한 프로그래밍을 위한 오픈 소스 소프트웨어 라이브러리다. 기호 수학 라이브러리이며 신경망과 같은 기계 학습 응용 프로그램에도 사용되며, Google Brain 팀에서 개발했으며 많은 Google 제품 및 서비스에 사용되고 있다. PyTorch는 Torch 라이브러리를 기반으로 하는 오픈 소스 기계 학습 라이브러리이며, Facebook의 AI 연구소에서 개발했으며 많은 제품에 사용되는 중이다. PyTorch는 유연성과 사용 편의성에 중점을 두고 연구 및 실험을 위한 플랫폼을 제공한다. 그렇다면 둘의 결정적인 차이는 무엇일까? TensorFlow와 달리 PyTorch는 "실행별 정의".. 더보기
Chat-GPT 잡아내는 AI 나왔다 출처: https://n.news.naver.com/article/015/0004804576 AI 전쟁의 서막…챗GPT 잡아내는 AI 나왔다 인공지능(AI) 챗봇인 챗GPT가 만든 콘텐츠를 잡아내는 AI 기술이 나왔다. 챗GPT의 성능이 너무 뛰어나 각종 논란이 커지면서다. 챗GPT 같은 일명 생성AI 기술이 사람을 속이는 데 악용될 수 있다는 우 n.news.naver.com 간단한 한 요약: “학생들이 (GPT 같은) LLM(대규모 언어 모델) 사용해 과제를 끝낼 수 있는데 이런 경우 선생은 학생의 학습 내용을 정확하게 평가할 수 없다”며 미국 스탠퍼드대의 크리스토퍼 매닝 교수와 첼시 핀 교수 등이 참여한 연구팀은 지난 26일 챗GPT의 바탕인 AI 언어모델 GPT3로 만들어진 문장 찾아내는 기술(디.. 더보기