본문 바로가기

개인용

UBC Ovarian Cancer Subtype Classification and Outlier Detection (UBC-OCEAN) NystromAttention은 이 문제를 해결하기 위해 'Nystrom 방법'을 적용합니다. Nystrom 방법은 행렬의 근사치를 계산하는 데 사용되는 수학적 기법으로, 원래 행렬의 작은 부분집합을 사용하여 전체 행렬을 근사하는 방식입니다. 이를 통해 NystromAttention은 전체 입력 데이터를 사용하지 않고도 어텐션 매트릭스의 근사치를 효율적으로 계산할 수 있습니다. 이 접근 방식은 계산 효율성을 크게 향상시키면서도 모델의 성능을 유지하거나 심지어 개선할 수 있는 잠재력을 가지고 있습니다. 따라서, NystromAttention은 자연어 처리, 이미지 분석 등 다양한 분야에서 트랜스포머 모델을 더 효율적으로 활용할 수 있는 방법으로 주목받고 있습니다. NystromAttention 사용 Vis.. 더보기
Identifying and Eliminating CASM in Generative ML Training Data and Models 보호되어 있는 글입니다. 더보기
이미지 사이트들 https://paperswithcode.com/sota/image-classification-on-imagenet Papers with Code - ImageNet Benchmark (Image Classification) The current state-of-the-art on ImageNet is OmniVec. See a full comparison of 950 papers with code. paperswithcode.com https://paperswithcode.com/paper/swin-transformer-v2-scaling-up-capacity-and Papers with Code - Swin Transformer V2: Scaling Up Capacity and Resolution #.. 더보기
chatdev 설치법 https://natural20.com/chatdev/ 더보기
그림 보호되어 있는 글입니다. 더보기
정형 데이터 참고 https://www.intelligencelabs.tech/3ac72939-db45-4804-9b9d-3ec2c08ef504#2f155188109340e68597d92655e4d6e8 정형 데이터를 위한 딥러닝: TabNet Table of contents www.intelligencelabs.tech https://housekdk.gitbook.io/ml/ml/tabular/tabnet-overview TabNet Overview - noviceforever 좀 더 자세히 기술하자면, Feature transformer 블록에서 임베딩(embedding)을 수행하고, Attentive transformer 블록에서 trainable Mask를 생성합니다. 이 Mask는 3가지 용도로 활용됩니다. 1).. 더보기
멘탈리티 보호되어 있는 글입니다. 더보기
multi agent rl https://kilmya1.gitbook.io/deep-multi-agent-reinforcement-learning/1.-introduction/1.-introduction/1.3-overall-structure 1.3 Overall Structure - Deep Multi-Agent Reinforcement Learning 지금까지는 cooperative한 환경에서 team reward를 최대화 하기 위한 방법들에 대해 얘기했습니다. 하지만, 많은 실제 문제에서 agent는 개인의 목적을 최대화하는 데에 목적을 두고 있습니다. 예를 들 kilmya1.gitbook.io 더보기