본문 바로가기

전체 글

Mamba： Linear-Time Sequence Modeling with Selective State Spaces Mamba: 단순화된 시퀀스 모델링 Mamba는 새로운 종류의 컴퓨터 알고리즘이며, Albert Gu와 Tri Dao가 개발했습니다. 이 기술은 '선택적 상태 공간'을 사용하여 시퀀스(데이터의 순서)를 모델링합니다. 이것은 기존의 방법들과는 다른 접근 방식입니다. 기존 방식과의 차이점 Transformers: 이전에 많이 사용된 Transformers는 긴 데이터 시퀀스를 처리하는 데 효율적이지만, 계산량이 많고 메모리 요구사항이 높습니다. Recurrent Neural Networks (RNNs): RNN은 데이터 시퀀스를 처리하는 데 널리 사용되지만, 긴 시퀀스에는 효율적이지 않고 학습이 어려울 수 있습니다. Mamba의 특징 선택적 상태 공간: Mamba는 선택적 상태 공간을 활용하여 기존 방식의 .. 더보기
이미지 사이트들 https://paperswithcode.com/sota/image-classification-on-imagenet Papers with Code - ImageNet Benchmark (Image Classification) The current state-of-the-art on ImageNet is OmniVec. See a full comparison of 950 papers with code. paperswithcode.com https://paperswithcode.com/paper/swin-transformer-v2-scaling-up-capacity-and Papers with Code - Swin Transformer V2: Scaling Up Capacity and Resolution #.. 더보기
[중요한 것은 꺾이지 않는 RL] Multi Environment Reinforcement Learning https://www.youtube.com/watch?v=4_V6yosIDJc 다수의 gpu 사용 더보기
필요 사이트 timm + torch https://github.com/huggingface/pytorch-image-models?tab=readme-ov-file#features 더보기
GEM Pooling class GeM(nn.Module): def __init__(self, p=3, eps=1e-6): super(GeM, self).__init__() self.p = nn.Parameter(torch.ones(1)*p) self.eps = eps def forward(self, x): return self.gem(x, p=self.p, eps=self.eps) def gem(self, x, p=3, eps=1e-6): return F.avg_pool2d(x.clamp(min=eps).pow(p), (x.size(-2), x.size(-1))).pow(1./p) def __repr__(self): return self.__class__.__name__ + \ '(' + 'p=' + '{:.4f}'.for.. 더보기
Segforemer 참고 https://blog.kubwa.co.kr/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-segformer-simple-and-efficient-design-for-semantic-segmentation-with-transformers-d7169e030323 더보기
LORA https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 참고 https://kyujinpy.tistory.com/83 더보기
cal q learning https://arxiv.org/abs/2303.05479 Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning A compelling use case of offline reinforcement learning (RL) is to obtain a policy initialization from existing datasets followed by fast online fine-tuning with limited interaction. However, existing offline RL methods tend to behave poorly during fine-tu arxiv.org soft actor critic은 자신을.. 더보기

티스토리툴바