논문 리뷰/자연어2 [NeuralIPS] Per-Pixel Classification is Not All You Need for Semantic Segmentation MaskFormer에 대해서 직접 조사하고 발표한 세미나 자료를 공유합니다. 2024. 7. 8. [NeuralIPS] Attention Is All You Need 여러 글들과 영상들을 보면서 서론에 항상 해당 제목의 자신감?!을 논하면서 들어간다. 논문 작성의 경험은 없지만, 이렇게 확신에 찬 제목을 짓는 것은 굉장히 이례적이구나라는 생각을 하게 되었던 논문이기도 하다. Attention의 도입은 기존 RNN 계열의 한계들을 완전히 극복하고 Transformer라는 혁신적인 구조로 탈바꿈할 수 있게 된 주요 기술이라고 소개할 수 있다. 심지어 자연어 처리에만 사용되는 것이 아닌, Vision Transformer로 발전하여 비전 분야의 CNN을 대체하는 파급력을 주게된 가장 영향력 높은 논문 중 하나이다. 또한 다소 얇은 논문으로 이 정도의 파급력이라고 하니 더 꼼꼼히 파보면서 추후 업데이트 해보도록 하겠습니다.ViT는 다음 주에 다루도록 하고, 'Attentio.. 2024. 6. 21. 이전 1 다음
