본문 바로가기

전체 글26

Blog Update 항상 알찬 마음으로 글쓰기를 시작했다가 마무리하지 못하고 흐지부지 끝낸 글들이 대다수인 것 같다.. 종강하고 나서는 공부한 내용들을 블로그에 제대로 정리해놔서필요할 때 금방 리마인드 할 수 있게 해놔야겠다..:) 그런 의미에서.. 나 얼렁 종강시켜줘ㅠㅠㅠㅠ 2024. 6. 14.

[Overview] Image Formation Image Formation : Projection of 3D scene onto 2D plane : scene과 image간의 geometric and photometric relation에 대해서 이해할 필요가 있음 - geometric : scene의 한 point가 있을 때, image에 어떻게 표현되는지의 관점 - photometric : scene의 brightness와 apearance가 image에서는 어떻게 표현되는지의 관점 Topics : (1) Pinhole and Perspective Projection - 가장 기본이 되는, 역사가 긴 pinhole 카메라에 대해서 알아보겠음 - 물론 장점도 많은 카메라이지만 (can produce great clarity) 빛을 모으는데 문제가 .. 2024. 4. 6.

[논문 발표] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis 이번에 NeRF 논문을 읽었는데요, 간략하게 NeRF에 대해서 설명한 다음에 구체적으로 NeRF의 아키텍처와 구현 방법에 대해서 발표해보겠습니다. NeRF는 Neural Radiance Field의 약자입니다. 제목에서는 View Synthesis를 하기 위해서 NeRF를 사용하고자 한다는데요, 여기서 view synthesis라는 것은 여러 view에서 찍은 어떤 객체의 사진을 학습 시켰을 때 객체를 새로운 view에서 바라보았을 때의 모습을 알아내는 작업입니다. 앞서 연구에서는 이 view synthesis 작업이 성능이 좋지 않게 나오거나 많은 데이터셋을 요구해 너무 많은 메모리를 요하는 어려움이 있었습니다. 그래서 이 논문에서는 이러한 문제를 해결할 수 있는 새로운 방안인 "NeRF"를 제시한건데.. 2024. 3. 13.

Lecture 2. Image Classification Image Classification What is Image Classification? Example : Input : 고양이 사진 컴퓨터는 사전에 정해진 label들의 집합을(predetermined set of labels) 가지고, input값과 일치하는 label값을 output으로 출력하도록 계산한다. Output : Cat Semantic Gap (의미적 차이) 정의 : 실제 이미지가 갖고 있는 의미와 컴퓨터가 보는 픽셀값 의미의 차이 우리는 쉽게 고양이를 보고 "고양이"임을 분류할 수 있지만, 컴퓨터의 경우에는 하나의 image가 거대한 숫자 그리드(gigantic grid of numbers)로 보이기 때문에 고양이를 바로 연상할 수 없는 것이다. Challenges : Viewpoin.. 2024. 2. 16.

Lecture 13. Generative Models Overview - Unsupervised Learning - Generative Models PixelRNN and PixelCNN Variational Autoencoders (VAE) Generative Adversarial Networks (GAN) Classification : Input : Image Output : Text (Label) Object Detection : Input : Image Output : Bounding Boxes of instances Semantic Segmentation (having label for every pixel) : ? Image Captioning : Input : Image Output : Caption (form of natural languag.. 2024. 2. 13.

[논문 스터디] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT) 논문 생성 배경 자연어처리에서는 이제 RNN을 사용하지 않고 transformer가 NLP의 표준이라고 할 정도로 자리가 잡힌 중요한 모델이다. 이를 컴퓨터 비전의 Image Classification에 적용을 해보기 위해 많은 노력들이 있었지만, 여전히 CNN 모델에 의존적인 모델들이 많이 나왔고 완벽하게 transformer만 사용한 모델들은 이론적으로는 효율적이겠지만, specialized attention pattern들을 사용하기 때문에 최신 하드웨어 가속기에서는 아직 효과적으로 확장되지 않았다. 그래서 이 논문에서는 CNN 구조를 버린, 온전히 transformer만 사용하여 Image Classification할 수 있도록 ViT(Vision Transformer) 모델이 나옴 논문 모델 구.. 2024. 2. 9.

High-Resolution Image Synthesis with Latent Diffusion Models stable diffusion is latent diffusion latent diffusion is open sourced version of diffusion 2024. 2. 9.

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT) 1. 파이토치 트랜스포머를 활용한 자연어 처리와 컴퓨터비전 심층학습 p601~623 2. Shusen Wang - Vision Transformer for Image Classification (유튜브) 3. 고려대학교 DSBA - [Paper Review] ViT 자연어 처리에서의 트랜스포머는 컴퓨터 비전에서도 많은 영향을 주었는데, 이전 컴퓨터비전 관련 연구는 합성곱 신경망에 트랜스포머 모델의 셀프 어텐션 모듈을 착용한 모델이 많았지만, ViT(Vision Transformer)는 트랜스포머 구조 자체를 컴퓨터비전 분야에 적용한 첫 번째 연구다. CNN 모델의 합성곱 계층 방법은 이미지 분류를 위해서 지역 특징을 추출했다면 ViT는 셀프 어텐션을 사용해 전체 이미지를 한 번에 처리하는 방식으로 구현한.. 2024. 2. 7.

CNN(합성곱 신경망) 3차원 데이터의 합성곱 연산 - 가중치와 편향 이미지는 세로, 가로, 채널의 3차원 데이터이다 이미지와 같은 3차원 데이터의 합성곱 연산을 살펴보겠다 2차원일 때와 비교하면, 길이 방향(채널 방향)으로 특징 맵이 늘어났습니다. 채널쪽으로 특징 맵이 여러 개 있다면 입력 데이터와 필터의 합성곱 연산을 채널마다 수행하고, 그 결과를 더해서 하나의 출력을 얻습니다. 3차원의 합성곱 연산에서 주의할 점은 입력 데이터의 채널 수와 필터의 채널 수가 같아야 한다는 것입니다. 한편, 필터 자체의 크기는 원하는 값으로 설정할 수 있습니다. 단, 모든 채널의 필터가 같은 크기여야 합니다. 이 예에서는 필터의 크기가 (3,3)이지만, 원한다면 (2,2)나 (1,1), (5,5) 등으로 설정해도 됩니다. 위 그림에서는 출력.. 2024. 2. 7.

이전 1 2 3 다음

티스토리툴바