트랜스포머에 적용된 기술들
05/26/2023 Deep Learning
트랜스포머 블록은 멀티 헤드 어텐션, 피드 포워드 뉴럴 네트워크, 잔차 연결 및 레이어 정규화 등 세 가지 구성 요소를 기본으로 합니다.
최근 포스트
트랜스포머 살펴보기
05/26/2023 Deep Learning
셀프 어텐션(Self Attention)
05/26/2023 Deep Learning
트랜스포머(transformer)의 핵심 구성요소는 셀프 어텐션입니다. 셀프 어텐션은 트랜스포머의 인코더와 디코더 블록 모두에서 수행됩니다. 이 글에서는 인코더의 셀프 어텐션에 대해 살펴보겠습니다.
비전 트랜스포머(Vision Transformer)
05/26/2023 Deep Learning
CBAM (Convolutional Block Attention Module)
05/25/2023 Deep Learning
CBAM은 attention module을 사용하여 모델의 성능을 향상시킵니다. Channel attention module과 spatial attention module로 구성되어 있으며, 각각의 attention module은 채널과 공간에 대한 attention map을 생성...
[GPU컴퓨팅] 1. Introduction to GPU computing
09/10/2021 Computer Science
본 포스팅은 광운대학교 공영호 교수님의 ‘GPU컴퓨팅’을 수강하며 정리한 노트입니다.
백트래킹
09/09/2021 Algorithm
본 포스팅은 SW Expert Academy의 ‘SW 문제해결 응용’ 강의를 듣고 공부하며 정리한 노트입니다.
[머신러닝] 1. Entire Machine Learning Flow
09/08/2021 Computer Science
본 포스팅은 광운대학교 정용진 교수님의 ‘머신러닝’을 수강하며 정리한 노트입니다.
[산학연계 SW프로젝트] 논문 번역
09/03/2021 Image Inpainting
논문
[산학연계 SW프로젝트] 코드 리뷰
08/31/2021 Image Inpainting
용어