[산학연계 SW프로젝트] 과제 요약

과제 명

시멘틱 참조영상을 이용한 영상 인페인팅 (Inpainting using Inter-picture Sementic Reference)

과제의 개요

가. 영상 인페인팅이란?

영상 인페인팅은 입력 영상에 훼손되거나 빈 영역이 존재할 경우 이 영역을 자연스럽게 채워 영상을 복원해내는 영상처리 기법. 디지털 영상에서 일부 물체를 지우고자 할 때 빈 영역을 자연스럽게 채워 넣어 물체를 삭제하는 데 활용되고 있음.

나. 배경 및 필요성

기존 방법들은 인페인팅된 영역에서 주변 텍스처와 상관성(correlation)이 없는 상이한 특성의 텍스처가 나와 자연스러움을 떨어트리는 현상이 발생. 또한, 에지가 매끄럽지 못하게 생성되는 단점이 존재. 이러한 문제점들은 영역을 채워 넣을 시멘틱(semantic) 정보가 없기 때문에 발생한 현상. 시멘틱 정보가 있는 참조영상을 추가로 입력하여 문제를 개선.

과제의 내용

가. 설계 및 개발의 내용

1) 개념 설계 (구조 설계)

입력영상에서 지우고자 하는 영역을 선택하고 선택영역을 참조영상을 이용하여 자연스럽게 채워 넣는 구조. 제안하는 인페인팅 모델은 rough network와 refinement network로 구분됨. Rough network에서 선택영역을 대략적으로 채워 넣음. Refinement network의 IPSR layer에서 참조영상을 사용하여 대략적으로 채워진 부분을 자연스럽게 개선.

2) 상세 설계 (기능 설계)

Rough network는 원천연구에서 사용한 pix2pix generator를 차용함. Ground truth와 출력데이터들 간의 차이의 절댓값의 합인 L1 reconstruction loss를 사용하여 rough image가 ground truth에 근접하게 생성되도록 학습을 진행. Feature concatenate을 하는 skip connection을 통해 sub-sampling을 수행하면서 사라지는 정교한 화소 정보를 up-sampling을 수행할 때 보상해줌. 이를 통해 더욱 좋은 화질의 rough image를 얻을 수 있음.

Refinement network은 rough network과 마찬가지로 skip connection을 사용. IPSR layer에서 pre-trained VGG-16 network의 출력인 reference feature map을 참조하는 기능 수행. IPSR layer는 reference feature map에서 상관성이 가장 높은 patch를 찾아서 기존 patch를 대체함. 이후 이전에 생성된 patch와 reference feature map에서 찾은 patch를 함께 고려하여 새로운 patch를 생성함.

3) 개발의 내용

시멘틱 참조영상을 참조하는 IPSR layer를 refinement network에 추가.

참조영상을 변형하여 네트워크 학습.

최종 결과물

정답영상과 결과영상의 픽셀값의 평균 제곱 오차인 PSNR과 사람의 지각 품질 차이를 반영한 객관적 화칠 측정 방법인 SSIM을 사용. 두 영상이 완벽하게 동일하다면 PSNR은 무한대가 되고 SSIM은 1이 된다.

개선 방안

Discriminator를 다 빼고 ground truth랑 똑같이 되도록 학습 진행. 학습할 때 MSE 최소화 또는 SSIM 최소화로 학습할 예정

과제의 향후 계획

국내 논문 작성