KR102371145B1 - 이미지 복원을 위한 장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 이미지 복원을 위한 장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 이미지 복원을 위한 장치는, 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부, 및 입력된 타겟 도메인 이미지의 손실된 임의 영역을 (기)저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 임의 영역의 복원 상태가 양호하게 판단되면 복원을 완료한 이미지와 임의 영역간의 특성을 분석하여 분석 결과를 학습 데이터로 활용하도록 저장부를 제어하는 제어부를 포함할 수 있다.

Description

이미지 복원을 위한 장치 및 그 장치의 구동방법{Apparatus for Image Synthesis and Driving Method Thereof}

본 발명은 이미지 복원을 위한 장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 객체 검출의 학습용 이미지로 사용할 수 있는 학습 데이터를 자동으로 무한하게 생성하여 이를 이용해 이미지를 보다 자연스럽게 복원(혹은 합성)하는 이미지 복원을 위한 장치 및 그 장치의 구동방법에 관한 것이다.

생성적 대립(혹은 적대) 신경망(Generative Adversarial Network)은 생성모델과 판별모델이 경쟁하면서 실제와 가까운 이미지, 동영상, 음성 등을 자동으로 만들어 내는 기계학습(ML: Machine Learning) 방식의 하나이다. 컴퓨터 프로그램이 특정 분야 실제 예제들을 학습하고 공통점을 추론하여 매우 정교한 위조품을 만들어 낼 수 있다. 생성적 대립 신경망은 동영상이나 이미지 위조 등에 주로 활용한다. 영화나 애니메이션에서의 특수 효과는 전문가가 직접 프로그램을 사용하여 실제와 유사한 결과물을 만들어 내지만 생성적 대립 신경망을 이용하면 실제와 유사한 결과물을 컴퓨터가 자동으로 만들어 낼 수 있다. 그러나 실제와 유사한 이미지나 동영상을 쉽게 만들 수 있어 가짜 뉴스 제작 등에 악용될 우려가 크다.

이러한 종래의 GAN 방식의 모델은 정지 이미지에서 배경 부분을 복원해 내는 분야 즉 이미지 합성 분야에도 활용되고 있다. 현재는 사람이 수동으로 육안으로 확인 후에 학습 데이터를 체리피킹(cherry-picking)하는 형태로 대부분의 작업이 이루어지고 있다.

이로 인해, 종래의 방식은 학습용으로 사용할 합성 이미지를 수동으로 체리피킹함으로 인해 상당한 인적 수고가 발생하고 있다.

또한, 종래의 GAN 방식을 통해 생성한 이미지는 타겟 데이터셋 즉 데이터집합에 합성하는 과정에서 GAN으로 생성된 이미지를 타겟 이미지에 합성한 퀄리티(quality)가 뒤죽박죽이라는 데 문제가 있다. 예를 들어, 이미지를 블렌딩(blending)하려고 하는 데이터와 부자연스럽게 합성되는 문제가 있으며, GAN이 생성한 이미지의 퀄리티가 좋지 않은 문제가 발생하고 있다.

한국공개특허공보 제10-2007-0093204호(2007.09.18) 한국공개특허공보 제10-2021-0041155호(2021.04.15) 한국공개특허공보 제10-2020-0095337호(2020.08.10) 한국등록특허공보 제10-0935482호(2009.12.28) 한국등록특허공보 제10-1942065호(2019.01.18) 한국등록특허공보 제10-2284796호(2021.07.27)

본 발명의 실시예는 가령 객체 검출의 학습용 이미지로 사용할 수 있는 학습 데이터를 자동으로 무한하게 생성하여 이를 이용해 이미지를 보다 자연스럽게 복원하는 이미지 복원을 위한 장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 이미지 복원을 위한 장치는, 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부, 및 입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 준자동 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부를 포함한다.

상기 제어부는, 분석 결과 상기 복원을 완료한 이미지의 상기 복원 상태가 양호하지 않으면 체리피킹하여 저장하지 않도록 한다.

상기 제어부는, 고차원 이미지를 저차원 공간으로 임베딩시켜 임베딩 공간에서 각 임베딩 벡터의 평균과 표준편차를 계산하는 FID(Frechet Inception Distance)를 적용하여 상기 분석 결과로서 특성값을 계산하는 이미지 복원을 위한 장치.

상기 제어부는, 두 이미지 패치간의 거리를 나타내며 DNN 분류기에서 임베딩한 특징 맵(feature map)간의 거리를 계산하는 LPIPS(Learned Perceptual Image Patch Similarity)를 적용하여 상기 분석 결과로서 특성값을 계산할 수 있다.

상기 제어부는, 상기 분석 결과의 특성값이 기설정된 오차범위 내에 분포할 때 상기 학습 데이터로 활용할 수 있다.

상기 제어부는, 상기 특성의 분석시 상기 복원한 임의 영역과 상기 임의 영역의 주변 배경과의 상관 관계를 분석하여 학습 데이터를 생성할 수 있다.

상기 특성의 분석시 합성이 잘된 이미지를 소수 추려내어(혹은 추출하여)(예: 10장 이내) 이를 기준으로 복원된 모든 이미지들에 대해 특성값(예: FID, LPIPS,등)을 분석하여 준자동으로 복원된 이미지를 체리피킹함으로써 학습 데이터를 생성할 수 있다

또한, 본 발명의 실시예에 따른 이미지 복원을 위한 장치의 구동방법은, 저장부가, 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 단계, 및 제어부가, 입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 단계를 포함한다.

본 발명의 실시예에 따르면, 객체 검출시 학습용 이미지로 사용할 수 있는 학습 데이터를 자동으로 무한하게 생성할 수 있다.

또한, 본 발명의 실시예는 생성한 이미지 혹은 이미지의 생성을 보다 자연스럽게 합성 혹은 복원이 가능하며, 학습용으로 사용한 합성 이미지를 기존과 같이 수동으로 체리피킹해야 하는 수고를 줄이거나 없앨 수 있다.

도 1은 본 발명의 실시예에 따른 이미지 복원 시스템을 예시한 도면,
도 2는 이미지의 복원 과정을 설명하기 위한 도면,
도 3은 본 발명의 실시예에 따른 이미지 복원을 위한 장치의 세부구조를 예시한 블록다이어그램,
도 4는 도 3의 이미지복원부의 세부구조를 예시한 블록다이어그램,
도 5 내지 도 7은 이미지 복원 과정을 설명하기 위한 도면, 그리고
도 8은 본 발명의 실시예에 따른 이미지 복원을 위한 장치의 구동과정을 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 이미지 복원 시스템을 예시한 도면이며, 도 2는 이미지의 복원 과정을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 복원 시스템(90)은 사용자 단말장치(100), 통신망(110) 및 이미지복원서비스장치(120)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 사용자 단말장치(100)나 통신망(110)와 같은 일부 구성요소가 생략되어 이미지복원서비스장치(120)가 스탠드얼론(stand alone) 형태로 동작하거나, 이미지복원서비스장치(120)를 구성하는 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

또한, 본 발명의 실시예에서는 이미지에서 임의 영역에 공백 부분이 발생하거나 화상이 훼손된 부분을 원 상태로 되돌린다는 의미에서 '복원'이라는 용어를 사용하지만, 공백 부분의 이미지를 기생성해 원본 이미지에 덧붙이는 형태로 작업이 이루어질 수 있어 이의 경우에는 '합성'이라 용어가 사용될 수도 있으므로, 본 발명의 실시예에서는 그러한 용어의 사용에 특별히 한정하지는 않을 것이다.

사용자 단말장치(100)는 가령 본 발명의 실시에에 따른 이미지 복원 시스템(90)이 온라인으로 구성되는 경우, 온라인상으로 이미지복원서비스장치(120)에 접속하여 서비스를 이용할 수 있다. 사용자 단말장치(100)는 PC 기반의 데스크탑컴퓨터나 랩탑컴퓨터, 또 모바일 기반의 태블릿PC, 스마트폰, 사용자의 손목에 착용하는 웨어러블장치 등 다양한 유형의 단말장치를 포함한다. 사용자 단말장치(100)는 스마트TV를 포함할 수도 있다.

무엇보다 본 발명의 실시예에 따른 사용자 단말장치(100)는 이미지 복원을 위해 도 2에서와 같이 손실된 임의 영역(200)을 포함하는 이미지를 이미지복원서비스장치(120)로 제공할 수 있다. 또는 해당 임의 영역(200)이 공백인 상태의 이미지를 제공할 수도 있다. 반면 사용자 단말장치(100)는 이미지복원서비스장치(120)로부터 손실된 임의 영역(200)의 이미지를 복원하기 위한 프로그램을 다운로드받아 이를 설치하여 이용하는 것도 얼마든지 가능할 수 있다.

본 발명의 실시예에서는 가령 정지 이미지에서 특정 영역에 화상의 왜곡이 있거나, 또는 공백이 있는 경우 복원 프로그램을 통해 해당 공백 부분의 화상을 복원해 낸다. 이의 과정에서 기저장된 학습 데이터를 이용할 수 있다. 활용하고자 하는 학습 데이터가 많으면 많을수록 그만큼 복원의 객관성 즉 정확도는 증가한다고 볼 수 있다. 여기서, 복원은 본 발명의 실시예에 따라 앞서 언급한 대로 '합성'이라 명명될 수 있다. 복원은 없는 부분이나 손실된 부분의 이미지를 최초에 있었던 것과 같이 되살려 내는 것이라면, 합성은 기존의 훼손된 이미지에 새로운 이미지를 덧붙이는 등의 동작을 의미할 수 있다. 본 발명의 실시예에서는 2가지의 의미가 모두 가능하므로, 어느 하나의 의미에 특별히 한정하지는 않을 것이다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transsive Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 사용자 단말장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스 포인트는 사용자 단말장치(100) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 이미지복원서비스장치(120) 등으로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

이미지복원서비스장치(120)는 가령 컴퓨터나 서버 등을 포함한다. 예를 들어, 이미지복원서비스장치(120)는 컴퓨터로서 스탠드얼론 형태로 동작하는 경우, 사용자가 USB 등의 저장매체를 통해 이미지를 제공하여 이미지를 복원하는 등의 동작을 수행할 수 있다. 반면, 온라인상의 서버로서 동작하는 경우에는 통신망(110)을 통해 이미지를 제공받아 복원 동작을 수행할 수 있다.

이미지복원서비스장치(120)는 가령 시중에 판매되는 이미지복원 프로그램을 포함할 수 있다. 이미지복원서비스장치(120)는 다양한 유형의 복원 프로그램 중 하나를 탑재하여 이미지 복원 동작을 수행할 수 있다. 앞서 언급한 대로 GAN이 활용될 수 있다. 이와 같이 GAN이 사용되는 경우 이미지복원서비스장치(120)는 입력된 이미지에 대하여 복원 프로그램을 통해 이미지를 복원한 상태에서 양호하게 복원된 이미지는 내버려두고, 복원 상태가 양호하지 않은 이미지의 경우에는 폐기할 수 있다. 다시 말해, 복원이 완료된 이미지들 중에 복원이 양호한 상태의 이미지만을 체리피킹할 수 있다. 물론 여기서의 체리피킹은 자동 선택되는 것이다. 이를 위하여 이미지복원서비스장치(120)는 이미지를 필터링하는 필터부를 포함할 수 있다.

이미지복원서비스장치(120)는 필터부를 통해 복원된 영역과 주변 영역의 특성을 서로 비교할 수 있다. 더 정확하게는 복원 상태를 확인할 수 있다. 이를 위하여 이미지복원서비스장치(120)는 화소의 화소값으로서 컬러나 계조값을 확인할 수 있다. 물론 복원 상태가 양호한지 여부를 판단하기 위하여 다양한 방법이 사용될 수 있으며, 휘도의 균일도가 사용될 수 있다. 이미지 전체의 평균 휘도값을 계산한 후 이를 근거로 복원 상태를 판단하는 것이다.

물론 이미지복원서비스장치(120)는 이미지의 복원 상태가 양호한지 판단하기 위하여 외부에 설치되는 카메라나, 스캐너 등을 통해 복원된 이미지를 촬영 또는 스캔하여 전체적인 휘도를 분석하는 것도 얼마든지 가능하다. 따라서, 본 발명의 실시예에서는 어떠한 방식으로 양호 여부를 판단하는지에 대하여 특별히 한정하지는 않을 것이다.

이미지복원서비스장치(120)는 복원된 이미지가 양호한 이미지로 판단될 때, 해당 이미지의 복원 영역과 주변 배경의 상관관계 등을 분석할 수 있다. 또는 특징점 등의 특징값을 추출하여 이를 학습 데이터로서 생성한다. 예를 들어, 20개의 입력 이미지에 대하여 복원 작업을 수행한 결과 10개의 이미지는 양호 상태로 판정되고, 10개의 이미지는 불량 즉 양호하지 않는 이미지로 판단되면 10개의 이미지만을 분석하여 학습 데이터로 생성하고, 이를 다음 이미지의 복원 작업시 활용함으로써 이와 같은 방식으로 계속적으로 학습 데이터의 양을 무한히 늘려나갈 수 있다.

이미지복원서비스장치(120)는 임의 영역의 복원 상태가 양호하게 복원된 이미지들의 특성을 분석한다. 이러한 특성 분석을 위해 이미지복원서비스장치(120)는 특성을 정의하는 함수로서 FID(Frechet Inception Distance)나 LPIPS(Learned Perceptual Image Patch similarity)를 이용할 수 있다. 이와 관련한 자세한 내용은 이후에 좀더 다루기로 한다. 위의 함수를 적용해 특성값이 계산되면, 계산한 특성값이 오차 범위 내에 분포할 경우에만 학습 데이터로 자동 생성하여 이미지 블렌딩에 사용되도록 한다.

상기의 구성 결과, 본 발명의 실시예는 복원되는 이미지들에 대하여 복원 상태가 양호한 이미지들만 선별하여 해당 이미지를 분석하고, 분석 결과에 따라 학습 데이터를 무한 생성함으로써 입력되는 이미지들의 손실 부위의 복원 정확도를 높일 수 있게 된다.

도 3은 본 발명의 실시예에 따른 이미지 복원을 위한 장치의 세부구조를 예시한 블록다이어그램이다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지복원을 위한 장치(100/120)는 도 1의 사용자 단말장치(100)나 이미지복원서비스장치(120)를 의미하며, 가령 컴퓨터나 서버로서 통신 인터페이스부(300), 제어부(310), 이미지복원부(320) 및 저장부(330)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(330)와 같은 일부 구성요소가 생략되어 이미지복원을 위한 장치(100/120)가 구성되거나, 이미지복원부(320)와 같은 일부 구성요소가 제어부(310)와 같은 다른 구성요소에 포함되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

통신 인터페이스부(300)는 복원 작업이 필요한 이미지를 수신한다. 수신한 이미지는 손실된 영역을 포함하며, 해당 손실된 영역은 화상을 복원하기 위하여 통신 인터페이스부(300)로 제공된다. 가령 도 1에서와 같이 온라인상에서 사용자 단말장치(100)로부터 이미지가 제공되는 경우에는 변/복조, 먹싱/디먹싱, 인코딩/디코딩 등의 동작이 이루어질 수 있다. 이는 해당 기술 분야의 당업자에게 자명하므로 더 이상의 설명은 생략한다.

제어부(310)는 본 발명의 실시예에 따른 이미지복원을 위한 장치(100/120)를 구성하는 도 3의 통신 인터페이스부(300), 이미지복원부(320) 및 저장부(330)의 전반적인 제어 동작을 담당한다. 제어부(310)는 통신 인터페이스부(300)에서 복원을 위한 이미지가 제공되는 경우 이를 저장부(330)에 임시 저장한 후 불러내어 이미지복원부(320)에 제공할 수 있다. 또한, 제어부(310)는 이미지복원부(320)를 통해 기제공된 이미지에 대하여 복원 동작이 완료된 경우 그에 대한 이미지를 제공받아 도 1의 사용자 단말장치(100)로 제공하도록 통신 인터페이스부(300)를 제어할 수 있다.

또한, 제어부(310)는 이미지복원부(320)에서 복원 동작을 통해 손실된 영역에 대하여 복원이 양호하게 이루어진 이미지를 선별하여 특성을 분석하고, 취득된 분석 결과를 학습 데이터로서 제공받아 저장부(330)에 저장하거나, 도 1의 DB(120a)에 체계적으로 분류되어 저장되도록 통신 인터페이스부(300)를 제어한다.

이미지복원부(320)는 가령 손실 영역을 포함하는 이미지의 해당 손실 영역을 복원해 내기 위하여 GAN 등의 프로그램을 탑재한다. 이미지복원부(320)는 가령 GAN 방식의 프로그램을 통해 이미지를 복원한 후 복원한 이미지를 분석한다. 먼저 복원 상태의 양호 여부를 판단할 수 있다. 분석 결과 이미지의 손실 영역이 양호하게 복원된 것으로 판단되면 해당 이미지를 다음 이미지에 학습시키기 위하여 학습 데이터를 생성한다. 이미지복원부(320)는 손실 영역의 복원 부분과 그 주변 영역의 특성, 가령 상관 관계를 분석하여 이를 통해 학습 데이터를 위한 기준값을 생성해 낸다. 예를 들어 주변 영역의 상태로부터 복원 영역이 어떠한 상태에 있는지를 판단해 볼 수 있다. 이를 위하여 화소별 컬러나 계조, 또는 객체의 특징점 등을 분석해 낼 수 있으며, 화소와 화소, 또는 객체와 객체를 벡터 정보의 형태로 처리할 수 있다. 다시 말해, a 화소값과 벡터정보를 통해 b 화소값을 정의하는 것이다.

이미지복원부(320)는 가령 GAN 프로그램을 통해 복원한 이미지를 분석한 결과 복원이 양호하지 않다고 판단되는 이미지에 대하여는 폐기 즉 삭제 처리할 수 있다. 복원된 상태에서 불량으로 이미지가 판단될 때 폐기처분함으로써 학습 데이터로 활용하는 일이 없도록 하는 것이다. 물론 본 발명의 실시예에서는 복원을 완료한 이미지들의 복원 상태의 양호 여부를 판단하여 상태가 양호한 이미지만 선별하여 특성 분석 등의 후처리 동작을 수행하는 것이므로, 본 발명의 실시예에서는 폐기되는 동작에 특별히 한정하지는 않을 것이다.

이미지복원부(320)는 복원 동작을 완료한 이미지들에 대하여 FID나 LPIPS 등의 함수가 적용되는 알고리즘 즉 프로그램을 이용하여 복원을 완료한 이미지의 특성값을 계산한다. 그리고, 계산한 특성값이 오차 범위 내에 분포할 경우에만 해당 특성값을 다음 이미지의 복원시 학습 데이터로 사용한다. 여기서, 오차 범위는 프로그램 설계자나 작업자에 의해 기설정될 수 있다.

저장부(330)는 제어부(310)의 제어하에 처리되는 데이터를 임시 저장한 후 출력하여 이미지복원부(320)에 제공되도록 한다. 예를 들어, 복원 작업을 요청하는 이미지가 수신되는 경우 이를 저장부(330)에 임시 저장한 후 이미지복원부(320)에 제공될 수 있다.

상기한 내용 이외에도 도 3의 통신 인터페이스부(300), 제어부(310), 이미지복원부(320) 및 저장부(330)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

본 발명의 실시예에 따른 도 3의 통신 인터페이스부(300), 제어부(310), 이미지복원부(320) 및 저장부(330)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(330)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.

한편, 본 발명의 다른 실시예로서 제어부(310)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 이미지복원 서비스장치(130)의 동작 초기에 이미지복원부(320)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.

도 4는 도 3의 이미지복원부의 세부구조를 예시한 블록다이어그램이며, 도 5 내지 도 7은 이미지 복원 과정을 설명하기 위한 도면이다.

도 3의 이미지복원부(320)는 구체적으로 도 4에서와 같은 이미지복원부(320)의 구조를 가질 수 있다. 이미지복원부(320)는 이미지복원처리부(400), 복원이미지필터링부(410), 이미지특성분석부(420) 및 학습데이터저장부(430)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 크게 다르지 않다.

이미지복원처리부(400)는 학습데이터저장부(430)에 저장되어 있는 학습 데이터를 근거로 하여 입력된 이미지의 손실 영역을 복원한다. 예를 들어, 이미지복원처리부(400)는 도 5에서 볼 수 있는 바와 같이 바탕이 되는 타겟 영역(target domain)과 크롭(crop)하고자 하는 생성 이미지의 마스크(mask)를 생성하고, 도 5에 하얀 영역에 대한 라벨(label) 정보를 알고 있으므로 객체 검출 작업에 사용할 학습용 라벨 데이터가 확보된다. 하얀 영역(crop region)은 생성 이미지 영역이다.

하얀 영역에 대해 덧붙이려는 이미지 즉 생성 이미지와 바탕 이미지 즉 타겟 이미지간의 2차원 가우시안 알파 블렌딩(gaussian alpha blending)을 수행한다. 관계식은 <수학식 1>과 같이 표현된다. 도 6은 가우시안 분포를 보여준다.

여기서,

이다.

xC, yC는 하얀 영역의 중앙 값(center of cropped region)을 나타내고, σx, σy는 하얀 영역의 픽셀간 표준편차로 여기서는 각각 하얀 영역의 너비, 높이의 1/4 ~ 1/6을 사용한다. x, y는 하얀 영역의 픽셀 좌표를 나타낸다. X는 생성 이미지, Y는 바탕 이미지, Ia는 합성이미지를 각각 나타낸다.

도 7은 도 4의 이미지복원처리부(400)의 결과를 보여준다. 물론 본 발명의 실시예에 따른 이미지복원처리부(400)는 도 7에서와 같이 손실 영역이 온전하게 복원되지 않는 경우도 있지만, 다른 이미지의 경우에는 손실 영역이 온전하게 복원될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

복원이미지필터링부(410)는 이미지복원처리부(400)에서 복원을 완료한 복원 이미지의 상태를 분석하여 가령 도 7에서와 같이 복원 상태가 온전하지 않은 경우에는 해당 이미지를 필터링 즉 버린다. 더 정확하게는 복원이미지필터링부(410)는 양호 이미지를 선별한다고 볼 수 있다. 또한, 복원이미지필터링부(410)는 이미지복원처리부(400)에서 복원을 완료한 복원 이미지의 상태를 판단한 결과 복원 상태가 온전한 경우에는 해당 이미지의 복원 영역을 학습 데이터로 이용하기 위해 이미지 분석 작업 동작이 이루어지도록 이미지특성분석부(420)로 출력한다. 복원이미지필터링부(410)는 이미지의 복원 상태가 양호한지 여부를 판단하기 위해 가령 전반적으로 휘도가 균일한지 등을 판단해 볼 수 있다.

이미지특성분석부(420)는 복원이미지필터링부(410)로부터 복원 상태가 양호한 이미지들을 제공받아 해당 이미지들을 분석한다. 이미지특성분석부(420)는 손실 영역의 라벨 정보를 알고 있으므로, 이를 통해 복원 영역을 인식할 수 있고, 따라서 복원 영역과 주변 영역의 상관 관계를 추출할 수 있다.

가령 이미지특성분석부(420)는 합성 이미지와 타겟 영역간의 특성을 정의(define)하고, 그 특성이 오차범위(threshold) 내에 분포할 경우에만 이미지 블렌딩하여 학습 데이터셋 즉 데이터 집합으로 밀어넣음으로써 자동으로 체리피킹이 이루어질 수 있다. 즉 학습 데이터로 생성하여 이용할 수 있는 것이다.

자동 체리피킹 산출 알고리즘을 간략히 보면, 합성이 잘된 이미지를 자동 또는 수동으로 체리피킹한다. 본 발명의 실시예에서는 자동으로 선별되는 것이 바람직하다. 그리고 자동 또는 수동으로 체리피킹한 이미지에 대한 특성값을 계산한다(예: FID, LPIPS etc.). 자동 또는 수동으로 체리피킹한 이미지들의 특성값에 대한 평균과 분산값을 계산한다. 향후 자동으로 생성되는 합성 이미지들에 대해서는 위에서 계산한 평균, 분산값에 대해 +/- 3σ안에 들어오는 합성 이미지만 자동으로 체리피킹한다. 자동과 수동이 병행될 수 있으므로 이는 준자동이라 명명한다.

특성 정의 함수로서 가령 FID는 고차원 이미지를 저차원 공간으로 임베딩 시키고, 임베딩 공간에서 합성 이미지와 타겟 영역 이미지 간의 거리를 나타내는 지표이다. 값이 작을수록 두 이미지 간의 유사도가 높은 것을 의미한다. 구체적으로는 인셉션(Inception) V3라는 최신 DNN(Deep Neural Network) 분류기가 임베딩 공간으로 각각의 이미지를 임베딩하고, 임베딩된 공간에서 각 임베딩 벡터의 평균과 표준편차를 계산하여 FID를 구할 수 있다. 이는 <수학식 2>와 같이 표현할 수 있다.

여기서, X는 타겟 영역 이미지이고, Y는 합성 이미지이다. 또한 μx는 타겟 영역 이미지의 임베딩 공간에서 정의된 벡터들의 평균, μy는 생성 이미지의 임베딩 공간에서 정의된 벡터들의 평균, σx는 타겟 영역 이미지의 임베딩 공간에서 정의된 벡터들의 표준편차, 그리고 σy는 생성 이미지의 임베딩 공간에서 정의된 벡터들의 표준편차를 각각 나타낸다.

또한, 또다른 특성 정의 함수로서 LPIPS는 두 이미지 패치 간의 거리를 의미한다. 구체적으로 VGG라는 DNN 분류기에서 임베딩한 특징 맵(feature map)간의 L2 거리를 계산한다. 관계식은 <수학식 3과 같이 표현할 수 있다.

Hl, Wj는 L 층의 높이(Height), 폭(Width)를 나타낸다. x는 타겟 영역 이미지 패치, xo는 합성 이미지를 나타낸다.

는 h,j번째 픽셀의 l번째 층(layer)의 타겟 영역 특징 맵값,

는 h,j번째 픽셀의 l번째 층의 생성 이미지 특징 맵값, Wj는 L 층의 가중치(weight), *는 element-wise multiplication를 나타낸다.

학습데이터저장부(430)는 이미지특성분석부(420)에서 복원이 양호한 이미지들에 대하여 이루어진 분석 결과를 학습 데이터로서 저장한다. 여기서, 분석 결과는 합성 이미지와 복원 영역간의 정의된 특성이라고 볼 수 있다. 이는 복원 영역과 그 영역의 주변 영역과의 상관 관계로 이해될 수도 있다. 이 상관 관계를 통해 학습 데이터를 위한 기준값이 생성되는데 기준값은 학습 데이터로서 학습데이터 저장부(430)에 저장되어 다음 이미지의 복원시에 활용될 수 있다.

상기의 구성 결과, 본 발명의 실시예는 객체 검출 작업을 위한 학습 데이터를 자동으로 무한히 확장할 수 있게 된다.

도 8은 본 발명의 실시예에 따른 이미지 복원을 위한 장치의 구동과정을 나타내는 흐름도이다.

설명의 편의상 도 8을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 이미지 복원을 위한 장치(100/120)는 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장한다(S800). 여기서, 기저장된 학습 데이터는 예를 들어 GAN 프로그램에서 사용되는 학습 데이터를 의미할 수 있다.

또한, 이미지 복원을 위한 장치(100/120)는 입력되는 타겟 도메인 이미지의 손실된 임의 영역을 기저장한 소스 도메인 학습 데이터를 근거로 복원하고, 임의 영역의 복원 상태가 양호하게 판단되면 복원을 완료한 이미지와 임의 영역간의 특성을 준자동 분석하여 분석 결과를 학습 데이터로 활용하도록 한다(S810).

다시 말해, 복원 상태의 양호 여부를 판단하기 위해 휘도 균일도 등을 통해 양호 이미지를 선별할 수 있고, 선별 이미지들을 FID나 LPIPS 등의 특성 정의 함수를 적용한 프로그램을 통해 양호 이미지의 특성값을 계산한다. 그리고, 특성값이 오차 범위 내에 분포할 경우 학습 데이터의 풀(pool)에 최종적으로 포함시킨다.

상기한 내용 이외에도 본 발명의 실시예에 따른 이미지 복원을 위한 장치(100/120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 사용자 단말장치 110: 통신망
120: 이미지복원서비스장치 300: 통신 인터페이스부
310: 제어부 320: 이미지복원부
330: 저장부 400: 이미지복원처리부
410: 복원이미지필터링부 420: 이미지특성분석부
430: 학습데이터저장부

Claims (9)

1. 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부; 및
   입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부;를 포함하되,
   상기 제어부는, 상기 복원을 완료한 이미지의 상기 복원 상태가 양호하지 않으면 상기 특성의 분석을 미수행하고,
   상기 제어부는, 고차원 이미지를 저차원 공간으로 임베딩시켜 임베딩 공간에서 각 임베딩 벡터의 평균과 표준편차를 계산하는 FID(Frechet Inception Distance)를 적용하여 상기 분석 결과에 따른 특성값을 계산하는 이미지 복원을 위한 장치.
2. 삭제
3. 삭제
4. 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부; 및
   입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부;를 포함하되,
   상기 제어부는, 상기 복원을 완료한 이미지의 상기 복원 상태가 양호하지 않으면 상기 특성의 분석을 미수행하고,
   상기 제어부는, 두 이미지 패치간의 거리를 의미하며 DNN 분류기에서 임베딩한 특징 맵(feature map)간의 거리를 계산하는 LPIPS(Learned Perceptual Image Patch Similarity)를 적용하여 상기 분석 결과에 따른 특성값을 계산하는 이미지 복원을 위한 장치.
5. 제1항 또는 제4항에 있어서,
   상기 제어부는, 상기 분석 결과에 따른 특성값이 기설정된 오차범위 내에 분포할 때 상기 학습 데이터로 활용하는 이미지 복원을 위한 장치.
6. 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부; 및
   입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부;를 포함하되,
   상기 제어부는, 상기 특성의 분석시 합성이 잘된 복수의 이미지를 추려내어 상기 추려낸 이미지를 기준으로 복원된 모든 이미지들에 대해 특성값을 분석하여 분석 결과를 근거로 상기 복원된 모든 이미지들 중 적어도 하나의 복원된 이미지를 체리피킹하는 이미지 복원을 위한 장치.
7. 저장부가, 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 단계; 및
   제어부가, 입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 단계;를 포함하되,
   상기 제어부는, 상기 복원을 완료한 이미지의 상기 복원 상태가 양호하지 않으면 상기 특성의 분석을 미수행하고,
   상기 제어부는, 고차원 이미지를 저차원 공간으로 임베딩시켜 임베딩 공간에서 각 임베딩 벡터의 평균과 표준편차를 계산하는 FID를 적용하여 상기 분석 결과에 따른 특성값을 계산하는 이미지 복원을 위한 장치의 구동방법.
8. 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부; 및
   입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부;를 포함하되,
   상기 제어부는, 상기 복원을 완료한 이미지의 상기 복원 상태가 양호하지 않으면 상기 특성의 분석을 미수행하고,
   상기 제어부는, 두 이미지 패치간의 거리를 의미하며 DNN 분류기에서 임베딩한 특징 맵(feature map)간의 거리를 계산하는 LPIPS를 적용하여 상기 분석 결과에 따른 특성값을 계산하는 이미지 복원을 위한 장치의 구동방법.
9. 이미지의 복원 작업시 사용하기 위한 학습 데이터를 저장하는 저장부; 및
   입력된 타겟 도메인 이미지의 손실된 임의 영역을 상기 저장한 소스 도메인 학습 데이터를 사용하여 복원하고, 상기 임의 영역의 복원 상태가 양호하게 판단되면 상기 복원을 완료한 이미지와 상기 임의 영역간의 특성을 분석하여 분석 결과를 상기 학습 데이터로 활용하도록 상기 저장부를 제어하는 제어부;를 포함하되,
   상기 제어부는, 상기 특성의 분석시 합성이 잘된 복수의 이미지를 추려내어 상기 추려낸 이미지를 기준으로 복원된 모든 이미지들에 대해 특성값을 분석하여 분석 결과를 근거로 상기 복원된 모든 이미지들 중 적어도 하나의 복원된 이미지를 체리피킹하는 이미지 복원을 위한 장치의 구동방법.

Images