KR20210007234A

KR20210007234A - 이미지 보정 방법 및 이미지 보정 시스템

Info

Publication number: KR20210007234A
Application number: KR1020190083310A
Authority: KR
Inventors: 김태의; 카이 구어
Original assignee: 삼성전자주식회사
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2021-01-20
Also published as: US20210012462A1; US11430089B2; KR102652117B1

Abstract

이미지 보정 방법이 제공된다. 입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 상기 이미지 보정은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 상기 이미지 보정을 수행하는 것을 포함하는 단계, 상기 학습 이미지를 이용하여 학습된 이미지 평가 파라미터를 갖는 이미지 평가부에 의해 상기 보정 이미지의 품질 값을 생성하는 단계, 및 상기 품질 값이 설정 값보다 작으면 상기 보정 이미지에 대해 상기 이미지 보정을 다시 수행하고, 상기 품질 값이 설정 값보다 크면 상기 보정 이미지를 최종 이미지로 출력하는 단계를 포함할 수 있다.

Description

이미지 보정 방법 및 이미지 보정 시스템{IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM}

본 발명은 이미지 보정 방법 및 이미지 보정 시스템에 관한 것이다.

이미지에서 깊이 맵(depth map) 이미지를 생성하는 방법은 지속적으로 연구되고 있다. 깊이 맵은 이미지에서 일정 거리 이상의 이미지를 블러 처리하는 아웃 포커싱에 사용될 수도 있고, 카메라의 초점을 맞추는데 사용될 수 있다. 그 외에도 깊이 맵은 카메라와 물체 간의 거리를 인식하여 자동차 자율주행에 이용되는 등 그 필요성이 대두되고 있다.

한 편, 비지도 학습 네트워크 중 하나인 생성적 적대 신경망(Generative Adversarial Network)이 차세대 딥러닝 알고리즘으로 주목받고 있다. 생성적 적대 신경망은 진짜 같은 가짜를 생성하는 생성 모델과 생성 모델에서 생성된 가짜의 진위를 판별하는 판별 모델을 포함한다. 생성적 적대 신경망은 생성 모델과 판별 모델이 서로 적대적으로 학습된다.

본 발명이 해결하고자 하는 기술적 과제는 이미지 장치에서 입력되는 이미지를 미리 훈련된 생성기 및 미리 훈련된 평가기를 이용하여 보정된 이미지를 출력하는 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은 입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 상기 이미지 보정은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 상기 이미지 보정을 수행하는 것을 포함하는 단계, 상기 학습 이미지를 이용하여 학습된 이미지 평가 파라미터를 갖는 이미지 평가부에 의해 상기 보정 이미지의 품질 값을 생성하는 단계, 및 상기 품질 값이 설정 값보다 작으면 상기 보정 이미지에 대해 상기 이미지 보정을 다시 수행하고, 상기 품질 값이 설정 값보다 크면 상기 보정 이미지를 최종 이미지로 출력하는 단계를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템은 미리 학습된 이미지 생성 파라미터를 저장하는 이미지 생성 파라미터 저장부와, 가이드 이미지와 입력 이미지를 입력 받고, 상기 미리 학습된 이미지 생성 파라미터에 의해, 상기 가이드 이미지를 이용하여 상기 입력 이미지를 보정한 보정 이미지를 생성하는 이미지 생성부를 포함하는 이미지 생성기, 미리 학습된 이미지 평가 파라미터를 저장하는 이미지 평가 파라미터 저장부와, 상기 보정 이미지를 입력 받고, 상기 학습 이미지를 이용하여 미리 학습된 이미지 평가 파라미터에 의해, 상기 보정 이미지의 품질 값을 생성하는 이미지 평가부를 포함하는 이미지 평가기, 및 상기 품질 값이 설정 값보다 크다고 판단되면 상기 보정 이미지를 출력하고, 상기 품질 값이 설정 값보다 작다고 판단되면 상기 보정 이미지를 상기 이미지 생성부에 상기 입력 이미지로 입력하는 판단기를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 전자 장치는 이미지 보정 프로그램이 저장된 메모리, 및 상기 메모리에 저장된 상기 이미지 보정 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로그램은 상기 적어도 하나의 프로세서를 이용하여, 입력 이미지에 대해 가이드 이미지를 이용하여 보정 이미지를 생성하되, 상기 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 상기 보정 이미지를 생성하는 것을 포함하고, 상기 보정 이미지의 품질 값을 생성하고, 상기 품질 값이 설정 값보다 커질 때까지 상기 보정 이미지에 대해 상기 가이드 이미지를 이용한 이미지 보정을 수행한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 4는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 5는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.
도 6은 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 블록도이다.
도 8은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 흐름도이다.
도 9는 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템을 적용한 일예를 도시한 도면이다.
도 10은 본 발명의 몇몇 실시예들에 따른 전자 장치를 설명하기 위한 도면이다.

도 1은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 개략도이다.

도 1을 참고하면, 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템은 이미지 장치(10), 이미지 생성기(20), 이미지 평가기(30), 판단기(40) 및 디스플레이(50)를 포함할 수 있다.

이미지 장치(10)는 복수의 카메라 모듈을 포함할 수 있다. 이미지 장치(10)는 서로 다른 카메라 모듈을 포함할 수 있다.

예를 들어, 이미지 장치(10)는 광각 카메라와 망원 카메라를 포함할 수 있다. 또는 이미지 장치(10)는 모노 카메라와 RGB 카메라를 포함할 수 있다. 또는, 적외선 카메라와 RGB 카메라를 포함할 수 있다.

이미지 장치(10)는 이미지 장치(10)에서 획득한 이미지들을 이미지 생성기(20)에 제공할 수 있다.

이미지 생성기(20)는 이미지 생성부(22)와 생성 파라미터 저장부(24)를 포함할 수 있다.

이미지 생성기(20)는 이미지 장치(10)로부터 가이드 이미지와 입력 이미지를 입력 받을 수 있다. 이미지 생성부(22)는 입력 이미지에 대해 보정 이미지를 생성할 수 있다. 생성 파라미터 저장부(24)는 미리 학습된 이미지 생성 파라미터를 저장할 수 있다.

이미지 생성기(20)로 입력되는 가이드 이미지는 이미지 보정 시스템에 따라 여러 종류의 가이드 이미지를 포함할 수 있다.

본 발명의 몇몇 실시예들에 따른 이미지 생성기(20)는 비지도 학습 네트워크를 이용하여 품질 값을 생성할 수 있다. 비지도 학습 네트워크는 GAN(Generative Adversarial Networks)을 포함할 수 있고, 이미지 생성기(20)는 GAN의 생성 모듈(generator)일 수 있다.

이미지 평가기(30)는 이미지 평가기(32)와 평가 파라미터 저장부(34)를 포함할 수 있다.

이미지 평가기(30)는 이미지 생성기(20)로부터 보정 이미지가 입력될 수 있다. 이미지 평가부(32)는 이미지 생성기(20)에서 생성된 보정 이미지의 품질 값을 생성할 수 있다. 평가 파라미터 저장부(34)는 미리 학습된 이미지 평가 파라미터를 저장할 수 있다.

본 발명의 몇몇 실시예들에 따른 이미지 평가기(30)는 비지도 학습 네트워크를 이용하여 품질 값을 생성할 수 있다. 비지도 학습 네트워크는 GAN(Generative Adversarial Networks)을 포함할 수 있고, 이미지 평가기(30)는 GAN의 감별 모듈(discriminator)일 수 있다.

판단기(40)는 이미지 평가기(30)로부터 보정 이미지의 품질 값이 입력될 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 큰지 판단할 수 있다.

도 2는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다.

도 2를 참고하면, 가이드 이미지와 입력 이미지가 이미지 생성기(20)로 제공될 수 있다.

이미지 생성부(22)는 가이드 이미지를 이용하여, 생성 파라미터 저장부(24)에 저장된 미리 학습된 이미지 생성 파라미터에 의해, 입력 이미지의 보정 이미지를 생성할 수 있다.

이미지 생성기(20)에서 생성된 보정 이미지는 이미지 평가기(30)에 입력될 수 있다.

이미지 평가부(32)는 평가 파라미터 저장부(34)에 저장된 미리 학습된 이미지 평가 파라미터에 의해, 보정 이미지의 품질 값(Quality value)을 생성할 수 있다.

이미지 평가기(30)에서 생성된 보정 이미지의 품질 값은 판단기(40)에 입력될 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 큰 지 판단할 수 있다. 판단기(40)는 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지를 최종 이미지로 출력할 수 있다.

판단기(40)는 보정 이미지의 품질 값이 설정 값보다 작다고 판단되면, 판단기(40)는 보정 이미지를 이미지 생성기(20)에 입력 이미지로 입력할 수 있다.

예를 들어, 망원 카메라는 제1 이미지(tele image)를 제공하고, 광각 카메라는 제2 이미지(wide image)를 제공할 수 있다. 이 때, 제1 이미지와 제2 이미지가 중첩되는 영역은 제1 이미지와 제2 이미지를 기초로 깊이 맵 이미지가 형성될 수 있다. 하지만, 제1 이미지와 제2 이미지가 중첩되지 않는 영역은 깊이 맵 이미지가 형성되지 않는다.

따라서, 이미지 보정 시스템에는 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지가 입력 이미지로 제공되고, 제1 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다.

이 때, 이미지 보정 시스템의 정확도를 높이기 위해서, 이미지 보정 시스템에는 제1 이미지의 싱글 뎁스 맵(single image depth map) 이미지가 가이드 이미지로 더 제공될 수 있다.

또는 이미지 보정 시스템에는 제2 이미지의 세그먼테이션 맵(segmentation map) 이미지가 가이드 이미지로 더 제공될 수 있다. 세그먼테이션 맵 이미지는 제2 이미지 내의 오브젝트들을(objects) 오브젝트 별로 구분하는 정보를 포함하고 있을 수 있다.

이미지 보정 시스템은 제1 이미지와 제2 이미지가 중첩되지 않는 영역의 깊이 맵 이미지가 형성된 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지를 최종 이미지로 출력할 수 있다.

예를 들어, 그레이 스케일 이미지(grayscale image)는 색상 정보는 없으나 노이즈(noise)가 적고, RGB 이미지는 색상 정보는 있으나 조도가 낮고 노이즈가 많을 수 있다. 따라서, 이미지 보정 시스템에는 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지가 가이드 이미지로 제공되고, RGB 카메라의 RGB 이미지가 입력 이미지로 제공될 수 있다.

이 때, 이미지 보정 시스템은 입력 이미지로 제공된 RGB 이미지에서 노이즈가 개선되고 색상이 개선된 이미지를 최종 이미지로 출력할 수 있다.

예를 들어, 라이다(lidar) 카메라의 이미지를 기초로 생성된 깊이 맵 이미지는 상대적으로 정확한 깊이 맵 정보를 가지나, 낮은 밀도를 갖는 이미지(sparse map)일 수 있다. 따라서, 이미지 보정 시스템에는 라이더 카메라의 이미지를 기초로 생성된 깊이 맵 이미지가 입력 이미지로 제공하고, RGB 카메라의 RGB 이미지가 가이드 이미지로 제공될 수 있다.

이 때, 이미지 보정 시스템은 입력 이미지로 제공된 밀도가 낮은 깊이 맵 이미지(sparse depth map)에서 밀도가 개선된 깊이 맵 이미지(dense depth map)를 출력할 수 있다.

도 3은 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 도 3은 도 2에 따른 이미지 보정 시스템의 학습을 설명하기 위한 도면이다.

도 3을 참고하면, 학습 이미지가 이미지 생성기(20)에 제공될 수 있다. 학습 이미지는 학습 가이드 이미지, 학습 입력 이미지 및 미리 정한 이미지(ground true depth)를 포함할 수 있다.

미리 정한 이미지는 이미지 생성기(20)가 학습 입력 이미지를 입력 받아 학습 보정 이미지로 생성해야 되는 기준 이미지 또는 타겟 이미지일 수 있다.

학습 가이드 이미지 및 학습 입력 이미지는 가이드 이미지 및 입력 이미지와 동일한 정보를 포함하는 이미지일 수 있다.

도 2에서 설명한 예를 참고하면, 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 제1 이미지와 제2 이미지를 기초로 생성된 깊이 맵 이미지가 학습 입력 이미지로 제공되고, 제1 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다. 이 때, 제2 이미지의 스테레오 뎁스 맵(stereo depth map)이미지가 미리 정한 이미지로 제공될 수 있다.

예를 들어, 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 모노 카메라 또는 적외선 카메라의 그레이 스케일 이미지가 학습 가이드 이미지로 제공되고, RGB 카메라의 RGB 이미지가 학습 입력 이미지로 제공될 수 있다. 이 때, 고조도에서 촬영된 RGB 카메라의 RGB 이미지가 미리 정한 이미지로 제공될 수 있다.

예를 들어, 라이다(lidar) 카메라의 이미지를 기초로 생성된 깊이 맵 이미지를 보정하기 위한 이미지 보정 시스템의 경우, 라이더 카메라의 이미지를 기초로 생성된 깊이 맵 이미지가 학습 입력 이미지로 제공하고, RGB 카메라의 RGB 이미지가 학습 가이드 이미지로 제공될 수 있다.

이미지 생성부(22)는 학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지를 생성할 수 있다. 이미지 생성부(22)는 학습 보정 이미지와 미리 정한 이미지의 차이를 포함하는 이미지 생성기(20)의 손실을 계산할 수 있다.

이미지 생성부(22)에서 생성된 학습 보정 이미지는 이미지 평가기(30)로 입력될 수 있다.

이미지 평가부(32)는 학습 보정 이미지의 품질 값을 생성할 수 있다.

이미지 평가부(32)는 학습 보정 이미지의 품질 값과 미리 정한 이미지의 품질 값의 차이를 포함하는 이미지 평가기(30)의 손실을 계산할 수 있다.

판단기(40)는 이미지 생성기(20)가 학습 보정 이미지를 생성하고, 이미지 평가기(30)가 학습 보정 이미지의 품질 값을 생성하는 것을 설정 횟수만큼 수행하였는지 판단할 수 있다.

도 4는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 설명의 편의를 위해, 도 2에서 전술한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템과 다른 점을 중심으로 설명한다.

도 4를 참고하면, 이미지 생성부(22)에서 생성된 보정 이미지는 이미지 평가기(30)에 입력될 수 있다. 이미지 평가기(30)는 가이드 이미지와 입력 이미지가 더 입력될 수 있다.

이미지 평가부(32)는 가이드 이미지와 입력 이미지를 이용하여 평가 파라미터 저장부(34)에 저장된 미리 학습된 이미지 평가 파라미터에 의해, 보정 이미지의 품질 값(Quality value)을 생성할 수 있다.

따라서, 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템은 가이드 이미지와 입력 이미지를 더 입력 받으므로, 이미지 보정 시스템의 로드(load)는 증가하나, 최종 출력되는 보정 이미지의 품질은 증가될 수 있다.

도 5는 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템을 설명하기 위한 블록도이다. 도 5은 도 4에 따른 이미지 보정 시스템의 학습을 설명하기 위한 도면이다. 설명의 편의를 위해, 도 3에서 전술한 본 발명의 몇몇 실시예들에 따른 이미지 보정 시스템의 학습과 다른 점을 중심으로 설명한다.

도 5를 참고하면, 이미지 평가기(30)는 이미지 생성기(20)에서 생성된 학습 보정 이미지와 미리 정한 이미지를 입력 받을 수 있다. 이미지 평가기(30)는 학습 가이드 이미지, 학습 입력 이미지가 더 입력될 있다.이미지 평가부(32)는 학습 가이드 이미지와 학습 입력 이미지를 이용하여, 학습 보정 이미지의 품질 값(Quality value)을 생성할 수 있다. 따라서, 이미지 평가부(32)는 학습 입력 이미지가 더 입력되므로, 더 정확한 학습 보정 이미지의 품질 값을 생성할 수 있다.

도 6은 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법을 설명하기 위한 흐름도이다.

도 6을 참고하면, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은, 가이드 이미지와 입력 이미지가 입력됨으로써 시작될 수 있다(S100).

그 후, 보정 이미지는 입력 이미지에 대해 이미지 보정을 수행하여 생성될 수 있다(S110). 이미지 보정은 가이드 이미지와 미리 학습된 이미지 생성 파라미터에 의해 수행될 수 있다.

그 후, 보정 이미지의 품질 값이 생성될 수 있다(S120). 보정 이미지의 품질 값은 미리 학습된 이미지 평가 파라미터에 의해 생성될 수 있다.

또는, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은, 가이드 이미지 및 보정 이미지를 더 이용하여 품질 값을 생성할 수 있다. 예를 들어, 도 2에 도시된 이미지 보정 시스템은, 미리 학습된 이미지 평가 파라미터, 가이드 이미지 및 보정 이미지를 이용하여 품질 값을 생성할 수 있다. 따라서, 이미지 보정 시스템의 로드는 증가하나, 개선된 보정 이미지의 품질 값이 생성될 수 있다.

그 후, 보정 이미지의 품질 값이 설정 값보다 큰 지 판단할 수 있다(S130).

보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다(S140).

S130단계에서, 보정 이미지의 품질 값이 설정 값보다 작다고 판단되면, S110단계로 돌아가, 보정 이미지가 입력 이미지로 입력될 수 있다.

S130단계에서, 본 발명의 몇몇 실시예에 따른 이미지 보정 방법은, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되었는지 더 판단할 수 있다.

이 경우, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되지 않더라도, 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다.

보정 이미지의 품질 값이 설정 값 보다 작다고 판단되더라도, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되었다고 판단되면, 보정 이미지가 최종 이미지로 출력될 수 있다.

즉, 보정 이미지를 생성하고(S110) 보정 이미지의 품질 값을 생성하는 것(S120)이 설정 횟수만큼 수행되기 전에, 보정 이미지의 품질 값이 설정 값보다 크다고 판단되면, 보정 이미지가 최종 이미지로 출력되고, 본 발명의 몇몇 실시예들에 따른 이미지 보정 방법은 종료될 수 있다.

도 7은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 블록도이다.

도 7을 참고하면, 본 발명의 몇몇 실시예에 따른 이미지 보정 방법은, 학습 가이드 이미지와 학습 입력 이미지가 제공됨으로써 시작될 수 있다(S200).

학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지가 생성될 수 있다(S210).

그 후, 이미지 생성기의 손실을 계산할 수 있다(S220). 이미지 생성기의 손실은 학습 입력 이미지와 미리 정한 이미지를 이용하여 이미지 생성기의 손실을 계산할 수 있다. 이미지 생성기의 손실은 학습 보정 이미지와 미리 정한 이미지의 차이를 포함할 수 있다.

예를 들어, 이미지 생성기의 손실은 수학식 1을 이용하여 계산될 수 있다.

[수학식 1]

여기서,

는 설정 횟수

에서 계산된 이미지 생성기의 손실을 의미하고 ,

는 설정 횟수

에서 학습 입력 이미지의 임의의 영역 또는 임의의 구역 의미할 수 있다.

는 학습 보정 이미지를 의미하고,

는 미리 정한 이미지를 의미할 수 있다.

그 후, 학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되었는지 판단할 수 있다(S230).

학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되지 않았다고 판단되면, S210 단계로 돌아가, 학습 보정 이미지는 학습 입력 이미지로 입력될 수 있다. S210 단계와 S220 단계는 설정 횟수만큼 수행될 수 있다.

학습 보정 이미지를 생성하고(S210) 이미지 생성기의 손실을 계산하는 것(S220)이 설정 횟수만큼 수행되었다고 판단되면, 이미지 생성기의 총 손실(total loss)을 계산할 수 있다(S240).

이미지 생성기의 총 손실은 설정 횟수 각각에 계산된 이미지 생성기의 손실과 가중치를 이용하여 계산될 수 있다. 예를 들어, 총 손실(Total Loss)는 수학식 2를 이용하여 계산될 수 있다.

[수학식 2]

여기서,

는 S220단계에서, 각각의 설정 횟수에서 계산된 이미지 생성기의 손실을 의미할 수 있고,

는 각각의 설정 횟수에 대한 가중치를 의미할 수 있다. 가중치는 설정 횟수 각각에 따라 상이하게 설정될 수 있다.가중치는, 예를 들어, 학습 입력 이미지의 임의의 영역 또는 임의의 구역이 미리 정한 이미지에 가까운 영역 또는 구역일수록 큰 값을 가질 수 있다.예를 들어, 도 2에서 설명한 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지의 경우, 학습 입력 이미지는 제1 이미지와 제2 이미지가 중첩되어 깊이 맵 이미지가 생성된 영역에 가까울수록 큰 가중치가 설정될 수 있다.

예를 들어, 가중치는 설정 횟수 초반에 크게 설정될 수 있다. 이미지 생성기가 학습 입력 이미지를 입력 받아 생성한 학습 보정 이미지는 다시 학습 입력 이미지로 입력될 수 있기 때문에, 학습 입력 이미지는 설정 횟수만큼 이미지 보정되는 동안 변동될 수 있다. 따라서, 설정 횟수 초반의 학습 입력 이미지가 더 정확한 이미지를 포함할 수 있으므로, 설정 횟수 초반에 더 큰 가중치가 설정될 수 있다.

깊이 맵 이미지가 생성된 영역에 가까운 이미지 일수록 신뢰도가 높은 이미지이기 때문이다.

학습 입력 이미지를 입력 받아 학습 보정 이미지를 생성하는 과정을 반복함에 따라, 학습 보정 이미지가 변경될 수 있기 때문이다.

그 후, 이미지 생성기의 총 손실을 기초로 미리 학습된 생성 파라미터를 업데이트할 수 있다(S250).

도 8은 본 발명의 몇몇 실시예들에 따른 미리 학습된 이미지 생성 파라미터를 설명하기 위한 흐름도이다.

도 8을 참고하면, 이미지 보정 방법은, 학습 가이드 이미지와 학습 입력 이미지가 제공됨으로써 시작될 수 있다(S300).

학습 가이드 이미지를 이용하여 학습 입력 이미지를 보정한 학습 보정 이미지가 생성될 수 있다(S310).

그 후, 학습 보정 이미지를 입력 받아, 학습 보정 이미지의 품질 값을 계산할 수 있다(S320).

그 후, 학습 보정 이미지를 생성(S310)하고, 학습 보정 이미지를 입력 받아(S320) 학습 보정 이미지의 품질 값을 계산하는 것(S330)이 설정 횟수만큼 수행되었는지 판단할 수 있다(S340).

학습 보정 이미지를 생성(S310)하고, 학습 보정 이미지를 입력 받아(S320) 학습 보정 이미지의 품질 값을 계산하는 것(S330)이 설정 횟수만큼 수행되지 않았다고 판단되면, S310 단계로 돌아가, 학습 보정 이미지는 학습 입력 이미지로 입력될 수 있다. S310 단계 내지 S330 단계는 설정 횟수만큼 수행될 수 있다.

학습 보정 이미지를 생성하고(S310) 학습 보정 이미지를 입력 받아(S320) 학습 보정 이미지의 품질 값을 계산하는 것(S330)이 설정 횟수만큼 수행되었는지 판단할 수 있다.

학습 보정 이미지를 생성하고(S310) 학습 보정 이미지를 입력 받아(S320) 학습 보정 이미지의 품질 값을 계산하는 것(S330)이 설정 횟수만큼 수행되지 않았다고 판단되면, 이미지 평가기의 총 손실을 계산할 수 있다(S350).

이미지 평가기의 총 손실은 설정 횟수 각각에 계산된 이미지 평가기의 손실과 가중치를 이용하여 계산될 수 있다.

그 후, 이미지 평가기의 총 손실을 기초로 미리 학습된 평가 파라미터를 업데이트할 수 있다(S360).

도 9는 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템을 적용한 일예를 도시한 도면이다. 도 9는 도 2에서 설명한 망원 카메라의 제1 이미지와 광각 카메라의 제2 이미지를 기초로 생성된 깊이 맵 이미지를 본 발명의 몇몇 실시예에 따른 이미지 보정 시스템에 적용한 예를 도시한 도면이다.

이미지 보정 시스템에는 제1 이미지와 제2 이미지를 기초로 형성된 깊이 맵(depth map)이미지(100)가 입력 이미지로 제공될 수 있다. 깊이 맵 이미지(100)는 제1 이미지와 제2 이미지가 중첩되는 영역의 제1 깊이 맵 이미지(120)와 제1 이미지와 제2 이미지가 중첩되지 않는 영역의 제2 깊이 맵 이미지(110)를 포함할 수 있다.

이미지 보정 시스템에는 제2 이미지의 RGB 이미지가 가이드 이미지로 제공될 수 있다. 이미지 보정 시스템에는 가이드 이미지로 제2 이미지의 싱글 깊이 맵(single depth map)이미지가 더 제공될 수 있다.

이미지 보정 시스템은, 깊이 맵 이미지(100)가 보정된 보정 깊이 맵 이미지(200)를 생성할 수 있다. 보정 깊이 맵 이미지(200)는 제2 깊이 맵 이미지가 보정된 이미지(140) 일 수 있다. 이미지 보정 시스템은 이미지 보정을 수행하여, 제2 깊이 맵 이미지(120)를 보정할 수 있고, 최종 출력 이미지(300)를 생성할 수 있다.

도 10은 본 발명의 몇몇 실시예들에 따른 전자 장치를 나타내는 도면이다.

도 10을 참고하면, 전자 장치는 메모리(60), 프로세서(70)를 포함할 수 있다. 메모리(60)와 프로세서(70)는 버스(90)를 통해 예를 들어, CPU(Central Processing Unit)(82), NPU(Neural Network Processing Unit)(84) 및 GPU(Gan Network Processing Unit)(86)에 연결될 수 있다.

메모리(60)는 본 발명의 몇몇 실시예들에 따른 이미지 보정 프로그램이 저장될 수 있다.메모리(60)는 본 발명의 몇몇 실시예들에 따른 학습된 이미지 생성 파라미터와 학습된 이미지 평가 파라미터가 저장될 수 있다.

프로세서(70)는, 예를 들어, CPU(82), NPU(84) 또는 GPU(86)를 통하여 이미지 보정 프로그램을 실행할 수 있다.프로세서(70)는 입력 이미지에 대해 가이드 이미지를 이용하여 보정 이미지를 생성하할 수 있다. 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 보정 이미지를 생성할 수 있다.

프로세서(70)는, 예를 들어, GPU(86)의 생성 모듈(generator module; 87)를 통해, 입력 이미지에 대해 이미지 보정을 수행하여 보정 이미지를 생성할 수 있다.프로세서(70)는 미리 학습된 평가 파라미터에 의해 보정 이미지의 품질 값을 생성할 수 있다.

프로세서(70)는, 예를 들어, GPU(86)의 감별 모듈(discriminator module; 88)을 통해, 보정 이미지의 품질 값을 생성할 수 있다.

GPU(86)의 감별 모듈(88)은, 예를 들어, 가이드 이미지와 입력 이미지를 더 입력 받아, 보정 이미지의 품질 값을 생성할 수 있다.

프로세서(70)는 보정 이미지의 품질 값이 설정 값보다 커질 때까지 보정 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 반복하여 수행할 수 있다.

프로세서(70)는, 예를 들어, GPU(86)를 통해, 보정 이미지의 품질 값이 설정 값보다 커질 때까지 이미지 보정을 반복하여 수행할 수 있다.

프로세서(70)는, 예를 들어, CPU(82), NPU(84) 또는 GPU(86)를 통하여 이미지 생성 파라미터와 이미지 평가 파라미터를 미리 학습시킬 수 있다.

이미지 생성 파라미터는, 예를 들어, GPU(86)의 생성 모듈(generator module; 87)를 통해 미리 학습될 수 있다. GPU(86)의 생성 모듈(generator module; 87)은 학습 가이드 이미지와 학습 입력 이미지를 입력받아 이미지 생성 파라미터를 미리 학습시킬 수 있다.

이미지 평가 파라미터는, 예를 들어, GPU(86)의 감별 모듈(discriminator module; 88)을 통해 미리 학습될 수 있다. GPU(86)의 감별 모듈(88)은, 예를 들어, 미리 정한 이미지와 학습 보정 이미지를 입력받아 이미지 평가 파라미터를 미리 학습시킬 수 있다.

GPU(86)의 감별 모듈(88)은, 예를 들어, 학습 가이드 이미지와 학습 입력 이미지를 더 입력 받아, 보정 이미지의 품질 값을 생성할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

10: 이미지 장치 20: 이미지 생성기
30: 이미지 평가기 40: 판단기
50: 디스플레이 60: 메모리
70: 프로세서

Claims

입력 이미지에 대해 가이드 이미지를 이용한 이미지 보정을 수행하여 보정 이미지를 생성하는 단계로서, 상기 이미지 보정은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터를 갖는 이미지 생성기에 의해 상기 이미지 보정을 수행하는 것을 포함하는 단계;
상기 학습 이미지를 이용하여 학습된 이미지 평가 파라미터를 갖는 이미지 평가부에 의해 상기 보정 이미지의 품질 값을 생성하는 단계; 및
상기 품질 값이 설정 값보다 작으면 상기 보정 이미지에 대해 상기 이미지 보정을 다시 수행하고, 상기 품질 값이 설정 값보다 크면 상기 보정 이미지를 최종 이미지로 출력하는 단계를 포함하는 이미지 보정 방법.
제 1항에 있어서,
상기 보정 이미지의 품질 값을 생성하는 단계는
상기 가이드 이미지와 상기 입력 이미지를 이용하여 상기 미리 학습된 평가 파라미터에 의해 상기 품질 값을 생성하는 것을 포함하는 이미지 보정 방법.
제 1항에 있어서,
상기 학습 이미지는 학습 가이드 이미지, 학습 입력 이미지 및 미리 정한 이미지를 포함하고,
(a) 상기 학습 가이드 이미지와 상기 학습 입력 이미지를 제공받아, 상기 학습 입력 이미지를 보정한 학습 보정 이미지를 생성하는 단계; 및
(b) 상기 학습 보정 이미지와 상기 미리 정한 이미지를 이용하여 상기 학습 보정 이미지와 상기 미리 정한 이미지 간의 차이를 포함하는 생성기의 손실을 계산하는 단계를 포함하고,
설정 횟수만큼 상기 학습 보정 이미지를 상기 학습 입력 이미지로 하여 상기 (a) 및 (b) 단계를 반복하는 것을 포함하는 이미지 보정 방법.
제 3항에 있어서,
상기 설정 횟수만큼 상기 (a) 단계 및 (b) 단계를 반복한 후, 상기 미리 정한 설정 횟수 각각에 계산된 상기 생성기의 손실과 가중치를 이용하여 생성기의 총 손실을 계산하는 단계; 및
상기 생성기의 총 손실을 기초로 상기 미리 학습된 생성 파라미터를 업데이트하는 단계를 포함하는 이미지 보정 방법.
제 4항에 있어서,
상기 가중치는 상기 설정 횟수마다 상이하게 설정되는 이미지 보정 방법.
제 3항에 있어서,
(a) 상기 학습 보정 이미지를 입력 받아, 상기 학습 보정 이미지의 품질 값을 생성하는 단계; 및
(b) 상기 학습 보정 이미지와 상기 미리 정한 이미지를 이용하여 상기 학습 보정 이미지의 품질 값과 상기 미리 정한 이미지의 품질 값의 차이를 포함하는 평가기의 손실을 계산하는 단계를 포함하고,
상기 설정 횟수만큼 상기 학습 보정 이미지를 상기 학습 입력 이미지로 하여 상기 (a)단계 및 (b) 단계를 반복하는 것을 포함하는 이미지 보정 방법.
제 6항에 있어서,
상기 설정 횟수만큼 상기 (a) 단계 및 (b) 단계를 반복한 후, 상기 설정 횟수만큼 계산된 상기 평가기의 손실과 가중치를 이용하여 평가기의 총 손실을 계산하는 단계를 더 포함하는 이미지 보정 방법.
제 3항에 있어서,
(a) 상기 학습 보정 이미지를 입력 받아, 상기 학습 보정 이미지의 품질 값을 생성하는 단계; 및
(b) 상기 학습 입력 이미지, 상기 학습 보정 이미지 및 상기 미리 정한 이미지를 이용하여 상기 학습 보정 이미지의 품질 값과 상기 미리 정한 이미지의 품질 값의 차이를 포함하는 평가기의 손실을 계산하는 단계를 포함하고,
상기 설정 횟수만큼 상기 학습 보정 이미지를 입력 받아, 상기 (a)단계 및 (b) 단계를 반복하는 것을 포함하는 이미지 보정 방법.
제 8항에 있어서,
상기 설정 횟수만큼 상기 (a) 단계 및 (b) 단계를 반복한 후, 상기 미리 정한 설정 횟수만큼 계산된 상기 평가기의 손실과 가중치를 이용하여 평가기의 총 손실을 계산하는 단계를 더 포함하는 이미지 보정 방법.
미리 학습된 이미지 생성 파라미터를 저장하는 이미지 생성 파라미터 저장부와, 가이드 이미지와 입력 이미지를 입력 받고, 상기 미리 학습된 이미지 생성 파라미터에 의해, 상기 가이드 이미지를 이용하여 상기 입력 이미지를 보정한 보정 이미지를 생성하는 이미지 생성부를 포함하는 이미지 생성기;
미리 학습된 이미지 평가 파라미터를 저장하는 이미지 평가 파라미터 저장부와, 상기 보정 이미지를 입력 받고, 상기 학습 이미지를 이용하여 미리 학습된 이미지 평가 파라미터에 의해, 상기 보정 이미지의 품질 값을 생성하는 이미지 평가부를 포함하는 이미지 평가기; 및
상기 품질 값이 설정 값보다 크다고 판단되면 상기 보정 이미지를 출력하고, 상기 품질 값이 설정 값보다 작다고 판단되면 상기 보정 이미지를 상기 이미지 생성부에 상기 입력 이미지로 입력하는 판단기를 포함하는 이미지 보정 시스템.
제 10항에 있어서,
상기 이미지 평가부는
상기 가이드 이미지와 상기 입력 이미지를 더 입력 받고, 상기 가이드 이미지와 상기 입력 이미지를 이용하여 상기 품질 값을 생성하는 이미지 보정 시스템.
제 10항에 있어서,
상기 이미지 생성 파라미터는
상기 이미지 생성기에 학습 가이드 이미지와 학습 입력 이미지를 제공하여, 상기 학습 입력 이미지를 보정한 학습 보정 이미지를 생성하고, 상기 학습 보정 이미지와 미리 정한 이미지 간의 차이를 포함하는 이미지 생성기의 손실을 계산하고, 상기 계산된 이미지 생성기의 손실을 기초로 결정되는 이미지 보정 시스템.
제 12항에 있어서,
상기 이미지 생성 파라미터는
설정 횟수 동안, 상기 학습 보정 이미지를 상기 학습 입력 이미지로 상기 학습 보정 이미지를 생성하는 것과, 상기 이미지 생성기의 손실을 계산하는 것을 반복하여 결정되는 이미지 보정 시스템.
제 13항에 있어서,
상기 이미지 평가 파라미터는
상기 이미지 평가부에 상기 학습 보정 이미지를 입력하여, 상기 학습 보정 이미지의 품질 값을 생성하고, 상기 학습 보정 이미지와 상기 미리 정한 이미지 간의 차이를 포함하는 이미지 평가부의 손실을 계산하고, 상기 계산된 이미지 평가부의 손실을 기초로 결정되는 이미지 보정 시스템.
제 14항에 있어서,
상기 이미지 평가 파라미터는
상기 설정 횟수 동안 생성된 상기 학습 보정 이미지의 품질 값을 생성하는 것과, 상기 이미지 평가부의 손실을 계산하는 것을 반복하여 결정되는 이미지 보정 시스템.
제 11항에 있어서,
상기 이미지 생성 파라미터는
상기 이미지 생성기에 학습 가이드 이미지와 학습 입력 이미지를 제공하여, 상기 학습 입력 이미지를 보정한 학습 보정 이미지를 생성하고, 상기 학습 보정 이미지와 미리 정한 이미지 간의 차이를 포함하는 이미지 생성기의 손실을 계산하고, 상기 계산된 이미지 생성기의 손실을 기초로 결정되는 이미지 보정 시스템.
제 16항에 있어서,
상기 이미지 생성 파라미터는
설정 횟수 동안, 상기 학습 보정 이미지를 상기 학습 입력 이미지로 상기 학습 보정 이미지를 생성하는 것과, 상기 이미지 생성기의 손실을 계산하는 것을 반복하여 결정되는 이미지 보정 시스템.
제 17항에 있어서,
상기 이미지 평가 파라미터는
상기 이미지 평가부에 상기 학습 가이드 이미지, 상기 학습 입력 이미지 및 상기 학습 보정 이미지를 제공하여, 상기 학습 보정 이미지의 품질 값을 생성하고, 상기 학습 보정 이미지와 상기 미리 정한 이미지 간의 차이를 포함하는 이미지 평가부의 손실을 계산하고, 상기 계산된 이미지 평가부의 손실을 기초로 결정되는 이미지 보정 시스템.
제 18항에 있어서,
상기 이미지 평가 파라미터는
상기 설정 횟수 동안 생성된 상기 학습 보정 이미지의 품질 값을 생성하는 것과, 상기 이미지 평가부의 손실을 계산하는 것을 반복하여 결정되는 이미지 보정 시스템.
이미지 보정 프로그램이 저장된 메모리; 및
상기 메모리에 저장된 상기 이미지 보정 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,
상기 프로그램은 상기 적어도 하나의 프로세서를 이용하여,
입력 이미지에 대해 가이드 이미지를 이용하여 보정 이미지를 생성하되, 상기 보정 이미지를 생성하는 것은 학습 이미지를 이용하여 학습된 이미지 생성 파라미터에 의해 상기 보정 이미지를 생성하는 것을 포함하고,
상기 보정 이미지의 품질 값을 생성하고,
상기 품질 값이 설정 값보다 커질 때까지 상기 보정 이미지에 대해 상기 가이드 이미지를 이용한 이미지 보정을 수행하는 전자 장치.