KR102325898B1 - 다중 도메인 영상 복원 시스템 및 방법 - Google Patents

다중 도메인 영상 복원 시스템 및 방법 Download PDF

Info

Publication number
KR102325898B1
KR102325898B1 KR1020200118816A KR20200118816A KR102325898B1 KR 102325898 B1 KR102325898 B1 KR 102325898B1 KR 1020200118816 A KR1020200118816 A KR 1020200118816A KR 20200118816 A KR20200118816 A KR 20200118816A KR 102325898 B1 KR102325898 B1 KR 102325898B1
Authority
KR
South Korea
Prior art keywords
image
superpixel
image quality
map
maps
Prior art date
Application number
KR1020200118816A
Other languages
English (en)
Inventor
김진
서지수
김도건
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020200118816A priority Critical patent/KR102325898B1/ko
Application granted granted Critical
Publication of KR102325898B1 publication Critical patent/KR102325898B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

다중 도메인 영상 복원 시스템 및 방법이 개시된다. 일 실시예에 따른 다중 도메인 영상 복원 시스템은, 영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하는 복수의 영상 복원 모듈을 포함하는 도메인 특화 영상 복원 장치; 및 상기 도메인 특화 영상 복원 장치로부터 수신되는 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성하는 영상 블렌딩 장치를 포함한다.

Description

다중 도메인 영상 복원 시스템 및 방법{SYSTEM AND METHOD FOR MULTI-DOMAIN IMAGE RESTORATION}
개시되는 실시예들은 정지 영상 및 동영상을 포함하는 영상을 복구하거나 품질을 개선하기 위한 기술과 관련된다.
영상 복원(image restoration)이란 손상된 영상을 복구하거나 또는 영상의 노이즈를 제거하고 해상도를 높이는 등 영상의 품질을 개선하는 것을 의미한다. 영상 복원 기술은 슈퍼 레졸루션(super resolution), 디블러링(deblurring), 디노이징(denoising), 인페인팅(inpainting) 등으로 세분화할 수 있다. 슈퍼 레졸루션(super resolution)이란 저해상도 영상에서 고해상도 영상을 복구 및 생성하는 방법이다. 디블러링(deblurring)이란 피사체의 움직임(Object motion blur), 카메라의 흔들림(camera shake blur), 초점의 흐림(defocus blur), 또는 영상 내 복합적인 요소들에 의해 발생된 영상의 흐림(blur)를 제거하는 방법이다. 디노이징(denoising)이란 영상의 고주파수 성분인 노이즈, 에지, 텍스쳐 등을 구분해 노이즈만을 제거해 실제 영상으로 복원하는 방법이다. 인페인팅(inpainting)이란 입력 영상에서 훼손되거나 빈 영역이 존재할 경우, 이 영역을 자연스럽게 채워 영상을 복원해내는 방법이다.
기존 영상 복원 기법들(슈퍼 레졸루션, 디블러링, 디노이징, 인페인팅 등)은 영상 전반에 대한 성능 개선에 초점을 맞추어 개발되었다. 따라서 종래의 기법들에 따를 경우 전반적인 영상 복원은 잘 이루어지지만, 세부적인 객체 영역의 복원에는 한계가 있었다. 이에 따라 얼굴 또는 차량 번호판 등 특정 도메인에 특화된 영상 복원 방법이 제안되었다. 그러나 해당 방법 또한 특정 도메인 내에서만 높은 성능을 낼 수 있을 뿐, 다른 도메인에서는 그만큼의 성능을 내기 어렵다. 특히 하나의 영상 내에 다수의 도메인이 포함되어 있는 경우, 종래의 영상 복원 기법을 이용하여 각 도메인 별 영상 품질을 고르게 향상시키기는 매우 어렵다.
개시되는 실시예들은 특정한 하나의 도메인이 아닌, 사용자에 의해 선택 가능한 복수의 도메인 상에서 영상 복원을 수행하기 위한 기술적인 수단을 제공하기 위한 것이다.
예시적인 실시예에 따르면, 영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하는 복수의 영상 복원 모듈을 포함하는 도메인 특화 영상 복원 장치; 및 상기 도메인 특화 영상 복원 장치로부터 수신되는 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성하는 영상 블렌딩 장치를 포함하는 다중 도메인 영상 복원 시스템이 제공된다.
상기 영상 블렌딩 장치는, 상기 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 모듈; 상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 모듈; 및 상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성하는 영상 합성 모듈을 포함할 수 있다.
상기 영상 퀄리티 맵은, 1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함할 수 있다.
상기 슈퍼픽셀 맵 생성 모듈은, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성할 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성될 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성될 수 있다.
상기 영상 합성 모듈은, 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 픽셀 별 요소곱을 합산하여 상기 최종 복원 영상을 생성할 수 있다.
다른 예시적인 실시예에 따르면, 복수의 도메인 특화 영상 복원 장치로부터 생성된 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 모듈; 상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 모듈; 및 상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성하는 영상 합성 모듈을 포함하는, 영상 블렌딩 장치가 제공된다.
상기 영상 퀄리티 맵은, 1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함할 수 있다.
상기 슈퍼픽셀 맵 생성 모듈은, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성할 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성될 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성될 수 있다.
상기 영상 합성 모듈은, 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 픽셀 별 요소곱을 합산하여 상기 최종 복원 영상을 생성할 수 있다.
또 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하여 복수의 1차 복원 영상을 생성하는 단계; 및 상기 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성하는 영상 블렌딩 단계를 포함하는 다중 도메인 영상 복원 방법이 제공된다.
상기 영상 블렌딩 단계는, 상기 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 단계; 상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 단계; 및 상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성하는 영상 합성 단계를 포함할 수 있다.
상기 영상 퀄리티 맵은, 1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함할 수 있다.
상기 슈퍼픽셀 맵 생성 단계는, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성할 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성될 수 있다.
상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성될 수 있다.
상기 영상 합성 단계는, 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 픽셀 별 요소곱을 합산하여 상기 최종 복원 영상을 생성할 수 있다.
개시되는 실시예에 따르면, 특정한 하나의 도메인이 아닌, 사용자에 의해 선택 가능한 복수의 도메인 상에서 더 높은 정확도로 영상 복원을 수행할 수 있는 장점이 있다.
도 1은 일 실시예에 따른 다중 도메인 영상 복원 시스템(100)을 설명하기 위한 블록도
도 2는 일 실시예에 따른 다중 도메인 영상 복원 시스템(100)의 영상 블렌딩 장치(104)를 좀 더 상세히 설명하기 위한 블록도
도 3은 일 실시예에 따른 도메인 특화 영상 복원 장치(102)에서 생성한 복수의 1차 복원 영상의 예시도
도 4는 도 3에 도시된 복수의 1차 복원 영상으로부터 생성된 복수의 영상 퀄리티 맵의 예시도
도 5는 일 실시예에 따른 슈퍼픽셀 맵의 예시도
도 6은 일 실시예에 따른 복수의 영상 퀄리티 슈퍼픽셀 맵의 예시도
도 7은 다른 실시예에 따른 복수의 영상 퀄리티 슈퍼픽셀 맵의 예시도
도 8은 도 6 및 도 7의 영상 퀄리티 슈퍼픽셀 맵을 기반으로 생성된 최종 복원 영상의 예시도
도 9는 일 실시예에 따른 다중 도메인 영상 복원 방법(900)을 설명하기 위한 흐름도
도 10은 일 실시예에 따른 다중 도메인 영상 복원 방법(900)의 영상 블렌딩 과정(904)를 좀 더 상세히 설명하기 위한 흐름도
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 다중 도메인 영상 복원 시스템(100)을 설명하기 위한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 다중 도메인 영상 복원 시스템(100)은 도메인 특화 영상 복원 장치(102) 및 영상 블렌딩 장치(104)를 포함한다.
도메인 특화 영상 복원 장치(102)는 원본 영상을 입력받고, 입력된 상기 원본 영상으로부터 복수의 1차 복원 영상을 생성한다. 이를 위하여, 도메인 특화 영상 복원 장치(102)는 복수의 영상 복원 모듈을 포함한다. 상기 복수의 영상 복원 모듈은 각각 원본 영상 내의 서로 다른 영역 또는 도메인에 대한 영상 복원에 특화되어 있다. 몇몇 실시예들에서, 상기 복수의 영상 복원 모듈 중 적어도 일부는 사용자에 의하여 선택된 영역에 대한 영상 복원을 수행하도록 학습될 수 있다. 다른 실시예들에서, 상기 복수의 영상 복원 모듈 중 적어도 일부는 원본 영상 내에서 탐색된 특정한 객체(예컨대, 번호판 또는 사람의 얼굴 등)에 대한 영상 복원에 특화된 것일 수 있다. 또 다른 실시예들에서, 상기 복수의 영상 복원 모듈 중 적어도 일부는 원본 영상의 전체 또는 일부에 대한 슈퍼 레졸루션(super resolution), 디블러링(deblurring), 디노이징(denoising), 인페인팅(inpainting) 중 적어도 하나를 수행하도록 학습될 수 있다. 개시되는 실시예들에서, 도메인 특화 영상 복원 장치(102)는 필요에 따라 다양한 종류의 영상 복원 모듈을 제한 없이 포함할 수 있으며, 특정한 종류의 영상 복원 모듈에 한정된 것은 아님을 유의한다.
일 실시예에서, 다중 도메인 영상 복원 시스템(100)의 사용자는 도메인 특화 영상 복원 장치(102)에 포함된 I개의 영상 복원 모듈(I는 1 이상의 정수) 중 원본 영상에 대한 영상 복원을 수행할 M개의 영상 복원 모듈(1≤M≤I)을 선택하고, 선택된 M개의 영상 복원 모듈로부터 M개의 1차 복원 영상을 생성하도록 할 수 있다.
다음으로 영상 블렌딩 장치(104)는 도메인 특화 영상 복원 장치(102)로부터 수신되는 복수의 1차 복원 영상을 합성하여 1개의 최종 복원 영상을 생성한다.
도 2는 일 실시예에 따른 다중 도메인 영상 복원 시스템(100)의 영상 블렌딩 장치(104)를 좀 더 상세히 설명하기 위한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 영상 블렌딩 장치(104)는 영상 퀄리티 측정 모듈(202), 슈퍼픽셀 맵 생성 모듈(204) 및 영상 합성 모듈(206)을 포함한다.
영상 퀄리티 측정 모듈(202)은 도메인 특화 영상 복원 장치(102)에서 생성된 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성한다. 이때 상기 영상 퀄리티 맵은 대응되는 1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함한다. 이를 좀 더 상세히 설명하면 다음과 같다.
도메인 특화 영상 복원 장치(102)에서 생성된 M개의 복수의 1차 복원 영상을 각각 P1, P2, ??, PM이라 하자. 이때 k번째 1차 복원 영상 Pk(1≤k≤M)의 크기는 (Cp,k * Hp,k * Wp,k)와 같이 정의할 수 있다. 이때 Cp,k는 Pk의 채널 개수, Hp,k는 Pk의 영상 세로 크기, Wp,k는 Pk의 영상 가로 크기를 각각 의미한다.
일 실시예에서, M개의 복수의 1차 복원 영상은 모두 동일한 크기를 가질 수 있다. 즉, 각 1차 복원 영상은 다음과 같은 관계를 가질 수 있다.
Cp,1 = Cp,2 = ... = Cp,M
Hp,1 = Hp,2 = ... = Hp,M
Wp,1 = Wp,2 = ... = Wp,M
k번째 1차 복원 영상의 임의의 픽셀은 pk,c,h,w로 칭할 수 있다. pk,c,h,w는 k번째 1차 복원 영상의 c번째 채널, 세로 위치 h, 가로 위치 w 상에 있는 픽셀을 의미한다(1≤c≤Cp,k, 1≤h≤Hp,k, 1≤w≤Wp,k, 1≤k≤M)
도 3은 일 실시예에 따른 도메인 특화 영상 복원 장치(102)에서 생성한 복수의 1차 복원 영상의 예시도이다. 도시된 예시도에서는 도메인 특화 영상 복원 장치(102)로부터 (a) 및 (b)로 표시된 2개의 1차 복원 영상을 생성한 예를 나타낸 것이다.
영상 퀄리티 측정 모듈(202)은 M개의 1차 복원 영상을 이용하여 M개의 영상 퀄리티 맵을 생성한다. 1차 복원 영상 P1, P2, ..., PM에 대응되는 영상 퀄리티 맵을 Q1, Q2, ..., QM이라 하자. 이때 k번째 영상 퀄리티 맵 Qk(1≤k≤M)의 크기는 (Cq,k * Hq,k * Wq,k)와 같이 정의할 수 있다. 이때 Cq,k는 Qk의 채널 개수, Hq,k는 Qk의 영상 세로 크기, Wq,k는 Qk의 영상 가로 크기를 각각 의미한다.
일 실시예에서, 영상 퀄리티 맵의 크기는 대응되는 1차 복원 영상의 크기와 동일하도록 설정될 수 있다. 이를 다음과 같이 나타낼 수 있다.
Cp,k = Cq,k, Hp,k = Hq,k, Wp,k = Wq,k (1≤k≤M)
k번째 영상 퀄리티 맵의 임의의 픽셀은 qk,c,h,w로 칭할 수 있다. qk,c,h,w는 k번째 영상 퀄리티 맵의 c번째 채널, 세로 위치 h, 가로 위치 w 상에 있는 픽셀을 의미한다(1≤c≤Cq,k, 1≤h≤Hq,k, 1≤w≤Wq,k, 1≤k≤M)
영상 퀄리티 맵의 각 픽셀 q1,c,h,w, q2,c,h,w, ..., qM,c,h,w는 1차 복원 영상의 대응 지점, 즉 q1,c,h,w, q2,c,h,w, ..., qM,c,h,w의 영상 퀄리티 스코어를 나타낸다. 즉, qk,c,h,w는 pk,c,h,w의 영상 퀄리티 스코어를 의미한다. 개시되는 실시예들에서 영상 퀄리티 스코어란 1차 복원 영상의 해당 픽셀이 최종 복원 영상(R)에 기여하는 정도를 의미한다. 즉, 영상 퀄리티 스코어란 M개의 1차 복원 영상의 동일 위치(c, h, w) 상에 존재하는 M개의 픽셀 중 최종 복원 영상(R)의 퀄리티를 높이기 위해서는 어느 픽셀을 선택하여야 하는지에 대한 정보를 나타낸다. 다시 말해 영상 퀄리티 스코어가 높은 픽셀일수록 최종 복원 영상(R)에 포함될 확률 또는 포함 비율이 높아지게 된다. 이때 영상 퀄리티 맵에 포함된 각 픽셀별 영상 퀄리티 스코어는 다음과 같은 관계를 가질 수 있다.
Figure 112020098143719-pat00001
Figure 112020098143719-pat00002
일 실시예에서, 영상 퀄리티 측정 모듈(202)은 학습된 인공 신경망을 이용하여 복수의 1차 복원 영상을 입력하고 이로부터 각 픽셀별 영상 퀄리티 스코어가 포함된 영상 퀄리티 맵을 생성할 수 있다.
도 4는 도 3에 도시된 복수의 1차 복원 영상으로부터 생성된 복수의 영상 퀄리티 맵의 예시도이다. 구체적으로 도 4의 (a)는 도 3의 (a)에 해당하는 1차 복원 영상으로부터 생성된 영상 퀄리티 맵을, 도 4의 (b)는 도 3의 (b)에 해당하는 1차 복원 영상으로부터 생성된 영상 퀄리티 맵을 각각 나타낸다. 영상 퀄리티 맵의 각 픽셀의 색상이 밝을수록 해당 위치의 영상 퀄리티 스코어가 높음을 의미한다.
다음으로, 슈퍼픽셀 맵 생성 모듈(204)은 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성한다. 일 실시예에서 슈퍼픽셀 맵 생성 모듈(204)은, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 슈퍼픽셀 맵을 생성할 수 있다.
개시되는 실시예들에서 슈퍼픽셀이란 인접한 픽셀들 중 비슷한 시각적 특성을 가진 픽셀들을 묶어 하나의 커다란 픽셀로 구성한 것을 의미한다. 슈퍼픽셀 맵 생성 모듈(204)은 SEEDS 또는 SLIC 알고리즘 등 다양한 알고리즘을 이용하여 슈퍼픽셀을 구성할 수 있다.
슈퍼픽셀 맵 S는 s1, s2, …, sN을 포함하는 N개의 슈퍼픽셀로 구성될 수 있다. 이때 N의 크기는 원본 이미지의 특성 등을 고려하여 적절한 수로 설정될 수 있다. 또한 슈퍼픽셀 맵의 크기는 (CS * HS * WS)로 정의될 수 있으며, 이는 1차 복원 영상 및 영상 퀄리티 맵의 크기와 동일하게 정해질 수 있다. 도 5는 일 실시예에 따른 슈퍼픽셀 맵의 예시도이다.
다음으로, 영상 합성 모듈(206)은 복수의 영상 퀄리티 맵 및 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성한다. 이를 좀 더 상세히 설명하면 다음과 같다.
먼저, 영상 합성 모듈(206)은 복수의 영상 퀄리티 맵 및 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성한다. 구체적으로, 영상 합성 모듈(206)은 복수의 영상 퀄리티 맵 각각에 대하여, 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역별로 해당 영역의 영상 퀄리티 스코어의 대표값(평균값 또는 중간값 등)을 맵핑함으로써 상기 영상 퀄리티 슈퍼픽셀 맵을 생성할 수 있다. 이때 영상 합성 모듈(206)은 Q1, Q2, …, QM에 해당하는 M개의 영상 퀄리티 맵으로부터 M개의 슈퍼픽셀 맵 T1, T2, …, TM을 생성할 수 있다.
k번째 영상 퀄리티 맵 Qk에 대하여, 슈퍼픽셀 맵 S에 속하는 슈퍼픽셀 sn (1
Figure 112020098143719-pat00003
n≤N) 과 동일한 위치에 있는 퀄리티 스코어를 각각 qk,n 이라 하자. 이 경우 해당 슈퍼필셀에 대응되는 영상 퀄리티 슈퍼픽셀 맵의 퀄리티 스코어의 대표값은 다음과 같이 계산될 수 있다.
Figure 112020098143719-pat00004
일 실시예에서, 영상 합성 모듈(206)은 상기 tk,n을 그대로 사용하여 영상 퀄리티 슈퍼픽셀 맵을 생성할 수 있다(소프트 맵핑). 다른 실시예에서, 영상 합성 모듈(206)은 상기 tk,n을 다음과 같이 반올림한 값(즉, 0 또는 1)을 사용하여 영상 퀄리티 슈퍼픽셀 맵을 생성할 수 있다(하드 맵핑).
Figure 112020098143719-pat00005
도 6은 일 실시예에 따른 복수의 영상 퀄리티 슈퍼픽셀 맵의 예시도이고, 도 7은 다른 실시예에 따른 복수의 영상 퀄리티 슈퍼픽셀 맵의 예시도이다. 도 6은 도 4의 (a) 및 (b)에 도시된 영상 퀄리티 맵으로부터 전술한 소프트 맵핑 방법에 의하여 생성된 영상 퀄리티 슈퍼픽셀 맵을, 도 7은 도 4의 (a) 및 (b)에 도시된 영상 퀄리티 맵으로부터 전술한 하드 맵핑 방법에 의하여 생성된 영상 퀄리티 슈퍼픽셀 맵을 각각 나타낸다.
이후, 영상 합성 모듈(206)은 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성한다. 구체적으로 영상 합성 모듈(206)은 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 픽셀 별 요소곱을 합산하여 상기 최종 복원 영상을 생성할 수 있다.
최종 복원 영상(R)의 크기는 (Cr * Hr * Wr)로 정의되며, 이는 1차 복원 영상 및 영상 퀄리티 맵의 크기와 동일하다. 이때 상기 최종 복원 영상은 다음과 수학식에 의해 생성될 수 있다.
Figure 112020098143719-pat00006
도 8은 도 6 및 도 7의 영상 퀄리티 슈퍼픽셀 맵을 기반으로 생성된 최종 복원 영상의 예시도이다. 도 8의 (a)는 도 6의 영상 퀄리티 슈퍼픽셀 맵을 기반으로 생성된 최종 복원 영상을, (b)는 도 7의 영상 퀄리티 슈퍼픽셀 맵을 기반으로 생성된 최종 복원 영상을 각각 나타낸다.
도 9는 일 실시예에 따른 다중 도메인 영상 복원 방법(900)을 설명하기 위한 흐름도이다. 도시된 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치, 예컨대 전술한 다중 도메인 영상 복원 시스템(100)에서 수행될 수 있다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 902에서, 다중 도메인 영상 복원 시스템(100)의 도메인 특화 영상 복원 장치(102)는, 영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하여 복수의 1차 복원 영상을 생성한다.
단계 904에서, 영상 블렌딩 장치(104)는 상기 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성한다.
도 10은 일 실시예에 따른 다중 도메인 영상 복원 방법(900)의 영상 블렌딩 과정(904)를 좀 더 상세히 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법 또는 과정을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 1002에서, 영상 퀄리티 측정 모듈(202)은 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성한다.
단계 1004에서, 슈퍼픽셀 맵 생성 모듈(204)은 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성한다.
단계 1006에서, 영상 합성 모듈(206)은 복수의 영상 퀄리티 맵 및 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성한다.
단계 1008에서, 영상 합성 모듈(206)은 복수의 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 기반하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성한다.
도 11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 다중 도메인 영상 복원 시스템(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(102)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 다중 도메인 영상 복원 시스템
102: 도메인 특화 영상 복원 장치
104: 영상 블렌딩 장치
202: 영상 퀄리티 측정 모듈
204: 슈퍼픽셀 맵 생성 모듈
206: 영상 합성 모듈

Claims (20)

  1. 영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하는 복수의 영상 복원 모듈을 포함하는 도메인 특화 영상 복원 장치; 및
    상기 도메인 특화 영상 복원 장치로부터 수신되는 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성하는 영상 블렌딩 장치를 포함하고,
    상기 영상 블렌딩 장치는,
    상기 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 모듈;
    상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 모듈; 및
    상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 1차 복원 영상 및 이에 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 대한 요소곱을 합산하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성하는 영상 합성 모듈을 포함하는, 다중 도메인 영상 복원 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 영상 퀄리티 맵은,
    1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함하는, 다중 도메인 영상 복원 시스템.
  4. 청구항 3에 있어서,
    상기 슈퍼픽셀 맵 생성 모듈은, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성하는, 다중 도메인 영상 복원 시스템.
  5. 청구항 3에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성되는, 다중 도메인 영상 복원 시스템.
  6. 청구항 3에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성되는, 다중 도메인 영상 복원 시스템.
  7. 삭제
  8. 복수의 도메인 특화 영상 복원 장치로부터 생성된 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 모듈;
    상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 모듈; 및
    상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 대한 요소곱을 합산하여 상기 복수의 1차 복원 영상을 합성함으로써 최종 복원 영상을 생성하는 영상 합성 모듈을 포함하는, 영상 블렌딩 장치.
  9. 청구항 8에 있어서,
    상기 영상 퀄리티 맵은,
    1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함하는, 영상 블렌딩 장치.
  10. 청구항 9에 있어서,
    상기 슈퍼픽셀 맵 생성 모듈은, 상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성하는, 영상 블렌딩 장치.
  11. 청구항 9에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성되는, 영상 블렌딩 장치.
  12. 청구항 9에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은, 상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성되는, 영상 블렌딩 장치.
  13. 삭제
  14. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    영상을 입력받고, 상기 영상 내의 각각 서로 다른 영역 또는 도메인에 대한 복원을 수행하여 복수의 1차 복원 영상을 생성하는 단계; 및
    상기 복수의 1차 복원 영상을 합성하여 최종 복원 영상을 생성하는 영상 블렌딩 단계를 포함하되,
    상기 영상 블렌딩 단계는,
    상기 복수의 1차 복원 영상 각각에 대응되는 복수의 영상 퀄리티 맵을 생성하는 영상 퀄리티 측정 단계;
    상기 복수의 1차 복원 영상 중 선택된 하나의 1차 복원 영상으로부터 슈퍼픽셀 맵을 생성하는 슈퍼픽셀 맵 생성 단계; 및
    상기 복수의 영상 퀄리티 맵 및 상기 슈퍼픽셀 맵을 이용하여 복수의 영상 퀄리티 슈퍼픽셀 맵을 생성하고, 상기 복수의 1차 복원 영상 및 이와 대응되는 영상 퀄리티 슈퍼픽셀 맵의 각 슈퍼픽셀 별 영상 퀄리티 스코어에 대한 요소곱을 합산하여 상기 복수의 1차 복원 영상을 합성함으로써 상기 최종 복원 영상을 생성하는 영상 합성 단계를 포함하는, 다중 도메인 영상 복원 방법.
  15. 삭제
  16. 청구항 14에 있어서,
    상기 영상 퀄리티 맵은,
    1차 복원 영상의 각 픽셀 별 퀄리티 스코어를 포함하는, 다중 도메인 영상 복원 방법.
  17. 청구항 16에 있어서,
    상기 슈퍼픽셀 맵 생성 단계는,
    상기 복수의 영상 퀄리티 맵 별 상기 퀄리티 스코어의 평균값이 가장 큰 영상 퀄리티 맵에 대응되는 1차 복원 영상을 이용하여 상기 슈퍼픽셀 맵을 생성하는, 다중 도메인 영상 복원 방법.
  18. 청구항 16에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은,
    상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 맵핑함으로써 생성되는, 다중 도메인 영상 복원 방법.
  19. 청구항 16에 있어서,
    상기 복수의 영상 퀄리티 슈퍼픽셀 맵은,
    상기 복수의 영상 퀄리티 맵 각각에 대하여, 상기 슈퍼픽셀 맵의 각 슈퍼픽셀에 대응되는 영역 별로 해당 영역의 영상 퀄리티 스코어의 대표값을 반올림한 값을 맵핑함으로써 생성되는, 다중 도메인 영상 복원 방법.
  20. 삭제
KR1020200118816A 2020-09-16 2020-09-16 다중 도메인 영상 복원 시스템 및 방법 KR102325898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200118816A KR102325898B1 (ko) 2020-09-16 2020-09-16 다중 도메인 영상 복원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200118816A KR102325898B1 (ko) 2020-09-16 2020-09-16 다중 도메인 영상 복원 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102325898B1 true KR102325898B1 (ko) 2021-11-11

Family

ID=78516384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200118816A KR102325898B1 (ko) 2020-09-16 2020-09-16 다중 도메인 영상 복원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102325898B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016470A (ja) * 2008-07-01 2010-01-21 Nikon Corp 画像復元方法、画像復元プログラム、および画像復元装置
JP2019012426A (ja) * 2017-06-30 2019-01-24 キヤノン株式会社 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010016470A (ja) * 2008-07-01 2010-01-21 Nikon Corp 画像復元方法、画像復元プログラム、および画像復元装置
JP2019012426A (ja) * 2017-06-30 2019-01-24 キヤノン株式会社 画像認識装置、学習装置、画像認識方法、学習方法及びプログラム

Similar Documents

Publication Publication Date Title
US10547871B2 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
US20220261965A1 (en) Training method of image processing model, image processing method, apparatus, and device
US8547389B2 (en) Capturing image structure detail from a first image and color from a second image
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US9824431B2 (en) Image synthesis apparatus, image synthesis method, and recording medium
US20140354886A1 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
EP2164040B1 (en) System and method for high quality image and video upscaling
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
US20150036943A1 (en) Patch-Based, Locally Content-Adaptive Image and Video Sharpening
US8605118B2 (en) Matrix generation apparatus, method, and program, and information processing apparatus
EP2556490A2 (en) Generation of multi-resolution image pyramids
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
KR20200057849A (ko) 영상의 리타겟팅을 위한 영상 처리 장치 및 방법
KR101341617B1 (ko) 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법
KR102325898B1 (ko) 다중 도메인 영상 복원 시스템 및 방법
CN111383187B (zh) 一种图像处理方法、装置及智能终端
Xu et al. Sharp image estimation from a depth-involved motion-blurred image
EP1583030A1 (en) Image magnification device and image magnification method
Singh et al. A content adaptive method of de-blocking and super-resolution of compressed images
KR20220102811A (ko) 단일 영상 초해상도 복원 장치 및 방법
CN106204445A (zh) 基于结构张量全变差的图像视频超分辨率方法
WO2023072072A1 (zh) 一种模糊图像生成方法、网络模型训练方法及装置
US8922577B2 (en) Texture information provider and frame syntheszier for image processing apparatus and method
KR20160063792A (ko) 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치
US20240005458A1 (en) Region-of-interest (roi)-based image enhancement using a residual network

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant