KR20140141392A - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
KR20140141392A
KR20140141392A KR1020130063115A KR20130063115A KR20140141392A KR 20140141392 A KR20140141392 A KR 20140141392A KR 1020130063115 A KR1020130063115 A KR 1020130063115A KR 20130063115 A KR20130063115 A KR 20130063115A KR 20140141392 A KR20140141392 A KR 20140141392A
Authority
KR
South Korea
Prior art keywords
image
hierarchical
image processing
images
target
Prior art date
Application number
KR1020130063115A
Other languages
English (en)
Other versions
KR101811718B1 (ko
Inventor
문영수
이정훈
조정욱
태용민
김도형
이시화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130063115A priority Critical patent/KR101811718B1/ko
Priority to US14/273,094 priority patent/US9679223B2/en
Priority to EP14170599.6A priority patent/EP2811457B1/en
Publication of KR20140141392A publication Critical patent/KR20140141392A/ko
Application granted granted Critical
Publication of KR101811718B1 publication Critical patent/KR101811718B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

복수 개의 영상들을 이용하여 화질이 개선된 출력 영상을 생성할 때 열화 제거 성능을 향상시킨 영상 처리 장치 및 영상 처리 방법에 관한 것으로서, 입력 영상들간 서로 대응되는 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행한다.

Description

영상 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING THE IMAGE}
영상 처리 방법 및 장치에 관한 것으로, 구체적으로는 복수 개의 입력 영상들로부터 화질이 개선된 출력 영상을 생성하는 영상 처리 방법 및 장치에 관한 것이다.
조도가 상대적으로 낮은 어두운 환경이나 역광과 같이 열악한 영상 촬영 환경에서 디지털 카메라와 같은 영상 촬영 장치로 영상을 촬영하는 경우, 화질 열화 문제가 발생할 수 있다. 예를 들어, 충분한 노출(exposure) 시간 확보를 위해 긴 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 길어지는 셔터 스피드와 영상 촬영 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 또한, 카메라의 감도를 고감도로 설정하고 영상을 촬영하는 경우, 어두운 영상이 노이즈 성분과 함께 증폭되어, 전체적으로 영상에 노이즈가 강하게 나타날 수 있다.
이와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위해, 한 장의 결과 영상에 기초하여 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술 등이 개발되어 왔고, 최근에는 한 장의 영상이 아닌 복수 개의 영상을 이용하여 이를 융합하여 처리하는 기술이 개발되고 있다.
복수 개의 영상들을 이용하여 화질이 개선된 출력 영상을 생성할 때 열화 제거 성능을 향상시킨 영상 처리 장치 및 영상 처리 방법을 제공하는 데 있다. 또한, 본 발명의 일 실시예에 따른 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 측면에 따른 영상 처리 방법은, 기준 영상과 타겟 영상을 포함하는 복수 개의 입력 영상들간의 서로 대응되는 영역들을 파악하는 단계; 상기 입력 영상들간 서로 대응되는 각 영역들에 대하여 해상도를 달리하는 복수 개의 계층적 영상들로 구성되는 계층적 영상 구조들을 생성하는 단계; 상기 서로 대응되는 상기 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행하는 단계; 및 상기 반복적 영상 처리에 따른 픽셀 값들을 이용하여 출력 영상을 생성하는 단계를 포함한다.
본 발명의 다른 측면에 따라 상기 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따른 영상 처리 장치는 기준 영상과 타겟 영상을 포함하는 복수 개의 입력 영상들간의 서로 대응되는 영역들을 파악하는 영상 분할부; 상기 입력 영상들간 서로 대응되는 각 영역들에 대하여 해상도를 달리하는 복수 개의 계층적 영상들로 구성되는 계층적 영상 구조들을 생성하고, 상기 서로 대응되는 상기 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행하는 영상 처리부; 및 상기 반복적 영상 처리에 따른 픽셀 값들을 이용하여 출력 영상을 생성하는 영상 결합부를 포함한다.
복수의 입력 영상들을 이용하여 고화질의 영상을 생성할 때 발생할 수 있는 고스트 열화를 제거할 수 있다.
도 1은 복수 개의 입력 영상들로부터 출력 영상을 생성하는 영상 처리 장치를 설명하기 위한 도면이다.
도 2는 입력 영상들이 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 의해 영상 처리가 수행될 때, 입력 영상들의 영상 처리 단위를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4는 제 1 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 5는 영상 채널 별로 생성된 계층적 영상 구조의 일 실시예를 도시한 도면이다.
도 6은 제 2 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 7은 기준 타일 영상의 블록 영역 설정과 기준 타일 영상의 블록 영역에 매칭되는 타겟 타일 영상의 블록 영역을 탐색하는 일 실시예를 도시한 것이다.
도 8은 기준 타일 영상의 블록 영역과 기준 타일 영상의 블록 영역에 매칭되는 타겟 타일 영상의 블록 영역을 이용하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.
도 10은 입력 영상들간 서로 대응되는 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 반복적 영상 처리를 수행하는 일 실시예의 동작에 대한 상세 흐름도이다.
이하 첨부된 도면을 참고하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 복수 개의 입력 영상들로부터 출력 영상을 생성하는 영상 처리 장치를 설명하기 위한 도면이다.
입력 영상들(110)은 동일한 피사체를 대상으로 하여 시간적 간격을 가지고 촬영되거나 또는 동시에 촬영된 영상을 나타낸다. 이와 같은 입력 영상들(110) 중 어느 하나의 입력 영상을 기준 영상(210)으로 설정할 수 있고, 그 외 나머지 입력 영상들은 제 1 타겟 영상(230) 내지 제 n 타겟 영상(230-n)으로 설정할 수 있다. 제 1 타겟 영상(230) 내지 제 n 타겟 영상(230-n)은 도 1에 도시된 바와 같이 n개가 될 수 있으며, 이때 n은 1 이상의 정수 값을 가질 수 있다. 기준 영상(210)은 영상 처리 장치(100)가 수행하는 영상 처리에 있어 기준이 되는 영상을 의미하고, 제 1 타겟 영상(230) 내지 제 n 타겟 영상(230-n)은 영상 처리를 위해 사용되는 나머지 영상들을 의미한다. 예를 들어, 기준 영상(210)은 동일한 피사체를 대상으로 하여 촬영된 영상 중 첫 번째로 촬영된 영상일 수 있고, 타겟 영상(230)은 기준 영상(210) 다음에 촬영된 영상일 수 있다. 기준 영상(210) 및 타겟 영상(230)의 구분은 위의 실시예에 한정되지 아니하며, 영상 처리 장치(100)는 복수 개의 영상 중 기준 영상(210)을 임의로 또는 소정의 기준에 따라 결정할 수 있다. 타겟 영상은 적어도 하나가 될 수 있으며, 설명의 편의상 하나의 타겟 영상(230)에 대해서만 설명한다.
영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230)을 입력으로 하여 영상 처리된 출력 영상(120)을 생성할 수 있다. 노출 시간을 짧게 하여 피사체를 촬영하는 경우, 기준 영상(210) 및 타겟 영상(230)에는 카메라 등과 같은 영상 촬영 장치의 움직임 또는 피사체의 움직임에 의한 화질 열화가 포함될 수 있는데, 본 발명의 일 실시예에 따른 영상 처리 장치(100)는 위와 같은 화질 열화를 제거하여 화질이 개선된 출력 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 노이즈의 제거, 디테일의 향상 또는 대비의 향상 등의 영상 처리를 수행하여 고품질의 출력 영상을 생성할 수 있다.
디지털 카메라와 같은 영상 촬영 장치의 이미지 센서가 처리할 수 있는 해상도가 증가함에 따라 입력 영상들(110)의 해상도 또한 높아지고 있는데, 이러한 고해상도의 입력 영상들(110)을 영상 처리함에 있어서 입력 영상들(110)을 전체 영상의 크기보다 작은 크기의 영상 영역으로 분할하여 처리할 수 있다. 본 발명의 일 실시예에 따른 영상 처리 장치(100)에서도 이와 같이 입력 영상들(110)을 전체 영상의 크기보다 작은 크기의 영상으로 분할하여 영상 처리를 수행하는 방식을 사용할 수 있다. 이하, 입력 영상들(110)을 분할함으로써 생성되는 영상 처리시의 세부 영상 단위에 대해 설명한다.
도 2는 입력 영상들이 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법에 의해 영상 처리가 수행될 때, 입력 영상들의 영상 처리 단위를 설명하기 위한 도면이다. 영상 처리 장치(100)는 영상 처리를 위하여, 입력 영상들(110), 즉, 기준 영상(210)과 적어도 하나의 타겟 영상(230)을 각각 분할하여, 입력 영상의 크기보다 작은 타일 영상들을 생성할 수 있다. 이러한 타일 영상들은 다시 복수 개의 픽셀들의 집합에 해당하는 더 작은 크기의 블록 영역들로 나눌 수 있다. 이하, 도 2를 참조하여 상세히 설명한다.
기준 영상(210)은 복수 개의 타일 영상들로 분할될 수 있다. 도 2의 좌측을 보면, 기준 영상(210)이 3 X 3의 타일 영상들로 분할된 것을 알 수 있다. 이하, 기준 영상(210)을 분할하여 생성한 타일 영상을 기준 타일 영상(212)이라 한다. 마찬가지로, 타겟 영상(230)도 복수 개의 타일 영상들로 분할될 수 있다. 도 2의 우측을 보면, 타겟 영상(230)이 3 X 3의 타일 영상들로 분할된 것을 알 수 있다. 이하, 타겟 영상(230)을 분할하여 생성한 타일 영상을 타겟 타일 영상(232)이라 한다.
하나의 기준 타일 영상(212)은 다시 복수 개의 블록 영역들로 분할될 수 있다. 하나의 블록 영역은 복수 개의 픽셀들로 구성될 수 있다. 도 2의 좌측을 보면, 기준 타일 영상(212)을 구성하는 더 작은 크기의 블록 영역(214)을 확인할 수 있다. 이하, 기준 타일 영상(212)을 분할하여 생성한 블록 영역을 기준 블록 영역(214)이라 한다. 타겟 타일 영상(232)에는 기준 타일 영상(212)의 어느 블록 영역과 대응되는 블록 영역이 존재할 수 있다. 이하, 어느 기준 블록 영역(214)에 대응되는 타겟 타일 영상(232) 내의 블록 영역을 타겟 블록 영역(234)이라 한다.
하나의 기준 블록 영역(214)과 이에 대응되는 타겟 블록 영역(234)은 각각 복수 개의 픽셀들로 구성된다. 예를 들어, 도 2에 도시된 바와 같이, 기준 블록 영역(214)과 타겟 블록 영역(234)은 각각 32 X 32의 픽셀들로 구성될 수 있다.
기준 타일 영상(212)과 타겟 타일 영상(232) 간의 대응되는 영역은 블록 영역 간의 매칭을 통하여 파악할 수 있고, 실제 픽셀 값들을 이용한 영상 처리의 경우 단일 픽셀 또는 단일 픽셀에 이웃하는 인접 픽셀까지 포함한 영역에 대해서 수행될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다. 도 3을 참조하면, 영상 처리 장치(100)는 제 1 움직임 정보 추정부(310), 영상 분할부(320), 영상 처리부(330) 및 영상 결합부(350)를 포함할 수 있다. 또한, 영상 처리부(330)는 계층적 영상 구조 생성부(332), 계층적 영상 결정부(334), 제 2 움직임 정보 결정부(336), 블록 영역 설정부(338), 블록 영역 탐색부(340) 및 블록 영역 처리부(342)를 포함할 수 있다.
영상 처리 장치(100)는 입력 영상 간의 움직임 정보를 추정하고, 움직임 정보에 기초하여 입력 영상의 크기보다 작은 타일 영상 기반의 영상 처리를 수행할 수 있다. 영상 처리 장치(100)는 기준 영상(210) 및 타겟 영상(230)으로부터 전체 영상에 대한 움직임 정보를 추정하고, 추정된 움직임 정보를 타일 영상별 처리 과정에 적용하여 타일 기반의 영상 처리를 보다 안정적으로 수행할 수 있다. 또한, 영상 처리 장치(100)는 타일 영상의 특징값(features)이 적거나 패턴이 존재하지 않는 경우에도, 입력 영상 간의 전역적인(grobal) 움직임 정보에 기초하여 타일 영상 간의 움직임 정보를 더욱 정확하게 추정할 수 있다. 타일 영상 기반의 영상 처리에는 도 2에서 살펴본 바와 같은 타일 영상보다 작은 단위의 블록 영역과 픽셀들을 이용할 수 있다. 이하, 도 3을 참조하여, 영상 처리 장치(100)의 세부 구성들과 각 구성에서 수행되는 기능을 살펴본다.
제 1 움직임 정보 추정부(310)는 기준 영상(210)에 대한 타겟 영상(230)의 움직임 정도를 나타내는 제 1 움직임 정보를 추정할 수 있다. 제 1 움직임 정보는 기준 영상(210)과 타겟 영상(230) 사이에 존재하는 전역적인(grobal) 움직임을 나타낼 수 있다. 제 1 움직임 정보 추정부(310)는 기준 영상(210)을 기준으로 하여 타겟 영상(230)이 상대적으로 어느 정도의 위치 차이를 가지는지를 추정할 수 있다. 이렇게 추정된 제 1 움직임 정보는 기준 영상(210) 및 타겟 영상(230) 보다 작은 크기의 영상인 기준 타일 영상(212)에 대한 타겟 타일 영상(232)의 움직임 정도를 나타내는 제 2 움직임 정보를 추정시 타겟 타일 영상(232) 내의 탐색 영역의 설정에 이용될 수 있다. 만약, 제 1 움직임 정보 추정부(310)가 없다면 제 1 움직임 정보를 알 수 없기 때문에, 제 2 움직임 정보를 추정하기 위하여 타겟 타일 영상(232)의 전 영역을 탐색하여야 하므로 신속성과 효율성이 떨어지게 되고, 전체적으로 영상 처리의 수행 시간이 길어질 수 있다.
제 1 움직임 정보 추정부(310)는 기준 영상(210)의 각 컬럼(column)과 각 로우(row) 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 생성하고, 타겟 영상(230)의 각 컬럼과 각 로우 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 생성할 수 있다. 구체적으로 살펴보면, 제 1 움직임 정보 추정부(310)는 기준 영상(210)과 타겟 영상(230)에 대해 영상의 수평 방향(x 방향)으로 이동하면서 임의의 컬럼에 위치하는 모든 픽셀들의 픽셀 값들을 합산할 수 있고, 그 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수평 방향의 누적 영상 1D 커브(410, 420)를 생성할 수 있다. 또한, 제 1 움직임 정보 추정부(310)는 기준 영상(210)과 타겟 영상(230)에 대해 영상의 수직 방향(y 방향)으로 이동하면서 임의의 로우(row)에 위치하는 모든 픽셀들의 픽셀 값들을 합산할 수 있고, 마찬가지로, 그 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수직 방향의 누적 영상 1D 커브(450, 460)를 생성할 수 있다.
제 1 움직임 정보 추정부(310)는 기준 영상(210)의 컬럼 별 누적 픽셀 값들을 이어 생성한 수평 방향의 누적 영상 1D 커브와 타겟 영상(230)의 컬럼 별 누적 픽셀 값들을 이어 생성한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 영상(210)의 로우 별 누적 픽셀 값들을 이어 생성한 수직 방향의 누적 영상 1D 커브와 타겟 영상(230)의 로우 별 누적 픽셀 값들을 이어 생성한 수직 방향의 누적 영상 1D 커브 간의 패턴을 다시 비교하여 제 1 움직임 정보를 추정할 수 있다.
제 1 움직임 정보 추정부(310)는 기준 영상(210)의 수평 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(210)에 대한 수평 방향의 누적 픽셀 값들과 타겟 영상(230)에 대한 수평 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악할 수 있다. 제 1 움직임 정보 추정부(310)는 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 타겟 영상(230)의 움직임을 추정할 수 있다. 제 1 움직임 정보 추정부(310)는 기준 영상(210)의 수직 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(210)에 대한 수직 방향의 누적 픽셀 값들과 타겟 영상(230)에 대한 수직 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악하여 수직 방향에 대한 타겟 영상(230)의 움직임을 추정할 수 있다. 제 1 움직임 정보 추정부(310)는 상호 상관도를 추정하기 위해 NCC(normalized cross correlation) 기법 등을 포함하는 다양한 기법을 이용할 수 있다. 제 1 움직임 정보 추정에 대하여 도 4를 참조하여, 더 상세히 설명한다.
도 4는 제 1 움직임 정보를 추정하는 일 실시예를 도시한 도면이다. 도 4에는 영상 처리 장치(100)의 제 1 움직임 정보 추정부(310)가 기준 영상(210)과 타겟 영상(230)의 수평 방향의 누적 영상 1D 커브(410, 420) 간의 패턴을 비교하고, 기준 영상(210)과 타겟 영상(230)의 수직 방향의 누적 영상 1D 커브(450, 460) 간의 패턴을 비교하여, 제 1 움직임 정보를 추정하는 일 실시예가 도시되어 있다.
도 4의 (a)는 수평 방향에 대한 기준 영상(210)의 누적 영상 1D 커브(410)와 타겟 영상(230)의 누적 영상 1D 커브(420)가 도시되어 있다. 제 1 움직임 정보 추정부(310)는 기준 영상(210)의 누적 영상 1D 커브(410)를 중심으로 일정한 탐색 영역(430)을 설정할 수 있다. 예를 들어, 제 1 움직임 정보 추정부(310)는 기준 영상(210)의 누적 영상 1D 커브(410) 중 극대점, 극소점 또는 변곡점 등을 중심으로 하여 탐색 영역(430)을 설정할 수 있다. 제 1 움직임 정보 추정부(310)는 탐색 영역(430)에서 기준 영상(210)의 누적 영상 1D 커브(410)와 타겟 영상(230)의 누적 영상 1D 커브(420) 간의 상호 상관도가 최대가 되는 상대적 위치를 파악할 수 있다. 파악된 상대적 위치에서, 기준 영상(210)의 누적 영상 1D 커브(410)와 타겟 영상(230)의 누적 영상 1D 커브(420)는 최대치의 유사도를 가질 수 있다. 제 1 움직임 정보 추정부(310)는 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수평 방향에 대한 움직임의 크기(Mx)(440)를 추정할 수 있다.
도 4의 (b)에서, 제 1 움직임 정보 추정부(310)는 수직 방향에 대한 기준 영상(210)의 누적 영상 1D 커브(450)와 타겟 영상(230)의 누적 영상 1D 커브(460)에 대해서도 도 4의 (a)에서 수행한 과정과 같은 방식으로, 탐색 영역(470)을 설정하고, 탐색 영역(470)에서 수직 방향에 대한 기준 영상(210)의 누적 영상 1D 커브(450)와 타겟 영상(230)의 누적 영상 1D 커브(460) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(My)(480)를 추정할 수 있다.
이와 같이, 기준 영상(210)과 타겟 영상(230) 간의 전역적인 움직임이 병진 운동인 경우, 영상 처리 장치(100)의 제 1 움직임 정보 추정부(310)는 수평 방향에 대한 움직임의 크기(Mx)(440)와 수직 방향에 대한 움직임의 크기(My)(480)에 기초하여 제 1 움직임 정보를 추정할 수 있다.
제 1 움직임 정보 추정부(310)는 병진 운동뿐만 아니라 확장된 운동 모델을 처리하기 위해 기준 영상(210) 및 타겟 영상(230)에 움직임의 추정을 위한 복수 개의 움직임 탐색 영역들을 설정할 수 있다. 제 1 움직임 정보 추정부(310)는 설정된 복수 개의 움직임 탐색 영역들에서, 기준 영상(210)의 누적 픽셀 값들과 타겟 영상(230)의 누적 픽셀 값들 간의 수평 방향 및 수직 방향별 비교를 통해 제 1 움직임 정보를 추정할 수 있다. 제 1 움직임 정보 추정부(310)는 각각의 움직임 탐색 영역에서 병진 운동의 움직임 정도를 추정하고, 추정 결과를 분석하여 타겟 영상(230)의 회전 등 확장된 운동 모델에서의 움직임을 추정할 수 있다. 예를 들어, 입력 영상의 위쪽, 아래쪽, 왼쪽, 오른쪽에 움직임 탐색 영역들이 설정된 경우, 제 1 움직임 정보 추정부(310)는 각 움직임 탐색 영역들의 위치에서 기준 영상(210)에 비해 타겟 영상(230)이 어느 정도 이동하였는지를 추정할 수 있다. 제 1 움직임 정보 추정부(310)는 이와 같은 네 개의 움직임 탐색 영역들에서의 움직임 정도를 분석하여 타겟 영상(230)의 회전 운동을 추정할 수 있다.
다시 도 3을 참조하면, 영상 분할부(320)는 입력 영상들(110) 즉, 기준 영상(210) 및 타겟 영상(230)을 각각 기준 타일 영상(212) 및 타겟 타일 영상(232)으로 분할할 수 있다. 영상 분할부(320)는 기준 영상(210)을 기준 영상(210)의 크기보다 작은 기준 타일 영상(212)으로 분할할 수 있고, 타겟 영상(230)을 타겟 영상(230)의 크기보다 작은 타겟 타일 영상(232)으로 분할할 수 있다. 특히, 입력 영상이 초고해상도의 영상인 경우, 이를 복수 개의 타일 영상으로 분할하여 멀티 코어를 이용한 병렬 처리를 수행할 수 있다.
영상 분할부(320)는 인접한 기준 타일 영상(212)들의 영역이 서로 오버랩(overlap)되도록 기준 타일 영상(212)의 크기를 설정하고, 설정한 기준 타일 영상(212)의 크기에 기초하여 기준 영상(210)을 분할할 수 있다. 또한, 타겟 영상(230)을 타겟 타일 영상(232)으로 분할하는 경우에도, 영상 분할부(320)는 타겟 타일 영상(232)들의 영역이 서로 오버랩되도록 타겟 타일 영상(232)의 크기를 설정하고, 설정한 타겟 타일 영상(232)의 크기에 기초하여 타겟 영상(230)을 분할할 수 있다. 영상 처리 장치(100)는 나중에 영상 처리된 타일 영상들을 결합할 때, 오버랩되는 영역을 블렌딩(blending) 처리하여 화질 열화의 발생을 방지할 수 있다.
영상 처리부(330)는 입력 영상의 크기보다 작은 타일 영상 기반의 영상 처리를 수행할 수 있다. 구체적으로, 영상 처리부(330)는 기준 타일 영상(212)의 계층적 영상 구조 및 타겟 타일 영상(232)의 계층적 영상 구조에 대하여, 타일 영상별로 추정된 움직임 정도에 기초하여 타일 영상에 노이즈 제거, 디테일 향상 또는 대비 향상과 같은 영상 처리를 수행할 수 있다. 이때, 기준 타일 영상(212)과 타겟 타일 영상(232)에서 서로 대응되는 계층적 영상 구조에 대하여, 가장 상위 레벨에서부터 가장 하위 레벨까지 일련의 영상 처리를 수행하며, 어느 레벨에서의 영상 처리 결과를 다음 하위 레벨의 영상 처리에 이용할 수 있다. 타일 영상 기반의 영상 처리에는 도 2에서 살펴본 바와 같은 타일 영상보다 작은 단위의 블록 영역과 픽셀들을 이용할 수 있다.
계층적 영상 구조 생성부(332)는 기준 타일 영상(212)과 타겟 타일 영상(232)에 대한 계층적 영상 구조를 생성할 수 있다. 예를 들어, 계층적 영상 구조는 가우시안 피라미드(Gaussian pyramid) 또는 라플라시안 피라미드(Laplacian pyramid) 등이 될 수 있고, 계산량 절감을 위해 가우시안 피라미드를 이용하는 것이 바람직하다. 영상 처리부(330)는 계층적 영상 구조 생성부(332)에서 생성한 기준 타일 영상(212)의 계층적 영상 구조와 타겟 타일 영상(232)의 계층적 영상 구조에 기초하여 일련의 영상 처리를 수행함으로써, 신속하고 안정적인 영상 처리를 수행할 수 있다.
설명의 편의상, 이하, 타일 영상에 대한 계층적 영상 구조가 3 단계의 계층적 영상 구조를 가지는 가우시안 피라미드인 경우라고 전제한다. 가우시안 피라미드의 경우, 가장 상위 레벨의 영상이 가장 해상도가 낮고, 가장 하위 레벨의 영상이 가장 해상도가 높으며, 각 레벨마다 서로 다른 해상도를 가지는 계층적 영상 구조이다. 예를 들어, 3 단계의 가우시안 피라미드의 경우, 가장 하위 레벨의 영상의 크기가 H X W일때, 중간 레벨의 영상의 크기는 H/2 X W/2이고, 가장 상위 레벨의 영상의 크기는 H/4 X W/4이다.
계층적 영상 구조 생성부(332)는 기준 타일 영상(212)과 타겟 타일 영상(232)에 대하여, 기준 타일 영상(212) 또는 타겟 타일 영상(232)을 구성하고 있는 각각의 영상 채널별로 계층적 영상 구조를 생성할 수 있다. 이와 관련하여, 도 5를 참조하여 이하 상세히 설명한다.
도 5는 영상 채널 별로 생성된 계층적 영상 구조의 일 실시예를 도시한 도면이다. 계층적 영상 구조 생성부(332)는 기준 타일 영상(212) 및 타겟 타일 영상(232)을 구성하고 있는 영상 채널별로 계층적 영상 구조를 생성할 수 있다. 계층적 영상 구조 생성부(332)는 RGB 칼라, YCbCr 칼라, La*b* 칼라 등 다양한 칼라 채널별로 계층적 영상 구조를 생성할 수 있다. 예를 들어, 기준 타일 영상(212) 및 타겟 타일 영상(232)이 YCbCr의 색공간을 가지고 있는 경우, 도 5에 도시된 바와 같이, 기준 타일 영상(212)은 Y 채널의 계층적 영상 구조(510), Cb 채널의 계층적 영상 구조(520), Cr 채널의 계층적 영상 구조(530)를 가질 수 있고, 타겟 타일 영상(232)도 Y 채널의 계층적 영상 구조(540), Cb 채널의 계층적 영상 구조(550), Cr 채널의 계층적 영상 구조(560)를 가질 수 있다.
영상 처리부(330)는 어느 하나의 영상 채널에 대한 영상 처리 결과를 나머지 영상 채널의 영상 처리에 적용할 수 있다. 예를 들어, 영상 처리부(330)는 Y 채널의 계층적 영상 구조(510,540)에서의 영상 처리 결과를 Cb 채널의 계층적 영상 구조(520, 550)에서의 영상 처리에 적용할 수 있다. 만약 기준 타일 영상(212) 및 타겟 타일 영상(232)이 YCbCr444 형식이라면, 영상 처리부(330)는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 Cb 채널 및 Cr 채널의 영상 처리 과정에 그대로 적용할 수 있다. 기준 타일 영상(212) 및 타겟 타일 영상(232)이 YCbCr422 형식인 경우, 영상 처리부(330)는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 조절하여 Cb 채널 및 Cr 채널의 영상 처리 과정에 적용할 수 있다. 예를 들어, 휘도 채널(Y 채널)의 영상 크기가 (가로 H, 세로 W)이고, 크로마(chroma) 채널(Cb 채널, Cr 채널)의 영상 크기가 (가로 H, 세로 W/2)인 경우, 영상 처리 장치(100)는 휘도 채널의 영상 처리 과정에서 도출된 움직임의 크기 중 가로 방향의 움직임의 크기는 크로마 채널에 그대로 적용하고, 세로 방향의 움직임의 크기는 절반으로 줄여 크로마 채널에 적용할 수 있다.
다시 도 3을 참조하면, 계층적 영상 결정부(334)는 상위 레벨의 영상에서 하위 레벨의 영상까지의 계층적 영상 구조를 이루는 각 레벨의 영상들에 있어서, 현재 레벨의 계층적 영상 정보를 이전 레벨의 영상 처리 결과를 반영하여 결정할 수 있다. 가장 상위 레벨의 경우, 이전 레벨이 없기 때문에 가장 상위 레벨의 계층적 영상 정보가 그대로 사용될 수 있다. 가장 상위 레벨이 아닌 경우, 현재 레벨의 계층적 영상 정보에 이전 상위 레벨에서 영상 처리된 결과 영상 정보와 영상 처리 전 계층적 영상 정보 간의 차분 영상을 현재 레벨 방향으로 투영시켜 반영함으로써, 현재 레벨의 새로운 계층적 영상 정보를 결정할 수 있다.
제 2 움직임 정보 결정부(336)는 기준 타일 영상(212)에 대한 타겟 타일 영상(232)의 움직임 정도를 나타내는 제 2 움직임 정보를 결정할 수 있다. 제 2 움직임 정보 결정부(336)는 기준 타일 영상(212)에 대한 계층적 영상 구조와 타겟 타일 영상(232)에 대한 계층적 영상 구조에서, 같은 레벨의 영상들에 대하여 제 2 움직임 정보를 추정하거나 갱신할 수 있다. 예를 들어, 제 2 움직임 정보 결정부(336)는 계층적 영상 구조에서 각 레벨의 영상들에 대하여, 제 1 움직임 정보 추정부(310)가 제 1 움직임 정보를 추정하기 위해 수행했던 방법과 유사한 방법을 이용하여 제 2 움직임 정보를 추정할 수 있다. 또 다른 예로, 제 2 움직임 정보 결정부(336)는 가장 상위 레벨의 영상들에 대해서만, 제 1 움직임 정보 추정부(310)가 제 1 움직임 정보를 추정하기 위해 수행했던 방법과 유사한 방법을 이용하여 제 2 움직임 정보를 추정하고, 가장 상위 레벨이 아닌 영상들에 대하여는, 이전 레벨의 제 2 움직임 정보를 이용하여, 현재 레벨에서의 제 2 움직임 정보를 간단히 갱신할 수도 있다.
기준 타일 영상(212)과 타겟 타일 영상(232) 각각에 대한 계층적 영상 구조에서, 같은 레벨의 영상들에 대하여, 제 2 움직임 정보 결정부(336)는 기준 타일 영상(212)의 컬럼 별 누적 픽셀 값들을 이어 생성한 수평 방향의 누적 영상 1D 커브와 타겟 타일 영상(232)의 컬럼 별 누적 픽셀 값들을 이어 생성한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 타일 영상(212)의 로우 별 누적 픽셀 값들을 이어 생성한 수직 방향의 누적 영상 1D 커브와 타겟 타일 영상(232)의 로우 별 누적 픽셀 값들을 이어 생성한 수직 방향의 누적 영상 1D 커브 간의 패턴을 다시 비교하여 제 2 움직임 정보를 추정할 수 있다. 다만, 제 2 움직임 정보 결정부(336)는 제 1 움직임 정보 추정부(310)에서 추정한 제 1 움직임 정보를 기본 정보로 사용하여, 각 타일 영상의 움직임 정도를 추정하기 위한 초기치로 이용할 수 있다. 즉, 제 1 움직임 정보로부터 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 이에 따라 타겟 타일 영상(232)에서의 탐색 영역을 줄일 수 있고, 보다 정확하게 움직임을 추정할 수 있다.
도 6은 제 2 움직임 정보를 추정하는 일 실시예를 도시한 도면이다. 도 6에는 영상 처리 장치(100)의 제 2 움직임 정보 결정부(336)가 기준 타일 영상(212) 및 타겟 타일 영상(232)에 대한 각각의 계층적 영상 구조에서 같은 레벨의 영상에 대하여, 기준 타일 영상(212)과 타겟 타일 영상(232)의 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 타일 영상(212)과 타겟 타일 영상(232)의 수직 방향의 누적 영상 1D 커브 간의 패턴을 비교하여, 제 2 움직임 정보를 추정하는 일 실시예가 도시되어 있다.
도 6의 (a)는 수평 방향에 대한 기준 타일 영상(212)의 누적 영상 1D 커브(610)와 타겟 타일 영상(232)의 누적 영상 1D 커브(620)가 도시되어 있다. 제 2 움직임 정보 결정부(336)는 기준 타일 영상(212)의 누적 영상 1D 커브(610)를 중심으로 일정한 탐색 영역(630)을 설정할 수 있다. 이 때, 제 2 움직임 정보 결정부(336)는 제 1 움직임 정보에서 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 예를 들어, 제 2 움직임 정보 결정부(336)가 수평 방향의 움직임을 추정하는 경우, 제 1 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(640)에 기초하여 탐색 영역(630)의 중심 위치(650)를 설정할 수 있다. 제 2 움직임 정보 결정부(336)는 탐색 영역(630)에서 기준 타일 영상(212)의 누적 영상 1D 커브(610)와 타겟 타일 영상(232)의 누적 영상 1D 커브(620) 간의 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 움직임의 크기(dMx)(645)를 추정할 수 있다.
도 6의 (b)에서, 제 2 움직임 정보 결정부(336)는 수직 방향에 대한 기준 타일 영상(212)의 누적 영상 1D 커브(660)와 타겟 타일 영상(232)의 누적 영상 1D 커브(670)에 대해서도 제 1 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(685)에 기초하여 탐색 영역(680)의 중심 위치(695)를 설정하고, 탐색 영역(680)에서 수직 방향에 대한 기준 타일 영상(212)의 누적 영상 1D 커브(660)와 타겟 타일 영상(232)의 누적 영상 1D 커브(670) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(dMy)(690)를 추정할 수 있다.
제 2 움직임 정보 결정부(336)는 제 1 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(640), 제 1 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(685), 수평 방향에 대한 움직임의 크기(dMx)(645) 및 수직 방향에 대한 움직임의 크기(dMy)(690)에 기초하여 제 2 움직임 정보를 추정할 수 있다. 예를 들어, 제 2 움직임 정보에 포함된 수평 방향 및 수직 방향에 대한 최종적인 움직임의 크기(MX, MY)는 다음의 수학식과 같이 나타낼 수 있다.
Figure pat00001
Figure pat00002
다시 도 3을 참조하면, 블록 영역 설정부(338)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 내의 국소적(local)인 움직임을 처리하기 위해 기준 타일 영상(212)에 더 작은 크기의 블록 영역들을 설정할 수 있다. 예를 들어, 블록 영역 설정부(338)는 기준 타일 영상(212)을 8 X 8 또는 25 X 25 등의 크기의 블록 영역들로 분할할 수 있다. 이때, 한 블록 영역은 복수 개의 픽셀들의 집합에 해당되며, 예를 들어, 32 X 32 픽셀들이 될 수 있다. 블록 영역 설정부(338)는 기준 타일 영상(212)에 대한 계층적 영상 구조에서 각 레벨의 영상에 대해 블록 영역들을 설정할 수 있다.
블록 영역 탐색부(340)는 기준 타일 영상(212)의 블록 영역에 매칭되는 타겟 타일 영상(232)의 블록 영역을 탐색할 수 있다. 블록 영역 탐색부(340)는 제 2 움직임 정보에 기초하여 설정된 탐색 영역에서, 기준 타일 영상(212)의 블록 영역의 패턴과 매칭되는 패턴을 가지는 블록 영역을 탐색할 수 있다. 이 경우, 블록 영역 탐색부(340)는 제 2 움직임 정보 결정부(336)에 의해 추정된 제 2 움직임 정보 또는 이전 레벨의 제 2 움직임 정보를 이용하여 갱신한 제 2 움직임 정보에 기초하여 탐색 영역을 설정할 수 있고, 설정된 탐색 영역에서, 기준 타일 영상(212)의 블록 영역의 패턴과 매칭되는 패턴을 가지는 블록 영역을 탐색할 수 있다. 또한, 기준 타일 영상(212)의 블록 영역에 대한 타겟 타일 영상(232)의 블록 영역의 움직임 정도를 나타내는 제3 움직임 정보를 이용하여 서로 매칭되는 블록 영역을 설정할 수 있다.
예를 들어, 블록 영역 탐색부(340)는 제 2 움직임 정보에 포함된 움직임의 크기에 제3 움직임 정보에 포함된 움직임의 크기를 합산한 결과에 기초하여 타겟 타일 영상(232)에서의 탐색 영역을 설정할 수 있다. 블록 영역 탐색부(340)는 합산 결과가 적용된 타겟 타일 영상(232)에서의 위치를 중심 위치로 설정하여 제한된 탐색 영역 내에서 매칭되는 블록 영역을 탐색할 수 있다.
블록 영역 탐색부(340)는 매칭되는 블록 영역을 탐색하기 위해 SSD(sum of squared difference), SAD(sum of absolute differenece) 등의 다양한 영상 블록 기반의 유사도 판별자를 이용할 수 있다. 이때, 영상의 밝기 정보 뿐만 아니라 색채 정보까지 활용하여 유사도 판별의 정확성을 높일 수 있다. 블록 영역 탐색부(340)는 유사도 판별자를 이용하여 유사도를 최대화하거나 또는 최소화하는 위치를 결정할 수 있다. 또한, 블록 영역 탐색부(340)는 기준 타일 영상(212)과 타겟 타일 영상(232) 간의 가림(occlusion) 또는 출현(unocclusion)에 의해 매칭되는 블록 영역이 없을 경우를 판단하기 위해 값이 고정되거나 가변적인 문턱치(threshold value)를 이용할 수 있다. 즉, 블록 영역 탐색부(340)는 문턱치와 유사도 판별자의 값을 비교하여 매칭되는 블록 영역이 없는지 판단할 수 있다.
타겟 타일 영상(232)에서의 탐색 과정이 종료되면, 기준 타일 영상(212)의 각 블록 영역에 대해 입력된 타겟 영상(230)의 개수 만큼의 매칭되는 블록 영역이 탐색될 수 있다. 블록 영역 탐색부(340)가 문턱치와 유사도 판별자를 이용하는 경우에는, 입력된 타겟 영상(230)의 개수에 상관없이 블록 영역들이 탐색될 수 있다. 예를 들어, 블록 영역 탐색부(340)가 유사도가 문턱치보다 큰 경우에 매칭되는 블록 영역으로 식별한다면, 하나의 타겟 영상(230)에 복수 개의 매칭되는 블록 영역이 존재하거나 또는 매칭되는 블록 영역이 존재하지 않을 수 있다.
도 7은 기준 타일 영상의 블록 영역 설정과 기준 타일 영상의 블록 영역에 매칭되는 타겟 타일 영상의 블록 영역을 탐색하는 일 실시예를 도시한 것이다.
블록 영역 설정부(338)는 기준 타일 영상(710)을 복수 개의 블록 영역들로 분할하고, 그 중 어느 하나의 블록 영역(730)을 설정할 수 있다. 블록 영역(730)의 설정은 분할된 블록 영역들에서 순차적으로 수행될 수 있다.
블록 영역 탐색부(340)는 기준 타일 영상(710) 내의 설정된 블록 영역(730)에 매칭되는 타겟 타일 영상(720)의 블록 영역을 탐색할 수 있다. 블록 영역 탐색부(340)는 제 2 움직임 정보에 포함된 움직임의 크기(740)를 적용하고, 특정 블록 영역의 제3 움직임 정보의 초기치(750)를 적용하여 탐색 영역(770)의 중심 위치(760)를 설정할 수 있다. 제3 움직임 정보의 초기치(750)는 계층적 영상 구조의 각 레벨에서의 처리 결과에 기초할 수 있다. 블록 영역 탐색부(340)는 탐색 영역(770) 내에서 가장 큰 유사도를 가지는 위치(790)를 식별하여 중심 위치(760)로부터의 변위량(780)을 계산할 수 있다. 따라서, 새롭게 추정되는 제3 움직임 정보는 제3 움직임 정보의 초기치(750)와 변위량(780)에 기초하여 결정될 수 있다.
예를 들어, 제3 움직임 정보의 초기치(750)가 (Lx', Ly')이고, 중심 위치(1060)로부터의 변위량(780)을 (dLx, dLy)라고 한다면 새롭게 추정되는 제3 움직임 정보(Lx, Ly)는 (Lx'+ dLx, Ly'+ dLy)에 대응될 수 있다.
다시 도3을 참조하면, 블록 영역 처리부(342)는 기준 타일 영상(212)의 블록 영역들의 픽셀 값들 및 타겟 타일 영상(232)에서 탐색된 블록 영역들의 픽셀 값들을 이용하여 타일 영상에 대한 영상 처리를 수행할 수 있다. 블록 영역 처리부(342)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 간의 매칭되는 블록 영역들의 픽셀 값들을 이용하여 노이즈 제거, 디테일 향상 또는 대비 향상 등의 영상 처리를 수행할 수 있다.
예를 들어, 블록 영역 처리부(342)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 간의 매칭되는 블록 영역들의 픽셀 값들의 유사도에 기초하여 기준 타일 영상(212)의 모든 블록 영역들에 대하여 영상 처리를 반복적으로 수행할 수 있다. 이때, 블록 영역 기반의 제 3 움직임 정보 추정 작업도 함께 수행될 수 있다.
블록 영역 처리부(342)에서 기준 타일 영상(212)의 모든 블록 영역들에 대해 영상 처리가 완료되었다면, 계층적 영상 구조에서 현재 영상 처리가 완료된 계층적 영상의 레벨을 체크하여 현재 레벨이 가장 하위 레벨인지 여부를 판단할 수 있다. 블록 영역 처리부(342)는 계층적 영상 구조의 레벨을 체크하여 현재 레벨이 가장 하위 레벨이라면, 다른 기준 타일 영상(212)에 대해 같은 방식으로 영상 처리를 반복적으로 수행할 수 있다. 블록 영역 처리부(342)는 계층적 영상 구조의 레벨을 체크하여 현재 레벨이 가장 하위 레벨이 아니라면, 레벨이 한 단계 낮은 계층적 영상에 대하여, 이전 레벨에서 수행된 영상 처리 방식으로 현재 레벨의 영상 처리를 할 수 있다. 블록 영역 처리부(342)는 이전 레벨에서 수행된 영상 처리의 결과인 제 2 움직임 정보 및 제3 움직임 정보를 현재 레벨의 영상 처리에 참조하여 현재 레벨의 영상에 대한 움직임 정보를 결정하기 위한 초기치로 이용할 수 있다. 이때, 계층적 영상 구조의 레벨을 한 단계 낮춘 현재 레벨의 계층적 영상에 대하여, 블록 영역 처리부(342)가 영상 처리를 수행하기 전에, 계층적 영상 결정부(334)는 계층적 영상 구조에서 이전 레벨에서 영상 처리된 결과 영상과 이전 레벨에서 영상 처리 전 영상 간의 차분 영상을 이전 레벨에서 현재 레벨로 투영시킨 것을 현재 레벨의 영상 처리 전 계층적 영상에 반영하여 현재 레벨의 새로운 계층적 영상을 결정할 수 있다. 다시 말해, 이전 레벨에서의 영상 처리에 따른 차분 영상을 현재 레벨의 영상 크기와 동일하게 되도록 업-스케일링(up-scaling) 작업을 수행한 후, 이를 현재 레벨의 영상과 합성함으로써, 영상 처리에 이용할 현재 레벨의 새로운 영상 정보를 결정할 수 있다. 이와 같이 계층적 영상 구조에 기초하는 경우, 차분 영상의 한 단계 하위 레벨로의 투영 다시 말해, 업-스케일링 작업 후에 차분 영상의 가로 크기 및 세로 크기가 각각 2배로 증가할 수 있다. 블록 영역 처리부(342)는 결정된 현재 레벨의 새로운 계층적 영상을 입력 영상으로 하여, 다시 일련의 움직임 추정과 영상 처리를 모든 블록 영역에 대하여 반복적으로 수행하고 현재 레벨의 결과 영상을 출력할 수 있다. 이때, 블록 영역 처리부(342)는 이전 레벨에서 도출된 움직임 정보의 크기를 두 배로 증가하여 현재 레벨의 움직임 정보를 추정하기 위한 초기치로 이용할 수 있다.
도 8은 기준 타일 영상의 블록 영역과 기준 타일 영상의 블록 영역에 매칭되는 타겟 타일 영상의 블록 영역을 이용하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.
기준 타일 영상(810) 및 복수 개의 타겟 영상들(820, 830)이 도시되어 있다. 또한, 기준 타일 영상(810)의 특정 블록 영역(840)에 매칭되는 타겟 영상들(820, 830)의 블록 영역들(850, 860)이 도시되어 있다. 블록 영역 처리부(342)는 기준 타일 영상(810) 및 타겟 타일 영상들(820, 830)간의 매칭되는 블록 영역들(840, 850, 860)의 픽셀 값들을 이용하여 노이즈 제거, 디테일 향상 또는 대비 향상 등의 영상 처리를 수행할 수 있다. 예를 들어, 블록 영역 처리부(342)는 기준 타일 영상(810) 및 타겟 타일 영상들(820, 830) 간의 매칭되는 블록 영역들의 픽셀 값들의 유사도에 기초하여, 기준 타일 영상(810)의 블록 영역(840)에 포함된 픽셀 값에 유사할수록 타겟 타일 영상들(820, 830)의 매칭되는 블록 영역들(850, 860)에 포함된 픽셀 값의 가중치를 높게 주는 방식으로, 가중치를 달리 적용하여 입력 영상들(110)에 포함되는 서로 대응되는 픽셀 값들의 대표값을 계산함으로써, 영상 처리된 픽셀 값들을 계산할 수 있다. 블록 영역 처리부(342)는 기준 타일 영상(810)의 모든 블록 영역들에 대하여 이와 같은 영상 처리를 반복적으로 수행함으로써, 영상의 노이즈를 제거할 수 있다.
이와 같이 픽셀 값들의 유사도에 기초하여 가중치를 달리 적용하여 픽셀 값을 계산하는 영상 처리 방식의 경우, 블록 영역 기반의 영상 처리 방식에 비해 큰 국부 움직임에 의해 발생하는 열화를 제거하는 성능이 뛰어나다. 즉, '0' 에서 '1' 사이의 어느 값을 가중치로 활용하여 자연스럽고 부드러운 고스트 열화 제거를 수행할 수 있다. 예를 들어, 시간축상 바이레터럴 필터(temporal bilateral filter)를 이용하여 그 구현이 가능하다. 픽셀 단위의 유사도 판정은 단일 픽셀에 대해서 하거나, 단일 픽셀에 이웃하는 인접 픽셀까지 포함한 영역에 대해, SAD 또는 SSD 등의 방식을 활용하여 수행할 수 있다. 이때, 영상의 밝기 정보 뿐만 아니라 색채 정보까지 활용하여 유사도 판별의 정확성을 높일 수 있다. 단일 픽셀에 이웃하는 인접 픽셀까지 포함한 영역을 기반으로 영상 처리를 하더라도 훨씬 많은 개수의 픽셀들을 갖는 블록 영역에 기반한 영상 처리 보다 고스트 열화가 제거될 가능성이 높다.
예를 들어, 촬영된 복수의 입력 영상들(110) 내에서 빠르게 움직이는 차량이 있는 경우, 움직임을 추정하는 탐색 범위를 넘는 큰 크기의 국부 움직임이어서 이에 의해 열화가 발생될 수 있는데, 픽셀 값들의 유사도에 기초하여 가중치를 달리 적용하여 픽셀 값을 계산하는 영상 처리 방식의 경우 이와 같은 열화 발생에 대해서도 효과적인 영상 처리가 가능하다.
다시 도3을 참조하면, 영상 결합부(350)는 영상 처리된 타일 영상들을 결합할 수 있다. 영상 결합부(350)는 영상 처리된 기준 타일 영상들을 결합하여 화질이 개선된 하나의 출력 영상(120)을 생성할 수 있다. 영상 결합부(350)는 영상 처리된 기준 타일 영상들 간의 오버랩되는 영역을 블렌딩하여 경계 부분에서의 화질 열화를 제거할 수 있다. 예를 들어, 영상 결합부(350)는 가중치 메모리 맵과 가중영상 메모리 맵의 두 개의 메모리 맵을 이용하여 경계 부분에서의 블렌딩을 수행할 수 있다.
도 3에 도시되진 않았지만, 영상 처리 장치(100)의 내부 또는 외부에 입력 영상들(110)을 전처리(pre-processing)하는 전처리부가 더 포함될 수 있다. 예를 들어, 기준 영상(210)과 타겟 영상(230)의 밝기가 다른 경우, 타겟 영상(230)의 밝기가 기준 영상(210)의 밝기에 매칭(matching)되도록 타겟 영상(230)의 밝기 변환을 수행할 수 있다. 전처리부는 기준 영상(210)과 타겟 영상(230)의 노출 정보에 기초하거나 또는 기준 영상(210)과 타겟 영상(230) 간의 밝기 분포 편차에 기초하여 타겟 영상(230)의 밝기 보정이 필요한지 여부를 판단하고, 타겟 영상(230)의 밝기 보정이 필요하다고 판단한 경우, 타겟 영상(230)의 밝기 분포가 기준 영상(210)의 밝기 분포에 유사하게 되도록 타겟 영상(230)에 밝기 변환 또는 밝기 보정을 수행할 수 있다. 즉, 히스토그램 매칭을 통해 도출된 기준 영상(210)과 타겟 영상(230) 간의 밝기 변환 관계를 이용하여 타겟 영상(230)의 밝기 변환을 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다. 이상에서, 영상 처리 장치(100)에 관하여 기술한 내용은 이하 생략된 내용이라 하더라도, 본 발명의 일 실시예에 따른 영상 처리 방법에도 그대로 적용될 수 있다.
영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230)을 포함하는 복수 개의 입력 영상들(110)간의 서로 대응되는 영역들을 파악한다.(S 910) 예를 들어, 영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230)을 각각 복수 개의 기준 타일 영상들과 복수 개의 타겟 타일 영상들로 분할하고, 기준 타일 영상들 각각의 위치를 고려하여 타겟 타일 영상들을 대응시킬 수 있다.
영상 처리 장치(100)는 입력 영상들(110)간 서로 대응되는 각 영역들에 대하여 해상도를 달리하는 복수 개의 계층적 영상들로 구성되는 계층적 영상 구조들을 생성한다.(S 920) 영상 처리 장치(100)는 입력 영상들(110)의 각 영역들을 구성하는 각각의 영상 채널별로 계층적 영상 구조들을 생성할 수 있다.
영상 처리 장치(100)는 서로 대응되는 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 계층적 영상들에 포함된 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행한다.(S 930) 구체적으로, 영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230)의 각 영역에 대하여 각각 생성된 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도에 따라, 타겟 영상(230)의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 달리 적용하여 반복적 영상 처리를 수행한다. 예를 들어, 영상 처리 장치(100)는 기준 영상(210)의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값과 기준 영상(210)의 각 영역에 대응되는 타겟 영상(230)의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 유사도가 높을수록, 타겟 영상(230)의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 높게 줌으로써, 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 반복적으로 구할 수 있다.
영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230)의 각 영역에 대하여 각각 생성된 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도의 판정에 기준 영상(210)과 타겟 영상(230)의 각 영역에 대하여 각각 생성된 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 밝기 정보 및 색채 정보를 이용할 수 있다.
영상 처리 장치(100)는 가장 상위 레벨에서부터 가장 하위 레벨까지 계층적 영상 구조들의 어느 레벨에서의 영상 처리 결과를 다음 하위 레벨의 영상 처리에 이용하여 반복적 영상 처리를 수행할 수 있다. 이때, 계층적 영상 구조는 가우시안 피라미드(Gaussian pyramid) 영상 구조일 수 있다.
영상 처리 장치(100)는 기준 영상(210)과 타겟 영상(230) 간의 제 1 움직임 정보에 기초하여 서로 대응되는 각 영역들 간의 제 2 움직임 정보를 추정하고, 이와 같은 제 2 움직임 정보에 기초하여 계층적 영상들에 포함된 서로 대응되는 픽셀을 탐색할 수 있다.
도 10을 참조하여 계층적 영상 구조들을 이용하여, 영상 처리를 수행하는 일 실시예의 동작을 부연 설명한다.
도 10은 입력 영상들간 서로 대응되는 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 반복적 영상 처리를 수행하는 일 실시예의 동작에 대한 상세 흐름도이다.
영상 처리 장치(100) 내의 영상 처리부(330)는 기준 타일 영상들과 이에 대응되는 타겟 타일 영상들에 대하여 각각 생성한 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도에 기초하여, 타겟 타일 영상들에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 달리 적용하여 기준 타일 영상들과 이에 대응되는 타겟 타일 영상들에 대하여 각각 생성된 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 반복적으로 구한다. 이때, 영상 처리부(330)는 계층적 영상 구조의 가장 상위 레벨에서부터 가장 하위 레벨까지 계층적 영상 구조들의 어느 레벨에서의 영상 처리 결과를 다음 하위 레벨의 영상 처리에 이용하여 반복적 영상 처리를 수행할 수 있다. 입력 영상들(110)간 서로 대응되는 영역 예를 들어, 기준 타일 영상(212)과 이에 대응되는 타겟 타일 영상(232)에서 반복적 영상 처리를 수행하는 과정을 이하 설명한다.
계층적 영상 결정부(334)는 계층적 영상 구조 생성부(332)에 의해 생성된 계층적 영상 구조에서 현재 레벨의 계층적 영상 정보를 결정할 수 있다.(S 1010) 계층적 영상 결정부(334)는 현재 레벨의 계층적 영상 정보를 이전 레벨의 영상 처리 결과를 반영하여 결정할 수 있다. 가장 상위 레벨의 경우, 이전 레벨이 없기 때문에 가장 상위 레벨의 계층적 영상 정보가 그대로 사용될 수 있다. 가장 상위 레벨이 아닌 경우, 현재 레벨의 계층적 영상 정보에 이전 상위 레벨에서 영상 처리된 결과 영상 정보와 영상 처리 전 계층적 영상 정보 간의 차분 영상을 현재 레벨 방향으로 투영시켜 반영함으로써, 현재 레벨의 새로운 계층적 영상 정보를 결정할 수 있다.
제 2 움직임 정부 결정부(336)는 기준 타일 영상(212)에 대한 타겟 타일 영상(232)의 움직임 정도를 나타내는 제 2 움직임 정보를 결정할 수 있다.(S 1020) 제 2 움직임 정보 결정부(336)는 기준 타일 영상(212)에 대한 계층적 영상 구조와 타겟 타일 영상(232)에 대한 계층적 영상 구조에서, 같은 레벨의 영상들에 대하여 제 2 움직임 정보를 추정하거나 갱신할 수 있다. 가장 상위 레벨의 영상들에 대하여는 제 2 움직임 정보를 추정하고, 가장 상위 레벨이 아닌 영상들에 대하여는, 이전 레벨의 제 2 움직임 정보를 이용하여, 현재 레벨에서의 제 2 움직임 정보를 간단히 갱신할 수 있다.
블록 영역 탐색부(340)는 블록 영역 설정부(338)에 의해 설정된 기준 타일 영상(212)의 블록 영역에 매칭되는 타겟 타일 영상(232)의 블록 영역을 탐색할 수 있다.(S 1030) 블록 영역 설정부(338)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 내의 국소적(local)인 움직임을 처리하기 위해 기준 타일 영상(212)에 더 작은 크기의 블록 영역들을 설정할 수 있다. 블록 영역 설정부(338)는 기준 타일 영상(212)에 대한 계층적 영상 구조에서 각 레벨의 계층적 영상에 대해 블록 영역들을 설정할 수 있다. 블록 영역 탐색부(340)는 제 2 움직임 정보에 기초하여 설정된 탐색 영역에서, 기준 타일 영상(212)의 블록 영역의 패턴과 매칭되는 패턴을 가지는 블록 영역을 탐색할 수 있다. 타겟 타일 영상(232)에서의 탐색 과정이 종료되면, 기준 타일 영상(212)의 각 블록 영역에 대해 입력된 타겟 영상(230)의 개수 만큼의 매칭되는 블록 영역이 탐색될 수 있다.
블록 영역 처리부(342)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 간의 매칭되는 블록 영역들의 픽셀 값들의 유사도에 기초하여 기준 타일 영상(212)의 모든 블록 영역들에 대하여 영상 처리를 반복적으로 수행할 수 있다.(S 1040) 예를 들어, 블록 영역 처리부(342)는 기준 타일 영상(212) 및 타겟 타일 영상(232) 간의 매칭되는 블록 영역들의 픽셀 값들을 이용하여 노이즈 제거, 디테일 향상 또는 대비 향상 등의 영상 처리를 수행할 수 있다. 블록 영역 처리부(342)는 기준 타일 영상(212)과 이에 대응되는 타겟 타일 영상(232)에 대하여 각각 생성된 계층적 영상 구조에서 현재 레벨의 계층적 영상에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 기준 타일 영상(212)의 현재 레벨의 계층적 영상에 포함되는 픽셀들의 값으로 하여 영상 처리를 수행할 수 있다.
블록 영역 처리부(342)는 기준 타일 영상(212) 내의 모든 블록 영역에 대해 영상 처리가 완료되었는지를 판단하여(S 1050), 완료되지 않은 경우에는 S 1030 단계로 진행되고, 완료된 경우에는 S 1060 단계로 진행한다.
블록 영역 처리부(342)는 기준 타일 영상(212)의 모든 블록 영역들에 대해 영상 처리가 완료되었다면, 계층적 영상 구조에서 현재 영상 처리가 완료된 계층적 영상의 레벨을 체크하여 현재 레벨이 가장 하위 레벨인지 여부를 판단할 수 있다.(S 1060) 블록 영역 처리부(342)는 계층적 영상 구조의 레벨을 체크하여 현재 레벨이 가장 하위 레벨이라면, 해당 기준 타일 영상(212)에 대한 영상 처리가 완료된 것으로 볼 수 있다. 반면, 현재 레벨이 가장 하위 레벨이 아니라면, 레벨을 한 단계 낮추고,(S 1070) 레벨이 한 단계 낮은 계층적 영상에 대하여, 이전 레벨에서 수행된 영상 처리 방식으로 현재 레벨의 영상 처리를 할 수 있다.
다시 도 9를 참조하면, 영상 처리 장치(100)는 반복적 영상 처리에 따른 픽셀 값들을 이용하여 출력 영상을 생성한다.(S 940) 영상 처리 장치(100)는 기준 타일 영상들과 이에 대응되는 타겟 타일 영상들에 대하여 각각 생성된 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 기준 타일 영상(212)들에 포함되는 픽셀들의 값으로 하여 영상 처리된 기준 타일 영상(212)들을 획득하고, 이를 결합시켜 출력 영상을 생성할 수 있다.
한편, 상술한 본 발명의 일실시예에 따른 영상 처리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 ... 영상 처리 장치
310 ... 제 1 움직임 정보 추정부
320 ... 영상 분할부
330 ... 영상 처리부
332 ... 계층적 영상 구조 생성부
334 ... 계층적 영상 결정부
336 ... 제 2 움직임 정보 결정부
338 ... 블록 영역 설정부
340 ... 블록 영역 탐색부
342 ... 블록 영역 처리부
350 ... 영상 결합부

Claims (20)

  1. 기준 영상과 타겟 영상을 포함하는 복수 개의 입력 영상들간의 서로 대응되는 영역들을 파악하는 단계;
    상기 입력 영상들간 서로 대응되는 각 영역들에 대하여 해상도를 달리하는 복수 개의 계층적 영상들로 구성되는 계층적 영상 구조들을 생성하는 단계;
    상기 서로 대응되는 상기 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행하는 단계; 및
    상기 반복적 영상 처리에 따른 픽셀 값들을 이용하여 출력 영상을 생성하는 단계를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    상기 기준 영상과 상기 타겟 영상의 각 영역에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도에 따라, 상기 타겟 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 달리 적용하여 반복적 영상 처리를 수행하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    상기 기준 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값과 상기 기준 영상의 각 영역에 대응되는 상기 타겟 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 유사도가 높을수록, 상기 가중치를 높게 줌으로써, 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 반복적으로 구하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    상기 유사도의 판정에 상기 기준 영상과 상기 타겟 영상의 각 영역에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 밝기 정보 및 색채 정보를 이용하는 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    가장 상위 레벨에서부터 가장 하위 레벨까지 상기 계층적 영상 구조들의 어느 레벨에서의 영상 처리 결과를 다음 하위 레벨의 영상 처리에 이용하여 반복적 영상 처리를 수행하는 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    상기 기준 영상과 상기 타겟 영상 간의 제 1 움직임 정보에 기초하여 상기 서로 대응되는 각 영역들 간의 제 2 움직임 정보를 추정하고, 상기 제 2 움직임 정보에 기초하여 상기 계층적 영상들에 포함된 서로 대응되는 픽셀을 탐색하는 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 생성된 계층적 영상 구조는 가우시안 피라미드(Gaussian pyramid) 영상 구조인 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 계층적 영상 구조들을 생성하는 단계는,
    상기 입력 영상들의 각 영역들을 구성하는 각각의 영상 채널별로 상기 계층적 영상 구조들을 생성하는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 입력 영상들간의 서로 대응되는 영역들을 파악하는 단계는,
    상기 기준 영상과 상기 타겟 영상을 각각 복수 개의 기준 타일 영상들과 복수 개의 타겟 타일 영상들로 분할하는 단계; 및
    상기 기준 타일 영상들 각각의 위치를 고려하여 상기 타겟 타일 영상들을 대응시키는 단계를 포함하는 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 반복적 영상 처리를 수행하는 단계는,
    상기 기준 타일 영상들과 상기 대응되는 타겟 타일 영상들에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도에 기초하여, 상기 타겟 타일 영상들에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 달리 적용하여 상기 기준 타일 영상들과 상기 대응되는 타겟 타일 영상들에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 반복적으로 구하는 영상 처리 방법.
  11. 제 10 항에 있어서,
    상기 출력 영상을 생성하는 단계는,
    상기 기준 타일 영상들과 상기 대응되는 타겟 타일 영상들에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 상기 기준 타일 영상들에 포함되는 픽셀들의 값으로 하여 영상 처리된 상기 기준 타일 영상들을 획득하는 단계; 및
    상기 획득한 기준 타일 영상들을 결합하는 단계를 포함하는 영상 처리 방법.
  12. 제 1 항 내지 제 11 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  13. 기준 영상과 타겟 영상을 포함하는 복수 개의 입력 영상들간의 서로 대응되는 영역들을 파악하는 영상 분할부;
    상기 입력 영상들간 서로 대응되는 각 영역들에 대하여 해상도를 달리하는 복수 개의 계층적 영상들로 구성되는 계층적 영상 구조들을 생성하고, 상기 서로 대응되는 상기 각 영역들에 대하여 생성된 계층적 영상 구조들을 이용하여, 같은 레벨의 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 유사도에 기초한 반복적 영상 처리를 수행하는 영상 처리부; 및
    상기 반복적 영상 처리에 따른 픽셀 값들을 이용하여 출력 영상을 생성하는 영상 결합부를 포함하는 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 영상 처리부는,
    상기 기준 영상과 상기 타겟 영상의 각 영역에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값 간의 유사도에 따라, 상기 타겟 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 가중치를 달리 적용하여 반복적 영상 처리를 수행하는 영상 처리 장치.
  15. 제 14 항에 있어서,
    상기 영상 처리부는,
    상기 기준 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값과 상기 기준 영상의 각 영역에 대응되는 상기 타겟 영상의 각 영역에 대하여 생성된 계층적 영상들에 포함된 픽셀 값의 유사도가 높을수록, 상기 가중치를 높게 줌으로써, 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 가중평균(weighted average)을 반복적으로 구하는 영상 처리 장치.
  16. 제 13 항에 있어서,
    상기 영상 처리부는,
    상기 유사도의 판정에 상기 기준 영상과 상기 타겟 영상의 각 영역에 대하여 각각 생성된 상기 계층적 영상들에 포함된 서로 대응되는 픽셀 값들의 밝기 정보 및 색채 정보를 이용하는 영상 처리 장치.
  17. 제 13 항에 있어서,
    상기 영상 처리부는,
    가장 상위 레벨에서부터 가장 하위 레벨까지 상기 계층적 영상 구조들의 어느 레벨에서의 영상 처리 결과를 다음 하위 레벨의 영상 처리에 이용하여 반복적 영상 처리를 수행하는 영상 처리 장치.
  18. 제 13 항에 있어서,
    상기 영상 처리 장치는 상기 기준 영상과 상기 타겟 영상 간의 제 1 움직임 정보를 추정하는 제 1 움직임 정보 추정부를 더 포함하고,
    상기 영상 처리부는 상기 제 1 움직임 정보에 기초하여 상기 서로 대응되는 각 영역들 간의 제 2 움직임 정보를 추정하고, 상기 제 2 움직임 정보에 기초하여 상기 계층적 영상들에 포함된 서로 대응되는 픽셀을 탐색하는 영상 처리 장치.
  19. 제 13 항에 있어서,
    상기 생성된 계층적 영상 구조는 가우시안 피라미드(Gaussian pyramid) 영상 구조인 영상 처리 장치.
  20. 제 13 항에 있어서,
    상기 영상 처리부는 상기 입력 영상들의 각 영역들을 구성하는 각각의 영상 채널별로 상기 계층적 영상 구조들을 생성하는 영상 처리 장치.
KR1020130063115A 2013-05-31 2013-05-31 영상 처리 방법 및 장치 KR101811718B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130063115A KR101811718B1 (ko) 2013-05-31 2013-05-31 영상 처리 방법 및 장치
US14/273,094 US9679223B2 (en) 2013-05-31 2014-05-08 Image processing method and apparatus
EP14170599.6A EP2811457B1 (en) 2013-05-31 2014-05-30 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130063115A KR101811718B1 (ko) 2013-05-31 2013-05-31 영상 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140141392A true KR20140141392A (ko) 2014-12-10
KR101811718B1 KR101811718B1 (ko) 2018-01-25

Family

ID=50846830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130063115A KR101811718B1 (ko) 2013-05-31 2013-05-31 영상 처리 방법 및 장치

Country Status (3)

Country Link
US (1) US9679223B2 (ko)
EP (1) EP2811457B1 (ko)
KR (1) KR101811718B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101684990B1 (ko) 2015-08-04 2016-12-12 청주대학교 산학협력단 양방향 필터의 시그마 변수를 이용한 차량 영상 디블러 방법
WO2018021850A1 (ko) * 2016-07-28 2018-02-01 삼성전자 주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
US10269099B2 (en) 2014-10-16 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for image processing
WO2021251652A1 (ko) * 2020-06-07 2021-12-16 주식회사 플로이드 영상 분석 장치 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959309B (zh) * 2011-10-03 2017-09-12 惠普发展公司，有限责任合伙企业 用于伪造品确定的区域选择
US9530071B2 (en) * 2014-10-10 2016-12-27 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
US9626733B2 (en) * 2014-11-24 2017-04-18 Industrial Technology Research Institute Data-processing apparatus and operation method thereof
JP7128203B2 (ja) * 2017-04-14 2022-08-30 ヴェンタナ メディカル システムズ， インク． スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
US10965894B2 (en) * 2017-11-20 2021-03-30 Flir Commercial Systems, Inc. Short wave infrared image sensor with automatic exposure and dynamic range control
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11210551B2 (en) * 2019-07-29 2021-12-28 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Iterative multi-directional image search supporting large template matching
CN117237684B (zh) * 2023-11-13 2024-01-16 人工智能与数字经济广东省实验室(深圳) 一种像素级别的区域匹配方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560371B1 (en) 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6563549B1 (en) 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
EP1018841A4 (en) 1998-07-22 2002-01-30 Mitsubishi Electric Corp IMAGE CODING SYSTEM
KR100526397B1 (ko) 2003-01-29 2005-11-15 주식회사 일리시스 글로벌 영상 모자이크 방법
WO2005086984A2 (en) * 2004-03-15 2005-09-22 Sarnoff Corporation Method and apparatus for providing noise reduction
KR101810876B1 (ko) 2012-03-13 2018-01-26 삼성전자주식회사 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269099B2 (en) 2014-10-16 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for image processing
KR101684990B1 (ko) 2015-08-04 2016-12-12 청주대학교 산학협력단 양방향 필터의 시그마 변수를 이용한 차량 영상 디블러 방법
WO2018021850A1 (ko) * 2016-07-28 2018-02-01 삼성전자 주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
US10854010B2 (en) 2016-07-28 2020-12-01 Samsung Electronics Co., Ltd. Method and device for processing image, and recording medium
WO2021251652A1 (ko) * 2020-06-07 2021-12-16 주식회사 플로이드 영상 분석 장치 및 방법

Also Published As

Publication number Publication date
EP2811457A1 (en) 2014-12-10
US20140355892A1 (en) 2014-12-04
EP2811457B1 (en) 2016-09-21
US9679223B2 (en) 2017-06-13
KR101811718B1 (ko) 2018-01-25

Similar Documents

Publication Publication Date Title
KR101811718B1 (ko) 영상 처리 방법 및 장치
US10453204B2 (en) Image alignment for burst mode images
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
US8773548B2 (en) Image selection device and image selecting method
US10269099B2 (en) Method and apparatus for image processing
US9202263B2 (en) System and method for spatio video image enhancement
US9508153B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method, and program
US8687846B2 (en) Image processing apparatus, image processing method and computer readable information recording medium
WO2013145589A1 (ja) 画像処理装置、撮像装置および画像処理方法
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
KR20100107594A (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
KR20090062049A (ko) 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
KR101870700B1 (ko) 3차원 복원을 위한 핸드헬드 비디오로부터 고속 키 프레임 추출 방법
KR20210133472A (ko) 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
US10757318B2 (en) Determination of a contrast value for a digital image
KR102003671B1 (ko) 영상 처리 방법 및 장치
JP4831084B2 (ja) 対応点探索装置
JP2021047710A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
KR101652116B1 (ko) 피사체 영역 및 움직임 검출 장치 및 방법
JP5853369B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016163130A (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
CN113807124A (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130531

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160705

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130531

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170421

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20171025

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170421

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20171025

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170621

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20171211

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20171122

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20171025

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170621

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171218

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171219

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201127

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230929