KR101550665B1 - 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 - Google Patents

최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 Download PDF

Info

Publication number
KR101550665B1
KR101550665B1 KR1020140036362A KR20140036362A KR101550665B1 KR 101550665 B1 KR101550665 B1 KR 101550665B1 KR 1020140036362 A KR1020140036362 A KR 1020140036362A KR 20140036362 A KR20140036362 A KR 20140036362A KR 101550665 B1 KR101550665 B1 KR 101550665B1
Authority
KR
South Korea
Prior art keywords
image
block matching
images
layers
hierarchical block
Prior art date
Application number
KR1020140036362A
Other languages
English (en)
Inventor
제창수
박형민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020140036362A priority Critical patent/KR101550665B1/ko
Application granted granted Critical
Publication of KR101550665B1 publication Critical patent/KR101550665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 최적 계층적 블록 매칭(optimized hierarchical block matching, OHBM) 방법 및 시스템은, 계층적 블록 매칭에서, 계산량(computational cost)과 정확도(accuracy)를 최적화하도록 영상 피라미드(image pyramid)의 레이어 수(number of layers)와 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하여 계층적 블록 매칭을 수행하는 것을 특징으로 한다. 또한 본 발명에 따른 최적 계층적 블록 매칭 방법 및 시스템은 정확도를 향상시키기 위하여 두 입력 영상의 각 채널의 평균과 표준편차를 이용하여 두 입력 영상 간의 컬러 차이를 고속으로 보정하는 컬러 보정(color alignment, CA) 단계(혹은 컬러 보정부)를 더 포함하기도 한다. 또한 본 발명에 따른 영상 정합(image registration) 방법은, 두 영상에 대해 상기 최적 계층적 블록 매칭 방법 또는 시스템을 이용하여 최적 계층적 블록 매칭을 수행하고, 그 결과를 이용하여 소정의 기하 모델(geometric transformation model)에 기반을 둔 하나 이상의 기하 변환 파라미터를 추정하고, 상기 추정된 기하 변환 파라미터를 이용하여 두 입력 영상 중 하나 이상을 기하 변환하는 것을 특징으로 한다. 또한 본 발명에 따른 최적 계층적 블록 매칭을 이용한 영상 압축 방법은 영상 프레임 간 또는 스테레오스코픽 3D(stereoscopic 3D, S3D) 영상이나 다시점 3D(multiview 3D) 영상의 경우에는 좌우 영상 간 혹은 서로 다른 시점(viewpoint)의 영상 간 모션 보정을 위한 모션 추정의 속도를 획기적으로 향상시키기 위하여 상기 최적 계층적 블록 매칭 방법 또는 시스템을 이용하는 것을 특징으로 한다.

Description

최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법{Methods and Systems of Optimized Hierarchical Block Matching, Methods of Image Registration and Video Compression Based on Optimized Hierarchical Block Matching}
본 발명은 계층적 블록 매칭(hierarchical block matching; 'HBM') 방법 및 시스템, 이를 이용한 영상 정합(image registration) 방법과 영상 압축(video compression) 방법에 관한 것으로서, 더욱 구체적으로는, 계층적 블록 매칭에서, 계산량(computational cost)과 정확도(accuracy)를 최적화하도록 영상 피라미드(image pyramid)의 레이어 수(number of layers)와 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하여 계층적 블록 매칭을 수행하는 최적 계층적 블록 매칭(optimized hierarchical block matching; 'OHBM') 방법 및 시스템과, 상기 최적 계층적 블록 매칭 방법 또는 시스템을 이용한 영상 정합 방법과 영상 압축 방법에 관한 것이다.
영상 정합(image registration) 기술은 파노라마 영상 모자이크(panoramic image mosaics), 3차원 모델링(3D modeling), 원격 탐지(remote sensing), 영상 번짐 제거(image deblurring), 영상 해상도 향상(image resolution enhancement), 영상 압축(video compression or image compression) 등의 다양한 분야에 적용 가능하며, 영상 정합의 정확도 및 속도는 해당 응용 분야에서 중요한 요소로 작용하는 경우가 많다. 영상 정합을 구성하는 여러 과정들 중에서도, 특징 매칭(feature matching)은 영상 정합의 정확도 및 속도를 결정짓는 데 특히 중요한 과정이다. 특징 매칭 방법은 크게 영역 기반 방법(area-based methods)과 특징 기반 방법(feature-based methods)으로 나뉘며, 블록 매칭 방법(block matching; 'BM')은 대표적인 특징 매칭 방법으로서, 영역 기반 방법과 특징 기반 방법 모두에 적용이 가능하다.
한편 대부분의 영상 압축(video compression) 기술은 공간적 영상 압축(spatial image compression)과 시간적 모션 보정(temporal motion compensation)으로 구성되는데, 시간적 모션 보정을 위해 프레임 간 모션의 추정이 요구되며 블록 매칭 방법으로 이러한 프레임 간 모션의 추정이 가능하다.
계층적 블록 매칭(hierarchical block matching; 'HBM')은 영상 정합 또는 영상 압축의 속도 또는 정확도를 향상시키기 위해 흔히 사용되는 기술로서, 주로 입력 영상으로부터 생성한 다수 해상도의 영상들로 구성되는 영상 피라미드를 이용한다. 주로 사용되는 영상 피라미드에는 가우시안(Gaussian) 피라미드, 라플라시안(Laplacian) 피라미드, 스티러블(steerable) 피라미드 등이 있다. 한편, 영상의 화질이나 조명의 변이 및 노이즈에 강건한 영상 정합 방법들이 제안되어 왔으며, 컬러 보정과 관련해서는, 다중 카메라나, 조명, 물체 및 카메라 간 보정을 위한 컬러 보정 방법들이 제안되어 왔다.
최근에는 카메라 해상도가 급격히 증가하여, 종래의 계층적 블록 매칭 방법들로도 계산 시간을 줄이는 데 한계가 있다. 따라서, 보다 고속으로 영상을 정합할 수 있는 방법이 요구되고 있으며, 노이즈나 번짐(blur)이 심한 영상에 대한 고속 및 고정확 영상 정합을 위한 보다 효과적인 컬러 보정 방법도 요구된다.
미국등록특허 US 5477272 호 한국등록특허공보 제 10-0859073호 한국등록특허공보 제 10-0914515호
전술한 문제점을 해결하기 위한 본 발명의 목적은 계층적 블록 매칭의 성능을 획기적으로 향상시키기 위해, 계층적 블록 매칭의 계산량과 정확도를 최적화하는 최적 계층적 블록 매칭 방법 및 시스템을 제공하는 데 있다.
본 발명의 다른 목적은, 노이즈나 번짐 등이 심한 영상에서도 블록 매칭의 정확도를 효과적으로 향상시킬 수 있는 컬러 보정 방법을 제안함으로써, 두 영상 사이의 컬러 불일치에 강인한 최적 계층적 블록 매칭 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 전술한 최적 계층적 블록 매칭 방법을 이용한 속도가 향상된 영상 정합 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 전술한 최적 계층적 블록 매칭 방법을 이용한 속도가 향상된 영상 압축 방법을 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징은 최적 계층적 블록 매칭 방법에 관한 것으로서, 상기 최적 계층적 블록 매칭 방법은, (a) 제1 영상 및 제2 영상에 대하여 사전 설정된 요구허용거리(required tolerance)에 따라 계산량을 최적화하도록 영상 피라미드의 레이어(layer) 수(계층 수)와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는 단계; (b) 상기 결정된 레이어 수와 단위 해상도 비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성하는 단계; (c) 상기 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 이 보다 상기 단위 해상도 비만큼 더 높은 해상도의 레이어 쌍으로 이동해가며 계층적 블록 매칭을 수행하는 단계;를 구비한다.
전술한 제1 특징에 따른 최적 계층적 블록 매칭 방법에 있어서, 상기 (b) 단계 이전에 상기 제1 및 제2 영상에 대한 컬러 차이를 보정하는 컬러 보정(color alignment) 단계를 더 구비하는 것이 바람직하고,
상기 컬러 보정 단계는, 제1 및 제2 영상에 대해 각 컬러 채널에 대해 광도(intensity)의 평균과 표준 편차를 계산하는 단계; 상기 계산된 평균과 표준 편차를 이용하여, 상기 제1 및 제2 영상의 컬러 분포(color distribution) 차이를 보정하는 컬러 분포 조정(color distribution adjustment) 단계;를 구비하는 것이 더욱 바람직하다.
전술한 제1 특징에 따른 최적 계층적 블록 매칭 방법에 있어서, 상기 (c) 단계는, (c1) 제1 및 제2 영상에 대한 영상 피라미드의 최저 해상도 레이어 쌍에서 초기 블록 매칭을 수행하는 단계; (c2) 상기 초기 블록 매칭을 통해 추정된 좌표를 이용하여 점차적으로 단위 해상도 비만큼 더 높은 해상도 레이어 쌍으로 이동해가며 최종적으로 최고 해상도 레이어 쌍까지 추정 좌표를 향상시키는 계층적 향상 단계;를 구비하는 것이 바람직하다.
전술한 제1 특징에 따른 최적 계층적 블록 매칭 방법에 있어서, 상기 (c) 단계 이전에, (e1) 제1 영상에 대한 영상 피라미드의 하나 이상의 레이어에서 하나 이상의 특징을 검출하는 단계; (e2) 제1 영상에 대한 영상 피라미드의 다른 모든 레이어에서, 상기 검출된 각 특징의 위치에 대응되는 위치를 계산하는 단계;를 구비하고,
상기 (e1) 단계는 제1 영상에 대한 영상 피라미드의 두 번째 고해상도 레이어에서 특징을 검출하는 것이 더욱 바람직하다.
전술한 제1 특징에 따른 최적 계층적 블록 매칭 방법에 있어서, 상기 (c) 단계 이전에, (f1) 제2 영상에 대한 영상 피라미드의 하나 이상의 레이어에서 하나 이상의 특징을 검출하는 단계; (f2) 제2 영상에 대한 영상 피라미드의 다른 모든 레이어에서, 상기 검출된 각 특징의 위치에 대응되는 위치를 계산하는 단계;를 구비하는 것이 바람직하다.
본 발명의 제2 특징에 따른 최적 계층적 블록 매칭 시스템은, (a) 제1 영상 및 제2 영상에 대하여 사전 설정된 요구허용거리(required tolerance)에 따라 계산량을 최적화하도록 영상 피라미드의 레이어(layer) 수(계층 수)와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는 영상 피라미드 결정부; (b) 상기 결정된 레이어 수와 단위 해상도 비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부; (c) 상기 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 이 보다 상기 단위 해상도 비만큼 더 높은 해상도의 레이어 쌍으로 이동해가며 계층적 블록 매칭을 수행하는 블록 매칭부;을 구비한다.
전술한 제2 특징에 따른 최적 계층적 블록 매칭 시스템에 있어서, 제1 및 제2 영상의 각 채널의 평균과 표준편차를 이용하여, 상기 제1 및 제2 영상의 컬러 차이를 보정하는 컬러 보정(color alignment)부를 더 구비하는 것이 바람직하다.
본 발명의 제3 특징에 따른 영상 정합 방법은, 전술한 최적 계층적 블록 매칭 방법을 이용하여 제1 영상과 제2 영상에 대한 최적 계층적 블록 매칭을 수행하고, 상기 최적 계층적 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 소정의 기하 변환 모델(geometric transformation model)에 기반을 둔 하나 이상의 기하 변환 파라미터를 추정하고, 추정된 기하 변환 파라미터를 이용하여 제1 영상과 제2 영상 중 하나 이상을 기하 변환하는 것을 특징으로 한다.
전술한 제3 특징에 따른 영상 정합 방법에 있어서, 상기 소정의 기하 변환 모델은 호모그래피(homography), 어파인변환(affine transform), 닮음변환(similarity transform), 강체변환(rigid transform), 회전(rotation), 평행이동(translation) 중 하나인 것이 바람직하다.
본 발명의 제4 특징에 따른 영상 압축 방법은, 전술한 최적 계층적 블록 매칭 방법을 이용하여 제1 영상과 제2 영상에 대한 최적 계층적 블록 매칭을 수행하고, 상기 최적 계층적 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 모션 추정을 수행하고, 상기 모션 추정의 결과를 이용하여 영상 압축하는 것을 특징으로 한다.
본 발명을 적용하면, 블록 매칭의 속도를 획기적으로 향상시킬 수 있고, 그에 따라 영상 정합의 속도를 획기적으로 향상 시킬 수 있으며, 영상 압축의 속도를 획기적으로 향상시킬 수 있다. 또한 본 발명을 적용하면, 블록 매칭의 정확도를 향상시킬 수 있고, 그에 따라 영상 정합의 정확도를 향상 시킬 수 있으며, 영상 압축의 정확도를 향상시킬 수 있다. 또한 본 발명을 적용하면, 블록 매칭의 속도 및 정확도 향상에 힘입어, 파노라마 영상 모자이크, 3차원 모델링(3D modeling), 원격 탐지, 영상 번짐 제거, 영상 해상도 향상 등의 다양한 관련 작업에서도 그 속도와 정확도를 향상시킬 수 있다.
본 발명에 따른 최적 계층적 블록 매칭 방법을 이용한 영상 정합 방법의 성능을 확인하기 위하여, 다양한 영상들에 본 발명에 따른 방법을 적용하여 테스트를 실시하였다. 도 10은 본 발명에 따른 영상 정합 방법에 대한 정량 분석을 위한 40개의 입력 영상 중 일부인 10개 영상으로서, 윗줄의 5개의 입력 영상은 긴 노출 영상(long-exposure images)이며, 아랫줄의 5개의 입력 영상은 짧은 노출 영상(short-exposure images)이다.
도 11은 입력 영상들에 대한 영상 정합 시간을 도시한 그래프로서, 기존의 BM 방법, 기존의 HBM 방법 및 본 발명에 따른 OHBM 방법을 각각 적용한 영상 정합 시간을 도시한 그래프이다. 도 11을 참조하면, 본 발명에 따른 최적 계층적 블록 매칭 방법(OHBM)이 영상 정합 시간을 획기적으로 향상시킴을 알 수 있다.
도 12는 입력 영상들에 대하여 각각 기존의 BM 방법, 기존의 HBM 방법, 본 발명에 따른 OHBM 방법 및 본 발명에 따른 CA를 적용한 OHBM 방법을 이용하여 영상 정합한 경우에 대한 변위 오차(displacement error)를 도시한 그래프로서, 본 발명에 따른 컬러 보정(CA)과 최적 계층적 블록 매칭(OHBM)을 적용한 경우, 변위 오차가 가장 작음을 알 수 있다.
도 13은 RGB 광도 오차(intensity error)를 도시한 그래프이다. 그래프 a는 각각 기존의 BM 방법, 기존의 HBM 방법, 본 발명에 따른 OHBM 방법에 의한 RGB 광도 오차(intensity error)를 도시한 그래프이며, OHBM 방법이 훨씬 적은 계산량에도 불구하고, 가장 높은 정확도를 보임을 알 수 있다. 그래프 b는 같은 시점(viewpoint)에서 촬영한 두 영상 간의 RGB 광도 오차를 도시한 그래프이며, Base로 표시된 그래프는 영상 간의 변위가 영(zero)인 것으로 가정한 기저 오차인데, 본 발명에 따른 OHBM 방법에 의한 결과는 심지어 이보다 작은 오차를 보여준다.
도 1은 본 발명의 바람직한 일실시예에 따른 영상 정합 방법을 도시한 흐름도이다.
도 2는 본 발명의 바람직한 일실시예에 따른 영상 정합 시스템을 도시한 블록도이다.
도 3은 본 발명의 바람직한 일실시예에 따른 영상 정합 방법에 있어서, 2개의 입력 영상과 이들에 대한 컬러 보정(color alignment;'CA')에 의한 결과 영상이다. a는 입력 번짐 영상(blurred image)이고, b는 입력 잡음 영상(noisy image)이며, c는 잡음 영상의 컬러를 번짐 영상의 컬러와 가깝게 보정한 결과 영상(color aligned noisy image)이다.
도 4는 본 발명의 바람직한 일실시예에 따른 영상 정합 방법의 최적 계층적 블록 매칭 방법을 전체적으로 도시한 개념도이다.
도 5는 본 발명의 바람직한 일실시예에 따른 영상 정합 방법에 있어서, 최적 계층적 블록 매칭 방법을 적용함에 있어서, 영상 피라미드의 서로 인접한 두 레이어(two consecutive layers)에서의 탐색 윈도우(search window) 관계를 도시한 것으로서, 왼쪽 윈도우가 임의의 i번째 레이어의 탐색 윈도우일 때, 오른쪽 윈도우는 (i+1)번째 레이어의 탐색 윈도우에 해당된다.
도 6은 본 발명의 바람직한 일실시예에 따른 최적 계층적 블록 매칭에 사용될 영상 피라미드의 레이어 수를 결정하는 알고리즘을 도시한 것이다.
도 7, 도 8 및 도 9는 각각 본 발명의 바람직한 일실시예에 따른 최적 계층적 블록 매칭에서의, 요구허용거리(required tolerance,δ)에 대한 영상 피라미드의 레이어 수(n)와 단위 해상도 비(unit sale factor,κ)(도 7), 요구허용거리(δ)에 대한 결과허용거리(resulting tolerance, d)(도 8), 그리고 요구허용거리(δ)에 대한 단순화된 계산량(simplified computational cost, F)(도 9)의 그래프들이다.
도 10은 본 발명에 따른 영상 정합 방법에 대한 정량 분석을 위한 40개의 입력 영상 중 일부인 10개 영상으로서, 윗줄의 5개의 입력 영상은 긴 노출 영상들(long-exposure images)이며, 아랫줄의 5개의 입력 영상은 짧은 노출 영상들(short-exposure images)이다.
도 11은 입력 영상들에 대한 영상 정합 시간을 도시한 그래프로서, 기존의 BM 방법, 기존의 HBM 방법 및 본 발명에 따른 OHBM 방법을 각각 적용한 영상 정합 시간을 도시한 그래프이다.
도 12는 입력 영상들에 대하여 각각 기존의 BM 방법, 기존의 HBM 방법, 본 발명에 따른 OHBM 방법 및 본 발명에 따른 CA를 적용한 OHBM 방법을 이용하여 영상 정합한 경우에 대한 변위 오차(displacement error)를 도시한 그래프이다.
도 13은 RGB 광도 오차(intensity error)를 도시한 그래프이다. 그래프 a는 각각 기존의 BM 방법, 기존의 HBM 방법, 본 발명에 따른 OHBM 방법에 의한 RGB 광도 오차(intensity error)를 도시한 그래프이다. 그래프 b는 같은 시점(viewpoint)에서 촬영한 두 영상 간의 RGB 광도 오차를 도시한 그래프이며, Base로 표시된 그래프는 영상 간의 변위가 영(zero)인 것으로 가정한 기저 오차이다.
도 14는 여섯 쌍의 입력 영상에 대해 본 발명의 바람직한 일실시예에 따른 영상 정합 방법을 적용한 결과를 보여준다. 왼쪽 열은 입력 번짐영상(blurred image)들이고, 중간 열은 입력 잡음영상(noisy image)들이며, 오른쪽 열은 각 번짐영상을 각 잡음영상에 맞게 기하 변환한 결과 영상들이다.
도 15는 본 발명의 바람직한 실시예에 따른 영상 정합 방법을 영상 번짐 제거(image deblurring)에 활용한 결과를 보여준다. 왼쪽 열은 입력 잡음 영상들이고, 중간 열은 입력 번짐 영상들이며, 오른쪽 열은 각 행의 잡음 영상과 번짐 영상을 본 발명의 영상 정합 방법으로 영상 정합 후, 이를 이용하여 영상의 번짐을 제거한 결과 영상들이다.
본 발명에 따른 최적 계층적 블록 매칭 방법은 계층적 블록 매칭의 속도를 획기적으로 향상시키기 위하여, 계층적 블록 매칭의 계산량(computational cost)을 최적화하는 영상 피라미드(image pyramid)의 레이어 수(number of layers)와 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하여 블록 매칭을 수행하는 것을 특징으로 한다.
또한 본 발명에 따른 최적 계층적 블록 매칭 방법은 블록 매칭의 정확도(accuracy)를 향상시키기 위하여 두 입력 영상에 대하여 컬러 보정(color alignment, CA)을 수행하며, 이러한 컬러 보정 방법은 두 입력 영상의 각 채널의 평균과 표준편차를 이용하여 두 입력 영상 간의 컬러 차이를 고속으로 보정하는 것을 특징으로 한다.
또한 본 발명에 따른 영상 정합(image registration) 방법은, 영상 정합의 정확도(accuracy)를 향상시키기 위하여 두 입력 영상의 각 채널의 평균과 표준편차를 조정하여 두 입력 영상 간의 컬러 차이를 고속으로 보정하는 컬러 보정(color alignment, CA) 단계와, 계산량(computational cost)을 최적화하여 영상 정합의 속도를 향상시키기 위하여 영상 피라미드(image pyramid)의 레이어 수(number of layers)와 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하여 블록 매칭을 수행하는 최적 계층적 블록 매칭(optimized hierarchical block matching, OHBM) 단계를 구비하는 것을 특징으로 한다.
또한 본 발명에 따른 최적 계층적 블록 매칭을 이용한 영상 압축 방법은 영상 프레임 간 또는 스테레오스코픽 3D 영상이나 멀티뷰 3D 영상의 경우에는 좌우 영상 간 혹은 서로 다른 시점의 영상 간, 모션 보정을 위한 모션 추정의 속도를 획기적으로 향상시키기 위하여 상기 최적 계층적 블록 매칭 방법을 이용하여 프레임간 모션 추정을 수행하며, 모션 추정 결과를 이용하여 영상 압축하는 것을 특징으로 한다.
도 1은 본 발명의 바람직한 일실시예에 따른 영상 정합 방법을 도시한 흐름도이며, 도 2는 본 발명의 바람직한 일실시예에 따른 영상 정합 시스템을 도시한 블록도이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 바람직한 일실시예에 따른 영상 정합 방법 및 이를 이용한 영상 정합 시스템에 대하여 구체적으로 설명한다.
도 1을 참조하면, 본 발명의 바람직한 일실시예에 따른 영상 정합 방법은, 제1 및 제2 영상 입력 단계(S100), 입력된 제1 및 제2 영상에 대한 컬러 보정 단계(S110), 제1 및 제2 영상에 대한 최적 계층적 블록 매칭 단계(S120), 제1 및 제2 영상간의 기하 변환 추정 및 영상 기하 변환 단계(S130)을 구비한다. 전술한 각 단계에 대하여 구체적으로 설명하면 다음과 같다.
상기 컬러 보정 단계(color alignment; S110)는 입력된 제1 및 제2 영상의 컬러를 일관되게 보정하는 것으로서, 제1 영상의 컬러를 제2 영상의 컬러에 맞추거나, 제2 영상의 컬러를 제1 영상의 컬러에 맞추거나, 또는 제1 및 제2 영상의 컬러를 사전에 설정한 목표 컬러에 맞출 수도 있다. 이러한 컬러 보정 단계는 광도의 평균 및 표준편차 계산 단계와 컬러 분포 조정 단계를 구비한다.
광도의 평균 및 표준 편차 계산 단계는, 우선 각 영상에 대하여 각 컬러 채널(color channel)에 대하여 광도의 평균과 표준 편차를 계산한다. 이 때, 노이즈와 국소적 특성의 영향을 효과적으로 감소시키고 컬러 보정 속도를 높이기 위하여, 각 영상을 1/4로 축소하고, 그 결과를 3×3의 상자필터(box filter)로 스무딩(smoothing)한 후, 각 영상의 컬러 채널에 대하여 광도의 평균 및 표준편차 계산을 수행하는 것이 바람직하다. 여기서, 상기 컬러 채널은 주로 빨강(red, R), 초록(green, G), 파랑(blue, B)으로 구성된다.
컬러 분포 조정 단계는, 전술한 단계에서 구한 평균 및 표준 편차를 수학식 1로 표현되는 컬러 매핑 식(color mapping equation)을 이용하여 각 컬러 채널의 컬러 분포를 조정한다.
Figure 112014029830551-pat00001
여기서 C는 채널 인덱스, I는 각 픽셀의 광도, m은 평균, σ는 표준편차이고, A는 '보정된(aligned) 것', s와 t는 소스(source) 및 타깃(target)을 각각 의미한다. 가령 제1 영상의 컬러를 제2 영상의 컬러 분포에 맞추고자 하는 경우, 제1 영상이 s(소스)가 되고 제2 영상이 t(타깃)이 된다.
도 3은 본 발명에 따른 영상 정합 방법에 있어서, 두 입력 영상과 이들에 대한 컬러 보정(color alignment;'CA') 결과 영상을 보여준다. 도 3의 (a) 및 (b)는 두 입력 영상으로서, a는 긴 노출시간(long exposure time)을 갖는 번짐 영상(blurred image), b는 짧은 노출시간(short exposure time)을 갖는 잡음 영상(noisy image)이며, (c)는 전술한 방법에 의해 컬러 보정한 결과 영상으로, 잡음 영상의 컬러를 번짐 영상의 컬러에 맞춘 결과 영상이다.
이와 같이, 두 개의 입력 영상들에 대하여 컬러 보정함으로써, 블록 매칭 및 영상 정합의 정확도를 향상시킬 수 있게 된다.
이하, 도 4를 참조하여 최적 계층적 블록 매칭 단계(S120)에 대하여 구체적으로 설명한다. 본 발명에서 제안된 최적 계층적 블록 매칭 방법은 일반 영상 피라미드(general image pyramid, GIP)를 이용한다. 일반 영상 피라미드는, 계층적 블록 매칭에서 그 계산량(computational cost)과 정확도(accuracy)를 최적화하도록, 해당 영상 피라미드(image pyramid)의 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는, 영상 피라미드의 일반형으로 정의한다.
본 발명에 따른 최적 계층적 블록 매칭 방법은, (a) 제1 영상 및 제2 영상에 대하여 사전 설정된 요구허용거리(required tolerance)에 따라 계산량을 최적화하도록 영상 피라미드의 레이어(layer) 수(계층 수)와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는 단계; (b) 상기 결정된 레이어 수와 단위 해상도 비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성하는 단계; (c) 상기 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 이 보다 상기 단위 해상도 비만큼 더 높은 해상도의 레이어 쌍으로 이동해가며 계층적 블록 매칭을 수행하는 단계;를 구비하며,
상기 (c) 단계는 (c1) 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 초기 블록 매칭을 수행하는 단계; (c2) 상기 초기 블록 매칭을 통해 추정된 좌표를 이용하여 점차적으로 단위 해상도 비만큼 더 높은 해상도 레이어 쌍으로 이동해가며 최종적으로 최고해상도 레이어 쌍까지 추정 좌표를 향상시키는 계층적 향상 단계;를 구비한다.
이하, 도 4를 참조하여, 전술한 최적 계층적 블록 매칭 방법에 대하여 보다 구체적으로 설명한다. 도 4는 본 발명의 바람직한 일실시예에 따른 영상 정합 방법의 최적 계층적 블록 매칭 방법을 전체적으로 도시한 개념도이다.
도 4를 참조하면, 본 발명에 따른 최적 계층적 블록 매칭 방법(S120)은 영상 피라미드의 레이어 수 결정(determination of the number of layers) 단계(S122), 특징 검출(feature detection) 단계(S124), 모든 계층에서의 특징 위치 계산(computation of feature locations in every layer) 단계(S126), 초기 블록 매칭(initial block matching) 단계(S128) 및 계층적 향상(hierarchical refinement) 단계(S129)를 구비한다. 이하, 전술한 각 단계들에 대하여 구체적으로 설명한다.
먼저, 영상 피라미드의 레이어 수 결정 단계(S122)는, 제1 및 제2 영상의 일반 영상 피라미드(GIP)에 대한 최적의 계층 수를 결정하기 위해서, 영상의 각 축(x 또는 y)에 대해 요구되는 최대 허용 변위, 즉 요구허용거리(required tolerance, δ)가 미리 입력되어야 한다.
계층적 블록 매칭(HBM)에서의 계산량(computational cost)은 아래의 수학식 2로 표현될 수 있다.
Figure 112014029830551-pat00002
여기서,
Figure 112014029830551-pat00003
는 특징들의 개수(the number of features),
Figure 112014029830551-pat00004
는 각 블록 상의 픽셀들의 개수(the number of pixels in each block),
Figure 112014029830551-pat00005
는 각 탐색 윈도우 상의 픽셀들의 개수(the number of pixels in each search window), n은 HBM에서의 반복 횟수(the number of iterations in HBM)와 같은 피라미드의 레이어 수(the number of layers in a pyramid),
Figure 112014029830551-pat00006
는 각 픽셀 쌍에 대한 비용(the cost for each pair of pixels),
Figure 112014029830551-pat00007
은 나머지 계산량(remainder)이다.
n에 따른 일반 영상 피라미드의 단위 해상도 비(unit scale factor)(κ)는 수학식 3에 의해 근사적으로 결정될 수 있다.
Figure 112014029830551-pat00008
여기서,
Figure 112014029830551-pat00009
는 각 축에 대한 요구허용거리(required tolerance per axis)이며, 단순화시키기 위하여, κ는 자연수로 가정한다. 탐색 거리(search distance, s)는 (2s+1)×(2s+1)인 탐색 윈도우(search window)의 행이나 열의 중심으로부터 마지막 픽셀의 위치까지의 거리로서 정의된다. s 에 대해 계산량을 다시 정리하면, 수학식 4와 같다.
Figure 112014029830551-pat00010
이론적으로는, s를 κ로 설정하는 것으로 충분하다. 그러나 블록 매칭에서의 실제 참 위치(ground-truth target location)가 부분픽셀 정확도(subpixel accuracy)에서 해당 픽셀의 경계(boundary)에 매우 가까운 경우, 잡음, 조명, 기하 변환 등에 의한 사소한 에러에 의해서도 매칭 결과 위치가 인접 픽셀로 이동될 가능성이 있다. 이러한 경우, 다음 레이어의 블록 매칭에서, 해당 탐색 윈도우는 상기 실제 참 위치를 포함하지 않게 된다. 따라서 이러한 경우를 방지하기 위하여, 수학식 5와 같이 더 큰 s를 설정한다.
Figure 112014029830551-pat00011
도 5는 본 발명의 바람직한 일실시예에 따른 영상 정합 방법에 있어서, 최적 계층적 블록 매칭 방법을 적용함에 있어서, 영상 피라미드의 서로 인접한 두 레이어(two consecutive layers)에서의 탐색 윈도우(search window) 관계를 도시한 것으로서, 왼쪽 윈도우가 임의의 i번째 레이어의 탐색 윈도우일 때, 오른쪽 윈도우는 (i+1)번째 레이어의 탐색 윈도우에 해당된다. 참고로 이 예에서는, 일반 영상 피라미드의 단위 해상도 비(κ)가 6이다.
각 레이어 쌍에서의 블록 매칭에서 포물선 피팅(parabolic curve fitting) 등의 방법으로 부분픽셀 정확도(subpixel accuracy)를 구현할 수 있지만, 부분픽셀 피팅(subpixel fitting)은 실제 참 위치의 정확한 한계값(bound)을 제공하지 않고 단지 정확도를 향상시킬 뿐이다. 이러한 이유에서, 탐색 윈도우를 종래보다 더 넓게 선택한 것이다.
일단, κ가 결정되면, 이에 따라 각 축에 대한 결과허용거리(resulting tolerance; 'd')는 수학식 6에 의해 구할 수 있게 된다.
Figure 112014029830551-pat00012
d가 δ보다 적으면 안되므로(즉, d ≥ δ), 수학식 7과 수학식 8을 차례로 얻을 수 있다.
Figure 112014029830551-pat00013
Figure 112014029830551-pat00014
n≥1 인 경우 수학식 9의 부등식을 만족하므로, 이로부터 수학식 10 및 수학식 11을 차례로 얻을 수 있게 된다.
Figure 112014029830551-pat00015
Figure 112014029830551-pat00016
Figure 112014029830551-pat00017
여기서, 임의의 실수 x에 대해 ceil(x)는 x 보다 작지 않은 가장 작은 정수를 의미한다. 수학식 12와 같이 새로운 변수(kappa tilde)를 정의하면 상기 수학식 11은 수학식 13으로 표현된다.
Figure 112014029830551-pat00018
Figure 112014029830551-pat00019
계산량을 최소화시키기 위해서는, 주어진 n에서 d ≥ δ 를 만족하는 최소 자연수 κ를 구해야 한다.
Figure 112014029830551-pat00020
이면,
Figure 112014029830551-pat00021
이며, 그렇지 않으면(즉,
Figure 112014029830551-pat00022
이면)
Figure 112014029830551-pat00023
이다.
따라서, K는
Figure 112014029830551-pat00024
이거나
Figure 112014029830551-pat00025
이다.
실제로는, 보다 일반적인 경우인, 임의의 두 실수(real number) n ≥ 1 및 δ > 0 에 대하여 위 사실이 만족된다. 따라서 아래 정리(theorem) 1을 얻을 수 있게 된다. 정리 1에 대한 증명은 논문에서 확인 가능하다(Changsoo Je and Hyung-Min Park, "Optimized Hierarchical Block Matching for Fast and Accurate Image Registration", Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779-791, August, 2013).
정리(Theorem) 1 : n ≥ 1 및 δ > 0 가 모두 실수이고, κ > 0 가
Figure 112014029830551-pat00026
인 최소의 정수이면, 임의의 실수 x에 대해 ceil(x)는 x보다 작지 않은 가장 작은 정수일 때, κ는 항상
Figure 112014029830551-pat00027
과
Figure 112014029830551-pat00028
둘 중 하나이다.
수학식 4에 수학식 5을 대입하면, 수학식 14가 된다.
Figure 112014029830551-pat00029
수학식 14에 기초하면, 주어진
Figure 112014029830551-pat00030
,
Figure 112014029830551-pat00031
, c 및
Figure 112014029830551-pat00032
에 대해 최적의 n은 입력되는 δ의 값에 따라 아래 수학식 15에 의해 구해질 수 있다.
Figure 112014029830551-pat00033
여기서,
Figure 112014029830551-pat00034
는 n의 최적 정수값이며, λ는 n이 작은 값은 가지도록 하는 파라미터이다. 실제 적용에서는, 도 6에 제시된 알고리즘에서 사용되는 비율 문턱값(ratio threshold)의 변화에 따라 0≤λ≤200 인 것이 바람직하다. 만약 δ가 매우 작지만 않다면, 단순히 λ를 '0'으로 설정하는 것으로도 충분할 수 있다.
위의 정리 1과 수학식 15에 기초하여, 계산량을 최적화하면서도, 정확성을 위해 적절하게 작은 반복 횟수를 결정하는 알고리즘을 도 6과 같이 제안한다.
각 축에 대한 요구허용거리(required tolerance)가 주어지면, 도 6의 알고리즘은 1에서부터 최대 반복 횟수까지 각 반복 횟수에 대한 HBM의 계산량을 계산한다. 합리적인 정확도를 유지하고 최적의 n을 빨리 찾기 위해, 상대적으로 작은 반복 횟수를 구하도록 설정한다. 현재의(n번째) 계산량의 1.5배가 직전의((n-1)번째) 계산량보다 크면, n-1을 최적 반복 횟수로 결정한다. 여기서 1.5는 비율 문턱값으로서 충분히 큰 값이므로, 이 경우 본 일실시예에서는 λ를 '0'으로 설정하는 것으로 충분하다.
도 7, 도 8 및 도 9는 각각 본 발명의 바람직한 일실시예에 따른 최적 계층적 블록 매칭에서의, 요구허용거리(required tolerance, δ)에 대한 영상 피라미드의 레이어 수(n)와 단위 해상도 비(unit sale factor,κ)(도 7), 요구허용거리(δ)에 대한 결과허용거리(resulting tolerance, d)(도 8), 그리고 요구허용거리(δ)에 대한 단순화된 계산량(simplified computational cost, F)(도 9)의 그래프들이다. 여기서, λ는 '0'으로 설정한 경우이다. δ를 최고 5000 픽셀까지 계산하였으므로, 대부분의 영상에 대한 최적 계층적 블록 매칭 및 영상 정합 등에 적용가능하다. 물론 제안된 알고리즘은 요구허용거리에 제한이 없기 때문에 초고해상도 영상에 대해서도 쉽게 적용이 가능하다.
도 6에 제시된 알고리즘을 이용하여, 상기 요구허용거리에 최적화된 레이어 수를 결정한다. 한편, 구해진 레이어 수(n)는 최적 계층적 블록 매칭에서의 반복(iteration) 횟수와 같다. 도 6은 본 발명의 바람직한 일실시예에 따른 영상 정합 방법에 있어서, 최적 계층적 블록 매칭 방법에 사용될 일반 영상 피라미드의 레이어 수를 결정하는 알고리즘을 도시한 것이다. 이하, 도 6을 참조하여 최적의 레이어 수를 결정하는 과정을 구체적으로 설명한다.
도 6을 참조하면, 영상 피라미드에 대한 최적의 레이어 수를 결정하기 위하여, 먼저 각 축에 대한 요구허용거리(δ; required tolerance for each axis)에 대하여 레이어 수(n; number of layers in a pyramid)가 1인 경우의 단순화된 계산량(simplified computational cost), F1을 계산한다.
다음으로, 레이어 수(n)를 1씩 증가시키면서 각 레이어 수에 대하여 단위해상도비(κ; unit scale factor)를 계산하고, 그 결과값(κn)을 이용하여 해당 레이어 수(n)에 대한 단순화된 계산량, Fn을 구한다.
이러한 과정은 Fn -1/Fn 이 사전 설정된 문턱값(threshold)보다 작을 때까지 반복하며, Fn -1/Fn < threshold 이면, n-1 의 값을 n 에 대입한 후 종료한다. 상기 문턱값은 예컨대 1.5로 설정될 수 있다.
만약, n=1이면, κ는 정의되지 않으며, s=d=δ 로 설정하며, n≠1이면,κ =κn, s=κ+1, d= sκn- 1 로 설정한다. 여기서, s는 탐색 거리(search distance) 이며, 탐색 윈도우(search window)의 크기는 (2s+1)×(2s+1)이 된다. d는 각 축에 대한 결과허용거리(resulting tolerance per axis)이다.
결과적으로, 최종 결정된 n이 주어진 요구허용거리에 대한 계산량과 정확도 관점에서 최적의 레이어 수가 된다. 상기 결정된 최적의 레이어 수 및 단위해상도비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성한다(도 4의 첫 번째 단계).
그런 다음, 상기 특징 검출 단계(S124)에서는 제1 영상에 대한 일반 영상 피라미드의 두 번째 고해상도 레이어(경우에 따라 다른 레이어를 선택할 수도 있음)에서 하나 이상의 특징 위치를 검출한다. 이 때, 다양한 종류의 특징이 사용될 수 있지만, 본 일실시예에서는 코너(corner)를 사용하는 것을 예로 들어 설명한다.
이를 보다 구체적으로 설명하면 다음과 같다. 블록 매칭의 소스 위치로 사용할 픽셀 위치들을 한 영상 내에서 선택한다. 이 때, 모든 방향에 대해 식별가능한 영상 내의 위치를 획득하기 위해, 해리스 검출기(Harris detector)에 기초하여 코너들(corners)을 검출한다. 잡음(noise) 및 번짐(blur)의 영향을 피하기 위해, 해당 영상에 대한 영상 피라미드의 두 번째 고해상도 레이어(layer)에서 코너를 검출하면 좋다. 이렇게 해도, 특징 대응점들(feature correspondences)은 최적 계층적 블록 매칭에 의해 입력 영상의 원래의 해상도(full resolution)에서 부분픽셀 정확도(subpixel accuracy)로 구해질 것이므로, 최종 매칭 결과에서의 해상도나 정확도에는 아무 문제가 없다. 특징 검출 단계에서는, 블록 매칭에 유리한 위치를 찾아야 한다. 일부 특징의 대응점을 구할 수 없게 되는 영상 내의 경계 부근 영역을 배제시키기 위해서, 영상의 네 변에 대해 오프셋(offset)을 갖는 사각형 ROI(region of interest)를 결정한다. 상기 오프셋은 o = ob + os 로 결정되며, 여기서 ob 와 os 는 각각 블록 크기와 탐색 윈도우 크기에 의한 오프셋들이다. 상기 오프셋들을 각 방향에 대해 다르게 설정할 수도 있다.
입력 영상들이 다중채널(multi-channel)이고 블록 매칭이 모든 채널들의 광도를 사용하는 경우에도, 계산 시간을 감소시키기 위해서, 회색 광도(neutral intensity (gray))에서 특징들을 검출할 수도 있다.
다음으로, 제1 영상에 대한 일반 영상 피라미드의 모든 계층에서의 특징 위치 결정 단계(S126)는 전술한 특징 검출 단계(S124)에서 검출된 특징 위치를 이용하여 제1 영상에 대한 일반 영상 피라미드의 다른 모든 계층에서의 특징 위치를 아래의 수학식 16를 이용하여 계산한다.
Figure 112014029830551-pat00035
여기서 p는 특징의 위치 벡터, k는 특징이 검출된 레이어에 대한 현재 레이어의 상대적 해상도 비이며, 1은 모든 성분이 1인 이차원 벡터이다.
수학식 16은, 영상의 좌측 상부 코너의 좌표값이 변하지 않으면서, 영상의 전체가 k에 의해 균일하게 확대 또는 축소되는 변환 방정식(transform equation)이 되도록 유도된 것이다. 수학식 16의 유도과정은 논문에서 확인 가능하다(Changsoo Je and Hyung-Min Park, "Optimized Hierarchical Block Matching for Fast and Accurate Image Registration", Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779-791, August, 2013).
일반 영상 피라미드에서 k는 수학식 17과 같이 주어진다.
Figure 112014029830551-pat00036
여기서, i는 레이어 인덱스이며, △i는 일반 영상 피라미드에서의 두 레이어 사이의 부호 있는 인덱스 차(signed difference of the indices)를 나타낸다. 수학식 16에서 p k가 비정수(non-integer) 벡터가 될 수 있기 때문에, 실제 블록 매칭에서는 가장 가까운 정수(integer) 벡터를 사용한다.
다음으로, 초기 블록 매칭 단계(S128)는 두 입력 영상인 제1 및 제2 영상에 대한 일반 영상 피라미드의 최저해상도 레이어 쌍에서 포물선 피팅(parabolic curve fitting) 방법으로 부분픽셀 정밀도의 블록 매칭 좌표를 얻는다. 블록 매칭은 SSD(sum of squared differences)를 기반으로 할 수도 있고, 계산 시간을 단축하기 위해 SAD(sum of absolute differences)를 사용할 수도 있다.
이에 대해 보다 구체적으로 설명하면, 수학식 18과 같이, 첫번째 레이어 쌍(최저해상도 레이어 쌍)에서 각 특징 위치들에 대해, 탐색 윈도우에 존재하는 ns 개의 위치들 중에서 블록 쌍이 최소 SSD를 갖는 위치를 검출한다.
Figure 112014029830551-pat00037
여기서, b는 블록 내에서의 픽셀 인덱스이고, I의 세 번째 인덱스인 1 및 2는 각각 제1 및 제2 입력 영상을 의미하며, r 은 탐색 윈도우 상에서의 위치이며, w는 탐색 윈도우 상에서의 위치 인덱스이며, q 는 매칭 결과 위치이다. 초기 블록 매칭에서는, 각 탐색 윈도우의 위치가 수학식 16에 의해 주어지는 해당 소스 위치와 같다.
다음으로, 계층적 향상 단계(S129)는, 초기 블록 매칭 단계와 유사한 방법으로, 제1 및 제2 영상에 대한 일반 영상 피라미드의 나머지 레이어 쌍들에 대해 부분픽셀 블록 매칭을 계층적으로 반복 수행하여 계층적 향상(hierarchical refinement)을 하게 된다. 이때, 각 레이어 쌍에 대해 이전 레이어 쌍에서 추정된 블록 매칭 좌표는 수학식 19와 같이 현재 레이어로 변환되어 탐색 윈도우(search window)의 현재 위치(중점)로 사용된다.
Figure 112014029830551-pat00038
여기서 κ는 단위 해상도 비, i는 반복(iteration) 인덱스(즉, 레이어 인덱스), s는 탐색 윈도우 위치, q는 매칭 위치를 나타낸다.
상기 영상 변환 단계(S130)는 최적 계층적 블록 매칭 결과를 이용하여 두 입력 영상 간의 변환 파라미터(이를테면 변환 행렬)를 추정하고, 그 결과를 이용하여 입력 영상을 기하 변환한다. 이에 대해 구체적으로 설명하면, 먼저 전술한 최적 계층적 블록 매칭 방법을 이용하여 제1 및 제2 영상의 블록 매칭을 수행한 후, 최종적으로 추정된 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 소정의 기하 변환 모델(geometric transformation model)에 기반을 둔 하나 이상의 기하 변환 파라미터를 추정하고, 추정된 기하 변환 파라미터를 이용하여 제1 영상과 제2 영상 중 하나 이상을 기하 변환하는 것을 특징으로 한다. 상기 소정의 기하 변환 모델은 호모그래피(homography), 어파인변환(affine transform), 닮음변환(similarity transform), 강체변환(rigid transform), 회전(rotation), 평행이동(translation) 중 하나인 것이 바람직하다.
한편, 도 2를 참조하면, 전술한 영상 정합 방법을 구현한 영상 정합 시스템(200)은 2개의 영상을 입력받는 영상 입력부(210), 컬러 보정부(220), 최적 계층적 블록 매칭부(230), 영상 변환부(240)를 구비한다.
상기 컬러 보정부(220)는 영상 입력부(210)로부터 제공되는 2개의 입력 영상, 즉 제1 및 제2 영상의 컬러를 보정하는 것으로서, 컬러 보정 방법은 전술한 컬러 보정 단계를 동일하게 수행하는 것을 특징으로 한다. 상기 컬러 보정부는 제1 및 제2 영상의 각 채널의 평균과 표준편차를 이용하여, 상기 제1 및 제2 영상의 컬러 차이를 보정하는 것을 특징으로 한다.
상기 최적 계층적 블록 매칭부(230)는 제1 및 제2 영상에 대하여 최적 계층적 블록 매칭을 수행하는 것으로서, 전술한 최적 계층적 블록 매칭 단계를 동일하게 수행하는 것을 특징으로 한다. 특히, 상기 최적 계층적 블록 매칭부(230)는 영상 피라미드 결정부, 영상 피라미드 생성부 및 블록 매칭부를 구비하며, 별도의 최적 계층적 블록 매칭 시스템으로 구성될 수 있다.
상기 영상 피라미드 결정부는 제1 영상 및 제2 영상에 대하여 사전 설정된 요구허용거리(required tolerance)에 따라 계산량을 최적화하도록 영상 피라미드의 레이어(layer) 수와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정한다. 상기 영상 피라미드 생성부는 상기 결정된 레이어 수와 단위 해상도 비(unit scale factor)에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성한다. 상기 블록 매칭부는 상기 제1 및 제2 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 고해상도 레이어 쌍으로 이동하며 계층적 블록 매칭을 수행한다.
한편, 상기 영상 변환부(240)는 최적 계층적 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 소정의 기하 변환 모델(geometric transformation model)에 기반을 둔 하나 이상의 기하 변환 파라미터(이를테면 변환 행렬)를 추정하고, 추정된 기하 변환 파라미터를 이용하여 제1 영상과 제2 영상 중 하나 이상을 기하 변환하는 것을 특징으로 한다. 상기 소정의 기하 변환 모델은 호모그래피(homography), 어파인변환(affine transform), 닮음변환(similarity transform), 강체변환(rigid transform), 회전(rotation), 평행이동(translation) 중 하나인 것이 바람직하다.
한편, 본 발명에 따른 영상 압축 방법 및 영상 압축 시스템은 전술한 컬러 보정 단계(생략 가능)와 최적 계층적 블록 매칭 단계를 수행하고, 최적 계층적 블록 매칭 결과를 이용하여, 두 입력 영상에 대하여 모션을 추정하고, 모션 추정 결과를 이용하여 영상 압축을 수행한다. 상기 입력 영상은 시간적으로 구분되는 두 프레임의 영상이거나, 스테레오스코픽 3D(stereoscopic 3D, S3D) 영상의 경우 좌우 두 영상이거나, 다시점 3D(multiview 3D) 영상의 경우 서로 다른 시점의 두 영상이 될 수도 있다.
이상에서 살펴본 바와 같이, 본 발명에 의한, 계층적 블록 매칭(hierarchical block matching, HBM)에서, 그 계산량(computational cost)과 정확도(accuracy)를 최적화하도록 영상 피라미드(image pyramid)의 레이어 수(number of layers)와 두 인접 레이어(two consecutive layers) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하여 블록 매칭을 수행하는 최적 계층적 블록 매칭(optimized hierarchical block matching, OHBM)과, 두 입력 영상의 각 채널의 평균과 표준편차를 조정하여, 해당 두 입력 영상의 컬러 차이를 보정하는 컬러 보정(color alignment, CA)을 적용하면, 영상 정합 및 영상 압축의 속도와 정확도를 향상시키는 효과가 있다.
이상에서 본 발명에 대하여 그 바람직한 일실시예를 중심으로 설명하였으나, 이는 단지 하나의 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 따른 최적 계층적 블록 매칭 방법 및 시스템은 영상정합, 영상 압축 등에 널리 사용될 수 있다. 또한, 본 발명에 따른 영상 정합 방법 및 시스템은 파노라마 영상 모자이크, 3차원 모델링, 원격 탐지, 영상 번짐 제거, 영상 해상도 향상 등에 널리 적용될 수 있다. 또한 본 발명에 따른 영상 압축 방법 및 시스템은 단시점(single-view) 동영상, 스테레오스코픽 3D 영상(정지영상 및 동영상)과 다시점(multi-view) 영상(정지영상 및 동영상)의 압축에 이용되어 고해상도 영상의 저장 및 전송 효율의 향상에 이용될 수 있어서 미디어 통신 및 방송 등의 분야에 적용 가능하다.
200 : 영상 정합 시스템
210 : 영상 입력부
220 : 컬러 보정부
230 : 최적 계층적 블록 매칭부
240 : 영상 변환부

Claims (13)

  1. (a) 제1 영상 및 제2 영상에 대하여 상기 영상의 각 축에 대해 사전 설정된 최대 허용 변위를 나타내는 요구허용거리(required tolerance)에 따라 계층적 블록 매칭에 따른 계산량을 최소화하도록 영상 피라미드의 레이어(layer) 수(계층 수)와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는 단계;
    (b) 상기 결정된 레이어 수와 단위 해상도 비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성하는 단계;
    (c) 상기 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 이 보다 상기 단위 해상도 비만큼 더 높은 해상도의 레이어 쌍으로 이동해가며 계층적 블록 매칭을 수행하는 단계;
    를 구비하는 제1 및 제2 영상에 대한 최적 계층적 블록 매칭 방법.
  2. 제1항에 있어서, 상기 최적 계층적 블록 매칭 방법은 상기 (b) 단계 이전에 상기 제1 및 제2 영상에 대한 컬러 차이를 보정하는 컬러 보정(color alignment) 단계를 더 구비하는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  3. 제2항에 있어서, 상기 컬러 보정 단계는,
    제1 및 제2 영상에 대해 각 컬러 채널에 대해 광도(intensity)의 평균과 표준 편차를 계산하는 단계;
    상기 계산된 평균과 표준 편차를 이용하여, 상기 제1 및 제2 영상의 컬러 분포(color distribution) 차이를 보정하는 컬러 분포 조정(color distribution adjustment) 단계;
    를 구비하는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  4. 제1항에 있어서, 상기 (c) 단계는
    (c1) 제1 및 제2 영상에 대한 영상 피라미드의 최저 해상도 레이어 쌍에서 초기 블록 매칭을 수행하는 단계;
    (c2) 상기 초기 블록 매칭을 통해 추정된 좌표를 이용하여 점차적으로 단위 해상도 비만큼 더 높은 해상도 레이어 쌍으로 이동해가며 최종적으로 최고 해상도 레이어 쌍까지 추정 좌표를 향상시키는 계층적 향상 단계;
    로 구성되는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  5. 제1항에 있어서, 상기 (c) 단계 이전에
    (e1) 제1 영상에 대한 영상 피라미드의 하나 이상의 레이어에서 하나 이상의 특징을 검출하는 단계;
    (e2) 제1 영상에 대한 영상 피라미드의 다른 모든 레이어에서, 상기 검출된 각 특징의 위치에 대응되는 위치를 계산하는 단계;
    를 구비하는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  6. 제5항에 있어서, 상기 (e1) 단계는 제1 영상에 대한 영상 피라미드의 두 번째 고해상도 레이어에서 특징을 검출하는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  7. 제5항에 있어서, 상기 (c) 단계 이전에
    (f1) 제2 영상에 대한 영상 피라미드의 하나 이상의 레이어에서 하나 이상의 특징을 검출하는 단계;
    (f2) 제2 영상에 대한 영상 피라미드의 다른 모든 레이어에서, 상기 검출된 각 특징의 위치에 대응되는 위치를 계산하는 단계;
    를 더 구비하는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
  8. (a) 제1 영상 및 제2 영상에 대하여 상기 영상의 각 축에 대해 사전 설정된 최대 허용 변위를 나타내는 요구허용거리(required tolerance)에 따라 계층적 블록 매칭에 따른 계산량을 최소화하도록 영상 피라미드의 레이어(layer) 수(계층 수)와 두 인접 레이어(layer) 사이의 해상도 비(scale factor), 즉 단위 해상도 비(unit scale factor)를 결정하는 영상 피라미드 결정부;
    (b) 상기 결정된 레이어 수와 단위 해상도 비에 따라 제1 및 제2 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부;
    (c) 상기 제1 및 제2 영상에 대한 영상 피라미드의 최저해상도 레이어 쌍에서 시작하여 점차적으로 이 보다 상기 단위 해상도 비만큼 더 높은 해상도의 레이어 쌍으로 이동해가며 계층적 블록 매칭을 수행하는 블록 매칭부;
    를 구비하는 제1 및 제2 영상에 대한 최적 계층적 블록 매칭 시스템.
  9. 제 8 항에 있어서, 상기 최적 계층적 블록 매칭 시스템은 제1 및 제2 영상의 각 채널의 평균과 표준편차를 이용하여, 상기 제1 및 제2 영상의 컬러 차이를 보정하는 컬러 보정(color alignment)부를 더 구비하는 것을 특징으로 하는 최적 계층적 블록 매칭 시스템.
  10. 제1항 내지 제7항 중 어느 한 항에 따른 최적 계층적 블록 매칭 방법을 이용하여 제1 영상과 제2 영상에 대한 최적 계층적 블록 매칭을 수행하고, 상기 최적 계층적 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 소정의 기하 변환 모델(geometric transformation model)에 기반을 둔 하나 이상의 기하 변환 파라미터를 추정하고, 추정된 기하 변환 파라미터를 이용하여 제1 영상과 제2 영상 중 하나 이상을 기하 변환하는 것을 특징으로 하는 영상 정합 방법.
  11. 제10항에 있어서, 상기 소정의 기하 변환 모델은 호모그래피(homography), 어파인변환(affine transform), 닮음변환(similarity transform), 강체변환(rigid transform), 회전(rotation), 평행이동(translation) 중 하나인 것을 특징으로 하는 영상 정합 방법.
  12. 제1항 내지 제7항 중 어느 한 항에 따른 최적 계층적 블록 매칭 방법을 이용하여 제1 영상과 제2 영상에 대한 최적 계층적 블록 매칭을 수행하고, 상기 최적 계층적 블록 매칭 결과를 이용하여 제1 영상과 제2 영상에 대한 모션 추정을 수행하고, 상기 모션 추정의 결과를 이용하여 영상 압축하는 것을 특징으로 하는 영상 압축 방법.
  13. 제1항에 있어서, 상기 계산량의 최소화는, 레이어 수를 증가시키면서 각각의 레이어 수에 따른 계산량을 산출하고, 두 인접 레이어 수에 따른 계산량 비가 사전 설정된 문턱값(threshold)보다 작을 때 직전의 레이어 수를 상기 블록 매칭의 레이어 수로 결정함으로써 달성되는 것을 특징으로 하는 최적 계층적 블록 매칭 방법.
KR1020140036362A 2014-03-27 2014-03-27 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 KR101550665B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140036362A KR101550665B1 (ko) 2014-03-27 2014-03-27 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140036362A KR101550665B1 (ko) 2014-03-27 2014-03-27 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법

Publications (1)

Publication Number Publication Date
KR101550665B1 true KR101550665B1 (ko) 2015-09-07

Family

ID=54247454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140036362A KR101550665B1 (ko) 2014-03-27 2014-03-27 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법

Country Status (1)

Country Link
KR (1) KR101550665B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496175A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种人形上半身检测分块设计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007007426A (ja) 2005-07-01 2007-01-18 Medison Co Ltd 階層的な動き推定方法及びこれを適用した超音波映像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007007426A (ja) 2005-07-01 2007-01-18 Medison Co Ltd 階層的な動き推定方法及びこれを適用した超音波映像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496175A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种人形上半身检测分块设计方法

Similar Documents

Publication Publication Date Title
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN110853151B (zh) 一种基于视频的三维立体点集恢复方法
US9025862B2 (en) Range image pixel matching method
JP5997645B2 (ja) 画像処理装置及び方法、及び撮像装置
US9519972B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US20100142828A1 (en) Image matching apparatus and method
JP4887376B2 (ja) ステレオビジョンにおいて密な視差場を求める方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
US8867826B2 (en) Disparity estimation for misaligned stereo image pairs
Tehrani et al. Iterative colour correction of multicamera systems using corresponding feature points
CN112215880B (zh) 一种图像深度估计方法及装置、电子设备、存储介质
GB2536429A (en) Image noise reduction
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
US9390507B2 (en) Apparatus and method for hierarchical stereo matching
US9208549B2 (en) Method and apparatus for color transfer between images
US10134136B2 (en) Image processing apparatus and image processing method
Kaviani et al. An adaptive patch-based reconstruction scheme for view synthesis by disparity estimation using optical flow
US9674503B2 (en) Stereo matching apparatus using image property
Eichenseer et al. Motion estimation for fisheye video sequences combining perspective projection with camera calibration information
CN115861145B (zh) 一种基于机器视觉的图像处理方法
KR101550665B1 (ko) 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법
Drouin et al. Camera-projector matching using an unstructured video stream

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 5