KR20210133472A - 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치 - Google Patents

이미지 병합 방법 및 이를 수행하는 데이터 처리 장치 Download PDF

Info

Publication number
KR20210133472A
KR20210133472A KR1020200052115A KR20200052115A KR20210133472A KR 20210133472 A KR20210133472 A KR 20210133472A KR 1020200052115 A KR1020200052115 A KR 1020200052115A KR 20200052115 A KR20200052115 A KR 20200052115A KR 20210133472 A KR20210133472 A KR 20210133472A
Authority
KR
South Korea
Prior art keywords
image
images
feature points
input
reference image
Prior art date
Application number
KR1020200052115A
Other languages
English (en)
Other versions
KR102697687B1 (ko
Inventor
성창훈
김덕환
김병덕
김태의
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200052115A priority Critical patent/KR102697687B1/ko
Priority to US17/027,733 priority patent/US11232323B2/en
Priority to CN202011555155.3A priority patent/CN113570529A/zh
Publication of KR20210133472A publication Critical patent/KR20210133472A/ko
Application granted granted Critical
Publication of KR102697687B1 publication Critical patent/KR102697687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

이미지 병합 방법은, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계, 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 단계 및 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 포함한다. 효율적인 기준 이미지 선택 및 2차원 번들 조정을 통해 이미지 병합 성능을 향상시킬 수 있다.

Description

이미지 병합 방법 및 이를 수행하는 데이터 처리 장치{Method of merging images and data processing device performing the same}
본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치에 관한 것이다.
복수의 이미지들 간의 대응점들을 이용하여 영상을 병합하는 것은 컴퓨터 비젼 분야에서 기본적인 문제로 병합된 이미지는 이미지 스티칭(image stitching), 노이즈 감소(noise reduction), 동적 범위(dynamic range)의 변환 등 다양한 이미지 처리에 적용이 된다.
이미지 병합을 위해 다중 카메라간의 회전, 이동 모션과 같은 카메라 파라미터를 최적화하는 3차원 번들 조정(bundle adjustment) 방법이 많이 사용된다. 3차원 번들 조정 방법은 이미지에서 공유하는 3차원 점군을 이용하여 카메라 파라미터와 3차원 점군을 최적화 하는 기법이다. 2차원 이미지들을 병합하는 경우에는 카메라 모션이 적어 3차원 점군 생성이 어려우며, 2차원 이미지 병합을 위해서는 카메라 파리미터가 아닌 이미지들간의 호모그래피가 필요하여 기존의 3차원 번들 조정 방법을 그대로 적용하기 어려운 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 2차원 이미지들을 효율적으로 병합할 수 있는 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 병합 방법은, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계, 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 단계 및 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 병합 방법은, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 매칭 정보를 발생하는 단계, 상기 복수의 입력 이미지들의 각각에 대하여, 상기 매칭 정보에 기초하여 각각의 입력 이미지의 특징 점들 및 나머지 입력 이미지들의 특징 점들 사이의 상관 관계 값을 결정하는 단계, 상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계, 상기 매칭 정보에 기초하여 상기 기준 이미지 및 상기 유효 이미지들 사이의 변환을 나타내는 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들의 좌표들을 독립 변수들로 갖는 코스트 함수를 결정하는 단계, 상기 코스트 함수의 값이 최소가 될 때의 상기 호모그래피 행렬들을 보정한 최적 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들을 보정한 최적 특징 점들을 결정하는 단계, 상기 기준 이미지의 특징 점들 및 상기 최적 특징 점들 사이의 변환을 나타내는 보정 행렬을 결정하는 단계, 상기 보정 행렬 및 상기 최적 호모그래피 행렬을 이용하여 상기 유효 이미지들의 특징 점들을 상기 기준 이미지에 상응하는 2차원 평면에 정렬하여 동기화 이미지들을 발생하는 단계 및 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 데이터 처리 장치는, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고, 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 특징 점 발생부, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 기준 이미지 선택부, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 이미지 필터부, 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 동기화부 및 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 이미지 병합부를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 컴퓨터-판독가능한 저장 매체는 데이터 처리 장치로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들을 포함한다. 상기 실행가능한 프로그램 명령들은, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하는 단계, 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 단계, 상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계, 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 단계, 및 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 수행한다.
본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는 다른 입력 이미지들과 상관 관계(correlation)가 큰 입력 이미지를 기준 이미지로서 선택하고 상기 기준 이미지에 기초하여 정확도 높은 호모그래피를 추정함으로써 이미지 병합 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는, 입력 이미지들 중 노이즈 이미지 제거, 2차원 번들 조정의 수행에 의한 호모그래피 행렬의 최적화 및/또는 호모그래피 리파인먼트를 통하여 병합 성능을 더욱 향상시킬 수 있다.
도 1은 본 발명의 실시예들에 따른 이미지 병합 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 이미지 병합 방법을 수행하는 데이터 처리 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 이미지 병합 방법을 수행하는 시스템을 나타내는 블록도이다.
도 4a 및 4b는 병합 대상이 되는 입력 이미지들의 제공 방법의 실시예들을 나타내는 도면들이다.
도 5는 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 특징 점 검출 방식의 예들을 나타내는 도면들이다.
도 6a 내지 6e는 병합 대상이 되는 입력 이미지들을 포함하는 이미지 세트의 일 예를 나타내는 도면들이다.
도 7은 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 매핑 정보의 일 예를 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 기준 이미지 결정의 일 실시예를 나타내는 순서도이다.
도 9a 내지 9d는 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 이미지 변환의 예들을 나타내는 도면들이다.
도 10은 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 호모그래피 행렬을 설명하기 위한 도면이다.
도 11 내지 13은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 기준 이미지 결정의 일 실시예를 설명하기 위한 도면들이다.
도 14는 본 발명의 실시예들에 따른 이미지 병합 방법에 의해 결정된 기준 이미지 및 유효 이미지들의 일 예를 나타내는 도면이다.
도 15는 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 유효 이미지 결정의 일 실시예를 나타내는 순서도이다.
도 16 및 17은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 2차원 번들 조정을 설명하기 위한 도면들이다.
도 18 및 19는 본 발명의 실시예들에 따른 이미지 병합 방법의 수행 결과를 나타내는 도면들이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 이미지 병합 방법을 나타내는 순서도이다.
도 1을 참조하면, 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생한다(S100).
상기 복수의 입력 이미지들은 병합 대상이 되는 상호 연관된 이미지들의 세트에 해당한다. 상기 복수의 입력 이미지들은 동일한 장면(scene)의 적어도 일부를 공통적으로 포함할 수 있다.
일 실시예에서, 도 4a를 참조하여 후술하는 바와 같이, 상기 복수의 입력 이미지들은 복수의 카메라들에 의해 각각 캡쳐된 이미지들일 수 있다. 다른 실시예에서, 도 4b를 참조하여 후술하는 바와 같이, 상기 복수의 입력 이미지들은 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들일 수 있다.
특징 점 추출 및 매칭 정보의 발생은 다양한 방법으로 수행될 수 있다. 특징 점 추출 및 매칭 정보의 발생에 대해서는 도 5 내지 7을 참조하여 후술한다.
상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택한다(S200).
일 실시예에서, 상기 복수의 입력 이미지들의 각각에 대하여, 상기 매칭 정보에 기초하여 각각의 입력 이미지의 특징 점들 및 나머지 입력 이미지들의 특징 점들 사이의 상관 관계 값을 결정하고, 상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택할 수 있다.
일 실시예에서, 상기 상관 관계 값은, 2개의 입력 이미지들에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리에 기초하여 결정될 수 있다.
기준 이미지의 선택에 관한 실시예들은 도 8 내지 14를 참조하여 후술한다.
상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정한다(S300).
일 실시예에서, 상기 기준 이미지의 특징 점들 및 1개의 입력 이미지의 특징 점들 사이의 기준 상관 관계 값을 결정하고, 상기 기준 상관 관계 값에 기초하여 상기 1개의 입력 이미지를 상기 노이즈 이미지 또는 상기 유효 이미지로 결정할 수 있다.
일 실시예에서, 상기 기준 상관 관계 값은, 상기 기준 이미지 및 상기 1개의 입력 이미지에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리에 기초하여 결정될 수 있다.
노이즈 이미지의 제거에 관한 실시예들은 대해서는 도 15를 참조하여 후술한다.
상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행한다(S400).
일 실시예에서, 상기 매칭 정보에 기초하여 코스트 함수를 결정하고, 상기 코스트 함수의 값이 최소가 되도록 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬할 수 있다.
일 실시예에서, 상기 코스트 함수는, 상기 유효 이미지들의 특징 점들을 상기 기준 이미지에 상응하는 2차원 평면에 정렬한 재투영 점들과 상기 재투영 점들에 상응하는 상기 기준 이미지의 특징 점들 사이의 유클리언 거리들의 합에 상응하는 재투영 에러 함수일 수 있다.
2차원 번들 조정의 수행에 관한 실시예들은 도 16 및 17을 참조하여 후술한다.
상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생한다(S500).
일 실시예에서, 상기 기준 이미지 및 상기 동기화 이미지들을 블렌딩하여 상기 병합 이미지를 발생할 수 있다. 예를 들면, 상기 블렌딩은 그래프 컷 세그먼트화(graph cut segmentation) 알고리즘 또는 심 컷(seam cut) 및 다중대역 블렌딩(multiband blending) 알고리즘을 이용하여 수행될 수 있다.
일 실시예에서, 상기 기준 이미지 및 상기 동기화 이미지들을 이용하여 이미지 스티칭을 수행하여 상기 병합 이미지를 발생할 수 있다. 여러 이미지를 스티칭하는 과정에서 약간의 정렬 오류 또는 노출 차이로 인해 이미지 간 경계부분이 선명하게 드러나게 되는 데, 이를 제거하기 위해 블렌딩을 수행할 수 있다. 스티칭 과정에서 블렌딩 없이 이미지를 단순히 붙이거나, 중첩영역에 대한 블렌딩을 수행하여 이미지 간 경계선을 제거하는 작업이 이루어질 수 있다. 이러한 이미지 스티칭은 상기 기준 이미지에 정렬된 또는 좌표 동기화된 상기 동기화 이미지들을 이용하여 수행됨으로써 이미지의 부분이 겹쳐보이는 문제를 최소화하면서 더욱 정확한 병합 이미지를 얻을 수 있다.
일 실시예에서, 상기 기준 이미지 및 상기 동기화 이미지들을 이용하여 동적 범위가 확장된 HDR(high dynamic range)의 병합 이미지를 발생할 수 있다.
상기 기준 이미지 및 상기 동기화 이미지들의 병합은 다양한 방식으로 수행될 수 있으며, 이미지 스티칭(image stitching), 노이즈 감소(noise reduction), 동적 범위(dynamic range)의 변환 등에 한정되는 것은 아니다.
본 발명의 실시예들에 따라서, 종래의 3차원 번들 조정에 이용되는 카메라 파라미터와 3차원 점군에 관계 없이, 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보 및 호모그래피만을 이용하여 이미지 병합을 효율적으로 수행할 수 있다.
이와 같이, 본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는 다른 입력 이미지들과 상관 관계(correlation)가 큰 입력 이미지를 기준 이미지로서 선택하고 상기 기준 이미지에 기초하여 정확도 높은 호모그래피를 추정함으로써 이미지 병합 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는, 입력 이미지들 중 노이즈 이미지 제거, 2차원 번들 조정의 수행에 의한 호모그래피 행렬의 최적화 및/또는 호모그래피 리파인먼트를 통하여 병합 성능을 더욱 향상시킬 수 있다.
도 2는 본 발명의 실시예들에 따른 이미지 병합 방법을 수행하는 데이터 처리 장치를 나타내는 블록도이다.
도 2를 참조하면, 데이터 처리 장치(10)는 특징 점 발생부(KPG)(100), 기준 이미지 선택부(RIS)(200), 이미지 필터부(IFLT)(300), 동기화부(SYNC)(400), 이미지 병합부(IMRG)(500) 및 저장부(MEM)(600)를 포함할 수 있다.
특징 점 발생부(100)는 복수의 입력 이미지들(Io~Im)의 각각에 포함되는 특징 점들을 추출하고, 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보(MINF)를 발생할 수 있다. 특징 점 발생부(100)는 매핑 정보(MINF)를 기준 이미지 선택부(200) 및 동기화부(400)에 제공할 수 있다. 한편 도면에 도시되지는 않았으나 매핑 정보(MINF)는 이미지 병합부(500)에 제공되어 이미지 정렬에 이용될 수도 있다. 매칭 정보(MINF)에 대해서는 도 7을 참조하여 후술한다.
기준 이미지 선택부(200)는 매칭 정보(MINF)에 기초하여 복수의 입력 이미지들(Io~Im) 중에서 기준 이미지를 선택할 수 있다. 기준 이미지 선택부(200)는 선택된 기준 이미지를 나타내는 기준 이미지 정보(RINF)을 발생하여 이미지 필터부(300), 동기화부(400) 저장부(600)에 제공할 수 있다. 예를 들어, 기준 이미지 정보(RINF)는 기준 이미지를 나타내는 이미지 번호 또는 인덱스를 포함할 수 있다.
이미지 필터부(300)는 매칭 정보(MINF)에 기초하여 복수의 입력 이미지들(Io~Im) 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정할 수 있다. 이미지 필터부(300)는 결정된 유효 이미지들을 나타내는 유효 이미지 정보(VINF)를 발생하여 동기화부(400) 및 저장부(600)에 제공할 수 있다. 예를 들어, 유효 이미지 정부(VINF)는 유효 이미지들을 나타내는 이미지 번호들 또는 인덱스들을 포함할 수 있다.
동기화부(400)는 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정(2DBA, 2-dimensional bundle adjustment)을 수행할 수 있다. 일 실시예에서, 동기화부(400)는 2차원 번들 조정의 결과에 해당하는 번들 조정 호모그래피 행렬들(H'ro~H'rn) 및 보정 행렬(Hcor)을 이미지 병합부(500)에 제공할 수 있다. 번들 조정 호모그래피 행렬들(H'ro~H'rn) 및 보정 행렬(Hcor)에 대해서는 도 16 및 17을 참조하여 후술한다.
이미지 병합부(500)는 상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지(Iout)를 발생할 수 있다. 이미지 병합부(500)는 상기 동기화부의 2차원 번들 조정의 결과, 예를 들어, 번들 조정 호모그래피 행렬들(H'ro~H'rn) 및 보정 행렬(Hcor)에 기초하여 상기 유효 이미지들을 상기 기준 이미지에 정렬 또는 좌표 동기화하여 상기 동기화 이미지들을 발생할 수 있다. 전술한 바와 같이, 이미지 병합부(500)는 상기 기준 이미지 및 상기 동기화 이미지들을 이용하여 이미지 스티칭(image stitching), 노이즈 감소(noise reduction), 동적 범위(dynamic range)의 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
저장부(600)는 카메라와 같은 외부 장치로부터 제공되는 입력 이미지들을 수신하여 저장할 수 있다. 저장부(600)는 병합 대상이 되는 하나의 이미지 세트를 구성하는 복수의 입력 이미지들(I0~Im)을 특징 점 발생부(100)에 제공할 수 있다. 또한 저장부(600)는 기준 이미지 정보(RINF) 및 유효 이미지 정보(VINF)에 기초하여 복수의 입력 이미지들(I0~Im) 중 기준 이미지(Ir) 및 유효 이미지들(I0~In)을 이미지 병합부(500)에 제공할 수 있다. 저장부(600)는 데이터 처리 장치(10)에 전속된 메모리 장치일 수도 있고, 데이터 처리 장치(10)가 포함되는 시스템의 공용 메모리 장치일 수도 있다.
도 3은 본 발명의 실시예들에 따른 이미지 병합 방법을 수행하는 시스템을 나타내는 블록도이다.
도 3을 참조하면, 시스템(1000)은 카메라부(CAM)(1114), 트랜시버(TRX)(1140), 제어 유닛(1160) 및 사용자 인터페이스(1150)를 포함할 수 있다.
카메라부(1114)는 이미지를 캡쳐하여 제공하는 적어도 하나의 이미지 센서 또는 적어도 하나의 카메라를 포함할 수 있다. 일 실시예에서, 도 4a를 참조하여 후술하는 바와 같이, 카메라부(1114)는 복수의 카메라들을 포함할 수 있고, 상기 복수의 카메라들에 의해 각각 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다. 다른 실시예에서, 도 4b를 참조하여 후술하는 바와 같이, 카메라부(1114)는 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다.
트랜시버(140)는 유선 또는 무선 통신 링크를 통해 또 다른 네트워크(예를 들어, 광역 네트워크, 이를테면, 인터넷 또는 셀룰러 네트워크)로의 연결성(connectivity)을 제공할 수 있다.
사용자 인터페이스(1150)는 키보드, 키패드와 같은 입력 수단(DSP)(1152) 및 이미지를 표시하는 디스플레이(DSP)(1112)를 포함할 수 있다. 터치 스크린/센서를 갖는 디스플레이(1112)로 가상 키패드를 통합시키는 경우 키보드 또는 키패드(1152)는 생략될 수 있다.
제어 유닛(1116)은 범용 프로세서(PRC)(1161), 하드웨어(HW)(1162), 펌웨어(FW)(1163), 저장부(MEM)(1164), 이미지 신호 프로세서(1161)(1166), 그래픽 엔진(GENG)(1167) 및 버스(1177)을 포함할 수 있다.
제어 유닛(1160)은 본 발명의 실시예들에 따른 이미지 병합 방법을 구현하도록 구성될 수 있다. 예를 들어, 제어 유닛(1160)은 도 3을 참조하여 설명한 데이터 처리 장치(10)의 기능들을 구현하도록 구성될 수 있다.
본 발명의 실시예들은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
일 실시예에서, 본 발명의 실시예들에 따른 이미지 병합 방법은 이미지 신호 프로세서(1166)에 의해 수행될 수 있다. 즉 도 2를 참조하여 설명한 데이터 처리 장치(10)는 이미지 신호 프로세서(1166)에 포함될 수 있다.
일 실시예에서, 데이터 처리 장치로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들의 형태로 구현될 수 있다. 상기 프로그램 명령들은 소프트웨어(SW)(1165)의 형태로 저장부(1164)에 저장되고 프로세서(1161) 및/또는 이미지 신호 프로세서(1166)에 의해 상기 프로그램 명령들이 실행될 수 있다.
프로세서(1161)는, 컴퓨터 프로그램을 구성하는 명령들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 명령들을 실행하기 위해, 프로세서(1161)는 내부 레지스터, 내부 캐시(cache), 저장부(1164)로부터 상기 명령들을 검색(retrieve)(또는 페치(fetch))하고; 상기 명령들을 디코딩 및 실행하고; 그 다음에, 하나 이상의 결과들을 내부 레지스터, 내부 캐시 및/또는 저장부(1164)에 기입할 수 있다.
시스템(1000)은 어떤 적절한 물리적 형태를 취하는 컴퓨터 시스템일 수 있다. 시스템(1000)은 내장형(embedded) 컴퓨터 시스템, 시스템-온-칩(system-on-chip: SOC), 단일-보드 컴퓨터 시스템(single-board computer system: SBC)(예를 들면, 컴퓨터-온-모듈(computer-on-module: COM) 또는 시스템-온-모듈(system-on-module: SOM)과 같은 것), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크(interactive kiosk), 메인프레임, 컴퓨터 시스템들의 메시(mesh), 모바일 전화, 개인 정보 단말기(personal digital assistant: PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다.
본 명세서에서, 컴퓨터-판독가능한 저장 매체 또는 매체들은, 적절한 경우, 하나 이상의 반도체-기반 또는 기타 집적 회로들(integrated circuits: ICs)(예를 들면, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays: FPGAs) 또는 애플리케이션 특정적 IC들(application-specific ICs: ASICs)), 하드디스크 드라이브들(HDDs), 하이브리드 하드 드라이브들(hybrid hard drives: HHDs), 광디스크들, 광디스크 드라이브들(optical disc drives: ODDs), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(floppy disk drives: FDDs), 자기 테이프들, 고체 상태 드라이브들(SSDs), RAM 드라이브들, 시큐어 디지털(SECURE DIGITAL) 카드들 또는 드라이브들, 다른 어떤 적절한 컴퓨터-판독가능한 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 저장 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.
도 4a 및 4b는 병합 대상이 되는 입력 이미지들의 제공 방법의 실시예들을 나타내는 도면들이다.
도 4a에는 축(AX) 상에 배열된 복수의 카메라들(CAM1, CAM2)의 예시적인 어레이가 도시되어 있다. 전술한 병합 대상이 되는 복수의 입력 이미지들은 이와 같은 복수의 카메라들(CAM1, CAM2)에 의해 각각 캡쳐된 이미지들(I1, I2)일 수 있다. 도시의 편의상 도 4a에는 2개의 카메라들이 도시되어 있으나, 이에 한정되는 것은 아니며 3개 이상의 카메라들을 이용하여 병합대상이 되는 복수의 이미지들이 제공될 수 있다.
실시예들에 따라서, 카메라들(CAM1, CAM2)은 개별 사진 이미지들을 캡처하거나 또는 일련의 이미지들을 비디오로서 캡처하도록 구성된, 이미지 센서를 포함할 수 있다. 예를 들어, 카메라(212)는 전하 결합 소자(charge-coupled device: CCD) 이미지 센서 또는 상보형 금속산화 반도체(complementary metal-oxide-semiconductor: CMOS) 능동 픽셀(active-pixel) 이미지 센서를 포함할 수 있다.
카메라들(CAM1, CAM2)은 카메라(212)의 렌즈 어셈블리의 위치, 초점 거리(focal length), 또는 배율(magnification) 및 카메라(212)의 이미지 센서의 위치 또는 크기에 적어도 부분적으로 의존하는, 시야(field of view: FOV)를 가질 수 있다. 도 4a에 도시된 바와 같이, 제1 카메라(CAM1)는 제1 시야 범위(FOV1)를 가질 수 있고 제2 카메라(CAM2)는 제2 시야 범위(FOV2)를 가질 수 있다.
FOV는 카메라들(CAM1, CAM2)을 통해 볼 수 있는 특정 장면의 수평, 수직, 또는 대각선 범위(extent)를 의미할 수 있다. 카메라들(CAM1, CAM2)의 FOV 내의 객체들은 카메라(212)의 이미지 센서에 의해 캡처될 수 있고, 상기 FOV 밖의 객체들은 상기 이미지 센서 상에 나타나지 않을 수 있다.
카메라는 가리키는 각도 또는 방향을 나타내는 배향(orientation)을 가질 수 있다. 도 4a에 도시된 바와 같이, 제1 카메라(CAM1)는 제1 배향(ORT1)을 가질 수 있고 제2 카메라(CAM2)는 제2 배향(ORT1)을 가질 수 있다.
카메라간 간격(inter-camera spacing)(ICS), 카메라들(CAM1, CAM2)의 시야 범위들(FOV1, FOV2) 및 배향들(ORT1, ORT2)에 의존하여 카메라들(CAM1, CAM2)에 의해 캡쳐되는 이미지들(I1, I2)의 중첩 영역은 변화하게 된다. 따라서, 이미지들(I1, I2)의 효율적인 병합을 위해서는 먼저 이미지들(I1, I2)을 동일한 2차원 평면에 정렬하여 동기화 또는 좌표 동기화하는 과정이 요구된다.
도 4b에 도시된 바와 같이, 전술한 병합 대상이 되는 복수의 입력 이미지들은 1개의 카메라(CAM)에 의해 순차적으로 캡쳐된 이미지들 이미지들(I1, I2)일 수 있다. 예를 들어, 이미지들(I1, I2)은 연속 촬영 모드에 의해 캡쳐된 이미지들일 수도 있고, 하나의 이미지의 품질 향상을 위한 오버샘플링되는 이미지들일 수도 있다. 이 경우 이미지들(I1, I2)이 캡쳐되는 시간적 차이가 발생하고, 모바일용 카메라의 경우에는 사용자의 손떨림 등에 의해 이미지들(I1, I2)의 중첩 영역은 변화하게 된다. 따라서, 도 4b의 경우와 마찬가지로 이미지들(I1, I2)의 효율적인 병합을 위해서는 먼저 이미지들(I1, I2)을 동일한 2차원 평면에 정렬하여 동기화 또는 좌표 동기화하는 과정이 요구된다.
도 5는 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 특징 점 검출 방식의 예들을 나타내는 도면들이다.
이미지에서 물체를 추적하거나 인식할 때, 이미지들을 매칭할 때 가장 일반적인 방법은 이미지에서 주요 특징 점들(key point)을 추출하여 매칭하는 것이다. 특징 점은 통상 키 포인트(key point) 또는 관심 점(interesting point)라 지칭될 수 있다.
첫번째 이미지와 대응되는 지점을 두번째 이미지에서 찾는다고 했을 때, A 지점은 쉽게 찾을 수 있지만 B 지점은 찾기가 곤란할 수 있다. 이와 같이　이미지들을 매칭하는데 있어서 A 지점처럼 주위 배경과 구분되면서 식별이 용이한 지점을 특징 점으로 추출할 수 있다.
좋은 특징 점이 되기 위한 조건은, 물체의 형태나 크기, 위치가 변해도 쉽게　식별이 가능할 것, 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있을 것 등이 있다.
이미지에서 이러한 조건을 만족하는 가장 좋은 특징 점 은 바로 코너점(corner point)이며, 도 5에 도시된 해리스 코너(Harris Corner), SIFT 코너와 같은 대부분의 특징 점 추출 알고리즘들은 이러한 코너점 검출을 바탕을 두고 있다.
실시예들에 따라서, 특징 점 검출 및 매칭은 이미지의 그레이스케일(grayscale) 버전들에 대해 수행될 수 있고, 특정 콘트라스트는 별도의 연산(operation)에서 또는 룩업 테이블(look-up table)을 통해 이미지들에 적용될 수 있다.
실시예들에 따라서, 특징 점 검출은 로컬 콘트라스트 향상을 이용하여 이미지에 대해 글로벌하게 수행될 수 있다. 로컬 콘트라스트 향상은 "로컬" 콘트라스트를 증가시키는 동시에 "글로벌" 콘트라스트의 증가를 방지하여, 대규모 섀도우(shadow)/하이라이트(hightlight) 디테일을 보호할 수 있다.
예를 드렁, 로컬 콘트라스트 경사들(gradients)은 특징에 대응되는 에지, 코너(corner), 또는 "블롭(blob)"을 나타낼 수 있다. 이미지의 특징들은, 예를 들면, 스케일 불변 특징 변환(scale-invariant feature transform: SIFT), 고속의 강인한 특징 추출(speeded up robust features: SURF), 또는 배향된 FAST 및 회전된 BRIEF(oriented FAST and Rotated BRIEF: ORB) 와 같은 특징 검출 알고리즘을 이용하여 검출될 수 있다. 여기서 FAST는 "가속된 세그먼트 테스트로부터의 특징들(features from accelerated segment test)"을 나타내고 BRIEF는 "이진 강건한 독립적 기본 특징들(binary robust independent elementary features)"을 나타낸다.
특정 실시예들에서, 특징 점 검출 프로세스는 하나 이상의 특징 점들을 검출할 수 있다. 예를 들어, 특징 점들은 다수의 가우스 평활화 연산들(Gaussian smoothing operations)의 차이를 취하여 검출될 수 있다. 또한, 특징 점들의 위치 및 각 특징 점의 콘트라스트 값들은 저장될 수 있다.
실시예들에 따라서, 특징 점들을 매칭하는 데 이용되는 영역의 크기는 이미지들의 크기에 따라 설정될 수 있다. 특정 실시예들에서, 카메라 시스템의 기하구조를 알 수 있으며, 알려진 카메라 시스템 기하구조에 기반하여, 인접한 이미지들의 중첩 영역들의 대략적인 픽셀수는 선험적으로 알 수 있다. 제한으로서가 아니라 예로서, 카메라 시스템의 카메라들의 위치 및 배향은 서로에 대해 고정되어 있기 때문에, 카메라들 간의 중첩도 또한 알 수 있다.
특정 실시예들에서, 특징 점들의 대응 쌍들을 결정하는 단계는 최근접 이웃(nearest-neighbor) 검색 알고리즘을 이용하여 수행될 수 있다. 예를 들어, 최근접 이웃 검색 알고리즘은, 이미지의 중첩 영역의 각 검색 영역 내의 특징 점들의 대응 패턴들과 매칭되는, 이미지의 중첩 영역의 각 검색 영역 내의 특징 점들의 패턴들을 식별할 수 있다.
특정 실시예들에서, 최근접 이웃 알고리즘은 대응 특징 점들의 쌍들을 결정하기 위해 각 특징 점 주위의 검색 반경을 이용할 수 있다. 검색 영역은 32 픽셀, 64 픽셀의 반경, 또는 어떤 적절한 반경을 가질 수 있거나, 또는 검색 영역은 32 픽셀 × 32 픽셀, 64 픽셀 × 64 픽셀의 크기, 또는 어떤 적절한 크기를 가질 수 있다.
특정 실시예들에서, 최종 호모그래피(homography) 계산 전에 상기 대응 특징 점들의 쌍들을 재정렬하기 위해 이차적 개량(secondary refinement) 단계가 이용될 수 있다.
도 6a 내지 6e는 병합 대상이 되는 입력 이미지들을 포함하는 이미지 세트의 일 예를 나타내는 도면들이다.
도 6a 내지 6e에는 병합 대상이 되는 제1 내지 제5 이미지들(I0~I4) 및 추출된 특징 점들이 도시되어 있다. 동일한 장면을 캡쳐한 제1 내지 제5 이미지들(I0~I4) 중에서 어떤 이미지를 기준으로 좌표 동기화를 수행하기 위한 기준 이미지로 선택하는가는 이미지 병합 성능에 큰 영향을 미친다. 직관적으로 제3 이미지(I2)가 가장 많은 특징 점들을 포함하지만, 특징 점들의 개수 만으로 기준 이미지를 선택하는 것은 바람직하지 않다.
본 발명의 실시예들에 따라서, 매칭 정보에 기초하여 각각의 입력 이미지의 특징 점들 및 나머지 입력 이미지들의 특징 점들 사이의 상관 관계 값을 결정하고 상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택할 수 있다. 이와 같이, 다른 나머지 입력 이미지들과 상관 관계가 가장 큰 기준 이미지를 선택함으로써 정확도가 높은 호포그래피를 추정할 수 있고 이미지 병합 성능을 향상시킬 수 있다.
도 7은 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 매핑 정보의 일 예를 나타내는 도면이다.
도 7에는 예시적으로 병합 대상이 되는 제1 내지 제5 입력 이미지들(I0~I4)에 각각 포함되는 특징 점들(Xij)의 매핑 정보(MINF)가 도시되어 있다. 도 7에서 동일한 행에 배열된 특징 점들은 이미지의 동일한 지점에 대응된다. 예를 들어, 매핑 정보(MINF)를 통하여 제1 입력 이미지(I0)의 특징 점(X02), 제2 입력 이미지(I1)의 특징 점(X11), 제3 입력 이미지(I2)의 특징 점(X22) 및 제4 입력 이미지(I3)의 특징 점(X32)은 모두 대응되는 특징 점들이고, 제5 입력 이미지(I4)에는 대응되는 특징 점이 없음을 알 수 있다.
도 8은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 기준 이미지 결정의 일 실시예를 나타내는 순서도이다.
도 8을 참조하면, 2개의 입력 이미지들의 특징 점들의 매칭 정보에 기초하여 상기 2개의 입력 이미지들 사이의 변환을 나타내는 호모그래피 행렬을 결정한다(S210).
상기 호모그래피 행렬을 이용하여 상기 2개의 입력 이미지들에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리를 계산한다(S220).
상기 유클리디안 거리가 임계 거리보다 작은 경우 상기 2개의 특징 점들이 유효 범위 내에 있다고 판단한다(S230).
상기 복수의 입력 이미지들의 각각에 대하여, 각각의 입력 이미지의 특징 점들과 상기 유효 범위 내에 있는 나머지 입력 이미지들의 특징 점들의 개수에 상응하는 상관 관계 값을 계산한다(S240).
상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택한다(S250).
이하 도 9a 내지 14를 참조하여, 도 8의 기준 이미지 결정의 실시예에 대해 설명한다.
도 9a 내지 9d는 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 이미지 변환의 예들을 나타내는 도면들이다.
이미지 변환은 주어진 영상에 특정 알고리즘을 적용하여 변환된 이미지를 얻어내는 것을 의미한다. 즉, 주어진 영상을 평행이동(translation)하거나 회전(rotation), 크기(scale), 시점(perspective) 등을 적용해 원하는 이미지를 얻어내는 방식이다.
이미지 변환은 도 9a 에 도시된 바와 같은 리지드 변환(Rigid Transformation), 도 9b에 도시된 바와 같은 유사 변환(Similarity Transformation), 도 9c에 도시된 바와 같은 아핀 변환(Affine Transformation), 도 9d에 도시된 바와 같은 투영 변환(Projective Transformation) 등을 포함한다.
이러한 변환을 적용하면 기존 위치를 나타내는 좌표(x, y)에 이러한 변환을 적용하면 변환된 위치(x', y')를 구할 수 있다.
도 9a의 리지드 변환은 이미지 변환의 가장 기본적인 형태로, 이미지의 크기를 고정시킨 변환이다. 즉, 평행이동 (translation)과 회전(rotation) 만을 허용한 변환이다.
도 9b의 유사 변환은 물체의 크기 변화, 즉 스케일(scale)의 변화를 추가적으로 고려한 변환이며, 이때 물체의 모양은 보존된다.
도 9c의 아핀 변환은 상기 유사 변환에 선형성을 보존하는 특징을 더한 변환이다. 따라서 직선의 평행 관계, 길이와 거리의 비 등이 보존된다.
도 9d의 투영 변환은 3D 공간에서의 이미지를 2D 공간으로 투영시킨 변환이다. 즉, 3D 공간에서 서로 다른 두 시점에서 바라본 두 개의 이미지를 서로 변환하는 방법이다. 이때 서로 다른 두 이미지의 관계를 표현한 행렬을 호모그래피(homography) 행렬 또는 단순히 호모그래피라 한다.
즉, 일반적인 투영 변환의 관계를 표현하는 식을 구하면 서로 다른 두 이미지를 변환할 수 있으며, 이때 그 관계가 호모그래피라고 불리는 변환 행렬이다.
영상 처리에서는 주로 서로 다른 시점에서 촬영한 두 개의 2D 이미지를 변환하는 것이 필요하다. 이때 요구되는 호모그래피의 크기는 3x3이다. 단, 8개의 값만 주어져도 변환이 가능한데, 이를 위해서는 변환의 기준이 되는 4개의 대응쌍이 필요하다. 다시 말해, 어느 점이 어느 점으로 대응될 것인지의 대응점 순서쌍이 4개 필요하다.
도 10은 본 발명의 실시예들에 따른 이미지 병합 방법에 사용되는 호모그래피 행렬을 설명하기 위한 도면이다.
도 10에는 두 이미지들에서의 1개의 대응쌍 X(u,v,1) 와 X'(u', v',1)에 해당하는 호모그래피 행렬(H)를 구하는 과정이 도시되어 있다. 호모그래피 행렬(H)의 성분들(h1~h9)를 구하면 호모그래피 행렬이 결정된다.
도 10의 윗부분에 도시된 바와 같은 HX=X'의 관계를 도 10의 아랫부분에 도시된 바와 같은 Ah= 0 형태로 변경하여 h 값을 구한다.
한 개의 대응쌍에 대하여 A 행렬은 은 3x9 형태이며 대응점이 n개인 경우에 A 행렬은 3nx9 형태가 된다.
도 11 내지 13은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 기준 이미지 결정의 일 실시예를 설명하기 위한 도면들이다.
도 11을 참조하면, 병합 대상이 되는 입력 이미지들이 제1 내지 제5 이미지들(I0~I4)인 경우, 도 10을 참조하여 설명한 바와 같이 서로 다른 2개의 입력 이미지들 사이의 변환에 해당하는 호모그래피 행렬들 Hij (i=0~4, j=1~4)을 구한다. Hij는 i번째 입력 이미지(Ii)의 좌표를 j번째 이미지(Ij)에 상응하는 2차원 평면에 정렬한 좌표로 변환하는 호모그래피 행렬이다. Hij 는 Hji에 역행렬이 되므로 중복되는 호모그래피 행렬들은 도시가 생략되어 있다.
이와 같이, 2개의 입력 이미지들(Ii, Ij)의 특징 점들의 매칭 정보에 기초하여 2개의 입력 이미지들(Ii, Ij) 사이의 변환을 나타내는 호모그래피 행렬(Hij)을 결정한다(도 8의 단계 S210).
도 12를 참조하면, 호모그래피 행렬(Hij)을 이용하여 상기 2개의 입력 이미지들(Ii, Ij)에 각각 포함되고 서로 대응되는 2개의 특징 점들(Xij, X^ij)을 동일한 2차원 평면(예를 들어, 도 12에 도시된 바와 같이 하나의 입력 이미지(Ii)에 상응하는 2차원 평면)에 정렬한 2개의 재투영 점들(Xij, HjiX^ij) 사이의 유클리디안 거리(Dij)를 계산한다(도 8의 단계 S220). 2개의 재투영 점들(Xij, HjiX^ij) 사이의 유클리디안 거리(Dij)는 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Dij = || Xij - HjiX^ij||
유클리디안 거리(Dij) 가 임계 거리(Dth)보다 작은 경우 수학식 2에 표현된 바와 같이 대응되는 2개의 특징 점들(Xij, X^ij)이 유효 범위 내에 있다고 판단한다(도 8의 단계 S230).
[수학식 2]
(Xij, X^ij): 유효(inlier), if Dij < Dth
: 무효(outlier), otherwise
도 13에는 병합 대상이 되는 제1 내지 제5 입력 이미지들(I0~I4) 중 2개의 입력 이미지들에 대한 유효 범위 내에 있는 특징 점들의 대응 쌍들의 개수들 및 상기 개수들을 각각의 입력 이미지 별로 합한 상관 계수 값들(SNi)(i=0~4)이 예시되어 있다. 이와 같은 방식으로, 병합 대상이 되는 복수의 입력 이미지들의 각각에 대하여, 각각의 입력 이미지의 특징 점들과 상기 유효 범위 내에 있는 나머지 입력 이미지들의 특징 점들의 대응 쌍들의 개수에 상응하는 상관 관계 값을 계산한다 (도 8의 단계 S240).
도 13의 예시에서, 제1 입력 이미지(I0)의 다른 모든 이미지들(I1, I2, I3, I4)에 대한 상관 계수 값(SN0)은 107이고, 제2 입력 이미지(I1)의 다른 모든 입력 이미지들(I0, I2, I3, I4)에 대한 상관 계수 값(SN1)는 116이고, 제3 입력 이미지(I2)의 다른 모든 입력 이미지들(I0, I1, I3, I4)에 대한 상관 계수 값(SN2)는 149이고, 제4 입력 이미지(I3)의 다른 모든 입력 이미지들(I0, I1, I2, I4)에 대한 상관 계수 값(SN3)는 95이고, 제5 입력 이미지(I4)의 다른 모든 입력 이미지들(I0, I1, I2, I3)에 대한 상관 계수 값(SN4)는 101이다. 결과적으로 가장 큰 상관 관계 값(SN2=149)를 갖는 제3 입력 이미지(I2)를 기준 이미지(Ir)로 선택할 수 있다.
이와 같이, 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택할 수 있다(도 8의 단계 S250).
이와 같이, 모든 입력 이미지들의 상관 관계를 고려하여 기준 이미지를 선택함으로써 이미지 병합 성능을 향상시킬 수 있다.
도 14는 본 발명의 실시예들에 따른 이미지 병합 방법에 의해 결정된 기준 이미지 및 유효 이미지들의 일 예를 나타내는 도면이다.
도 14에는 전술한 방법에 의해 선택된 기준 이미지(Ir) 및 유효 이미지들(I0~In)과 이에 포함되는 특징 점들이 도시되어 있다. 기준 이미지(Ir)의 특징 점들(Xrj)과 대응되는 각각의 유효 이미지(Ii)의 특징 점들(X^ij)이 점선 연결로 표시되어 있다. 도 16 및 17을 참조하여 후술하는 바와 같이, 기준 이미지(Ir)의 특징 점들(Xrj) 및 유효 이미지들(I0~In)의 특징 점들(X^ij) 사이의 변환을 나타내는 최초 호모그래피 행렬들(Hr0~Hrn)을 이용하여 본 발명의 실시예들에 따른 2차원 번들 조정을 수행할 수 있다.
도 15는 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 유효 이미지 결정의 일 실시예를 나타내는 순서도이다.
도 15를 참조하면, 기준 이미지의 특징 점들 및 1개의 입력 이미지의 특징 점들의 매칭 정보에 기초하여 상기 기준 이미지 및 상기 1개의 입력 이미지 사이의 변환을 나타내는 호모그래피 행렬을 결정한다(S310).
상기 호모그래피 행렬을 이용하여 상기 기준 이미지 및 상기 1개의 입력 이미지에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리를 계산한다(S320).
상기 유클리디안 거리가 임계 거리보다 작은 경우 상기 2개의 특징 점들이 유효 범위 내에 있다고 판단한다(S330).
상기 1개의 입력 이미지의 상기 유효 범위 내에 있는 특징 점들의 개수가 임계 개수보다 작은 경우, 상기 1개의 입력 이미지를 상기 노이즈 이미지로 결정한다(S340).
상기 1개의 입력 이미지의 상기 유효 범위 내에 있는 특징 점들의 개수가 임계 개수 이상인 경우 상기 1개의 입력 이미지를 상기 유효 이미지로 결정한다(S350).
상기 2개의 특징 점들이 유효 범위 내에 있는지의 판단 방법은 수학식 1 및 수학식 2를 참조하여 전술한 바와 같으므로 중복되는 설명을 생략한다.
상기 노이즈 이미지 또는 상기 유효 이미지의 결정(S340, S350)은 도 13의 예시를 참조하여 설명될 수 있다.
도 13의 예시에서, 기준 이미지(Ir)로 선택된 제3 입력 이미지(I2)에 대하여, 제1 입력 이미지(I0)의 상기 유효 범위 내에 있는 특징 점들의 개수는 37이고, 제2 입력 이미지(I1)의 상기 유효 범위 내에 있는 특징 점들의 개수는 41이고, 제4 입력 이미지(I3)의 상기 유효 범위 내에 있는 특징 점들의 개수는 32이고, 제5 입력 이미지(I4)의 상기 유효 범위 내에 있는 특징 점들의 개수는 39이다. 만약 상기 기준 개수를 35로 설정한 경우, 기준 개수인 35보다 작은 상기 유효 범위 내에 있는 특징 점들의 개수를 갖는 제4 입력 이미지(I3)를 노이즈 이미지로 결정하고, 기준 개수인 35 이상인 상기 유효 범위 내에 있는 특징 점들의 개수를 갖는 제1 입력 이미지(I0), 제2 입력 이미지(I1) 및 제5 입력 이미지(I4)를 유효 이미지들로 결정할 수 있다.
이와 같이, 블러(blur)나 노이즈(noise)가 심하여 이미지 병합에 적합하지 않은 영상을 노이즈 이미지로서 제거함으로써 이미지 병합 성능을 향상시킬 수 있다.
도 16 및 17은 본 발명의 실시예들에 따른 이미지 병합 방법을 위한 2차원 번들 조정을 설명하기 위한 도면들이다.
도 16에는 전술한 방법에 의해 선택된 기준 이미지(Ir) 및 유효 이미지들(I0~In)과 이에 포함되는 특징 점들이 도시되어 있다. 또한, 도 16에는 본 발명의 실시예들에 따른 2차원 번들 조정을 수행한 결과에 해당하는 번들 조정 호모그래피 행렬들(H'r0~H'rn) 및 번들 조정 특징 점들(X'거)이 도시되어 있다. 번들 조정 호모그래피 행렬들(H'r0~H'rn)은 기준 이미지(Ir)의 번들 조정 특징 점들(X'rj) 및 유효 이미지들(I0~In)의 특징 점들(X^ij) 사이의 변환을 나타낸다.
본 발명의 실시예들에 따른 2차원 번들 조정은, 매칭 정보에 기초하여 코스트 함수를 결정하고, 상기 코스트 함수의 값이 최소가 되도록 유효 이미지들(I0~In)을 각각 기준 이미지(Ir)에 정렬하는 방식으로 수행될 수 있다. 여기서, 유효 이미지를 기준 이미지에 정렬한다는 것은, 유효 이미지의 위치를 상기 상응하는 번들 조정 호모그래피 행렬을 이용하여 기준 이미지에 상응하는 2차원 평면 상의 좌표로 변환하는 것을 나타낸다.
일 실시예에서, 상기 코스트 함수는 수학식 3에 도시된 바와 같은 재투영 에러 함수(Ereproj)로 설정될 수 있다.
[수학식 3]
Figure pat00001
수학식 3의 재투영 에러 함수(Ereproj)는 유효 이미지들의 특징 점들(X^ij)을 기준 이미지(Ir)에 상응하는 2차원 평면에 정렬한 재투영 점들(HriX^ij)과 재투영 점들에 상응하는 기준 이미지(Ir)의 특징 점들(Xrj) 사이의 유클리언 거리들의 합에 상응한다.
기준 이미지(Ir) 및 유효 이미지들(I0~In) 사이의 변환을 나타내는 최초 호모그래피 행렬들(Hr0~Hrn) 및 기준 이미지(Ir)의 특징 점들(Xr0~Xrk)의 좌표들을 코스트 함수, 예를 들어, 재투영 에러 함수(Ereproj)의 독립 변수들로 설정할 수 있다.
상기 코스트 함수의 값이 최소가 될 때의 최초 호모그래피 행렬들(Hr0~Hrn) 에 상응하는 번들 조정 호모그래피 행렬들(H'r0~H'rn) 및 기준 이미지(Ir)의 특징 점들에 상응하는 번들 조정 특징 점들(X'r0~X'rk)을 결정할 수 있다.
일 실시예에서, 최초 호모그래피 행렬들(Hr0~Hrn) 및 기준 이미지(Ir)의 특징 점들(Xr0~Xrk)에 대한 편미분을 수행하여 상기 코스트 함수의 최소 값에 상응하는 번들 조정 호모그래피 행렬들(H'r0~H'rn) 및 번들 조정 특징 점들(X'r0~X'rk)을 결정할 수 있다. 예를 들어, 가우스-뉴튼 알고리즘 또는 그래디언트 디센트 알고리즘을 이용하여 상기 코스트 함수의 최소 값에 상응하는 번들 조정 호모그래피 행렬들(H'r0~H'rn) 및 번들 조정 특징 점들(X'r0~X'rk)을 결정할 수 있다.
도 17에 도시된 바와 같이, 번들 조정 특징 점들(X'ri)은 기준 이미지(Ir)의 본래의 특징 점들(Xri)과 어긋나게 되므로, 유효 이미지들(Ii)의 특징 점들(X^ij)을 번들 조정 호모그래피 행렬들(H'ri)을 이용하여 변환하면 오차가 발생하게 된다.
따라서, 기준 이미지(Ir)의 특징 점들(Xij) 및 번들 조정 특징 점들(X'ij) 사이의 변환을 나타내는 보정 행렬(Hcor)을 결정하고, 보정 행렬(Hcor) 및 번들 조정 호모그래피 행렬들(H'ri)을 이용하여 유효 이미지들(Ir)의 특징 점들(X^ij)을 기준 이미지(Ir)에 상응하는 2차원 평면에 정렬하여 동기화 이미지들을 발생할 수 있다.
기준 이미지(Ir)의 특징 점들(Xij) 및 번들 조정 특징 점들(X'ij) 사이의 변환을 나타내는 보정 행렬(Hcor)은 수학식 4와 같이 표현될 수 있다.
[수학식 4]
Xrj = HcorX'rj
결과적으로, 유효 이미지들(Ii)의 특징 점들(X^ij)을 보정 행렬(Hcor)과 번들 조정 호모그래피 행렬들(H'ri)의 각각을 곱한 행렬들(HcorH'ri)을 이용하여 변환함으로써, 유효 이미지들(Ii)의 특징 점들(X^ij)을 기준 이미지(Ir)에 상응하는 2차원 평면에 더욱 정밀하게 정렬 또는 좌표 동기화할 수 있다.
도 18 및 19는 본 발명의 실시예들에 따른 이미지 병합 방법의 수행 결과를 나타내는 도면들이다.
도 18 및 19에는 스마트폰을 이용하여 캡쳐한 서로 다른 테스트 이미지 세트들에 대하여 본 발명을 적용한 결과가 도시되어 있다. 각각의 테스트 이미지 세트는 5개의 입력 이미지들을 포함한다.
도 18에서 세로축은 본 발명에 따른 구조적 유사 지수(SSIM, structural similarity index)에서 종래기술에 따른 구조적 유사 지수를 뺀 차이(DIFF)를 나타낸다.
구조적 유사 지수는 수학식 5와 같이 표현된다.
[수학식 5]
Figure pat00002
수학식 5에서, x, y는 좌표 값들을 나타내고, μx는 x의 평균을 나타내고, μy는 y의 평균을 나타내고, σ2x은 x의 분산을 나타내고, σ2y은 y의 분산을 나타내고, c1 및 c2는 약한 분자를 갖는 분모를 안정화하기 위한 변수들이다. SSIM 값이 클수록 기준 이미지와 유사도가 높음을 나타내고, 와핑(warping) 성능이 좋음을 나타낸다.
도 18에 도시된 바와 같이, 거의 대부분의 테스트 이미지 세트들에 대해서 본 발명에 따른 구조적 유사 지수(SSIM, structural similarity index)에서 종래기술에 따른 구조적 유사 지수를 뺀 차이(DIFF)가 양의 값을 가지며, 결과적으로 종래 기술과 비교하여 본 발명의 실시예들에 따른 이미지 병합 방법에 의한 이미지 병합 성능이 우수함을 알 수 있다.
도 19에서 세로축은 본 발명의 실시예들에 따른 이미지 병합 방법에 의해 기준 이미지로 결정된 입력 이미지의 인덱스를 나타낸다.
도 19에 도시된 바와 같이 대부분의 테스트 이미지 세트들에 대하여 제1 내지 제5 입력 이미지들 중에서 제2 이미지(index=1) 및 제3 이미지(index=3)가 기준 이미지로 선택되었으며, 손떨림이 있는 상태에서 테스트 영상이 모션이 적은 연속적 영상이어서 중간 이미지가 기준 이미지로 많이 선택된 것으로 추정된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는 다른 입력 이미지들과 상관 관계(correlation)가 큰 입력 이미지를 기준 이미지로서 선택하고 상기 기준 이미지에 기초하여 정확도 높은 호모그래피를 추정함으로써 이미지 병합 성능을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 이미지 병합 방법 및 상기 이미지 병합 방법을 수행하는 데이터 처리 장치는, 입력 이미지들 중 노이즈 이미지 제거, 2차원 번들 조정의 수행에 의한 호모그래피 행렬의 최적화 및/또는 호모그래피 리파인먼트를 통하여 병합 성능을 더욱 향상시킬 수 있다.
본 발명의 실시예들은 이미지 처리가 요구되는 장치 및 시스템에 유용하게 이용될 수 있다. 특히 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 단계;
    상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 단계;
    상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계;
    상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 단계; 및
    상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 포함하는 이미지 병합 방법.
  2. 제1 항에 있어서,
    상기 기준 이미지를 선택하는 단계는,
    상기 복수의 입력 이미지들의 각각에 대하여, 상기 매칭 정보에 기초하여 각각의 입력 이미지의 특징 점들 및 나머지 입력 이미지들의 특징 점들 사이의 상관 관계 값을 결정하는 단계; 및
    상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  3. 제2 항에서 있어서,
    상기 상관 관계 값은, 2개의 입력 이미지들에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리에 기초하여 결정되는 것을 특징으로 하는 이미지 병합 방법.
  4. 제3 항에서 있어서,
    상기 상관 관계 값은, 상기 유클리디안 거리가 임계 거리 이하인 특징 점들의 개수에 기초하여 결정되는 것을 특징으로 하는 이미지 병합 방법.
  5. 제1 항에 있어서,
    2개의 입력 이미지들의 특징 점들의 매칭 정보에 기초하여 상기 2개의 입력 이미지들 사이의 변환을 나타내는 호모그래피 행렬을 결정하는 단계;
    상기 호모그래피 행렬을 이용하여 상기 2개의 입력 이미지들에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리를 계산하는 단계;
    상기 유클리디안 거리가 임계 거리보다 작은 경우 상기 2개의 특징 점들이 유효 범위 내에 있다고 판단하는 단계;
    상기 복수의 입력 이미지들의 각각에 대하여, 각각의 입력 이미지의 특징 점들과 상기 유효 범위 내에 있는 나머지 입력 이미지들의 특징 점들의 대응 쌍들의 개수에 상응하는 상관 관계 값을 계산하는 단계; 및
    상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  6. 제1 항에서 있어서,
    상기 유효 이미지들을 결정하는 단계는,
    상기 기준 이미지의 특징 점들 및 1개의 입력 이미지의 특징 점들 사이의 기준 상관 관계 값을 결정하는 단계; 및
    상기 기준 상관 관계 값에 기초하여 상기 1개의 입력 이미지를 상기 노이즈 이미지 또는 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  7. 제6 항에 있어서,
    상기 기준 상관 관계 값은, 상기 기준 이미지 및 상기 1개의 입력 이미지에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리에 기초하여 결정되는 것을 특징으로 하는 이미지 병합 방법.
  8. 제7 항에서 있어서,
    상기 기준 상관 관계 값은, 상기 1개의 입력 이미지에 포함되고 상기 유클리디안 거리가 임계 거리 이하인 특징 점들의 개수에 기초하여 결정되는 것을 특징으로 하는 이미지 병합 방법.
  9. 제1 항에 있어서,
    상기 유효 이미지들을 결정하는 단계는,
    상기 기준 이미지의 특징 점들 및 1개의 입력 이미지의 특징 점들의 매칭 정보에 기초하여 상기 기준 이미지 및 상기 1개의 입력 이미지 사이의 변환을 나타내는 호모그래피 행렬을 결정하는 단계;
    상기 호모그래피 행렬을 이용하여 상기 기준 이미지 및 상기 1개의 입력 이미지에 각각 포함되고 서로 대응되는 2개의 특징 점들을 동일한 2차원 평면에 정렬한 2개의 재투영 점들 사이의 유클리디안 거리를 계산하는 단계;
    상기 유클리디안 거리가 임계 거리보다 작은 경우 상기 2개의 특징 점들이 유효 범위 내에 있다고 판단하는 단계;
    상기 1개의 입력 이미지의 상기 유효 범위 내에 있는 특징 점들의 개수가 임계 개수보다 작은 경우, 상기 1개의 입력 이미지를 상기 노이즈 이미지로 결정하는 단계; 및
    상기 1개의 입력 이미지의 상기 유효 범위 내에 있는 특징 점들의 개수가 임계 개수 이상인 경우 상기 1개의 입력 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  10. 제1 항에 있어서,
    상기 2차원 번들 조정을 수행하는 단계는,
    상기 매칭 정보에 기초하여 코스트 함수를 결정하는 단계; 및
    상기 코스트 함수의 값이 최소가 되도록 상기 유효 이미지들을 각각 상기 기준 이미지에 정렬하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  11. 제10 항에 있어서,
    상기 코스트 함수는, 상기 유효 이미지들의 특징 점들을 상기 기준 이미지에 상응하는 2차원 평면에 정렬한 재투영 점들과 상기 재투영 점들에 상응하는 상기 기준 이미지의 특징 점들 사이의 유클리언 거리들의 합에 상응하는 재투영 에러 함수인 것을 특징으로 하는 이미지 병합 방법.
  12. 제10 항에 있어서,
    상기 코스트 함수를 결정하는 단계는,
    상기 기준 이미지 및 상기 유효 이미지들 사이의 변환을 나타내는 최초 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들의 좌표들을 상기 코스트 함수의 독립 변수들로 설정하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  13. 제12 항에 있어서,
    상기 유효 이미지들을 각각 상기 기준 이미지에 정렬하는 단계는,
    상기 코스트 함수의 값이 최소가 될 때의 상기 최초 호모그래피 행렬들에 상응하는 번들 조정 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들에 상응하는 번들 조정 특징 점들을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 병합 방법.
  14. 제13 항에 있어서,
    상기 최초 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들에 대한 편미분을 수행하여 상기 코스트 함수의 최소 값에 상응하는 상기 번들 조정 호모그래피 행렬들 및 상기 번들 조정 특징 점들을 결정하는 것을 특징으로 하는 이미지 병합 방법.
  15. 제13 항에 있어서,
    가우스-뉴튼 알고리즘 또는 그래디언트 디센트 알고리즘을 이용하여 상기 코스트 함수의 최소 값에 상응하는 상기 번들 조정 호모그래피 행렬들 및 상기 번들 조정 특징 점들을 결정하는 것을 특징으로 하는 이미지 병합 방법.
  16. 제13 항에 있어서,
    상기 기준 이미지의 특징 점들 및 상기 번들 조정 특징 점들 사이의 변환을 나타내는 보정 행렬을 결정하는 단계; 및
    상기 보정 행렬 및 상기 번들 조정 호모그래피 행렬들을 이용하여 상기 유효 이미지들의 특징 점들을 상기 기준 이미지에 상응하는 2차원 평면에 정렬하여 상기 동기화 이미지들을 발생하는 것을 특징으로 하는 이미지 병합 방법.
  17. 제1 항에 있어서,
    상기 복수의 입력 이미지들은 복수의 카메라들에 의해 각각 캡쳐된 이미지들인 것을 특징으로 하는 이미지 병합 방법.
  18. 제1 항에 있어서,
    상기 복수의 입력 이미지들은 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들인 것을 특징으로 하는 이미지 병합 방법.
  19. 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 매칭 정보를 발생하는 단계;
    상기 복수의 입력 이미지들의 각각에 대하여, 상기 매칭 정보에 기초하여 각각의 입력 이미지의 특징 점들 및 나머지 입력 이미지들의 특징 점들 사이의 상관 관계 값을 결정하는 단계;
    상기 복수의 입력 이미지들 중에서 가장 큰 상관 관계 값을 갖는 입력 이미지를 상기 기준 이미지로서 선택하는 단계;
    상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 단계;
    상기 매칭 정보에 기초하여 상기 기준 이미지 및 상기 유효 이미지들 사이의 변환을 나타내는 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들의 좌표들을 독립 변수들로 갖는 코스트 함수를 결정하는 단계;
    상기 코스트 함수의 값이 최소가 될 때의 상기 호모그래피 행렬들을 보정한 최적 호모그래피 행렬들 및 상기 기준 이미지의 특징 점들을 보정한 최적 특징 점들을 결정하는 단계;
    상기 기준 이미지의 특징 점들 및 상기 최적 특징 점들 사이의 변환을 나타내는 보정 행렬을 결정하는 단계;
    상기 보정 행렬 및 상기 최적 호모그래피 행렬을 이용하여 상기 유효 이미지들의 특징 점들을 상기 기준 이미지에 상응하는 2차원 평면에 정렬하여 동기화 이미지들을 발생하는 단계; 및
    상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 단계를 포함하는 이미지 병합 방법.
  20. 복수의 입력 이미지들의 각각에 포함되는 특징 점들을 추출하고, 서로 다른 입력 이미지들에 포함되는 특징 점들의 대응 관계를 나타내는 매칭 정보를 발생하는 특징 점 발생부;
    상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 기준 이미지를 선택하는 기준 이미지 선택부;
    상기 매칭 정보에 기초하여 상기 복수의 입력 이미지들 중에서 노이즈 이미지를 제거하여 유효 이미지들을 결정하는 이미지 필터부;
    상기 유효 이미지들을 각각 상기 기준 이미지에 정렬한 동기화 이미지들을 발생하기 위한 2차원 번들 조정을 수행하는 동기화부; 및
    상기 기준 이미지 및 상기 동기화 이미지들을 병합하여 병합 이미지를 발생하는 이미지 병합부를 포함하는 데이터 처리 장치.
KR1020200052115A 2020-04-29 2020-04-29 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치 KR102697687B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200052115A KR102697687B1 (ko) 2020-04-29 2020-04-29 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
US17/027,733 US11232323B2 (en) 2020-04-29 2020-09-22 Method of merging images and data processing device
CN202011555155.3A CN113570529A (zh) 2020-04-29 2020-12-24 对图像进行融合的方法和数据处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200052115A KR102697687B1 (ko) 2020-04-29 2020-04-29 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치

Publications (2)

Publication Number Publication Date
KR20210133472A true KR20210133472A (ko) 2021-11-08
KR102697687B1 KR102697687B1 (ko) 2024-08-23

Family

ID=78158815

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200052115A KR102697687B1 (ko) 2020-04-29 2020-04-29 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치

Country Status (3)

Country Link
US (1) US11232323B2 (ko)
KR (1) KR102697687B1 (ko)
CN (1) CN113570529A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102703811B1 (ko) * 2024-02-01 2024-09-05 주식회사 에이모 다양한 영상 이미지 결합 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439938B (zh) * 2022-09-09 2023-09-19 湖南智警公共安全技术研究院有限公司 一种防分裂的人脸档案数据归并处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180158199A1 (en) * 2016-12-06 2018-06-07 Adobe Systems Incorporated Image alignment for burst mode images
KR20190027165A (ko) * 2017-09-06 2019-03-14 단국대학교 산학협력단 복수 이미지의 특징을 통일하는 이미지 조정 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100934211B1 (ko) 2008-04-11 2009-12-29 주식회사 디오텍 휴대용 단말기의 파노라마 이미지 생성 방법
KR101633893B1 (ko) 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101256194B1 (ko) 2010-10-26 2013-04-19 이태경 이종영상정합 또는 좌표동기화를 위한 참조점 추출방법
US8897543B1 (en) 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
CN104272344B (zh) * 2012-10-24 2017-07-14 株式会社摩如富 图像处理装置以及图像处理方法
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9547935B2 (en) 2014-02-24 2017-01-17 Vricon Systems Ab Method and a system for building a three-dimensional model from satellite images
KR102103252B1 (ko) 2015-12-28 2020-04-22 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 융합 방법 및 장치, 및 단말 디바이스
KR101884565B1 (ko) 2017-04-20 2018-08-02 주식회사 이볼케이노 2차원 이미지를 이용한 객체의 3차원 모델링 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180158199A1 (en) * 2016-12-06 2018-06-07 Adobe Systems Incorporated Image alignment for burst mode images
KR20190027165A (ko) * 2017-09-06 2019-03-14 단국대학교 산학협력단 복수 이미지의 특징을 통일하는 이미지 조정 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102703811B1 (ko) * 2024-02-01 2024-09-05 주식회사 에이모 다양한 영상 이미지 결합 방법

Also Published As

Publication number Publication date
US20210342633A1 (en) 2021-11-04
KR102697687B1 (ko) 2024-08-23
US11232323B2 (en) 2022-01-25
CN113570529A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
WO2021227360A1 (zh) 一种交互式视频投影方法、装置、设备及存储介质
Adel et al. Image stitching based on feature extraction techniques: a survey
CN110574026B (zh) 卷积引擎、电子设备和用于处理数据的方法
CN110637297B (zh) 卷积引擎、数据处理方法和电子设备
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
CN109313799B (zh) 图像处理方法及设备
CN110574025A (zh) 用于合并交错通道数据的卷积引擎
US20150029222A1 (en) Dynamically configuring an image processing function
Fredembach et al. Simple shadow remova
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
WO2017091927A1 (zh) 图像处理方法和双摄像头系统
KR20210110679A (ko) 이미지 융합 프로세싱 모듈
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
KR102697687B1 (ko) 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
CN115883988A (zh) 视频图像拼接方法、系统、电子设备及存储介质
US20240205363A1 (en) Sliding Window for Image Keypoint Detection and Descriptor Generation
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
US20230016350A1 (en) Configurable keypoint descriptor generation
CN114926508B (zh) 视野分界线确定方法、装置、设备及存储介质
WO2022271499A1 (en) Methods and systems for depth estimation using fisheye cameras
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
US11580617B2 (en) Method of matching images to be merged and data processing device performing the same
US11494880B2 (en) Image pyramid generation for image keypoint detection and descriptor generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant