KR20150021351A - 영상 정합 장치 및 이를 이용한 영상 정합 방법 - Google Patents

영상 정합 장치 및 이를 이용한 영상 정합 방법 Download PDF

Info

Publication number
KR20150021351A
KR20150021351A KR20130098607A KR20130098607A KR20150021351A KR 20150021351 A KR20150021351 A KR 20150021351A KR 20130098607 A KR20130098607 A KR 20130098607A KR 20130098607 A KR20130098607 A KR 20130098607A KR 20150021351 A KR20150021351 A KR 20150021351A
Authority
KR
South Korea
Prior art keywords
image
transform function
feature points
motion vectors
motion
Prior art date
Application number
KR20130098607A
Other languages
English (en)
Other versions
KR102144394B1 (ko
Inventor
이준성
오재윤
김곤수
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020130098607A priority Critical patent/KR102144394B1/ko
Priority to US14/178,008 priority patent/US9436894B2/en
Priority to CN201410148031.1A priority patent/CN104427211B/zh
Publication of KR20150021351A publication Critical patent/KR20150021351A/ko
Application granted granted Critical
Publication of KR102144394B1 publication Critical patent/KR102144394B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 정합 장치 및 이를 이용한 영상 정합 방법을 개시한다.
일 실시예에 따른 영상 정합 장치는, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및 상기 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수를 추정하는 제2 변환함수 추정부;를 포함할 수 있다.

Description

영상 정합 장치 및 이를 이용한 영상 정합 방법{Apparatus and method for alignment of images}
본 발명의 실시예는 영상 정합 장치 및 이를 이용한 영상 정합 방법에 관한 것이다.
최근에 감시 시스템과 의료 영상 등의 분야에서 변화 감지, 움직임 검출, 초해상도 영상 복원 및 물체 인식과 추적 등의 알고리즘의 정확도와 신뢰도를 향상시키기 위해 두 개 이상의 센서를 이용한 상호 보완적인 정보 융합 연구가 활발히 이루어지고 있다.
본 발명의 실시예는 실시간 영상 정합을 위한 영상 정합 장치 및 이를 이용한 영상 정합 방법을 제공한다.
본 발명의 일 실시예에 따른 영상 정합 장치는, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및 상기 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수를 추정하는 제2 변환함수 추정부;를 포함할 수 있다.
상기 장치는, 상기 제1변환함수의 추정 여부에 따라 상기 제1변환함수 또는 제2변환함수를 최종 변환함수로 선택하는 변환함수 선택부;를 더 포함할 수 있다
상기 제2 변환함수 추정부는, 상기 제1변환함수가 추정되지 않은 경우 또는 주기적으로 상기 제2변환함수를 추정할 수 있다.
상기 제1 변환함수 추정부는, 상기 제1영상 및 제2영상의 특징점들을 검출하는 특징점 검출부; 상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 특징점 선별부; 및 상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 제1추정부;를 포함할 수 있다.
상기 특징점 선별부는, 상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 패치영상 획득부; 상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 후보 선별부; 상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 유사성 판단부; 및 상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 대응 특징점 선별부;를 포함할 수 있다.
상기 제2 변환함수 추정부는, 상기 제1영상 및 제2영상의 움직임을 검출하는 움직임 검출부; 상기 검출된 제1영상 및 제2영상의 움직임들로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별하는 모션 벡터 선별부; 및 상기 선별된 대응 모션 벡터들을 기초로 상기 제2변환함수를 추정하는 제2추정부;를 포함할 수 있다.
상기 모션 벡터 선별부는, 상기 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링하는 레이블링부; 상기 제1영상 및 제2영상의 레이블링된 움직임들에 대해 모션 벡터를 검출하는 모션 벡터 검출부; 상기 제1영상과 제2영상의 모션 벡터들 간에 유사성을 판단하는 유사성 판단부; 및 상기 유사성 판단 결과를 기초로 상기 제1영상과 제2영상 간의 대응 모션 벡터들을 선별하는 대응 모션 벡터 선별부;를 포함할 수 있다.
상기 유사성 판단부는, 상기 제1영상 및 제2영상 중 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별하고, 상기 기준영상의 모션 벡터와 상기 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단할 수 있다.
상기 유사성 판단부는, 상기 모션 벡터의 크기 및 방향을 기초로 유사성을 판단할 수 있다.
상기 장치는, 상기 선택된 제1변환함수 또는 제2변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 정합부;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 정합 방법은, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 단계; 및 상기 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수를 추정하는 단계;를 포함할 수 있다.
상기 방법은, 상기 제1변환함수의 추정 여부에 따라 상기 제1변환함수 또는 제2변환함수를 최종 변환함수로 선택하는 단계;를 더 포함할 수 있다.
상기 제2변환함수 추정 단계는, 상기 제1변환함수가 추정되지 않은 경우 또는 주기적으로 상기 제2변환함수를 추정하는 단계;를 포함할 수 있다.
상기 제1변환함수 추정 단계는, 상기 제1영상 및 제2영상의 특징점들을 검출하는 단계; 상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 단계; 및 상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 단계;를 포함할 수 있다.
상기 특징점 선별 단계는, 상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 단계; 상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 단계; 상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 단계; 및 상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 단계;를 포함할 수 있다.
상기 제2변환함수 추정 단계는, 상기 제1영상 및 제2영상의 움직임을 검출하는 단계; 상기 검출된 제1영상 및 제2영상의 움직임들로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별하는 단계; 및 상기 선별된 대응 모션 벡터들을 기초로 상기 제2변환함수를 추정하는 단계;를 포함할 수 있다.
상기 모션 벡터 선별 단계는, 상기 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링하는 단계; 상기 제1영상 및 제2영상의 레이블링된 움직임들에 대해 모션 벡터를 검출하는 단계; 상기 제1영상과 제2영상의 모션 벡터들 간에 유사성을 판단하는 단계; 및 상기 유사성 판단 결과를 기초로 상기 제1영상과 제2영상 간의 대응 모션 벡터들을 선별하는 단계;를 포함할 수 있다.
상기 유사성 판단 단계는, 상기 제1영상 및 제2영상 중 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별하고, 상기 기준영상의 모션 벡터와 상기 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단하는 단계;를 포함할 수 있다.
상기 유사성 판단 단계는, 상기 모션 벡터의 크기 및 방향을 기초로 유사성을 판단하는 단계;를 포함할 수 있다.
상기 방법은, 상기 선택된 제1변환함수 또는 제2변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 영상 정합 장치는 특징점 없는 영상이 입력될 경우 움직임 검출을 통해 실시간 영상 정합이 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제1 변환함수 추정부를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 특징점 선별을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 제2 변환함수 추정부를 개략적으로 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 모션 벡터 선별을 설명하는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하는 흐름도이다.
도 8은 도 7의 대응 특징점을 선별하는 방법을 설명하는 흐름도이다.
도 9는 도 7의 대응 모션 벡터를 선별하는 방법을 설명하는 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 영상 융합 시스템(1)은 제1영상센서(10), 제2영상센서(20), 영상 정합 장치(30), 영상 융합 장치(40) 및 디스플레이 장치(50)를 포함한다.
제1영상센서(10) 및 제2영상센서(20)는 동일 장면을 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.
본 실시예에서 제1영상센서(10)는 가시광 카메라로서, 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시 영상인 제1영상을 생성한다. 예를 들어, 가시 카메라는 CCD 또는 CMOS를 촬상소자로 사용하는 카메라일 수 있다.
본 실시예에서 제2영상센서(20)는 적외광 카메라(또는 열상 카메라)로서, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2영상을 생성할 수 있다.
영상 정합 장치(30)는 동일한 장면을 다른 센서로부터 얻은 두 개 이상의 영상들의 위치 관계를 대응시켜 하나의 좌표계로 정렬시키는 영상 정합을 수행한다. 감시시스템과 의료 영상 등의 분야에서 두 개 이상의 센서를 이용한 영상을 획득하여 하나의 융합 영상을 생성하는 시스템에서는 영상 정합을 수행하여야 한다.
영상 정합 장치(30)는 제1영상센서(10)로 촬영한 제1영상 및 제2영상센서(20)로 촬영한 제2영상을 정합한다. 이를 위해, 영상 정합 장치(30)는 제1영상 및 제2영상으로부터 추출된 특징점 정보 및 움직임 정보를 기초로 변환함수를 추정한다. 변환함수는 제1영상 및 제2영상 각각의 특징점 정보 또는 움직임 정보 간의 대응 관계를 나타내는 행렬이다. 영상 정합 장치(30)는 추정된 변환함수를 적용하여 제1영상 및 제2영상을 정합한다.
영상 융합 장치(40)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합 장치(40)는 정합된 제1영상과 제2영상을 융합한다. 예를 들어, 적외광 카메라는 물체의 열적 분포는 잘 나타낼 수 있으나 측정된 물체의 형상이 명확하지 않으며 가시광 카메라는 물체의 형상은 명확하게 나타낼 수 있으나 물체의 열적 분포는 나타낼 수 없다. 영상 융합 장치(40)는 가시광 카메라와 적외광 카메라의 상호 장단점을 적절히 이용하여 물체의 영상을 표시함과 동시에 그 물체의 열적 분포 상태를 명확하게 나타낼 수 있다.
영상 융합 장치(40)는 제1영상 및 제2영상에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 융합 장치(40)는 화질 개선을 위한 영상 신호 처리를 하여 융합 영상의 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함할 수 있다.
또한, 영상 융합 장치(40)는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다.
디스플레이 장치(50)는 영상 융합 장치(40)로부터 출력되는 융합 영상을 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(50)는 제1영상과 제2영상이 중첩된 융합 영상을 디스플레이할 수 있다. 디스플레이 장치(50)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 영상 정합 장치(30)는 제1 변환함수 추정부(301), 제2 변환함수 추정부(303), 변환함수 선택부(305) 및 정합부(307)를 포함할 수 있다.
제1 변환함수 추정부(301)는 제1영상센서(10)로 촬영한 제1영상 및 제2영상센서(20)로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수(H1)를 추정할 수 있다.
제1 변환함수 추정부(301)는 제1영상과 제2영상으로부터 특징점을 추출하고 대응하는 특징점 쌍을 선별하는 과정을 통해 제1변환함수(H1)를 추정하기 때문에, 정합 오차율이 적으나, 특징점 추출이 어려운 영상이 입력될 경우 제1변환함수(H1)를 추정하지 못하게 되어, 실시간 정합 수행이 어렵다.
따라서, 본 실시예에서는 제1 변환함수 추정부(301)가 제1변환함수(H1)를 추정하지 못하는 경우, 제1영상 및 제2영상으로부터 움직임 정보를 추출하여 제2변환함수(H2)를 추정함으로써 실시간 정합이 가능하도록 한다.
제2 변환함수 추정부(303)는 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수(H2)를 추정할 수 있다. 제2 변환함수 추정부(303)는 제1변환함수(H1)가 추정되지 않은 경우 또는 사용자 설정에 따라 정해진 주기마다 제2변환함수(H2)를 추정할 수 있다. 이에 따라, 제1 변환함수 추정부(301)가 제1변환함수(H1)를 추정하지 못하더라도 제2 변환함수 추정부(303)가 제2변환함수(H2)를 추정함으로서 실시간 정합이 가능하다.
변환함수 선택부(305)는 제1변환함수(H1)의 추정 여부에 따라, 제1변환함수(H1) 또는 제2변환함수(H2)를 최종 변환함수(H)로 선택할 수 있다. 제1 변환함수 추정부(301)가 제1변환함수(H1)를 정상적으로 추정하면(H1_error=0), 변환함수 선택부(305)는 제1변환함수(H1)를 최종 변환함수(H)로 선택한다. 제1변환함수(H1)가 추정되지 않으면(H1_error=1), 변환함수 선택부(305)는 제2변환함수(H2)를 최종 변환함수(H)로 선택한다. 변환함수 선택부(305)는 정해진 주기로 제2변환함수(H2)를 최종 변환함수(H)로 선택할 수도 있다. 변환함수 선택부(305)의 선택 방법은 하기 수학식 1과 같다.
Figure pat00001
정합부(307)는 제1변환함수(H1) 또는 제2변환함수(H2) 중 선택된 변환함수(H)를 이용하여 제1영상 및 제2영상을 정합한다.
도 3은 본 발명의 일 실시예에 따른 제1 변환함수 추정부를 개략적으로 도시한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 특징점 선별을 설명하는 예시도이다.
도 3을 참조하면, 제1 변환함수 추정부(301)는 특징점 검출부(311), 특징점 선별부(341) 및 추정부(391)를 포함할 수 있다.
특징점 검출부(311)는 제1영상센서(10)로 촬영된 제1영상의 특징점(F1)을 검출하는 제1 특징점 검출부(321) 및 제2영상센서(20)로 촬영된 제2영상의 특징점(F2)을 검출하는 제2 특징점 검출부(331)를 포함할 수 있다. 제1 특징점 검출부(321) 및 제2 특징점 검출부(331)는 각각 별개로 또는 일체로 구현되어 순차로 또는 병렬로 특징점 검출을 수행할 수 있다.
특징점 검출부(311)는 SIFT 알고리즘, HARRIS 코너 알고리즘, SUSAN 알고리즘 등을 이용하여 제1영상 및 제2영상 각각으로부터 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 특징점으로 추출할 수 있다. 본 발명의 실시예에서는 특징점 검출 알고리즘을 특별히 제한하지 않으며, 다양한 특징점 추출 알고리즘을 이용할 수 있다.
특징점 선별부(341)는 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별할 수 있다. 특징점 선별부(341)는 패치 영상 획득부(351), 후보 선별부(361), 유사성 판단부(371) 및 대응 특징점 선별부(381)를 포함할 수 있다.
패치 영상 획득부(351)는 제1영상 및 제2영상의 특징점 각각의 패치 영상을 획득할 수 있다. 패치 영상은 특징점을 중심으로 NxN 크기를 가질 수 있다.
후보 선별부(361)는 제1영상 및 제2영상 중 하나를 기준영상으로 하고, 기준영상의 특징점 각각에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별할 수 있다. 동일 장면에 대해 획득한 두 영상의 특징점들은 국지성(localization)을 나타낸다. 후보 선별부(361)는 나머지 영상에서 기준영상의 특징점을 기준으로 소정의 사이즈를 갖는 블럭 내의 특징점들을 후보 특징점들로 선별할 수 있다. 블럭 사이즈는 두 영상센서의 시야각(FOV, Field of view) 및 주시 방향에 따라 유연하게 최적화할 수 있다. 예를 들어, 두 영상센서의 시야각과 바라보는 방향이 가까울수록 블럭 사이즈를 감소시킬수 있고, 멀어질수록 블럭 사이즈를 증가시킬 수 있다. 후보 선별부(361)는 블럭 사이즈를 기초로 기준영상의 특징점과의 거리가 임계치 내인 나머지 영상의 특징점들을 후보 특징점들로 선별할 수 있다.
유사성 판단부(371)는 기준영상의 특징점의 패치 영상과 나머지 영상의 후보 특징점들의 패치 영상들 간의 유사성을 판단할 수 있다. 유사성 판단은 정규상호정보(Normalized Mutual Information) 및 그래디언트(gradient) 방향 정보를 파라미터로 이용할 수 있다. 정규상호정보는 두 확률변수의 통계적 상관성을 나타내는 상호정보를 정규화한 정보이다. 정규상호정보 및 그래디언트 방향 정보의 산출 방식은 이미 공지되어 있는 알고리즘 및 방법으로 본 실시예의 상세한 설명에서는 이에 관한 자세한 설명을 생략한다.
대응 특징점 선별부(381)는 유사성 판단부(371)의 유사성 판단 결과를 기초로 후보 특징점들 중 대응 특징점을 선별할 수 있다. 대응 특징점 선별부(381)는 나머지 영상의 후보 특징점들 중 유사성 정도가 가장 큰 특징점을 기준영상의 특징점과 대응하는 대응 특징점으로 하여 대응 특징점 쌍을 선별할 수 있다.
도 4는 제1영상(I1)과 제2영상(I2)으로부터 각각 특징점들이 검출되고, 제1영상(I1)을 기준영상으로 대응 특징점 쌍을 선별하는 예를 도시한다. 제1영상(I1)의 복수의 특징점들 중 하나인 특징점(f1)에 대해, 제2영상(I2)의 후보 특징점들(f21, f22, f23)이 선별되었다. 후보 특징점들(f21, f22, f23)은 제2영상(I2)의 제1특징점(f1)과 대응하는 위치에서 일정 거리 내의 영역(CFA)에 위치하는 특징점들이다. 제1영상(I1)의 특징점(f1)을 중심으로 하는 패치 영상(P1)과 제2영상(I2)의 후보 특징점들(f21, f22, f23) 각각을 중심으로 하는 패치 영상들(P21, P22, P23) 간에 유사성이 판단된다.
다시 도 3을 참조하면, 추정부(391)는 선별된 대응 특징점들을 기초로 제1변환함수(H1)를 추정할 수 있다. 추정부(391)는 RANSAC(random sample consensus) 또는 LO-RANSAC(Locally Optimized RANSAC) 알고리즘을 이용하여 제1변환함수(H1)를 추정할 수 있다. 제1변환함수(H1)는 하기 수학식 2와 같이 표현할 수 있다.
Figure pat00002
제1변환함수(H1)의 각 성분(h11 내지 h33)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, 및 x, y, z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함한다.
도 5는 본 발명의 일 실시예에 따른 제2 변환함수 추정부를 개략적으로 도시한 블록도이다. 도 6은 본 발명의 일 실시예에 따른 모션 벡터 선별을 설명하는 예시도이다.
도 5를 참조하면, 제2 변환함수 추정부(313)는 움직임 검출부(323), 모션 벡터 선별부(343) 및 제2추정부(393)를 포함할 수 있다.
움직임 검출부(313)는 제1영상센서(10)로 촬영된 제1영상의 움직임(M1)을 검출하는 제1 움직임 검출부(323) 및 제2영상센서(20)로 촬영된 제2영상의 움직임(M2)을 검출하는 제2 움직임 검출부(333)를 포함할 수 있다. 제1 움직임 검출부(323) 및 제2 움직임 검출부(333)는 각각 별개로 또는 일체로 구현되어 순차로 또는 병렬로 특징점 검출을 수행할 수 있다. 본 발명의 실시예에서 움직임 검출 방법은 특별히 제한되지 않으며, 다양한 움직임 검출 알고리즘을 이용할 수 있다.
모션 벡터 선별부(343)는 검출된 제1영상 및 제2영상의 움직임들로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별할 수 있다. 모션벡터 선별부(343)는 레이블링부(353), 모션벡터 검출부(363), 유사성 판단부(373) 및 대응 모션벡터 선별부(383)를 포함할 수 있다.
레이블링부(353)는 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링할 수 있다. 레이블링부(353)는 검출된 움직임 피사체를 모두 레이블링하여 구분할 수 있다.
모션벡터 검출부(363)는 제1영상 및 제2영상의 레이블링된 움직임들 각각에 대해 모션 벡터를 검출할 수 있다.
유사성 판단부(373)는 제1영상과 제2영상의 모션 벡터들 간의 유사성을 판단할 수 있다. 유사성 판단부(373)는 제1영상 및 제2영상 중 하나를 기준영상으로 하고, 기준영상의 모션 벡터 각각에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별할 수 있다. 유사성 판단부(373)는 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별할 수 있다. 유사성 판단부(373)는 나머지 영상에서 기준영상의 모션 벡터를 기준으로 소정의 사이즈를 갖는 블럭 내의 모션 벡터들을 후보 모션 벡터들로 선별할 수 있다. 블럭 사이즈는 두 영상센서의 시야각(FOV, Field of view) 및 주시 방향에 따라 유연하게 최적화할 수 있다. 예를 들어, 두 영상센서의 시야각과 바라보는 방향이 가까울수록 블럭 사이즈를 감소시킬수 있고, 멀어질수록 블럭 사이즈를 증가시킬 수 있다. 유사성 판단부(373)는 블럭 사이즈를 기초로 기준영상의 모션 벡터와의 거리가 임계치 내인 나머지 영상의 모션 벡터들을 후보 모션 벡터들로 선별할 수 있다. 유사성 판단부(373)는 기준영상의 모션 벡터와 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단할 수 있다. 유사성 판단은 모션 벡터의 크기 및 방향을 파라미터로 이용할 수 있다.
대응 모션벡터 선별부(383)는 유사성 판단부(373)의 유사성 판단 결과를 기초로 제1영상과 제2영상 간에 대응 모션 벡터들을 선별할 수 있다. 대응 모션벡터 선별부(383)는 나머지 영상의 후보 모션 벡터들 중 유사성 정도가 가장 큰 모션 벡터를 기준영상의 모션 벡터와 대응하는 대응 모션 벡터로 하여 대응 모션 벡터 쌍을 선별할 수 있다.
도 6은 제1영상(I1)과 제2영상(I2)으로부터 각각 모션 벡터들이 검출되고, 제1영상(I1)을 기준영상으로 대응 모션 벡터 쌍을 선별하는 예를 도시한다. 제1영상(I1)의 복수의 모션 벡터들 중 하나인 모션 벡터(m1)에 대해, 제2영상(I2)의 후보 모션 벡터들(m21, m22, m23, m24)이 선별되었다. 후보 모션 벡터들(m21, m22, m23, m24)은 제2영상(I2)의 움직임과 대응하는 위치에서 일정 거리 내의 영역(CFA)에 위치하는 움직임들의 모션 벡터들이다. 제1영상(I1)의 모션 벡터(m1)와 제2영상(I2)의 후보 모션 벡터들(m21, m22, m23, m24) 간에 유사성 정도가 판단된다.
다시 도 5를 참조하면, 제2추정부(393)는 선별된 대응 모션 벡터들을 기초로 제2변환함수(H2)를 추정할 수 있다. 제2추정부(393)는 RANSAC(random sample consensus) 또는 LO-RANSAC(Locally Optimized RANSAC) 알고리즘을 이용하여 제2변환함수(H2)를 추정할 수 있다. 제2변환함수(H2)는 하기 수학식 3과 같이 표현할 수 있다.
Figure pat00003
제2변환함수(H2)의 각 성분(h11 내지 h33)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, 및 x, y, z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함한다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하는 흐름도이다. 도 8은 도 7의 대응 특징점을 선별하는 방법을 설명하는 흐름도이다. 도 9는 도 7의 대응 모션 벡터를 선별하는 방법을 설명하는 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 영상 정합 장치는 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수(H1)를 추정할 수 있다(S70A).
구체적으로, 영상 정합 장치는 제1영상 및 제2영상의 특징점들(F1, F2)을 검출할 수 있다(S71). 특징점은 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 포함할 수 있다.
다음으로, 영상 정합 장치는 검출된 제1영상 및 제2영상의 특징점들(F1, F2) 간에 대응하는 대응 특징점들을 선별할 수 있다(S72). 이를 위해, 영상 정합 장치는 제1영상 및 제2영상 각각의 특징점(F1, F2)을 중심으로 하는 패치 영상을 획득할 수 있다(S721). 그리고, 영상 정합 장치는 제1영상 및 제2영상 중 하나인 기준영상의 특징점에 대응 가능한 나머지 영상의 후보 특징점들을 선별할 수 있다(S723). 예를 들어, 제1영상을 기준영상으로 한 경우, 제1영상의 특징점에 대응 가능한 제2영상의 후보 특징점들을 선별할 수 있다. 후보 특징점들은 국지성, 예를 들어, 특징점 간의 거리를 기초로 선별될 수 있다. 그리고, 영상 정합 장치는 기준영상의 특징점의 패치 영상과 나머지 영상의 후보 특징점들의 패치 영상들 간의 유사성을 판단할 수 있다(S725). 유사성 정도는 패치 영상 간의 정규상호정보 및 그래디언트 방향 정보를 이용하여 결정될 수 있다. 영상 정합 장치는 유사성 판단 결과를 기초로, 후보 특징점들 중에서 기준영상의 특징점에 대응하는 대응 특징점을 선별할 수 있다(S727). 예를 들어, 영상 정합 장치는 기준영상 특징점과 유사성 정도가 가장 큰 후보 특징점을 기준영상 특징점의 대응 특징점으로 선별할 수 있다.
다음으로, 영상 정합 장치는 선별된 대응 특징점들을 기초로 제1변환함수(H1)를 추정할 수 있다(S73).
영상 정합 장치는 제1변환함수(H1)가 추정되면, 제1변환함수(H1)를 최종 변환함수(H)로 선택할 수 있다(S77).
영상 정합 장치는 제1변환함수(H1)를 최종 변환함수(H)로 하여 제1영상 및 제2영상을 정합할 수 있다(S78).
영상 정합 장치는 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수(H2)를 추정할 수 있다(S70B). 영상 정합 장치는 제1변환함수(H1)가 추정되지 않거나, 정해진 주기마다 제2변환함수(H2)를 추정할 수 있다.
구체적으로, 영상 정합 장치는 제1영상 및 제2영상의 움직임들(M1, M2)을 검출할 수 있다(S74).
다음으로, 영상 정합 장치는 검출된 제1영상 및 제2영상의 움직임들(M1, M2)로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별할 수 있다(S75). 이를 위해, 영상 정합 장치는 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링할 수 있다(S751). 그리고, 영상 정합 장치는 레이블링된 움직임들에 대해 모션 벡터를 검출할 수 있다(S753). 영상 정합 장치는 제1영상과 제2영상의 모션 벡터들 간에 유사성을 판단할 수 있다(S755). 예를 들어, 제1영상을 기준영상으로 한 경우, 제1영상 및 제2영상 중 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별하고, 기준영상의 모션 벡터와 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단할 수 있다. 유사성 정도는 모션 벡터 간의 크기 및 방향 정보를 이용하여 결정될 수 있다. 영상 정합 장치는 유사성 판단 결과를 기초로, 제1영상과 제2영상 간의 대응 모션 벡터들을 선별할 수 있다(S757). 예를 들어, 영상 정합 장치는 기준영상 모션 벡터와 유사성 정도가 가장 큰 후보 모션 벡터를 기준영상 모션 벡터의 대응 모션 벡터로 선별할 수 있다.
다음으로, 영상 정합 장치는 선별된 대응 모션 벡터들을 기초로 제2변환함수(H2)를 추정할 수 있다(S76).
영상 정합 장치는 제1변환함수(H1)가 추정되지 않으면, 제1변환함수(H1)가 추정될 때까지, 제2변환함수(H2)를 최종 변환함수(H)로 선택할 수 있다(S77).
영상 정합 장치는 제2변환함수(H2)를 최종 변환함수(H)로 하여 제1영상 및 제2영상을 정합할 수 있다(S78).
전술된 실시예에서는 제1영상을 가시 영상, 제2영상을 열 영상으로 예를 들어 설명하였지만, 본 발명의 실시예는 이에 한정되지 않고, 제1영상과 제2영상은 서로 다른 시점, 서로 다른 시간 또는 가시광 카메라와 적외광 카메라 외의 서로 다른 특성의 센서로부터 획득한 영상인 경우에도 본 발명의 실시예가 동일하게 적용될 수 있다.
전술된 실시예는 GOP와 같은 경계 지역 감시, 산불 감시와 같이 24시간 실시간 감시가 필요한 감시, 무광원 혹은 저조도 환경에서 빌딩 및 주거지 침입 감지, 산과 같은 곳에서 실종자 및 범죄자 추적, 의료 영상분야 등에 적용될 수 있다.
본 발명에 따른 영상 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims (20)

  1. 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및
    상기 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수를 추정하는 제2 변환함수 추정부;를 포함하는 영상 정합 장치.
  2. 제1항에 있어서,
    상기 제1변환함수의 추정 여부에 따라 상기 제1변환함수 또는 제2변환함수를 최종 변환함수로 선택하는 변환함수 선택부;를 더 포함하는 영상 정합 장치.
  3. 제1항에 있어서, 상기 제2 변환함수 추정부는,
    상기 제1변환함수가 추정되지 않은 경우 또는 주기적으로 상기 제2변환함수를 추정하는 영상 정합 장치.
  4. 제1항에 있어서, 상기 제1 변환함수 추정부는,
    상기 제1영상 및 제2영상의 특징점들을 검출하는 특징점 검출부;
    상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 특징점 선별부; 및
    상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 제1추정부;를 포함하는 영상 정합 장치.
  5. 제4항에 있어서, 상기 특징점 선별부는,
    상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 패치영상 획득부;
    상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 후보 선별부;
    상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 유사성 판단부; 및
    상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 대응 특징점 선별부;를 포함하는 영상 정합 장치.
  6. 제1항에 있어서, 상기 제2 변환함수 추정부는,
    상기 제1영상 및 제2영상의 움직임을 검출하는 움직임 검출부;
    상기 검출된 제1영상 및 제2영상의 움직임들로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별하는 모션 벡터 선별부; 및
    상기 선별된 대응 모션 벡터들을 기초로 상기 제2변환함수를 추정하는 제2추정부;를 포함하는 영상 정합 장치.
  7. 제6항에 있어서, 상기 모션 벡터 선별부는,
    상기 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링하는 레이블링부;
    상기 제1영상 및 제2영상의 레이블링된 움직임들에 대해 모션 벡터를 검출하는 모션 벡터 검출부;
    상기 제1영상과 제2영상의 모션 벡터들 간에 유사성을 판단하는 유사성 판단부; 및
    상기 유사성 판단 결과를 기초로 상기 제1영상과 제2영상 간의 대응 모션 벡터들을 선별하는 대응 모션 벡터 선별부;를 포함하는 영상 정합 장치.
  8. 제7항에 있어서, 상기 유사성 판단부는,
    상기 제1영상 및 제2영상 중 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별하고, 상기 기준영상의 모션 벡터와 상기 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단하는 영상 정합 장치.
  9. 제8항에 있어서,
    상기 유사성 판단부는, 상기 모션 벡터의 크기 및 방향을 기초로 유사성을 판단하는 영상 정합 장치.
  10. 제2항에 있어서,
    상기 선택된 제1변환함수 또는 제2변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 정합부;를 더 포함하는 영상 정합 장치.
  11. 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 단계; 및
    상기 제1영상 및 제2영상으로부터 추출된 움직임 정보를 기초로 제2변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
  12. 제11항에 있어서,
    상기 제1변환함수의 추정 여부에 따라 상기 제1변환함수 또는 제2변환함수를 최종 변환함수로 선택하는 단계;를 더 포함하는 영상 정합 방법.
  13. 제12항에 있어서, 상기 제2변환함수 추정 단계는,
    상기 제1변환함수가 추정되지 않은 경우 또는 주기적으로 상기 제2변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
  14. 제12항에 있어서, 상기 제1변환함수 추정 단계는,
    상기 제1영상 및 제2영상의 특징점들을 검출하는 단계;
    상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 단계; 및
    상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
  15. 제14항에 있어서, 상기 특징점 선별 단계는,
    상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 단계;
    상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 단계;
    상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 단계; 및
    상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 단계;를 포함하는 영상 정합 방법.
  16. 제12항에 있어서, 상기 제2변환함수 추정 단계는,
    상기 제1영상 및 제2영상의 움직임을 검출하는 단계;
    상기 검출된 제1영상 및 제2영상의 움직임들로부터 검출한 모션 벡터들 간에 대응하는 대응 모션 벡터들을 선별하는 단계; 및
    상기 선별된 대응 모션 벡터들을 기초로 상기 제2변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
  17. 제16항에 있어서, 상기 모션 벡터 선별 단계는,
    상기 제1영상 및 제2영상으로부터 검출된 각 움직임을 레이블링하는 단계;
    상기 제1영상 및 제2영상의 레이블링된 움직임들에 대해 모션 벡터를 검출하는 단계;
    상기 제1영상과 제2영상의 모션 벡터들 간에 유사성을 판단하는 단계; 및
    상기 유사성 판단 결과를 기초로 상기 제1영상과 제2영상 간의 대응 모션 벡터들을 선별하는 단계;를 포함하는 영상 정합 방법.
  18. 제17항에 있어서, 상기 유사성 판단 단계는,
    상기 제1영상 및 제2영상 중 기준영상의 각 모션 벡터에 대해, 나머지 영상에서 대응 가능한 후보 모션 벡터들을 선별하고, 상기 기준영상의 모션 벡터와 상기 나머지 영상의 후보 모션 벡터들 간에 유사성을 판단하는 단계;를 포함하는 영상 정합 방법.
  19. 제18항에 있어서, 상기 유사성 판단 단계는,
    상기 모션 벡터의 크기 및 방향을 기초로 유사성을 판단하는 단계;를 포함하는 영상 정합 방법.
  20. 제13항에 있어서,
    상기 선택된 제1변환함수 또는 제2변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 단계;를 더 포함하는 영상 정합 방법.
KR1020130098607A 2013-08-20 2013-08-20 영상 정합 장치 및 이를 이용한 영상 정합 방법 KR102144394B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130098607A KR102144394B1 (ko) 2013-08-20 2013-08-20 영상 정합 장치 및 이를 이용한 영상 정합 방법
US14/178,008 US9436894B2 (en) 2013-08-20 2014-02-11 Image alignment apparatus and image alignment method of using the same
CN201410148031.1A CN104427211B (zh) 2013-08-20 2014-04-14 图像对齐设备和使用该设备的图像对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130098607A KR102144394B1 (ko) 2013-08-20 2013-08-20 영상 정합 장치 및 이를 이용한 영상 정합 방법

Publications (2)

Publication Number Publication Date
KR20150021351A true KR20150021351A (ko) 2015-03-02
KR102144394B1 KR102144394B1 (ko) 2020-08-13

Family

ID=52480445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098607A KR102144394B1 (ko) 2013-08-20 2013-08-20 영상 정합 장치 및 이를 이용한 영상 정합 방법

Country Status (3)

Country Link
US (1) US9436894B2 (ko)
KR (1) KR102144394B1 (ko)
CN (1) CN104427211B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143565A1 (ko) * 2017-01-31 2018-08-09 서울대학교병원 영상 처리 방법
KR20190097640A (ko) * 2018-02-12 2019-08-21 삼성전자주식회사 영상 정합 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
WO2017154293A1 (ja) 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN107534736B (zh) * 2016-03-30 2020-04-28 华为技术有限公司 终端的图像配准方法、装置和终端
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
RU2705423C1 (ru) * 2019-01-17 2019-11-07 Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона
CN112367472B (zh) * 2020-11-09 2022-04-05 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103031A (ko) * 2004-04-23 2005-10-27 삼성탈레스 주식회사 통계적 상관 관계를 이용한 영상의 정렬 방법
KR20110073367A (ko) * 2009-12-23 2011-06-29 인텔 코오퍼레이션 모델 기반의 플레이 필드 레지스트레이션
US20120218442A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation Global alignment for high-dynamic range image generation
JP2013149285A (ja) * 2008-09-08 2013-08-01 Sony Corp 撮像装置および方法、並びにプログラム
US20140254882A1 (en) * 2013-03-11 2014-09-11 Adobe Systems Incorporated Optical Flow with Nearest Neighbor Field Fusion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7969462B2 (en) 2005-03-30 2011-06-28 L-3 Communications Corporation Digitally enhanced night vision device
KR101120632B1 (ko) 2010-04-21 2012-03-20 주식회사 매크로그래프 움직임이 있는 점 데이터의 정합 방법과 상기 방법을 수행할 수 있는 장치
KR101051716B1 (ko) 2010-11-12 2011-07-26 삼성탈레스 주식회사 다중센서 영상융합 방법
KR101677561B1 (ko) 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
JP2013156722A (ja) * 2012-01-27 2013-08-15 Sony Corp 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103031A (ko) * 2004-04-23 2005-10-27 삼성탈레스 주식회사 통계적 상관 관계를 이용한 영상의 정렬 방법
JP2013149285A (ja) * 2008-09-08 2013-08-01 Sony Corp 撮像装置および方法、並びにプログラム
KR20110073367A (ko) * 2009-12-23 2011-06-29 인텔 코오퍼레이션 모델 기반의 플레이 필드 레지스트레이션
US20120218442A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation Global alignment for high-dynamic range image generation
US20140254882A1 (en) * 2013-03-11 2014-09-11 Adobe Systems Incorporated Optical Flow with Nearest Neighbor Field Fusion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143565A1 (ko) * 2017-01-31 2018-08-09 서울대학교병원 영상 처리 방법
KR20190097640A (ko) * 2018-02-12 2019-08-21 삼성전자주식회사 영상 정합 방법 및 장치

Also Published As

Publication number Publication date
US9436894B2 (en) 2016-09-06
CN104427211A (zh) 2015-03-18
KR102144394B1 (ko) 2020-08-13
CN104427211B (zh) 2019-04-19
US20150055873A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
US9369612B2 (en) Image fusion system and method
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
KR102170689B1 (ko) 영상 정합을 위한 특징점 샘플링 방법
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
JP6036824B2 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
US9934585B2 (en) Apparatus and method for registering images
Xue et al. Panoramic Gaussian Mixture Model and large-scale range background substraction method for PTZ camera-based surveillance systems
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
KR20180086048A (ko) 카메라 및 카메라의 영상 처리 방법
CN109753930B (zh) 人脸检测方法及人脸检测系统
KR102096576B1 (ko) 영상 합성 방법 및 장치
KR102050418B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
Widyawan et al. Adaptive motion detection algorithm using frame differences and dynamic template matching method
CN111696143A (zh) 一种事件数据的配准方法与系统
KR20150024169A (ko) 영상 융합 시스템 및 그 방법
Lin et al. Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
KR102614895B1 (ko) 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
Kim et al. Study on effective visual surveillance system using dual-mode (Fixed+ Pan/Tilt/Zoom) camera
KR20220115223A (ko) 다중 카메라 캘리브레이션 방법 및 장치
JP2013156671A (ja) 画像監視装置
Zhou et al. Speeded-up robust features based moving object detection on shaky video
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
Zul et al. Adaptive motion detection algorithm using frame differences and dynamic template matching method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right