KR20140015892A - 영상 정합 장치 및 방법 - Google Patents

영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR20140015892A
KR20140015892A KR1020120081969A KR20120081969A KR20140015892A KR 20140015892 A KR20140015892 A KR 20140015892A KR 1020120081969 A KR1020120081969 A KR 1020120081969A KR 20120081969 A KR20120081969 A KR 20120081969A KR 20140015892 A KR20140015892 A KR 20140015892A
Authority
KR
South Korea
Prior art keywords
image
matching
images
camera
feature point
Prior art date
Application number
KR1020120081969A
Other languages
English (en)
Other versions
KR101524548B1 (ko
Inventor
주재용
구본화
김민재
고한석
Original Assignee
삼성테크윈 주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 고려대학교 산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020120081969A priority Critical patent/KR101524548B1/ko
Publication of KR20140015892A publication Critical patent/KR20140015892A/ko
Application granted granted Critical
Publication of KR101524548B1 publication Critical patent/KR101524548B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6279Classification techniques relating to the number of classes
    • G06K9/6284Single class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection

Abstract

본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 정합의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법에 관한 것이다. 영상 정합 방법은 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계, 특징점 정보들을 이용하여 제1 및 제2 영상간 매칭을 수행하는 단계, 제1 영상의 특징점 및 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계, 변환행렬의 분산값을 계산하는 단계 및 분산값 계산 결과에 따라 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 단계를 포함한다.

Description

영상 정합 장치 및 방법{Apparatus and method for alignment of images}
본 발명은 영상 정합 장치 및 방법에 관한 것으로, 보다 상세하게는 영상 정합의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법에 관한 것이다.
최근 감시 시스템과 의료 영상 등의 분야에서 변화 감지, 움직임 검출, 초해상도 영상 복원 및 물체 인식과 추적 등의 알고리즘에 대한 정확도와 신뢰도를 향상시키기 위해 두 개 이상의 센서를 이용한 상호 보완적인 정보 융합 연구가 활발히 이루어 지고 있다. 이를 위해서는 영상정합 과정이 필수적이다. 영상 정합은 같은 장면에 대한 두 개 이상의 영상들을 하나의 좌표계로 정렬시켜주는 과정으로서, 정합의 대상이 되는 영상으로는 시차를 두어 획득한 영상, 서로 다른 시점에서 획득한 영상, 혹은 서로 다른 센서로부터 획득된 영상이 있다.
영상 정합 시에 두 영상으로부터 각각 특징점을 추출하고, 특징점의 매칭을 통해 영상 정합을 수행하는데, 특징점 매칭의 대응관계를 나타내는 변환행렬 추정이 필수적이다. 정확한 변환행렬 추정이 영상 정합 결과의 좋고 나쁨을 좌우하게 되는데, 현재 영상 정합에서는 정확한 변환 행렬이 추정되었는지 확인할 수 없고, 추정된 변환행렬을 통한 영상 정합 결과가 성공적인지 여부를 알 수 없는 문제점이 있다.
국내 공개 특허 제2010-0077824호
본 발명이 해결하고자 하는 기술적인 과제는 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합 결과의 성공 또는 실패를 판단할 수 있는 영상 정합 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 방법은 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계; 상기 변환행렬의 분산값을 계산하는 단계; 및 상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상의 정합 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제1 및 제2 영상간 매칭을 수행하는 단계에서, 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 변환행렬 추정 단계는, RANSAC 알고리즘에 의해 수행 되며, N회 반복되는 것을 특징으로 한다.
본 발명에 있어서, 상기 변환행렬 추정 단계에서, 상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬을 추정 결과로 출력하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분산값을 계산하는 단계에서, 상기 m개 변환행렬의 성분들 중, 상기 평행이동 정보를 나타내는 성분의 분산값을 계산하는 것을 특징으로 한다.
본 발명에 있어서, 상기 영상 정합의 정합 또는 실패를 판단하는 단계에서, 상기 분산값이 임계값 이하인 경우 정합 성공을 판단하고, 그 이외의 경우 정합 실패를 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 매칭의 실패 판단 시에, 상기 일련의 단계를 재 수행하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 장치는 제1 카메라; 제2 카메라; 및 동일한 피사체에 대하여 상기 제1 및 제2 카메라로 촬영된 제1 및 제2 영상 각각의 특징점 추출하여 매칭하고, 상기 제1 및 제2 영상의 특징점 매칭 대응 관계인 변환행렬을 추정하여 상기 변환행렬의 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 정합부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 정합부는, 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 특징점 추출부; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 매칭부; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 변환행렬 추정부; 상기 변환행렬의 분산값을 계산하는 분산값 계산부; 및 상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 판단부;를 포함하는 것을 특징으로 한다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 정합 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체는 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계; 상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계; 상기 변환행렬의 분산값을 계산하는 단계; 및 상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합 결과의 성공 또는 실패를 판단하여, 영상 정합의 신뢰성을 향상시킬 수 있다.
도 1은 본 발명에 따른 영상 정합 장치의 구성을 보이는 블록도 이다.
도 2는 도 1 중 제1 및 제2 카메라로부터 촬영된 제1 및 제2 영상을 보이는 도면이다.
도 3은 도 1 중 제1 및 제2 영상의 특징점 추출을 보이는 도면이다.
도 4는 도 1 중 제1 및 제2 영상의 특징점 매칭을 보이는 도면이다.
도 5 및 도 6은 도 1 중 N개의 변환행렬 추정 및 분산 계산 결과를 보이는 도면이다.
도 7은 도 1 중 영상 정합 성공 또는 실패 영상을 보이는 도면이다.
도 8은 본 발명의 실시 예에 따른 영상 정합 방법의 동작을 보이는 흐름도 이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명에 따른 영상 정합 장치(10)의 구성을 보이는 블록도 이다.
도 1을 참조하면, 영상 정합 장치(10)는 제1 카메라(100), 제2 카메라(200), 영상 처리부(300) 및 정합부(400)를 포함한다.
제1 카메라(100) 및 제2 카메라(200)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 의미하는 것으로, 동일한 피사체에 대하여 입력되는 제1 및 제2 이미지(또는 동영상)는 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 더 나아가 제1 카메라(100) 또는 제2 카메라(200) 중 어느 하나는 열상 카메라 일 수도 있다. 열상 카메라는 각 물체로부터 방출되는 복사 에너지에 의해 물체와 그 물체의 주변 배경 간의 온도 차이를 검출하고 이를 전기 신호로 변환하여 영상화하는 카메라를 말한다.
영상 처리부(300)는 제1 카메라(100) 및 제2 카메라(200)로부터 출력되는 제1 및 제2 영상 신호에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행한다.
또한, 영상 처리부(300)는 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함한다.
또한, 영상 처리부(300)에서는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.
정합부(400)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상 각각의 특징점 추출하고, 특징점 정보들을 이용하여 제1 및 제2 영상을 매칭하며, 제1 및 제2 영상의 특징점 매칭 대응 관계인 변환행렬을 추정하여 변환행렬의 분산값 계산 결과에 따라 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단한다.
이러한 정합부(400)는 특징점 추출부(410), 특징점 매칭부(420), 변환행렬 추정부(430), 분산값 계산부(440) 및 판단부(450)를 포함한다.
특징점 추출부(410)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상으로부터 각각의 특징점을 추출한다. 특징점 추출부(410)는 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 제1 및 제2 영상으로부터 특징점(예를 들어, 모서리(corner))를 추출한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 SIFT는 <D. G. Lowe, "Distinctive image features from scale-invariant key points" Int. J. Comput. Vision 60 (2), 91-110, 2004>에서 Lowe에 의해 제안되었다.
SIFT 알고리즘에 의해 추출된 특징점들은 영상의 스케일, 회전, 왜곡, 삼차원 관점 변화 등에 의해 영향을 받지 않는 좋은 특성을 가진다. SIFT 알고리즘은 먼저, 디지털 영상에 대하여 가우시안 필터를 이용하여 레벨을 변화시키며 단계적으로 블러링(blurring) 작업을 수행한다. 이때 영상의 스케일(scale)를 변화시키며 블러링 작업을 반복한다. 다음에, 동일한 스케일에서 단계적으로 블러링된 영상들 간의 가우시안 차(DOG, difference of Gaussian)를 계산한다. 다음에, 계산된 가우시안 차에 기초하여 소정의 기준에 따라 특징점을 선택한다. 다음에, 원래 영상에서 모든 픽셀들의 그라디언트(gradient)를 계산하여 그라디언트 맵을 생성한다. 다음에, 그라디언트 맵을 이용하여 선택된 특징점들의 디스크립터(descriptor)를 계산한다. 마지막으로, 최종적인 특징점 데이터를 생성한다. 여기서, 특징점 데이터는 특징점의 좌표 및 해당 특징점의 디스크립터를 포함한다.
영상의 특징점을 추출하는 대표적인 알고리즘으로서의 Harris 알고리즘은 Chris Harris 와 Mike Stephens에 의하여 <A Combined Corner and Edge Detector Proceedings of the Fourth Alvey Vision Conference, Manchester, pp 147-151,1988>으로 소개되었다. 이 알고리즘은 이미지 안에서 에지(Edge)나 플레이트(flat)가 아닌 코너를 찾는 알고리즘 이다.
Harris 알고리즘은 기본적으로 영상 내에 상하 좌우로 움직이는 윈도우가 존재하며 이 윈도우 내의 화소값의 변화를 분석하여 코너점을 찾은 방식으로 구현된다. 영상 내 객체의 밝기값 변화가 없다면 윈도우를 상하 좌우 방향으로 움직여도 화소값의 변화량은 없을 것이다. 하지만 좌우로 이동하면서 상하방향으로 존재하는 영상의 경계선을 만났을 경우 당연히 좌우 방향으로 움직이는 윈도우 내의 화소값에는 큰 변화가 생기지만 상하 방향으로 움직이는 윈도우에 대해서는 화소값의 변화가 없을 것이다. 그럼 이 윈도우가 좌우방향뿐만 아니라, 상하 방향으로도 움직인다고 생각하면 상하 방향으로 움직이는 동안 분명히 화소값의 변화가 큰 지점을 지나가게 될 것이다. 즉, 이점이 최종적인 코너점이 되는 것이다. 코너점은 영상이 회전하여도 같은 위치로 찾아지는 장점이 있다.
도 2a에는 제1 카메라(100)가 촬영한 제1 영상이 도시되어 있고, 도 2b에는 제2 카메라(200)가 촬영한 제2 영상이 도시되어 있다. 도 3에는 도 2에 도시된 제1 및 제2 영상에 대하여 특징점 추출부(410)가 특징점을 추출하여 표시한 예가 도시되어 있다.
특징점 매칭부(420)는 제1 영상 및 제2 영상의 특징점을 매칭한다. 특징점 매칭부(420)는 제1 영상의 특징점에 대한 제2 영상에서 매칭점을 찾을 때, 탐색 영역을 설정하여 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 매칭 대상으로 결정하는 방법을 사용할 수 있다.
도 4에는 제1 영상의 특징점들과 제2 영상의 특징점들을 매칭한 결과를 보여준다. 이와 같은 특징점 매칭 결과, 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers)과 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 포함하고 있다.
이와 같이 특징점 매칭부(420)의 특징점 매칭은 제1 영상 및 제2 영상에서 추출한 특징점들의 정보를 이용하여 제1 영상 및 제2 영상 사이에 일치하는 특징점들을 매칭시킴으로써 제1 및 제2 영상을 연결에 주는 과정이라 할 수 있다.
변환행렬 추정부(430)는 제1 및 제2 영상의 특징점 매칭의 대응 관계인 변환행렬(homography, H)을 추정한다. 제1 및 제2 영상의 특징점 매칭 결과에는 이상점들이 포함되어, 이들은 영상 정합 성능의 정확도를 저하시킨다. 따라서 이러한 이상점들을 제거하고 변환행렬(H)을 구해야 영상 정합 성능의 정확도를 향상시킬 수 있다. 이러한 변환행렬(H) 추정은 RANSAC(random sample consensus) 알고리즘을 이용하여 수행될 수 있는데, 제1 및 제2 영상의 특징점 매칭 결과로부터, 매칭된 특징점들을 랜덤하게 선택하여 변환행렬(H)을 계산한 후, 나머지 매칭된 특징점들이 계산된 변환행렬(H)에 적합한지 검사한다. 여기서 랜덤하게 선택되는 매칭된 특징점들은, 변환행렬을 정의할 수 있는 최소한의 매칭된 특징점의 개수로, 예를 들어 4개일 수 있다. 제1 및 제2 영상에서 매칭된 특징점들을 {
Figure pat00001
}라고 하면, 특징점 매칭의 대응 관계인 변환행렬(H)은 다음 수학식 1과 같이 표현될 수 있다.
Figure pat00002
이러한 변환행렬(H)의 각 성분(h1-h9)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보 및 x, y, z 방향으로 각각 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling)정보를 포함하고 있다.
본 실시 예에서, 변환행렬 추정부(430)는 N 회 예를 들어, 5회(H(1)-H(5))의 변환행렬을 추정하는데, 도 5에는 5회의 변환행렬(H(1)-H(5))추정 결과의 실 예를 보여주고 있다.
분산값 계산부(440)는 5회 변환행렬(H(1)-H(5))의 분산값을 계산한다. 여기서 정합 성공률이 높은 영상은 변환행렬들(H(1)-H(5))이 유사하기 때문에 분산값이 작게 되고, 정합 성공률이 낮은 영상은 변환행렬들(H(1)-H(5))이 차이가 크기 때문에 분산값이 큼을 알 수 있다.
여기서, 분산값 계산부(440)는 5회 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개의 변환행렬에 대해 분산값을 계산한다. 그 이유에 대해서는 하기에 설명하도록 한다. 도 5에는 5개의 변환행렬에 대하여 적합점의 개수가 가장 많은 즉, 38개인 상위 3개를 별도로 표시하고 있다.
또한 분산값 계산부(440)는 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분 중 평행이동 정보를 포함하고 있는 성분, h3 및 h6 성분에 대한 분산값을 계산한다. h3 및 h6 성분은 제1 또는 제2 영상 중 어느 한 영상을 기준영상으로 하여 상기 기준영상의 좌표로 상기 나머지 영상을 정렬 시에 각각 x, y 좌표를 이동시키는 평행이동 정보를 포함하고 있으며, 이 평행이동 정보를 이용하여 분산값 계산 시에 더 정확한 영상 정합 성공률을 판단할 수 있다.
판단부(450)는 계산된 분산값을 임계값과 비교하여 영상 정합 성공 또는 실패를 판단한다. 여기서 임계값은 예를 들어 3일 수 있다. 판단부(450)는 h3 및 h6 성분의 분산값 각각이 임계값 보다 작은 경우 영상 정합 성공을 판단하고, 해당 정합된 영상을 출력한다. 그러나, h3 및 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 또는 h3 또는 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 영상 정합 실패를 판단하고, 특징점 추출, 매칭, 변환행렬 추정, 분산값 계산 및 판단의 과정을 다시 수행한다.
다음에, 분산값 계산부(440)는 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개에 대해 분산값을 계산하는데, 도 6에 도시된 바와 같이 상위 3개 변환행렬 H(1), H(3) 및 H(5)의 분산값 계산 결과 h3 및 h6 성분의 분산값은 모두 임계값 보다 작음을 알 수 있다. 그러나, 변환행렬들(H(1)-H(5))의 분산값 결과 h3 및 h6 성분의 분산값은 모두 임계값 보다 큼을 알 수 있다. 이로부터 판단부(450)는 상위 3개 변환행렬 H(1), H(3) 및 H(5)의 분산값으로부터 정합 성공을 판단하였으나, 5개의 변환행렬들(H(1)-H(5))의 분산값으로부터 정합 실패를 판단하여, 결과적으로 상위 m개의 변환행렬들에 대한 분산값을 이용하게 되면 영상 정합 성공의 검출율을 향상시킬 수 있게 되고, 처리속도도 빨라진다.
도 7a에는 변환행렬(H)의 분산값이 임계값 보다 작아 정합 성공을 판단한 도면이 도시되어 있고, 도 7b에는 변환행렬(H)의 분산값이 임계값 보다 작지않아 정합 실패를 판단한 도면이 도시되어 있다. 도 7a의 영상은 정합 결과 영상으로 출력될 수 있으나, 도 7b 영상은 정합 결과 영상으로 출력될 수 없고, 정합과정을 다시 수행해야 한다.
이와 같이 영상 정합을 위해 추정된 변환행렬의 분산값을 이용하여 영상 정합의 성공 또는 실패를 판단하여, 영상 정합의 신뢰성을 향상시킬 수 있게 된다.
도 8은 본 발명의 실시 예에 따른 영상 정합 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, 영상 정합 장치(10)는 제1 카메라(100)로 촬영된 제1 영상 및 제2 카메라(200)로 촬영된 제2 영상으로부터 각각의 특징점을 추출하는 단계(S10)를 수행한다. 제1 및 제2 영상의 특징점 추출은 SHIF 알고리즘 또는 HARRIS 알고리즘을 이용하여 특징점(예를 들어, 모서리(corner))를 추출할 수 있다.
제1 및 제2 영상으로부터 특징점 추출이 완료되면, 영상 정합 장치(10)는 제1 영상 및 제2 영상의 특징점을 매칭하는 단계(S20)를 수행한다. 영상 정합 장치(10)는 제1 영상의 특징점에 대한 제2 영상에서 매칭점을 찾을 때, 탐색 영역을 설정하여 이 영역 내에서 먼저 후보 특징을 찾고 이들 중 가장 유사도가 큰 것을 선택하여 매칭 대상으로 결정하는 방법을 사용할 수 있다. 특징점 매칭 결과, 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers)과 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)을 포함하고 있다.
특징점 매칭이 완료되면, 영상 정합 장치(10)는 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 변환행렬(H)을 추정하는 단계(S30)를 수행한다. 변환행렬(H)의 추정은 RANSAC 알고리즘을 이용하여 수행될 수 있으며, 추정된 변환행렬(H)의 각 성분(h1-h9)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보 및 x, y, z 방향으로 각각 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling)정보를 포함하고 있다. 본 실시 예에서, 변환행렬의 추정은 N 회 예를 들어, 5회(H(1)-H(5))의 변환행렬을 추정한다.
변환행렬(H) 추정이 완료되면, 영상 정합 장치(10)는 5회 변환행렬(H(1)-H(5))의 분산값을 계산하는 단계(S40)를 수행한다. 분산값 계산 시에 5회 변환행렬들(H(1)-H(5)) 중 적합점(inlier)의 개수가 가장 많은 상위 m개, 예를 들어 3개의 변환행렬에 대해 분산값을 계산한다. 더 나아가 분산값 계산 시에 적합점의 개수가 가장 많은 상위 m개의 변환행렬의 성분 중 평행이동 정보를 포함하고 있는 성분, h3 및 h6 성분에 대한 분산값을 계산한다.
분산값 계산이 완료되면, 영상 정합 장치(10)는 계산된 분산값을 임계값 예를 들어, 3과 비교하여 영상 정합 성공 또는 실패를 판단하는 단계(S50)를 수행한다. 영상 정합 장치(10)는 h3 및 h6 성분의 분산값 각각이 임계값 보다 작은 경우 영상 정합 성공을 판단하고, 해당 정합된 영상을 출력한다. 그러나, h3 및 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 또는 h3 또는 h6 성분의 분산값이 임계값 보다 작지 않은 경우, 영상 정합 실패를 판단하고, 특징점 추출, 매칭, 변환행렬 추정, 분산값 계산 및 판단의 과정을 다시 수행한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
100: 제1 카메라 200: 제2 카메라
300: 영상 처리부 400: 정합부
410: 특징점 추출부 420: 특징점 매칭부
430: 변환행렬 추정부 440: 분산값 계산부
450; 판단부

Claims (10)

  1. 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계;
    상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계;
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계;
    상기 변환행렬의 분산값을 계산하는 단계; 및
    상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상의 정합 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 정합 방법.
  2. 제 1항에 있어서, 상기 제1 및 제2 영상간 매칭을 수행하는 단계에서,
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 잘못 매칭된 이상점(outliers) 및 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점이 적합하게 매칭된 적합점(inliers)를 포함하는 것을 특징으로 하는 영상 정합 방법.
  3. 제 2항에 있어서, 상기 변환행렬 추정 단계는,
    RANSAC 알고리즘에 의해 수행 되며, N회 반복되는 것을 특징으로 하는 영상 정합 방법.
  4. 제 3항에 있어서, 상기 변환행렬 추정 단계에서,
    상기 적합점의 개수가 가장 많은 상위 m개의 변환행렬을 추정 결과로 출력하는 것을 특징으로 하는 영상 정합 방법.
  5. 제 4항에 있어서, 상기 분산값을 계산하는 단계에서,
    상기 m개 변환행렬의 성분들 중, 상기 평행이동 정보를 나타내는 성분의 분산값을 계산하는 것을 특징으로 하는 영상 정합 방법.
  6. 제 5항에 있어서, 상기 영상 정합의 정합 또는 실패를 판단하는 단계에서,
    상기 분산값이 임계값 이하인 경우 정합 성공을 판단하고, 그 이외의 경우 정합 실패를 판단하는 것을 특징으로 하는 영상 정합 방법.
  7. 제 1항에 있어서,
    상기 매칭의 실패 판단 시에, 상기 일련의 단계를 재 수행하는 단계;를 더 포함하는 것을 특징으로 하는 영상 정합 방법.
  8. 제1 카메라;
    제2 카메라; 및
    동일한 피사체에 대하여 상기 제1 및 제2 카메라로 촬영된 제1 및 제2 영상 각각의 특징점 추출하여 매칭하고, 상기 제1 및 제2 영상의 특징점 매칭 대응 관계인 변환행렬을 추정하여 상기 변환행렬의 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 정합부;를 포함하는 것을 특징으로 하는 영상 정합 장치.
  9. 제 8항에 있어서, 상기 정합부는,
    제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 특징점 추출부;
    상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 매칭부;
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 변환행렬 추정부;
    상기 변환행렬의 분산값을 계산하는 분산값 계산부; 및
    상기 분산값이 임계값 이하이면 상기 제1 및 제2 영상의 정합 성공을 판단하고, 그 이외의 경우 상기 제1 및 제2 영상의 정합 실패를 판단하는 판단부;를 포함하는 것을 특징으로 하는 영상 정합 장치.
  10. 동일한 피사체에 대하여 제1 카메라로 촬영된 제1 영상 및 제2 카메라로 촬영된 제2 영상 각각의 특징점을 추출하는 단계;
    상기 특징점 정보들을 이용하여 상기 제1 및 제2 영상간 매칭을 수행하는 단계;
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점 매칭의 대응 관계로서, 회전정보, 평행이동 정보 및 크기 변환정보를 포함하고 있는 변환행렬을 추정하는 단계;
    상기 변환행렬의 분산값을 계산하는 단계; 및
    상기 분산값 계산 결과에 따라 상기 제1 및 제2 영상 정합 결과의 성공 또는 실패를 판단하는 단계;를 포함하는 것을 특징으로 하는 영상 정합 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020120081969A 2012-07-26 2012-07-26 영상 정합 장치 및 방법 KR101524548B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120081969A KR101524548B1 (ko) 2012-07-26 2012-07-26 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120081969A KR101524548B1 (ko) 2012-07-26 2012-07-26 영상 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140015892A true KR20140015892A (ko) 2014-02-07
KR101524548B1 KR101524548B1 (ko) 2015-06-02

Family

ID=50265167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120081969A KR101524548B1 (ko) 2012-07-26 2012-07-26 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101524548B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554441B (zh) * 2014-10-23 2019-11-19 韩华泰科株式会社 用于配准图像的设备和方法
KR20200111850A (ko) * 2019-03-19 2020-10-05 오스템임플란트 주식회사 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003475B1 (ko) * 2019-01-09 2019-07-24 주식회사 이오씨 영상 및 열화상을 이용한 영상 합성 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100362171B1 (ko) * 2000-01-21 2002-11-23 한국전자통신연구원 영상 특징점 매칭을 이용한 변환 행렬 추정 장치, 방법 및 그 기록매체와 그를 이용한 모자이크 영상 생성 장치, 방법 및 그 기록매체
KR100943844B1 (ko) * 2008-02-19 2010-02-24 고려대학교 산학협력단 이미지의 크기불변특징 추출에 사용되는 이미지 신호필터링 방법 및 장치와 이를 이용한 이미지 특징 추출방법, 장치 및 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554441B (zh) * 2014-10-23 2019-11-19 韩华泰科株式会社 用于配准图像的设备和方法
KR20200111850A (ko) * 2019-03-19 2020-10-05 오스템임플란트 주식회사 스캔 영역 재탐지를 위한 영상 검색 및 매칭 방법과 이를 수행하는 영상 처리장치

Also Published As

Publication number Publication date
KR101524548B1 (ko) 2015-06-02

Similar Documents

Publication Publication Date Title
KR101758684B1 (ko) 객체 추적 장치 및 방법
US9275464B2 (en) Method for determining the extent of a foreground object in an image
US9147118B2 (en) Image alignment method and image alignment system
Taspinar et al. Source camera attribution using stabilized video
US9607240B2 (en) Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
KR101883481B1 (ko) 영상 안정화 장치 및 방법
CN109313799B (zh) 图像处理方法及设备
WO2016025328A1 (en) Systems and methods for depth enhanced and content aware video stabilization
Okade et al. Video stabilization using maximally stable extremal region features
JP2016038415A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
KR101524548B1 (ko) 영상 정합 장치 및 방법
US9392146B2 (en) Apparatus and method for extracting object
JP5173549B2 (ja) 画像処理装置及び撮像装置
US9466095B2 (en) Image stabilizing method and apparatus
Walha et al. Moving object detection system in aerial video surveillance
US20110085026A1 (en) Detection method and detection system of moving object
Heflin et al. Correcting rolling-shutter distortion of CMOS sensors using facial feature detection
Da Xu et al. Novel methods for high-resolution facial image capture using calibrated PTZ and static cameras
Asundi et al. Raindrop detection algorithm for ADAS
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
KR20160000533A (ko) 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
JP6525693B2 (ja) 画像処理装置及び画像処理方法
KR20200010527A (ko) 영상 안정화 장치 및 방법
JP2014153517A (ja) 画像処理装置および画像処理方法、プログラム並びに記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 5