KR20150021352A

KR20150021352A - 영상 정합 장치 및 이를 이용한 영상 정합 방법

Info

Publication number: KR20150021352A
Application number: KR20130098608A
Authority: KR
Inventors: 이준성; 오재윤; 김곤수
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-08-20
Filing date: 2013-08-20
Publication date: 2015-03-02
Also published as: WO2015026002A1; KR102050418B1

Abstract

본 발명은 영상 정합 장치 및 이를 이용한 영상 정합 방법을 개시한다.
일 실시예에 따른 영상 정합 장치는, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및 상기 제1영상센서와 제2영상센서의 줌 정보를 기초로 상기 제1변환함수를 조정한 제3변환함수를 추정하는 줌 변환함수 추정부;를 포함할 수 있다.

Description

영상 정합 장치 및 이를 이용한 영상 정합 방법{Apparatus and method for alignment of images}

본 발명의 실시예는 영상 정합 장치 및 이를 이용한 영상 정합 방법에 관한 것이다.

최근에 감시 시스템과 의료 영상 등의 분야에서 변화 감지, 움직임 검출, 초해상도 영상 복원 및 물체 인식과 추적 등의 알고리즘의 정확도와 신뢰도를 향상시키기 위해 두 개 이상의 센서를 이용한 상호 보완적인 정보 융합 연구가 활발히 이루어지고 있다.

본 발명의 실시예는 실시간 영상 정합을 위한 영상 정합 장치 및 이를 이용한 영상 정합 방법을 제공한다.

본 발명의 일 실시예에 따른 영상 정합 장치는, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및 상기 제1영상센서와 제2영상센서의 줌 정보를 기초로 상기 제1변환함수를 조정한 제3변환함수를 추정하는 줌 변환함수 추정부;를 포함할 수 있다.

상기 줌 변환함수 추정부는, 상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우 상기 제3변환함수를 추정할 수 있다.

상기 제1 변환함수 추정부는, 상기 제1영상 및 제2영상에서 관심영역을 설정하고, 상기 설정된 관심영역으로부터 추출된 특징점 정보를 기초로 상기 제1변환함수를 추정할 수 있다.

상기 장치는, 상기 제1변환함수의 추정 여부에 따라, 상기 제1변환함수 또는 제3변환함수를 최종 변환함수로 선택하는 변환함수 선택부;를 더 포함할 수 있다.

상기 변환함수 선택부는, 상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우, 새로운 제1변환함수가 추정될 때까지, 상기 제3변환함수를 최종 변환함수로 선택할 수 있다

상기 제1 변환함수 추정부는, 상기 제1영상 및 제2영상의 특징점들을 검출하는 특징점 검출부; 상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 특징점 선별부; 및 상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 제1추정부;를 포함할 수 있다.

상기 특징점 선별부는, 상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 패치영상 획득부; 상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 후보 선별부; 상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 유사성 판단부; 및 상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 대응 특징점 선별부;를 포함할 수 있다.

상기 줌 변환함수 추정부는, 상기 줌 정보에 대응하는 스케일 변환 계수를 결정하는 스케일 결정부; 상기 스케일 변환 계수를 기초로 상기 제1변환함수를 조정하여 제2변환함수를 추정하는 제2 변환함수 추정부; 및 상기 제2변환함수에 의해 정합된 상기 제1영상 및 제2영상 간의 센터 오프셋 값을 기초로 상기 제2변환함수로부터 상기 제3변환함수를 추정하는 제3 변환함수 추정부;를 포함할 수 있다.

상기 스케일 결정부는, 기 저장된 영상센서별 줌 정보와 스케일 변환 계수 간의 관계로부터 상기 스케일 변환 계수를 결정할 수 있다.

상기 장치는, 상기 선택된 제1변환함수 또는 제3변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 정합부;를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 영상 정합 방법은, 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 단계; 및 상기 제1영상센서와 제2영상센서의 줌 정보를 기초로 상기 제1변환함수를 조정하여 제3변환함수를 추정하는 단계;를 포함할 수 있다.

상기 제3변환함수 추정 단계는, 상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우 상기 제3변환함수를 추정하는 단계;를 포함할 수 있다.

상기 제1 변환함수 추정 단계는, 상기 제1영상 및 제2영상에서 관심영역을 설정하고, 상기 설정된 관심영역으로부터 추출된 특징점 정보를 기초로 상기 제1변환함수를 추정하는 단계;를 포함할 수 있다.

상기 방법은, 상기 제1변환함수의 추정 여부에 따라, 상기 제1변환함수 또는 제3변환함수를 최종 변환함수로 선택하는 단계;를 더 포함할 수 있다.

상기 최종 변환함수 선택 단계는, 상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우, 새로운 제1변환함수가 추정될 때까지, 상기 제3변환함수를 최종 변환함수로 선택하는 단계;를 포함할 수 있다.

상기 제1변환함수 추정 단계는, 상기 제1영상 및 제2영상의 특징점들을 검출하는 단계; 상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 단계; 및 상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 단계;를 포함할 수 있다.

상기 특징점 선별 단계는, 상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 단계; 상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 단계; 상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 단계; 및 상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 단계;를 포함할 수 있다.

상기 제3변환함수 추정 단계는, 상기 줌 정보에 대응하는 스케일 변환 계수를 결정하는 단계; 상기 스케일 변환 계수를 기초로 상기 제1변환함수를 조정하여 제2변환함수를 추정하는 단계; 및 상기 제2변환함수에 의해 정합된 상기 제1영상 및 제2영상 간의 센터 오프셋 값을 기초로 상기 제2변환함수로부터 상기 제3변환함수를 추정하는 단계;를 포함할 수 있다.

상기 스케일 변환 계수 결정 단계는, 기 저장된 영상센서별 줌 정보와 스케일 변환 계수 간의 관계로부터 상기 스케일 변환 계수를 결정하는 단계;를 포함할 수 있다.

상기 방법은, 상기 선택된 제1변환함수 또는 제3변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 단계;를 더 포함할 수 있다.

본 발명의 실시예에 따른 영상 정합 장치는 줌 정보 변경시에 실시간 영상 정합이 가능하다.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제1 변환함수 추정부를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 특징점 선별을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 줌 변환함수 추정부를 개략적으로 도시한 블록도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 정합을 예시적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하는 흐름도이다.
도 9는 도 8의 대응 특징점을 선별하는 방법을 설명하는 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 융합 시스템을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 본 발명의 영상 융합 시스템(1)은 제1영상센서(10), 제2영상센서(20), 영상 정합 장치(30), 영상 융합 장치(40) 및 디스플레이 장치(50)를 포함한다.

제1영상센서(10) 및 제2영상센서(20)는 동일 장면을 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다. 제1영상센서(10) 및 제2영상센서(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다.

본 실시예에서 제1영상센서(10)는 가시광 카메라로서, 빛(light)을 검출하는 방식으로 영상 정보를 획득하여 물체의 휘도 분포에 따른 가시 영상인 제1영상을 생성한다. 예를 들어, 가시 카메라는 CCD 또는 CMOS를 촬상소자로 사용하는 카메라일 수 있다.

본 실시예에서 제2영상센서(20)는 적외광 카메라(또는 열상 카메라)로서, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2영상을 생성할 수 있다.

영상 정합 장치(30)는 동일한 장면을 다른 센서로부터 얻은 두 개 이상의 영상들의 위치 관계를 대응시켜 하나의 좌표계로 정렬시키는 영상 정합을 수행한다. 감시시스템과 의료 영상 등의 분야에서 두 개 이상의 센서를 이용한 영상을 획득하여 하나의 융합 영상을 생성하는 시스템에서는 영상 정합을 수행하여야 한다.

영상 정합 장치(30)는 제1영상센서(10)로 촬영한 제1영상 및 제2영상센서(20)로 촬영한 제2영상을 정합한다. 이를 위해, 영상 정합 장치(30)는 제1영상 및 제2영상으로부터 추출된 특징점 정보 및 제1영상센서(10)와 제2영상센서(20)의 줌 정보(예를 들어, 줌 배율)를 기초로 변환함수를 추정한다. 변환함수는 제1영상 및 제2영상 각각의 특징점들 간의 대응 관계를 나타내는 행렬이다. 영상 정합 장치(30)는 추정된 변환함수를 적용하여 제1영상 및 제2영상을 정합한다.

영상 융합 장치(40)는 수신된 영상 신호를 디스플레이 규격에 맞는 신호로 출력하는 신호 처리를 수행한다. 영상 융합 장치(40)는 정합된 제1영상과 제2영상을 융합한다. 예를 들어, 적외광 카메라는 물체의 열적 분포는 잘 나타낼 수 있으나 측정된 물체의 형상이 명확하지 않으며, 가시광 카메라는 물체의 형상은 명확하게 나타낼 수 있으나 물체의 열적 분포는 나타낼 수 없다. 영상 융합 장치(40)는 가시광 카메라와 적외광 카메라의 상호 장단점을 적절히 이용하여 물체의 영상을 표시함과 동시에 그 물체의 열적 분포 상태를 명확하게 나타낼 수 있다.

영상 융합 장치(40)는 제1영상 및 제2영상에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 영상 융합 장치(40)는 화질 개선을 위한 영상 신호 처리를 하여 융합 영상의 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식을 포함할 수 있다.

또한, 영상 융합 장치(40)는 기능적으로 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다.

디스플레이 장치(50)는 영상 융합 장치(40)로부터 출력되는 융합 영상을 사용자에게 제공함으로써, 사용자가 디스플레이되는 영상을 모니터링할 수 있도록 한다. 디스플레이 장치(50)는 제1영상과 제2영상이 중첩된 융합 영상을 디스플레이할 수 있다. 디스플레이 장치(50)는 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED), 전기 영동 디스플레이 패널(EPD) 등으로 이루어질 수 있다. 디스플레이 장치(50)는 사용자의 터치를 통하여 입력을 받을 수 있도록 터치스크린 형태로 구비되어, 사용자 입력 인터페이스로서 동작할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 정합 장치를 개략적으로 도시한 블록도이다.

도 2를 참조하면, 영상 정합 장치(30)는 제1 변환함수 추정부(301), 줌 변환함수 추정부(303), 변환함수 선택부(305) 및 정합부(307)를 포함할 수 있다.

제1 변환함수 추정부(301)는 제1영상센서(10)로 촬영한 제1영상 및 제2영상센서(20)로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수(H1)를 추정할 수 있다. 제1 변환함수 추정부(301)는 제1영상센서(10)와 제2영상센서(20)의 줌 상태가 바뀔 때마다 새롭게 제1변환함수(H1)를 추정할 수 있다.

제1 변환함수 추정부(301)는 제1영상과 제2영상 전체에 대한 특징점 검출을 수행하지 않고, 관심 영역을 설정하고, 설정된 관심 영역에 대해서만 특징점 검출을 수행함으로써 연산량을 줄여 제1변환함수(H1) 추정 시간을 단축할 수 있다. 관심 영역은 제1영상과 제2영상 간에 촬영 영역이 겹치는 영역일 수 있다.

제1 변환함수 추정부(301)는 제1영상과 제2영상으로부터 특징점을 추출하고 대응하는 특징점 쌍을 선별하는 과정을 통해 제1변환함수(H1)를 추정하기 때문에, 정합 오차율이 적으나, 줌 상태가 바뀔 때마다 새로운 제1변환함수(H1)를 추정해야 하므로 실시간 정합 수행이 어렵다.

따라서, 본 실시예에서는 제1영상센서(10)와 제2영상센서(20) 중 적어도 하나의 줌 상태가 변경된 경우, 제1 변환함수 추정부(301)가 줌 상태 변경에 따라 새롭게 제1변환함수(H1) 추정을 완료할 때까지, 보다 간단한 추정 과정을 통해 적은 연산량으로 빠르게 추정된 변환함수로 정합을 수행하여 줌 상태 변경이 있는 경우에도 실시간 정합이 가능하도록 한다.

줌 변환함수 추정부(303)는 제1영상센서(10)와 제2영상센서(20)의 줌 정보를 기초로 제1변환함수(H1)를 조정한 제3변환함수(H3)를 추정할 수 있다. 제1영상센서(10)와 제2영상센서(20)가 고정된 줌 상태로 영상 촬영 중, 제1영상센서(10)와 제2영상센서(20) 중 적어도 하나의 줌 상태가 변경된 경우, 줌 변환함수 추정부(303)는 고정된 줌 상태에서 추정된 제1변환함수(H1)를 조정하여 신속하게 제3변환함수(H3)를 추정할 수 있다. 줌 변환함수 추정부(303)는 특징점 추출 과정 없이 줌 정보만으로 기 추정된 제1변환함수(H1)를 조정한 제3변환함수(H3)를 추정하기 때문에, 제1 변환함수 추정부(301)가 새로운 제1변환함수(H1)를 추정하는 동안에도 실시간 정합이 가능하다.

제1영상센서(10)와 제2영상센서(20) 중 적어도 하나의 줌 상태가 변경된 경우, 예를 들어, 줌 배율 변경에 의해 줌인 또는 줌아웃된 경우, 해당 영상센서의 촬영 영역이 감소하거나 증가할 수 있다. 제1 변환함수 추정부(301)는 제1영상 및 제2영상 중 줌 상태 변경에 의해 촬영 영역이 감소한 영상을 기준영상으로 하고, 기준영상의 촬영 영역을 관심 영역으로 설정하고, 제1영상 및 제2영상 각각의 관심 영역에 대해서만 특징점을 추출하여 제1변환함수(H1)를 추정할 수 있다. 이에 따라 제1영상과 제2영상 간에 공통 영역이 아닌 영역에 대해서는 특징점을 추출할 필요가 없어 연산 시간을 줄일 수 있다.

변환함수 선택부(305)는 제1변환함수(H1)의 추정 여부에 따라, 제1변환함수(H1) 또는 제3변환함수(H3)를 최종 변환함수(H)로 선택할 수 있다. 줌 상태가 고정된 경우, 변환함수 선택부(305)는 제1 변환함수 추정부(301)가 추정한 제1변환함수(H1)를 최종 변환함수(H)로 선택한다. 줌 상태 변경이 있는 경우, 제1 변환함수 추정부(301)가 새로운 제1변환함수(H1) 추정을 완료하기 전(H1_done=0)이면, 변환함수 선택부(305)는 줌 변환함수 추정부(303)가 추정한 제3변환함수(H3)를 최종 변환함수(H)로 선택한다. 제1 변환함수 추정부(301)가 새로운 제1변환함수(H1) 추정을 완료(H1_done=1)하면, 변환함수 선택부(305)는 제1 변환함수 추정부(301)가 추정한 제1변환함수(H1)를 최종 변환함수(H)로 선택한다. 줌 상태 변경이 있는 경우, 변환함수 선택부(305)의 선택 방법은 하기 수학식 1과 같다.

정합부(307)는 제1변환함수(H1) 또는 제3변환함수(H3) 중 선택된 변환함수(H)를 이용하여 제1영상 및 제2영상을 정합한다.

도 3은 본 발명의 일 실시예에 따른 제1 변환함수 추정부를 개략적으로 도시한 블록도이다. 도 4는 본 발명의 일 실시예에 따른 특징점 선별을 설명하는 예시도이다.

도 3을 참조하면, 제1 변환함수 추정부(301)는 특징점 검출부(311), 특징점 선별부(341) 및 추정부(391)를 포함할 수 있다.

특징점 검출부(311)는 제1영상센서(10)로 촬영된 제1영상의 특징점(F1)을 검출하는 제1 특징점 검출부(321) 및 제2영상센서(20)로 촬영된 제2영상의 특징점(F2)을 검출하는 제2 특징점 검출부(331)를 포함할 수 있다. 제1 특징점 검출부(321) 및 제2 특징점 검출부(331)는 각각 별개로 또는 일체로 구현되어 순차로 또는 병렬로 특징점 검출을 수행할 수 있다.

특징점 검출부(311)는 SIFT 알고리즘, HARRIS 코너 알고리즘, SUSAN 알고리즘 등을 이용하여 제1영상 및 제2영상 각각으로부터 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 특징점으로 추출할 수 있다. 본 발명의 실시예에서는 특징점 검출 알고리즘을 특별히 제한하지 않으며, 다양한 특징점 추출 알고리즘을 이용할 수 있다.

특징점 선별부(341)는 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별할 수 있다. 특징점 선별부(341)는 패치 영상 획득부(351), 후보 선별부(361), 유사성 판단부(371) 및 대응 특징점 선별부(381)를 포함할 수 있다.

패치 영상 획득부(351)는 제1영상 및 제2영상의 특징점 각각의 패치 영상을 획득할 수 있다. 패치 영상은 특징점을 중심으로 NxN 크기를 가질 수 있다.

후보 선별부(361)는 제1영상 및 제2영상 중 하나를 기준영상으로 하고, 기준영상의 특징점 각각에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별할 수 있다. 동일 장면에 대해 획득한 두 영상의 특징점들은 국지성(localization)을 나타낸다. 후보 선별부(361)는 나머지 영상에서 기준영상의 특징점을 기준으로 소정의 사이즈를 갖는 블럭 내의 특징점들을 후보 특징점들로 선별할 수 있다. 블럭 사이즈는 두 영상센서의 시야각(FOV, Field of view) 및 주시 방향에 따라 유연하게 최적화할 수 있다. 예를 들어, 두 영상센서의 시야각과 바라보는 방향이 가까울수록 블럭 사이즈를 감소시킬수 있고, 멀어질수록 블럭 사이즈를 증가시킬 수 있다. 후보 선별부(361)는 블럭 사이즈를 기초로 기준영상의 특징점과의 거리가 임계치 내인 나머지 영상의 특징점들을 후보 특징점들로 선별할 수 있다.

유사성 판단부(371)는 기준영상의 특징점의 패치 영상과 나머지 영상의 후보 특징점들의 패치 영상들 간의 유사성을 판단할 수 있다. 유사성 판단은 정규상호정보(Normalized Mutual Information) 및 그래디언트(gradient) 방향 정보를 파라미터로 이용할 수 있다. 정규상호정보는 두 확률변수의 통계적 상관성을 나타내는 상호정보를 정규화한 정보이다. 정규상호정보 및 그래디언트 방향 정보의 산출 방식은 이미 공지되어 있는 알고리즘 및 방법으로 본 실시예의 상세한 설명에서는 이에 관한 자세한 설명을 생략한다.

대응 특징점 선별부(381)는 유사성 판단부(371)의 유사성 판단 결과를 기초로 후보 특징점들 중 대응 특징점을 선별할 수 있다. 대응 특징점 선별부(381)는 나머지 영상의 후보 특징점들 중 유사성 정도가 가장 큰 특징점을 기준영상의 특징점과 대응하는 대응 특징점으로 하여 대응 특징점 쌍을 선별할 수 있다.

도 4는 제1영상(I1)과 제2영상(I2)으로부터 각각 특징점들이 검출되고, 제1영상(I1)을 기준영상으로 대응 특징점 쌍을 선별하는 예를 도시한다. 제1영상(I1)의 복수의 특징점들 중 하나인 특징점(f1)에 대해, 제2영상(I2)의 후보 특징점들(f21, f22, f23)이 선별되었다. 후보 특징점들(f21, f22, f23)은 제2영상(I2)의 특징점(f1)과 대응하는 위치에서 일정 거리 내의 영역(CFA)에 위치하는 특징점들이다. 제1영상(I1)의 특징점(f1)을 중심으로 하는 패치 영상(P1)과 제2영상(I2)의 후보 특징점들(f21, f22, f23) 각각을 중심으로 하는 패치 영상들(P21, P22, P23) 간에 유사성 정도가 판단된다.

다시 도 3을 참조하면, 추정부(391)는 선별된 대응 특징점들을 기초로 제1변환함수(H1)를 추정할 수 있다. 추정부(391)는 RANSAC(random sample consensus) 또는 LO-RANSAC(Locally Optimized RANSAC) 알고리즘을 이용하여 제1변환함수(H1)를 추정할 수 있다. 제1변환함수(H1)는 하기 수학식 2와 같이 표현할 수 있다.

제1변환함수(H1)의 각 성분(h11 내지 h33)은 어떤 회전각으로 회전할지를 나타내는 회전(rotation) 정보, x, y, z 방향으로 얼마만큼 이동할지를 나타내는 평행이동(translation) 정보, 및 x, y, z 방향으로 얼마만큼 크기를 변화시킬지를 나타내는 크기 변환(scaling) 정보를 포함한다.

도 5는 본 발명의 일 실시예에 따른 줌 변환함수 추정부를 개략적으로 도시한 블록도이다.

도 5를 참조하면, 줌 변환함수 추정부(303)는 제1영상센서(10)와 제2영상센서(20)의 줌 정보(Z1, Z2)를 기초로 제1변환함수(H1)를 조정한 제3변환함수(H3)를 추정할 수 있다. 줌 정보(Z1, Z2)는 줌 배율을 나타내는 파라미터일 수 있다. 줌 변환함수 추정부(303)는 스케일 결정부(313), 제2 변환함수 추정부(353) 및 제3 변환함수 추정부(373)를 포함할 수 있다.

스케일 결정부(313)는 줌 정보(Z1, Z2)에 대응하는 스케일 변환 계수(S)를 결정할 수 있다. 스케일 변환 계수(S)는 영상 크기의 변환 정도를 나타내는 계수이다. 영상 센서마다 크기와 줌 렌즈의 줌 구간별 초점 거리가 상이하므로, 영상 센서마다 줌 배율 변환에 대응하는 영상 크기 변환 비율이 상이할 수 있다. 따라서, 스케일 결정부(313)는 메모리 등에 미리 저장된 영상 센서별로 줌 배율과 스케일 변환 계수 간의 관계를 나타내는 그래프 또는 룩업 테이블을 이용하여 해당하는 영상 센서의 줌 배율에 대응하는 스케일 변환 계수(S)를 결정할 수 있다.

제2 변환함수 추정부(353)는 스케일 변환 계수(S)를 기초로 제1변환함수(H1)를 조정하여 제2변환함수(H2)를 추정할 수 있다. 제1변환함수(H1)의 h11 및 h22 성분은 제1영상 또는 제2영상 중 어느 한 영상을 기준영상으로 하여 기준영상의 좌표로 나머지 영상을 정합 시에 각각 x, y 방향에서의 크기 변환 정보를 포함한다. 따라서, 제2변환함수(H2)는 제1변환함수(H1)의 h11 및 h22 성분을 스케일 변환 계수(S)로 나누어줌으로써, 하기 수학식 3과 같이 표현될 수 있다.

제3 변환함수 추정부(373)는 제2변환함수(H2)에 의해 정합된 제1영상 및 제2영상 간의 오프셋 값(O)을 추출하고, 오프셋 값(O)을 기초로 제2변환함수(H2)를 조정하여 제3변환함수(H3)를 추정할 수 있다. 오프셋 값(O)은 제2변환함수(H2)로 정합하여 정렬된 제1영상 및 제2영상 간의 센터 틀어짐 정도이다. 제1변환함수(H1)의 h13 및 h23 성분은 제1영상 또는 제2영상 중 어느 한 영상을 기준영상으로 하여 기준영상의 좌표로 나머지 영상을 정렬 시에 각각 x, y 좌표를 이동시키는 평행이동 정보를 포함한다. 제1영상의 센터 좌표(x1, y1)와 제2영상의 센터 좌표(x2, y2)로부터 오프셋 값(O)인 (tx, ty)는 하기 수학식 4와 같이 추출될 수 있다. 따라서, 제3변환함수(H3)는 제2변환함수(H2)의 h13 및 h23 성분에 각각 오프셋 값(tx, ty)을 가산함으로써, 하기 수학식 5와 같이 표현될 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 정합을 예시적으로 나타낸 도면이다.

도 6은 1배줌의 제1영상센서(10)로 촬영된 제1영상(a)과 1배줌에서 2배줌으로 줌 상태가 변경된 제2영상센서(20)로 촬영된 제2영상(b)을 제2변환함수(H2)로 정합한 경우 정렬된 결과 영상(c)을 도시한 예이다. 도 6을 참조하면, 제2변환함수(H2)는 영상 크기 변환 정보만을 포함하고 있으므로, 기준영상인 제1영상(a)의 센터(x1, y1)와 크기 변환된 제2영상(b')의 센터(x2, y2)가 어긋나 있다.

도 7은 1배줌의 제1영상센서(10)로 촬영된 제1영상(a)과 1배줌에서 2배줌으로 줌 상태가 변경된 제2영상센서(20)로 촬영된 제2영상(b)을 제3변환함수(H3)로 정합한 경우 정렬된 결과 영상(d)을 도시한 예이다. 도 7을 참조하면, 제3변환함수(H3)는 영상 크기 변환 정보 및 평행 이동 정보를 포함하고 있으므로, 기준영상인 제1영상(a)의 센터와 크기 변환된 제2영상(b')의 센터가 일치되어 있다.

도 8은 본 발명의 일 실시예에 따른 영상 정합 방법을 설명하는 흐름도이다. 도 9는 도 8의 대응 특징점을 선별하는 방법을 설명하는 흐름도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 정합 장치는 제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수(H1)를 추정할 수 있다(S80A).

구체적으로, 영상 정합 장치는 제1영상 및 제2영상의 특징점들(F1, F2)을 검출할 수 있다(S81). 특징점은 코너(corners), 에지(edges), 외곽선(contours), 교차점(line intersections) 등을 포함할 수 있다.

다음으로, 영상 정합 장치는 검출된 제1영상 및 제2영상의 특징점들(F1, F2) 간에 대응하는 대응 특징점들을 선별할 수 있다(S82). 이를 위해, 영상 정합 장치는 제1영상 및 제2영상 각각의 특징점(F1, F2)을 중심으로 하는 패치 영상을 획득할 수 있다(S821). 그리고, 영상 정합 장치는 제1영상 및 제2영상 중 하나인 기준영상의 특징점에 대응 가능한 나머지 영상의 후보 특징점들을 선별할 수 있다(S823). 예를 들어, 제1영상을 기준영상으로 한 경우, 제1영상의 특징점에 대응 가능한 제2영상의 후보 특징점들을 선별할 수 있다. 후보 특징점들은 국지성, 예를 들어, 특징점 간의 거리를 기초로 선별될 수 있다. 그리고, 영상 정합 장치는 기준영상의 특징점의 패치 영상과 나머지 영상의 후보 특징점들의 패치 영상들 간의 유사성을 판단할 수 있다(S825). 유사성 정도는 패치 영상 간의 정규상호정보 및 그래디언트 방향 정보를 이용하여 결정될 수 있다. 영상 정합 장치는 유사성 판단 결과를 기초로, 후보 특징점들 중에서 기준영상의 특징점에 대응하는 대응 특징점을 선별할 수 있다(S827). 예를 들어, 영상 정합 장치는 기준영상 특징점과 유사성 정도가 가장 큰 후보 특징점을 기준영상 특징점의 대응 특징점으로 선별할 수 있다.

다음으로, 영상 정합 장치는 선별된 대응 특징점들을 기초로 제1변환함수(H1)를 추정할 수 있다(S83).

영상 정합 장치는 제1변환함수(H1)가 추정되면, 제1변환함수(H1)를 최종 변환함수(H)로 선택할 수 있다(S87).

영상 정합 장치는 최종 변환함수(H)로 제1영상 및 제2영상을 정합할 수 있다(S88).

한편, 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우, 영상 정합 장치는 제1영상센서와 제2영상센서의 줌 정보(Z1, Z2)를 기초로, 줌 상태 변경 전에 추정된 제1변환함수(H1)를 조정하여 제3변환함수(H3)를 추정할 수 있다(80B).

구체적으로, 영상 정합 장치는 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태(예를 들어, 줌 배율) 변경이 있는 경우, 줌 상태 변경에 대응하는 스케일 변환 계수(S)를 결정할 수 있다(S84). 영상 정합 장치는 영상 센서별로 줌 배율과 스케일 변환 계수 간의 관계를 나타내는 그래프 또는 룩업 테이블을 미리 저장하고, 이를 이용하여 해당하는 영상 센서의 줌 배율에 대응하는 스케일 변환 계수(S)를 결정할 수 있다.

다음으로, 영상 정합 장치는 스케일 변환 계수(S)를 기초로 제1변환함수(H1)를 조정하여 제2변환함수(H2)를 추정할 수 있다(S85). 영상 정합 장치는 제1변환함수(H1)의 성분 중 x, y 방향에서의 크기 변환 정보를 포함하는 성분에 스케일 변환 계수(S)를 적용하여 제2변환함수(H2)를 추정할 수 있다.

그리고, 영상 정합 장치는 제2변환함수(H2)로 정합되어 정렬된 제1영상 및 제2영상 간의 오프셋 값을 기초로 제2변환함수(H2)를 조정하여 제3변환함수(H3)를 추정할 수 있다(S86). 영상 정합 장치는 제1변환함수(H1)의 성분 중 x, y 방향에서의 평행이동 정보를 포함하는 성분에 오프셋 값을 적용하여, 제2변환함수(H2)로부터 제3변환함수(H3)를 추정할 수 있다.

영상 정합 장치는 줌 상태 변경이 있는 경우, 새로운 제1변환함수(H1)가 추정될 때까지, 제3변환함수(H3)를 최종 변환함수(H)로 선택할 수 있다(S87). 영상 정합 장치는 줌 상태 변경에 따라 새로운 제1변환함수(H1)가 추정되면, 새로 추정된 제1변환함수(H1)를 최종 변환함수(H)로 선택할 수 있다.

그리고, 영상 정합 장치는 최종 변환함수(H)로 제1영상 및 제2영상을 정합할 수 있다(S88).

한편, 영상 정합 장치는 줌 상태 변경에 따라 새로운 제1변환함수(H1)를 추정할 때 제1영상 및 제2영상 전체가 아닌 관심 영역에 대해서 특징점 검출을 통해 제1변환함수(H1)를 추정할 수 있다. 관심 영역은 제1영상 및 제2영상 간에 촬영 영역이 겹치는 영역일 수 있다. 이로써 영상 정합 장치는 변환함수 추정 연산량 및 연산 시간을 줄일 수 있다.

전술된 실시예에서는 제1영상을 가시 영상, 제2영상을 열 영상으로 예를 들어 설명하였지만, 본 발명의 실시예는 이에 한정되지 않고, 제1영상과 제2영상은 서로 다른 시점, 서로 다른 시간 또는 가시광 카메라와 적외광 카메라 외의 서로 다른 특성의 센서로부터 획득한 영상인 경우에도 본 발명의 실시예가 동일하게 적용될 수 있다.

전술된 실시예는 GOP와 같은 경계 지역 감시, 산불 감시와 같이 24시간 실시간 감시가 필요한 감시, 무광원 혹은 저조도 환경에서 빌딩 및 주거지 침입 감지, 산과 같은 곳에서 실종자 및 범죄자 추적, 의료 영상분야 등에 적용될 수 있다.

본 발명에 따른 영상 정합 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims

제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 제1 변환함수 추정부; 및
상기 제1영상센서와 제2영상센서의 줌 정보를 기초로 상기 제1변환함수를 조정한 제3변환함수를 추정하는 줌 변환함수 추정부;를 포함하는 영상 정합 장치.
제1항에 있어서, 상기 줌 변환함수 추정부는,
상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우 상기 제3변환함수를 추정하는 영상 정합 장치.
제1항에 있어서, 상기 제1 변환함수 추정부는,
상기 제1영상 및 제2영상에서 관심영역을 설정하고, 상기 설정된 관심영역으로부터 추출된 특징점 정보를 기초로 상기 제1변환함수를 추정하는 영상 정합 장치.
제2항에 있어서,
상기 제1변환함수의 추정 여부에 따라, 상기 제1변환함수 또는 제3변환함수를 최종 변환함수로 선택하는 변환함수 선택부;를 더 포함하는 영상 정합 장치.
제4항에 있어서, 상기 변환함수 선택부는,
상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우, 새로운 제1변환함수가 추정될 때까지, 상기 제3변환함수를 최종 변환함수로 선택하는 영상 정합 장치.
제1항에 있어서, 상기 제1 변환함수 추정부는,
상기 제1영상 및 제2영상의 특징점들을 검출하는 특징점 검출부;
상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 특징점 선별부; 및
상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 제1추정부;를 포함하는 영상 정합 장치.
제6항에 있어서, 상기 특징점 선별부는,
상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 패치영상 획득부;
상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 후보 선별부;
상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 유사성 판단부; 및
상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 대응 특징점 선별부;를 포함하는 영상 정합 장치.
제1항에 있어서, 상기 줌 변환함수 추정부는,
상기 줌 정보에 대응하는 스케일 변환 계수를 결정하는 스케일 결정부;
상기 스케일 변환 계수를 기초로 상기 제1변환함수를 조정하여 제2변환함수를 추정하는 제2 변환함수 추정부; 및
상기 제2변환함수에 의해 정합된 상기 제1영상 및 제2영상 간의 센터 오프셋 값을 기초로 상기 제2변환함수로부터 상기 제3변환함수를 추정하는 제3 변환함수 추정부;를 포함하는 영상 정합 장치.
제8항에 있어서, 상기 스케일 결정부는,
기 저장된 영상센서별 줌 정보와 스케일 변환 계수 간의 관계로부터 상기 스케일 변환 계수를 결정하는 영상 정합 장치.
제4항에 있어서,
상기 선택된 제1변환함수 또는 제3변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 정합부;를 더 포함하는 영상 정합 장치.
제1영상센서로 촬영한 제1영상 및 제2영상센서로 촬영한 제2영상으로부터 추출된 특징점 정보를 기초로 제1변환함수를 추정하는 단계; 및
상기 제1영상센서와 제2영상센서의 줌 정보를 기초로 상기 제1변환함수를 조정하여 제3변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
제11항에 있어서, 상기 제3변환함수 추정 단계는,
상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우 상기 제3변환함수를 추정하는 단계;를 포함하는 영상 정합 장치.
제11항에 있어서, 상기 제1 변환함수 추정 단계는,
상기 제1영상 및 제2영상에서 관심영역을 설정하고, 상기 설정된 관심영역으로부터 추출된 특징점 정보를 기초로 상기 제1변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
제13항에 있어서,
상기 제1변환함수의 추정 여부에 따라, 상기 제1변환함수 또는 제3변환함수를 최종 변환함수로 선택하는 단계;를 더 포함하는 영상 정합 방법.
제14항에 있어서, 상기 최종 변환함수 선택 단계는,
상기 제1영상센서와 제2영상센서 중 적어도 하나의 줌 상태가 변경된 경우, 새로운 제1변환함수가 추정될 때까지, 상기 제3변환함수를 최종 변환함수로 선택하는 단계;를 포함하는 영상 정합 방법.
제11항에 있어서, 상기 제1변환함수 추정 단계는,
상기 제1영상 및 제2영상의 특징점들을 검출하는 단계;
상기 검출된 제1영상 및 제2영상의 특징점들 간에 대응하는 대응 특징점들을 선별하는 단계; 및
상기 선별된 대응 특징점들을 기초로 상기 제1변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
제16항에 있어서, 상기 특징점 선별 단계는,
상기 제1영상 및 제2영상의 특징점을 중심으로 하는 패치 영상을 획득하는 단계;
상기 제1영상 및 제2영상 중 기준영상의 각 특징점에 대해, 나머지 영상에서 대응 가능한 후보 특징점들을 선별하는 단계;
상기 기준영상의 특징점의 패치 영상과 상기 나머지 영상의 후보 특징점들의 패치 영상들 간에 유사성을 판단하는 단계; 및
상기 유사성 판단 결과를 기초로, 상기 후보 특징점들 중 기준영상의 특징점에 대응하는 대응 특징점을 선별하는 단계;를 포함하는 영상 정합 방법.
제11항에 있어서, 상기 제3변환함수 추정 단계는,
상기 줌 정보에 대응하는 스케일 변환 계수를 결정하는 단계;
상기 스케일 변환 계수를 기초로 상기 제1변환함수를 조정하여 제2변환함수를 추정하는 단계; 및
상기 제2변환함수에 의해 정합된 상기 제1영상 및 제2영상 간의 센터 오프셋 값을 기초로 상기 제2변환함수로부터 상기 제3변환함수를 추정하는 단계;를 포함하는 영상 정합 방법.
제18항에 있어서, 스케일 변환 계수 결정 단계는,
기 저장된 영상센서별 줌 정보와 스케일 변환 계수 간의 관계로부터 상기 스케일 변환 계수를 결정하는 단계;를 포함하는 영상 정합 방법.
제14항에 있어서,
상기 선택된 제1변환함수 또는 제3변환함수를 이용하여 상기 제1영상 및 제2영상을 정합하는 단계;를 더 포함하는 영상 정합 방법.