KR101943097B1

KR101943097B1 - 가상 특징점을 이용한 이미지 정합 방법 및 그 시스템

Info

Publication number: KR101943097B1
Application number: KR1020170013524A
Authority: KR
Inventors: 위영철
Original assignee: 주식회사 큐램; 주식회사 핀그램
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2019-01-30
Also published as: KR20180089589A

Abstract

가상 특징점을 이용한 이미지 정합 시스템 및 그 방법이 개시된다. 상기 가상 특징점을 이용한 이미지 정합 방법은 정합 대상이 되는 제1이미지 및 제2이미지를 정합하며, 이미지 정합 시스템이 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하는 단계, 상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하는 단계, 상기 이미지 정합 시스템이 상기 제2이미지의 제2정합영역에 속하는 복수의 제2블록들 중에서 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하는 단계, 및 상기 이미지 정합 시스템이 제1특징점 세트-상기 제1특징점 세트는 상기 제1가상 특징점과 상기 제1정합영역에 포함된 실제 특징점들을 포함함-와 제2특징점 세트-상기 제2특징점 세트는 상기 제2가상 특징점과 상기 제2정합영역에 포함된 실제 특징점들을 포함함-에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계를 포함한다.

Description

가상 특징점을 이용한 이미지 정합 방법 및 그 시스템{Method and system for image matching using virtual feature point}

본 발명은 이미지 정합 방법 및 그 시스템에 관한 것으로, 정합대상이 되는 이미지를 특징점(Feature point) 기반으로 정합할 때, 가상 특징점을 이용할 수 있는 방법 및 시스템에 관한 것이다.

서로 다른 두 이미지를 정합하기 위한 기술적 사상들이 널리 공지되어 있다.

이미지 정합은 일반적으로 파노라마 이미지와 같이 넓은 시야각을 커버하는 이미지를 생성하고자 할 때 자주 사용되고 있으며, 최근의 모바일 기기(예컨대, 스마트 폰 등)의 많은 보급 추세에 따라 상기 모바일 기기에서 제공되는 다양한 이미지 솔루션을 위해 이러한 이미지 정합은 더욱 널리 이용되고 있다.

이미지 정합에서 중요한 요소는 서로 다른 두 이미지를 정합하였을 때 시각적으로 자연스러운 정합이 가능할 수 있도록 하는 것이다. 일반적으로 이러한 이미지 정합을 위해서는 서로 다른 두 이미지가 겹치는 영역이 존재하는 경우, 겹치는 영역에 공통적으로 존재하는 객체간의 관계를 이용하여 두 이미지를 정합하는 방식이다.

정합의 대상이 되는 서로 다른 두 이미지 간에 공통적으로 존재하는 객체의 존재 여부는 일반적으로 두 이미지들 각각으로부터 존재하는 특징점을 탐색하여 탐색된 특징점이 서로 매칭되는 경우에 동일한 객체라고 판단하는 방식등이 널리 알려져 있다.

이러한 특징점을 이용한 객체인식 또는 동일한 객체가 존재하는지 여부를 판단하는 방식의 일예는 SIFT(Scale-Invariant-Feature Transform) 알고리즘 등 널리 알려져 있으며, 본 발명의 기술적 사상을 구현하기 위해 특징점을 탐색하거나 탐색된 특징점이 매칭되는 특징점인지 여부를 판단하는 방식에는 구애되지 않을 수 있다.

한편, 이러한 특징점들을 이용해 두 이미지를 정합하는 경우 대체적으로 자연스러운 정합이 이루어지기는 하지만, 정합되는 영역에 특징점을 포함하지 않는 객체가 존재할 경우에는 경우에 따라 시각적으로 부자연스러운 정합이 이루어지는 경우가 발생할 수 있다. 그리고 이러한 경우는 특히 정합의 대상이 되는 두 이미지간에 원근의 차이가 있거나 촬영각의 차이가 심한 경우에 자주 일어날 수 있다.

이러한 일 예는 도 1을 참조하여 설명하도록 한다.

도 1은 종래의 특징점 기반의 이미지 정합시에 발생할 수 있는 문제점을 설명하기 위한 도면이다.

도 1을 참조하면, 정합대상 이미지(10, 20)가 존재할 수 있다. 예컨대, 제2정합 대상 이미지(20)는 제1정합대상 이미지(10)의 촬영각도를 우측으로 소정 방향 로테이션한 이미지인 경우일 수 있다.

이러한 경우 소정의 방식으로 정합대상 이미지(10, 20)들 각각으로부터 정합영역(예컨대, 11, 21)이 결정될 수 있다. 정합영역(예컨대, 11, 21)은 구현 예에 따라 정합대상 이미지(10, 20) 자체일 수도 있고, 정합대상 이미지(10, 20)의 일부분들일 수도 있다.

제1정합대상 이미지(10)의 제1정합영역(10)에는 제1객체(12) 및 제2객체(13)가 포함될 수 있다. 제2정합대상 이미지(20)의 제2정합영역(20)에는 제1객체(12)에 대응되는 제3객체(22) 및 제2객체(13)에 대응되는 제4객체(23)가 포함될 수 있다.

이때 제2객체(13) 및/또는 제4객체(23)는 도시된 바와 같이 특징점이 존재하지 않는 객체(예컨대, 정합영역 전체에 표시되는 에지(edge))일 수 있다.

이러한 경우 종래와 같이 특징점에 기반한 이미지 정합을 수행하는 경우, 제1객체(12)의 제1특징점들(예컨대, 12-1, 12-2, 12-3, 12-4)과 제1특징점들(예컨대, 12-1, 12-2, 12-3, 12-4)에 매칭되는 제3객체(22)의 제2특징점들(예컨대, 22-1, 22-2. 22-3, 22-4)만이 탐색되며, 제1특징점들 및 제2특징점들 간의 위치관계에 기초하여 변환정보(예컨대, 제1특징점들이 제2특징점들로 매핑될 수 있는 변환(Transform) 관계를 나타내는 정보, 예컨대, transformation matrix)가 연산될 수 있다. 그리고 제1정합영역(11) 또는 제1정합대상 이미지(10)는 상기 변환정보에 기초하여 변환될 수 있다. 그리고 변환된 이미지와 제2정합대상 이미지(20)를 정합하는 경우 정합결과 이미지(30)가 도 1에 도시된 바와 같이 생성될 수 있다.

정합결과 이미지(30)에서 객체(32)는 제1객체(12)와 제3객체(22)가 정합된 이미지일 수 있다. 그리고 객체(33)는 제2객체(13)와 제4객체(23)가 정합된 객체일 수 있다. 이때 상기 객체(32)는 상기 객체(32)의 특징점에 기초하여 정합되므로 상대적으로 자연스러운 정합이 이루어질 수 있다.

하지만 객체(33)는 특징점이 존재하지 않으므로, 자신의 특징점이 전혀 반영되지 않은 상기 변환정보에 의해 정합된 결과이고, 이러한 경우 도 1에 도시된 바와같이 정합결과가 시각적으로 매우 부자연스러울 수 있다. 예컨대, 도 1에 도시된 바와 같이 객체(33)과 연결되어야할 객체(34)가 이격되도록 정합되는 결과가 도출될 수 있다.

이처럼 특징점에 기반한 이미지 정합 시에, 특징점이 존재하지 않는 객체가 정합영역에 존재하는 경우에는 경우에 따라 부자연스러운 정합이 이루어질 수 있다. 즉, 특징점이 존재하는 객체들은 변환정보가 연산될 때 해당 객체들의 특징점이 반영되므로 비교적 자연스러운 정합이 이루어질 수 있는데, 이처럼 특징점이 존재하지 않는 객체의 경우에는 부자연스러운 정합이 이루어질 가능성이 존재한다. 그리고 특징점이 존재하지 않는 객체의 부자연스러운 정합은 오히려 특징점이 존재하는 객체간의 자연스러운 정합에 비해 두 이미지의 정합품질에 시각적으로 더 큰 비중을 차지하는 문제점(예컨대 도 1에서 예시한 바와 같이 어느 하나의 객체가 불연속 되게 표시됨)을 야기할 수 있다.

한국특허출원 공개번호 10-2002-0078663 "디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을 위치 정합시키는 디지털 조각 이미지 정합처리방법 및 정합처리장치"

본 발명이 이루고자 하는 기술적인 과제는 정합대상 이미지에 특징점을 포함하지 않는 등의 미리 정해진 기준에 해당하는 객체가 존재할 경우에도 자연스러운 이미지 정합이 이루어질 수 있도록 하는 시스템 및 그 방법을 제공하는 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 정합 대상이 되는 제1이미지 및 제2이미지를 정합하는 방법은 이미지 정합 시스템이 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하는 단계, 상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하는 단계, 상기 이미지 정합 시스템이 상기 제2이미지의 제2정합영역에 속하는 복수의 제2블록들 중에서 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하는 단계, 및 상기 이미지 정합 시스템이 제1특징점 세트-상기 제1특징점 세트는 상기 제1가상 특징점과 상기 제1정합영역에 포함된 실제 특징점들을 포함함-와 제2특징점 세트-상기 제2특징점 세트는 상기 제2가상 특징점과 상기 제2정합영역에 포함된 실제 특징점들을 포함함-에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계를 포함한다.

상기 이미지 정합 시스템이 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하는 단계는, 상기 이미지 정합 시스템이 이미지 객체가 존재하는 블록이면서 특징점이 존재하지 않거나 미리 설정된 개수보다 적은 특징점을 포함하는 상기 특징점 설정블록을 탐색하는 단계를 포함할 수 있다.

상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하는 단계는, 상기 특징점 설정블록의 미리 정해진 설정위치를 상기 제1가상 특징점으로 설정하는 단계를 포함할 수 있다.

상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하는 단계는, 상기 대응블록의 상기 설정위치를 상기 제2가상 특징점으로 설정하는 단계를 포함할 수 있다.

상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계는, 상기 이미지 정합 시스템이 상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하는 단계 및 상기 기준 특징점들과 상기 대응 기준 특징점들에 기초하여 상기 변환정보를 연산하는 단계를 포함할 수 있다.

상기 기준 특징점들에는 상기 제1가상 특징점이 포함되는 것을 특징으로 할 수 있다.

상기 이미지 정합 시스템이 상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하는 단계는, 상기 제1가상 특징점을 기준 특징점으로 적어도 하나 선택하고, 나머지 개수의 기준 특징점을 실제 특징점들에서 선택하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 정합 대상이 되는 제1이미지 및 제2이미지를 정합하는 방법은 이미지 정합 시스템이 상기 제1이미지의 제1정합영역에서 복수의 제1특징점들을 특정하는 단계, 상기 이미지 정합 시스템이 상기 제2이미지의 제2정합영역에서 복수의 제2특징점들을 특정하는 단계, 및 상기 이미지 정합 시스템이 상기 제1특징점들과 상기 제2특징점들에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계를 포함하며, 상기 제1특징점들은 상기 이미지 정합 시스템에 의해 설정된 가상 특징점이 포함되는 것을 특징으로 한다.

또한, 본 발명의 기술적 사상을 위해 상기의 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 기록된 컴퓨터 프로그램이 제공될 수 있다.

한편, 본 발명의 다른 일 예에 의하면, 정합 대상이 되는 제1이미지 및 제2이미지를 정합하기 위한 이미지 정합 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며, 상기 프로그램은 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하고, 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하며, 상기 제2이미지의 제2정합영역에 속하는 복수의 제2블록들 중에서 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하고, 제1특징점 세트-상기 제1특징점 세트는 상기 제1가상 특징점과 상기 제1정합영역에 포함된 실제 특징점들을 포함함-와 제2특징점 세트-상기 제2특징점 세트는 상기 제2가상 특징점과 상기 제2정합영역에 포함된 실제 특징점들을 포함함-에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산한다.

상기 프로그램은 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 결정하기 위해, 이미지 객체가 존재하는 블록이면서 특징점이 존재하지 않거나 미리 설정된 개수보다 적은 특징점을 포함하는 상기 특징점 설정블록을 탐색할 수 있다.

상기 프로그램은 상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하기 위해, 상기 특징점 설정블록의 미리 정해진 설정위치를 상기 제1가상 특징점으로 설정할 수 있다.

상기 프로그램은 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하기 위해, 상기 대응블록의 상기 설정위치를 상기 제2가상 특징점으로 설정할 수 있다.

상기 프로그램은 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하기 위해, 상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하고, 상기 기준 특징점들과 상기 대응 기준 특징점들에 기초하여 상기 변환정보를 연산하며, 상기 기준 특징점들에는 상기 제1가상 특징점이 포함되는 것을 특징으로 할 수 있다.

또한, 본 발명의 다른 실시 예에 의한 정합 대상이 되는 제1이미지 및 제2이미지를 정합하기 위한 이미지 정합 시스템은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며, 상기 프로그램은 상기 제1이미지의 제1정합영역에서 복수의 제1특징점들을 특정하고, 상기 제2이미지의 제2정합영역에서 복수의 제2특징점들을 특정하며, 상기 제1특징점들과 상기 제2특징점들에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하고, 상기 제1특징점들은 상기 이미지 정합 시스템에 의해 설정된 가상 특징점이 포함되는 것을 특징으로 할 수 있다.

본 발명의 기술적 사상에 의하면, 특징점이 탐색되는 객체뿐만 아니라 특징점이 탐색되지 않거나 일정개수 이하로 탐색되는 객체에 대해서 가상의 특징점을 설정하고, 이러한 가상의 특징점 및 실제 특징점(즉, 탐색된 특징점)을 모두 포함하는 특징점 세트에 기반하여 변환정보를 연산함으로써 자연스러운 정합이 이루어질 수 있도록 하는 효과가 있다.

또한 변환정보를 연산하기 위한 기준 특징점들의 선택에 있어서 가상 특징점을 필수적으로 포함시킬지 여부에 따라 대상객체(예컨대, 특징점을 포함하지 않는 객체 또는 일정개수 이하의 특징점을 포함하는 객체)의 자연스러운 정합에 보다 효과적인 정합방식을 제공하거나 또는 이미지의 전체에 대한 자연스러운 정합에 보다 효과적인 정합방식을 제공할지 여부를 조절할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 특징점 기반의 이미지 정합시에 발생할 수 있는 문제점을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 시스템의 개략적인 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 시스템의 논리적인 구성을 개략적으로 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 방법을 설명하기 위한 흐름도를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따른 가상 특징점을 이용한 이미지 정합 방법에 의해 정합되는 결과를 예시적으로 나타내는 도면이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 2는 본 발명의 일실시 예에 따른 이미지 정합 시스템의 개략적인 구성을 나타낸다. 또한, 도 3은 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 시스템의 논리적인 구성을 개략적으로 나타낸다.

우선 도 2를 참조하면, 본 발명의 실시 예에 따른 가상 특징점을 이용한 이미지 정합 시스템(100, 이하 '이미지 정합 시스템')은 소정의 데이터 처리장치로 구현될 수 있다.

상기 이미지 정합 시스템(100)은 도 2에 도시된 바와 같이 본 명세서에서 정의되는 기능을 구현하기 위한 프로세서(110) 및 저장매체(120)를 포함한다. 상기 프로세서(110)는 소정의 프로그램(소프트웨어 코드)을 실행할 수 있는 연산장치를 의미할 수 있으며 상기 데이터 처리장치의 구현 예 또는 벤더(Vendor) 모바일 프로세서, 마이크로 프로세서, CPU, 싱글 프로세서, 멀티 프로세서 등 다양한 명칭으로 명명될 수 있다.

상기 저장매체(120)는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장/설치되는 장치를 의미할 수 있다. 구현 예에 따라 상기 저장매체(120)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(120)의 일부는 상기 프로세서(110)의 내부에 존재할 수도 있다. 상기 저장매체(120)는 구현 예에 따라 하드 디스크, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 이미지 정합 시스템(100)에 착탈식으로 구현될 수도 있다.

상기 이미지 정합 시스템(100)은 예컨대, 모바일 단말기(예컨대, 모바일 폰, 노트북, 태블릿 등) 일 수 있지만 이에 국한되지는 않으며 상기 프로그램을 실행할 데이터 처리능력이 있는 어떠한 데이터 처리장치(예컨대, 컴퓨터, 서버 장치 등)로도 구현될 수 있다.

또한, 상기 이미지 정합 시스템(100)은 상기 프로세서(110), 상기 저장매체(120), 및 상기 이미지 정합 시스템(100)에 구비되는 다양한 주변장치들(예컨대, 입출력장치, 디스플레이 장치, 오디오 장치 등, 141, 142)과 이러한 장치들을 연결하기 위한 통신 인터페이스(예컨대, 통신 버스, 130 등)가 구비될 수도 있음은 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

한편, 본 발명의 기술적 사상은 상기 저장매체(120)에 저장된 상기 프로그램과 상기 프로세서(110)가 유기적으로 결합되어 구현될 수 있으며, 이러한 상기 이미지 정합 시스템(100)이 실행하는 기능적인 구성단위는 도 3에 도시된 바와 같을 수 있다.

즉, 상기 이미지 정합 시스템(100)은 제어모듈(210), 특징점 추출모듈(220), 가상 특징점 처리모듈(230), 및 변환정보 연산모듈(240)을 포함할 수 있다.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 프로세서(110) 및/또는 저장매체(120)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다.

상기 제어모듈(110)은 상기 이미지 정합 시스템(100)에 포함되는 다른 구성(예컨대, 상기 특징점 추출모듈(120), 가상 특징점 처리모듈(230), 및/또는 변환정보 연산모듈(240) 등)의 기능 및/또는 리소스(resource)를 제어할 수 있다.

일 예에 의하면, 상기 제어모듈(110)은 상기 이미지 정합 시스템(100)이 구현되는 데이터 처리장치(예컨대, 모바일 폰)에 설치되는 소정의 센서 또는 제어장치(예컨대, 프로세서 등)와 통신을 통해 본 발명의 기술적 사상을 구현하기 위한 신호 또는 정보를 송수신할 수도 있다.

예컨대, 상기 제어모듈(110)은 상기 데이터 처리장치(예컨대, 모바일 폰)로부터 정합대상이 되는 이미지들 각각이 촬영되는 사이에 수행되는 액션에 대한 정보를 수신할 수도 있다. 예컨대 상기 액션은 시야(위치 또는 방향)이 변경되는 액션일 수 있다. 또는 상기 액션은 예컨대, 이미지 촬영시에 스케일(scale)이 변경되는 액션일 수 있다. 이러한 액션에 대한 정보는 예컨대, 정합대상이 되는 이미지들 각각의 정합영역을 특정하는데 이용될 수 있다.

상기 특징점 추출모듈(220)은 정합대상 이미지들 각각의 정합영역에 포함된 객체들의 특징점을 추출할 수 있다. 상기 특징점을 추출하기 위한 방식은 다양할 수 있다. 예컨대, SIFT 알고리즘이 이용될 수도 있지만 이에 국한되지는 않으며, 밝기, 스케일, 및/또는 로테이션에 무관한 객체의 특유한 포인트 즉, 상기 특징점을 추출할 수 있기만 하면 어떠한 방식 또는 알고리즘이 이용될 수도 있다. 이처럼 상기 특징점 추출모듈(220)에 의해 추출된 특징점을 본 명세서에서는 실제 특징점으로 정의하기로 한다.

또한, 상기 특징점 추출모듈(220)은 정합대상 이미지들 각각의 정합영역으로부터 추출된 복수의 특징점들 중 서로 매칭되는 특징점을 판단할 수도 있다. 즉, 제1정합대상 이미지의 제1정합영역으로부터 추출된 제1특징점들 각각과 매칭되는, 제2정합대상 이미지의 제2정합영역으로부터 추출된 제2특징점들 중에서, 매칭점을 판단할 수 있다.

일 예에 의하면 상기 특징점 추출모듈(220) 제1정합영역으로부터 복수의 제1특징점들을 추출할 수 있다. 그리고 상기 특징점 추출모듈(220)은 제2정합영역으로부터 복수의 제2특징점들을 추출하고, 추출된 제2특징점들 중 상기 제1특징점들 각각과 매치되는 특징점을 판단할 수 있다.

상기 제1정합영역 및/또는 제2정합영역은 제1정합대상 이미지 및/또는 제2정합대상 이미지 자체일 수도 있다. 구현 예에 따라 상기 제1정합영역 및/또는 제2정합영역은 정합대상 이미지의 일부일 수도 있다.

예컨대, 제1정합대상 이미지가 촬영될 때와 제2정합대상 이미지를 촬영할 때의 시야가 변경되는 경우, 이러한 시야를 변경하기 위한 액션이 상기 이미지 정합 시스템(100)이 구현된 데이터 처리장치에서 수행될 수 있다. 상기 제어모듈(110)은 상기 데이터 처리장치에서 수행된 액션에 대한 정보에 기초하여 정합대상 이미지들 각각으로부터 일부의 영역만을 정합영역으로 특정할 수도 있다. 예컨대, 제1정합대상 이미지를 촬영한 후 시야의 방향이 우측으로 일정각도 변경된 경우, 제1정합대상 이미지의 제1정합영역은 상기 제1정합대상 이미지의 우측의 일부분일 수 있고, 제2정합대상 이미지의 제2정합영역은 제2정합대상 이미지의 좌측의 일부분일 수 있다. 이처럼 정합영역이 정합대상 이미지들 각각의 일부만일 경우에는 이미지 정합에 소요되는 시간이 빨라질 수 있는 효과가 있다.

각각의 정합영역은 복수의 블록들로 구분될 수 있다. 각각의 블록은 미리 정해진 크기를 가질 수 있으며, 실시 예에 따라 8ㅧ8, 16ㅧ16, 64ㅧ64 등의 픽셀을 갖는 일정한 형태로 구분될 수 있다.

상기 제1정합대상 이미지의 촬영시와 상기 제2정합대상 이미지의 촬영시 사이에 이루어지는 액션에 대한 정보는 상기 단말기에 설치되는 소정의 센서 또는 프로세서로부터 상기 제어모듈(110)이 수신하여 획득될 수 있다. 구현 예에 따라 상기 이미지 정합 시스템(100)은 가능한 액션을 미리 정해두고, 상기 액션만 수행되도록 제어함으로써 액션에 대한 정보를 미리 특정할 수도 있다.

그러면 상기 특징점 추출모듈(220)은 정합대상 이미지들 각각의 정합영역으로부터 특징점을 추출하고 매칭되는 특징점들을 판단할 수 있다.

상기 가상 특징점 처리모듈(230)은 본 발명의 기술적 사상에 따라 가상 특징점을 부여 또는 설정할 수 있다.

상기 가상 특징점은 본 발명의 실시 예에 따른 대상객체와 연관되어 설정되며, 상기 가상 특징점 처리모듈(230)에 의해 임의로 설정되는 특징점을 의미할 수 있다.

대상객체는 이미지 객체가 존재하지만 특징점이 검출되지 않거나 미리 정해진 개수이하로만 검출되는 객체 등 미리 정해진 기준(특징점 설정블록 기준)을 갖는 객체를 의미할 수 있다. 이하 본 명세서에서는 설명의 편의를 위해 상기 대상객체는 이미지 객체가 존재하지만 특징점이 검출되지 않는 객체로 가정하고 설명하도록 한다.

이러한 대상객체는 예컨대 정합영역 전체를 가로지르는 에지(edge)일 수 있지만 이외에도 이미지가 존재하지만 특징점은 갖지 않는 다양한 이미지 객체일 수 있다.

상기 가상 특징점 처리모듈(230)은 블록별로 대상객체를 식별하고 블록별로 미리 정해진 개수의 가상 특징점을 설정할 수도 있다.

상기 가상 특징점 처리모듈(230)은 예컨대, 이미지 복잡도, 계도 이미지를 이용하여, 밝기의 변화량이 크고 연속적인 객체를 탐색하거나, 다양한 방식의 에지 디텍팅 등을 수행함으로써 각각의 블록에 상기 대상객체가 존재하는지 여부를 판단할 수 있다. 이하에서는 상기 대상객체가 존재하는 블록을 특징점 설정블록으로 정의하기로 한다. 즉, 특징점 설정블록은 이미지 객체가 존재하면서 특징점 설정블록 기준 예컨대, 특징점이 존재하지 않거나 특징점이 일정 개수 이하만 존재하는 블록을 의미할 수 있다.

상기 가상 특징점 처리모듈(230)은 결정된(탐색된) 특징점 설정블록에 대해 적어도 하나의 가상 특징점을 설정할 수 있다. 가상 특징점은 상기 특징점 설정블록 내의 미리 정해진 위치(예컨대, 특징점 설정블록의 중앙위치 또는 모서리 등)에 설정될 수 있다. 이러한 가상 특징점의 설정에 의해 정합영역에서 이미지 객체가 존재하지만 특징점이 존재하지 않는 대상객체가 변환정보의 결정에 영향을 미치지 못하는 문제점이 해결될 수 있는 효과가 발생한다.

한편, 상기 가상 특징점 처리모듈(230)은 특징점 설정블록에 가상 특징점을 설정하면, 상기 특징점 설정블록에 대응되는 대응블록에도 동일한 방식으로 가상 특징점을 설정할 수 있다. 예컨대, 제1이미지에 포함된 제1정합영역에서 제1특징점 설정블록이 결정되고 상기 제1특징점 설정블록에 제1가상 특징점이 설정되면, 상기 가상 특징점 처리모듈(230)은 제2정합영역에서 상기 제1특징점 설정블록에 대응되는 대응블록에도 제2가상 특징점을 설정할 수 있다. 그리고 이때에는 제1특징점 설정블록에 상기 제1가상 특징점을 설정한 방식과 동일한 방식으로 대응블록에 제2가상 특징점이 설정될 수 있다. 예컨대 제1특징점 설정블록의 중앙에 제1가상 특징점이 설정되었다면, 제2가상 특징점 역시 상기 대응블록의 중앙에 설정되는 것이 바람직하다.

제1특징점 설정블록에 대응되는 대응블록은 다양한 방식으로 결정될 수 있다. 예컨대, 서로 다른 두 이미지에서 대응되는 블록을 탐색하는 방법으로 BMA(Block matching Algorithm), Optical Flow 등의 다양한 기법이 이용될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

이처럼 제1정합영역과 제2정합영역에 각각 가상 특징점들이 설정되면, 제1정합영역에서는 상기 특징점 추출모듈(220)에 의해 추출되는 실제 특징점들 및 제1가상 특징점을 포함하는 제1특징점 세트가 특정될 수 있다.

또한 제2정합영역에서는 상기 특징점 추출모듈(220)에 의해 추출되는 실제 특징점들 및 제2가상 특징점을 포함하는 제2특징점 세트가 특정될 수 있다.

그러면 상기 변환정보 연산모듈(240)은 상기 제1특징점 세트와 상기 제2특징점 세트를 이용하여 변환정보(예컨대, 제1이미지 또는 제2이미지를 변환할 transformation matrix)를 연산할 수 있다.

일반적으로 이러한 변환정보를 연산하기 위해서는 제1특징점 세트 또는 제2특징점 세트에서 변환정보를 연산하는데 필요한 기준 특징점들이 선택되어야 한다. 기준 특징점들은 변환정보를 특정하기 위한 갯수(예컨대, 3개 또는 그 이상)의 특징점을 포함한다. 기준 특징점들이 선택되면 이에 대응되는 매칭 기준 특징점이 특정되고, 기준 특징점들에서 매칭 기준 특징점으로 변환하기 위한 변환정보가 특정될 수 있다.

기준 특징점들을 선택하기 위한 방법은 예컨대, 미리 정해진 개수(예컨대, 3개의)의 특징점들을 선택하여 선택된 특징점들과 이에 대응되는 매칭 특징점들에 의해 결정되는 변환정보를 통해 특징점들을 모두 변환한 경우, 오차의 합이 가장 작을 수 있는 특징점들을 선택하는 방식으로 진행될 수 있다. 이러한 방법의 일 예는 RANSAC(Random Sample Consensus) 알고리즘 등이 존재하지만, 다양한 방식으로 기준 특징점들이 선택될 수 있음은 물론이다.

결국 본 발명의 기술적 사상에 의하면, 대상객체에 상응하는 가상 특징점이 설정되고, 이러한 가상 특징점을 포함하는 특징점 세트들에 의해 변환정보가 연산되므로 결국 대상객체의 정합을 고려한 변환정보가 결정될 수 있는 효과가 있다.

특히 기준 특징점에 가상 특징점이 포함된 경우에는, 단순히 탐색된 실제 특징점들만에 기초하여 변환정보를 연산하고 이미지 정합을 수행한 경우에 비해, 대상 객체의 정합에 있어서 탁월한 효과를 가지는 것을 알 수 있다. 왜냐하면 기준 특징점들의 선택은 변환을 통해 각각의 매칭되는 특징점들간의 오차가 가장 작을 수 있는 특징점들을 선택하는 방식이 적용될 수 있고, 이러한 방식을 통해 가상 특징점이 기준 특징점에 포함되었다고 함은 가상 특징점이 선택되어야 오차가 작을 수 있음을 의미할 수 있기 때문이다.

한편, 전술한 바와 같이 대상객체는 정합영역에서 특징점을 갖지 않는 객체를 의미할 수 있으며, 이러한 대상객체가 시각적으로 자연스럽게 정합되지 않는 경우(예컨대, 도 1과 같이 하나의 실제 객체가 분리되어 디스플레이되는 경우)에는 정합대상 이미지들의 정합결과가 시각적으로 매우 부자연스럽게 되는 문제가 있다. 시각적으로는 오히려 실제 특징점들을 갖는 객체는 다소 오차가 있도록 정합되더라도 대상객체가 자연스럽게 정합되는 것이 전체 정합결과에 있어서 시각적으로 더욱 자연스러운 효과를 가져올 수도 있다. 따라서 이러한 경우에는 상기 변환정보 연산모듈(240)은 제1정합영역(또는 제2정합영역)에 설정된 가상 특징점 중 적어도 하나를 우선 기준 특징점으로 선택하고, 나머지 기준 특징점들은 변환시 가장 오차가 작을 수 있는 특징점들로 선택할 수도 있다. 이처럼 기준 특징점들에 적어도 하나의 가상 특징점을 강제로 포함시키는 경우에는, 비록 실제 특징점들에 대응되는 객체의 정합은 다소 부자연스러울 수 있더라도, 대상객체의 자연스러운 정합에 큰 효과가 있을 수 있으며 전체 이미지의 정합결과에 있어서도 더 효과가 클 수 있다.

이하에서는 도 4 및 도 5를 참조하여 구체적으로 본 발명의 기술적 사상을 설명하도록 한다.

도 4는 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 방법을 설명하기 위한 흐름도를 나타낸다. 또한, 도 5는 본 발명의 일 실시 예에 따른 가상 특징점을 이용한 이미지 정합 방법을 설명하기 위한 도면이다.

도 4 및 도 5를 참조하면, 본 발명의 실시 예에 따른 이미지 정합 시스템(100)은 제1이미지(300)의 제1정합영역에서 제1특징점들을 검출할 수 있다(S100). 물론 제2정합영역에서 제2특징점들을 검출할 수도 있다 .그 결과 도 5에 도시된 바와 같이 제1특징점들(예컨대, FP1, FP2, FP3, FP4)이 검출될 수 있다. 상기 제1특징점들(예컨대, FP1, FP2, FP3, FP4)은 실제 특징점일 수 있다. 또한, 제2특징점들(TFP1, TFP2, TFP3, TFP4)이 검출될 수 있고, 상기 제2특징점들 역시 실제 특징점일 수 있다.

또한 상기 이미지 정합 시스템(100)은 특징점 검출결과를 이용하여 제1정합영역에서 특징점 설정블록을 탐색할 수 있다(S110). 그리고 탐색된 특징점 설정블록들별로 제1가상 특징점(예컨대, VFP1, VFP2, VFP3, VFP4, VFP5)을 설정할 수 있다(S120). 도 5에서는 특징점 설정블록의 중앙에 가상 특징점을 설정한 경우를 일 에로 도시하고 있지만, 반드시 이에 한정되는 것은 아니다.

그러면 상기 이미지 정합 시스템(100)은 탐색된 특징점 설정블록 각각에 대응되는 대응블록 각각에 제2가상 특징점(예컨대, TVFP1, TVFP2, TVFP3, TVFP4, TVFP5)을 설정할 수 있다(S130).

그리고 제1특징점들(예컨대, FP1, FP2, FP3, FP4) 및 제1가상 특징점(예컨대, VFP1, VFP2, VFP3, VFP4, VFP5)을 포함하는 제1특징점 세트와 제2특징점들(TFP1, TFP2, TFP3, TFP4) 및 제2가상 특징점(예컨대, TVFP1, TVFP2, TVFP3, TVFP4, TVFP5)을 포함하는 제2특징점 세트를 이용하여 변환정보를 연산할 수 있다(S140).

이러한 변환정보를 연산하기 위해서는 단순히 변환시 오차의 합이 가장 작을 수 있는 기준 특징점들을 제1정합영역 또는 제2정합영역에서 미리 정해진 개수만큼 선택하고, 선택된 기준 특징점들 및 이에 대응되는 대응 기준 특징점들(또는 매칭 기준 특징점들)의 변환관계를 이용해 변환정보를 연산할 수 있다.

또는 대상객체의 정합에 보다 우선순위를 두고자 하는 경우에는 기준 특징점들 중에서 적어도 하나를 가상 특징점으로 선택한 후, 나머지 기준 특징점을 선택하여 변환정보를 연산할 수도 있음은 전술한 바와 같다.

그러면 상기 이미지 정합 시스템(100)은 연산된 변환정보를 이용하여 제1이미지(또는 제1이미지의 정합영역) 또는 제2이미지(또는 제2이미지의 정합영역) 중 어느 하나를 변환하고, 변환된 이미지를 다른 이미지에 정합할 수 있다(S150).

예컨대, 상기 변환정보에 기초하여 변환된 제1정합영역(또는 상기 제1이미지)와 상기 제2이미지 중 제2정합영역을 제외한 부분을 결합하면 도6에 도시된 바와 같은 정합결과 이미지를 획득할 수 있다.

결국 본 발명의 기술적 사상에 따르면 특징점이 검출되지 않거나 검출된 특징점의 개수가 적은 대상객체가 존재할 경우, 임의로 대상객체에 연관된 가상 특징점을 설정하고 이를 이용하여 이미지 정합에 필요한 변환정보를 연산함으로써 대상객체가 자연스럽게 정합된 결과를 획득할 수 있다.

본 발명의 실시 예에 따른 가상 이미지를 이용한 이미지 정합방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims

정합 대상이 되는 제1이미지 및 제2이미지를 정합하는 방법에 있어서,
이미지 정합 시스템이 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하는 단계;
상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점-상기 제1가상 특징점은 상기 특징점 설정블록 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-을 미리 정해진 설정방식으로 설정하는 단계;
상기 이미지 정합 시스템이 상기 제2이미지의 제2정합영역에 속하는 복수의 제2블록들 중에서 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점-상기 제2가상 특징점은 상기 대응블록 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-을 설정하는 단계; 및
상기 이미지 정합 시스템이 제1특징점 세트-상기 제1특징점 세트는 상기 제1가상 특징점과 상기 제1정합영역에 포함된 실제 특징점들을 포함함-와 제2특징점 세트-상기 제2특징점 세트는 상기 제2가상 특징점과 상기 제2정합영역에 포함된 실제 특징점들을 포함함-에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
제1항에 있어서, 상기 이미지 정합 시스템이 상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하는 단계는,
상기 이미지 정합 시스템이 이미지 객체가 존재하는 블록이면서 특징점이 존재하지 않거나 미리 설정된 개수보다 적은 특징점을 포함하는 상기 특징점 설정블록을 탐색하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
제1항에 있어서, 상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하는 단계는,
상기 특징점 설정블록의 미리 정해진 설정위치를 상기 제1가상 특징점으로 설정하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
제3항에 있어서, 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하는 단계는,
상기 대응블록의 상기 설정위치를 상기 제2가상 특징점으로 설정하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
제1항에 있어서, 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계는,
상기 이미지 정합 시스템이 상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하는 단계; 및
상기 기준 특징점들과 상기 대응 기준 특징점들에 기초하여 상기 변환정보를 연산하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
제5항에 있어서, 상기 기준 특징점들에는,
상기 제1가상 특징점이 포함되는 것을 특징으로 하는 가상 특징점을 이용한 이미지 정합 방법.
제5항에 있어서, 상기 이미지 정합 시스템이 상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하는 단계는,
상기 제1가상 특징점을 기준 특징점으로 적어도 하나 선택하고, 나머지 개수의 기준 특징점을 실제 특징점들에서 선택하는 단계를 포함하는 가상 특징점을 이용한 이미지 정합 방법.
정합 대상이 되는 제1이미지 및 제2이미지를 정합하는 방법에 있어서,
이미지 정합 시스템이 상기 제1이미지의 제1정합영역에서 복수의 제1특징점들을 특정하는 단계;
상기 이미지 정합 시스템이 상기 제2이미지의 제2정합영역에서 복수의 제2특징점들을 특정하는 단계; 및
상기 이미지 정합 시스템이 상기 제1특징점들과 상기 제2특징점들에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 단계를 포함하며,
상기 제1특징점들은,
상기 이미지 정합 시스템에 의해 설정된 가상 특징점-상기 가상 특징점은 상기 제1정합영역 또는 상기 제2정합영역 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-이 포함되는 것을 특징으로 하는 가상 특징점을 이용한 이미지 정합 방법.
제1항 내지 제8항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 기록된 컴퓨터 프로그램.
정합 대상이 되는 제1이미지 및 제2이미지를 정합하기 위한 이미지 정합 시스템에 있어서,
프로세서; 및
상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며,
상기 프로그램은,
상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 탐색하고,
결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점점-상기 제1가상 특징점은 상기 특징점 설정블록 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-을 미리 정해진 설정방식으로 설정하며,
상기 제2이미지의 제2정합영역에 속하는 복수의 제2블록들 중에서 상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점-상기 제2가상 특징점은 상기 대응블록 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-을 설정하고,
제1특징점 세트-상기 제1특징점 세트는 상기 제1가상 특징점과 상기 제1정합영역에 포함된 실제 특징점들을 포함함-와 제2특징점 세트-상기 제2특징점 세트는 상기 제2가상 특징점과 상기 제2정합영역에 포함된 실제 특징점들을 포함함-에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하는 가상 특징점을 이용한 이미지 정합 시스템.
제10항에 있어서, 상기 프로그램은,
상기 제1이미지의 제1정합영역에 속하는 복수의 제1블록들 중에서 미리 정해진 특징점 설정블록 선정기준에 따라 특징점 설정블록을 적어도 하나 결정하기 위해,
이미지 객체가 존재하는 블록이면서 특징점이 존재하지 않거나 미리 설정된 개수보다 적은 특징점을 포함하는 상기 특징점 설정블록을 탐색하는 가상 특징점을 이용한 이미지 정합 시스템.
제10항에 있어서, 상기 프로그램은,
상기 이미지 정합 시스템이 결정된 상기 특징점 설정블록에 적어도 하나의 제1가상 특징점을 미리 정해진 설정방식으로 설정하기 위해,
상기 특징점 설정블록의 미리 정해진 설정위치를 상기 제1가상 특징점으로 설정하는 가상 특징점을 이용한 이미지 정합 시스템.
제12항에 있어서, 상기 프로그램은,
상기 특징점 설정블록에 대응하는 대응블록에 상기 설정방식으로 제2가상 특징점을 설정하기 위해,
상기 대응블록의 상기 설정위치를 상기 제2가상 특징점으로 설정하는 가상 특징점을 이용한 이미지 정합 시스템.
제10항에 있어서, 상기 프로그램은,
상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하기 위해,
상기 제1특징점 세트로부터 소정의 방식으로 선택된 기준 특징점들 및 상기 기준 특징점들에 대응되며 상기 제2특징점 세트에 포함된 대응 기준 특징점을 특정하고,
상기 기준 특징점들과 상기 대응 기준 특징점들에 기초하여 상기 변환정보를 연산하며,
상기 기준 특징점들에는,
상기 제1가상 특징점이 포함되는 것을 특징으로 하는 가상 특징점을 이용한 이미지 정합 시스템.
정합 대상이 되는 제1이미지 및 제2이미지를 정합하기 위한 이미지 정합 시스템에 있어서,
프로세서; 및
상기 프로세서에 의해 실행되는 프로그램이 기록된 저장매체를 포함하며,
상기 프로그램은,
상기 제1이미지의 제1정합영역에서 복수의 제1특징점들을 특정하고,
상기 제2이미지의 제2정합영역에서 복수의 제2특징점들을 특정하며,
상기 제1특징점들과 상기 제2특징점들에 기초하여 상기 제1이미지 또는 상기 제2이미지를 변환할 변환정보를 연산하고,
상기 제1특징점들은,
상기 이미지 정합 시스템에 의해 설정된 가상 특징점-상기 가상 특징점은 상기 제1정합영역 또는 상기 제2정합영역 내에서 소정의 특징점 추출 알고리즘으로 탐색된 특징점이 아니라 임의로 설정되는 특징점임-이 포함되는 것을 특징으로 하는 가상 특징점을 이용한 이미지 정합 시스템.