KR102140544B1 - 특징분포품질측정 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예들은 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 입력받는 입력부, 특징점쌍을 인라이어와 아웃라이어로 분류하는 분류부 및 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정부를 포함하는 특징분포품질측정 시스템 및 방법을 제공한다.
이에, 본 발명의 실시예들은 특징점쌍을 인라이어와 아웃라이어로 분류하고 분류 결과를 기초로 분포품질을 측정함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

Description

특징분포품질측정 시스템 및 방법{FEATURE DISTRIBUTION QUALITY MEASUREMENT SYSTEM AND METHOD THEREOF}

본 발명의 실시예들은 특징분포품질측정 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 영상정합에서 아웃라이어가 존재하는 경우에도 특징점의 분포품질을 정확하게 측정하기 위한 특징분포품질측정 시스템 및 방법에 관한 것이다.

영상정합은 서로 다른 시간이나 관점에서 센싱된 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 여기에서, 센싱은 하나 또는 여러 개의 센서를 통해 이루어질 수 있다.

영상정합은 의료영상 분야에서 여러 의료기기로부터 센싱된 의료영상을 융합하거나 서로 다른 시간 또는 관점에서 센싱된 의료영상을 분석하기 위해 주로 사용된다.

영상정합은 정합방법에 따라 밝기값 기반(intensity-based)방법과 특징기반(feature-based)방법으로 분류될 수 있다.

밝기값 기반방법은 입력영상(sensed image)과 기준영상(reference image)의 픽셀들의 밝기값의 유사도를 비교한다.

여기에서, 기준영상이란 영상정합을 할 때에 기준이 되는 영상이고 입력영상이란 기준영상의 좌표계로 변환되어 기준영상에 정합되어야 하는 영상이다.

반면에, 특징기반방법은 입력영상과 기준영상의 픽셀들의 밝기값 대신에 점, 선, 모서리 등과 같은 특징을 이용한다. 특징기반방법은 영상정합을 위해 전처리단계, 특징추출단계, 특징매칭단계, 변환추정단계 및 재배열단계를 거친다.

특징기반방법의 각 단계를 살펴보면 다음과 같다.

전처리단계에서는 입력영상의 이미지를 향상시키기 위해 이미지 스무딩, 디블러링과 같은 이미지 처리작업이 수행된다. 특징추출단계에서는 점, 선, 영역, 템플릿과 같은 유용한 특징이 이미지로부터 추출된다. 특징매칭단계에서는 특징의 유사성을 기준으로 입력영상과 기준영상의 특징들이 매칭되어 특징쌍이 결정된다. 변환단계에서는 특징쌍들로부터 변환을 위해 필요한 적절한 변환함수가 결정된다. 재배열단계에서는 변환함수를 통해 입력영상이 변환되어 기준영상에 재배열된다.

한편, 특징기반방법을 이용한 영상정합의 정확도는 특징쌍의 개수와 입력영상 또는 기준영상에서 특징쌍의 분포에 의해 결정된다. 구체적으로, 특징쌍이 많고 영상에서 균일하게 분포된 경우에 영상정합의 정확도가 향상된다.

따라서, 영상정합의 정확도를 예측하기 위해 특징쌍의 분포품질을 정확하게 측정하는 것은 중요하다.

그러나, 종래기술은 모든 특징쌍을 인라이어로 가정하여 분포품질을 측정하므로 특징쌍에 아웃라이어가 존재하는 경우에 잘못된 측정값을 제공한다. 여기에서, 인라이어란 올바로 매칭된 특징쌍을 의미하고 아웃라이어란 잘못 매칭된 특징쌍을 의미한다.

즉, 아웃라이어는 잘못 매칭된 특징쌍이므로 영상정합에서 배제되어야 하므로 영상정합의 정확도를 평가하는 기준이 되는 분포품질측정에서도 배제되어야 하는데 종래기술은 아웃라이어를 인라이어로 가정하고 분포품질을 측정하므로 분포품질 값이 정확하지 않게 될 수 있다.

종래기술을 살펴보면 다음과 같다.

비특허문헌 1은 특징점쌍의 분포품질

를 측정하는 방법을 개시한다. 구체적으로,

는 특징점쌍으로 구성된 삼각형들의 넓이의 표준편차 및 삼각형들의 꼭지점의 최대 각도의 표준편차를 곱하여 계산되고 따라서

값이 작을수록 특징점쌍은 고르게 분포된 것으로 판단할 수 있다. 그러나

를 계산할 때에 특징점쌍을 인라이어와 아웃라이어로 구별하지 않으므로 특징점쌍이 모두 인라이어인 경우에만 올바른 분포품질 값이 제공된다.

와 관련하여 도1 내지 도 3을 살펴본다.

도 1a는 아웃라이어가 존재하는 기준영상과 입력영상을 나타낸 것이고 도 1b는 도 1a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.

도 2a는 아웃라이어가 존재하지 않는 기준영상과 입력영상을 나타낸 것이고 도 2b는 도 2a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.

도 3a는 아웃라이어가 존재하지 않는 기준영상과 입력영상을 나타낸 것이고 도 3b는 도 3a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.

도 1a를 참조하면, 왼쪽 영상이 기준영상이고 오른쪽 영상이 입력영상이며 기준영상과 입력영상을 연결하는 복수개의 선분의 양 끝점이 특징점쌍을 나타낸다. 도 1a에서 특징점쌍은 123개이고 인라이어가 37개, 아웃라이어가 86개이다. 이 때에, 기준영상의 분포품질의 값

는 1.0544이고 입력영상의 분포품질의 값

는 1.0804이다.

도 2a를 참조하면, 왼쪽 영상이 기준영상이고 오른쪽 영상이 입력영상이며 기준영상과 입력영상을 연결하는 복수개의 선분의 양 끝점이 특징점쌍을 나타낸다. 도 2a는 아웃라이어가 존재하지 않는 경우로서 특징점쌍 41개 중에서 인라이어가 41개이다. 이 때에, 기준영상의 분포품질의 값

는 2.7036이고 입력영상의 분포품질의 값

는 2.6378 이다.

도 3a를 참조하면, 왼쪽 영상이 기준영상이고 오른쪽 영상이 입력영상이며 기준영상과 입력영상을 연결하는 복수개의 선분의 양 끝점이 특징점쌍을 나타낸다. 도 3a는 아웃라이어가 존재하지 않는 경우로서 특징점쌍 30개 중에서 인라이어가 30개이다. 이 때에, 기준영상의 분포품질의 값

는 2.3100이고 입력영상의 분포품질의 값

는 2.4068이다.

도 1에서 분포품질

값이 가장 작음(특징점이 가장 균일하게 분포)에도 최악의 영상정합 결과를 제공한다. 즉,

값이 영상정합의 정확도를 판단하는 기준이 되지 못하는데 이것은 아웃라이어가 분포품질 측정 및 영상정합에 사용되었기 때문이다.

도 2에서 분포품질

값이 가장 큼(특징점이 가장 불균일하게 분포)에도 최선의 영상정합 결과를 제공한다. 즉,

값이 영상정합의 정확도를 판단하는 기준이 되지 못한다.

한편, 도 3은 도 2와 같이 아웃라이어가 없는 경우인데 도 2와 비교해 보면 도 3은 몇 개의 인라이어가 제외된 경우이다. 도 3의 분포품질

값이 도 2의 분포품질

보다 작음(특징점이 도 2보다 균일하게 분포)에도 도 2의 영상정합 보다 나쁜 결과를 제공한다. 즉, 인라이어만 존재하는 경우에도 일부의 인라이어가 제외되면

값이 영상정합의 정확도를 판단하는 기준이 되지 못할 수 있다.

이와 같이, 종래의 분포품질

는 영상정합의 정확도를 판단할 수 있는 지표를 제공하지 못하는 문제가 있다.

Zhu Qing, Bo Wu, and Zhi-Xiang Xu, "Seed point selection method for triangle constrained image matching propagation," Geoscience and Remote Sensing Letters, IEEE, vol. 3, no. 2, pp. 207-211, 2006.

전술한 문제점을 해결하기 위하여, 본 발명의 실시예들은 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 입력받는 입력부, 특징점쌍을 인라이어와 아웃라이어로 분류하는 분류부 및 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정부를 포함하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 선분의 길이 또는 각도, 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 기초로 인라이어와 아웃라이어로 분류하거나 선분 또는 다각형을 구성하는 특징점이 대응되는지를 기초로 인라이어와 아웃라이어를 분류하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 분류된 결과를 기초로 분포품질을 측정하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 다각형의 넓이의 표준편차 또는 다각형의 꼭지점의 최대각도의 표준편차에 반비례하고 인라이어의 개수에 비례하도록 분포품질을 측정하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 들로네 삼각분할을 통해 다각형이 생성되는 것을 특징으로 하는 특징분포품질측정 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 수신하는 입력단계, 특징점쌍을 기초로 인라이어와 아웃라이어를 분류하는 분류단계 및 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정단계를 포함하는 특징분포품질측정 방법을 제공하는데 그 목적이 있다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예는 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 입력받는 입력부; 상기 특징점쌍을 인라이어와 아웃라이어로 분류하는 분류부; 및 상기 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정부를 포함하는 특징분포품질측정 시스템을 제공한다.

일 실시예에서, 상기 분류부는 상기 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 상기 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

일 실시예에서, 상기 분류부는 상기 선분의 길이 또는 각도, 상기 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 기초로 인라이어와 아웃라이어로 분류하거나 상기 선분 또는 다각형을 구성하는 특징점이 대응되는지를 기초로 인라이어와 아웃라이어를 분류할 수 있다.

일 실시예에서, 상기 특징분포품질측정부는 상기 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 상기 분류된 결과를 기초로 분포품질을 측정할 수 있다.

일 실시예에서, 상기 특징분포품질측정부는 상기 다각형의 넓이의 표준편차 또는 상기 다각형의 꼭지점의 최대각도의 표준편차에 반비례하고 상기 인라이어의 개수에 비례하도록 분포품질을 측정할 수 있다.

일 실시예에서, 상기 다각형은 들로네 삼각분할을 통해 생성될 수 있다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 수신하는 입력단계; 상기 특징점쌍을 기초로 인라이어와 아웃라이어를 분류하는 분류단계; 및 상기 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정단계를 포함하는 특징분포품질측정 방법을 제공한다.

이상과 같이, 본 발명의 실시예들은 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 입력받는 입력부, 특징점쌍을 인라이어와 아웃라이어로 분류하는 분류부 및 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정부를 포함하는 특징분포품질측정 시스템을 제공함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 선분의 길이 또는 각도, 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 기초로 인라이어와 아웃라이어로 분류하거나 선분 또는 다각형을 구성하는 특징점이 대응되는지를 기초로 인라이어와 아웃라이어를 분류함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 분류된 결과를 기초로 분포품질을 측정함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 다각형의 넓이의 표준편차 또는 다각형의 꼭지점의 최대각도의 표준편차에 반비례하고 인라이어의 개수에 비례하도록 분포품질을 측정함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 들로네 삼각분할을 통해 다각형이 생성되도록 함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

또한, 본 발명의 실시예들은 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 수신하는 입력단계, 특징점쌍을 기초로 인라이어와 아웃라이어를 분류하는 분류단계 및 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정단계를 포함하는 특징분포품질측정 방법을 제공함으로써, 분포품질을 정확하게 측정할 수 있고 영상정합의 정확도를 예측할 수 있다.

이상의 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.

도 1a는 아웃라이어가 존재하는 기준영상과 입력영상을 나타낸 것이고 도 1b는 도 1a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.
도 2a는 아웃라이어가 존재하지 않는 기준영상과 입력영상을 나타낸 것이고 도 2b는 도 2a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.
도 3a는 아웃라이어가 존재하지 않는 기준영상과 입력영상을 나타낸 것이고 도 3b는 도 3a의 특징점쌍을 이용하여 입력영상을 기준영상에 정합시킨 것이다.
도 4는 본 발명에 따른 특징분포품질측정 시스템의 일례를 예시적으로 나타낸 블럭 구성도이다.
도 5a는 인라이어 및 아웃라이어를 포함하는 특징점쌍이 표시된 기준영상과 입력영상을 나타낸 것이고 도 5b는 기준영상과 입력영상의 삼각형집합을 나타낸 것이다.
도 6a는 인라이어에 해당하는 특징점쌍이 표시된 기준영상과 입력영상을 나타낸 것이고 도 6b는 기준영상과 입력영상의 동일한 삼각형집합을 나타낸 것이다.
도 7은 아웃라이어가 존재할 때와 존재하지 않을 때에 특징분포품질측정 값을 나타낸 도면이다.
도 8은 본 발명에 따른 특징분포품질측정 방법의 일례를 예시적으로 나타낸 순서도이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.

이하의 실시예들에서 개시되는 특징분포품질측정 시스템에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.

도 4는 본 발명에 따른 특징분포품질측정 시스템의 일례를 예시적으로 나타낸 블럭 구성도이다.

도 4를 참조하면, 일 실시예에 따른 특징분포품질측정 시스템(100)은 입력부(110), 출력부(120), 분류부(130), 특징분포품질측정부(160), 송수신부(150), 데이터베이스(160) 및 제어부(170)를 포함할 수 있다.

입력부(110)는 입력영상과 기준영상의 특징점을 매칭시킨 특징점쌍을 송수신부(150)를 통해 전송받거나 데이터베이스(160)로부터 특징점쌍을 입력받을 수 있다.

여기에서, 특징점쌍이란 기준영상과 입력영상으로부터 추출된 특징점을 매칭시킨 한 쌍의 특징점을 의미할 수 있고 특징점은 2차원 좌표에 해당할 수 있고 2차원 벡터로 표현될 수 있다.

출력부(120)는 인라이어와 아웃라이어의 분류결과 또는 특징분포품질측정값을 출력할 수 있다. 보다 구체적으로, 출력부(120)는 후술할 분류부(130)에서 분류한 인라이어와 아웃라이어의 분류결과 또는 후술할 특징분포품질측정부(140)에서 측정한 특징분포품질측정값을 송수신부(150)를 통해 송신하거나 데이터베이스(160)에 저장할 수 있다.

분류부(130)는 특징점쌍을 인라이어와 아웃라이어로 분류할 수 있다. 여기에서, 인라이어는 올바로 매칭된 특징점쌍을 의미하고 아웃라이어는 잘못 매칭된 특징점쌍을 의미한다.

보다 구체적으로, 분류부(130)는 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

여기에서 선분을 비교한다는 것은 기준영상의 두 개의 특징점 a, b 간의 거리 또는 a, b를 연결한 직선의 기울기와 두 개의 특징점 a, b와 매칭되는 a', b' 간의 거리 또는 a', b'을 연결한 직선의 기울기를 비교한다는 것을 의미할 수 있다.

예를 들면, 기준영상의 임의의 특징점(a, b)으로 구성되는 선분과 대응되는 입력영상의 특징점(a', b')으로 구성되는 선분의 길이나 각도가 동일하거나 길이나 각도에 차이가 있지만 선분 간에 특정한 변환 규칙이 적용된다면 특징점쌍 (a, a') 및 (b, b')은 인라이어에 해당할 수 있다.

여기에서, 변환 규칙이란 입력영상이 기준영상으로부터 회전 또는 이동하여 매칭되는 픽셀의 좌표가 변환되어 발생한 것일 수 있고 기준영상의 다수의 선분과 대응되는 입력영상의 다수의 선분을 비교함으로써 많은 수의 선분이 변환되는 규칙을 발견할 수 있다.

또한, 여기에서, 다각형을 비교한다는 것은 기준영상의 n개의 특징점으로 구성되는 다각형의 넓이, 변의 길이 또는 꼭지점의 각도와 n개의 특징점과 매칭되는 입력영상의 n개의 특징점으로 구성되는 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 비교한다는 것을 의미할 수 있다.

예를 들면, 기준영상의 임의의 3개의 특징점(a, b, c)으로 구성되는 삼각형의 넓이, 변의 길이 또는 꼭지점의 각도와 3개의 특징점과 매칭되는 입력영상의 3개의 특징점(a', b', c')으로 구성되는 삼각형의 넓이, 변의 길이 또는 꼭지점의 각도가 동일하거나 삼각형의 넓이, 변의 길이 또는 꼭지점의 각도에 차이가 있지만 삼각형 간에 특정한 변환 규칙이 적용된다면 특징점쌍 (a, a'), (b, b') 및 (c, c')은 인라이어에 해당할 수 있다.

여기에서, 변환 규칙이란 입력영상이 기준영상으로부터 회전 또는 이동하여 매칭되는 픽셀의 좌표가 변환되어 발생한 것일 수 있고 기준영상의 다수의 삼각형과 대응되는 입력영상의 다수의 삼각형을 비교함으로써 많은 수의 삼각형이 변환되는 규칙을 발견할 수 있다.

한편, 분류부(130)는 다각형과 선분을 비교하여 인라이어와 아웃라이어를 분류할 수도 있다. 예를 들면, 기준영상의 임의의 3개의 특징점(a, b, c)으로 구성되는 삼각형의 한 변(ab)의 길이와 a, b와 매칭되는 입력영상의 특징점(a', b')으로 구성되는 선분의 길이를 비교하여 길이가 동일하거나 길이에 차이가 있지만 한 변(ab)과 선분 간에 특정한 변환 규칙이 적용된다면 특징점쌍 (a, a') 및 (b, b')은 인라이어에 해당할 수 있다.

전술한 예들에서 살펴본 바와 같이, 분류부(130)는 기준영상과 입력영상의 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있고 다각형은 특징점을 임의로 선택하여 구성할 수 있다.

그러나, 전술한 예들과 달리 분류부(130)는 특정한 알고리즘을 사용하여 기준영상과 입력영상에서 특징점으로 구성되는 다각형집합을 각각 생성하고 기준영상과 입력영상에서 생성된 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

여기에서, 특정한 알고리즘으로 들로네 삼각분할이 사용될 수 있는데 들로네 삼각분할이란 평면의 점 집합 P에 대해서 P에 속하는 점들로 구성되는 모든 삼각형의 외접원 내에 P에 속하는 어떤 점도 속하지 않도록 만든 삼각분할이다.

이 때에, 분류부(130)는 기준영상과 입력영상에서 생성된 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 비교하기 전에 다각형을 구성하는 특징점이 대응되는지를 먼저 판단해야 할 필요가 있을 수 있다.

예를 들면, 분류부(130)는 기준영상에서 들로네 삼각분할로 미리 생성된 삼각형집합 중에서 어느 하나의 삼각형을 구성하는 특징점(a, b, c)과 매칭되는 입력영상의 특징점(a', b', c')으로 구성된 삼각형이 입력영상에서 들로네 삼각분할로 미리 생성된 삼각형집합에 존재하는지 검색한 후에 매칭되는(대응되는) 특징점(a', b', c')으로 구성된 삼각형이 존재하는 경우에만 입력영상과 기준영상의 삼각형의 넓이, 변의 길이 또는 꼭지점의 각도를 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

정리하면, 분류부(130)는 기준영상과 입력영상에서 미리 생성된 다각형을 구성하는 특징점이 대응(매칭)되는지를 먼저 판단하고 특징점이 대응되는 다각형에 한해 기준영상의 다각형의 넓이, 변의 길이 또는 꼭지점의 각도와 대응되는 입력영상의 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 비교하여 그 값이 동일하거나 차이가 있지만 다각형 간에 특정한 변환 규칙이 적용된다면 다각형을 구성하는 특징점쌍을 인라이어에 해당하도록 분류할 수 있다. 여기에서, 변환 규칙은 전술한 바와 같다.

이와 관련하여, 도 5 및 도 6을 살펴본다.

도 5a는 인라이어 및 아웃라이어를 포함하는 특징점쌍이 표시된 기준영상과 입력영상을 나타낸 것이고 도 5b는 기준영상과 입력영상의 삼각형집합을 나타낸 것이다.

도 6a는 인라이어에 해당하는 특징점쌍이 표시된 기준영상과 입력영상을 나타낸 것이고 도 6b는 기준영상과 입력영상의 동일한 삼각형집합을 나타낸 것이다.

도 5a를 참조하면, 왼쪽 영상이 기준영상이고 오른쪽 영상이 입력영상이며 기준영상과 입력영상을 연결하는 복수개의 선분의 양 끝점이 특징점쌍을 나타낸다. 도 5a에서 특징점쌍은 인라이어 및 아웃라이어를 포함한다.

도 5b를 참조하면, 분류부(130)는 들로네 삼각분할을 이용하여 도 5a의 특징점들로 구성되는 기준영상(왼쪽)과 입력영상(오른쪽)의 삼각형집합을 생성할 수 있다. 분류부(130)는 기준영상과 입력영상의 삼각형집합의 삼각형을 비교하여 삼각형을 구성하는 특징점이 대응되고 삼각형이 동일한 경우에 삼각형을 구성하는 특징점쌍을 인라이어로 분류할 수 있다. 도 5b에서 검은색 점은 인라어로 분류된 특징점이고 붉은색 점은 아웃라이어로 분류된 특징점이다.

도 6b를 참조하면, 기준영상과 입력영상에서 동일한 삼각형집합을 구성하는 특징점들은 모두 인라이어(검은색 점)에 해당함을 알 수 있다.

한편, 분류부(130)는 전술한 방법 외에 다양한 방법으로 인라이어와 아웃라이어를 분류할 수 있다. 예를 들면, 분류부(130)는 RANSAC(Random sample consensus)을 이용하여 특징점쌍을 인라이어와 아웃라이어로 분류할 수도 있다.

특징분포품질측정부(140)는 분류부(130)에서 인라이어와 아웃라이어로 분류된 결과를 기초로 특징점의 분포품질을 측정할 수 있다.

보다 구체적으로, 특징분포품질측정부(140)는 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 인라이어와 아웃라이어로 분류된 결과를 기초로 분포품질을 측정할 수 있다. 분포품질을 측정할 때에 다각형의 넓이, 꼭지점의 각도 또는 분류된 결과를 사용할 수 있고 세가지 방법에 대해 순서대로 살펴본다.

첫번째로, 특징분포품질측정부(140)는 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이를 기초로 분포품질을 측정할 수 있다. 구체적으로, 특징분포품질측정부(140)는 기준영상 또는 입력영상에서 특징점쌍에 속한 특징점으로 구성되는 다각형집합을 생성한 후에 다각형들의 넓이의 표준편차를 계산함으로써 다각형의 넓이를 기초로 분포품질을 측정할 수 있다.

여기에서, 특징분포품질측정부(140)는 다각형집합을 생성하기 위해 전술한 들로네 삼각분할을 이용할 수 있다.

이 때에, 분류부(130)에서 인라이어와 아웃라이어를 분류하기 위해 이미 다각형집합을 생성한 경우에는 특징분포품질측정부(140)는 분류부(130)에서 생성된 다각형집합을 그대로 사용함으로써 계산시간을 절약할 수 있다.

특징분포품질측정부(140)는 다각형집합이 T개의 다각형으로 구성되고 i번째 다각형의 넓이가

인 경우에 T개의 다각형의 넓이의 표준편차 α를 다음의 수학식 1을 이용하여 계산할 수 있다. 한편, α는 분포품질을 측정할 때에 다각형의 면적의 균일성을 나타내므로 면적 디스크립터라고 부르기로 한다.

수학식 1

(1)

여기에서

는 T개의 다각형의 넓이의 평균값이고 다음의 수학식 2를 이용하여 계산할 수 있다.

수학식 2

(2)

면적 디스크립터 α는 그 값이 작을수록 특징점쌍이 균일하게 분포된 것을 의미할 수 있다.

두번째로, 특징분포품질측정부(140)는 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 꼭지점의 각도를 기초로 분포품질을 측정할 수 있다. 구체적으로, 특징분포품질측정부(140)는 기준영상 또는 입력영상에서 특징점쌍에 속한 특징점으로 구성되는 다각형집합을 생성한 후에 다각형들의 꼭지점의 최대각도의 표준편차를 계산함으로써 다각형의 꼭지점의 각도를 기초로 분포품질을 측정할 수 있다.

여기에서, 특징분포품질측정부(140)는 다각형집합을 생성하기 위해 전술한 들로네 삼각분할을 이용할 수 있다.

또한 여기에서, 다각형의 꼭지점의 최대각도란 예를들면 삼각형인 경우에 최대각도는

에 해당하는데 최대각도를 라디안값으로 변환한

를 최대각도로 사용하기로 한다. 여기에서,

는 다각형집합에서 i번째 다각형의 모양(최대각도)이라고 부르기로 한다.

이 때에, 분류부(130)에서 인라이어와 아웃라이어를 분류하기 위해 이미 다각형집합을 생성한 경우에는 특징분포품질측정부(140)는 분류부(130)에서 생성된 다각형집합을 그대로 사용함으로써 계산시간을 절약할 수 있다.

특징분포품질측정부(140)는 다각형집합이 T개의 다각형으로 구성되고 i번째 다각형의 모양(최대각도)이

인 경우에 T개의 다각형의 모양(최대각도)의 표준편차 β를 다음의 수학식 3을 이용하여 계산할 수 있다. 한편, β는 분포품질을 측정할 때에 다각형의 모양의 균일성을 나타내므로 모양 디스크립터라고 부르기로 한다.

수학식 3

(3)

여기에서

는 T개의 다각형의 모양의 평균값이고 다음의 수학식 4를 이용하여 계산할 수 있다.

수학식 4

(4)

모양 디스크립터 β는 그 값이 작을수록 특징점쌍이 균일하게 분포된 것을 의미할 수 있다.

세번째로, 특징분포품질측정부(140)는 인라이어와 아웃라이어로 분류된 결과를 기초로 분포품질을 측정할 수 있는데 특징분포품질측정부(140)는 여러가지 방법으로 분류 결과를 이용할 수 있다.

첫번째 방법으로, 특징분포품질측정부(140)는 인라이어로 분류된 특징점쌍으로 구성되는 다각형에 대해서만 면적 디스크립터 α 및 모양 디스크립터 β를 계산하도록 함으로써 인라이어와 아웃라이어로 분류된 결과를 기초로 분포품질을 더 정확히 측정할 수 있다. 이와 관련하여 도1 내지 도 3을 참고하여 살펴본다.

도 1 내지 도 3에서 분포품질

는 α 및 β의 곱에 해당할 수 있다.

특징분포품질측정부(140)는 인라이어로 구성되는 다각형에 대해서만 분포품질

를 측정함으로써 도 1 및 도 2에서 살펴본 바와 같이, 아웃라이어에 의해 분포품질

가 잘못 측정되어 영상정합의 정확도가 잘못 예측되는 것(도 1)을 방지할 수 있다.

그러나, (i) 인라이어와 아웃라이어를 정확히 분류하는 것은 매우 어려워서 인라이어로 분류된 특징점쌍에 아웃라이어가 포함될 수 있으므로 잘못 분류된 인라이어에 대해서만 분포품질을 측정할 경우에 분포품질이 부정확하게 측정될 수 있고 영상정합의 정확도가 잘못 예측될 수 있다.

또한, (ii) 인라이어가 잘못 분류되어 인라이어의 일부가 누락된 경우에 도 2 및 도 3에서 살펴본 바와 같이, 분포품질이 부정확하게 측정될 수 있고 영상정합의 정확도가 잘못 예측(도 2 및 도 3)될 수 있다.

따라서, 인라이어로 분류된 특징점쌍으로 구성되는 다각형에 대해서만 면적 디스크립터 α 및 모양 디스크립터 β를 계산하도록 하여 분포품질을 측정하는 방법은 부적절할 수 있다.

두번째 방법으로, 특징분포품질측정부(140)는 모든 특징점쌍으로 구성되는 다각형의 넓이의 표준편차(면적 디스크립터 α) 또는 다각형의 꼭지점의 최대각도의 표준편차(모양 디스크립터 β)에 반비례하고 인라이어의 개수에 비례하도록 분포품질을 측정할 수 있다.

구체적으로, 특징분포품질측정부(140)는 분포품질

를 다음의 수학식 5를 이용하여 계산할 수 있다.

수학식 5

(5)

여기에서, 면적 디스크립터 α와 모양 디스크립터 β 는 모든 특징점쌍으로 구성되는 다각형에 대한 면적과 최대각도의 표준편차이고 ε은 인라이어의 비율이고 다음의 수학식 6을 이용하여 계산할 수 있다.

수학식 6

(6)

이 때에, 특징분포품질측정부(140)는 수학식 5에서 면적 디스크립터 α 또는 모양 디스크립터 β 중에서 어느 하나를 생략하여 분포품질

를 계산할 수도 있다.

분포품질

의 값은 0이상 1이하로 정해지고 그 값이 클수록 특징점쌍이 균일하게 분포된 것을 의미할 수 있다.

이와 같이, 특징분포품질측정부(140)는 인라이어로 구성되는 다각형에 대해서만 분포품질을 측정하는 것이 아니고 전체 특징점쌍으로 구성되는 다각형에 대해서 면적 또는 모양(최대각도)의 표준편차를 계산하고 그 값에 반비례하도록 분포품질

를 계산하므로 인라이어가 아웃라이어를 포함하도록 잘못 분류된 경우에도 분류결과에 크게 영향을 받지 않고 분포품질을 측정할 수 있고 영상정합의 정확도가 잘못 예측되는 문제를 해결할 수 있다.

또한, 특징분포품질측정부(140)는 전체 특징점쌍 중에서 인라이어의 비율 ε를 계산하고 그 값에 비례하도록 분포품질

를 계산하므로 (i) 아웃라이어가 증가하면 ε값이 작아져서 분포품질

값이 작아지도록 함으로써 아웃라이어의 존재로 인해 분포품질이 부정확하게 측정되고 부정확한 특징분포품질측정 값으로부터 영상정합의 정확도가 잘못 예측되는 문제(도 1)를 해결할 수 있고 (ii) 인라이어가 잘못 분류되어 인라이어 중 일부가 누락된 경우에는 전체 특징점쌍 중에서 인라이어의 비율 ε값이 작아져서 분포품질

값이 작아지도록 함으로써 인라이어가 잘못 분류되어 인라이어의 일부가 누락된 경우에 분포품질이 부정확하게 측정되고 부정확한 특징분포품질측정 값으로부터 영상정합의 정확도가 잘못 예측되는 문제(도 2 및 도 3)를 해결할 수 있다.

한편, 분류부(130)에서 살펴본 바와 같이 들로네 삼각분할과 같은 특정한 알고리즘을 사용하여 기준영상과 입력영상에서 특징점으로 구성되는 다각형집합을 각각 생성하고 기준영상과 입력영상에서 생성된 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

이러한 경우에는 특징분포품질측정부(140)는 분포품질

를 다음의 수학식 7을 이용하여 계산할 수 있다.

수학식 7

(7)

여기에서, 면적 디스크립터 α와 모양 디스크립터 β 는 전술한 바와 같이 모든 특징점쌍으로 구성되는 다각형에 대한 면적과 최대각도의 표준편차이고 γ는 좋은 특징점(good key-points, goodness)의 비율이며 γ는 다음의 수학식 8을 이용하여 계산할 수 있다.

수학식 8

(8)

여기에서, L은 전체 특징점쌍의 개수이고

는 좋은 특징점(good key-points, goodness)의 개수를 의미한다. 좋은 특징점(good key-points, goodness)은 분류부(130)에서 살펴본 바와 같이, 기준영상의 다각형의 넓이, 변의 길이 또는 꼭지점의 각도와 대응되는 입력영상의 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 비교하여 그 값이 동일하거나 그 값에 차이가 있지만 다각형 간에 특정한 변환 규칙이 적용된다면 다각형을 구성하는 특징점쌍을 좋은 특징점(good key-points, goodness)으로 분류할 수 있다.

이 때에, 특징분포품질측정부(140)는 수학식 7에서 면적 디스크립터 α 또는 모양 디스크립터 β 중에서 어느 하나를 생략하여 분포품질

를 계산할 수도 있다.

이와 관련하여, 도 7을 살펴본다.

도 7은 아웃라이어가 존재할 때와 존재하지 않을 때에 특징분포품질측정 값을 나타낸 도면이다.

도 7을 참조하면, RS1, RS2, RI 및 MI의 4가지 데이터 세트에 대해 기준영상과 입력영상의 특징점쌍에 대한 분포품질

및

를 측정한 경우에 아웃라이어가 존재할 때가 존재하지 않을 때보다

값이 더 크고

값이 더 작아야만 분포품질이 정확하게 측정된 것이고 정확하게 측정된 특징분포품질측정 값으로부터 영상정합의 정확도를 정확하게 예측할 수 있다. 아웃라이어가 존재할 때가 아웃라이어가 존재하지 않을 때보다 영상정합의 정확도가 낮아지기 때문이다. 여기에서, 분포품질

는 α 및 β의 곱에 해당할 수 있다.

그러나, 도 7과 같이 모든 데이터 세트에 대해 분포품질

는 아웃라이어가 존재할 때가 존재하지 않을 때보다

값이 더 작으므로 분포품질

로 분포품질이 정확하게 측정되지 않고 영상정합의 정확도를 정확하게 예측할 수 없다.

반면에, 모든 데이터 세트에 대해 분포품질

는 아웃라이어가 존재할 때가 존재하지 않을 때보다

값이 더 작으므로 분포품질

로 분포품질이 정확하게 측정되고 영상정합의 정확도를 정확하게 예상할 수 있다.

한편, 특징분포품질측정부(140)는 전술한 방법 외에 다양한 방법으로 분포품질을 측정할 수 있다. 특히, 분포품질을 측정하기 위해 반드시 면적 디스크립터 α 또는 모양 디스크립터 β를 이용해야 하는 것은 아니다.

송수신부(150)는 입력부(110) 또는 출력부(120)를 통해 통신 네트워크로 연결된 사용자 단말로부터 특징점쌍을 수신하거나 사용자 단말에 인라이어와 아웃라이어의 분류결과 또는 특징분포품질측정값을 송신할 수 있도록 한다.

여기에서, 통신 네트워크는 유선 또는 무선 통신망을 포함하는 넓은 개념의 네트워크를 의미할 수 있으며 통신 인터페이스는 데이터 송수신을 위한 하드웨어적 인터페이스와 소프트웨어적인 프로토콜 인터페이스를 포함할 수 있다.

또한 여기에서, 사용자 단말은 노트북, 휴대폰, 스마트 폰(2G/3G/4G/LET, smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant) 및 타블렛 PC(Tablet PC) 중 어느 하나일 수 있다.

데이터베이스(160)는 특징점쌍, 인라이어와 아웃라이어의 분류결과 또는 특징분포품질측정값 등을 저장할 수 있다.

이러한 데이터베이스(160)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스의 범주안에 포함된다.

마지막으로, 제어부(170)는 특징분포품질측정 시스템(100)의 전체적인 동작을 제어하고, 입력부(110), 출력부(120), 분류부(130), 특징분포품질측정부(140), 송수신부(150) 및 데이터베이스(160) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.

도 8은 본 발명에 따른 특징분포품질측정 방법의 일례를 예시적으로 나타낸 순서도이다.

도 8을 참조하면, 일 실시예에 따른 특징분포품질측정 방법(200)은 입력단계(210), 분류단계(220) 및 특징분포품질측정단계(230)를 포함할 수 있다.

입력단계(210)에서, 특징분포품질측정 시스템(100)은 입력영상과 기준영상의 특징점을 매칭시킨 특징점쌍을 입력받을 수 있다.

분류단계(220)에서, 특징분포품질측정 시스템(100)은 특징점쌍을 인라이어와 아웃라이어로 분류할 수 있다.

보다 구체적으로, 특징분포품질측정 시스템(100)은 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류할 수 있다.

이 때에, 특징분포품질측정 시스템(100)은 선분의 길이 또는 각도, 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 기초로 인라이어와 아웃라이어로 분류하거나 선분 또는 다각형을 구성하는 특징점이 대응되는지를 기초로 인라이어와 아웃라이어를 분류할 수 있다.

또한 이 때에, 특징분포품질측정 시스템(100)은 들로네 삼각분할을 통해 다각형을 생성할 수 있다.

특징분포품질측정단계(230)에서, 특징분포품질측정 시스템(100)은 인라이어와 아웃라이어로 분류된 결과를 기초로 특징점의 분포품질을 측정할 수 있다.

보다 구체적으로, 특징분포품질측정 시스템(100)은 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 인라이어와 아웃라이어로 분류된 결과를 기초로 분포품질을 측정할 수 있다.

이 때에, 특징분포품질측정 시스템(100)은 다각형의 넓이의 표준편차 또는 다각형의 꼭지점의 최대각도의 표준편차에 반비례하고 인라이어의 개수에 비례하도록 분포품질을 측정할 수 있다.

또한 이 때에, 특징분포품질측정 시스템(100)은 들로네 삼각분할을 통해 다각형을 생성할 수 있다.

이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 특징분포품질측정 시스템
110 : 입력부 120 : 출력부
130 : 분류부 140 : 특징분포품질측정부
150 : 송수신부 160 : 데이터베이스
170 : 제어부
200 : 특징분포품질측정 방법

Claims (7)

1. 기준영상과 입력영상의 특징점을 매칭시킨 특징점쌍을 입력받는 입력부;
   상기 특징점쌍을 인라이어와 아웃라이어로 분류하는 분류부; 및
   상기 분류된 결과를 기초로 특징점의 분포품질을 측정하는 특징분포품질측정부를 포함하며,
   상기 특징분포품질측정부는 상기 특징점쌍에 포함된 기준영상 또는 입력영상의 특징점으로 구성되는 다각형의 넓이 또는 꼭지점의 각도와 상기 분류된 결과를 기초로 분포품질을 측정하되, 상기 다각형의 넓이의 표준편차 또는 상기 다각형의 꼭지점의 최대각도의 표준편차에 반비례하고 상기 인라이어의 개수에 비례하도록 분포품질을 측정하는 특징분포품질측정 시스템.
   
2. 제 1항에 있어서,
   상기 분류부는 상기 특징점쌍에 포함된 기준영상의 특징점으로 구성되는 선분 또는 다각형과 기준영상의 상기 특징점에 대응되는 입력영상의 특징점으로 구성되는 선분 또는 다각형을 비교하여 인라이어와 아웃라이어를 분류하는 특징분포품질측정 시스템.
   
3. 제 2항에 있어서,
   상기 분류부는 상기 선분의 길이 또는 각도, 상기 다각형의 넓이, 변의 길이 또는 꼭지점의 각도를 기초로 인라이어와 아웃라이어로 분류하거나 상기 선분 또는 다각형을 구성하는 특징점이 대응되는지를 기초로 인라이어와 아웃라이어를 분류하는 특징분포품질측정 시스템.
   
4. 삭제
5. 삭제
6. 제 2항에 있어서,
   상기 다각형은 들로네 삼각분할을 통해 생성되는 것을 특징으로 하는 특징분포품질측정 시스템.
7. 삭제

Images