KR20200029951A - 적응적 분류에 기반한 영상정합 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예들은 입력영상을 수신하는 입력부, 입력영상의 특징이 되는 특징점을 추출하고 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출부, 디스크립터를 통해 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭부, 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류하는 분류부 및 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 정합부를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템 및 방법을 제공한다.
이에, 본 발명의 실시예들은 분류부를 통해 특징점쌍을 인라이어와 아웃라이어로 적응적으로 분류함으로써, 영상정합의 정확도를 향상시킬 수 있다.

Description

적응적 분류에 기반한 영상정합 시스템 및 방법{SYSTEM AND METHOD FOR IMAGE REGISTRATION BASED ON ADAPTIVE CLASSIFICATION}

본 발명의 실시예들은 적응적 분류에 기반한 영상정합 시스템 및 방법에 관한 것으로서, 더욱 상세하게는, 매칭된 특징점쌍을 인라이어 또는 아웃라이어로 특징점쌍의 속성을 이용하여 적응적으로 분류하고 분류하기 어려운 특징점쌍이 있는 경우에는 분류된 특징점쌍을 통해 생성된 분류함수를 이용하여 특징점쌍을 적응적으로 분류하기 위한 적응적 분류에 기반한 영상정합 시스템 및 방법에 관한 것이다.

영상정합은 서로 다른 시간이나 관점에서 센싱된 영상을 변형하여 하나의 좌표계에 나타내는 처리기법이다. 여기에서, 센싱은 하나 또는 여러 개의 센서를 통해 이루어질 수 있다.

영상정합은 의료영상 분야에서 여러 의료기기로부터 센싱된 의료영상을 융합하거나 서로 다른 시간 또는 관점에서 센싱된 의료영상을 분석하기 위해 주로 사용된다.

영상정합은 정합방법에 따라 밝기값 기반(intensity-based)방법과 특징기반(feature-based)방법으로 분류될 수 있다.

밝기값 기반방법은 입력영상(sensed image)과 기준영상(reference image)의 픽셀들의 밝기값의 유사도를 비교한다.

여기에서, 기준영상이란 영상정합을 할 때에 기준이 되는 영상이고 입력영상이란 기준영상의 좌표계로 변환되어 기준영상에 정합되어야 하는 영상이다.

반면에, 특징기반방법은 입력영상과 기준영상의 픽셀들의 밝기값 대신에 점, 선, 모서리 등과 같은 특징을 이용한다. 특징기반방법은 영상정합을 위해 전처리단계, 특징추출단계, 특징매칭단계, 변환추정단계 및 재배열단계를 거친다.

특징기반방법의 각 단계를 살펴보면 다음과 같다.

전처리단계에서는 입력영상의 이미지를 향상시키기 위해 이미지 스무딩, 디블러링과 같은 이미지 처리작업이 수행된다. 특징추출단계에서는 점, 선, 영역, 템플릿과 같은 유용한 특징이 이미지로부터 추출된다. 특징매칭단계에서는 특징의 유사성을 기준으로 입력영상과 기준영상의 특징들이 매칭되어 특징쌍이 결정된다. 변환단계에서는 특징쌍들로부터 변환을 위해 필요한 적절한 변환함수가 결정된다. 재배열단계에서는 변환함수를 통해 입력영상이 변환되어 기준영상에 재배열된다.

한편, 특징기반방법에서는 아웃라이어가 영상정합의 정확도에 중요한 영향을 미친다. 여기에서, 아웃라이어란 잘못 매칭된 특징쌍을 의미한다. 따라서 특징매칭단계 이후에 아웃라이어를 감지하는 것이 중요하고 아웃라이어를 감지하여 제거한 후에 변환단계를 수행해야 영상정합이 정확해질 수 있다.

아웃라이어를 인라이어와 구별하는 방법으로서 통계 기반의 다양한 방법이 개시되어 있다. 여기에서, 인라이어란 올바로 매칭된 특징쌍을 의미한다.

RANSAC(비특허문헌 1)은 아웃라이어와 인라이어를 구별하기 위해 일반적으로 사용되는 통계 기반의 방법으로서 특징쌍들 중에서 일부를 랜덤하게 선택하여 호모그래피(Homography)를 계산한 후 계산된 호모그래피에 따라서 선택되지 않은 특징쌍들을 인라이어와 아웃라이어로 분류하는 과정을 반복한다.

여기에서, 호모그래피란 특징쌍에 대해 입력영상의 특징이 기준영상의 특징으로 투영되기 위해 입력영상의 특징에 적용되는 행렬일 수 있다.

RANSAC은 각 특징쌍에 대해서 기준영상의 특징과 입력영상의 특징이 기준영상에 투영된 특징의 거리 d가 임계값을 초과하는지에 따라서 상기 특징쌍을 인라이어와 아웃라이어로 분류할 수 있다.

RANSAC은 이러한 과정을 N번 반복하여 인라이어에 속하는 특징쌍들의 개수가 가장 많은 호모그래피를 선택하여 모든 특징쌍을 인라이어와 아웃라이어로 분류한다.

그러나 RANSAC은 특징쌍이 많을 경우 성능이 저하되고 반복횟수 N, 거리 d, 인라이어 비율 등에 따라서 성능이 크게 달라지는 문제가 있다.

등록특허공보 제10-152548호

M.A. Fischler, R.C. Bolles, Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Commun. ACM 24 (1981) 381-395.

전술한 문제점을 해결하기 위하여, 본 발명의 실시예들은 입력영상을 수신하는 입력부, 입력영상의 특징이 되는 특징점을 추출하고 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출부, 디스크립터를 통해 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭부, 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류하는 분류부 및 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 정합부를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하여 트레이닝데이터로 저장하고, 인라이어에 속한 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 저장하고, 트레이닝데이터를 통해 분류함수를 생성하며 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 (a) 후보함수를 생성하는 단계, (b) 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 평가에 따라서 후보함수를 선택하는 단계 및 (d) 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 (b)단계 내지 (d)단계를 반복수행하여 분류함수를 결정하고, 결정된 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류하며, 유전연산자에는 복제, 교차 또는 변이가 포함되는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 복수 개의 특징함수를 이용하여 후보함수를 생성하며, 특징함수는 두 점의 위치 또는 디스크립터를 인자로 하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 (b)단계에서 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하고 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명의 실시예들은 입력영상을 수신하는 입력단계, 입력영상의 특징이 되는 특징점을 추출하고 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출단계, 디스크립터를 통해 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭단계, 특징점쌍을 인라이어 또는 아웃라이어로 분류하는 분류단계 및 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 정합단계를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 방법을 제공하는데 그 목적이 있다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예는 입력영상을 수신하는 입력부; 상기 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출부; 상기 디스크립터를 통해 상기 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭부; 상기 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류하는 분류부; 및 상기 분류된 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시키는 정합부를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템을 제공한다.

일 실시예에서, 상기 분류부는 상기 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 상기 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하여 트레이닝데이터로 저장하고, 상기 정합부는 상기 인라이어에 속한 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시킬 수 있다.

일 실시예에서, 상기 분류부는 상기 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 저장하고, 상기 트레이닝데이터를 통해 분류함수를 생성하며 상기 분류함수를 통해 상기 보류데이터를 인라이어 또는 아웃라이어로 분류할 수 있다.

일 실시예에서, 상기 분류부는 (a) 후보함수를 생성하는 단계, (b) 상기 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 상기 평가에 따라서 후보함수를 선택하는 단계 및 (d) 상기 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 상기 (b)단계 내지 상기 (d)단계를 반복수행하여 분류함수를 결정하고, 상기 분류함수를 통해 상기 보류데이터를 인라이어 또는 아웃라이어로 분류하며, 상기 유전연산자에는 복제, 교차 또는 변이가 포함될 수 있다.

일 실시예에서, 상기 분류부는 복수 개의 특징함수를 이용하여 후보함수를 생성하며, 상기 특징함수는 두 점의 위치 또는 디스크립터를 인자로 할 수 있다.

일 실시예에서, 상기 (b)단계에서 상기 분류부는 상기 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 상기 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하고 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가할 수 있다.

또한, 전술한 목적을 달성하기 위한 본 발명의 다른 실시예는 입력영상을 수신하는 입력단계; 상기 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출단계; 상기 디스크립터를 통해 상기 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭단계; 상기 특징점쌍을 인라이어 또는 아웃라이어로 분류하는 분류단계; 및 상기 분류된 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시키는 정합단계를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 방법을 제공한다.

이상과 같이, 본 발명의 실시예들은 입력영상을 수신하는 입력부, 입력영상의 특징이 되는 특징점을 추출하고 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출부, 디스크립터를 통해 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭부, 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류하는 분류부 및 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 정합부를 포함하는 적응적 분류에 기반한 영상정합 시스템을 제공함으로써, 영상정합의 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하여 트레이닝데이터로 저장하고, 인라이어에 속한 특징점쌍을 통해 입력영상을 기준영상에 정합시킴으로써, 아웃라이어를 빠르고 간단하게 감지하여 영상정합의 속도 및 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 저장하고, 트레이닝데이터를 통해 분류함수를 생성하며 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류함으로써, 아웃라이어를 빠르고 정확하게 감지하여 영상정합의 속도 및 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 (a) 후보함수를 생성하는 단계, (b) 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 평가에 따라서 후보함수를 선택하는 단계 및 (d) 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 (b)단계 내지 (d)단계를 반복수행하여 분류함수를 결정하고, 결정된 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류하며, 유전연산자에는 복제, 교차 또는 변이가 포함되도록 함으로써, 아웃라이어를 빠르고 정확하게 감지하여 영상정합의 속도 및 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 복수 개의 특징함수를 이용하여 후보함수를 생성하며, 특징함수는 두 점의 위치 또는 디스크립터를 인자로 함으로써, 아웃라이어를 정확하게 감지하여 영상정합의 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 (b)단계에서 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하고 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가함으로써, 아웃라이어를 빠르고 정확하게 감지하여 영상정합의 속도 및 정확도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 실시예들은 입력영상을 수신하는 입력단계, 입력영상의 특징이 되는 특징점을 추출하고 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출단계, 디스크립터를 통해 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭단계, 특징점쌍을 인라이어 또는 아웃라이어로 분류하는 분류단계 및 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시키는 정합단계를 포함하는 적응적 분류에 기반한 영상정합 방법을 제공함으로써, 영상정합의 정확도를 향상시킬 수 있는 효과가 있다.

이상의 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.

이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 본 발명에 따른 적응적 분류에 기반한 영상정합 시스템의 일례를 예시적으로 나타낸 블럭 구성도이다.
도 2a 및 도 2b는 본 발명에 따른 망막영상에서의 특징점쌍의 일례를 예시적으로 나타낸 도면이다.
도 3a, 도 3b, 도 3c 및 도 3d는 본 발명에 따른 분류결과의 일례를 예시적으로 나타낸 도면이다.
도 4a 및 도 4b는 본 발명에 따른 망막영상에서의 특징점쌍이 분류된 일례를 예시적으로 나타낸 도면이다.
도 5는 본 발명에 따른 트리의 일례를 예시적으로 나타낸 도면이다.
도 6a는 반복횟수에 따른 최고평가값을 나타낸 도면이고 도 6b는 반복횟수에 따른 최고평가함수의 트리의 높이와 노드 수를 나타낸 도면이다.
도 7a는 본 발명에 따른 영상정합결과의 일례를 예시적으로 나타낸 도면이고 도 7b는 종래기술에 따른 영상정합결과의 일례를 예시적으로 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 적응적 분류에 기반한 영상정합 방법을 나타낸 순서도이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

이하의 실시예들에서 개시되는 적응적 분류에 기반한 영상정합 시스템에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.

도 1은 일 실시예에 따른 적응적 분류에 기반한 영상정합 시스템의 일례를 예시적으로 나타낸 블럭 구성도이다.

도 1를 참조하면, 일 실시예에 따른 적응적 분류에 기반한 영상정합 시스템(100)은 입력부(110), 출력부(120), 추출부(130), 매칭부(140), 분류부(150), 정합부(160), 송수신부(170), 데이터베이스(180) 및 제어부(190)를 포함할 수 있다.

입력부(110)는 입력영상을 수신할 수 있다. 보다 구체적으로, 입력부(110)는 카메라, 이미지 센서, 적외선 센서나 CT, MRI, PET 등과 같은 의료기기 등을 통해 획득한 영상을 수신할 수 있다.

출력부(120)는 영상을 송신할 수 있다. 보다 구체적으로, 출력부(120)는 후술할 정합부(160)에서 정합시킨 영상을 모니터, 휴대폰 화면 등에 표시될 수 있도록 송신할 수 있다.

추출부(130)는 입력부(110)를 통해 수신된 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 데이터베이스(180)에 저장할 수 있다.

보다 구체적으로, 추출부(130)는 Harris corner detector 또는 SIFT(Scale-Invariant Feature Transform) 등의 특징추출방법을 이용하여 특징점 {pm} (m=1,2,...,M)을 추출하고 각 특징점 {pm} (m=1,2,...,M)에 대해 SIFT 등의 방법을 이용하여 디스크립터 {dm} (m=1,2,...,M)을 생성하여 데이터베이스(180)에 저장한다.

여기에서, Harris corner detector란 미분값에 기반하여 코너를 찾는 검출방법이고 코너가 특징점이 될 수 있으므로 특징점을 추출하는 방법으로 사용될 수 있다.

또한 여기에서, SIFT란 입력영상에 Gaussian 필터를 점진적으로 적용시킨 이미지들에서 인접 이미지들간 차(subtraction)에 해당하는 이미지(Difference of Gaussian)를 이용하여 지역적 최대값 또는 최소값에 해당하는 특징점을 찾고 각 특징점에 대해 후술할 디스크립터를 생성하는 방법이다.

또한 여기에서, 특징점 {pm} (m=1,2,...,M)은 2차원 좌표공간에서 시점이 (0,0)이고 종점이 특징점의 픽셀 좌표인 2차원 벡터를 의미할 수도 있고 단순히 2차원 픽셀 좌표를 의미할 수도 있다.

또한 여기에서, 디스크립터 {dm}에 대해 살펴보면 다음과 같다.

디스크립터 {dm} (m=1,2,...,M)은 특징점 {pm} (m=1,2,...,M)의 주변정보로서 특징점의 위치가 변하거나 특징점이 회전하더라도 특징점을 구별하여 인식할 수 있도록 구성될 수 있다. 또한, 디스크립터는 벡터일 수 있다.

본 실시예에서는 특징점 주위의 픽셀들의 그래디언트(gradient)의 크기와 방향을 구한 후 특징점 주위의 4행 4열의 총 16개의 지역(region)마다 각 지역에 속한 픽셀들의 그래디언트를 8방향으로 분류하고 각 방향에 속하는 그래디언트의 크기를 합산하므로 디스크립터는 총 128차원의 벡터가 될 수 있다. 여기에서, 8방향이란 360도를 45도의 차이를 두고 기준점으로부터 방사되는 8개의 방향을 의미한다.

이와 같이, 본 발명에서는 특징점을 중심으로 주변 픽셀들의 그래디언트의 크기를 방향에 따라 구별하여 128차원의 벡터로 디스크립터를 생성함으로써 특징점이 이동하거나 회전하더라도 디스크립터를 통해 특징점을 구별하여 인식할 수 있다.

매칭부(140)는 디스크립터를 통해 입력영상의 특징점을 데이터베이스(180)에 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성할 수 있다.

보다 구체적으로, 매칭부(140)는 입력영상의 디스크립터 {dm} (m=1,2,...,M)과 기준영상의 디스크립터 {d'n} (n=1,2,...,N)의 유클리디언 거리(Euclidean distance)를 계산하여 유클리디언 거리가 최소가 되는 디스크립터쌍 {(dl, d'l)}을 구한 후 대응하는 특징점쌍 {(pl, p'l)} (l=1,2,...,L)을 생성한다.

도 2a 및 도 2b는 본 발명에 따른 망막영상에서의 특징점쌍의 일례를 예시적으로 나타낸 도면이다.

도 2a를 참조하면, 기준영상(왼쪽)의 특징점(빨간 점)과 매칭되는 입력영상(오른쪽)의 특징점(파란 점)이 직선으로 연결되어 있다. 즉, 직선을 이루는 양 끝의 특징점은 특징점쌍에 해당한다.

도 2b를 참조하면, 도 2a의 기준영상과 입력영상을 겹쳐놓은 상태에서 특징점쌍이 직선으로 연결되어 있다. 도 2b에서, 많은 수의 직선이 비슷한 길이 또는 각도를 가지는 것을 확인할 수 있고 이러한 성질을 이용하여 분류부(150)에서 특징점쌍을 인라이어와 아웃라이어로 쉽게 분류할 수 있다.

여기에서, 직선의 길이는 특징점쌍의 두 점의 거리와 같고 직선의 기울기는 특징점쌍의 두 점 사이의 각도와 같으므로 분류부(150)는 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 특징점쌍을 분류할 수 있다. 이와 관련하여, 분류부(150)에서 살펴본다.

다시, 도 1로 돌아온다.

분류부(150)는 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류할 수 있다.

보다 구체적으로, 분류부(150)는 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 상기 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류할 수 있다.

여기에서, 특징점은 앞서 언급한 바와 같이 벡터를 의미할 수 있으므로 특징점쌍의 두 점 사이의 거리 또는 각도는 두 벡터 사이의 거리 또는 각도를 의미할 수 있다.

또한 여기에서, 특징점쌍 {(pl, p'l)}의 두 점 사이의 거리는 두 벡터 pl 및 p'l 사이의 유클리디언 거리로서 수학식1과 같을 수 있다.

수학식 1

또한 여기에서, 특징점쌍 {(pl, p'l)}의 두 점 사이의 각도는 두 벡터 pl 및 p'l 사이의 각도로서 수학식2 또는 수학식3과 같을 수 있다.

수학식 2

수학식 3

여기에서, 수학식3은 두 특징점 pl, p'l 의 좌표 또는 두 벡터 pl, p'l의 종점의 좌표가 (a,b), (c,d)인 경우에 각도(세타)는 arctan((d-b)/(c-a))인 것을 의미할 수 있다.

분류부(150)는 특징점쌍의 두 점 사이의 거리 또는 각도 값을 계산하여 여러 구간으로 나누고 가장 많은 특징점쌍이 속하는 구간의 특징점쌍을 인라이어로 분류하고 그 외의 구간에 속하는 특징점쌍을 아웃라이어로 분류할 수 있다.

예를 들면, 분류부(150)는 사용자에 의해 미리 정해진 k값을 이용하여 특징점쌍의 두 점 사이의 거리에 대해 구간의 크기가 k 픽셀이 되도록 여러 구간으로 나눌 수 있다. 즉, 분류부(150)는 0픽셀부터 k-1픽셀까지를 첫번째 구간으로 정하고 k픽셀부터 2*k-1픽셀까지를 두번째 구간으로 정할 수 있으며 (n-1)*k픽셀부터 n*k-1픽셀까지를 n번째 구간으로 정할 수 있다.

그 후에, 분류부(150)는 각 특징점쌍의 두 점 사이의 거리를 계산하여 해당하는 구간의 count 값을 증가시킬 수 있으며 가장 큰 count 값을 가진 구간에 속하면 특징점쌍을 인라이어로 분류하고 속하지 않으면 특징점쌍을 아웃라이어로 분류할 수 있다.

한편, 분류부(150)는 상기 k값을 사용하는 것이 아니라, 특징점쌍의 두 점 사이의 거리를 먼저 계산하여 거리 값이 클러스터링되는 정도에 따라서 구간의 최소값과 최대값의 크기를 정할 수 있고 특징점쌍의 두 점 사이의 거리가 최소값과 최대값 사이에 속하면 특징점쌍을 인라이어로 분류하고 속하지 않으면 특징점쌍을 아웃라이어로 분류할 수 있다.

즉, 분류부(150)는 특징점쌍의 두 점 사이의 거리가 특정 값 a부터 나타나는 빈도가 증가하면 a 값을 구간의 최소값으로 정할 수 있고 특징점쌍의 두 점 사이의 거리가 특정 값 b부터 나타나는 빈도가 감소하면 b 값을 구간의 최대값으로 정할 수 있며 특징점쌍의 두 점 사이의 거리가 a 값 및 b 값 사이에 속하는지에 따라서 특징점쌍을 인라이어와 아웃라이어로 분류할 수 있다. 여기에서, 나타나는 빈도가 증가하고 감소하는 기준은 사용자에 의해 미리 정해질 수 있다.

한편, 분류부(150)는 특징점쌍의 두 점 사이의 거리뿐만 아니라 각도도 계산하여, 가장 많은 특징점쌍이 속하거나 큰 빈도로 나타나는 거리 및 각도 구간의 특징점쌍을 인라이어로 분류하고 그 외의 구간에 속하는 특징점쌍을 아웃라이어로 분류할 수도 있다.

이와 같이, 분류부(150)는 특징점쌍의 두 점 사이의 거리 또는 각도를 통해 특징점쌍을 인라이어와 아웃라이어로 분류함으로써 아웃라이어를 빠르고 간단하게 감지하여 영상정합의 속도 및 정확도를 향상시킬 수 있다.

한편, 분류부(150)는 인라이어 또는 아웃라이어로 분류된 특징점쌍을 트레이닝데이터로 데이터베이스(180)에 저장할 수 있다. 즉, 트레이닝데이터에는 인라이어 또는 인라이어에 속하는 특징점쌍들과 각 특징점쌍들이 인라이어에 속하는지 아웃라이어에 속하는지를 구별할 수 있는 분류정보가 포함될 수 있다.

또한, 분류부(150)가 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하여 트레이닝데이터로 저장한 경우에 분류부(150)는 인라이어 및 아웃라이어로 분류되지 않아서 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 데이터베이스(180)에 저장하고 트레이닝데이터를 통해 분류함수를 생성하며 생성된 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류할 수 있다.

이와 관련하여, 세가지 순서로 나누어 살펴본다.

첫번째로, 분류부(150)는 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 특징점쌍을 트레이닝데이터와 보류데이터로 분류하여 데이터베이스(180)에 저장할 수 있다. 여기에서, 트레이닝데이터는 인라이어 또는 아웃라이어에 속한 특징점쌍을 포함할 수 있고 보류데이터는 인라이어 및 아웃라이어에 속하지 못한 특징점쌍을 포함할 수 있다.

예를 들면, 분류부(150)는 언급한 바와 같이 가장 많은 특징점쌍이 속하거나 큰 빈도로 나타나는 거리 구간의 특징점쌍을 제1 인라이어로 분류하고 그 외의 구간에 속하는 특징점쌍을 제1 아웃라이어로 분류할 수도 있다.

그런데 분류부(150)는 더 정교하게 분류하기 위해 상기 구간에 속하여 제1 인라이어로 분류된 특징점쌍들의 두 점 사이의 거리의 평균값과 표준편차값을 구하여 모든 특징점쌍에 대해서 특징점쌍의 두 점 사이의 거리가 상기 평균값에서 상기 표준편차값에 t1을 곱한 값 이하의 오차 범위(제1 재설정구간)에 속하면 특징점쌍을 제2 인라이어로 분류하고 상기 평균값에서 상기 표준편차값에 t2(t2>t1)를 곱한 값 이상의 오차 범위(제2 재설정구간)에 속하면 특징점쌍을 제2 아웃라이어로 분류하여 제2 인라이어 및 제2 아웃라이어를 트레이닝데이터로 데이터베이스(180)에 저장하고 제1 재설정구간 및 제2 재설정구간에 속하지 않은 나머지 특징점쌍을 보류데이터로 데이터베이스(180)에 저장할 수 있다.

여기에서, t1과 t2 값은 양의 상수이며 사용자에 의해 미리 설정된 값일 수 있다.

한편, 분류부(150)는 특징점쌍의 두 점 사이의 거리뿐만 아니라 각도도 계산하여, 가장 많은 특징점쌍이 속하거나 큰 빈도로 나타나는 거리 및 각도 구간의 특징점쌍들(제1 인라이어)의 두 점 사이의 거리 및 각도의 평균값과 표준편차를 구하여 모든 특징점쌍에 대해서 특징점쌍의 두 점 사이의 거리 및 각도가 상기 각각의 평균값에서 상기 각각의 표준편차값에 t1을 곱한 값 이하의 오차 범위(제1 재설정구간)에 속하면 특징점쌍을 제2 인라이어로 분류하고 상기 각각의 평균값에서 상기 각각의 표준편차값 에 t2(t2>t1)를 곱한 값 이상의 오차 범위(제2 재설정구간)에 속하면 특징점쌍을 제2 아웃라이어로 분류하여 제2 인라이어 및 제2 아웃라이어를 트레이닝데이터로 데이터베이스(180)에 저장하고 제1 재설정구간 및 제2 재설정구간에 속하지 않은 나머지 특징점쌍을 보류데이터로 데이터베이스(180)에 저장할 수 있다. 이와 관련하여, 도 3a 내지 도 3d를 살펴본다.

도 3a, 도 3b, 도 3c 및 도 3d는 본 발명에 따른 분류결과의 일례를 예시적으로 나타낸 도면이다.

도 3a 내지 도 3c를 참조하면, 분류부(150)는 특징점쌍의 두 점 사이의 거리뿐만 아니라 각도도 계산하여, 도 3b 및 도 3c와 같이 가장 많은 특징점쌍이 속하는 거리 구간 및 각도 구간을 구한 후에 도 3a와 같이 해당하는 구간에 속하는 특징점쌍을 제1 인라이어로 분류하고 그 외의 구간에 속하는 특징점쌍을 제1 아웃라이어로 분류할 수 있다.

도 3d는 도 3a의 제1 인라이어 구간의 특징점쌍의 분포를 확대한 도면으로서 도 3d를 참조하면, 분류부(150)는 제1 인라이어 구간에 속한 특징점쌍의 두 점 사이의 거리 및 각도의 평균값과 표준편차를 구하여 특징점쌍의 두 점 사이의 거리가 거리의 평균값(P의 x축 좌표값)에서 거리의 표준편차에 t1을 곱한 값(A) 이하의 오차 범위에 속하면서 특징점쌍의 두 점 사이의 각도가 각도의 평균값(P의 y축 좌표값)에서 각도의 표준편차에 t1을 곱한 값(B) 이하의 오차 범위(제1 재설정구간)에 속하면 제2 인라이어로 분류할 수 있다. 즉, 분류부(150)는 사각형 R1의 내부(제1 재설정구간)에 속하는 특징점쌍을 제2 인라이어로 분류할 수 있다.

반면에, 분류부(150)는 특징점쌍의 두 점 사이의 거리가 거리의 평균값(P의 x축 좌표값)에서 거리의 표준편차에 t2를 곱한 값(C) 이상의 오차 범위에 속하거나 특징점쌍의 두 점 사이의 각도가 각도의 평균값(P의 y축 좌표값)에서 각도의 표준편차에 t2를 곱한 값(D) 이상의 오차 범위(제2 재설정구간)에 속하면 제2 아웃라이어로 분류할 수 있다. 즉, 분류부(150)는 사각형 R2의 외부(제2 재설정구간)에 속하는 특징점쌍을 제2 아웃라이어로 분류할 수 있다.

다만, 분류부(150)는 제1 인라이어로 분류된 특징점쌍들의 두 점 사이의 거리 또는 각도의 평균값과 표준편차값을 반드시 사용해야 하는 것은 아니고 제1 인라이어로 분류된 특징점쌍을 보다 정교하게 분류하기 위한 다양한 방법을 사용할 수 있다.

도 4a 및 도 4b는 본 발명에 따른 망막영상에서의 특징점쌍이 분류된 일례를 예시적으로 나타낸 도면이다.

도 4a를 참조하면, 기준영상(왼쪽)의 특징점(빨간 점)과 매칭되는 입력영상(오른쪽)의 특징점(파란 점)이 화살표으로 연결되어 있다. 즉, 화살표를 이루는 양 끝의 특징점은 특징점쌍에 해당한다. 또한, 녹색 화살표를 이루는 특징점쌍은 제2 인라이어에 해당하고 밝은 파란색 화살표를 이루는 특징점쌍은 보류데이터에 해당하며 노란색 화살표를 이루는 특징점쌍은 제2 아웃라이어에 해당한다.

도 4b를 참조하면, 도 4a의 기준영상과 입력영상을 겹쳐놓은 상태에서 특징점쌍이 직선으로 연결되어 있다. 도 4b에서, 녹색과 밝은 파란색의 화살표는 비슷한 길이 또는 각도를 가지는 것을 확인할 수 있고 특히 녹색 화살표는 길이 또는 각도가 더 유사한 것을 볼 수 있다. 더 정교하게 분류했기 때문이다.

두번째로, 분류부(150)는 트레이닝데이터를 통해 분류함수를 생성할 수 있다.

보다 구체적으로, 분류부(150)는 (a) 후보함수를 생성하는 단계, (b) 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 평가에 따라서 후보함수를 선택하는 단계 및 (d) 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 상기 (b)단계 내지 상기 (d)단계를 반복수행하여 분류함수를 결정한다. 이와 관련하여, 각 단계에 대해 살펴본다.

(a) 단계에서, 분류부(150)는 후술할 복수 개의 특징함수를 이용하여 후보함수를 임의로 생성할 수 있고 분류부(150)가 생성하는 후보함수의 개수는 미리 정해진 값일 수 있다.

여기에서, 후보함수는 분류함수를 도출하기 위한 임의의 함수로서 후술할 (d) 단계에서 유전연산자를 용이하게 사용하도록 하기 위해 트리구조로 구현될 수 있다. 또한, 후보함수의 트리구조에서 단말노드에는 특징함수가 포함되고 비단말노드에는 수학 연산자 또는 삼각함수 연산자가 포함될 수 있다. 다만, 단말노드에는 특징함수뿐만 아니라 상수나 변수도 포함될 수도 있다.

여기에서, 특징함수

은 특징점쌍 {(pl, p'l)} (l=1,2,...,L)의 두 점의 위치 또는 디스크립터 {(dl, d'l)} (l=1,2,...,L)를 인자로 할 수 있고 특징점쌍을 인라이어와 아웃라이어로 분류할 수 있도록 기여하는 여러가지 형태의 함수에 해당될 수 있다. 이와 관련하여, 특징함수의 예를 살펴본다.

수학식 4

수학식4는 첫번째 특징함수로서 거리차이를 의미하며 l번째 특징점쌍의 두 점 사이의 거리를 구한다.

수학식 5

수학식5는 두번째 특징함수로서 각도차이를 의미하며 l번째 특징점쌍의 두 점 사이의 각도를 구한다.

수학식 6

수학식6은 세번째 특징함수로서 유클리디언 거리를 의미하며 l번째 특징점쌍의 디스크립터 사이의 거리를 구한다.

수학식 7

수학식7은 네번째 특징함수로서 도시 블록 거리(city block distance)를 의미하며 l번째 특징점쌍의 디스크립터에서 모든 좌표축에 대한 거리차이의 합을 구한다.

수학식 8

수학식8은 다섯번째 특징함수로서 Chebyshev 거리를 의미하며 l번째 특징점쌍의 디스크립터에서 모든 좌표축에 대한 거리차이 중 최대값을 구한다.

수학식 9

수학식9는 여섯번째 특징함수로서 상관관계 거리를 의미하며 l번째 특징점쌍의 디스크립터 벡터 간 상관계수를 구한다.

과

은 l번째 특징점쌍의 디스크립터의 평균 벡터이다.

수학식 10

수학식10은 일곱번째 특징함수로서 특징함수코사인 거리를 의미하며 l번째 특징점쌍의 디스크립터 벡터 간 각 코사인 거리를 구한다.

수학식 11

수학식11은 여덟번째 특징함수로서 Hamming 거리를 의미하며 l번째 특징점쌍의 디스크립터에 대해서 디스크립터의 크기가 다른 좌표축의 개수를 구한다. J는 디스크립터 벡터의 길이 또는 차원이다.

수학식 12

수학식12는 아홉번째 특징함수로서 Jaccard 거리를 의미하며 l번째 특징점쌍의 디스크립터에서 0이 아니면서 디스크립터의 크기가 다른 좌표축의 개수의 비율을 구한다.

수학식 13

수학식13는 열번째 특징함수로서 Spearman 거리를 의미하며 l번째 특징점쌍의 디스크립터에 대해서 스피어만 순위 상관관계에 해당하는 거리를 구한다.

또한 여기에서, 유전연산자에는 복제, 교차 또는 변이가 포함될 수 있다. 각 연산의 내용에 대해서는 후술한다.

또한 여기에서, 수학 연산자에는 플러스, 마이너스, 절대값, 로그, 지수함수, 최소값 또는 최대값 등이 포함될 수 있고 삼각함수 연산자에는 사인, 코사인 또는 탄젠트 등이 포함될 수 있다.

정리하면, (a) 단계에서 분류부(150)는 후보함수가 되는 트리를 정해진 개수만큼 생성할 수 있다. 이 때에, 각 후보트리의 단말노드에 어떠한 특징함수가 포함되는지, 비단말노드에 어떠한 연산자가 포함되는지, 트리의 높이는 얼마가 되는지 등은 임의로 결정될 수 있다.

도 5는 본 발명에 따른 트리의 일례를 예시적으로 나타낸 도면이다.

도 5를 참조하면, 트리의 단말노드에는 특징함수가 포함되고 비단말노드에는 수학 연산자가 포함된다. 토리의 높이는 4이다.

(b) 단계에서, 분류부(150)는 트레이닝데이터를 통해 후보함수를 평가할 수 있다. 보다 구체적으로, 분류부(150)는 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 상기 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하고 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가한다.

여기에서, 트레이닝데이터의 각 특징점쌍에 대하여 후보함수값을 계산한다는 것은 특징함수가 포함된 후보함수의 단말노드에 상기 특징점쌍을 통해 계산된 특징함수값이 입력된 후에 후보함수의 비단말노드의 연산자를 이용하여 후보함수를 구성하는 전체 트리의 값을 계산하는 것을 의미할 수 있다.

또한 여기에서, 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단한다는 것은 예를들면 후보함수값이 0보다 크면 인라이어로 판단하고 0이하이면 아웃라이어로 판단한다는 것을 의미할 수 있다.

또한 여기에서, 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가한다는 것은 후보함수값을 통해 트레이닝데이터의 특징점쌍에 대해 인라이어 또는 아웃라이어로 판단한 것이 트레이닝데이터에 포함된 분류정보와 일치하는지 판단하여 일치 또는 불일치하는 횟수로서 TP, TN, FP 또는 FN을 기초로 하거나 일치 또는 불일치하는 비율로서 TPR, TNR, FPR 또는 FNR을 기초로 하여 후보함수를 평가하는 것을 의미할 수 있다.

여기에서, TP(True Positive)는 트레이닝데이터의 분류정보에 인라이어로 분류된 각 특징점쌍을 하나의 후보함수로 한 번씩 판단하는 경우에 인라이어로 판단되는 횟수이고 TN(True Negative)는 트레이닝데이터의 분류정보에 아웃라이어로 분류된 각 특징점쌍을 하나의 후보함수로 한 번씩 판단하는 경우에 아웃라이어로 판단되는 횟수일 수 있다..

한편, FP(False Positive)는 트레이닝데이터의 분류정보에 아웃라이어로 분류된 각 특징점쌍을 하나의 후보함수로 한 번씩 판단하는 경우에 인라이어로 판단되는 횟수이고 FN(False Negative)는 트레이닝데이터의 분류정보에 인라이어로 분류된 각 특징점쌍을 하나의 후보함수로 한 번씩 판단하는 경우에 아웃라이어로 판단되는 횟수일 수 있다.

또한 여기에서, TPR(True Positive Rate)은 TP/(TP+FN)를 의미하고 TNR(True Negative Rate)은 TN/(TN+FP)를 의미할 수 있다.

한편, FPR(False Positive Rate)은 1-TNR을 의미하고 FNR(False Negative Rate)은 1-TPR을 의미할 수 있다.

또한 여기에서, 분류부(150)가 TP, TN, FP 또는 FN을 기초로 후보함수를 평가하는 방법으로는 ACC(Accuracy) 또는 F1 score 의 값이 사용될 수 있고 ACC와 F1 score 의 곱한 값이 사용될 수도 있다. 여기에서, ACC는 (TP+TN)/(TP+FP+TN+FN)이고 F1 score는 (2*TP)/(2*TP+FP+FN)일 수 있다.

또한, 여기에서, 분류부(150)가 TPR, FPR을 기초로 후보함수를 평가하는 방법으로는 AUC(area under the curve of Receiver Operating Characteristic)의 값이 사용될 수 있다.

한편, 분류부(150)는 ACC, F1 score 및 AUC를 모두 곱한 값을 후보함수의 평가값으로 사용할 수도 있다.

(c) 단계에서, 분류부(150)는 상기 평가에 따라서 한 개 이상의 후보함수를 선택할 수 있다.

보다 구체적으로, 분류부(150)는 각 후보함수에 대해서 평가값을 계산한 후에 각 평가값의 크기의 비율에 따라서 각 후보함수가 선택될 확률을 결정하고 전체 후보함수 중에서 후보함수를 확률적으로 선택하거나 각 평가값의 크기를 비교하여 더 큰 값에 해당하는 후보함수를 선택한다.

(d) 단계에서, 분류부(150)는 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성할 수 있다. 여기에서, 유전연산자에는 복제, 교차 또는 변이가 포함될 수 있다.

여기에서, 복제연산은 후보함수의 임의의 서브트리를 복제하여 새로운 후보함수를 생성할 수 있도록 구현될 수 있고 교차연산은 두 개의 후보함수의 임의의 서브트리를 맞교환하여 새로운 후보함수를 생성할 수 있도록 구현될 수 있으며 변이연산은 후보함수의 임의의 노드에 포함된 값을 바꿀 수 있도록 구현될 수 있다.

분류부(150)는 최대반복횟수에 도달하거나 평가값이 평가임계값에 도달할 때까지 (b)단계, (c)단계 및 (d)단계를 반복하여 수행할 수 있고 최종 후보함수 중에서 평가값이 가장 큰 후보함수가 분류함수로 정해질 수 있다. 여기에서, 최대반복횟수나 평가임계값은 사용자에 의해 미리 정해질 수 있다.

도 6a는 반복횟수에 따른 최고평가값을 나타낸 도면이고 도 6b는 반복횟수에 따른 최고평가함수의 트리의 높이와 노드 수를 나타낸 도면이다.

도 6a를 참조하면, 후보함수 중 최고 평가값을 갖는 함수의 평가값은 (b)단계, (c)단계 및 (d)단계를 반복하는 반복횟수가 증가함에 따라서 점차 증가하다가 1 근처에서 수렴하는 것을 볼 수 있다. 평가값은 1보다 클 수 없기 때문이다.

도 6b를 참조하면, 후보함수 중 최고 평가값을 갖는 함수를 구성하는 트리의 높이 및 노드수는 (b)단계, (c)단계 및 (d)단계를 반복하는 반복횟수가 증가함에 따라서 대체로 점차 증가하는 경향을 갖는 것을 볼 수 있다.

한편, (a) 단계 내지 (d) 단계에 의해 분류함수를 생성하는 방법으로서 언급되지 않은 방법은 유전자 프로그래밍에서 사용되는 방법을 사용할 수 있다.

세번째로, 분류부(150)는 보류데이터에 속한 특징점쌍을 생성된 분류함수를 통해 인라이어 또는 아웃라이어로 분류할 수 있다.

분류부(150)가 분류함수를 통해 보류데이터에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하는 구체적인 방법은 상기 (b)단계에서 분류부(150)가 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하는 방법과 동일하다.

정합부(160)는 분류된 특징점쌍을 통해 입력영상을 기준영상에 정합시킬 수 있다. 보다 구체적으로 정합부(160)는 인라이어에 속한 특징점쌍을 기초로 변환함수를 생성하고 입력영상을 변환함수를 통해 기준영상에 정합시킨다. 여기에서, 변환함수는 변환행렬일 수 있다.

예를 들면, 정합부(160)는 인라이어에 속한 특징점쌍을 기초로 하여 앞서 언급한 RANSAC(Random Sample Consensus)에서 제시하는 방법을 통해 변환행렬을 생성할 수 있다. 이 때, 인라이어에 속한 특징점쌍만을 대상으로 하여 변환행렬을 계산하므로 영상정합의 정확도가 향상될 수 있다.

송수신부(170)는 입력부(110) 또는 출력부(120)를 통해 통신 네트워크로 연결된 사용자 단말로부터 입력영상을 수신하거나 사용자 단말에 정합된 영상을 송신할 수 있도록 한다.

여기에서, 통신 네트워크는 유선 또는 무선 통신망을 포함하는 넓은 개념의 네트워크를 의미할 수 있으며 통신 인터페이스는 데이터 송수신을 위한 하드웨어적 인터페이스와 소프트웨어적인 프로토콜 인터페이스를 포함할 수 있다.

또한 여기에서, 사용자 단말은 노트북, 휴대폰, 스마트 폰(2G/3G/4G/LET, smart phone), PMP(Portable Media Player), PDA(Personal Digital Assistant) 및 타블렛 PC(Tablet PC) 중 어느 하나일 수 있다.

데이터베이스(180)는 입력영상, 기준영상, 특징점, 디스크립터, 트레이닝데이터, 보류데이터 등을 저장할 수 있다.

이러한 데이터베이스(180)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스의 범주안에 포함된다.

마지막으로, 제어부(190)는 적응적 분류에 기반한 영상정합 시스템(100)의 전체적인 동작을 제어하고, 입력부(110), 출력부(120), 추출부(130), 매칭부(140), 분류부(150), 정합부(160), 송수신부(170) 및 데이터베이스(180) 간의 제어 흐름 또는 데이터 흐름을 제어할 수 있다.

도 8은 본 발명의 일 실시예에 따른 적응적 분류에 기반한 영상정합 방법을 나타낸 순서도이다.

도 8을 참조하면, 일 실시예에 따른 적응적 분류에 기반한 영상정합 방법(200)은 입력단계(210), 추출단계(220), 매칭단계(230), 분류단계(240) 및 정합단계(250)를 포함할 수 있다.

입력단계(210)에서, 적응적 분류에 기반한 영상정합 시스템(100)은 입력영상을 수신할 수 있다.

추출단계(220)에서, 적응적 분류에 기반한 영상정합 시스템(100)은 입력부(110)를 통해 수신된 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 데이터베이스(180)에 저장할 수 있다.

매칭단계(230)에서, 적응적 분류에 기반한 영상정합 시스템(100)은 디스크립터를 통해 입력영상의 특징점을 데이터베이스(180)에 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성할 수 있다.

분류단계(240)에서, 적응적 분류에 기반한 영상정합 시스템(100)은 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류할 수 있다. 보다 구체적으로, 적응적 분류에 기반한 영상정합 시스템(100)은 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 상기 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류할 수 있다.

또한, 적응적 분류에 기반한 영상정합 시스템(100)은 인라이어 또는 아웃라이어로 분류된 특징점쌍을 트레이닝데이터로 데이터베이스(180)에 저장할 수 있다.

또한, 적응적 분류에 기반한 영상정합 시스템(100)은 인라이어 및 아웃라이어로 분류되지 않아서 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 데이터베이스(180)에 저장하고 트레이닝데이터를 통해 분류함수를 생성하며 생성된 분류함수를 통해 보류데이터를 인라이어 또는 아웃라이어로 분류할 수 있다.

여기에서, 분류함수를 생성하는 방법에 대해서 구체적으로 살펴보면 다음과 같다.

적응적 분류에 기반한 영상정합 시스템(100)은 (a) 후보함수를 생성하는 단계, (b) 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 평가에 따라서 후보함수를 선택하는 단계 및 (d) 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 상기 (b)단계 내지 상기 (d)단계를 반복수행하여 분류함수를 결정할 수 있다. 여기에서, 유전연산자에는 복제, 교차 또는 변이가 포함될 수 있다.

정합단계(250)에서, 적응적 분류에 기반한 영상정합 시스템(100)은 분류된 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시킬 수 있다. 보다 구체적으로 적응적 분류에 기반한 영상정합 시스템(100)은 인라이어에 속한 특징점쌍을 기초로 변환함수를 생성하고 입력영상을 변환함수를 통해 기준영상에 정합시킨다.

여기에서, 변환함수 생성 방법은 앞서 언급한 RANSAC(Random Sample Consensus)을 사용할 수 있다.

도 7a는 본 발명에 따른 영상정합결과의 일례를 예시적으로 나타낸 도면이고 도 7b는 종래기술에 따른 영상정합결과의 일례를 예시적으로 나타낸 도면이다.

도 7a를 참조하면, 본 발명에 따른 방법으로 분류된 인라이어를 이용하여 망막에 관한 기준영상(왼쪽 원)에 입력영상(오른쪽 원)을 정합시키면 정합이 잘 이루어진 것을 볼 수 있다.

반면에 도 7b를 참조하면, 종래기술인 RANSAC으로 분류된 인라이어를 이용하여 정합시키면 본 발명에 따른 영상 W 부분에서 정합이 잘 이루어지지 않는 것을 볼 수 있다. 본 발명이 인라이어를 더 정교하게 분류할 수 있기 때문이다.

이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100 : 적응적 분류에 기반한 영상정합 시스템
110 : 입력부 120 : 출력부
130 : 추출부 140 : 매칭부
150 : 분류부 160 : 정합부
170 : 송수신부 180 : 데이터베이스
190 : 제어부
200 : 적응적 분류에 기반한 영상정합 방법

Claims (7)

1. 입력영상을 수신하는 입력부;
   상기 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출부;
   상기 디스크립터를 통해 상기 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭부;
   상기 특징점쌍을 인라이어 또는 아웃라이어를 포함하는 복수개의 분류그룹으로 분류하는 분류부; 및
   상기 분류된 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시키는 정합부를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
2. 제1항에 있어서,
   상기 분류부는 상기 특징점쌍의 두 점 사이의 거리 또는 각도를 계산하여 상기 특징점쌍을 구간별로 나눈 후, 일정 구간에 속한 특징점쌍을 인라이어 또는 아웃라이어로 분류하여 트레이닝데이터로 저장하고,
   상기 정합부는 상기 인라이어에 속한 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시키는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
3. 제2항에 있어서,
   상기 분류부는 상기 트레이닝데이터에 속하지 않은 특징점쌍을 보류데이터로 저장하고 상기 트레이닝데이터를 통해 분류함수를 생성하며 상기 분류함수를 통해 상기 보류데이터를 인라이어 또는 아웃라이어로 분류하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
4. 제3항에 있어서,
   상기 분류부는 (a) 후보함수를 생성하는 단계, (b) 상기 트레이닝데이터를 통해 후보함수를 평가하는 단계, (c) 상기 평가에 따라서 후보함수를 선택하는 단계 및 (d) 상기 선택된 후보함수에 유전연산자를 사용하여 후보함수를 재생성하는 단계를 수행하고 상기 (b)단계 내지 상기 (d)단계를 반복수행하여 분류함수를 결정하고, 상기 분류함수를 통해 상기 보류데이터를 인라이어 또는 아웃라이어로 분류하며,
   상기 유전연산자에는 복제, 교차 또는 변이가 포함되는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
5. 제4항에 있어서,
   상기 분류부는 복수 개의 특징함수를 이용하여 후보함수를 생성하며,
   상기 특징함수는 두 점의 위치 또는 디스크립터를 인자로 하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
6. 제5항에 있어서,
   상기 (b)단계에서 상기 분류부는 상기 트레이닝데이터의 각 특징점쌍에 대하여 특징함수값을 계산하고, 상기 특징함수값을 인자로 한 후보함수값을 계산하여 인라이어 또는 아웃라이어에 해당하는지 판단하고 상기 판단이 트레이닝데이터의 분류와 일치하거나 불일치하는 횟수를 기초로 후보함수를 평가하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 시스템.
   
7. 입력영상을 수신하는 입력단계;
   상기 입력영상의 특징이 되는 특징점을 추출하고 상기 특징점의 주변정보에 관한 디스크립터를 생성하여 저장하는 추출단계;
   상기 디스크립터를 통해 상기 특징점을 저장된 기준영상의 특징점과 매칭시켜서 특징점쌍을 생성하는 매칭단계;
   상기 특징점쌍을 인라이어 또는 아웃라이어로 분류하는 분류단계; 및
   상기 분류된 특징점쌍을 통해 상기 입력영상을 상기 기준영상에 정합시키는 정합단계를 포함하는 것을 특징으로 하는 적응적 분류에 기반한 영상정합 방법.

Images