KR101813797B1 - 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법 - Google Patents

코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR101813797B1
KR101813797B1 KR1020160089742A KR20160089742A KR101813797B1 KR 101813797 B1 KR101813797 B1 KR 101813797B1 KR 1020160089742 A KR1020160089742 A KR 1020160089742A KR 20160089742 A KR20160089742 A KR 20160089742A KR 101813797 B1 KR101813797 B1 KR 101813797B1
Authority
KR
South Korea
Prior art keywords
corner
edge pattern
feature point
value
initial
Prior art date
Application number
KR1020160089742A
Other languages
English (en)
Inventor
채옥삼
김재면
송기훈
류병용
마흐묻후자예브 파르호드
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020160089742A priority Critical patent/KR101813797B1/ko
Application granted granted Critical
Publication of KR101813797B1 publication Critical patent/KR101813797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법이 개시된다. 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하고, 상기 산출된 에지 패턴 스코어에 기초하여 상기 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성하는 코너 에지 패턴 생성부, 상기 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(threshold value)을 비교하여 초기 코너 후보점을 선정하는 초기 코너 후보점 선정부. 상기 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성하는 방위 히스토그램 생성부, 및 상기 생성된 방위 히스토그램의 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정하는 최종 특징점 선정부를 포함하여 코너가 가질 수 있는 다양한 코너 에지 패턴을 고려하여 영상의 크기, 방위, 형태 등의 변형에도 안정적으로 코너 영상 특징을 검출할 수 있다.

Description

코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법{Method and apparatus for detecting IMAGE FEATURE POINT based on corner edge pattern}
본 발명은 영상정합을 위한 특징점 검출 방법으로, 코너가 가질 수 있는 다양한 코너 에지 패턴(Corner Edge Pattern)을 고려하여 영상의 크기, 방위, 형태 등의 변형에도 안정적으로 영상 특징을 검출할 수 있는 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법에 관한 것이다.
관심 영역 검출, 물체 인식, 장면 분석, 스테레오 매칭, 영상 검색, Structure from Motion 등에 필요한 구성요소로써 특징점 검출 분야가 활발히 연구되고 있다.
특징점은 영상 내 포함된 물체에 대해 크기, 위치, 형태, 조명 및 카메라의 뷰포인트(viewpoint) 변화와 같은 다양한 변화에 덜 민감하면서 서로 다른 영상에서 고유한 특성이 유지될 수 있는 점으로 선정되어야 한다. 특징점 중에서도 코너는 시각적으로 쉽게 구분이 가능하면서도 다른 특징점보다 각종 변화에 강인하여 주로 사용되고 있다.
기존의 특징점 검출 방법들은 영역 기반 방법과 에지 기반 방법으로 구분된다.
기존 영역 기반 방법은 원형의 블랍(blob)을 검출하는 특징점 후보 검출방법을 기반으로 하고 있다. 원형 영역을 검출하기 때문에 비교적 잡음에 대한 민감도가 상대적으로 낮지만, 인조물에 많이 포함되는 다양한 코너 특징을 검출하는 데는 한계가 존재하였다.
또한, 기존의 경계기반 방법은 물체의 윤곽선을 추출하고 연속적인 윤곽선에서 코너를 검출하는 방법이 주를 이루고 있다. 이 방법은 윤곽선 검출 단계에서 정의되는 경계에 의존적인 단점(정확한 물체의 윤곽선 검출을 전제)이 있고, 영상의 선명도나 조명 변화 등에 영향을 받기 쉽다는 문제가 존재하였다.
또한, 기존의 특징점 검출 방법 중 기정의된 모델에 기반한 방법, 또는 자기 상관 행렬기반의 방법은 잡음에 취약하며 많은 질감(texture)을 갖는 영상에 좋지 않은 검출 성능을 보이며, 에지 기반의 방법은 영상 전체에서 코너를 검출하지 않고 영상의 경계로부터 코너를 검출하기 때문에 경계 검출에 영향을 미치는 영상의 선명도와 조명 변화 등에 영향을 받고 복잡도 또한 높으며, 경계로 검출이 되지 않은 점은 코너로 검출할 수 없는 한계가 존재하였다.
한국등록특허 제10-1284252호(발명의 명칭: 영상 곡률 공간정보를 이용한 코너검출방법) 한국등록특허 제10-1527885호(발명의 명칭: 에지 방향성분의 히스토그램에 기반한 물체 검출 장치 및 그 방법) 한국공개특허 제10-2015-0047950호(발명의 명칭: 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템)
본 발명의 목적은 영상의 다양한 변화에서도 강인하고 정확한 특징점을 검출하는 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법을 제공하는 것이다.
본 발명은 기존의 경계기반 방법들의 단점을 극복하기 위해 각 화소에서 에지가 구성할 수 있는 코너 패턴을 바탕으로 하향식(top-down) 검색을 통해 코너 특징을 검출한다. 즉, 에지의 경사반응크기와 경사방위를 이용하여 각 화소에서 코너를 형성할 수 있는 경계선들을 하향식으로 검출하고 이들을 결합하여 후보 특징점을 결정한다.
이어서, 본 발명은 각 후보들에 대해 확장된 이웃영역에서 코너 패턴을 나타내는 방위 히스토그램을 구하고, 방위 히스토그램을 통한 후보의 코너 신뢰도를 계산함으로써 잡음과 변형에 민감한 기존 경계기반 방법의 단점을 극복하였다.
또한, 본 발명은 윤곽선 검출 과정을 거치지 않아 빠른 검출이 가능하며, 에지의 경사크기와 방위 정보를 바탕으로 하향식으로 검출하기 때문에 기존 에지기반 방법의 단점을 보완하며 다양한 형태의 코너들을 정확하게 검출하고자 한다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하고, 상기 산출된 에지 패턴 스코어에 기초하여 상기 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성하는 코너 에지 패턴 생성부, 상기 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(threshold value)을 비교하여 초기 코너 후보점을 선정하는 초기 코너 후보점 선정부, 상기 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성하는 방위 히스토그램 생성부 및 상기 생성된 방위 히스토그램에서 상기 이웃 화소들의 에지 패턴 스코어에 따라 누적된 히스토그램 누적치가 가장 큰 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정하는 최종 특징점 선정부를 포함한다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치의 동작 방법에 있어서, 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하는 단계, 상기 산출된 에지 패턴 스코어에 기초하여 상기 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성하는 단계, 상기 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(Threshold value)을 비교하여 초기 코너 후보점을 선정하는 단계, 상기 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성하는 단계 및 상기 생성된 방위 히스토그램에서 상기 이웃 화소들의 에지 패턴 스코어에 따라 누적된 히스토그램 누적치가 가장 큰 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정하는 단계를 포함한다.
본 발명의 실시예에 따르면, 코너 에지 패턴을 이용하여 영상에서 고유한 특성이 유지되는 특징점을 검출할 수 있다.
특징점 중에서도 코너는 여러 종류의 촬영 환경에 따라 다양한 형태와 각도로 구성된다. 본 발명의 실시예에 따르면, 각 화소가 주변 화소와 이루는 에지의 패턴을 고려하여 후보 코너를 선정하고, 선정된 후보 코너들에 대해 확장된 영역에서의 코너 신뢰도를 계산함으로써 최종적으로 코너 여부를 결정할 수 있다.
또한, 본 발명의 실시예에 따르면, 현재 화소 및 주변 화소가 이루는 코너 패턴을 이용하여, 초기 에지 패턴으로 선택되는 두 화소의 주변 영역 중 가장 에지 패턴 스코어(score)가 높은 두 화소를 선택함으로써, 기존의 조명 변화에 취약한 문제점을 해결할 수 있다.
기존의 특징점을 대표하는 방위값을 할당하는 문제에서는 특징점 검출 방법 중에서도 대표적인 SIFT(Scale Invariant Feature Transform)의 경우 주변 영역의 모든 화소에 대한 방위 값을 히스토그램으로 누적하여 최종적으로 방위값을 설정하는데, 본 발명의 실시예의 경우, 검출된 특징점을 기준으로 해당 특징점과 주변 화소가 코너를 이룰 수 있는 경사 방위값을 가진 화소들에 대해서만 제한적으로 누적하기 때문에 기존의 방법보다 더욱 정확하고 안정적인 특징점 방위를 할당할 수 있다.
기존의 특징점 추출 방법인 SIFT(Scale Invariant Feature Transform)이나 SURF(Speeded-Up Robust Features) 등의 경우에는, 원형의 블랍(blob)을 검출하는 특징점 후보 검출 방법을 기반으로 한다. 상기 방법들은 원형 영역을 검출하기 때문에, 인조물이 많이 포함된 영상에서 다양한 형태의 코너 특징을 검출하는데 한계점이 있다. 하지만, 본 발명의 실시예에 따르면, 많은 인조물이 포함된 영상에서도 형태가 뚜렷한 다양한 코너 점에 대해 그 특징을 검출함으로써 장면 분석, Structure from Motion 등과 같은 분야를 대상으로 하는 특징점 검출 분야에 있어 안정적인 성능을 취할 수 있다. 이는 특징점과 이를 활용하는 서비스에 안정적인 방법을 제공할 수 있는 기반 기술이 될 수 있다.
도 1은 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치의 구성을 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 각 이웃화소가 현재 화소와 코너 에지 패턴을 이루기 위한 가중치에 기반하여 코너 에지 패턴을 생성하는 예를 도시한 것이다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 초기 코너 후보점을 선정하는 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치에 의해 방위 히스토그램을 생성하는 예를 도시한 것이다.
도 5a 및 도 5b는 입력 영상에 대한 기존의 코너 검출 방법과, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 코너 검출 결과를 도시한 것이다.
도 6a 내지 도 6d는 입력 영상에 대한 기존의 코너 검출 방법과, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 코너 검출 결과를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 방법의 흐름도를 도시한 것이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 "실시예", "예", "측면", "예시" 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명에 따른 일 실시예는 현재 화소 주변의 각각의 이웃 화소가 현재 화소와 코너 패턴을 이루기 위해 가져야하는 경사 방위값을 정의하고, 이를 이용하여 경사 방위 값을 양자화 한 결과에 가중치를 부여하거나, 방위 히스토그램 생성시에 이용하는 것을 포함한다.
도 1은 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치의 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치(100)는 이웃한 두 화소의 코너 에지 패턴에 기반하여 초기 코너 후보점을 선정하고, 선정된 초기 코너 후보점에 기초하여 확장된 이웃 영역에서의 방위 히스토그램을 생성하여 최종 특징점을 선정한다.
이를 위해, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치(100)는 코너 에지 패턴 생성부(110), 초기 코너 후보점 선정부(120), 방위 히스토그램 생성부(130) 및 최종 특징점 선정부(140)를 포함한다.
코너 에지 패턴 생성부(110)는 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하고, 산출된 에지 패턴 스코어에 기초하여 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성한다.
예를 들면, 코너 에지 패턴 생성부(110)는 다양한 에지 마스크를 이용하여 입력 영상의 경사 크기값 및 경사 방위값을 산출할 수 있으며, 실시예에 따라서는 기존에 널리 사용되어지는 소벨(Sobel) 연산자를 이용하여 경사 크기값 및 경사 방위값을 획득할 수 있다. 다만, 입력 영상의 경사 크기값 및 경사 방위값을 획득하는 방법은 이에 한정되는 것은 아니다.
상기 에지 패턴 스코어는 현재 화소의 이웃한 두 화소에 대한 경사 크기값과, 경사 방위값에 따른 경사 방위 가중치로부터 산출될 수 있으며, 상기 경사 방위 가중치는 경사 방위값을 양자화(quantization)하여 부여된 기설정된 값을 나타낼 수 있다.
일 실시예에 따르면, 코너 에지 패턴 생성부(110)는 현재 화소와 이웃 화소가 코너 형태를 형성하기 위한 특징을 갖는 두 이웃 화소를 추출하기 위해 이웃 화소와의 에지 패턴 스코어를 산출할 수 있으며, 에지 패턴 스코어는 이웃 화소가 현재 화소와 코너 형태를 형성하기 위해 가져야 하는 경사 방위값의 유사도에 의해 가중치가 적용될 수 있다. 여기서, 상기 두 이웃 화소는 현재 화소를 기준으로 주위 8개의 화소 중 두 이웃 화소, 혹은 한 화소를 건너뛴 16개의 화소 중 두 이웃 화소 등이 될 수 있다.
이에 따라서, 코너 에지 패턴 생성부(110)는 산출된 에지 패턴 스코어 중 상위의 두 이웃 화소를 코너 에지 패턴을 생성할 수 있다.
초기 코너 후보점 선정부(120)는 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(threshold value)을 비교하여 초기 코너 후보점을 선정한다.
초기 코너 후보점 선정부(120)는 생성된 코너 에지 패턴의 사잇각에 대응하는 가중치, 및 생성된 코너 에지 패턴에 대응하는 두 이웃 화소 값으로부터 초기 코너 신뢰도를 산출할 수 있다.
예를 들면, 초기 코너 후보점 선정부(120)는 코너 에지 패턴에 기초하여 코너 선(현재 화소와 이웃 화소(d1 또는 d2)를 연결한 선)들의 강도와, 코너 선들이 이루는 사잇각을 고려하여 초기 코너 신뢰도를 산출할 수 있으며, 초기 에지 패턴으로 선정된 두 이웃 화소의 에지 패턴 스코어와, 해당 두 화소가 이루는 경사각에 따라 적용된 가중치를 기반으로 초기 코너 신뢰도를 산출할 수 있다.
또한, 초기 코너 후보점 선정부(120)는 산출된 초기 코너 신뢰도가 초기 코너 역치값 이상이면 초기 코너 후보점으로 선정할 수 있다.
방위 히스토그램 생성부(130)는 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성한다.
방위 히스토그램 생성부(130)는 초기 코너 후보점에 기초하여 현재 화소보다 확장된 영역에서의 이웃 화소들의 코너 패턴을 나타내는 방위 히스토그램을 생성할 수 있다.
실시예에 따라서, 방위 히스토그램 생성부(130)는 선정된 초기 코너 후보점들에 대해 보다 전역적인 정보를 고려한 확장된 이웃 영역에서의 코너 패턴을 표현하는 방위 히스토그램을 생성할 수 있으며, 이는 검출된 초기 코너 후보점들에 대해 현재 화소를 나타내는 초기 이웃 영역보다 확장된 이웃 영역에서의 이웃 화소들이 갖는 경사 방위값과 이웃 화소가 코너 형태를 형성하기 위해 포함해야 하는 참조 방위와의 비교를 통해 해당 방위에 대한 일정량을 히스토그램에 누적하는 여부가 결정될 수 있다.
보다 상세하게는 방위 히스토그램 생성부(130)는 확장된 이웃 영역에서의 이웃 화소들 각각의 경사 방위값과, 참조 방위 마스크의 비교를 통해 이웃 화소들의 방위에 대한 일정량을 히스토그램에 누적하여 방위 히스토그램을 생성할 수 있다.
예를 들어, 방위 히스토그램 생성부(130)는 확장된 영역에서, 중심 부근의 화소에 외곽 화소보다 높은 가중치를 부가하여 방위 히스토그램을 생성할 수 있으며, 일 실시예에 따른 방법은 현재 화소를 기준으로 기설정된 범위 안의 가까운 이웃 화소를 나타내는 중심 부근에 더 높은 가중치를 부가하는 방법일 수 있다.
최종 특징점 선정부(140)는 생성된 방위 히스토그램의 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정한다.
최종 특징점 선정부(140)는 두 개의 빈의 사잇각에 대응하는 가중치, 및 두 개의 빈 각각에 누적된 값으로부터 최종 코너 신뢰도를 산출할 수 있다.
또한, 최종 특징점 선정부(140)는 산출된 최종 코너 신뢰도가 최종 코너 역치값(threshold value) 이상이면 최종 특징점으로 선정할 수 있다.
또한, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치(100)는 방위값 할당부(150) 및 코너 후보 제거부(160)를 더 포함할 수 있다.
방위값 할당부(150)는 선정된 최종 특징점에 따른 방위값을 할당할 수 있다.
방위값 할당부(150)는 두 개의 빈 각각에 누적된 값에 기반하여 선정된 최종 특징점을 대표하는 방향의 수로 방위값을 할당할 수 있다.
예를 들면, 방위값 할당부(150)는 최종적으로 검출된 최종 특징점에 대해 생성된 방위 히스토그램을 기반으로, 최종 특징점을 대표하는 방위값을 할당할 수 있다. 방위값 할당부(150)는 생성된 방위 히스토그램으로부터 누적 값이 큰 방향을 해당 최종 특징점을 대표하는 방위값으로 할당할 수 있으며, 실시예에 따라서 최종 특징점을 대표하는 방향의 수는 단수, 혹은 복수가 될 수 있다.
코너 후보 제거부(160)는 초기 코너 후보점에서 중복되는 후보 코너 점을 제거하거나, 초기 코너 후보점 중 유사한 방향을 나타내는 코너 점을 제거할 수 있다.
일실시예에 따라서, 코너 후보 제거부(160)는 초기 코너 후보점 선정부(120)로부터 선정된 초기 코너 후보점 중 이웃 화소에 중복되는 코너 후보점을 제거하기 위하여 비 최대값 억제법(Non-maximum suppression) 등과 같은 기법을 적용할 수 있으며, 중복 제거된 초기 코너 후보점을 방위 히스토그램 생성부(130)로 전달할 수도 있다.
실시예에 따라서, 코너 후보 제거부(160)는 최종 특징점 선정부(140)로부터 선정된 최종 특징점에 기반하여, 이웃 화소에 검출된 비슷한 방향을 갖는 최종 특징점을 제거하거나, 비 최대값 억제법(Non-maximum suppression) 등과 같은 기법을 이용하여 보다 신뢰성 있는 최종 특징점만을 검출할 수 있다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 각 이웃화소가 현재 화소와 코너 에지 패턴을 이루기 위한 가중치에 기반하여 코너 에지 패턴을 생성하는 예를 도시한 것이다.
도 2a는 에지 마스크를 이용하여 현재 화소에 대한 에지 패턴 스코어를 산출하기 위한 예를 도시한 것이고, 도 2b는 경사 방위값을 양자화(quantization)하여 부여된 기설정된 값을 포함하는 경사 방위 가중치의 예를 도시한 것이다.
보다 상세하게는, 도 2a는 현재 화소(Cx, 201)를 기준으로 입력 영상에 대한 복수 개의 화소(N0, N1, …, N15)를 나타낸다. 도 2a를 참조하면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 입력 영상의 코너를 검출하기 위해 경사 크기값(G) 및 경사 방위값(θ[0,360])을 산출할 수 있다.
예를 들면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 경사 크기값(G)이 일정치 이상인 화소에 대하여, 현재 화소(201)와 이웃 화소(N0, N1, …, N15)가 코너 형태를 형성하기 위한 특징을 갖는 두 이웃 화소(202, 203)를 추출하기 위한 이웃 화소와의 에지 패턴 스코어(Edge Pattern Score, S(x))를 하기의 [수식 1]을 통해 산출할 수 있다.
[수식 1]
Figure 112016068596128-pat00001
여기서, Gi(x)는 현재 화소(201) 주변의 i번째 화소의 경사 크기값을 의미하며, Wi(x)는 주변 i번째 화소의 경사 방위 가중치를 의미한다.
에지 패턴 스코어(S(x))는 두 이웃 화소(202, 203)가 현재 화소(201)와 코너 형태를 형성하기 위해 가져야 하는 경사 방위값의 유사도에 의한 가중치 Wi(x)가 적용될 수 있다.
도 2b는 경사 방위값을 16 방위로 양자화하였을 경우, 이웃 화소 중 N0(203) 에 대한 방위 가중치 계산 방법의 예를 나타낸다.
제1 이웃 화소(203)는 현재 화소(201)를 기준으로 수평방위의 우측에 위치하므로, 현재 화소(201)와 연결된 이상적인 에지의 경우
Figure 112016068596128-pat00002
값의 기준 방위값으로 4 또는 12를 갖는다.
다만, 실제 환경에서는 주변 화소 값의 영향과 양자화 오류 등과 같은 요인으로 기준 값 대비 좌우 방위값을 갖는 경우가 발생하기 때문에, 기준 방위값의 경우 1을 부여하고, 기준 방위의 좌우 방위값에 1보다 작은 가중치를 적용한다.
이에 따라서, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 산출된 이웃 화소의 에지 패턴 스코어 중 그 스코어 값이 상위인 2개 이웃 화소를 코너 에지 패턴으로 생성할 수 있다.
즉, 도 2a 및 도 2b에 기반하여 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 N0 ~ N15 중 s(x)가 가장 높은 두 이웃화소를 코너 에지 패턴으로 형성된 두 이웃 화소(d1, d2)로 선정할 수 있다.
도 3a 및 도 3b는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 초기 코너 후보점을 선정하는 예를 도시한 것이다.
도 3a는 두 이웃 화소의 방위가 직각 형태인 예를 도시한 것이고, 도 3b는 두 이웃 화소의 방위가 수평 형태인 예를 도시한 것이다.
보다 상세하게는, 도 3a 및 도 3b는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 직각 또는 수평의 코너 에지 패턴으로 형성된 두 이웃 화소(d1, d2)에 따른 초기 코너 신뢰도를 산출하기 위한 예를 도시한 것이다.
예를 들어, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 두 이웃 화소(d1, d2)의 에지 패턴 스코어(
Figure 112016068596128-pat00003
,
Figure 112016068596128-pat00004
)를 이용하여 해당 코너 패턴에 대한 초기 코너 신뢰도를 산출할 수 있다.
이 때, 도 3a와 같이, 두 이웃 화소(d1, d2)의 방위가 직각 형태를 이룬다면, 코너 패턴을 구성하여 높은 코너 신뢰도를 갖게 된다.
반면에, 도 3b와 같이 두 화소(d1, d2)가 수평에 가까운 에지 패턴을 구성한다면 이는 현재 화소(Cx)가 직선 에지의 형태를 이루는 것으로 코너 패턴에서 제외되어야 한다.
이처럼, 코너 패턴이 이루는 사잇각(dang)는 하기의 [수식 2]와 같이 산출될 수 있으며, 이를 기반으로 하는 코너 패턴 가중치(Ws)는 코너 패턴이 직각에 가까울수록 1에 가까운 값을 나타낼 수 있다.
[수식 2]
Figure 112016068596128-pat00005
여기서, d1 및 d2는 에지 패턴 스코어(S(x))의 상위 2개 스코어 값에 해당하는 이웃 화소의 인덱스(index) 번호를 의미한다.
실시예에 따라서, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 현재 화소(Cx)를 중심으로 한 화소 건너 뛴 16개의 주변 화소를 사용하는 경우, 사잇각(dang)의 값이 2 또는 14를 가질 경우 내각이 작은 코너를 나타낼 수 있다. 또한, 일 실시예에 따라서는 3, 4, 5, 11, 12, 및 13의 사잇각(dang)의 값은 뚜렷한 코너를 나타낼 수 있고, 그 외의 경우에는 직선 또는 에지의 끝점을 나타낼 수 있다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 두 이웃 화소(d1, d2)가 뚜렷한 코너 패턴을 구성하는 경우, 코너를 이루는 두 화소의 에지 패턴 스코어(
Figure 112016068596128-pat00006
,
Figure 112016068596128-pat00007
)를 이용하여 초기 코너 신뢰도를 산출할 수 있다.
예를 들어, 영상 내의 두 화소가 뚜렷한 코너를 이루는 경우, 두 화소의 에지 패턴 스코어(
Figure 112016068596128-pat00008
,
Figure 112016068596128-pat00009
)는 서로 비슷한 값을 나타낼 수 있다. 이는 직선 패턴이 잡음이나 주변 값에 영향을 받은 경우, 두 화소의 에지 패턴 스코어(
Figure 112016068596128-pat00010
,
Figure 112016068596128-pat00011
)의 차이가 크기 때문에 두 이웃 화소는 코너 패턴에서 배제시키기 위한 초기 코너 신뢰도를 산출할 수 있다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 각 화소 별로 경사 크기값과 경사 방위값을 고려하여 산출된 코너 에지 패턴에 대해 하기의 [수식 3]과 같이 초기 코너 신뢰도(F(x))를 산출할 수 있다.
[수식 3]
Figure 112016068596128-pat00012
여기서,
Figure 112016068596128-pat00013
는 두 이웃 화소(d1, d2)의 사잇각에 대한 코너 패턴 가중치를 의미하고,
Figure 112016068596128-pat00014
및
Figure 112016068596128-pat00015
는 두 이웃 화소(d1, d2)의 에지 패턴 스코어를 의미한다.
또한, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 [수식 3]으로부터 산출된 초기 코너 신뢰도를 이용하여 하기의 [수식 4]에 기초하여 초기 코너 후보점(CP(x))을 선정할 수 있다.
[수식 4]
Figure 112016068596128-pat00016
초기 코너 신뢰도(F(x))의 크기가 초기 코너 역치값(tF)보다 큰 경우, 해당 두 이웃 화소(d1, d2)는 초기 코너 후보점(CP(x))으로 선정될 수 있다.
상기 초기 코너 역치값은 기설정된 값일 수 있으며, 실시예에 따라서 가변되는 값일 수 있다.
또한, 상기 선정된 초기 코너 후보점은 한 코너에 다수의 점들이 집적될 수 있다. 이에 따라서, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 중복 검출된 초기 코너 후보점들에 대해, 특정 영역 기반에서 신뢰도에 대한 비 최대값 억제법(Non-maximum suppression)으로 보다 신뢰성 있는 초기 코너 후보점을 선별해 최종 초기 후보 코너점들로 검출할 수 있다.
도 4는 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치에 의해 방위 히스토그램을 생성하는 예를 도시한 것이다.
보다 상세하게는, 도 4(a)는 참조 방위 마스크를 나타내고, 도 4(b)는 입력 영상의 복수의 화소 각각에 대한 경사 방위값을 포함하는 에지 영상을 나타내며, 도 4(c)는 방위 히스토그램을 나타낸다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 선정된 초기 코너 후보점에 대해, 초기 이웃 영역인 현재 화소보다 확장된 이웃 영역에서 코너 에지 패턴을 표현하는 방위 히스토그램을 생성할 수 있다. 이웃 화소들이 갖는 경사 방위값과, 이웃 화소가 코너 형태를 형성하기 위한 참조 방위 마스크와의 비교를 통해 해당 방위에 대해 일정량을 누적시켜 방위 히스토그램을 생성할 수 있다.
도 4(a)의 참조 방위 마스크는 각 이웃 화소가 현재 화소(401)와 코너 패턴을 이루기 위해 포함해야 하는 각 화소에 대한 경사 방위값을 포함한다.
도 4(b)의 에지 영상은 입력 영상의 복수의 화소 각각에 대한 경사 방위값을 포함하며, 에지 영상에서 각 화소의 밝기는 경사 영상의 크기를 나타내고, 각 화소의 화살표는 해당 화소의 경사 방위값을 나타낸다.
본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 도 4(b)의 에지 영상의 각 화소에 따른 경사 방위값과, 도 4(a)의 참조 방위 마스크를 비교한다.
이에 따라서, 본 발명의 실시예에 다른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 각 화소마다 참조 방위 마스크와 영상의 경사 방위값이 동일할수록 방위 히스토그램에 더 큰 수를 누적시킬 수 있다. 이 때, 누적시키는 빈(bin)은 해당 화소의 경사 방위값일 수 있다.
다시 말해, 각 이웃 화소들이 현재 화소와 코너 패턴을 이루기 위해 가져야하는 경사 방위를 갖는다면 일정 값을 방위 히스토그램에 누적할 수 있고, 특히 각 화소마다 참조 방위 마스크에서의 방위값과 영상의 경사 방위값이 동일할수록 방위 히스토그램에 더 큰 값을 누적할 수 있다.
실시예에 따라서, 본 발명의 실시예에 다른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 해당 화소의 경사 크기값, 경사 크기값에 로그(log)를 취한 값, 및 1의 값 중 적어도 어느 하나를 누적시키는 방법을 이용할 수 있으며, 에지 영상의 현재 화소(405)를 중심으로 멀리 떨어져 있는 경우, 작은 가중치를 부가하고, 현재 화소(405) 주변의 정보에 더 많은 가중치를 부가할 수도 있다. 일 예로, 널리 사용되는 가우시안 가중치(Gaussian Weights)를 적용시킬 수도 있다.
도 4를 참조하면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 에지 영상((b))과, 참조 방위 마스크((a))를 비교하여 현재 화소(401, 405)를 기준으로 각 화소가 서로 유사한 방위 값을 갖는 정도에 따라 방위 히스토그램에 에지 영상의 방위 값을 방위 히스토그램에 누적할 수 있다.
도 4를 참조하면, 예를 들어 에지 영상에서의 제3 이웃 화소(406), 제4 이웃 화소(407) 및 제5 이웃 화소(408)는 참조 방위 마스크의 화소(402, 403, 404)와 유사한 방위값을 나타내는 것을 확인할 수 있다. 예를 들어, 참조 부호 406, 407은 402, 403과 동일한 방위값을, 408은 404와 유사한 방위값을 갖을 수 있다. 여기서, 402, 403은 도 4(c)에서 보이는 것처럼 상대적으로 많은 양이 누적되고, 404는 402, 403보다는 적은 양이 누적될 수 있다.
또한, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 현재 화소(401, 405)를 기준으로 부근에 위치하는 이웃 화소인 제4 이웃 화소(407)의 경우 높은 가중치를 부가하여 방위 히스토그램에 더 큰 수(412)로 누적시킬 수 있으며, 제3 이웃 화소(406) 및 제5 이웃 화소(408)의 경우의 순으로 높은 가중치를 부가하여 방위 히스토그램에 값(421, 411)을 누적시킬 수 있다. 이는 참조 방위 마스크와의 경사 방위값의 유사도 및 근접도가 높을수록 더 큰 수를 누적시킬 수 있으며, 가중치는 실시예에 따라 가변되는 값일 수 있다.
도 4(c)를 참조하면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 생성된 방위 히스토그램으로부터 누적치가 가장 큰 상위 두 개의 빈(d'1, d'2)을 이용해 해당 화소의 최종 코너 신뢰도를 산출할 수 있다.
하기의 [수식 5]를 이용하여 최종 코너 신뢰도를 산출할 수 있다.
[수식 5]
Figure 112016068596128-pat00017
여기서,
Figure 112016068596128-pat00018
및
Figure 112016068596128-pat00019
는 방위 히스토그램에서 누적치가 가장 큰 두 개의 빈(d'1, d'2)을 의미하고,
Figure 112016068596128-pat00020
는 d' 빈에 누적된 값(410, 420)을 의미하며,
Figure 112016068596128-pat00021
는 두 빈(d1, d2)의 사잇각에 대한 가중치를 의미한다.
상기
Figure 112016068596128-pat00022
는 코너의 사잇각이 직각에 가까울수록 1에 가까운 값을 나타낸다.
또한, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 산출된 최종 코너 신뢰도(
Figure 112016068596128-pat00023
)가 최종 코너 역치값(
Figure 112016068596128-pat00024
)보다 크면 해당 화소(x)를 최종 특징점으로 선정할 수 있다. 여기서, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 이웃 화소에 검출된 비슷한 코너 패턴을 갖는 특징점을 제거하거나, 신뢰도에 대한 비 최대값 억제법(Non-maximum suppression)으로 보다 신뢰성 있는 특징점을 선별해 최종 특징점들로 선정할 수 있다.
이후, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 선정된 최종 특징점에 대한 방위 히스토그램을 기반으로 특징점을 대표하는 방위값을 할당할 수 있다.
예를 들면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치는 생성된 방위 히스토그램으로부터 누적 값(
Figure 112016068596128-pat00025
)이 가장 큰 방위를 해당 최종 특징점을 대표하는 방위값으로 할당할 수 있다.
도 4(c)에 도시된 예를 참조하면,
Figure 112016068596128-pat00026
이 최종 특징점을 대표하는 방위 값으로 설정될 수 있고, 복수의 방향을 할당하는 경우
Figure 112016068596128-pat00027
및
Figure 112016068596128-pat00028
를 방위 값으로 할당할 수 도 있다.
여기서,
Figure 112016068596128-pat00029
의 값과
Figure 112016068596128-pat00030
의 값이 유사한 경우에는, 최종 특징점을 대표하는 방향의 수로 복수의 방향을 할당하고, 실시예에 따라서,
Figure 112016068596128-pat00031
의 값만 뚜렷이 큰 경우에는 최종 특징점을 대표하는 방향의 수로 단수를 할당할 수 있다.
도 5a 및 도 5b는 입력 영상에 대한 기존의 코너 검출 방법과, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 코너 검출 결과를 도시한 것이다.
보다 상세하게는, 도 5a는 신세틱(synthetic) 영상에 대해 기존에 연구된 FAST 코너 검출 방법을 이용하여 영상에 대한 코너 검출 결과를 도시한 것이고, 도 5b는 신세틱 영상에 대해 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 영상에 대한 코너 검출 결과를 도시한 것이다.
상기 FAST는 오픈CV(openCV)를 이용한 방법이며, 코너 검출 성능 평가는 대표적으로 사용되는 '신세틱(synthetic)' 및 '큐빅(cubic)' 영상을 적용하였다.
도 5a를 참조하면, 기존에 연구된 FAST 코너 검출 방법의 경우, 기정의된 모델을 이용하기 때문에 해상도의 변화에 민감한 단점을 보인다. 또한, 코너가 아닌 직선 에지에서도 다수의 오검출이 발생하며, 둔각 코너에서는 상대적으로 검출 정확도가 낮은 것을 확인할 수 있다.
반면, 도 5b를 참조하면, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 경우, 경사 반응값(경사 크기값 및 경사 방위값)이 갖는 코너 패턴을 기반으로 검출하기 때문에 해상도의 변화에 덜 민감하며, 둔각 코너 또한 기존에 연구된 FAST 코너 검출 방법보다 정확한 검출이 가능하고 직선 에지에 대한 오검출은 발견되지 않은 것을 확인할 수 있다.
도 6a 내지 도 6d는 입력 영상에 대한 기존의 코너 검출 방법과, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 코너 검출 결과를 도시한 것이다.
보다 상세하게는, 도 6a는 하우스(House) 영상에 대해 기존에 연구된 Harris 코너 검출 방법을 이용하여 영상에 대한 코너 검출 결과를 도시한 것이고, 도 6b는 하우스 영상에 대해 기존에 연구된 SUSAN 코너 검출 방법을 이용하여 영상에 대한 코너 검출 결과를 도시한 것이다.
또한, 도 6c는 하우스 영상에 대해 기존에 연구된 FAST 코너 검출 방법을 이용하여 영상에 대한 코너 검출 결과를 도시한 것이고, 도 6d는 하우스 영상에 대해 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용하여 영상에 대한 코너 검출 결과를 도시한 것이다.
상기 Harris 및 FAST는 오픈CV(openCV)를, SUSAN은 SUSAN의 저자가 제공하는 소스코드를 이용한 방법이다. 코너 검출 성능 평가는 대표적으로 사용되는 '하우스(house)' 영상을 적용하였다.
도 6a를 참조하면, 기존에 연구된 Harris 코너 검출 방법의 경우, 굴뚝에서의 3개의 코너 점 중 하나의 둔각 코너를 검출하지 못한 것을 확인할 수 있다.
도 6b 및 도 6c의 SUSAN 및 FAST 코너 검출 방법은 영상에 존재하는 대부분의 코너를 검출하지만, 상대적으로 덜 두드러진 텍스처(texture) 패턴과 직선영역을 코너로 검출하는 단점을 보인다.
반면, 도 6d의 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 장치를 이용한 경우, 도 6a 내지 도 6c에 비해 정확한 검출 결과를 보이며, 직선 또는 텍스처 패턴에 덜 민감한 장점을 나타낸다.
도 7은 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 방법의 흐름도를 도시한 것이다.
도 7을 참조하면, 코너 에지 패턴 기반의 영상 특징점 검출 장치의 동작 방법에 있어서, 단계 710에서 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출한다.
단계 710은 현재 화소의 이웃한 두 화소에 대한 경사 크기값과, 경사 방위값을 양자화(quantization)하여 부여된 기설정된 값을 나타내는 경사 방위 가중치로부터 에지 패턴 스코어를 산출하는 단계일 수 있다.
이때, 이웃 화소가 현재 화소와 코너 에지 패턴을 이루기 위한 경사 방위값은 이웃 화소 마다 다르게 기 설정되거나, 이웃 화소 마다 다른 값으로 결정될 수 있다. 예를 들어, 도 2a 및 도 2b에 도시된 예에서 이웃 화소 N0 ~ N15 각각이 현재 화소(201)와 코너 에지 패턴을 이루기 위한 경사 방위 값은 각 이웃 화소 마다 기 설정될 수 있다.
일 실시예에 따르면, 단계 710은 현재 화소와 이웃 화소가 코너 형태를 형성하기 위한 특징을 갖는 두 이웃 화소를 추출하기 위해 이웃 화소와의 에지 패턴 스코어를 산출할 수 있으며, 에지 패턴 스코어는 이웃 화소가 현재 화소와 코너 형태를 형성하기 위해 가져야 하는 경사 방위값의 유사도에 의해 가중치가 적용될 수 있다. 여기서, 상기 두 이웃 화소는 현재 화소를 기준으로 주위 8개의 화소 중 두 이웃 화소, 혹은 한 화소를 건너뛴 16개의 화소 중 두 이웃 화소 등이 될 수 있다.
단계 720에서 산출된 에지 패턴 스코어에 기초하여 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성한다.
단계 720은 산출된 에지 패턴 스코어 중 상위의 두 이웃 화소를 코너 에지 패턴으로 생성하는 단계일 수 있다.
단계 730에서 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(Threshold value)을 비교하여 초기 코너 후보점을 선정한다.
단계 730은 생성된 코너 에지 패턴의 사잇각에 대응하는 가중치, 생성된 코너 에지 패턴에 대응하는 두 이웃 화소 값으로부터 초기 코너 신뢰도를 산출하고, 산출된 초기 코너 신뢰도가 초기 코너 역치값 이상이면 초기 코너 후보점으로 선정하는 단계일 수 있다.
예를 들면, 단계 730은 코너 에지 패턴에 기초하여 코너 선(현재 화소와 이웃 화소(d1 또는 d2)를 연결한 선)들의 강도와, 코너 선들이 이루는 사잇각을 고려하여 초기 코너 신뢰도를 산출할 수 있으며, 초기 에지 패턴으로 선정된 두 이웃 화소의 에지 패턴 스코어와, 해당 두 화소가 이루는 경사각에 따라 적용된 가중치를 기반으로 초기 코너 신뢰도를 산출할 수 있다.
단계 740에서 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성한다.
단계 740은 초기 코너 후보점에 기초하여 현재 화소보다 확장된 영역에서의 이웃 화소들 각각의 경사 방위값과, 참조 방위 마스크의 비교를 통해 이웃 화소들의 방위에 대한 일정량을 히스토그램에 누적하여 방위 히스토그램을 생성하는 단계일 수 있다.
단계 750에서 생성된 방위 히스토그램의 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정한다.
단계 750은 두 개의 빈의 사잇각에 대응하는 가중치, 및 두 개의 빈 각각에 누적된 값으로부터 최종 코너 신뢰도를 산출하고, 산출된 최종 코너 신뢰도가 최종 코너 역치값(Threshold value) 이상이면 최종 특징점으로 선정하는 단계일 수 있다.
또한, 본 발명의 실시예에 따른 코너 에지 패턴 기반의 영상 특징점 검출 방법은 선정된 최종 특징점에 따른 방위값을 할당하는 단계 760을 더 포함할 수 있다.
단계 760은 두 개의 빈 각각에 누적된 값에 기반하여 선정된 최종 특징점을 대표하는 방향의 수로 방위값을 할당하는 단계일 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 코너 에지 패턴 기반의 영상 특징점 검출 장치
110: 코너 에지 패턴 생성부
120: 초기 코너 후보점 선정부
130: 방위 히스토그램 생성부
140: 최종 특징점 선정부
150: 방위값 할당부
160: 코너 후보 제거부
201, 401, 405: 현재 화소
202, 203: 두 이웃 화소
402, 403, 404: 참조 방위 마스크의 화소
406, 407, 408: 제3 이웃 화소, 제4 이웃 화소, 제5 이웃 화소
410, 420: 누적된 값
411: 제5 이웃 화소에 대해 누적된 값
412: 제4 이웃 화소에 대해 누적된 값
413, 422: 그 외 화소로부터 누적된 값
421: 제3 이웃 화소에 대해 누적된 값

Claims (23)

  1. 입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하고, 상기 산출된 에지 패턴 스코어에 기초하여 상기 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성하는 코너 에지 패턴 생성부;
    상기 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(threshold value)을 비교하여 초기 코너 후보점을 선정하는 초기 코너 후보점 선정부;
    상기 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성하는 방위 히스토그램 생성부; 및
    상기 생성된 방위 히스토그램에서 상기 이웃 화소들의 에지 패턴 스코어에 따라 누적된 히스토그램 누적치가 가장 큰 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정하는 최종 특징점 선정부
    를 포함하는 코너 에지 패턴 기반의 영상 특징점 검출 장치.
  2. 제1항에 있어서,
    상기 선정된 최종 특징점에 따른 방위값을 할당하는 방위값 할당부
    를 더 포함하는 코너 에지 패턴 기반의 영상 특징점 검출 장치.
  3. 제2항에 있어서,
    상기 초기 코너 후보점에서 중복되는 후보 코너 점을 제거하거나, 상기 초기 코너 후보점 중 유사한 방향을 나타내는 코너 점을 제거하는 코너 후보 제거부
    를 더 포함하는 코너 에지 패턴 기반의 영상 특징점 검출 장치.
  4. 제1항에 있어서,
    상기 에지 패턴 스코어는
    상기 현재 화소의 이웃한 두 화소에 대한 상기 경사 크기값과, 상기 경사 방위값에 따른 경사 방위 가중치로부터 산출되는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  5. 제4항에 있어서,
    상기 경사 방위 가중치는
    상기 경사 방위값을 양자화(quantization)하여 부여된 기설정된 값을 나타내는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  6. 제5항에 있어서,
    상기 코너 에지 패턴 생성부는
    상기 산출된 에지 패턴 스코어 중 상위의 두 이웃 화소를 상기 코너 에지 패턴으로 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  7. 제1항에 있어서,
    상기 초기 코너 후보점 선정부는
    상기 생성된 코너 에지 패턴의 사잇각에 대응하는 가중치, 및 상기 생성된 코너 에지 패턴에 대응하는 두 이웃 화소 값으로부터 상기 초기 코너 신뢰도를 산출하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  8. 제7항에 있어서,
    상기 초기 코너 후보점 선정부는
    상기 산출된 초기 코너 신뢰도가 상기 초기 코너 역치값 이상이면 상기 초기 코너 후보점으로 선정하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  9. 제1항에 있어서,
    상기 방위 히스토그램 생성부는
    상기 초기 코너 후보점에 기초하여 상기 현재 화소보다 확장된 영역에서의 상기 이웃 화소들의 코너 패턴을 나타내는 상기 방위 히스토그램을 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  10. 제9항에 있어서,
    상기 방위 히스토그램 생성부는
    상기 현재 화소보다 확장된 이웃 영역에서의 상기 이웃 화소들 각각의 경사 방위값과, 참조 방위 마스크의 경사 방위값과의 비교를 통해 상기 이웃 화소들의 방위에 대한 일정량을 히스토그램에 누적하여 상기 방위 히스토그램을 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  11. 제10항에 있어서,
    상기 방위 히스토그램 생성부는
    상기 확장된 영역에서, 중심 부근의 화소에 외곽 화소보다 높은 가중치를 부가하여 상기 방위 히스토그램을 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  12. 제1항에 있어서,
    상기 최종 특징점 선정부는
    상기 두 개의 빈의 사잇각에 대응하는 가중치, 및 상기 두 개의 빈 각각에 누적된 값으로부터 상기 최종 코너 신뢰도를 산출하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  13. 제12항에 있어서,
    상기 최종 특징점 선정부는
    상기 산출된 최종 코너 신뢰도가 최종 코너 역치값(threshold value) 이상이면 상기 최종 특징점으로 선정하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  14. 제2항에 있어서,
    상기 방위값 할당부는
    상기 두 개의 빈 각각에 누적된 값에 기반하여 상기 선정된 최종 특징점을 대표하는 방향의 수로 상기 방위값을 할당하는
    코너 에지 패턴 기반의 영상 특징점 검출 장치.
  15. 코너 에지 패턴 기반의 영상 특징점 검출 장치의 동작 방법에 있어서,
    입력 영상의 경사 크기값(Gradient Magnitude) 및 경사 방위값(Gradient Direction)에 기초하여 현재 화소에 대한 에지 패턴 스코어(Edge Pattern Score)를 산출하는 단계;
    상기 산출된 에지 패턴 스코어에 기초하여 상기 현재 화소에 대한 코너 에지 패턴(Corner Edge Pattern)을 생성하는 단계;
    상기 생성된 코너 에지 패턴에 기초하여 산출되는 초기 코너 신뢰도와, 초기 코너 역치값(Threshold value)을 비교하여 초기 코너 후보점을 선정하는 단계;
    상기 선정된 초기 코너 후보점에 기초하여 이웃 화소들에 대한 방위 히스토그램을 생성하는 단계; 및
    상기 생성된 방위 히스토그램에서 상기 이웃 화소들의 에지 패턴 스코어에 따라 누적된 히스토그램 누적치가 가장 큰 상위 두 개의 빈(bins)에 기초하여 산출되는 최종 코너 신뢰도로부터 최종 특징점을 선정하는 단계
    를 포함하는 코너 에지 패턴 기반의 영상 특징점 검출 방법.
  16. 제15항에 있어서,
    상기 선정된 최종 특징점에 따른 방위값을 할당하는 단계
    를 더 포함하는 코너 에지 패턴 기반의 영상 특징점 검출 방법.
  17. 제15항에 있어서,
    상기 에지 패턴 스코어를 산출하는 단계는
    상기 현재 화소의 이웃한 두 화소에 대한 상기 경사 크기값과, 상기 경사 방위값을 양자화(quantization)하여 부여된 기설정된 값을 나타내는 경사 방위 가중치로부터 산출하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  18. 제17항에 있어서,
    상기 현재 화소에 대한 코너 에지 패턴을 생성하는 단계는
    상기 산출된 에지 패턴 스코어 중 상위의 두 이웃 화소를 상기 코너 에지 패턴으로 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  19. 제15항에 있어서,
    상기 초기 코너 후보점을 선정하는 단계는
    상기 생성된 코너 에지 패턴의 사잇각에 대응하는 가중치, 및 상기 생성된 코너 에지 패턴에 대응하는 두 이웃 화소 값으로부터 상기 초기 코너 신뢰도를 산출하고, 상기 산출된 초기 코너 신뢰도가 상기 초기 코너 역치값 이상이면 상기 초기 코너 후보점으로 선정하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  20. 제15항에 있어서,
    상기 방위 히스토그램을 생성하는 단계는
    상기 초기 코너 후보점에 기초하여 상기 현재 화소 보다 확장된 영역에서의 상기 이웃 화소들 각각의 경사 방위값과, 참조 방위 마스크의 비교를 통해 상기 이웃 화소들의 방위에 대한 일정량을 히스토그램에 누적하여 상기 방위 히스토그램을 생성하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  21. 제15항에 있어서,
    상기 최종 특징점을 선정하는 단계는
    상기 두 개의 빈의 사잇각에 대응하는 가중치, 및 상기 두 개의 빈 각각에 누적된 값으로부터 상기 최종 코너 신뢰도를 산출하고, 상기 산출된 최종 코너 신뢰도가 최종 코너 역치값(threshold value) 이상이면 상기 최종 특징점으로 선정하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  22. 제16항에 있어서,
    상기 방위값을 할당하는 단계는
    상기 두 개의 빈 각각에 누적된 값에 기반하여 상기 선정된 최종 특징점을 대표하는 방향의 수로 상기 방위값을 할당하는
    코너 에지 패턴 기반의 영상 특징점 검출 방법.
  23. 제15항 내지 제22항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020160089742A 2016-07-15 2016-07-15 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법 KR101813797B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160089742A KR101813797B1 (ko) 2016-07-15 2016-07-15 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160089742A KR101813797B1 (ko) 2016-07-15 2016-07-15 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101813797B1 true KR101813797B1 (ko) 2017-12-29

Family

ID=60939153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160089742A KR101813797B1 (ko) 2016-07-15 2016-07-15 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101813797B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051575A1 (ja) 2002-12-05 2004-06-17 Seiko Epson Corporation 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム
JP2015062089A (ja) 2011-12-15 2015-04-02 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
JP2015082287A (ja) 2013-10-24 2015-04-27 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051575A1 (ja) 2002-12-05 2004-06-17 Seiko Epson Corporation 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム
JP2015062089A (ja) 2011-12-15 2015-04-02 日本電気株式会社 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム
JP2015082287A (ja) 2013-10-24 2015-04-27 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1

Similar Documents

Publication Publication Date Title
US8103115B2 (en) Information processing apparatus, method, and program
US8903177B2 (en) Method, computer program and device for hybrid tracking of real-time representations of objects in a sequence
US9183458B2 (en) Parameter selection and coarse localization of interest regions for MSER processing
JP5822255B2 (ja) 対象物識別装置及びプログラム
US9245198B2 (en) Object recognition by comparison of patterns against map of image
WO2013088175A1 (en) Image processing method
KR101761586B1 (ko) 홍채와 공막의 경계선 검출 방법
JP4518139B2 (ja) 画像処理装置
JP6844235B2 (ja) 距離測定装置および距離測定方法
US10643100B2 (en) Object detection apparatus, object detection method, and storage medium
US20120033873A1 (en) Method and device for determining a shape match in three dimensions
JP4378660B2 (ja) 情報処理装置および方法、並びにプログラム
JP2007121111A (ja) 合成開口レーダ画像による目標物識別方法及び装置
US8891879B2 (en) Image processing apparatus, image processing method, and program
JP2011165170A (ja) 対象物検出装置及びプログラム
KR102366364B1 (ko) 기하학적 패턴 매칭 방법 및 이러한 방법을 수행하는 장치
CN112926463B (zh) 一种目标检测方法和装置
CN106033613B (zh) 目标跟踪方法及装置
US10832044B2 (en) Image recognition device and image recognition program
JP4983539B2 (ja) 情報処理装置および方法、並びにプログラム
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
KR101813797B1 (ko) 코너 에지 패턴 기반의 영상 특징점 검출 장치 및 그 방법
JP6403207B2 (ja) 情報端末装置
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
JP6326622B2 (ja) 人物検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant