KR101599377B1 - 실수형 기술자의 이진화 방법 및 장치 - Google Patents

Abstract

장치가 실수형 기술자를 이진화하는 방법으로서, 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들 중에서 임의 자료의 실수값을 문턱값으로 결정하는 단계, 그리고 상기 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계를 포함한다.

Description

실수형 기술자의 이진화 방법 및 장치{FLOATING DESCRIPTOR BINARIZATION METHOD AND APPARATUS}

본 발명은 실수형 기술자의 이진화 방법 및 장치에 관한 것이다.

컴퓨터 비전과 로봇 비전의 많은 분야에서, 지역 영역 단위의 정합을 위한 요소 기술로 특징량(feature)을 이용한다. 특징량은 검출기(detector)와 기술자(descriptor)를 포함한다.

도 1을 참고하면, 영상이 입력되면, 검출기는 영상에서 특정 위치 또는 영역을 검출한다. 기술자는 주어진 영역의 정보를 벡터화된 자료로 만든다. 이후, 장치는 벡터화된 자료 간의 거리를 이용하여 자료간 정합(matching)을 한다.

검출기는 영역에 잡음이나 변환이 있더라도 얼마나 같은 영역을 검출해낼 수 있는지가 성능 지표이다. 검출기는 주어진 영상들에 크기와 회전 변환이 있을 때 얼마나 같은 영역이 추출되었는지를 나타내는 반복성(repeatability)을 기초로 성능이 평가된다.

기술자는 주어진 영역의 정보를 벡터화된 자료로 만든다. 기술자는 영역에 잡음이나 변환이 있더라도 비슷한 값을 갖게 함으로써 올바른 정합을 하는지가 성능 지표이다. 기술자는 주어진 두 장의 영상에 크기와 방향 변화가 있을 때 재현-정확률(recall-precision)을 기초로 성능이 평가된다. 재현 정확률은 정합이 되었다고 판단하는 기술자의 거리 조건을 변화시킬 때, 판단된 정합이 전체 정합 중 차지하는 비율과 정합의 정확도이다.

지금까지 많이 사용되는 특징량은 SIFT와 SURF가 있다. SIFT는 방향 히스토그램(orientation histogram)을 이용하고, SURF는 기울기(gradient) 히스토그램 정보를 사용한다.

최근 0과 1로만 표현된 이진 기술자가 소개되었다. 이진 기술자는 주어진 영역 안에서 정해진 두 위치의 밝기값 비교를 통해 0 또는 1의 값을 얻는다. 실수형 기술자는 값의 거리를 계산해야 하는 반면, 이진 기술자는 xor 비트 연산을 하므로 실수형 기술자에 비해 연산량을 줄이는 장점이 있다. 따라서, 실수형 기술자를 이진화하여 계산하면 연산 속도를 높일 수 있지만, 정규화된 이진 기술자를 생성하는 것이 쉽지 않다. 또한 실수형 기술자를 이진화하더라도 실수형 기술자의 정합 성능을 유지하도록 이진화하는 것이 쉽지 않다.

본 발명이 해결하고자 하는 과제는 실수형 기술자의 이진화 방법 및 장치를 제공하는 것이다.

본 발명의 한 실시예에 따른 장치가 실수형 기술자를 이진화하는 방법으로서, 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들의 분포를 기초로 임의 자료의 실수값을 문턱값으로 결정하는 단계, 그리고 상기 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계를 포함한다.

상기 문턱값으로 결정하는 단계는 상기 실수형 자료 벡터에 포함된 자료들 중에서 0으로 이진화되는 자료의 개수 또는 1로 이진화되는 자료의 개수를 설정하고, 설정한 개수에 해당하는 이진화 결과를 얻기 위한 실수값을 상기 문턱값으로 결정할 수 있다.

상기 문턱값으로 결정하는 단계는 0으로 이진화되는 자료 수와 1로 이진화되는 자료 수가 같게 되는 실수값을 상기 문턱값으로 결정할 수 있다.

상기 이진화 방법은 이진화한 각 자료의 값을 기초로 이진 벡터를 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 장치가 실수형 기술자를 이진화하는 방법으로서, 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들의 분포를 기초로 복수의 임의 자료의 실수값 각각을 문턱값으로 결정하는 단계, 그리고 각 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계를 포함한다.

상기 이진화 방법은 문턱값별로 이진화한 이진 벡터들을 연결하여 이진 기술자를 생성하는 단계를 더 포함할 수 있다.

상기 문턱값으로 결정하는 단계는 이진 벡터별로 0으로 이진화되는 자료의 개수 또는 1로 이진화되는 자료의 개수를 설정하고, 설정한 개수에 해당하는 이진화 결과를 얻기 위한 실수값을 이진 벡터별 문턱값으로 결정할 수 있다.

상기 문턱값으로 결정하는 단계는 0으로 이진화되는 자료 수와 1로 이진화되는 자료 수가 같게 되는 실수값을 제1 문턱값으로 결정할 수 있다.

본 발명의 또 다른 실시예에 따라 실수형 기술자를 이진화하여 이진 기술자를 생성하는 이진화 장치로서, 메모리 장치, 그리고 상기 메모리 장치와 연동하여 프로그램을 처리하는 프로세서를 포함하고, 상기 프로그램은 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들의 분포를 기초로 임의 자료의 실수값을 문턱값으로 결정하는 단계, 상기 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계, 그리고 이진화한 각 자료의 값을 기초로 이진 벡터를 생성하는 단계를 수행하도록 구현된 소프트웨어이다.

상기 프로그램은 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들의 분포를 기초로 복수의 임의 자료의 실수값 각각을 문턱값으로 결정하는 단계, 각 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계, 그리고 문턱값별로 이진화한 이진 벡터들을 연결하여 이진 기술자를 생성하는 단계를 수행하도록 구현된 소프트웨어일 수 있다.

본 발명의 실시예에 따르면 실수형 기술자를 이진화하여 연산량을 줄일 수 있고, 실수값을 기초로 문턱값을 선택하여 이진 기술자를 정규화할 수 있다. 본 발명의 실시예에 따르면 실수형 기술자와 이진 기술자의 장점을 결합하여 정합 성능을 유지하면서 전체 사용하는 메모리와 정합 시간을 줄일 수 있다.

도 1은 영상간 정합을 설명하는 도면이다.
도 2는 본 발명의 한 실시예에 따른 문턱값 설정 방법을 설명하는 그래프이다.
도 3은 확률에 따른 엔트로피 그래프이다.
도 4는 본 발명의 한 실시예에 따른 이진화 방법의 흐름도이다.
도 5는 본 발명의 한 실시예에 따른 이진화 방법을 설명하는 도면이다.
도 6은 본 발명의 한 실시예에 따른 다중 문턱값을 이용한 이진화 방법을 설명하는 도면이다.
도 7은 본 발명의 한 실시예에 따른 이진화 장치의 블록도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 2는 본 발명의 한 실시예에 따른 문턱값 설정 방법을 설명하는 그래프이고, 도 3은 확률에 따른 엔트로피 그래프이다.

도 2를 참고하면, 실수형 기술자는 문턱값을 기준으로 실수값을 0과 1로 바꿀 수 있다. 이때, 문턱값에 따라 정합 성능이 결정되므로, 실수형 기술자의 정합 성능을 저하시키지 않는 문턱값을 결정하는 것이 중요하다.

본 발명의 이진화 장치는 정해진 개수의 0 또는 1을 가지도록 문턱값을 선택한다. 특히, 이진화 장치는 0과 1의 개수가 같아지도록 문턱값을 결정하여 이진 기술자를 정규화할 수 있다. 이러한 문턱값 선택 방법을 엔트로피를 기초로 설명하면 다음과 같다.

이진화 장치는 자료가 가지는 엔트로피가 특정값이 되도록 문턱값을 선택한다. 이진화 장치는 특정 엔트로피가 되게 하는 문턱값을 선택함으로써, 고정 문턱값 대신, 벡터 자료의 분포에 따라서 문턱값을 적응적으로 선택한다.

이진 자료 X의 엔트로피는 수학식 1과 같다.

여기서, p(0)는 자료의 값이 0일 확률(p(0) = n(0)/N)이고, p(1)은 자료의 값이 1일 확률(p(1) = n(1)/N)이다. N은 자료의 수로서 이진 자료의 벡터 길이이고, n(0)는 0에 속하는 자료의 수이며, n(1)은 1에 속하는 자료의 수이다.

도 3을 참고하면, 이진의 경우, 하나의 특정 엔트로피에는 2개의 확률값이 존재한다. 즉, 특정 엔트로피를 갖도록 문턱값을 선택하는 것은 결국 특정 확률값을 갖도록 문턱값을 선택하는 것과 같다. 또한, 특정 확률값은 결국 특정한 수의 0 또는 1의 수를 의미하기 때문에, 이진 자료가 특정 수의 0을 갖도록 하면 이진 기술자는 특정 엔트로피를 갖게 된다.

이와 같이, 엔트로피와 확률의 관계를 기초로, 특정 엔트로피가 되는 0과 1의 개수를 미리 정해두고, 실수형 자료 벡터가 들어오면, 문턱값으로 이진화를 했을 경우 벡터가 미리 정해진 개수를 0을 가지도록 문턱값을 선택하면 된다. 즉, 실수형 자료 벡터의 자료들을 자료값에 따라 정렬한 후 특정 순서(예를 들면, n₀번째) 자료의 값을 문턱값(T)으로 설정할 수 있다. n₀를 N/2로 선택하는 경우, 0의 개수가 자료의 반이기 때문에 정규화되었다고 볼 수 있다. 다중 문턱값을 사용할 경우 역시 각 이진화된 벡터의 n₀의 값을 N/2로 선택할 경우 손쉽게 정규화된 이진 자료를 얻을 수 있다.

도 4는 본 발명의 한 실시예에 따른 이진화 방법의 흐름도이고, 도 5는 본 발명의 한 실시예에 따른 이진화 방법을 설명하는 도면이며, 도 6은 본 발명의 한 실시예에 따른 다중 문턱값을 이용한 이진화 방법을 설명하는 도면이다.

도 4를 참고하면, 이진화 장치는 실수형 자료 벡터를 입력받는다(S110). 여기서, 자료 벡터는 복수의 자료의 실수값으로 구성되고, 자료가 N개인 경우, 자료 벡터는 N개의 실수값(F₁, F₂, F₃,..., F_N)을 가진다. 예를 들어, 실수형 자료 벡터는 도 5의 (a)와 같이, 자료 벡터에 포함된 자료들의 순서(1, 2, 3,..., N)(가로축)에 따라 해당 자료의 실수값(세로축)을 나타내는 그래프로 표시될 수 있다.

이진화 장치는 자료의 실수값을 기준으로 자료들을 순차적으로 정렬한다(S120). 예를 들어, 실수형 자료는 도 5의 (b)와 같이 내림차순으로 정렬될 수 있다.

이진화 장치는 정렬된 실수형 자료의 분포를 기초로 문턱값을 결정한다(S130). 도 5의 (c)를 참고하면, 자료의 실수값을 기준으로 정렬된 실수형 자료에서 문턱값이 결정된다. 문턱값보다 큰 실수값을 가지는 자료는 1로 이진화되고, 문턱값보다 작은 실수값을 가지는 자료는 0으로 이진화된다. 문턱값은 다양한 방법으로 선택될 수 있다. 문턱값은 이진화된 자료 벡터에서 0 또는 1의 개수가 정해진 경우, 정해진 개수의 0 또는 1을 가지도록 선택될 수 있다. 이진화 장치는 0과 1의 개수가 같아지도록 문턱값을 결정하여 자료를 정규화할 수 있다. 즉, 이진화 장치는 실수값을 기준으로 정렬된 그래프에서 N/2번째 자료의 자료값을 문턱값으로 결정할 수 있다.

이진화 장치는 문턱값을 기초로 각 자료의 실수값을 이진화한다(S140). 도 5의 (d)를 참고하면, 도 5의 (a)의 각 자료의 실수값이 문턱값을 기준으로 0 또는 1의 이진값으로 표현된다.

이진화 장치는 자료의 이진값을 포함하는 이진 벡터를 출력한다(S150). 이진 벡터는 영상의 이진 기술자이다.

이와 같이, 본 발명은 자료를 정규화하는 값을 문턱값으로 사용하기 때문에 이진 자료 벡터가 1과 0의 개수가 같아지는 정규화 특성을 가지게 된다. 실수형 기술자들은 손쉽게 정규화를 할 수 있었지만, 이진 기술자들은 값 자체가 0과 1로만 이루어졌기 때문에 정규화가 어려웠다. 하지만 본 발명은 실수형 자료를 이진 자료로 변경하는 것으로 이진 기술자에도 정규화를 적용할 수 있다.

다만, 1의 개수가 특정 개수(n₁)가 되도록 하는 문턱값을 이용하더라도 기술자 내부에서 같은 값을 갖는 자료가 한 개만 있는 것이 아니기 때문에, 1의 개수가 항상 그 값을 갖지는 않는다. 하지만 문턱값으로 결정한 1의 개수의 분산이 다른 특징량에 비해 훨씬 작다. 즉, 문턱값을 기초로 이진화된 이진 벡터는 거의 정규화되어 있다고 볼 수 있다. 그리고, 0과 1을 할당할 때 정렬된 순서에 기반해서 문턱값과 같은 값을 가진 값에 대해서 0과 1을 달리 주면 완전히 정규화된 값을 얻을 수 있다.

도 6을 참고하면, 이진화 장치는 다중 문턱값을 설정할 수 있다. 이 경우, 이진화 장치는 각 문턱값으로 이진화한 이진 벡터를 연결하여 이진 기술자를 생성한다. 이때, 이진 벡터별로 0 또는 1로 이진화되는 자료의 개수를 설정하고, 설정한 개수에 해당하는 이진화 결과를 얻기 위한 실수값을 이진 벡터별 문턱값으로 결정할 수 있다.

예를 들어, SIFT를 이용하여 128개의 실수값으로 이루어진 벡터를 연산하는 경우, 하나의 실수값이 4byte일 때 총 512byte를 연산해야 한다. 반면, 본 발명을 이용하여 128개의 실수값으로 이루어진 벡터를 연산하는 경우, 3개의 문턱값을 사용하더라도 3개의 128bit로 이루어진 이진 벡터가 생성되므로, 48byte만을 연산하면 된다.

이와 같이, 본 발명의 실시예에 따르면, 실수형 기술자의 이진화를 통해 정규화된 이진 벡터를 생성하여, 연산량을 줄이면서도 실수형 기술자의 정합 성능을 유지할 수 있다. 즉, 본 발명의 실시예에 따르면, 사용 메모리와 정합 시간을 줄일 수 있다. 또한, 본 발명에 따르면, 정규화된 자료를 이용하는 다양한 알고리즘에 이용될 수 있으므로, 기존 이진 기술자들보다 더 넓은 적용 응용 범위를 가질 수 있다.

도 7은 본 발명의 한 실시예에 따른 이진화 장치의 블록도이다.

도 7을 참고하면, 이진화 장치(100)는 프로세서(110), 메모리 장치(120), 저장 장치(130) 등을 포함하는 하드웨어로 구성되고, 하드웨어와 결합되어 실행되는 다양한 소프트웨어/프로그램이 지정된 장소에 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다.

본 발명의 이진화 방법은 프로그래밍 언어로 프로그램되어 하드웨어에 탑재되고, 프로세서는 프로그램을 구동하여 본 발명의 이진화 방법을 수행한다. 이진화 장치(100)는 본 발명의 이진화 방법을 구동시키는 소프트웨어/프로그램을 실행할 수 있는 성능의 컴퓨터, 서버, 단말 등의 장치일 수 있다.

프로세서(110)는 메모리 장치 등의 하드웨어와 연동하여 프로그램을 처리한다. 프로그램은 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들 중에서 임의 자료의 실수값을 문턱값으로 결정하는 단계, 상기 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계, 그리고 이진화한 각 자료의 값을 기초로 이진 벡터를 생성하는 단계를 수행하도록 구현된 소프트웨어일 수 있다.

프로그램은 실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들 중 복수의 임의 자료의 실수값 각각을 문턱값으로 결정하는 단계, 각 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계, 그리고 문턱값별로 이진화한 이진 벡터들을 연결하여 이진 기술자를 생성하는 단계를 수행하도록 구현된 소프트웨어일 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

1. 장치가 실수형 기술자를 이진화하는 방법으로서,
   실수형 자료 벡터를 입력받는 단계,
   상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계,
   정렬한 자료들의 분포를 기초로 임의 자료의 실수값을 문턱값으로 결정하는 단계,
   상기 문턱값과 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 비교하여 각 자료의 값을 이진화하는 단계, 그리고
   이진화한 각 자료의 값을 기초로 이진 벡터를 생성하는 단계
   를 포함하고,
   상기 문턱값으로 결정하는 단계는
   상기 실수형 자료 벡터에 포함된 자료들 중에서 0으로 이진화되는 자료의 개수 또는 1로 이진화되는 자료의 개수를 설정하고, 설정한 개수에 해당하는 이진화 결과를 얻기 위한 실수값을 상기 문턱값으로 결정하는 이진화 방법.
2. 삭제
3. 제1항에서,
   상기 문턱값으로 결정하는 단계는
   0으로 이진화되는 자료 수와 1로 이진화되는 자료 수가 같게 되는 실수값을 상기 문턱값으로 결정하는 이진화 방법.
4. 삭제
5. 장치가 실수형 기술자를 이진화하는 방법으로서,
   실수형 자료 벡터를 입력받는 단계,
   상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계,
   정렬한 자료들의 분포를 기초로 복수의 임의 자료의 실수값 각각을 문턱값으로 결정하는 단계,
   각 문턱값과 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 비교하여 각 자료의 값을 이진화하는 단계, 그리고
   문턱값별로 이진화한 이진 벡터들을 연결하여 이진 기술자를 생성하는 단계
   를 포함하며,
   상기 문턱값으로 결정하는 단계는
   이진 벡터별로 0으로 이진화되는 자료의 개수 또는 1로 이진화되는 자료의 개수를 설정하고, 설정한 개수에 해당하는 이진화 결과를 얻기 위한 실수값을 이진 벡터별 문턱값으로 결정하는 이진화 방법.
6. 삭제
7. 삭제
8. 제5항에서,
   상기 문턱값으로 결정하는 단계는
   0으로 이진화되는 자료 수와 1로 이진화되는 자료 수가 같게 되는 실수값을 제1 문턱값으로 결정하는 이진화 방법.
9. 실수형 기술자를 이진화하여 이진 기술자를 생성하는 이진화 장치로서,
   메모리 장치, 그리고 상기 메모리 장치와 연동하여 프로그램을 처리하는 프로세서를 포함하고,
   상기 프로그램은
   실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 설정된 0 또는 1의 개수로 상기 실수형 자료 벡터가 이진화되도록 정렬한 자료들의 분포에서 특정 자료의 실수값을 문턱값으로 결정하는 단계, 상기 문턱값과 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 비교하여 각 자료의 값을 이진화하는 단계, 그리고 이진화한 각 자료의 값을 기초로 이진 벡터를 생성하는 단계를 수행하도록 구현된 소프트웨어인, 이진화 장치.
10. 제9항에서,
    상기 프로그램은
    실수형 자료 벡터를 입력받는 단계, 상기 실수형 자료 벡터에 포함된 자료들을 실수값을 기준으로 순차적으로 정렬하는 단계, 정렬한 자료들의 분포를 기초로 복수의 임의 자료의 실수값 각각을 문턱값으로 결정하는 단계, 각 문턱값을 기초로 상기 실수형 자료 벡터에 포함된 각 자료의 실수값을 이진화하는 단계, 그리고 문턱값별로 이진화한 이진 벡터들을 연결하여 이진 기술자를 생성하는 단계를 수행하도록 구현된 소프트웨어인, 이진화 장치.

Images