KR20150054258A - 인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치 - Google Patents

Abstract

인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치가 개시된다. 일실시예에 따른 인식기 학습 방법은 클러스터링을 통해 학습 데이터를 복수 개의 클러스터들로 생성할 수 있고, 생성된 클러스터들에 각각에 대한 인식기를 학습시킬 수 있다. 인식기 학습 방법은 전역적 형태 파라미터에 기초하여 학습 데이터를 클러스터링할 수 있고, 국부적 형태 특징에 기초하여 클러스터에 포함된 학습 데이터를 분류할 수 있다.

Description

인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치{METHOD AND APPARATUS FOR TRAINING RECOGNIZER, METHOD AND APPARATUS FOR RECOGNIZING DATA}

아래의 설명은 데이터를 인식 또는 분류하는 인식기를 학습시키는 기술 및 학습된 인식기를 이용하여 데이터를 인식 또는 분류하는 기술에 관한 것이다.

최근 다양한 영상 처리 분야에서 기계 학습의 중요성이 증대되고 있다. 입력 영상으로부터 특정 목표 대상을 검출하는 기술은, 컴퓨터 비전 응용 시스템에 적용된다. 일반적으로, 입력 영상으로부터 목표 대상을 검출하는 기술은, 다양한 크기와 위치의 부윈도우를 설정하고, 그 부윈도우로부터 추출된 특징을 특징 벡터로 표현한다. 그 특징 벡터를 학습 분류기에 적용하여 해당 부윈도우의 영역이 목표 대상인지 아닌지를 검출하는 방법이 이용된다.

간단한 구조의 분류기는 유클리디언 거리(Euclidian distance)와 같은 벡터 간 거리, 또는 정규화된 상관성(normalized correlation)과 같은 유사도를 구하고, 그 벡터 간 거리나 유사도를 문턱치와 비교하여 목표 대상과 아닌 것을 구분한다. 좀더 정교한 분류기로서 신경망이나 베이지안 분류기(Bayesian classifier), SVM(Support Vector Machine) 학습 분류기, 에이다부스트(Adaboost) 학습 분류기 등이 이용된다.

에이다부스트 학습 분류기는 계산이 빠른 약한 분류기(weak classifier)를 가중합(weighted sum)으로 조합하여 분류 능력이 좋은 강한 분류기(strong classifier)를 만드는 방법으로, 이 강한 분류기를 순차적으로 배치하여 빠른 속도로 목표 대상을 검출하는 알고리즘이다.

최근에는 다양한 상황에서도 패턴 인식이 가능하고, 수많은 학습 데이터를 빠르게 학습할 수 있는 기계 학습 방법이 요구되고 있다.

일실시예에 따른 인식기 학습 방법은, 학습할 학습 데이터를 선택하는 단계; 전역적 형태 파라미터에 기초하여 상기 선택된 학습 데이터를 클러스터링하고, 복수 개의 클러스터들을 생성하는 단계; 및 국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류하는 단계를 포함할 수 있다.

일실시예에 따른 인식기 학습 방법에서, 상기 전역적 형태 파라미터는 상기 선택된 학습 데이터의 전역적인 특징을 결정하는데 이용되고, 상기 국부적 형태 특징은 상기 클러스터에 포함된 학습 데이터의 국부적인 특징을 결정하는데 이용될 수 있다.

일실시예에 따른 데이터 인식 방법은, 인식할 입력 데이터를 판독하는 단계; 학습된 전역적 형태 파라미터 정보에 기초하여 상기 입력 데이터가 속하는 클러스터를 결정하는 단계; 및 상기 결정된 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 클래스를 결정하는 단계를 포함할 수 있다.

일실시예에 따른 인식기 학습 장치는, 학습할 학습 데이터를 선택하는 학습 데이터 선택부; 전역적 형태 파라미터에 기초하여 상기 선택된 학습 데이터를 클러스터링하고, 복수 개의 클러스터들을 생성하는 클러스터링부; 및 국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류하는 학습 데이터 분류부를 포함할 수 있다.

일실시예에 따른 데이터 인식 장치는, 입력 데이터를 판독하는 입력 데이터 판독부; 학습된 전역적 형태 파라미터 정보에 기초하여 상기 입력 데이터가 속하는 클러스터를 결정하는 클러스터 결정부; 및 상기 결정된 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 클래스를 결정하는 클래스 결정부를 포함할 수 있다.

도 1은 일실시예에 따른 인식기 학습 장치의 세부 구성을 도시한 도면이다.
도 2는 일실시예에 따른 데이터 인식 장치의 세부 구성을 도시한 도면이다.
도 3 내지 도 4는 일실시예에 따른 인식기 학습을 위한 분산 학습 구조를 도시한 도면이다.
도 5는 일실시예에 따른 인식기 학습 방법을 설명하기 위한 흐름도이다.
도 6은 일실시예에 따른 학습 데이터를 클러스터링하는 과정을 설명하기 위한 흐름도이다.
도 7은 일실시예에 따른 클러스터에 포함된 학습 데이터를 분류하는 과정을 설명하기 위한 흐름도이다.
도 8 내지 도 9는 일실시예에 따른 전역적 형태 파라미터의 일례를 도시한 도면이다.
도 10은 일실시예에 따른 전역적 형태 파라미터의 메모리 구조를 도시한 도면이다.
도 11은 일실시예에 따른 국부적 형태 특징의 일례를 도시한 도면이다.
도 12는 일실시예에 따른 데이터 인식 방법을 설명하기 위한 흐름도이다.
도 13은 일실시예에 따른 Global Branch들에 대한 입력 데이터를 인식하는 과정을 설명하기 위한 흐름도이다.
도 14는 일실시예에 따른 Local Sprig들에 대한 입력 데이터를 인식하는 과정을 설명하기 위한 흐름도이다.
도 15는 일실시예에 따른 학습 데이터의 일례를 도시한 도면이다.
도 16는 일실시예에 따른 Local Sprig들의 리프 노드에서 추출된 정보를 이용하는 일례를 도시한 도면이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 인식기 학습 방법은 인식기 학습 장치에 의해 수행될 수 있으며, 데이터 인식 방법은 데이터 인식 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 인식기 학습 장치 (100)의 세부 구성을 도시한 도면이다.

도 1을 참조하면, 인식기 학습 장치 (100)는 학습 데이터 선택부 (110), 클러스터링부 (120), 및 학습 데이터 분류부 (130)를 포함할 수 있다.

인식기 학습 장치 (100)는 학습 데이터(training data)를 이용하여 인식기를 학습(training)시킬 수 있다. 예를 들어, 학습 데이터는 영상 데이터, 음성 데이터, 텍스트 데이터, 바이오 데이터 등을 포함할 수 있다. 학습 데이터의 종류는 특정 데이터의 종류에 한정되지는 않는다.

인식기 학습 장치 (100)는 다수의 특징 추출 방법들 중 최적의 특징 추출 방법을 결정할 수 있다. 인식기 학습 장치 (100)는 결정된 특징 추출 방법을 이용하여 다양한 상황에 적합한 최적의 특징을 추출할 수 있다.

인식기 학습 장치 (100)는 인식기를 계층적으로 구성함으로써 처리 단계 및 처리 시간이 줄어든 인식기를 생성할 수 있다. 인식기 학습 장치 (100)는 계층적인 분류 구조를 생성할 수 있다. 인식기 학습 장치 (100)는 다양한 특징들을 이용하여 학습 데이터를 복수 개의 분리된 묶음 또는 클러스터(cluster)들로 분리하고, 개별 인식기를 학습함으로써 인식기의 인식률을 개선시킬 수 있다.

인식기 학습 장치 (100)는 Global Branch들과 Local Sprig들로 구성된 분류 구조를 생성할 수 있다.

인식기 학습 장치 (100)는 분류 구조의 상단인 Global Branch들에서는 학습 데이터에 대해 클러스터링(clustering)을 수행하고, 분류 구조의 하단인 Local Sprig들에서는 인식(Classification) 또는 회귀(Regression)를 수행할 수 있다. 인식기는 분류 구조를 이용하여 입력 데이터의 클래스(class) 또는 종류를 인식할 수 있다. 클러스터링을 통해 전체 분류 구조의 깊이(depth)가 줄어들고 탐색 속도가 빨라질 수 있다. 분류 구조의 Local Sprig들에서는 특정 클러스터를 대상으로 심층 학습(Exhaustive Training)이 수행될 수 있다.

예를 들어, Global Branch는 Local Sprig보다 가지(branch)의 수 및 깊이가 작을 수 있다. Global Branch에서는 무감독 학습(Unsupervised Learning)이 수행되며, Local Sprig에서는 감독 학습(Supervised Learning)이 수행될 수 있다. Global Branch에서는 이종의 전역적 형태 파라미터들 중 최적의 전역적 형태 파라미터가 결정되고, Local Sprig에서는 이종의 국부적 형태 특징들 중 국부적 형태 특징이 결정될 수 있다. Local Sprig에서는 Global Branch에서보다 데이터들 간의 결정 바운드(decision bound)가 세밀(fine)할 수 있다.

인식기 학습 장치 (100)는 분류 구조의 상단을 적은 수의 Global Branch들로 구성하고, 분류 구조의 하단에서는 다수의 Local Sprig들을 앙상블(Ensemble)함으로써 인식기의 인식률 및 회귀 정확도를 개선시킬 수 있다. 하나의 Global Branch는 복수 개의 Local Sprig들로 연결될 수 있다.

학습 데이터 선택부 (110)는 인식기의 학습을 위한 학습 데이터를 선택할 수 있다. 예를 들어, 학습 데이터 선택부 (110)는 학습 데이터를 균등한 확률로 랜덤하게 선택할 수 있다.

클러스터링부 (120)는 Global Branch들을 학습할 수 있다. 예를 들어, 클러스터링부 (120)는 Ground-truth Labeling이 필요하지 않는 무감독 학습을 수행할 수 있다. Global Branch는 한 개 또는 복수 개의 트리(tree) 형태로 구성될 수 있다.

클러스터링부 (120)는 전역적 형태 파라미터에 기초하여 선택된 학습 데이터를 클러스터링할 수 있다. 전역적 형태 파라미터는 선택된 학습 데이터의 전역적인 특징을 결정하는데 이용될 수 있다. 클러스터링부 (120)는 클러스터링을 통해 학습 데이터의 집합인 클러스터들을 생성할 수 있다.

클러스터링부 (120)는 이종의 전역적 형태 파라미터들(Heterogeneous Global Shape Parameters) 중에서 테스트할 전역적 형태 파라미터를 선택할 수 있다. 그 후, 클러스터링부 (120)는 선택한 전역적 형태 파라미터를 이용하여 학습 데이터에 대한 파라미터 값을 결정할 수 있다. 클러스터링부 (120)는 복수 개의 전역적 형태 파라미터들에 대해 파라미터 값을 결정할 수 있다.

클러스터링부 (120)는 결정된 복수 개의 파라미터 값들을 정규화(Parameter Value Normalization)할 수 있다. 클러스터링부 (120)는 파라미터 값들의 스케일을 균등하게 조정하기 위해 파라미터 값들의 크기를 정규화할 수 있다. 그 후, 클러스터링부 (120)는 개별 학습 데이터마다 파라미터 벡터(Parameter Vector)를 구성할 수 있다. 클러스터링부 (120)는 임계값(threshold value)을 랜덤하게 생성하고, 생성된 임계값에 기초하여 파라미터 벡터들을 복수 개의 데이터 세트(data set)들로 분할할 수 있다. 임계값은 임의(arbitrary)의 개수로 생성될 수 있다.

클러스터링부 (120)는 복수 개의 데이터 세트들에 대해 평균 및 표준 편차를 결정하고, 결정된 평균 및 표준 편차 정보를 이용하여 데이터 세트들 간의 분리도를 결정할 수 있다. 데이터 세트들 간의 분리도는 데이터 세트들 간에 서로 분리된 정도를 나타낸다.

클러스터링부 (120)는 결정된 분리도가 미리 설정된 조건을 만족하는지 여부를 판단하고, 판단 결과에 따라 분할 정보를 저장할 수 있다. 예를 들어, 다른 전역적 형태 파라미터에 기초하여 결정된 복수의 분리도들 중 현재 결정된 분리도가 가장 큰 경우, 클러스터링부 (120)는 분리도가 미리 설정된 조건을 만족하는 것으로 결정할 수 있다. 분할 정보는 복수 개의 클러스터들을 생성하는데 이용된 전역적 형태 파라미터에 관한 정보 및 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 임계값들에 관한 정보를 포함할 수 있다.

클러스터링부 (120)는 Global branch의 하위 노드들에 대한 학습을 진행할 수 있고, Global branch들에 대한 학습이 종료되는 경우에, 학습 데이터 분류부 (130)는 Local Sprig에 대한 학습을 시작할 수 있다.

학습 데이터 분류부 (130)는 Local Sprig들을 학습할 수 있다. 예를 들어, 학습 데이터 분류부 (130)는 Ground-truth Labeling이 필요한 감독 학습(Supervised Learning)을 수행할 수 있다. 예를 들어, Local Sprig은 복수 개의 트리 형태로 구성될 수 있다.

학습 데이터 분류부 (130)는 국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류할 수 있다. 국부적 형태 특징은 Global Branch들에 의해 분할된 특정 데이터 세트, 또는 클러스터에 포함된 학습 데이터의 국부적인 특징을 결정하는데 이용될 수 있다.

학습 데이터 분류부 (130)는 클러스터에 포함된 학습 데이터를 랜덤하게 선택할 수 있다. 학습 데이터 분류부 (130)는 이종의 국부적 형태 특징(Heterogeneous Local Shape Feature)들 중에서 테스트할 국부적 형태 특징을 선택하고, 특징 값을 결정할 수 있다. 학습 데이터 분류부 (130)는 복수 개의 국부적 형태 특징들에 대해 특징 값을 결정할 수 있다.

학습 데이터 분류부 (130)는 결정된 복수 개의 특징 값들을 정규화(Feature Value Normalization)할 수 있다. 학습 데이터 분류부 (130)는 특징 값들의 스케일을 균등하게 조정하기 위해 특징 값들의 크기를 정규화할 수 있다. 그 후, 학습 데이터 분류부 (130)는 개별 학습 데이터마다 특징 벡터(Feature Vector)를 구성할 수 있다.

학습 데이터 분류부 (130)는 임계값을 랜덤하게 생성하고, 생성된 임계값에 기초하여 특징 벡터들을 복수 개의 데이터 세트들로 분할할 수 있다. 임계값은 임의의 개수로 생성될 수 있다.

학습 데이터 분류부 (130)는 분할된 복수 개의 데이터 세트들에 대한 정보 엔트로피(Information Entropy)를 결정할 수 있다. 학습 데이터 분류부 (130)는 분할된 복수 개 데이터 세트들의 분포에서 엔트로피를 결정할 수 있다.

학습 데이터 분류부 (130)는 결정된 엔트로피가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 다른 국부적 형태 특징에 기초하여 결정된 복수의 엔트로피들 중 현재 결정된 엔트로피가 가장 작은 경우, 학습 데이터 분류부 (130)는 엔트로피가 미리 설정된 조건을 만족하는 것으로 결정할 수 있다.

학습 데이터 분류부 (130)는 엔트로피가 미리 설정된 조건을 만족하는 경우, 분할 정보를 저장할 수 있다. 분할 정보는 각각의 클러스터들에 포함된 학습 데이터들을 분류하는데 이용된 국부적 형태 특징에 관한 정보 및 특징 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 임계값들에 관한 정보를 포함할 수 있다.

학습 데이터 분류부 (130)는 Local Sprig의 하위 노드들에 대한 학습을 진행할 수 있다. Local Sprig의 리프 노드에 도달하는 경우, 학습 데이터 분류부 (130)는 현재까지 분할된 잔여 데이터의 정보를 Local Sprig의 리프 노드에 저장할 수 있다. 예를 들어, 리프 노드에 저장되는 정보는 인식하려는 대상 클래스의 확률 정보, 추정하려는 값의 회귀 정보, 또는 Local Sprig들 내의 데이터에 대응되는 다이렉트 링크(direct link)에 대한 인덱스 정보 등을 포함할 수 있다. 리프 노드에 저장되는 정보는 다양한 형태로 변환되어 리프 노드에 저장될 수 있다.

위와 같은 과정을 통해 깊이가 얕고, 처리 속도가 빠르며 인식률이 개선된 분류 구조가 생성될 수 있다.

도 2는 일실시예에 따른 데이터 인식 장치 (200)의 세부 구성을 도시한 도면이다.

도 2를 참조하면, 데이터 인식 장치 (200)는 입력 데이터 판독부 (210), 클러스터 결정부 (220), 및 클래스 결정부 (230)를 포함할 수 있다.

데이터 인식 장치 (200)는 학습된 정보에 기초하여 입력 데이터를 인식할 수 있다. 데이터 인식 장치 (200)는 Global Branch들과 Local Sprig들로 구성된 분류 구조를 이용하여 입력 데이터의 클래스를 결정할 수 있다. 데이터 인식 장치 (200)는 Global Branch에서 입력 데이터가 속하는 클러스터를 결정할 수 있다. Local Sprig에서 데이터 인식 장치 (200)는 각각의 클러스터들에 대응하는 개별 인식기들을 이용하여 입력 데이터의 클래스를 결정할 수 있다.

입력 데이터 판독부 (210)는 인식할 입력 데이터를 판독할 수 있다.

클러스터 결정부 (220)는 학습된 전역적 형태 파라미터 정보에 기초하여 입력 데이터가 속하는 클러스터를 결정할 수 있다. 클러스터 결정부 (220)는 Global Branch들의 최상위 노드에 저장되어 있는 전역적 형태 파라미터 정보를 판독할 수 있다. 분류 구조의 Global Branch에서, 클러스터 결정부 (220)는 학습된 전역적 형태 정보에 기초하여 입력 데이터가 어떤 클러스터에 속하는지를 결정할 수 있다. 예를 들어, Global Branch는 한 개 또는 복수 개의 트리 형태로 구성될 수 있다.

클러스터 결정부 (220)는 학습된 전역적 형태 파라미터 정보에 기초하여 입력 데이터에 대한 파라미터 값을 결정할 수 있다. 클러스터 결정부 (220)는 저장된 임계값 정보를 이용하여 결정된 파라미터 값에 대응되는 클러스터를 결정할 수 있다.

예를 들어, 클러스터 결정부 (220)는 저장되어 있는 임계값들이 나타내는 범위에서 파라미터 값이 속하는 범위를 탐색하고, Global Branch의 하위 노드를 방문할 수 있다. 방문한 하위 노드가 Global Branch의 리프 노드인 경우, 클러스터 결정부 (220)는 Global Branch에서의 인식 과정을 종료할 수 있다. 그 후, 클래스 결정부 (230)는 Local Sprig에 대한 인식 과정을 시작할 수 있다.

클래스 결정부 (230)는 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 입력 데이터의 클래스를 결정할 수 있다. 클래스 결정부 (230)는 개별 Local Sprig들의 최상위 노드에 저장되어 있는 국부적 형태 특징 정보를 판독할 수 있다. 분류 구조의 Local Sprig들에서, 클래스 결정부 (230)는 학습된 지역 형태 정보를 이용하여 입력 데이터가 어떤 클래스인지를 인식하거나, 또는 결과값을 회귀할 수 있다.

클래스 결정부 (230)는 클러스터에 포함된 데이터를 분류하기 위한 적어도 하나의 인식기를 로드(load)할 수 있다. 클래스 결정부 (230)는 인식기 및 국부적 형태 특징 정보에 기초하여 입력 데이터의 클래스를 추정할 수 있다. 클래스 결정부 (230)는 국부적 형태 특징 정보에 기초하여 입력 데이터의 특징 값을 결정하고, 결정된 특징 값과 인식기에 저장되어 있는 임계값에 기초하여 입력 데이터의 클래스를 추정할 수 있다.

예를 들어, 클래스 결정부 (230)는 저장되어 있는 임계값들이 나타내는 범위에서 특징 값이 속하는 범위를 탐색하고, 방문할 Local Sprig의 하위 노드를 결정할 수 있다. 방문한 하위 노드가 Local Sprig의 리프 노드인 경우, 클래스 결정부 (230)는 Local Sprig의 리프 노드로부터 학습된 정보를 추출할 수 있다. 리프 노드에 저장된 정보는 인식하려는 대상 클래스의 확률 정보, 추정하려는 값의 회귀 정보, 또는 Local Sprig들 내의 데이터에 대응되는 다이렉트 링크에 대한 인덱스 정보 등을 포함할 수 있다.

클래스 결정부 (230)는 복수 개의 개별 Local Sprig들에 대해서도 위와 동일한 과정을 반복 수행한 후, 복수 개의 리프 노드들로부터 추출된 정보를 앙상블할 수 있다. 클래스 결정부 (230)는 리프 노드들로부터 추출된 정보를 이용하여 입력 데이터의 클래스 또는 종류를 인식할 수 있다.

도 3은 일실시예에 따른 인식기 학습을 위한 분산 학습 구조를 도시한 도면이다.

일실시예에 따르면, 인식기 학습 장치는 도 3의 분산 학습 구조(300)에 도시된 과정에 따라 인식기를 학습시킬 수 있다. 다량의 학습 데이터(Massive Training Data, 310)가 입력되는 경우, 인식기 학습 장치는 이종의 전역적 형태 파라미터(Heterogeneous Global Shape Parameter)들을 이용하여 Global Branch들에 대한 무감독 학습을 수행(320)할 수 있다. Global Branch들에 대한 무감독 학습의 결과로서, 학습 데이터의 그룹을 나타내는 복수 개의 클러스터들이 생성될 수 있다. 인식기 학습 장치는 Global Branch들에 대한 무감독 학습을 독립형 시스템(Standalone System)에서 수행할 수 있다.

인식기 학습 장치는 생성된 각각의 클러스터들에 대해서 개별적인 Local Sprig들을 학습할 수 있다. 인식기 학습 장치는 이종의 국부적 형태 특징(Heterogeneous Local Shape Feature)들을 이용하여 Local Sprig들에 대한 감독 학습을 수행(330)할 수 있다. 인식기 학습 장치는 Local Sprig들에 대한 감독 학습을 병렬 및 분산형 시스템(Parallel & Distributed System)에서 수행할 수 있다. 학습 결과로서, 관목(bush) 형태의 분류 구조가 생성될 수 있다.

도 4는 관목 형태의 분류 구조를 가지는 분산 학습 구조(400)를 도시하고 있다.

인식기 학습 장치의 학습 결과로서 생성된 분산 학습 구조(400)는 상단인 Global Branch들과 하단인 Local Sprig들로 구성될 수 있다. Global Branch들은 일반적으로 단일 트리(tree)로 구성되거나 또는 복수 개의 트리로 구성될 수 있다. 트리의 부모 노드(parent node)에서 자식 노드(child node)로 분기하는 가지의 수는 임의의 수로 결정될 수 있다.

Global Branch들에서는 전역적 형태 파라미터를 이용하여 학습 대상의 전역 형태(global shape)에 대한 파라미터를 추출하고, 추출된 파라미터를 학습할 수 있다. 국부 변화(local variations)에 민감하지 않고(coarse), 빠르게 계산할 수 있는 파라미터 추출 방법을 이용하여 학습 대상의 전역 형태에 대한 파라미터가 추출될 수 있다. 예를 들어, 전역적 형태 파라미터에는 3D Center of gravity, 3D Elogation, Convexity, Skewness 등이 포함될 수 있다. 전역적 형태 파라미터에 관한 보다 자세한 내용은 도 8 내지 도 9에서 후술하도록 한다.

Local Sprig들에서는 국부적 형태 특징을 이용하여 학습 대상의 국부 형태(local shape)에 대한 특징을 추출하고, 추출된 특징을 학습할 수 있다. 국부 변화를 보다 잘 구분할 수 있는 정교한(fine) 특징 추출 방법을 이용하여 학습 대상의 국부 형태에 대한 특징이 추출될 수 있다. 예를 들어, 국부적 형태 특징에는 MCT(Modified Census Transform), (LGP(Local Gradient Pattern), LBP(Local Binary Pattern) 등이 포함될 수 있다. 전역적 형태 파라미터에 관한 보다 자세한 내용은 도 11에서 후술하도록 한다.

위와 같은 과정을 통해 생성된 분산 학습 구조(400)는 입력 데이터의 타입(type) 또는 종류를 인식하는데 이용되거나, 또는 값을 회귀하여 입력 데이터의 타입을 추정하는데 이용될 수 있다.

도 5는 일실시예에 따른 인식기 학습 방법을 설명하기 위한 흐름도이다.

단계(510)에서, 인식기 학습 장치는 인식기의 학습을 위한 학습 데이터를 선택할 수 있다. 예를 들어, 인식기 학습 장치는 학습 데이터를 균등한 확률로 랜덤하게 선택할 수 있다.

단계(520)에서, 인식기 학습 장치는 전역적 형태 파라미터에 기초하여 선택된 학습 데이터를 클러스터링할 수 있다. 인식기 학습 장치는 클러스터링을 통해 학습 데이터의 집합인 클러스터들을 생성할 수 있다. 인식기 학습 장치는 복수의 전역적 형태 파라미터들 중에서 테스트할 전역적 형태 파라미터를 선택할 수 있다. 인식기 학습 장치는 선택한 전역적 형태 파라미터를 이용하여 학습 데이터에 대한 파라미터 값을 결정할 수 있다. 인식기 학습 장치는 복수 개의 전역적 형태 파라미터들에 대해 파라미터 값을 결정할 수 있다.

인식기 학습 장치는 결정된 파라미터 값을 이용하여 학습 데이터에 대한 파라미터 벡터를 결정할 수 있다. 인식기 학습 장치는 파라미터 벡터를 복수 개의 데이터 세트들로 분할하고, 분할된 데이터 세트들 간의 분리도가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 인식기 학습 장치는 분리도가 미리 설정된 조건을 만족시키는 경우, 클러스터들을 생성하는 과정에서 이용된 분할 정보를 저장할 수 있다.

단계(530)에서, 인식기 학습 장치는 국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류할 수 있다. 인식기 학습 장치는 클러스터에 포함된 학습 데이터를 랜덤하게 선택할 수 있다. 인식기 학습 장치는 복수의 국부적 형태 특징 들 중에서 테스트할 국부적 형태 특징을 선택하고, 특징 값을 결정할 수 있다. 인식기 학습 장치는 복수 개의 국부적 형태 특징들에 대해 특징 값을 결정할 수 있다.

인식기 학습 장치는 특징 값들의 스케일을 균등하게 조정하기 위해 특징 값들의 크기를 정규화할 수 있다. 그 후, 인식기 학습 장치는 개별 학습 데이터마다 특징 벡터를 구성할 수 있다. 인식기 학습 장치는 임계값에 기초하여 특징 벡터들을 복수 개의 데이터 세트들로 분할할 수 있다.

인식기 학습 장치는 분할된 복수 개의 데이터 세트들에 대한 엔트로피를 결정할 수 있다. 인식기 학습 장치는 분할된 복수 개 데이터 세트들의 분포에서 엔트로피를 결정할 수 있다.

인식기 학습 장치는 엔트로피가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 인식기 학습 장치는 엔트로피가 미리 설정된 조건을 만족하는 경우, 분할 정보를 저장할 수 있다. 인식기 학습 장치는 Local Sprig의 하위 노드들에 대한 학습을 진행할 수 있다. Local Sprig의 리프 노드에 도달하는 경우, 인식기 학습 장치는 현재까지 분할된 잔여 데이터의 정보를 Local Sprig의 리프 노드에 저장할 수 있다.

단계(540)에서, 인식기 학습 장치는 각각의 단계에서 획득된 분할 정보 및 잔여 데이터의 정보 등을 이용하여 인식기를 생성할 수 있다.

도 6은 일실시예에 따른 학습 데이터를 클러스터링하는 과정을 설명하기 위한 흐름도로서, Global Branch들에 대한 학습 과정을 나타내고 있다.

단계(605)에서, 인식기 학습 장치는 학습할 학습 데이터를 선택할 수 있다. 예를 들어, 인식기 학습 장치는 학습 데이터를 균등한 확률로 랜덤하게 선택할 수 있다.

단계(610)에서, 인식기 학습 장치는 이종의 전역적 형태 파라미터들중에서 테스트할 전역적 형태 파라미터를 선택할 수 있다. 그 후, 인식기 학습 장치는 선택한 전역적 형태 파라미터를 이용하여 학습 데이터에 대한 파라미터 값을 계산할 수 있다. 예를 들어, 인식기 학습 장치는 무게 중심(Center of gravity), Elongation, Rectangularity, Convexity 등의 전역적 형태 파라미터들 중 특정 전역적 형태 파라미터를 선택하고, 선택된 전역적 형태 파라미터에 대한 학습 데이터의 파라미터 값을 계산할 수 있다.

단계(615)에서, 인식기 학습 장치는 단계(610)의 과정을 복수 번 수행하여 복수 개의 전역적 형태 파라미터들에 대해 파라미터 값을 계산할 수 있다. 예를 들어, 인식기 학습 장치는 (1) 이종의 전역적 형태 파라미터들 전체에 대해 파라미터 값을 계산하거나, (2) 임의로 선택된 전역적 형태 파라미터들에 대해서만 파라미터 값을 계산하거나, 또는 (3) 사용자에 의해 선택된 전역적 형태 파라미터들에 대해서만 파라미터 값을 계산할 수 있다.

단계(620)에서, 인식기 학습 장치는 단계(615)로부터 계산된 복수 개의 파라미터 값들을 정규화할 수 있다. 서로 다른 전역적 형태 파라미터들에 기초하여 계산된 파라미터 값들의 최대 범위 및 최소 범위는 다를 수 있다. 인식기 학습 장치는 파라미터 값들의 스케일을 균등하게 조정하기 위해 파라미터 값들의 크기를 정규화할 수 있다. 그 후, 인식기 학습 장치는 개별 학습 데이터마다 파라미터 벡터를 구성할 수 있다.

단계(625)에서, 인식기 학습 장치는 K-1 개의 임계값을 랜덤하게 생성할 수 있다. 여기서, K는 임의로 결정된 2 이상의 정수를 나타낸다. 단계(630)에서, 인식기 학습 장치는 K-1 개의 임계값에 기초하여 파라미터 벡터들을 K 개의 데이터 세트들로 분할할 수 있다.

단계(635)에서, 인식기 학습 장치는 K 개의 데이터 세트들 각각에 대해 평균(mean) 및 표준 편차(standard deviation)을 계산할 수 있다.

단계(640)에서, 인식기 학습 장치는 단계(635)로부터 획득된 평균 및 표준 편차 정보를 이용하여 K 개의 데이터 세트들 간의 분리도(또는, 클러스터링 세기(clustering strength))를 계산할 수 있다. 단계(645)에서, 인식기 학습 장치는 분리도가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 인식기 학습 장치는 현재 계산된 분리도가 최대치이거나, 또는 분리도가 미리 설정된 기준 분리도보다 더 큰 경우, 분리도가 미리 설정된 조건을 만족하는 것으로 결정할 수 있다.

일실시예에 따르면, 인식기 학습 장치는 두 클러스터들 간의 분리도를 계산하기 위한 목적 함수(objective function)로서, 다음의 수학식 1과 같은 Gaussian Likelihood (D)를 이용할 수 있다.

수학식 1에서, k 개의 클러스터들의 평균

가 Max Marginalize되고, 표준 편차

가 최소로 될수록 Gaussian Likelihood (D)가 커질 수 있고, Gaussian Likelihood (D)가 커질수록 두 클러스터들 간의 분리도는 증가할 수 있다. 클러스터들 간의 이격 정도가 클수록 또는 각각의 클러스터들 내에서 엘리먼트(element)의 밀집 정도가 높을수록 Gaussian Likelihood (D)가 커질 수 있다.

다른 실시예에 따르면, 인식기 학습 장치는 두 클러스터들 간의 분리도를 계산하기 위해 다음의 수학식 2와 같은 Imbalance 특성 (D)를 이용할 수 있다. Imbalance 특성 (D)에 기초하여 각각의 클러스터들에 포함된 데이터의 개수가 클러스터들 간에 균등하게 분포되었는지 여부가 결정될 수 있다.

수학식 2에서, k 개의 클러스터들 간에 각각의 클러스터에 포함된 데이터 수

의 차이가 줄어들수록 Imbalance 특성 (D)가 줄어들고, Imbalance 특성 (D)가 줄어들수록 두 클러스터들 간의 분리도가 증가하는 것으로 대응시킬 수 있다.

또 다른 실시예에 따르면, 인식기 학습 장치는 수학식 1 및 수학식 2 모두를 함께 이용하여 분리도를 계산할 수 있다.

단계(650)에서, 인식기 학습 장치는 분리도가 미리 설정된 조건을 만족하는 경우, 분할 정보를 저장할 수 있다. 분할 정보는 복수 개의 클러스터들을 생성하는데 이용된 전역적 형태 파라미터에 관한 정보 및 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 K-1 개의 임계값들에 관한 정보를 포함할 수 있다.

단계(655)에서, 인식기 학습 장치는 Global branch들에 대한 학습을 종료할지 여부를 결정할 수 있다. 예를 들어, 인식기 학습 장치는 (1) 클러스터에 포함된 학습 데이터량이 미리 설정된 조건을 만족하는 경우, (2) 단계(640)에서 계산한 분리도가 미리 설정된 조건을 만족하는 경우, 또는 (3) Global branch의 레벨이 미리 설정된 기준을 초과하는 경우에 Global branch에 대한 학습을 종료할 수 있다. Global branch들에 대한 학습이 종료되는 경우, 인식기 학습 장치는 Local Sprig에 대한 학습을 시작할 수 있다.

단계(660)에서, 인식기 학습 장치는 Global branch에 대한 학습을 종료하지 않는 것으로 결정한 경우, Global branch의 하위 노드들에 대한 학습을 진행할 수 있다. 인식기 학습 장치는 Global branch의 하위 노드들에 대해서도 단계(605) 내지 단계(660)의 일련의 과정을 동일하게 수행할 수 있다.

도 7은 일실시예에 따른 클러스터에 포함된 학습 데이터를 분류하는 과정을 설명하기 위한 흐름도로서, Global Branch에 대한 학습이 완료된 이후에 수행되는 Local Sprig들에 대한 학습 과정을 나타내고 있다.

단계(705)에서, 인식기 학습 장치는 학습할 학습 데이터를 랜덤하게 선택할 수 있다. 예를 들어, 인식기 학습 장치는 클러스터에 포함된 학습 데이터를 균등한 확률로 랜덤하게 선택할 수 있다. 여기서, 학습 데이터는 Global Branch들에 의해 분할된 특정 데이터 세트를 나타낸다.

단계(710)에서, 인식기 학습 장치는 이종의 국부적 형태 특징들 중에서 테스트할 국부적 형태 특징을 선택하고, 특징 값을 계산할 수 있다.

단계(715)에서, 인식기 학습 장치는 단계(710)의 과정을 복수 번 수행하여 복수 개의 국부적 형태 특징들에 대해 특징 값을 계산할 수 있다. 예를 들어, 인식기 학습 장치는 (1) 이종의 국부적 형태 특징들 전체에 대해 특징 값을 계산하거나, (2) 임의로 선택된 국부적 형태 특징들에 대해서만 특징 값을 계산하거나, 또는 (3) 사용자에 의해 선택된 국부적 형태 특징들에 대해서만 특징 값을 계산할 수 있다.

단계(720)에서, 인식기 학습 장치는 단계(715)로부터 계산된 복수 개의 특징 값들을 정규화할 수 있다. 서로 다른 국부적 형태 특징들에 기초하여 계산된 특징 값들의 최대 범위 및 최소 범위는 다를 수 있다. 인식기 학습 장치는 특징 값들의 스케일을 균등하게 조정하기 위해 특징 값들의 크기를 정규화할 수 있다. 그 후, 인식기 학습 장치는 개별 학습 데이터마다 특징 벡터를 구성할 수 있다.

단계(725)에서, 인식기 학습 장치는 K-1 개의 임계값을 랜덤하게 생성할 수 있다. 여기서, K 는 임의로 결정된 2 이상의 정수를 나타낸다. 단계(730)에서, 인식기 학습 장치는 K-1 개의 임계값에 기초하여 특징 벡터들을 K 개의 데이터 세트들로 분할할 수 있다.

단계(735)에서, 인식기 학습 장치는 분할된 K 개의 데이터 세트들에 대한 정보 엔트로피를 계산할 수 있다. 인식기 학습 장치는 분할된 K 개 데이터 세트들의 분포에서 정보 엔트로피를 계산할 수 있다. 예를 들어, 인식기 학습 장치는 다음의 수학식 3을 이용하여 분할된 K 개의 데이터 세트들에 대한 정보 엔트로피를 결정할 수 있다.

여기서, D_k 는 k 번째 데이터 세트에 포함된 데이터를 나타내고, c_i 는 i 번째 클래스를 나타낸다. E(D_k)는 k 번째 데이터 그룹이 정보 엔트로피를 나타낸다.

전체 데이터 D에 대한 정보 엔트로피 E(D)는 다음의 수학식 4를 이용하여 결정할 수 있다.

여기서, D_i 는 i 번째 데이터 세트에 포함된 데이터를 나타내고, E(D_i)는 i 번째 데이터 그룹이 정보 엔트로피를 나타낸다.

단계(740)에서, 인식기 학습 장치는 정보 엔트로피가 미리 설정된 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 인식기 학습 장치는 현재 계산된 정보 엔트로피가 최소치이거나, 또는 정보 엔트로피가 미리 설정된 기준 정보 엔트로피보다 더 작은 경우, 정보 엔트로피가 미리 설정된 조건을 만족하는 것으로 결정할 수 있다. 정보 엔트로피가 낮을수록 Local Sprig들에서 학습 데이터를 더 명확하게 분류한다는 것을 나타내고, 인식기의 인식률이 높아진다는 것을 나타낸다.

단계(745)에서, 인식기 학습 장치는 정보 엔트로피가 미리 설정된 조건을 만족하는 경우, 분할 정보를 저장할 수 있다. 분할 정보는 각각의 클러스터들에 포함된 학습 데이터들을 분류하는데 이용된 국부적 형태 특징에 관한 정보 및 특징 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 K-1 개의 임계값들에 관한 정보를 포함할 수 있다.

단계(750)에서, 인식기 학습 장치는 Local Sprig들에 대한 학습을 종료할지 여부를 결정할 수 있다. 예를 들어, 인식기 학습 장치는 (1) 단계(735)에서 계산한 정보 엔트로피가 미리 설정된 조건을 만족하는 경우, (2) Local Sprig의 레벨이 미리 설정된 조건을 초과하는 경우, 또는 (3) 클러스터에 포함된 잔여 데이터량이 미리 설정된 조건을 만족하는 경우에 Local Sprig에 대한 학습을 종료할 수 있다.

단계(755)에서, 인식기 학습 장치는 인식기 학습 장치는 Local Sprig에 대한 학습을 종료하지 않는 것으로 결정한 경우Local Sprig의 하위 노드들에 대한 학습을 진행할 수 있다. 인식기 학습 장치는 Local Sprig의 하위 노드들에 대해서도 단계(705) 내지 단계(755)의 일련의 과정을 동일하게 수행할 수 있다.

단계(760)에서, 인식기 학습 장치는 Local Sprig의 리프 노드에 현재까지 분할된 잔여 데이터의 정보를 저장할 수 있다. 예를 들어, 리프 노드에 저장되는 정보는 인식하려는 대상 클래스의 확률 정보, 추정하려는 값의 회귀 정보, 또는 Local Sprig들 내의 데이터에 대응되는 다이렉트 링크에 대한 인덱스 정보 등을 포함할 수 있다. 리프 노드에 저장되는 정보는 다양한 형태로 변환되어 리프 노드에 저장될 수 있다.

도 8 내지 도 9는 일실시예에 따른 전역적 형태 파라미터의 일례를 도시한 도면이다.

전역적 형태 파라미터는 국부적 형태 특징에 비해 상대적으로 큰 차이를 가지는 형태에 대해서만 구분이 가능한 형태 디스크립터(shape descriptor)를 나타낸다. 전역적 형태 파라미터는 국부적인 형태의 변화에 강인(robust 또는 invariant)하다. 따라서, 데이터들을 클러스터링하는 경우, 전역적 형태 파라미터를 이용하는 것이 유용할 수 있다.

일반적으로, 전역적 형태 파라미터는 큰 차이를 가지는 형태만 구분하므로, 전역적 형태 파라미터를 이용했을 때의 연산 속도가 국부적 형태 특징을 이용했을 때의 연산 속도보다 빠르다. 인식기 학습 장치는 전역적 형태 파라미터를 데이터를 클러스터링하는데 이용되는 분류자(classifier)로 이용할 수 있다.

예를 들어, 전역적 형태 파라미터는 도 8에 도시된 것과 같은 3D Center of gravity (g_x, g_y, g_z), 3D Elogation(XY Elogation, YX Elogation, ZX Elogation, XZ Elogation, ZY Elogation, YZ Elogation), 2D Rectangularity (Rectangularity), Convexity, Solidity, Profiles, Holes area ratio 등의 형태 파라미터, 또는 도 9에 도시된 것과 같은 Skewness, Kurtosis 등의 형태 파라미터를 포함할 수 있다. 예를 들어, 전역적 형태 파라미터들에 대한 파라미터 값은 다음과 같이 결정할 수 있다.

3D Center of gravity와 관련하여 x축, y축, z축 방향의 무게 중심 (g_x, g_y, g_z)는 다음의 수학식 6을 이용하여 결정할 수 있다.

여기서, Width는 형태의 너비, Height는 형태의 높이, Depth는 형태의 깊이를 나타낸다.

3D Elogation 'Elo' 는 다음의 수학식 7을 이용하여 결정할 수 있다.

여기서, W={X, Y, Z}이고, L={X, Y, Z}이다. W의 엘리먼트는 L의 엘리먼트와 같지 않으며, L은 0이 아니다. W는 형태의 너비를 나타내고, L은 형태의 높이를 나타낸다.

2D Rectangularity는 다음의 수학식 8을 이용하여 결정할 수 있다.

여기서, A_S는 형태 면적(shape area)이고, A_R은 바운딩 박스의 면적(bounding box area)를 나타낸다.

구조적 특징(textural feature)을 나타내는 Skewness, Kurtosis는 다음의 과정을 통해 결정될 수 있다. 예를 들어, 인식기 학습 장치는 입력 이미지(910)를 형태 매트릭스(shape matrix, 920)로 변환하고, 형태 매트릭스(920)에 기초하여 Skewness 파라미터, 또는 Kurtosis 파라미터(930)를 결정할 수 있다. Skewness 파라미터 sk는 다음의 수학식 9를 이용하여 결정할 수 있다.

Kurtosis 파라미터 k는 다음의 수학식 10을 이용하여 결정할 수 있다.

수학식 9 및 수학식 10에서, m은 형태 매트릭스의 평균을 나타내고,

는 형태 매트릭스의 표준 편차를 나타낸다.

위에 기재된 전역적 형태 파라미터는 일례에 불과하면, 실시예들의 범위가 여기에 기재된 전역적 형태 파라미터의 종류에 의해 제한되는 것은 아니다.

도 10은 일실시예에 따른 전역적 형태 파라미터의 메모리 구조 (1000)를 도시한 도면이다.

전역적 형태 파라미터의 파라미터 값은 1차원의 실수 값(real value)으로 계산될 수 있다. 인식기 학습 장치는 복수 개의 전역적 형태 파라미터에 대한 파라미터 값을 계산하고, 복수의 파라미터 값들에 기초하여 다차원의 파라미터 벡터를 생성할 수 있다. 학습 데이터의 개별 데이터는 각각에 대응되는 파라미터 벡터를 가질 수 있다.

전역적 형태 파라미터의 메모리 구조 (1000)는 파라미터 값들을 저장하는 파라미터 값 컨테이너(Parameter Values Container)를 포함할 수 있다. 파라미터 값 컨테이너는 복수 개의 전역적 형태 파라미터들에 대응하는 다차원의 파라미터 벡터들을 저장할 수 있다.

도 11은 일실시예에 따른 국부적 형태 특징의 일례를 도시한 도면이다.

국부적 형태 특징은 전역적 형태 파라미터에 비해 상대적으로 작은 차이를 가지는 형태에 대해서도 구분이 가능한 형태 디스크립터를 나타낸다. 따라서, 데이터들을 분류 또는 회귀하는 경우, 국부적 형태 특징을 이용하는 것이 유용할 수 있다.

국부적 형태 특징에는 MCT(Modified Census Transform)(1110), LGP(Local Gradient Pattern)(1120), LBP(Local Binary Pattern)(1130) 등이 포함될 수 있다. 예를 들어, MCT(1110)는 3x3 윈도우 내의 밝기 값을 탐색하고, 탐색된 밝기 값을 9 비트로 인코딩하는 것을 통해 획득될 수 있고, LGP(1120)은 3x3 윈도우 내의 그래디언트(gradient) 값을 탐색하고, 탐색된 그래디언트 값을 8 비트로 인코딩하는 것에 의해 획득될 수 있다. 예를 들어, LBP(1130)은 3x3 커널을 이용하여 자신의 픽셀값과 이웃하는 픽셀의 픽셀값을 비교하여 바이너리 형태로 표현한 후, 바이너리 정보를 조합하여 십진수 숫자로 변환하는 것에 의해 획득될 수 있다.

위에 기재된 국부적 형태 특징은 일례에 불과하며, 실시예의 범위가 여기에 기재된 국부적 형태 특징의 종류에 의해 제한되는 것은 아니다.

도 12는 일실시예에 따른 데이터 인식 방법을 설명하기 위한 흐름도이다.

단계(1210)에서, 데이터 인식 장치는 인식할 입력 데이터를 판독할 수 있다.

단계(1220)에서, 데이터 인식 장치는 학습된 전역적 형태 파라미터 정보에 기초하여 입력 데이터가 속하는 클러스터를 결정할 수 있다. 데이터 인식 장치는 학습된 전역적 형태 파라미터 정보에 기초하여 입력 데이터에 대한 파라미터 값을 결정할 수 있다. 그 후, 데이터 인식 장치는 저장된 임계값 정보를 이용하여 결정된 파라미터 값에 대응되는 클러스터를 결정할 수 있다.

데이터 인식 장치는 저장되어 있는 임계값들이 나타내는 범위에서 파라미터 값이 속하는 범위를 탐색하고, 방문할 Global Branch의 하위 노드를 결정할 수 있다. Global Branch의 리프 노드가 결정되는 것에 의해 입력 데이터가 속하는 클러스터가 결정될 수 있다.

단계(1230)에서, 데이터 인식 장치는 결정된 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 입력 데이터의 클래스를 결정할 수 있다. 데이터 인식 장치는 결정된 클러스터에 포함된 데이터를 분류하기 위한 적어도 하나의 인식기를 로드할 수 있다. 데이터 인식 장치는 인식기 및 국부적 형태 특징 정보에 기초하여 입력 데이터의 클래스를 추정할 수 있다. 데이터 인식 장치는 국부적 형태 특징 정보에 기초하여 입력 데이터의 특징 값을 결정할 수 있다. 데이터 인식 장치는 결정된 특징 값과 인식기에 저장되어 있는 임계값에 기초하여 입력 데이터의 클래스를 추정할 수 있다. 데이터 인식 장치는 Local Sprig의 리프 노드에 저장되어 있는 정보를 이용하여 입력 데이터의 클래스를 결정할 수 있다. Local Sprig의 리프 노드에 저장된 정보는 인식하려는 대상 클래스의 확률 정보, 추정하려는 값의 회귀 정보, 또는 Local Sprig들 내의 데이터에 대응되는 다이렉트 링크에 대한 인덱스 정보 등을 포함할 수 있다.

단계(1240)에서, 데이터 인식 장치는 인식 결과로서, 결정된 입력 데이터의 클래스를 출력할 수 있다.

도 13은 일실시예에 따른 Global Branch들에 대한 입력 데이터를 인식하는 과정을 설명하기 위한 흐름도이다.

단계(1310)에서, 데이터 인식 장치는 인식할 입력 데이터를 판독할 수 있다.

단계(1320)에서, 데이터 인식 장치는 Global Branch들의 최상위 노드에 저장되어 있는 전역적 형태 파라미터 정보를 판독할 수 있다.

단계(1330)에서, 데이터 인식 장치는 판독된 전역적 형태 파라미터 정보에 기초하여 입력 데이터에 대한 파라미터 값을 계산할 수 있다.

단계(1340)에서, 데이터 인식 장치는 저장된 임계값 정보에 기초하여 단계(1330)에서 계산된 파라미터 값이 속하는 범위를 탐색할 수 있다. 데이터 인식 장치는 저장되어 있는 K-1 개의 임계값들이 나타내는 범위에서 파라미터 값이 속하는 범위를 탐색하고, 방문할 Global Branch의 하위 노드를 결정할 수 있다.

단계(1350)에서, 데이터 인식 장치는 단계(1340)에서 결정된 Global Branch의 하위 노드를 방문할 수 있다.

단계(1360)에서, 방문한 하위 노드가 Global Branch의 리프 노드인 경우, 데이터 인식 장치는 Global Branch에서의 인식 과정을 종료하고 Local Sprig에 대한 인식 과정을 시작할 수 있다. Global Branch의 리프 노드가 결정됨으로써 입력 데이터가 속하는 클러스터가 결정될 수 있다.

방문한 하위 노드가 Global Branch의 리프 노드가 아닌 경우, 데이터 인식 장치는 방문한 하위 노드에 대해 단계(1320) 내지 단계(1360)의 과정을 동일하게 수행할 수 있다.

도 14는 일실시예에 따른 Local Sprig들에 대한 입력 데이터를 인식하는 과정을 설명하기 위한 흐름도이다. Local Sprig들은 복수 개의 개별 Local Sprig들로 구성될 수 있다.

단계(1410)에서, 데이터 인식 장치는 인식할 입력 데이터를 판독할 수 있다.

단계(1420)에서, 데이터 인식 장치는 개별 Local Sprig들의 최상위 노드에 저장되어 있는 국부적 형태 특징 정보를 판독할 수 있다.

단계(1430)에서, 데이터 인식 장치는 판독된 국부적 형태 특징 정보에 기초하여 입력 데이터에 대한 특징 값을 계산할 수 있다.

단계(1440)에서, 데이터 인식 장치는 저장된 임계값 정보에 기초하여 단계(1430)에서 계산된 특징 값이 속하는 범위를 탐색할 수 있다. 데이터 인식 장치는 저장되어 있는 K-1 개의 임계값들이 나타내는 범위에서 특징 값이 속하는 범위를 탐색하고, 방문할 Local Sprig의 하위 노드를 결정할 수 있다.

단계(1450)에서, 데이터 인식 장치는 단계(1440)에서 결정된 Local Sprig의 하위 노드를 방문할 수 있다.

방문한 하위 노드가 Local Sprig의 리프 노드가 아닌 경우, 단계(1460)에서 데이터 인식 장치는 방문한 하위 노드에 대해 단계(1420) 내지 단계(1460)의 과정을 동일하게 수행할 수 있다.

방문한 하위 노드가 Local Sprig의 리프 노드인 경우, 단계(1470)에서, 데이터 인식 장치는 Local Sprig의 리프 노드로부터 학습된 정보를 추출할 수 있다. Local Sprig의 리프 노드에 저장된 정보는 인식하려는 대상 클래스의 확률 정보, 추정하려는 값의 회귀 정보, 또는 Local Sprig들 내의 데이터에 대응되는 다이렉트 링크에 대한 인덱스 정보 등을 포함할 수 있다.

단계(1480)에서, 데이터 인식 장치는 복수 개의 개별 Local Sprig들에 대해 단계(1410) 내지 단계(1470)의 과정을 반복 수행한 후, 복수 개의 리프 노드들로부터 추출된 정보를 앙상블할 수 있다. 데이터 인식 장치는 리프 노드들로부터 추출된 정보에 기초하여 입력 데이터의 클래스 또는 종류를 인식할 수 있다.

예를 들어, 입력 데이터 x의 클래스를 인식하는 경우, S 개의 개별 Local Sprig들로 구성된 Local Sprigs의 리프 노드에 저장되어 있는 각 클래스 c 의 확률 P는 다음의 수학식 11을 이용하여 결정할 수 있다.

도 15는 일실시예에 따른 학습 데이터의 일례를 도시한 도면이다.

도 15에는 학습 데이터의 일례로서, 다양한 인체 자세를 나타내는 영상이 도시되어 있다. 인식기 학습 장치는 다양하고 많은 수의 인체 자세 영상들을 무감독 학습을 이용한 클러스터링을 통해 복수 개의 데이터 세트 또는 클러스터들로 분할할 수 있다.

도 16는 일실시예에 따른 Local Sprig들의 리프 노드에서 추출된 정보를 이용하는 일례를 도시한 도면이다.

예를 들어, 인체 자세 영상의 경우, Local Sprig들의 리프 노드에서 뼈대의 3차원 위치 정보 및 방향 정보를 추출할 수 있다. 데이터 인식 장치는 Local Sprig들의 리프 노드에서 추출된 뼈대의 3차원 위치 정보 및 방향 정보를 이용하여 인체 자세를 추정할 수 있다.

Local Sprig들의 리프 노드에 저장되는 정보는 다양한 형태로 변환되어 저장될 수 있다. 예를 들어, Local Sprig들의 리프 노드에는 특정 자세의 영상 번호에 대한 인덱스 정보가 저장될 수 있다. 인체 3D 볼륨 정보의 경우, 특정 3D 볼륨의 번호에 대한 인덱스 정보가 Local Sprig들의 리프 노드에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

1. 학습할 학습 데이터를 선택하는 단계;
   전역적 형태 파라미터에 기초하여 상기 선택된 학습 데이터를 클러스터링(clustering)하고, 복수 개의 클러스터(cluster)들을 생성하는 단계; 및
   국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류하는 단계
   를 포함하는 인식기 학습 방법.
2. 제1항에 있어서,
   상기 전역적 형태 파라미터는,
   상기 선택된 학습 데이터의 전역적인 특징을 결정하는데 이용되고,
   상기 국부적 형태 특징은,
   상기 클러스터에 포함된 학습 데이터의 국부적인 특징을 결정하는데 이용되는, 인식기 학습 방법.
3. 제1항에 있어서,
   상기 복수 개의 클러스터들을 생성하는 단계는,
   전역적 형태 파라미터에 대한 파라미터 값을 결정하는 단계;
   상기 결정된 파라미터 값을 이용하여 학습 데이터에 대한 파라미터 벡터를 결정하는 단계;
   상기 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는 단계;
   상기 분할된 데이터 세트들 간의 분리도가 미리 설정된 조건을 만족하는지 여부를 판단하는 단계; 및
   상기 분리도가 미리 설정된 조건을 만족하는 경우, 클러스터의 생성과 관련된 분할 정보를 저장하는 단계
   를 포함하는 인식기 학습 방법.
4. 제3항에 있어서,
   상기 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는 단계는,
   랜덤하게 결정된 임계값들에 기초하여 파라미터 벡터를 복수 개의 데이터 세트들로 분할하고,
   상기 임계값들은 임의의 개수로 생성되는, 인식기 학습 방법.
5. 제3항에 있어서,
   상기 데이터 세트들 간의 분리도는,
   상기 데이터 세트들 각각의 평균 및 상기 데이터 세트들 각각의 표준 편차에 기초하여 결정되는, 인식기 학습 방법.
6. 제3항에 있어서,
   상기 클러스터의 생성과 관련된 분할 정보는,
   상기 복수 개의 클러스터들을 생성하는데 이용된 전역적 형태 파라미터에 관한 정보 및 상기 파라미터 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 임계값에 관한 정보를 포함하는, 인식기 학습 방법.
7. 제3항에 있어서,
   상기 분리도가 미리 설정된 조건을 만족하는지 여부를 판단하는 단계는,
   다른 전역적 형태 파라미터에 기초하여 결정된 복수의 분리도들 중 현재 결정된 분리도가 가장 큰 경우에 분리도가 미리 설정된 조건을 만족하는 것으로 결정하는, 인식기 학습 방법.
8. 제1항에 있어서,
   상기 학습 데이터를 분류하는 단계는,
   국부적 형태 특징에 대한 특징 값을 결정하는 단계;
   상기 결정된 특징 값을 이용하여 학습 데이터에 대한 특징 벡터를 결정하는 단계;
   상기 특징 벡터를 복수 개의 데이터 세트들로 분할하는 단계;
   상기 분할된 데이터 세트들에 기초하여 결정된 엔트로피가 미리 설정된 조건을 만족하는지 여부를 판단하는 단계; 및
   상기 엔트로피가 미리 설정된 조건을 만족하는 경우, 클러스터에 포함된 학습 데이터의 분류와 관련된 분할 정보를 저장하는 단계
   를 포함하는 인식기 학습 방법.
9. 제8항에 있어서,
   상기 특징 벡터를 복수 개의 데이터 세트들로 분할하는 단계는,
   랜덤하게 결정된 임계값들에 기초하여 특징 벡터를 복수 개의 데이터 세트들로 분할하고,
   상기 임계값들은 임의의 개수로 생성되는, 인식기 학습 방법.
10. 제8항에 있어서,
    상기 클러스터에 포함된 학습 데이터의 분류와 관련된 분할 정보는,
    상기 클러스터에 포함된 학습 데이터를 분류하는데 이용된 국부적 형태 특징에 관한 정보 및 상기 특징 벡터를 복수 개의 데이터 세트들로 분할하는데 이용된 임계값에 관한 정보를 포함하는, 인식기 학습 방법.
11. 제8항에 있어서,
    상기 엔트로피가 미리 설정된 조건을 만족하는지 여부를 판단하는 단계는,
    다른 국부적 형태 특징에 기초하여 결정된 복수의 엔트로피들 중 현재 결정된 엔트로피가 가장 작은 경우에 엔트로피가 미리 설정된 조건을 만족하는 것으로 결정하는, 인식기 학습 방법.
12. 인식할 입력 데이터를 판독하는 단계;
    학습된 전역적 형태 파라미터 정보에 기초하여 상기 입력 데이터가 속하는 클러스터를 결정하는 단계; 및
    상기 결정된 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 클래스를 결정하는 단계
    를 포함하는 데이터 인식 방법.
13. 제12항에 있어서,
    상기 학습된 전역적 형태 파라미터 정보는,
    상기 입력 데이터의 전역적인 특징을 결정하는데 이용되고,
    상기 학습된 국부적 형태 특징 정보는,
    상기 입력 데이터의 국부적인 특징을 결정하는데 이용되는, 데이터 인식 방법.
14. 제12항에 있어서,
    상기 입력 데이터가 속하는 클러스터를 결정하는 단계는,
    학습된 전역적 형태 파라미터 정보에 기초하여 상기 입력 데이터에 대한 파라미터 값을 결정하는 단계; 및
    저장된 임계값 정보를 이용하여 상기 결정된 파라미터 값에 대응되는 클러스터를 결정하는 단계
    를 포함하는 데이터 인식 방법.
15. 제12항에 있어서,
    상기 입력 데이터의 클래스를 결정하는 단계는,
    상기 결정된 클러스터에 포함된 데이터를 분류하기 위한 적어도 하나의 인식기를 로드하는 단계; 및
    상기 인식기 및 상기 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 클래스를 추정하는 단계
    를 포함하는 데이터 인식 방법.
16. 제15항에 있어서,
    상기 입력 데이터의 클래스를 추정하는 단계는,
    상기 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 특징 값을 결정하는 단계; 및
    상기 결정된 특징 값과 상기 인식기에 저장되어 있는 임계값 정보에 기초하여 상기 입력 데이터의 클래스를 추정하는 단계
    를 포함하는 데이터 인식 방법.
17. 제1항 내지 제16항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
18. 학습할 학습 데이터를 선택하는 학습 데이터 선택부;
    전역적 형태 파라미터에 기초하여 상기 선택된 학습 데이터를 클러스터링하고, 복수 개의 클러스터들을 생성하는 클러스터링부; 및
    국부적 형태 특징에 기초하여 적어도 하나의 클러스터에 포함된 학습 데이터를 분류하는 학습 데이터 분류부
    를 포함하는 인식기 학습 장치.
19. 제18항에 있어서,
    상기 전역적 형태 파라미터는,
    상기 선택된 학습 데이터의 전역적인 특징을 결정하는데 이용되고,
    상기 국부적 형태 특징은,
    상기 클러스터에 포함된 학습 데이터의 국부적인 특징을 결정하는데 이용되는, 인식기 학습 장치.
20. 입력 데이터를 판독하는 입력 데이터 판독부;
    학습된 전역적 형태 파라미터 정보에 기초하여 상기 입력 데이터가 속하는 클러스터를 결정하는 클러스터 결정부; 및
    상기 결정된 클러스터 및 학습된 국부적 형태 특징 정보에 기초하여 상기 입력 데이터의 클래스를 결정하는 클래스 결정부
    를 포함하는 데이터 인식 장치.

Images