KR101562141B1 - 선형 분류기 설계 방법 및 그 장치 - Google Patents

선형 분류기 설계 방법 및 그 장치 Download PDF

Info

Publication number
KR101562141B1
KR101562141B1 KR1020140107260A KR20140107260A KR101562141B1 KR 101562141 B1 KR101562141 B1 KR 101562141B1 KR 1020140107260 A KR1020140107260 A KR 1020140107260A KR 20140107260 A KR20140107260 A KR 20140107260A KR 101562141 B1 KR101562141 B1 KR 101562141B1
Authority
KR
South Korea
Prior art keywords
subspace
new plane
plane
new
internal point
Prior art date
Application number
KR1020140107260A
Other languages
English (en)
Inventor
이철희
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140107260A priority Critical patent/KR101562141B1/ko
Application granted granted Critical
Publication of KR101562141B1 publication Critical patent/KR101562141B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

선형 분류기 설계 방법 및 그 장치가 개시된다. 선형 분류기 설계 방법은 N(2이상의 자연수)차원 가중치 스페이스상에서 샘플에 대한 신규 평면을 구성하는 단계; 상기 가중치 스페이스에 존재하는 복수의 서브스페이스가 상기 신규 평면에 의해 분할되는지 여부를 결정하는 단계; 만일 분할되는 것으로 결정되면 상기 신규 평면에 의해 분할되는 서브스페이스를 분할하여 갱신하는 단계; 및 상기 갱신된 서브스페이스내의 하나의 내부점을 가중치 벡터로 선택하는 단계를 포함한다.

Description

선형 분류기 설계 방법 및 그 장치{Linear classification method and apparatus}
본 발명은 가중치 스페이스(space)에서의 최적 선형 분류기 설계 방법 및 그 장치에 관한 것이다.
선형 분류는 일반적으로 패턴 인식 분야, 데이터 분류 등에서 일반적으로 널리 이용된다. 종래의 선형 분류 알고리즘 중 대표적인 알고리즘은 SVM(Support Vector Machine)이며, 가장 많이 사용되고 있는 선형 분류 알고리즘이다.
SVM은 주어진 데이터에 대해 데이터를 분리하는 초평면 중에서 데이터들과 가장 거리가 먼 초평면을 찾는 방법이다. 즉, 데이터들을 분리하는 수많은 평면들 가운데 마진이 최대가 되는 최적 초평면(optimal hyperplane)을 도출하여 데이터를 분리하는 방법이다.
SVM을 비롯한 종래의 선형 분류 알고리즘은 데이터 도메인(스페이스)에서 선형 분류기를 설계하는 방법으로, 가중치 스페이스에서 선형 분류기를 설계하는 방법에 대해서는 연구가 수행되지 않았다.
본 발명은 가중치 스페이스에서의 선형 분류기 설계 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 가중치 스페이스에서 샘플(sample) 데이터를 선형 분류하기 위한 최적의 가중치 벡터를 도출함으로써 보다 정확하게 입력데이터를 선형 분류할 수 있는 선형 분류기 설계 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 데이터 스페이스에서 주어진 복수개의 샘플을 분류하는 선형 분류기를 가중치 스페이스에서 설계할 수 있는 선형 분류기 설계 방법이 제공된다.
본 발명의 일 실시예에 따르면, N(2이상의 자연수)차원 가중치 스페이스상에서 샘플에 대한 신규 평면을 구성하는 단계; 상기 가중치 스페이스에 존재하는 복수의 서브스페이스가 상기 신규 평면에 의해 분할되는지 여부를 결정하는 단계; 만일 분할되는 것으로 결정되면 상기 신규 평면에 의해 분할되는 서브스페이스를 분할하여 갱신하는 단계; 및 상기 갱신된 서브스페이스내의 하나의 내부점을 가중치 벡터로 선택하는 단계를 포함하는 선형 분류기 설계 방법이 제공될 수 있다.
각 서브스페이스는 분류 정확도가 설정되되, 상기 가중치 벡터는 상기 각 서브스페이스 중 분류 정확도가 가장 높은 서브스페이스내의 하나의 내부점으로 선택될 수 있다.
각 서브스페이스는 분류 정확도가 설정되되, 상기 신규 평면에 의해 분할되는지 여부를 결정시, 상기 분류 정확도가 기준치 이하인 서브스페이스는 제외될 수 있다.
상기 신규 평면은, 상기 샘플에 상수항을 추가하여 차원을 확장한 후 구성될 수 있다.
상기 서브스페이스의 분할 여부를 결정하는 단계는, 상기 신규 평면이 위치되는 서브스페이스를 구성하는 각 평면에 대한 부등식과 상기 신규 평면에 대한 부등식의 해가 존재하면 상기 서브스페이스는 분할될 수 있다.
상기 서브스페이스를 분할하여 갱신하는 단계는, 상기 가중치 스페이스에서 상기 신규 평면을 바닥으로 설정하고, 상기 가중치 스페이스에 존재하는 서브스페이스를 상기 신규 평면의 상위에 위치시킨 후 상기 서브스페이스내의 내부점을 이동시켜 상기 내부점이 상기 신규 평면으로 이동되면, 상기 서브스페이스를 분할하는 단계; 및 상기 서브스페이스내의 내부점이 다른 서브스페이스에 의해 블로킹되면, 상기 서브스페이스를 분할하지 않는 단계를 포함할 수 있다.
상기 서브스페이스를 분할하여 갱신하는 단계는,
상기 서브스페이스의 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제1 부호값을 계산하는 단계; 상기 서브스페이스의 내부점을 상기 서브스페이스 내부 경로를 따라 상기 신규 평면으로 이동시키고, 상기 이동된 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제2 부호값을 계산하는 단계; 및 상기 제1 부호값과 상기 제2 부호값이 동일하면, 상기 이동된 내부점이 상기 서브스페이스내에 위치하는 것으로 판단하여 상기 신규 평면을 기준으로 상기 서브스페이스를 분할하여 갱신하는 단계를 포함하되, 상기 제2 부호값을 계산하는 단계는 상기 서브스페이스의 내부점이 상기 신규 평면과 만날때까지 반복적으로 수행될 수 있다.
상기 서브스페이스를 분할하여 갱신하는 단계는, 상기 제1 부호값과 상기 제2 부호값이 동일하지 않으면, 상기 서브스페이스의 상기 내부점이 상기 서브스페이스내에 위치하지 않는 것으로 판단하여 상기 신규 평면을 분할하지 않을 수 있다.
본 발명의 다른 측면에 따르면, 데이터 스페이스에서 주어진 복수개의 샘플을 분류하는 선형 분류기를 가중치 스페이스에서 설계할 수 있는 선형 분류기 설계 장치가 제공된다.
본 발명의 일 실시예에 따르면, N(2이상의 자연수)차원 가중치 스페이스상에서 신규 샘플에 대한 신규 평면을 구성하는 평면 계산부; 상기 가중치 스페이스에 존재하는 복수의 서브스페이스가 상기 신규 평면에 의해 분할되는지 여부를 결정하고, 만일 분할되는 것으로 결정되면 상기 신규 평면에 의해 분할되는 서브스페이스를 분할하여 갱신하는 갱신부; 및 상기 갱신된 서브스페이스내의 하나의 내부점을 가중치 벡터로 선택하는 가중치 벡터 선택부를 포함하는 선형 분류기 설계 장치가 제공될 수 있다.
각 서브스페이스는 분류 정확도가 설정되되, 상기 갱신부는, 상기 분류 정확도가 기준치 이하인 서브스페이스는 제외하고 상기 신규 평면에 의해 상기 서브스페이스가 분할되는지 여부를 결정할 수 있다.
상기 갱신부는, 상기 신규 평면이 위치되는 서브스페이스를 구성하는 각 평면에 대한 부등식과 상기 신규 평면에 대한 부등식의 해가 존재하면 상기 서브스페이스는 분할되는 것으로 결정할 수 있다.
상기 갱신부는, 상기 가중치 스페이스에서 상기 신규 평면을 바닥으로 설정하고, 상기 가중치 스페이스에 존재하는 서브스페이스를 상기 신규 평면의 상위에 위치시킨 후 상기 서브스페이스내의 내부점을 이동시켜 상기 내부점이 상기 신규 평면으로 이동되면, 상기 서브스페이스를 분할하고, 상기 서브스페이스내의 내부점이 상기 신규 평면으로 이동되지 않으면, 상기 서브스페이스를 분할하지 않을 수 있다.
상기 갱신부는, 상기 가중치 스페이스에 존재하는 서브스페이스의 내부점을 상기 신규 평면으로 정사영시키고, 상기 정사영된 내부점이 상기 서브스페이스내에 위치하면, 상기 신규 평면을 기준으로 상기 서브스페이스를 분할하여 갱신할 수 있다.
상기 갱신부는, 상기 서브스페이스의 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제1 부호값을 계산하고, 상기 서브스페이스의 내부점을 상기 서브스페이스 내부 경로를 따라 상기 신규 평면으로 이동시키고, 상기 이동된 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제2 부호값을 계산하며, 상기 제1 부호값과 상기 제2 부호값이 동일하면, 상기 이동된 내부점이 상기 서브스페이스내에 위치하는 것으로 판단하여 상기 신규 평면을 기준으로 상기 서브스페이스를 분할하여 갱신하되, 상기 제2 부호값의 계산은 상기 서브스페이스의 내부점이 상기 신규 평면과 만날때까지 반복적으로 수행될 수 있다.
상기 갱신부는, 상기 제1 부호값과 상기 제2 부호값이 동일하지 않으면, 상기 서브스페이스의 상기 내부점이 상기 서브스페이스내에 위치하지 않는 것으로 판단하여 상기 신규 평면을 분할하지 않는다.
본 발명의 일 실시예에 따른 선형 분류기 설계 방법 및 그 장치를 제공함으로써, 가중치 스페이스에서 샘플을 선형 분류하기 위한 최적의 가중치 벡터를 도출함으로써 보다 정확하게 입력데이터를 선형 분류할 수 있다.
도 1은 본 발명의 일 실시예에 따른 선형 분류기 설계 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 서브스페이스를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 서브스페이스에서의 내부점 선정을 설명하기 위해 도시한 도면.
도4는 본 발명의 일 실시예에 따른 신규 평면이 추가되는 경우 각 서브스페이스의 내부점을 이용하여 서브스페이스를 갱신하는 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 신규 평면과 내부점을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 내부점을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 내부점의 신규 평면으로의 정사영을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 서브스페이스 평면에 대한 내부점의 평행 이동을 설명하기 위해 도시한 도면.
도 9 및 도 10은 본 발명의 일 실시예에 따른 내부점을 이용하여 서브스페이스의 분할을 설명하기 위해 도시한 도면.
도 11은 본 발명의 일 실시예에 따른 서브스페이스 갱신에 따른 내부점 갱신을 설명하기 위해 도시한 도면.
도 12는 본 발명의 일 실시예에 따른 선형 분류기 설계 장치의 내부 구성을 개략적으로 도시한 블록도
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 선형 분류기 설계 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 서브스페이스를 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 서브스페이스에서의 내부점 선정을 설명하기 위해 도시한 도면이며, 도4는 본 발명의 일 실시예에 따른 신규 평면이 추가되는 경우 각 서브스페이스의 내부점을 이용하여 서브스페이스를 갱신하는 방법을 나타낸 순서도이며, 도 5는 본 발명의 일 실시예에 따른 신규 평면과 내부점을 설명하기 위해 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 내부점을 설명하기 위해 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 내부점의 신규 평면으로의 정사영을 설명하기 위해 도시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 서브스페이스 평면에 대한 내부점의 평행 이동을 설명하기 위해 도시한 도면이고, 도 9 및 도 10은 본 발명의 일 실시예에 따른 내부점을 이용하여 서브스페이스의 분할을 설명하기 위해 도시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 서브스페이스 갱신에 따른 내부점 갱신을 설명하기 위해 도시한 도면이다.
단계 110에서 선형 분류기 설계 장치(100)는 가중치 스페이스상에서 샘플에 대한 신규 평면을 구성한다. 여기서, 가중치 스페이스는 N(2이상의 자연수) 차원 공간일 수 있다.
우선 이해와 설명의 편의를 도모하기 위해 본 발명의 일 실시예에 따른 샘플을 이용하여 신규 평면을 구성하는 방법에 대해 상세히 설명하기로 한다.
샘플을 가중치 스페이스상에 하나의 평면으로 나타내기 위해, 본 발명의 일 실시예에서는 샘플에 상수항을 추가하여 차원을 확장하여 신규 평면을 구성한다.
예를 들어, 데이터 스페이스에서의 샘플이 수 1과 같은 벡터로 구성되어 있다고 가정하자.
Figure 112014078038285-pat00001
수 1과 같이 구성된 샘플을 두 클래스로 분류하는 경우, 선형 분류기는 수 2와 같이 샘플을 분류할 수 있다.
Figure 112014078038285-pat00002
Figure 112014078038285-pat00003
여기서,
Figure 112014078038285-pat00004
는 N차 가중치벡터를 나타낸다.
수 1과 같은 샘플에 상수항을 추가하여 확장된 샘플을 구성할 수 있으며, 이를 수식으로 나타내면, 수 3과 같다.
Figure 112014078038285-pat00005
수 3과 같이 상수항으로 차원이 확장된 샘플을 두 클래스로 선형 분류하는 경우, 수 4와 같은 조건에 의해 각 샘플은 각 클래스로 분류될 수 있다.
Figure 112014078038285-pat00006
Figure 112014078038285-pat00007
여기서,
Figure 112014078038285-pat00008
는 확장된 가중치벡터를 나타낸다. 이하, 하기에서 상수항으로 확장된 샘플은 샘플로 통칭하며, 확장된 가중치벡터는 가중치벡터로 통칭하여 설명하기로 한다.
이해와 설명의 편의를 도모하기 위해, 다음과 같은 2차원 데이터 스페이스에서의 두 클래스 분류를 가정하기로 한다.
Figure 112014078038285-pat00009
Figure 112014078038285-pat00010
상기의 샘플에 상수항을 추가하여 차원을 확장하면, 확장된 샘플은 수 5와 같이 나타낼 수 있다.
Figure 112014078038285-pat00011
Figure 112014078038285-pat00012
수 5와 같이 확장된 샘플 중 제1 샘플(
Figure 112014078038285-pat00013
)을 맞게 분류하기 위한 가중치벡터는 수 6과 같은 조건을 만족해야만 한다.
Figure 112014078038285-pat00014
도 2는 가중치 스페이스에서 제1 샘플에 대한 신규 평면(
Figure 112014078038285-pat00015
을 나타낸다. 도 2의 (a)에서
Figure 112014078038285-pat00016
으로 정의되는 직선 위쪽 또는 직선상에 존재하는 모든 가중치 벡터는 제1 샘플(
Figure 112014078038285-pat00017
을 맞게 분류하고,
Figure 112014078038285-pat00018
으로 정의되는 직선 아래쪽에 존재하는 모든 가중치 벡터는 제1 샘플(
Figure 112014078038285-pat00019
을 틀리게 분류하는 것을 알 수 있다.
이에 따라, 제1 샘플에 의해 형성되는 신규 평면은 가중치 스페이스를 2개의 서브스페이스(subspace)로 나눌 수 있다.
수 5와 같이 확장된 샘플 중 제2 샘플(
Figure 112014078038285-pat00020
을 두 클래스로 분류하기 위해 가중치벡터는 하기 수 7의 조건을 만족해야만 한다.
Figure 112014078038285-pat00021
도 2의 (b)와 같이 -
Figure 112014078038285-pat00022
으로 정의되는 직선에 의해 구분되는 가중치 스페이스에 대해
Figure 112014078038285-pat00023
으로 정의되는 직선의 위쪽 또는 직선상에 존재하는 모든 가중치 벡터는
Figure 112014078038285-pat00024
을 틀리게 분류하며, 직선 아래쪽에 존재하는 모든 가중치 벡터는
Figure 112014078038285-pat00025
을 맞게 분류한다.
도 2의 (b)와 같이, 제1 샘플에 의해 형성되는 직선과 제2 샘플에 의해 형성되는 직선에 의해 가중치 스페이스는 4개의 서브스페이스(S2,1, S2,2, S2,3, S2,4)로 나뉜다. 4개의 서브스페이스 중 제2 서브스페이스(S2,2)(
Figure 112014078038285-pat00026
,
Figure 112014078038285-pat00027
)내에 포함되는 임의의 가중치 벡터는 제1 샘플(Y1)과 제2 샘플(Y2)을 모두 맞게 분류하고, 제4 서브스페이스(S2,3)(
Figure 112014078038285-pat00028
,
Figure 112014078038285-pat00029
)내에 포함되는 임의의 가중치 벡터는 제1 샘플(Y1)과 제2 샘플(Y2)을 모두 틀리게 분류하게 된다. 또한, 제1 서브스페이스(S2,1)내에 포함되는 임의의 가중치 벡터는 제1 샘플(Y1)는 맞게 분류하나 제2 샘플(Y2)을 틀리게 분류하게 된다. 또한, 제3 서브스페이스(S2,3)내에 포함되는 임의의 가중치 벡터는 제1 샘플(Y1)은 틀리게 분류하나 제2 샘플(Y2)을 맞게 분류하게 된다. 즉, 4개의 서브스페이스(S2,1, S2,2, S2,3, S2,4)의 분류 정확도는 각각 50%, 100%, 50%, 0%가 된다.
상술한 바와 마찬가지로 제3 샘플(
Figure 112014078038285-pat00030
을 맞게 분류하기 위해 가중치벡터는 하기 수 8의 조건을 만족해야 한다.
Figure 112014078038285-pat00031
즉, 도 2의 (c)와 같이,
Figure 112014078038285-pat00032
로 정의되는 직선에 의해 구분되는 가중치 스페이스에 대해
Figure 112014078038285-pat00033
로 정의되는 직선의 위쪽 또는 직선상에 존재하는 모든 가중치 벡터는 제3 샘플(
Figure 112014078038285-pat00034
)을 맞게 분류하며, 직선의 아래쪽에 존재하는 모든 가중치 벡터는 제3 샘플(
Figure 112014078038285-pat00035
)을 틀리게 분류한다.
제3 샘플에 대한 신규 평면 구성으로 인해 3개의 샘플은 가중치 스페이스를 도 2의 (c)에서 보여지는 바와 같이 6개의 서브스페이스로 나눌 수 있다.
이와 같은 방식으로 제4 샘플에 대한 가중치 스페이스상의 신규 평면이 구성되면 가중치 스페이스는 8개의 서브스페이스로 나누어지게 된다.
이와 같이, 선형 분류기 설계 장치(100)는 각 샘플에 대해 가중치 스페이스를 다수의 서브스페이스로 분할하여 최대 정확도를 갖는 서브스페이스내의 임의의 내부점을 가중치 벡터로 선정하여 샘플에 대한 최적 선형 분류를 수행할 수 있다. 선형 분류기 설계 장치(100)는 최대 정확도를 갖는 서브스페이스내에서 임의의 내부점을 가중치 벡터로 선정시, 가급적 중심에 위치한 내부점을 가중치 벡터로 선정하도록 할 수 있다.
도 3에 도시된 바와 같이, 최대 정확도를 갖는 서브스페이스의 중심에 위치한 내부점을 가중치 벡터로 선정하는 경우, 신규 샘플에 대해서도 맞게 분류할 확률이 높게 된다.
샘플이 많은 경우 가중치 스페이스상에서 생성되는 서브스페이스는 기하급수적으로 증가하게 되며, 이로 인해 최적의 가중치 벡터를 선정하는데 많은 시간이 소요될 수 있다. 따라서, 효율적인 검색을 위해 정확도가 현저히 낮은 서브스페이스 대해서는 분할 검사를 생략할 수 있음은 물론이다.
즉, 다시 정리하면, 선형 분류기 설계 장치(100)는 가중치 스페이스에서의 샘플에 대한 신규 평면을 구성할 수 있다. 샘플에 대한 신규 평면은 수 9와 같이 나타낼 수 있다.
Figure 112014078038285-pat00036
여기서, W는 가중치 벡터를 나타내고, Y는 샘플을 나타낸다.
단계 115에서 선형 분류기 설계 장치(100)는 가중치 스페이스상에 존재하는 각 서브스페이스가 신규 평면에 의해 분할되는지 여부를 판단한다.
수 9와 같이 정의된 신규 평면의 수직 벡터는 Y가 된다. 이는 수학적으로 자명하므로 이에 대한 별도의 설명은 생략하기로 한다. 이에 따라 선형 분류기 설계 장치(100)는 서브스페이스의 내부점(Z)와 신규 평면의 수직벡터(Y)를 내적한 후 내적의 부호를 확인하면, 내부점이 신규 평면의 어느 쪽에 위치하는지를 판단할 수 있다. 서브스페이스의 내부점(Z)와 신규 평면의 수직벡터(Y)를 내적은 수 10과 같이 나타낼 수 있다.
Figure 112014078038285-pat00037
예를 들어, 신규 평면에 의해 가중치 스페이스상에 존재하는 서브스페이스가 분할되는지 여부를 판단하기 위해 부등식의 해를 구해 알아볼 수 있다. 즉, L개의 평면에 의해 구성되는 서브스페이스가 신규 평면에 의해 분할되는 경우 신규평면을 포함하는 L+1개의 부등식에 해가 존재하게 된다. 만일 해가 존재하지 않으면 신규 평면에 의해 가중치 스페이스상에 존재하는 서브스페이스는 분할되지 않는다.
예를 들어, 가중치 스페이스상에 하기 수 11과 같은 서브스페이스가 존재한다고 가정하자.
Figure 112014078038285-pat00038
상기 서브스페이스내의 모든 점은 하기 수 12의 부등식을 만족해야 한다.
Figure 112014078038285-pat00039
Figure 112014078038285-pat00040
이와 같은 상황에서 상술한 바와 같이, 제3 샘플에 의해 구성된 신규 평면이 가중치 스페이스상에 존재하는 서브스페이스를 분할하는지 여부를 판단하는 경우, 하기 수 13과 같은 부등식의 해가 존재하는지를 확인한다.
Figure 112014078038285-pat00041
Figure 112014078038285-pat00042
Figure 112014078038285-pat00043
수 13과 같은 부등식의 해가 존재하는 경우, 제3 샘플(Y3)에 의해 형성되는 신규 평면에 의해 가중치 스페이스내의 상기 서브스페이스는 분할된다.
본 발명의 일 실시예에서는 상기의 부등식의 해를 구하는 방법으로 내부점을 이용하는 방법을 중심으로 설명하기로 한다.
도 2에서 보여지는 바와 같이, 가중치 스페이스상에서 샘플에 대한 평면에 의해 구성되는 서브스페이스는 평면과 평면의 방향을 나타내는 사인 플래그(sign flag)로 나타낼 수 있다. 여기서, 사인 플래그는 평면의 어느쪽 방향이 서브스페이스의 내부를 구성하는지를 나타내며, 음수(-1) 또는 양수(1)일 수 있다. 일반적으로 서브스페이스는 가중치 스페이스에서 열린 피라미드 형태를 갖게 된다.
따라서, 각 서브스페이스는 샘플에 의해 형성되는 신규 평면에 의해 구성되며, 각 서브스페이스는 하기 수 14와 같은 수식으로 정리될 수 있다.
Figure 112014078038285-pat00044
여기서,
Figure 112014078038285-pat00045
는 j번째 샘플이 처리되었을 때 i번째 서브스페이스를 나타내고,
Figure 112014078038285-pat00046
는
Figure 112014078038285-pat00047
의 평면(plane)의 개수를 나타내며,
Figure 112014078038285-pat00048
는 i번째 서브스페이스에 대한 내부점을 나타내며,
Figure 112014078038285-pat00049
는 j번째 샘플이 처리되었을 때 맞게 분류된 샘플들의 개수를 나타내고,
Figure 112014078038285-pat00050
는 벡터와 사인 플래그를 포함하는 피라미드 평면 세트를 나타낸다. 여기서, 사인 플래그는 가중치 벡터에 의해 정의되는 평면의 어느 쪽(side)이 서브스페이스의 내부인지(즉, 피라미드의 내부인지)를 나타낸다.
본 발명의 일 실시예에서 피라미드 형태 서브스페이스는 복수개의 평면에 의해 구성된다. 예를 들어, 도 2의 (B)를 참조하면, 각각의 서브스페이스는 두개의 면에 의해 정의될 수 있다(도 2에서는 1차원을 생략하여 선으로 표시함).
예를 들어, 서브스페이스를 L 평면이 구성한다고 가정하고, 임의의 지점(Z)가 해당 L 평면에 의해 형성되는 서브스페이스내에 위치하는 경우, 지점(Z)는 L개의 각 평면에 대해 하기 수 15를 만족해야 한다.
Figure 112014078038285-pat00051
Figure 112014078038285-pat00052
예를 들어, 수 15에서 가중치 벡터와 사인플래그를 포함하는 피라미드 평면 세트가 {[1,2,1]T,1}인 경우, 평면의 양수쪽(positive plane)이 해당 서브스페이스의 내부가 된다. 즉, 피라미드 평면 세트{[1,2,1]T,1}는,
Figure 112014078038285-pat00053
을 의미한다. 반면에 피라미드 평면 세트가 {[2,2,1]T, -1}인 경우, 평면의 음수쪽(negative side)이 해당 서브스페이스의 내부에 해당된다. 즉, 피라미드 평면 세트{[2,2,1]T,-1}는,
Figure 112014078038285-pat00054
이 된다.
도 2의 설명에 의해 가중치 스페이스상에서 각 평면과 서브스페이스에 대한 개념은 충분히 이해되었을 것이다.
다시 도 1을 참조하여, 단계 120에서 선형 분류기 설계 장치(100)는 신규 평면 추가에 따라 가중치 스페이스상의 각 서브스페이스를 분할하여 갱신한다.
이에 대해서는 도 4를 참조하여 내부점을 사용하여 분할 여부를 판단하고 각 서브스페이스를 갱신하는 방법에 대해 보다 상세히 설명하기로 한다. 도 5와 같이 새로 입력된 샘플에 의해 생성된 신규 평면을 바닥으로 가정하고, 임의의 서브스페이스를 신규 평면 위쪽(상위)에 위치하게 한 후 내부점을 작은 공으로 가정하여 낙하시키면, 신규 평면이 해당 서브스페이스를 분할하는 경우 내부점은 신규 평면에 도달하게 되는 것을 알 수 있다. 반면, 신규 평면이 해당 서브스페이스를 분할하지 않는 경우, 내부점은 신규 평면에 도달하지 않게 되는 것을 알 수 있다.
이를 다시 정리하면, 선형 분류기 설계 장치(100)는 서브스페이스의 내부점과 해당 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 부호값(이하, 제1 부호값이라 칭하기로 함)을 계산한다. 이어, 선형 분류기 설계 장치(100)는 서브스페이스의 내부점을 서브스페이스의 내부 경로를 따라 신규 평면으로 이동시키고, 이동된 내부점과 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 부호값(이하, 제2 부호값)을 계산한다.
그리고, 선형 분류기 설계 장치(100)는 제1 부호값과 제2 부호값이 동일한지를 확인하여 서브스페이스의 분할 여부를 결정할 수 있다. 예를 들어, 선형 분류기 설계 장치(100)는 제1 부호값과 제2 부호값이 동일하면 해당 서브스페이스를 신규 평면을 이용하여 분할할 수 있다. 그러나 만일 제1 부호값과 제2 부호값이 상이하면, 해당 서브스페이스는 분할되지 않을 수 있다.
이때, 선형 분류기 설계 장치(100)는 서브스페이스의 내부점을 서브스페이스의 내부 경로를 따라 신규 평면과 만날때까지 반복적으로 이동시키며 이동된 내부점과 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제2 부호값을 반복적으로 계산하여 제1 부호값과의 동일 여부를 판단하여 서브스페이스의 분할 여부를 결정할 수 있다.
즉, 신규 평면과 만날때까지 이동된 내부점과 서브스페이스를 구성하는 각 평면과의 수직벡터와의 내적에 따른 제2 부호값이 제1 부호값과 동일하면, 선형 분류기 설계 장치(100)는 서브스페이스를 분할하고, 만일 동일하지 않다면 서브스페이스를 분할하지 않을 수 있다.
도 4를 참조하여 이를 보다 명확하게 설명하기로 한다.
단계 410에서 선형 분류기 설계 장치(100)는 가중치 스페이스상에 존재하는 각 서브스페이스의 내부점을 신규 평면으로 각각 정사영(orthogonal projection)시킨다.
여기서, 내부점은 가중치 스페이스상의 서브스페이스내에 포함되는 임의의 지점(point)을 나타낸다. 즉, 내부점은 서브스페이스내에 위치하는 어떠한 지점으로 설정되어도 무방하다. 다만, 내부점은 해당 서브스페이스의 평면(plane)상에는 위치하지 않는 지점으로 설정되며, 가급적 서브스페이스내의 중심에 가까이 위치되도록 설정된다.
도 6을 참조하여 설명하면, 가중치 스페이스상에 제1 평면이 형성되어 있으며, 제1 평면에 의해 제1 서브스페이스(410), 제2 서브스페이스(420)이 각각 구분되어 있다고 가정하자.
이때, 신규 샘플에 대한 신규 평면이 추가되면, 선형 분류기 설계 장치(100)는 가중치 스페이스상에 이미 존재하는 서브스페이스(즉, 제1 서브스페이스(410)과 제2 서브스페이스(420))의 내부점을 신규 평면으로 정사영시킨다. 신규 평면 추가에 따라 서브 스페이스가 분할되는 경우 내부점을 갱신하는 방법에 대해서는 하기에서 다시 설명하기로 한다.
단계 415에서 선형 분류기 설계 장치(100)는 각 서브스페이스의 정사영된 내부점이 각 서브스페이스내에 위치하는지 여부를 판단한다.
예를 들어, 도 7을 참조하여 설명하면, 도 7에 도시된 바와 같이, 가중치 스페이스상에 두개의 평면이 구성되어 있으며, 두개의 평면에 의해 4개의 서브스페이스가 생성되어 있다고 가정하자. 이와 같은 상태에서 세번째 신규 입력데이터에 대한 신규 평면 추가에 따라 서브스페이스의 내부점을 신규 평면으로 정사영시킨다. 도 7에서는 제1 서브스페이스(710)의 내부점을 신규 평면으로 정사영시킨 일 예가 도시되어 있다.
예를 들어, 서브스페이스 S1의 내부점을 신규 평면으로 정사영시키면, 신규 평면으로 정사영된 내부점은 수 16을 통해 계산될 수 있다.
Figure 112014078038285-pat00055
여기서, C는 내부점을 나타낸다. 이에 따라, 신규 샘플(Y2=[-2,0,1]T)가 입력되어 신규 평면이 도 7과 같이 생성되었다고 가정하면, 서브스페이스 S1에 대해 설정된 내부점이 [-1,0,0]T라면, 신규 평면으로 정사영된 내부점은 [-1/5, 0, -2/5]T와 같이 계산될 수 있다.
각 서브스페이스의 정사영된 내부점이 각 서브스페이스내에 위치하면, 단계 420에서 선형 분류기 설계 장치(100)는 정사영된 내부점이 위치하는 서브스페이스를 신규 평면을 기준으로 분할한다.
도 7에 도시된 바와 같이 정사영된 내부점이 제1 서브스페이스(510)내에 위치하므로, 선형 분류기 설계 장치(100)는 제1 서브스페이스(510)를 분할 할 수 있다.
그러나 만일 정사영된 내부점이 각 서브스페이스내에 위치하지 않으면, 단계 425에서 선형 분류기 설계 장치(100)는 각 서브스페이스의 내부점을 신규 평면을 향해 서브스페이스 내부 경로를 따라 이동시킨다.
예를 들어, 선형 분류기 설계 장치(100)는 신규 평면에 대한 법선 벡터 중 서브스페이스(즉, 피라미드 서브스페이스)의 모든 면(기존 평면이라 칭하기로 함)과 평행한 법선 벡터가 존재하는 경우, 내부점을 신규 평면상으로 이동시킬 수 있다.
즉, 선형 분류기 설계 장치(100)는 도 8에 도시된 바와 같이, 신규 평면에 내부점 해당 서브스페이스내에 위치하지 않는 경우, 내부점을 기존 평면에 대해 평행 이동하여 피라미드 서브스페이스내에 위치하면서 신규평면으로 이동시킬 수 있다. 신규 평면에 대한 법선 벡터 중 서브스페이스(즉, 피라미드 서브스페이스)의 모든 면(기존 평면이라 칭하기로 함)과 평행한 법선 벡터가 존재하지 않는 경우에도 내부점을 해당 서브스페이스 내부에서 이동하면서 신규 평면에 도달할 수 있는 가능성이 있다. 이후 하기에서 도 9를 참조하여 설명하기로 한다.
단계 430에서 선형 분류기 설계 장치(100)는 신규 평면상으로 이동된 내부점이 해당 서브스페이스내에 위치하는지 여부를 판단한다.
만일 신규 평면으로 이동된 내부점이 해당 서브스페이스내에 위치하면, 단계 435에서 선형 분류기 설계 장치(100)는 신규 평면을 기준으로 서브스페이스를 분할한다.
그러나 만일 신규 평면으로 이동된 내부점이 해당 서브스페이스내에 위치하지 않으면, 단계 440에서 선형 분류기 설계 장치(100)는 신규 평면을 기준으로 서브스페이스를 분할하지 않는다.
도 9 및 도 10을 참조하여 이동된 내부점과 신규 평면의 한 지점까지의 패스(path)를 찾고, 이를 이용하여 신규 평면의 기존 서브스페이스 분할 여부를 결정하는 것에 대해 보다 상세히 설명하기로 한다.
도 9를 참조하여 설명하면, 선형 분류기 설계 장치(100)는 가중치 스페이스상에서 신규 평면이 추가되면, 제1 서브스페이스(S1)의 내부점을 신규 평면으로 정사영시킨다. 도 9에 도시된 바와 같이, 신규 평면에 정사영된 내부점은 해당 제1 서브스페이스에 위치되지 않는다. 따라서, 선형 분류기 설계 장치(100)는 제1 서브스페이스의 내부점을 신규 평면의 법선 벡터 방향으로 이동시키게 되고, 내부점의 신규 평면을 향한 법선 벡터 방향으로의 이동에 따라 피라미드 한 개의 평면에 의해 막히게 된다. 도 9에는 내부점의 신규 평면을 향한 법선 벡터 방향으로의 이동에 따라 해당 피라미드 평면과 만나게 된 지점이 P1으로 도시되어 있다.
이와 같이, 블라킹(blocking)된 피라미드 평면과 만나게 되면, 내부점은 블라킹된 피라미드 평면에 평행한 방향으로 신규 평면을 향해 이동된다. 이와 같이 신규 평면을 향해 평행 이동된 내부점이 신규 평면에 도달하면 신규 평면에 평행한 방향이 약간 이동된다. 약간 이동 후 피라미드 스페이스내에 내부점이 위치하게 되는 경우, 해당 신규 평면을 기준으로 서브스페이스는 분할될 수 있다.
다른 예를 들어, 도 10을 참조하여 설명하면, 제1 서브스페이스의 내부점을 신규 평면에 정사영시키면, 정사영된 내부점이 제1 서브스페이스내에 위치하지 않으므로, 선형 분류기 설계 장치(100)는 제1 서브스페이스의 내부점을 신규 평면의 법선 벡터 방향으로 이동시킨다. 이에 따라 신규 평면의 법선 벡터 방향으로 이동된 내부점을 제1 서브스페이스의 피라미드 평면을 만나게 된다. 해당 지점이 도 10에는 P1으로 도시되어 있다. 피라미드 평면과 만난 내부점은 블라킹된 피라미드 평면에 평행한 방향으로 신규 평면을 향해 이동된다. 이와 같이 신규 평면을 향해 평행 이동된 내부점이 신규 평면에 도달 후 신규 평면에 평행한 방향을 약간 이동하게 된다. 이 경우 약간 이동된 내부점이 가중치 스페이스상의 원점을 지나게 되어 더 이상 피라미드 스페이스내에 위치하지 않으므로, 해당 신규 평면에 따른 제1 서브스페이스는 분할하지 않는다.
지금까지 도 9 및 도 10을 참조하여 신규 평면에 정사영된 내부점이 서브스페이스에 위치하지 않는 경우, 내부점을 이동하는 방법에 대해 설명하였다.
다시 도 4를 참조하여, 선형 분류기 설계 장치(100)는 각 서브스페이스에 대한 내부점을 이용하여 해당 각 서브스페이스에 대한 갱신 과정(도 4)을 반복하여 수행할 수 있다. 또한, 선형 분류기 설계 장치(100)는 각 서브스페이스에 대한 갱신 과정이 완료되면, 신규 평면에 도달한 내부점을 신규 평면 법선 벡터 양방향으로 이동시켜 해당 분할된 서브스페이스의 내부점으로 설정할 수 있다(도 11 참조).
다시, 도 1을 참조하여, 가중치 스페이스상에 존재하는 각 서브스페이스의 신규 평면에 의해 구분되는 서브스페이스를 갱신하는 과정이 완료되면, 단계 125에서 선형 분류기 설계 장치(100)는 갱신된 서브스페이스의 어느 하나의 내부점(가중치 벡터)을 가중치 벡터로 선택하여 선형 분류기를 결정한다.
최대 정확도를 갖는 서브스페이스에서 가중치 벡터를 선정시, 가급적 중심에 위치한 가중치 벡터를 선정하도록 할 수 있다. 이에 대해서는 도 3을 참조하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
상술한 바와 같이, 가중치 스페이스상에서 각 샘플을 가중치 스페이스상의 한 평면으로 구성하여 해당 샘플을 최적으로 분류할 수 있는 가중치 벡터, 즉 최적 선형 분류기를 도출할 수 있다.
이미 전술한 바와 같이, 각각의 서브스페이스는 분류 정확도가 설정될 수 있다. 이에 따라, 선형 분류기 설계 장치(100)는 최종 갱신된 서브스페이스들 중 분류 정확도가 가장 높게 설정되거나 분류 정확도가 기준치 이상으로 설정된 서브스페이스들 중 어느 하나의 포인트(가중치 벡터)를 선택할 수 있다.
도 12는 본 발명의 일 실시예에 따른 선형 분류기 설계 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 선형 분류기 설계 장치(100)는 평면 계산부(1210), 갱신부(1215), 가중치 벡터 선택부(1220), 메모리(1225) 및 제어부(1230)를 포함하여 구성된다.
평면 계산부(1210)는 N(2이상의 자연수)차원 가중치 스페이스상에서 신규 샘플에 대한 신규 평면을 구성할 수 있다. 예를 들어, 평면 계산부(1210)는 신규 샘플을 가중치 벡터에 대한 일차방정식을 구하여 신규 평면을 구성할 수 있다. 전술한 바와 같이, 샘플에 상수항을 추가하여 차원을 확정하고, 차원이 확장된 샘플에 대해 가중치 스페이스상에서의 신규 평면을 생성할 수 있다. 이는 도 1에서 전술한 바와 동일하므로 상세한 설명은 생략하기로 한다.
갱신부(1215)는 신규 평면에 의해 가중치 스페이스상에 존재하는 각 서브스페이스의 분할 여부를 판단하여 해당 서브스페이스를 갱신하는 기능을 수행한다.
예를 들어, 갱신부(1015)는 각 서브스페이스의 내부점을 상기 신규 평면상으로 이동하여 내부점이 각 서브스페이스내에 위치하면, 신규 평면에 의해 구분되는 서브스페이스를 분할하여 갱신할 수 있다.
또한, 갱신부(1215)는 복수개의 부등식의 해를 구하여 서브스페이스의 분할 여부를 결정할 수 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
가중치 벡터 선택부(1220)는 갱신된 서브스페이스내의 하나의 내부점을 가중치 벡터로 선택하는 기능을 수행한다.
가중치 벡터 선택부(1220)는 갱신된 서브스페이스의 분류 정확도를 고려하여 분류 정확도가 가장 높은 서브스페이스내의 임의의 내부점(가중치 벡터)을 선택할 수 있다.
메모리(1225)는 본 발명의 일 실시예에 따른 선형 분류기 설계 장치(100)를 운용하기 위해 필요한 알고리즘, 데이터 등을 저장하는 기능을 한다.
제어부(1230)는 본 발명의 일 실시예에 따른 선형 분류기 설계 장치(100)의 내부 구성 요소들(예를 들어, 평면 계산부(1210), 갱신부(1215), 가중치 벡터 선택부(1220), 메모리(1225) 등)을 제어하는 기능을 한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1210: 평면 계산부
1215: 갱신부
1220: 가중치 벡터 선택부
1225: 메모리
1230: 제어부

Claims (18)

  1. 가중치 벡터를 선정하여 샘플에 대한 선형 분류를 수행하는 선형 분류기를 설계하는 방법으로서,
    N(2이상의 자연수)차원 가중치 스페이스상에서 샘플에 대한 신규 평면을 구성하는 단계;
    상기 가중치 스페이스에 존재하는 적어도 하나 이상의 서브스페이스가 상기 신규 평면에 의해 분할되는지 여부를 결정하는 단계;
    만일 분할되는 것으로 결정되면 상기 서브스페이스를 2개의 서브스페이스로 분할하고, 상기 샘플에 대한 상기 신규 평면에 관한 정보를 상기 2개의 서브스페이스에 추가하여 갱신하는 단계; 및
    상기 갱신된 서브스페이스내의 하나의 내부점을, 가중치 벡터로 선택하는 단계를 포함하며,
    상기 샘플은 상기 가중치 벡터의 위치에 따라 맞게 또는 틀리게 분류되는
    선형 분류기 설계 방법.
  2. 제1 항에 있어서,
    각 서브스페이스는 분류 정확도가 설정되되,
    상기 가중치 벡터는 상기 각 서브스페이스 중 분류 정확도가 가장 높은 서브스페이스내의 하나의 내부점으로 선택되는 것을 특징으로 하는 선형 분류기 설계 방법.
  3. 제1 항에 있어서,
    각 서브스페이스는 분류 정확도가 설정되되,
    상기 신규 평면에 의해 분할되는지 여부를 결정시, 상기 분류 정확도가 기준치 이하인 서브스페이스는 제외하는 것을 특징으로 하는 선형 분류기 설계 방법.
  4. 제1 항에 있어서,
    상기 신규 평면은,
    상기 샘플에 상수항을 추가하여 차원을 확장한 후 구성되는 것을 특징으로 하는 선형 분류기 설계 방법.
  5. 제1 항에 있어서,
    상기 서브스페이스의 분할 여부를 결정하는 단계는,
    상기 신규 평면이 위치되는 서브스페이스를 구성하는 각 평면에 대한 부등식과 상기 신규 평면에 대한 부등식의 해가 존재하면 상기 서브스페이스는 분할되는 것으로 결정되는 것을 특징으로 하는 선형 분류기 설계 방법.
  6. 제1 항에 있어서,
    상기 신규 평면에 관한 정보를 상기 2개의 서브스페이스에 추가하여 갱신하는 단계는,
    상기 가중치 스페이스에서 상기 신규 평면을 바닥으로 설정하고, 상기 가중치 스페이스에 존재하는 서브스페이스를 상기 신규 평면의 상위에 위치시킨 후 상기 서브스페이스내의 내부점을 이동시켜 상기 내부점이 상기 신규 평면으로 이동되면, 상기 서브스페이스를 상기 2개의 서브스페이스로 분할하는 단계; 및
    상기 서브스페이스내의 내부점이 상기 신규 평면으로 이동되지 않으면, 상기 서브스페이스를 분할하지 않는 단계를 포함하는 것을 특징으로 하는 선형 분류기 설계 방법.
  7. 제1 항에 있어서,
    상기 신규 평면에 관한 정보를 상기 2개의 서브스페이스에 추가하여 갱신하는 단계는,
    상기 서브스페이스의 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제1 부호값을 계산하는 단계;
    상기 서브스페이스의 내부점을 상기 서브스페이스 내부 경로를 따라 상기 신규 평면으로 이동시키고, 상기 이동된 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제2 부호값을 계산하는 단계; 및
    상기 제1 부호값과 상기 제2 부호값이 동일하면, 상기 이동된 내부점이 상기 서브스페이스내에 위치하는 것으로 판단하여 상기 신규 평면을 기준으로 상기 서브스페이스를 상기 2개의 서브스페이스로 분할하여 갱신하는 단계를 포함하되,
    상기 제2 부호값을 계산하는 단계는 상기 서브스페이스의 내부점이 상기 신규 평면과 만날때까지 반복적으로 수행되는 것을 특징으로 하는 선형 분류기 설계 방법.
  8. 제7 항에 있어서,
    상기 서브스페이스를 분할하여 갱신하는 단계는,
    상기 제1 부호값과 상기 제2 부호값이 동일하지 않으면, 상기 서브스페이스의 상기 내부점이 상기 서브스페이스내에 위치하지 않는 것으로 판단하여 상기 신규 평면을 분할하지 않는 것을 특징으로 하는 선형 분류기 설계 방법.
  9. 제1 항 내지 제8 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록 매체 제품.
  10. 가중치 벡터를 선정하여 샘플에 대한 선형 분류를 수행하는 선형 분류기를 설계하는 장치로서,
    N(2이상의 자연수)차원 가중치 스페이스상에서 샘플에 대한 신규 평면을 구성하는 평면 계산부;
    상기 가중치 스페이스에 존재하는 적어도 하나 이상의 서브스페이스가 상기 신규 평면에 의해 분할되는지 여부를 결정하고, 만일 분할되는 것으로 결정되면 상기 서브스페이스를 2개의 서브스페이스로 분할하고, 상기 샘플에 대한 상기 신규 평면에 관한 정보를 상기 2개의 서브스페이스에 추가하여 갱신하는 갱신부; 및
    상기 갱신된 서브스페이스내의 하나의 내부점을 가중치 벡터로 선택하는 가중치 벡터 선택부를 포함하며,
    상기 샘플은 상기 가중치 벡터의 위치에 따라 맞게 또는 틀리게 분류되는
    선형 분류기 설계 장치.
  11. 제10 항에 있어서,
    각 서브스페이스는 분류 정확도가 설정되되,
    상기 가중치 벡터는 상기 각 서브스페이스 중 분류 정확도가 가장 높은 서브스페이스내의 하나의 내부점으로 선택되는 것을 특징으로 하는 선형 분류기 설계 장치.
  12. 제10 항에 있어서,
    각 서브스페이스는 분류 정확도가 설정되되,
    상기 갱신부는,
    상기 분류 정확도가 기준치 이하인 서브스페이스는 제외하고 상기 신규 평면에 의해 상기 서브스페이스가 분할되는지 여부를 결정하는 것을 특징으로 하는 선형 분류기 설계 장치.
  13. 제10 항에 있어서,
    상기 신규 평면은 상기 샘플에 상수항을 추가하여 차원을 확장한 후 구성되는 것을 특징으로 하는 선형 분류기 설계 장치.
  14. 제10 항에 있어서,
    상기 갱신부는,
    상기 신규 평면이 위치되는 서브스페이스를 구성하는 각 평면에 대한 부등식과 상기 신규 평면에 대한 부등식의 해가 존재하면 상기 서브스페이스는 분할되는 것으로 결정하는 것을 특징으로 하는 선형 분류기 설계 장치.
  15. 제 10항에 있어서,
    상기 갱신부는,
    상기 가중치 스페이스에서 상기 신규 평면을 바닥으로 설정하고, 상기 가중치 스페이스에 존재하는 서브스페이스를 상기 신규 평면의 상위에 위치시킨 후 상기 서브스페이스내의 내부점을 이동시켜 상기 내부점이 상기 신규 평면으로 이동되면, 상기 서브스페이스를 상기 2개의 서브스페이스로 분할하고, 상기 서브스페이스내의 내부점이 상기 신규 평면으로 이동되지 않으면, 상기 서브스페이스를 분할하지 않는 것을 특징으로 하는 선형 분류기 설계 장치.
  16. 제10 항에 있어서,
    상기 갱신부는,
    상기 서브스페이스의 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제1 부호값을 계산하고, 상기 서브스페이스의 내부점을 상기 서브스페이스 내부 경로를 따라 상기 신규 평면으로 이동시키고, 상기 이동된 내부점과 상기 서브스페이스를 구성하는 각 평면의 수직벡터와의 내적에 따른 제2 부호값을 계산하며, 상기 제1 부호값과 상기 제2 부호값이 동일하면, 상기 이동된 내부점이 상기 서브스페이스내에 위치하는 것으로 판단하여 상기 신규 평면을 기준으로 상기 서브스페이스를 상기 2개의 서브스페이스로 분할하여 갱신하되,
    상기 제2 부호값의 계산은 상기 서브스페이스의 내부점이 상기 신규 평면과 만날때까지 반복적으로 수행되는 것을 특징으로 하는 선형 분류기 설계 장치.
  17. 제16 항에 있어서,
    상기 갱신부는,
    상기 제1 부호값과 상기 제2 부호값이 동일하지 않으면, 상기 서브스페이스의 상기 내부점이 상기 서브스페이스내에 위치하지 않는 것으로 판단하여 상기 신규 평면을 분할하지 않는 것을 특징으로 하는 선형 분류기 설계 장치.
  18. 제16 항에 있어서,
    상기 갱신부는 상기 신규 평면상으로 이동된 내부점을 분할된 서브스페이스의 법선 양방향으로 이동시켜 상기 분할된 서브스페이스의 내부점으로 설정하는 것을 특징으로 하는 선형 분류기 설계 장치.
KR1020140107260A 2014-08-18 2014-08-18 선형 분류기 설계 방법 및 그 장치 KR101562141B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140107260A KR101562141B1 (ko) 2014-08-18 2014-08-18 선형 분류기 설계 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140107260A KR101562141B1 (ko) 2014-08-18 2014-08-18 선형 분류기 설계 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101562141B1 true KR101562141B1 (ko) 2015-10-20

Family

ID=54400054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140107260A KR101562141B1 (ko) 2014-08-18 2014-08-18 선형 분류기 설계 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101562141B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127257A (zh) * 2016-06-30 2016-11-16 联想(北京)有限公司 一种数据分类方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133411A (ja) 2000-08-17 2002-05-10 Canon Inc 情報処理方法、情報処理装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002133411A (ja) 2000-08-17 2002-05-10 Canon Inc 情報処理方法、情報処理装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127257A (zh) * 2016-06-30 2016-11-16 联想(北京)有限公司 一种数据分类方法及电子设备

Similar Documents

Publication Publication Date Title
US11455515B2 (en) Efficient black box adversarial attacks exploiting input data structure
KR102219346B1 (ko) 베이지안 최적화를 수행하기 위한 시스템 및 방법
US10460232B2 (en) Method and apparatus for classifying data, and method and apparatus for segmenting region of interest (ROI)
US10970313B2 (en) Clustering device, clustering method, and computer program product
US20160275415A1 (en) Reader learning method and device, data recognition method and device
JP2015203946A (ja) ヒストグラムの重心を計算する方法
JP6862914B2 (ja) 解析プログラム、解析方法および解析装置
CN110059288B (zh) 用于获得促进机器学习任务用的最佳母小波的系统和方法
Karaca et al. Comparison of deep learning and support vector machine learning for subgroups of multiple sclerosis
JP6589639B2 (ja) 検索システム、検索方法およびプログラム
US20180173726A1 (en) Generation device, generation method, and non-transitory computer-readable recording medium
KR101562141B1 (ko) 선형 분류기 설계 방법 및 그 장치
US11295229B1 (en) Scalable generation of multidimensional features for machine learning
EP2890043B1 (en) Space division method, space division device, and space division program
Carey Graph construction for manifold discovery
Boiculese et al. Improving recall of k-nearest neighbor algorithm for classes of uneven size
EP3038019A1 (en) Designing a choropleth map
Orozco-Alzate et al. Towards better volcanic risk-assessment systems by applying ensemble classification methods to triaxial seismic-volcanic signals
KR20160107725A (ko) 고차원 데이터를 위한 색인 구조 생성 방법
KR101596590B1 (ko) 점진 학습 및 국부 조정이 가능한 분류기 설계 방법 및 그 장치
Nyman et al. Marginal and simultaneous predictive classification using stratified graphical models
US11361219B1 (en) Feature selection of neural activity using hierarchical clustering with stochastic search
Rahaman et al. Robustification of gaussian bayes Classifier by the minimum β-divergence method
KR102176207B1 (ko) 시뮬레이션을 이용하는 최적해 결정 방법
Goncharov et al. Analysis of dissimilarity set between time series

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant