KR101722871B1 - Apparatus and method for selecting optimal parameter of support vector machine - Google Patents

Apparatus and method for selecting optimal parameter of support vector machine Download PDF

Info

Publication number
KR101722871B1
KR101722871B1 KR1020160033425A KR20160033425A KR101722871B1 KR 101722871 B1 KR101722871 B1 KR 101722871B1 KR 1020160033425 A KR1020160033425 A KR 1020160033425A KR 20160033425 A KR20160033425 A KR 20160033425A KR 101722871 B1 KR101722871 B1 KR 101722871B1
Authority
KR
South Korea
Prior art keywords
parameter
classification performance
current position
support vector
vector machine
Prior art date
Application number
KR1020160033425A
Other languages
Korean (ko)
Inventor
김종면
김재영
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020160033425A priority Critical patent/KR101722871B1/en
Application granted granted Critical
Publication of KR101722871B1 publication Critical patent/KR101722871B1/en

Links

Images

Classifications

    • G06F15/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N99/005—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an apparatus and a method of selecting an optimal parameter of a support vector machine. More specifically, the apparatus comprises: a parameter space management unit to extract first and second parameter values of a current position and a neighboring position by designating an initial position as the current position in a parameter space of a lattice structure where first and second parameters of a support vector machine (SVM) are constituted by respective axes; an SVM learning unit for learning the SVM to learn the data using the extracted first and second parameter values; a classification performance calculating unit to calculate classification performance of the current position and classification performance of the neighboring position with respect to the classification data based on the learned SVM, and calculating a classification performance difference value between the calculated classification performances of the current position and the neighboring position; and a parameter setting unit to compare the calculated classification performance difference value with a preset performance difference value to set the first and second parameters of the current position as parameters of the SVM in accordance with the comparison result.

Description

서포트 벡터 머신의 최적 파라미터 선택 장치 및 방법{APPARATUS AND METHOD FOR SELECTING OPTIMAL PARAMETER OF SUPPORT VECTOR MACHINE}[0001] APPARATUS AND METHOD FOR SELECTING OPTIMAL PARAMETER OF SUPPORT VECTOR MACHINE [0002]

본 명세서는 서포트 벡터 머신의 최적 파라미터 선택 장치 및 방법에 관한 것으로서, 더욱 상세하게는 서포트 벡터 머신의 최적 파라미터를 신속하게 설정할 수 있는, 서포트 벡터 머신의 최적 파라미터 선택 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for selecting optimal parameters of a support vector machine, and more particularly to an apparatus and method for selecting optimal parameters of a support vector machine capable of quickly setting optimal parameters of a support vector machine.

서포트 벡터 머신(support vector machine, SVM)은 기계 학습 알고리즘 중 하나로 패턴 인식에 주로 사용된다.The support vector machine (SVM) is one of the machine learning algorithms and is mainly used for pattern recognition.

서포트 벡터 머신은 문자 인식(hand-writing text, printed text) 분야, 물체 인식 분야, 기계 상태 진단 분야, 음성 인식 분야, 의학 영상 분석 분야 등 다양한 분야에서 활용되고 있다.The support vector machine is used in various fields such as hand-writing text, printed text, object recognition, machine state diagnosis, speech recognition, and medical image analysis.

여기서, 문자 인식 분야는 기존에 쓰인 문자들의 패턴을 학습하여 새로 입력된 문자를 인식하는 분야를 나타낸다.Here, the character recognizing field represents a field for recognizing a newly input character by learning patterns of characters used in the past.

물체 인식 분야는 촬영한 물체 이미지들의 패턴을 학습하여 새로 입력된 물체 이미지가 어떤 물체를 촬영한 것인지 인식하는 분야를 나타낸다.The object recognition field shows an area in which a newly input object image learns which object is photographed by learning patterns of photographed object images.

기계 상태 진단 분야는 기계 상태별로 진동, 음향방출, 전기 신호의 패턴을 학습하고 새로 입력된 신호의 패턴을 분석하여 현재 상태를 진단하는 분야를 나타낸다.In the field of machine condition diagnosis, vibration, acoustic emission, electric signal patterns are learned according to machine state, and the pattern of newly input signals is analyzed to diagnose the current state.

음성 인식 분야는 여러 사람의 음성과 그 음성의 내용의 패턴을 학습하여 새로 입력된 음성의 내용을 인식하는 분야를 나타낸다.The speech recognition field represents a field of recognizing the contents of a newly inputted voice by learning patterns of contents of a voice of a plurality of people and the voice.

의학영상 분석 분야는 암, 종양, 골절 등의 의학영상으로 확인 가능한 각종 건강상태의 패턴을 학습하고 새로 입력된 영상을 자동으로 분석하여 건강상태를 진단하는 분야를 나타낸다.The field of medical image analysis is a field that learns patterns of various health conditions that can be confirmed by medical images such as cancer, tumor, fracture, and automatically analyzes new input images to diagnose health condition.

서포트 벡터 머신(SVM)의 성능 향상은 패턴인식의 성공률과 직결된다.The performance improvement of the support vector machine (SVM) is directly related to the pattern recognition success rate.

이러한 서포트 벡터 머신은 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 하여 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만든다. 만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM 알고리즘은 두 카테고리 사이에서 가장 큰 폭을 가진 경계를 찾는 알고리즘이다.When such a support vector machine is given a set of data belonging to one of the two categories, the SVM algorithm creates a non-probabilistic binary linear classification model that judges to which category the new data belongs based on the given data set. The SVM algorithm is an algorithm that finds the boundary with the largest width between the two categories.

도 1은 일반적인 서포트 벡터 머신에서 학습 및 분류 과정에 대한 설명도이다.1 is an explanatory view of a learning and classification process in a general support vector machine.

우선, 기계학습 알고리즘은 지도식 기계학습 알고리즘과 비지도식 기계학습 알고리즘으로 구분된다.First, the machine learning algorithm is classified into a map-based machine learning algorithm and a non-geometry machine learning algorithm.

비지도식 기계학습 알고리즘에는 K-means 알고리즘과 같이, 데이터의 유사도만을 이용하여 분류하는 것을 나타낸다.The non-diagrammed machine learning algorithm shows classification using only the similarity of data, like the K-means algorithm.

지도식 기계학습 알고리즘은 미리 클래스 정보를 획득하고, 그 획득된 클래스 정보에 따라 분류하는 것을 나타낸다.The map-based machine learning algorithm indicates that class information is obtained in advance and classified according to the obtained class information.

도 1의 (a)에 도시된 바와 같이, 일반적인 서포트 벡터 머신에서는 미리 분류된 학습 데이터를 학습하는 과정을 수행한다. 학습 과정은 각 그룹의 학습 데이터들을 양쪽으로 나누는 여백(101)을 최대로 하는 최적의 초평면(100)을 생성한다. 여기서, 서포트 벡터(111)는 학습 데이터들을 나누는 여백(101)과 인접한 학습 데이터를 나타낸다. 서포트 벡터(111)는 초평면(100)의 양쪽에 위치한 초평면 여백(101)에 위치하게 된다.As shown in FIG. 1 (a), in a typical support vector machine, a process of learning learning data classified in advance is performed. The learning process generates an optimal hyperplane 100 that maximizes the margin 101 dividing the learning data of each group into two. Here, the support vector 111 represents the learning data adjacent to the margin 101 for dividing the learning data. The support vector 111 is located in the hyperplane space 101 located on both sides of the hyperplane 100.

그리고 도 1의 (b)에 도시된 바와 같이, 일반적인 서포트 벡터 머신은 학습 데이터의 학습된 결과에 따라 입력 데이터(121)를 분류하는 과정을 수행한다. 분류 과정은 초평면(100)과 입력 데이터(121) 사이의 거리(122)를 측정하여 그 거리값(122)의 부호에 따라 하나의 그룹으로 분류한다. 여기서, 그 거리값(122)이 분류 결정값이 된다.As shown in FIG. 1 (b), a general support vector machine performs a process of classifying input data 121 according to a learned result of learning data. In the classification process, the distance 122 between the hyperplane 100 and the input data 121 is measured and classified into one group according to the sign of the distance value 122. [ Here, the distance value 122 becomes a classification determination value.

이러한 서포트 벡터 머신은 선형 분류와 더불어 비선형 분류에서도 사용될 수 있다. 비선형 분류를 하기 위해서 주어진 데이터를 고차원 특징 공간으로 사상하는 작업이 필요하다. 이를 효율적으로 하기 위해 커널 트릭이 사용된다.This support vector machine can be used in nonlinear classification as well as linear classification. In order to perform nonlinear classification, it is necessary to map the given data to the high dimensional feature space. To make this efficient, kernel tricks are used.

한편, 서포트 벡터 머신을 이용한 데이터 분류 과정에서는 정해진 범위 내에서 항상 최적의 SVM의 분류 오류 파라미터와 비선형 조절 파라미터의 파라미터 조합을 찾게 된다. 이때, 종래의 서포트 벡터 머신을 이용한 학습 과정에서는 서포트 벡터 머신의 모든 파라미터의 조합에 대해 서포트 벡터 머신을 학습시킨다. 그리고 그 학습된 서포트 벡터 머신을 이용하여 데이터를 분류하여 분류성능을 계산하기 때문에 시간이 오래 걸린다는 단점이 있다. 예를 들면, 이러한 서포트 벡터 머신을 이용한 학습 방법은 온라인 학습 시에 부적합할 수 있다.On the other hand, in the data classification process using the support vector machine, the parameter combination of the optimal SVM classification error parameter and the nonlinear adjustment parameter is always found within a predetermined range. At this time, in the learning process using the conventional support vector machine, the support vector machine is learned for all combinations of parameters of the support vector machine. Then, since the classification performance is calculated by classifying the data using the learned support vector machine, it takes a long time. For example, such a learning method using a support vector machine may be unsuitable for online learning.

대한민국 공개특허공보 제10-2011-0080246호(2011.07.13. 공개)Korean Patent Publication No. 10-2011-0080246 (published on July 13, 2011)

본 명세서의 실시 예들은 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 현재 위치 및 주변 위치의 분류 성능 차이값을 기설정된 성능 차이값을 비교하여 서포트 벡터 머신의 파라미터로 설정함으로써, 최적 파라미터를 신속하게 검출하여 서포트 벡터 머신의 최적 파라미터를 설정할 수 있는, 서포트 벡터 머신의 최적 파라미터 선택 장치 및 방법을 제공하고자 한다.Embodiments of the present invention support classification performance difference values between a current position and a neighboring position in a parameter space of a lattice structure in which first and second parameters of a support vector machine (SVM) And setting an optimal parameter of the support vector machine by quickly detecting the optimum parameter by setting the optimal parameter to the parameter of the vector machine.

본 명세서의 제1 측면에 따르면, 서포트 벡터 머신(SVM: support vector machine)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 초기 위치를 현재 위치로 지정하여 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출하는 파라미터 공간 관리부; 상기 추출된 제1 및 제2 파라미터 값을 이용하여 학습 데이터에 대한 서포트 벡터 머신(SVM)을 학습하는 SVM 학습부; 상기 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 분류 성능 계산부; 및 상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고 상기 비교 결과에 따라 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 파라미터 설정부를 포함하는 서포트 벡터 머신의 최적 파라미터 선택 장치가 제공될 수 있다.According to the first aspect of the present invention, an initial position is designated as a current position in a parameter space of a lattice structure in which first and second parameters of a support vector machine (SVM) A parameter space management unit for extracting first and second parameter values of the first parameter value; An SVM learning unit for learning a support vector machine (SVM) for learning data using the extracted first and second parameter values; Calculating classification performance of the current position and classification performance of the neighboring position with respect to the classification data based on the learned support vector machine and calculating the classification performance difference between the calculated classification performance of the current position and the neighboring position, part; And a parameter setting section for comparing the calculated classification performance difference value with a predetermined performance difference value and setting first and second parameters of a current position as parameters of a support vector machine according to the comparison result, A parameter selection device may be provided.

상기 파라미터 공간 관리부는, 상기 현재 위치를 임의 위치 또는 기설정된 공간 위치로 지정할 수 있다.The parameter space management unit may designate the current position as an arbitrary position or a predetermined space position.

상기 파라미터 공간 관리부는, 상기 서포트 벡터 머신에서의 초평면 생성을 위한 최적화 함수에서 분류 오류 패널티인 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터를 격자 구조의 파라미터 공간에서 추출할 수 있다.Wherein the parameter space management unit includes a first parameter that is a classification error penalty in the optimization function for generating a hyperplane in the support vector machine and a second parameter that is a nonlinear adjustment parameter of the kernel function in the optimization function modified in the Lagrangian- Can be extracted from the parameter space of the structure.

상기 분류 성능 계산부는 상기 현재 위치의 분류 성능을 계산하고, 상기 현재 위치에서 상하좌우 방향, 대각선 방향 또는 모든 방향으로 인접한 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치의 분류 성능 및 상기 계산된 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산할 수 있다.Wherein the classification performance calculator calculates the classification performance of the current position and calculates the classification performance of neighboring positions adjacent to each other in the up, down, left, right, diagonal, or all directions at the current position, The classification performance difference value between the classification performance of the neighboring positions can be calculated.

상기 분류 성능 계산부는 상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 이상인지를 확인하고, 상기 파라미터 공간 관리부는 상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 미만이면 상기 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정하고, 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출할 수 있다.Wherein the classification performance calculation unit determines whether the calculated classification performance of the current location is equal to or greater than a predetermined classification performance value and the parameter space management unit determines that the current location is less than the predetermined classification performance value, Reset the position in the arbitrary direction to the current position, and extract the first and second parameter values again according to the reset current position.

상기 파라미터 공간 관리부는 상기 비교된 분류 성능 차이값과 기설정된 성능 차이값의 비교 결과, 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정하고, 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출할 수 있다.Wherein the parameter space management unit is configured to compare the classification performance difference value with a predetermined performance difference value and to output the current position as a maximum classification performance difference value if the calculated classification performance difference value exceeds a preset performance difference value And re-extract the first and second parameter values according to the reset current position.

상기 파라미터 설정부는 상기 비교된 분류 성능 차이값과 기설정된 성능 차이값의 비교 결과, 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면 상기 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정할 수 있다.Wherein the parameter setting unit sets the first and second parameters of the current position as a support vector machine when the calculated classification performance difference value is less than or equal to a preset performance difference value as a result of a comparison between the compared classification performance difference value and a predetermined performance difference value, As shown in FIG.

한편, 본 명세서의 제2 측면에 따르면, 서포트 벡터 머신(SVM: support vector machine)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 초기 위치를 현재 위치로 지정하여 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출하는 단계; 상기 추출된 제1 및 제2 파라미터 값을 이용하여 학습 데이터에 대한 서포트 벡터 머신을 학습하는 단계; 상기 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 단계; 및 상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고 상기 비교 결과에 따라 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 단계를 포함하는 서포트 벡터 머신의 최적 파라미터 선택 방법이 제공될 수 있다.According to the second aspect of the present invention, an initial position is designated as a current position in a parameter space of a lattice structure in which first and second parameters of a support vector machine (SVM) Extracting first and second parameter values of a peripheral position; Learning a support vector machine for learning data using the extracted first and second parameter values; Calculating classification performance of the current position and classification performance of the neighboring position with respect to the classification data based on the learned support vector machine and calculating a classification performance difference value between the calculated classification performance of the current position and the neighboring position; And comparing the computed classification performance difference value with a predetermined performance difference value and setting the first and second parameters of the current position as parameters of the support vector machine according to the comparison result. A selection method can be provided.

상기 제1 및 제2 파라미터 값을 추출하는 단계는, 상기 현재 위치를 임의 위치 또는 기설정된 공간 위치로 지정할 수 있다.The step of extracting the first and second parameter values may designate the current position as an arbitrary position or a predetermined space position.

상기 제1 및 제2 파라미터 값을 추출하는 단계는, 상기 서포트 벡터 머신에서의 초평면 생성을 위한 최적화 함수에서 분류 오류 패널티인 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터를 격자 구조의 파라미터 공간에서 추출할 수 있다.Wherein the step of extracting the first and second parameter values comprises: a first parameter, which is a classification error penalty in an optimization function for generating a hyperplane in the support vector machine; and a second parameter that is a nonlinear function of a kernel function in an optimization function transformed into a Lagrangian- The second parameter, which is an adjustment parameter, can be extracted from the parameter space of the lattice structure.

상기 분류 성능 차이값을 계산하는 단계는 상기 현재 위치의 분류 성능을 계산하고, 상기 현재 위치에서 상하좌우 방향, 대각선 방향 또는 모든 방향으로 인접한 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치의 분류 성능 및 상기 계산된 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산할 수 있다.Wherein the step of calculating the classification performance difference comprises calculating the classification performance of the current position and calculating the classification performance of neighboring positions in the up, down, left, right, diagonal, or all directions at the current position, The classification performance difference between the classification performance and the classification performance of the calculated peripheral position can be calculated.

상기 방법은, 상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 이상인지를 확인하는 단계; 상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 미만이면, 상기 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정하는 단계; 및 상기 제1 및 제2 파라미터 값을 추출하는 단계는 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 단계를 더 포함할 수 있다.Determining whether the calculated current location classification performance is greater than or equal to a predetermined classification performance value; Resetting the position in the arbitrary direction at the current position to the current position if the calculated classification performance of the current position is less than the predetermined classification performance value; And extracting the first and second parameter values may further include extracting the first and second parameter values according to the reset current position.

상기 서포트 벡터 머신의 파라미터로 설정하는 단계는 상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하는 단계; 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면 상기 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 단계; 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정하는 단계; 및 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 단계를 포함할 수 있다.Wherein setting the parameters of the support vector machine comprises: comparing the calculated classification performance difference value with a predetermined performance difference value; Setting the first and second parameters of the current position as parameters of a support vector machine if the calculated classification performance difference value is less than or equal to a predetermined performance difference value; Resetting the current position to a position where the classification performance difference value is maximum if the calculated classification performance difference value exceeds a predetermined performance difference value; And re-extracting the first and second parameter values according to the reset current position.

본 명세서의 실시 예들은 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 현재 위치 및 주변 위치의 분류 성능 차이값을 기설정된 성능 차이값을 비교하여 서포트 벡터 머신의 파라미터로 설정함으로써, 최적 파라미터를 신속하게 검출하여 서포트 벡터 머신의 최적 파라미터를 설정할 수 있다.Embodiments of the present invention support classification performance difference values between a current position and a neighboring position in a parameter space of a lattice structure in which first and second parameters of a support vector machine (SVM) By setting the parameter of the vector machine, it is possible to quickly detect the optimum parameter and set the optimal parameter of the support vector machine.

도 1은 일반적인 서포트 벡터 머신에서 학습 및 분류 과정에 대한 설명도이다.
도 2는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 분류 오류 패널티를 나타내는 제1 파라미터의 설명도이다.
도 3은 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 분류 오류 패널티 값의 변화에 따른 초평면의 변화에 대한 설명도이다.
도 4는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 커널 함수의 비선형 조절 파라미터를 나타내는 제2 파라미터의 설명도이다.
도 5는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 커널 트릭의 비선형 조절 파라미터 값의 변화에 따른 초평면의 변화에 대한 설명도이다.
도 6은 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 제1 및 제2 파라미터 값의 변화에 따른 분류 성능 패턴에 대한 설명도이다.
도 7은 본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 장치의 구성도이다.
도 8은 본 명세서의 실시 예에 따른 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에 대한 설명도이다.
도 9는 본 명세서의 실시 예에 따른 격자 구조의 파라미터 공간에서 현재 위치 및 주변 위치 간의 분류 성능 차이값을 계산하는 과정에 대한 설명도이다.
도 10은 본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 방법에 대한 흐름도이다.
도 11은 종래 및 본 명세서의 실시 예에 따른 최적 파라미터 선택 결과에 대한 설명도이다.1 is an explanatory view of a learning and classification process in a general support vector machine.
2 is an illustration of a first parameter representing a classification error penalty in a support vector machine applied to an embodiment of the present disclosure;
FIG. 3 is an explanatory diagram of a change in a hyperplane according to a change in classification error penalty value in a support vector machine applied to the embodiment of the present invention. FIG.
4 is an illustration of a second parameter representing a nonlinear control parameter of a kernel function in a support vector machine applied to an embodiment of the present invention;
FIG. 5 is an explanatory diagram of a change in a hyperplane according to a change in non-linear control parameter value of a kernel trick in a support vector machine applied to an embodiment of the present invention. FIG.
6 is an explanatory diagram of a classification performance pattern according to changes of first and second parameter values in a support vector machine applied to an embodiment of the present invention.
7 is a block diagram of an optimum parameter selecting apparatus for a support vector machine according to an embodiment of the present invention.
FIG. 8 is an explanatory view of a parameter space of a lattice structure in which first and second parameters according to the embodiment of the present invention are formed by respective axes.
9 is an explanatory diagram illustrating a process of calculating a classification performance difference value between a current position and a neighboring position in a parameter space of a lattice structure according to an embodiment of the present invention.
10 is a flowchart of a method for selecting an optimal parameter of a support vector machine according to an embodiment of the present invention.
11 is an explanatory diagram of an optimum parameter selection result according to the conventional and the embodiments of the present invention.

이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 설명한다. 본 명세서에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다. 본 명세서의 실시 예를 설명하면서, 본 명세서가 속하는 기술 분야에 익히 알려졌고 본 명세서와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 명세서의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. Will be described in detail with reference to the portions necessary for understanding the operation and operation according to the present specification. In describing the embodiments of the present invention, description of technical contents which are well known in the technical field to which the present invention belongs and which are not directly related to the present specification will be omitted. This is for the sake of clarity without omitting the unnecessary explanation and without giving the gist of the present invention.

또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 동일한 참조부호를 부여할 수도 있다. 그러나 이와 같은 경우라 하더라도 해당 구성 요소가 실시 예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시 예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시 예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.In describing the components of the present specification, the same reference numerals may be given to components having the same name, and the same reference numerals may be given to different drawings. However, even in such a case, it does not mean that the corresponding component has different functions according to the embodiment, or does not mean that it has the same function in different embodiments, and the function of each component is different from that of the corresponding embodiment Based on the description of each component in FIG.

본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 장치 및 방법을 설명하기 전에, 본 명세서의 실시 예에 적용되는 분류 오류 패널티를 나타내는 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터부터 살펴보기로 한다.Before describing an apparatus and method for selecting an optimal parameter of a support vector machine according to an embodiment of the present disclosure, a first parameter representing a classification error penalty applied to an embodiment of the present invention, and a second parameter representing a classification error penalty applied to an embodiment of the present invention, Let us look at the second parameter, which is a nonlinear control parameter of the kernel function.

도 2는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 분류 오류 패널티를 나타내는 제1 파라미터의 설명도이다.2 is an illustration of a first parameter representing a classification error penalty in a support vector machine applied to an embodiment of the present disclosure;

도 2에 도시된 바와 같이, 초평면(100)은

Figure 112016026975583-pat00001
인 경우로 나타나고, 초평면(100)의 양쪽 여백(101)은
Figure 112016026975583-pat00002
와,
Figure 112016026975583-pat00003
로 나타나게 된다. 이때, 초평면(100)과 초평면에 대한 데이터의 분류 오류 값은 ξ로 나타난다.As shown in Figure 2, the hyperplane 100
Figure 112016026975583-pat00001
, And the margins 101 on both sides of the hyperplane 100 are represented by
Figure 112016026975583-pat00002
Wow,
Figure 112016026975583-pat00003
Respectively. At this time, the classification error value of the data for the hyperplane 100 and the hyperplane is represented by ξ.

이러한 서포트 벡터 머신에서 최적 초평면을 찾기 위한 최소화 문제(최소화 함수)가 하기의 [수학식 1]과 같이 표현된다.The minimization problem (minimization function) for finding the optimal hyperplane in such a support vector machine is expressed by Equation (1) below.

Figure 112016026975583-pat00004
Figure 112016026975583-pat00004

여기서,

Figure 112016026975583-pat00005
이고, W는 평면방정식의 법선백터, xi는 i번째 샘플의 좌표, b는 평면방정식의 기저(basis), ξ는 분류오류, ξi는 i 번째 샘플에 대한 분류 오류, C는 분류 오류의 웨이트 값을 나타내는 분류 오류 패널티에 대한 제1 파라미터를 나타낸다. 또한, argmin은 괄호 안의 수식 값이 최소가 되는 w와 ξ 값을 찾는다는 것을 의미한다.here,
Figure 112016026975583-pat00005
Where W is the normal vector of the plane equation, x i is the coordinate of the ith sample, b is the basis of the plane equation, ξ is the classification error, ξ i is the classification error for the ith sample, Represents a first parameter for a classification error penalty indicating a weight value. In addition, argmin means to find the value of w and ξ that minimizes the expression value in parentheses.

분류 오류 패널티에 대한 제1 파라미터(C)는 클수록 분류 오류에 더욱 민감하게 반응하는 것을 의미한다.The larger the first parameter (C) for the classification error penalty, the more sensitive to classification errors.

같은 클래스의 데이터는 항상 일관된 패턴이 아니기 때문에, 분류 오류 패널티를 조절하여 이러한 분류 오류를 야기하는 비일관적인 데이터를 일정 수준 허용해야만 분류 성능이 증가될 수 있다.Since data of the same class is not always consistent, classifi- cation performance can be increased only by allowing a certain level of inconsistent data that causes this classification error by adjusting the classification error penalty.

도 3은 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 분류 오류 패널티 값의 변화에 따른 초평면의 변화에 대한 설명도이다.FIG. 3 is an explanatory diagram of a change in a hyperplane according to a change in classification error penalty value in a support vector machine applied to the embodiment of the present invention. FIG.

도 3의 (a)에 도시된 바와 같이, 제1 파라미터(C) 값이 최적 초평면을 찾는 분류 오류 패널티 값보다 클 경우, 초평면(100)을 기준으로 양쪽에 위치한 초평면 여백(101)이 최적 초평면의 여백보다 작게 된다. 이는 분류 오류를 거의 허용하지 않는 것을 의미한다.3 (a), when the value of the first parameter C is larger than the classification error penalty value for finding the optimal hyperplane, the hyperplane margin 101 located on both sides of the hyperplane 100 is the optimal hyperplane . This means that classification errors are rarely allowed.

도 3의 (b)에 도시된 바와 같이, 제1 파라미터(C) 값이 최적 초평면을 찾는 분류 오류 패널티 값과 적절한 경우, 초평면(100)을 기준으로 양쪽에 위치한 초평면 여백(101)이 최적 초평면의 여백과 동일하거나 유사하게 된다. 이는 분류 오류를 일정 부분 허용하는 것을 의미한다.As shown in FIG. 3 (b), when the value of the first parameter (C) is appropriate with the classification error penalty value for finding the optimal hyperplane, the hyperplane margin 101 located on both sides of the hyperplane 100, The same as or similar to the margins. This means that some sorting errors are allowed.

도 3의 (c)에 도시된 바와 같이, 제1 파라미터(C) 값이 최적 초평면을 찾는 분류 오류 패널티 값보다 작을 경우, 초평면(100)을 기준으로 양쪽에 위치한 초평면 여백(101)이 최적 초평면의 여백보다 크게 된다. 이는 너무 많은 분류 오류를 허용하는 것을 의미한다.3 (c), when the value of the first parameter C is smaller than the classification error penalty value for finding the optimal hyperplane, the hyperplane margin 101 located on both sides of the hyperplane 100 is the optimal hyperplane . This means allowing too many classification errors.

도 4는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 커널 함수의 비선형 조절 파라미터를 나타내는 제2 파라미터의 설명도이다.4 is an illustration of a second parameter representing a nonlinear control parameter of a kernel function in a support vector machine applied to an embodiment of the present invention;

도 4에 도시된 바와 같이, 커널 트릭은 비선형적으로 분포하는 데이터들을 분류하기 위해 고차원으로 사상시켜 초평면을 생성하는 방법을 나타낸다. 즉, 커널 트릭은 사상 전 특징 공간을 사상 함수(

Figure 112016026975583-pat00006
)를 통해 사상 후 특징 공간으로 변환시켜 비선형적으로 분포하는 데이터를 분류할 수 있다.As shown in FIG. 4, the kernel trick shows a method of generating a hyperplane by mapping in a high-dimensional manner to classify nonlinearly distributed data. In other words, the kernel trick is to convert the pre-
Figure 112016026975583-pat00006
), It is possible to classify the nonlinearly distributed data by transforming into feature space after mapping.

한편, 상기 [수학식 1]은 법선벡터의 다른 형태인 하기의 [수학식 2]를 법선벡터 w에 대입하여 라그랑제 쌍대형식(Lagrange dual form)인 하기의 [수학식 3]과 같이 변형될 수 있다. 여기서, 하기의 [수학식 2]은 캐루쉬-쿤터커(Karush-Kuhn-Tucker) 조건을 나타낸다.The above equation (1) is obtained by substituting the following equation (2), which is another form of the normal vector, into the normal vector w and transforming it into a Lagrange dual form as shown in the following equation . Here, the following equation (2) represents the Karush-Kuhn-Tucker condition.

Figure 112016026975583-pat00007
Figure 112016026975583-pat00007

Figure 112016026975583-pat00008
Figure 112016026975583-pat00008

여기서,

Figure 112016026975583-pat00009
이다.here,
Figure 112016026975583-pat00009
to be.

상기 [수학식 3]에서 방사 기저 함수(Radial basis function, RBF) 커널이 주로 이용될 수 있다. 커널 함수는 하기의 [수학식 4]와 같이 나타나진다.In Equation (3), a radial basis function (RBF) kernel may be mainly used. The kernel function is expressed by Equation (4) below.

Figure 112016026975583-pat00010
Figure 112016026975583-pat00010

여기서, 커널 트릭의 σ는 서포트 벡터 머신에서 커널 함수의 비선형 조절 파라미터를 나타내는 제2 파라미터을 나타낸다.Here,? Of the kernel trick represents a second parameter representing the nonlinear control parameter of the kernel function in the support vector machine.

도 5는 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 커널 트릭의 비선형 조절 파라미터 값의 변화에 따른 초평면의 변화에 대한 설명도이다.FIG. 5 is an explanatory diagram of a change in a hyperplane according to a change in non-linear control parameter value of a kernel trick in a support vector machine applied to an embodiment of the present invention. FIG.

도 5의 (a)에 도시된 바와 같이, 커널 트릭의 비선형 조절 파라미터인 제2 파라미터 값(σ값)이 0.05인 경우(σ=0.05), 사상 전 특징 공간에서의 초평면 모양이 비선형성이 큰 것으로 나타나 있다.As shown in FIG. 5A, when the second parameter value (sigma value), which is a nonlinear control parameter of the kernel trick, is 0.05 (sigma = 0.05), the hyperplane shape in the pre- Respectively.

도 5의 (b)에 도시된 바와 같이, 커널 트릭의 비선형 조절 파라미터인 제2 파라미터 값(σ값)이 1인 경우(σ=1), 사상 전 특징 공간에서의 초평면 모양이 비선형성이 적절한 것으로 나타나 있다.5 (b), when the second parameter value (sigma value), which is the nonlinear control parameter of the kernel trick, is 1 (? = 1), the hyperplane shape in the pre- Respectively.

도 5의 (c)에 도시된 바와 같이, 커널 트릭의 비선형 조절 파라미터인 제2 파라미터 값(σ값)이 10인 경우(σ=10), 사상 전 특징 공간에서의 초평면 모양이 비선형성이 작은 것으로 나타나 있다.5 (c), when the second parameter value (sigma value), which is the nonlinear adjustment parameter of the kernel trick, is 10 (? = 10), the hyperplane shape in the pre- Respectively.

이와 같이, 커널 트릭의 비선형 조절 파라미터인 제2 파라미터 값(σ값)이 작을수록 사상 전 특징 공간에서의 초평면 모양이 비선형성이 커지게 된다. 반면, 커널 트릭의 비선형 조절 파라미터인 제2 파라미터 값(σ값)이 클수록 사상 전 특징 공간에서의 초평면 모양이 비선형성이 작아지게 된다. As described above, as the second parameter value (? Value), which is a nonlinear control parameter of the kernel trick, becomes smaller, the nonlinearity of the hyperplane form in the pre-event feature space becomes larger. On the other hand, as the second parameter value (? Value), which is a nonlinear control parameter of the kernel trick, becomes larger, the nonlinearity of the hyperplane shape in the pre-event feature space becomes smaller.

도 6은 본 명세서의 실시 예에 적용되는 서포트 벡터 머신에서 제1 및 제2 파라미터 값의 변화에 따른 분류 성능 패턴에 대한 설명도이다.6 is an explanatory diagram of a classification performance pattern according to changes of first and second parameter values in a support vector machine applied to an embodiment of the present invention.

도 6의 (a)에 도시된 바와 같이, 임의로 선택된 데이터 1 내지 4에 대해 제1 및 제2 파라미터 값을 변화시키면서 분류 성능값을 확인하고자 한다.As shown in FIG. 6 (a), the classification performance values are checked while changing the first and second parameter values for arbitrarily selected data 1 to 4.

이후, y축 및 x축이 각각 제1 파라미터(C) 및 제2 파라미터(σ)로 지정하고, 제1 및 제2 파라미터(C 및 σ) 값의 변화에 따른 분류 성능값을 확인한 결과가 도 6의 (b)에 도시되어 있다.Thereafter, the y-axis and the x-axis are designated by the first parameter (C) and the second parameter (?), Respectively, and the result of confirming the classification performance value according to the change of the first and second parameters (C and? 6 (b).

제1 및 제2 파라미터(C 및 σ) 값을 변화시키면서 서포트 벡터 머신을 학습하고, 분류 성능 테스트를 해본 결과로는 분류 성능의 증감이 방향성을 갖는 것으로 나타나 있다. 즉, 제1 및 제2 파라미터(C 및 σ) 값의 변화에 따라 분류 성능값이 단계적으로 증가하는 패턴, 단계적으로 증가하다가 최고 분류 성능값을 가진 후 다시 감소하는 패턴 등을 보인다.As a result of learning the support vector machine while changing the values of the first and second parameters C and σ and performing the classification performance test, it is shown that the increase or decrease of the classification performance has a directionality. That is, a pattern in which the classification performance value gradually increases according to the change of the first and second parameters C and?, A pattern that increases stepwise, has a highest classification performance value, and then decreases again.

도 7은 본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 장치의 구성도이다.7 is a block diagram of an optimum parameter selecting apparatus for a support vector machine according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 장치(100)는 파라미터 공간 관리부(710), SVM 학습부(720), 분류 성능 계산부(730) 및 파라미터 설정부(740)를 포함한다.7, the optimum parameter selection apparatus 100 of the support vector machine according to the embodiment of the present invention includes a parameter space management unit 710, an SVM learning unit 720, a classification performance calculation unit 730, And a setting unit 740.

본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 장치(100)는 도 6에 도시된 분류 성능의 증감이 방향성을 갖는 것을 이용하여 서포트 벡터 머신의 최적 파라미터를 신속하게 설정하고자 한다. 이때, 최적 파라미터 선택 장치(100)는 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서의 현재 위치 및 주변 위치에서 계산된 분류 성능 차이값과 기설정된 성능 차이값(예컨대, '0')을 비교하여 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정한다.The optimal parameter selection apparatus 100 of the support vector machine according to the embodiment of the present invention intends to quickly set an optimum parameter of the support vector machine by using the directional property of the increase or decrease of the classification performance shown in Fig. At this time, the optimum parameter selection device 100 determines whether or not the first and second parameters of the support vector machine (SVM) are set in advance by the classification performance difference value calculated at the current position and the neighboring position in the parameter space of the lattice structure made up of the axes And compares the performance difference value (e.g., '0') to set the first and second parameters of the current position as parameters of the support vector machine.

이하, 도 7의 서포트 벡터 머신의 최적 파라미터 선택 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Hereinafter, the specific configuration and operation of each component of the optimal parameter selection device 100 of the support vector machine of FIG. 7 will be described.

파라미터 공간 관리부(710)는 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 초기 위치를 현재 위치로 지정하여 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출한다.The parameter space management unit 710 designates the initial position as the current position in the parameter space of the lattice structure in which the first and second parameters of the support vector machine SVM are constituted by the respective axes, Extract the parameter value.

여기서, 파라미터 공간 관리부(710)는 현재 위치를 임의 위치 또는 기설정된 공간 위치로 지정할 수 있다. 파라미터 공간 관리부(710)는, 도 2 및 도 4에 도시된 바와 같이, 서포트 벡터 머신에서의 초평면 생성을 위한 최적화 함수에서 분류 오류 패널티인 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터를 격자 구조의 파라미터 공간에서 추출할 수 있다.Here, the parameter space management unit 710 can designate the current position as an arbitrary position or a predetermined space position. As shown in FIGS. 2 and 4, the parameter space management unit 710 stores a first parameter, which is a classification error penalty in the optimization function for generating a hyperplane in the support vector machine, and a second parameter, which is a Lagrangian- The second parameter, which is a nonlinear control parameter of the kernel function, can be extracted from the parameter space of the lattice structure.

그리고 SVM 학습부(720)는 학습하고자 하는 대상인 학습 데이터를 획득한다. 이어서, SVM 학습부(720)는 파라미터 공간 관리부(710)에서 추출된 제1 및 제2 파라미터 값을 이용하여 그 획득된 학습 데이터에 대한 서포트 벡터 머신(SVM)을 학습한다. Then, the SVM learning unit 720 acquires learning data which is an object to be learned. Next, the SVM learning unit 720 learns a support vector machine (SVM) for the obtained learning data using the first and second parameter values extracted from the parameter space management unit 710. [

이어서, 분류 성능 계산부(730)는 분류하고자 하는 대상인 분류 데이터를 획득한다. 이어서, 분류 성능 계산부(730)는 SVM 학습부(720)에서 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산하고, 그 계산된 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산한다.Then, the classification performance calculator 730 acquires classification data to be classified. Next, the classification performance calculation unit 730 calculates the classification performance of the current position and the classification performance of the surrounding position with respect to the classification data based on the support vector machine learned in the SVM learning unit 720, The classification performance difference value between the classification performance of the peripheral positions is calculated.

분류 성능 계산 과정을 구체적으로 살펴보면, 분류 성능 계산부(730)는 현재 위치의 분류 성능을 계산하고, 그 현재 위치에서 상하좌우 방향, 대각선 방향 또는 모든 방향 중에서 선택하고 그 선택된 방향으로 인접한 주변 위치의 분류 성능을 계산할 수 있다. 분류 성능 계산부(730)는 상하좌우 방향 또는 대각선 방향으로 인접한 주변 위치의 분류 성능을 계산하여 모든 방향의 주변 위치의 분류 성능을 계산하는 경우에 비해 분류 성능의 계산량을 줄일 수 있다. 그러면, 분류 성능 계산부(730)는 현재 위치의 분류 성능 및 그 선택된 방향으로 인접한 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산할 수 있다.Specifically, the classification performance calculation unit 730 calculates the classification performance of the current location, selects the top, bottom, left, right, diagonal, or all directions at the current position, The classification performance can be calculated. The classification performance calculator 730 can reduce the calculation amount of the classification performance as compared with the case where the classification performance of peripheral positions in all directions is calculated by calculating the classification performance of the neighboring positions in the up, down, left, and right or diagonal directions. Then, the classification performance calculator 730 can calculate the classification performance difference value between the classification performance of the current position and the classification performance of the adjacent positions in the selected direction.

여기서, 분류 성능 계산부(730)는 그 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값(예컨대, 50%) 이상인지를 확인할 수 있다. 이때, 파라미터 공간 관리부(710)는 그 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 미만이면, 분류 성능 값이 기설정된 분류 성능 값(예컨대, 50%)인 경우에는 분류 성능의 증감이 방향성을 갖지 않을 수 있다. 따라서 파라미터 공간 관리부(710)는 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정한다. 이는 분류 성능의 증감이 방향성을 갖지 않을 때, 현재 위치 및 주변 위치 간의 분류 성능 차이값을 계산하는 과정이 계산량을 증가시킬 수 있기 때문이다. 그러면, 파라미터 공간 관리부(710)는 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출한다.Here, the classification performance calculator 730 can determine whether the calculated classification performance of the current location is equal to or greater than a predetermined classification performance value (for example, 50%). At this time, if the classification performance of the calculated current position is less than the preset classification performance value, the parameter space management unit 710 may increase or decrease the classification performance when the classification performance value is a predetermined classification performance value (for example, 50% . Therefore, the parameter space management unit 710 resets the position in the arbitrary direction at the current position to the current position. This is because the process of calculating the classification performance difference between the current location and the neighboring location can increase the calculation amount when the increase / decrease of the classification performance does not have the directionality. Then, the parameter space management unit 710 re-extracts the first and second parameter values according to the reset current position.

이후, 파라미터 설정부(740)는 분류 성능 계산부(730)에서 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고 그 비교 결과에 따라 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정한다.Thereafter, the parameter setting unit 740 compares the classification performance difference value calculated by the classification performance calculation unit 730 with a preset performance difference value, and stores the first and second parameters of the current position in a support vector machine .

여기서, 파라미터 설정부(740)는 분류 성능 계산부(730)에서 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고, 그 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정한다.Here, the parameter setting unit 740 compares the classification performance difference value calculated by the classification performance calculation unit 730 with a predetermined performance difference value, and if the calculated classification performance difference value is less than the preset performance difference value, The first and second parameters of the support vector machine are set as parameters of the support vector machine.

반면, 파라미터 공간 관리부(710)는 그 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정한다. 이어서, 파라미터 공간 관리부(710)는 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출한다.On the other hand, if the calculated classification performance difference value exceeds the predetermined performance difference value, the parameter space management unit 710 resets the current position to the position where the classification performance difference value is the maximum. Subsequently, the parameter space management unit 710 re-extracts the first and second parameter values according to the reset current position.

도 8은 본 명세서의 실시 예에 따른 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에 대한 설명도이다.FIG. 8 is an explanatory view of a parameter space of a lattice structure in which first and second parameters according to the embodiment of the present invention are formed by respective axes.

도 8에 도시된 바와 같이, 파라미터 공간 관리부(710)는 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 2차원 공간인 파라미터 공간 즉, C-σ 공간(711)을 생성한다. 여기서, 파라미터 공간(711)의 각 칸은 대응되는 C와 σ값이 있다.As shown in FIG. 8, the parameter space management unit 710 generates a parameter space, that is, a C-space 711, which is a two-dimensional space of a lattice structure in which first and second parameters are axes. Here, each column of the parameter space 711 has a corresponding C and a value.

그리고 파라미터 공간 관리부(710)는 그 생성된 파라미터 공간(711)에서 현재 위치에 대한 제1 및 제2 파라미터 값(예컨대, C=6, σ=4 등)을 추출한다. 이어서, 파라미터 공간 관리부(710)는 그 추출된 제1 및 제2 파라미터 값(예컨대, C=6, σ=4 등)을 SVM 학습부(720)로 전달한다.The parameter space management unit 710 extracts first and second parameter values (e.g., C = 6,? = 4, etc.) for the current position in the generated parameter space 711. Subsequently, the parameter space management unit 710 delivers the extracted first and second parameter values (e.g., C = 6,? = 4, etc.) to the SVM learning unit 720.

그러면, SVM 학습부(720)는 각 칸에서 대응되는 제1 파라미터(C)와 제2 파라미터(σ) 값으로 학습된 SVM의 분류 성능을 계산할 수 있다.Then, the SVM learning unit 720 can calculate the classification performance of the SVM learned by the first parameter (C) and the second parameter (?) Value corresponding to each column.

도 9는 본 명세서의 실시 예에 따른 격자 구조의 파라미터 공간에서 현재 위치 및 주변 위치 간의 분류 성능 차이값을 계산하는 과정에 대한 설명도이다.9 is an explanatory diagram illustrating a process of calculating a classification performance difference value between a current position and a neighboring position in a parameter space of a lattice structure according to an embodiment of the present invention.

도 9의 (a)에 도시된 바와 같이, 파라미터 공간 관리부(710)는 격자 구조의 파라미터 공간(711)에서 초기 탐색 위치를 임의로 지정하고, 그 임의로 지정된 위치를 현재 위치로 한다.9A, the parameter space management unit 710 arbitrarily designates the initial search position in the parameter space 711 of the lattice structure, and sets the arbitrarily designated position as the current position.

그리고 SVM 학습부(720)에서 서포트 벡터 머신을 학습한 후, 도 9의 (b)에 도시된 바와 같이, 분류 성능 계산부(730)는 현재 위치의 분류 성능을 계산한다. 예컨대, 분류 성능 계산부(730)는 현재 위치의 분류 성능을 60%로 계산할 수 있다. 또한, 분류 성능 계산부(730)는 상하좌우 및 대각방향 모두 8개 방향으로 인접한 주변 위치의 분류 성능을 계산한다. 예컨대, 분류 성능 계산부(730)는 주변 위치의 분류 성능을 상하좌우 방향의 62%, 55%, 55% 및 65%과, 대각 방향의 60%, 63%, 55% 및 55%로 계산할 수 있다.After the SVM learning unit 720 learns the support vector machine, the classification performance calculation unit 730 calculates the classification performance of the current position as shown in FIG. 9 (b). For example, the classification performance calculator 730 may calculate the classification performance of the current location as 60%. In addition, the classification performance calculation unit 730 calculates the classification performance of neighboring positions in eight directions in all four directions. For example, the classification performance calculator 730 can calculate the classification performance of the peripheral positions as 62%, 55%, 55%, and 65% in the vertical and horizontal directions, and 60%, 63%, 55%, and 55% have.

이후, 파라미터 설정부(740)는 분류 성능 계산부(730)에서 계산된 현재 위치 및 주변 위치 간의 분류 성능 차이값을 비교하고, 그 분류 성능 차이값이 증가하며 최대인 방향을 찾는다. 예를 들면, 파라미터 설정부(740)는 상하좌우 방향 및 대각 방향 중에서 현재 위치의 분류 성능 값(60%) 보다 최대의 성능 차이를 보이는 우측 방향의 주변 위치를 찾는다. 그러면, 파라미터 공간 관리부(710)는 그 우측 방향의 주변 위치를 현재 위치로 재설정하게 된다.Thereafter, the parameter setting unit 740 compares the classification performance difference values between the current position and the neighboring positions calculated by the classification performance calculation unit 730, and finds the direction in which the classification performance difference value increases to the maximum. For example, the parameter setting unit 740 finds the peripheral position in the rightward direction showing the maximum performance difference from the classification performance value (60%) of the current position among the up, down, left and right direction and the diagonal direction. Then, the parameter space management unit 710 resets the peripheral position in the right direction to the current position.

그리고 분류 성능 계산부(730)는 재설정된 현재 위치 및 재설정된 현재 위치의 주변 위치의 분류 성능 값을 계산한다. 이때, 재설정된 현재 위치에서 우측 방향과 우측 상하 방향의 주변 위치의 분류 성능 값 이외의 나머지 방향의 주변 위치의 분류 성능 값은 미리 계산되어 있다. 따라서 분류 성능 계산부(730)는 재설정된 현재 위치에서 우측 방향과 우측 상하 방향의 주변 위치의 분류 성능 값만을 계산하게 된다.Then, the classification performance calculation unit 730 calculates the classification performance value of the reset current position and the peripheral position of the reset current position. At this time, the classification performance values of the peripheral positions in the remaining directions other than the classification performance values of the peripheral positions in the rightward direction and the rightward and leftward direction in the reset current position are calculated in advance. Therefore, the classification performance calculator 730 calculates only the classification performance values of the peripheral positions in the right direction and the right upper and lower direction at the reset current position.

이후, 최적 파라미터 선택 장치(100)는 현재 위치 및 주변 위치 간의 분류 성능 차이값이 기설정된 성능 차이값(예컨대, '0') 이하일 때까지 분류 성능 계산 과정을 반복하게 된다. 최적 파라미터 선택 장치(100)는 현재 위치 및 주변 위치 간의 분류 성능 차이값이 기설정된 성능 차이값(예컨대, '0') 이하이면, 그 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정한다.Thereafter, the optimal parameter selection device 100 repeats the classification performance calculation process until the classification performance difference value between the current position and the neighboring position is equal to or less than a predetermined performance difference value (for example, '0'). If the classification performance difference value between the current position and the neighboring position is less than or equal to a preset performance difference value (for example, '0'), the optimum parameter selection apparatus 100 selects the first and second parameters of the current position as parameters .

도 10은 본 명세서의 실시 예에 따른 서포트 벡터 머신의 최적 파라미터 선택 방법에 대한 흐름도이다.10 is a flowchart of a method for selecting an optimal parameter of a support vector machine according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 파라미터 공간 관리부(710)는 현재 위치를 임의 위치로 지정한다(S101). 여기서, 파라미터 공간 관리부(710)는 현재 위치를 기설정된 공간 위치로 지정할 수 있다.As shown in FIG. 10, the parameter space management unit 710 designates the current position as an arbitrary position (S101). Here, the parameter space management unit 710 can designate the current position as a preset space position.

그리고 파라미터 공간 관리부(710)는 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출한다(S102).The parameter space management unit 710 extracts the first and second parameter values of the current position and the surrounding position in the parameter space of the lattice structure in which the first and second parameters of the support vector machine SVM are constituted by the respective axes ).

이어서, SVM 학습부(720)는 파라미터 공간 관리부(710)에서 추출된 제1 및 제2 파라미터 값(C와 σ 값)을 이용하여 학습 데이터에 대한 서포트 벡터 머신(SVM)을 학습한다(S103).Subsequently, the SVM learning unit 720 learns the support vector machine (SVM) for the learning data using the first and second parameter values (C and? Values) extracted from the parameter space management unit 710 (S103) .

이후, 분류 성능 계산부(730)는 SVM 학습부(720)에서 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산한다(S104).Then, the classification performance calculation unit 730 calculates the classification performance of the current position and the classification performance of the surrounding position with respect to the classification data based on the support vector machine learned in the SVM learning unit 720 (S104).

그리고 분류 성능 계산부(730)는 그 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값(예컨대, 50%) 이상인지를 확인한다(S105).Then, the classification performance calculation unit 730 determines whether the calculated classification performance of the current location is equal to or greater than a predetermined classification performance value (e.g., 50%) (S105).

상기 확인 결과(S105), 그 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값(예컨대, 50%) 이상이면, 분류 성능 계산부(730)는 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산한다(S106).If the calculated classification performance of the current position is equal to or greater than a predetermined classification performance value (for example, 50%), the classification performance calculator 730 calculates the classification performance difference between the classification performance of the current position and the neighboring position (S106).

반면, 상기 확인 결과(S105), 그 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값(예컨대, 50%) 미만이면, 파라미터 공간 관리부(710)는 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정한다(S107). 이어서, 파라미터 공간 관리부(710)는 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 S102 과정을 수행한다.If the calculated classification performance of the current position is less than the predetermined classification performance value (for example, 50%), the parameter space management unit 710 stores the position in the arbitrary direction in the current position as the current position (S107). Next, the parameter space management unit 710 performs step S102 of extracting the first and second parameter values again according to the reset current position.

S106 과정 이후, 파라미터 설정부(740)는 분류 성능 계산부(730)에서 계산된 분류 성능 차이값과 기설정된 성능 차이값(예컨대, '0')을 비교하고 그 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하인지를 확인한다(S108).After step S106, the parameter setting unit 740 compares the classification performance difference value calculated by the classification performance calculation unit 730 with a predetermined performance difference value (e.g., '0'), It is checked whether the difference is equal to or less than the set performance difference value (S108).

상기 확인 결과(S108), 그 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면, 파라미터 공간 관리부(710)는 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정한다(S109). 이어서, 파라미터 공간 관리부(710)는 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 추출하는 S102 과정을 수행한다.If the calculated classification performance difference value exceeds the preset performance difference value, the parameter space management unit 710 resets the current position to the position where the classification performance difference value is the maximum (S109). Then, the parameter space management unit 710 performs step S102 of extracting the first and second parameter values according to the reset current position.

반면, 상기 확인 결과(S108), 그 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면, 파라미터 설정부(740)는 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정한다(S110).On the other hand, if the calculated classification performance difference value is equal to or less than the predetermined performance difference value, the parameter setting unit 740 sets the first and second parameters of the current position as parameters of the support vector machine (S110).

도 11은 종래 및 본 명세서의 실시 예에 따른 최적 파라미터 선택 결과에 대한 설명도이다.11 is an explanatory diagram of an optimum parameter selection result according to the conventional and the embodiments of the present invention.

우선, 종래 기술을 살펴보면, 종래의 파라미터 선택 기술로는 격자탐색(Grid search) 기술이 있다. 이러한 종래의 격자탐색 기술은 정해진 제1 및 제2 파라미터로 이루어진 격자 공간의 범위 내에서 항상 최적의 서포트 벡터 머신의 인수 조합을 찾게 된다. 이러한 격자탐색 기술은 서포트 벡터 머신의 사용 시 주로 사용되고 있다.In the prior art, a conventional parameter selection technique is a grid search technique. This conventional grating search technique always finds an optimal combination of the support vector machines within the range of the lattice space made up of the determined first and second parameters. This grid search technique is mainly used in support vector machines.

종래의 격자탐색 기술은 모든 SVM 인수의 조합에 대해 SVM을 학습시키고, 데이터를 분류하여 분류성능을 계산한다. 따라서 이러한 종래의 격자탐색 기술은 제1 및 제2 파라미터에 대해 최적 파라미터를 찾는 시간이 오래 걸리게 된다. 예를 들면, 이러한 격자탐색 기술은 온라인 학습 시에 부적합할 수 있다.The conventional lattice search technique learns SVMs for combinations of all SVM factors, and classifies data to calculate classification performance. Therefore, such a conventional grating search technique takes a long time to find an optimal parameter for the first and second parameters. For example, such grid search techniques may be unsuitable for online learning.

한편, 도 11에 도시된 바와 같이, 서포트 벡터 머신(SVM)의 제1 및 제2 파라미터(C 및 σ)가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 분류 성능 값이 색상별로 다르게 표시되어 있다. 예컨대, 분류 성능 값이 0%이면 청색 위치를 나타내고, 0% 내지 50%이면 청색 및 녹색 사이에 인접한 색상 위치를 나타내고, 50%이면 녹색 위치를 나타내고, 100%에 근접할수록 적색 위치에 인접한 색상 위치를 나타낸다.On the other hand, as shown in FIG. 11, the classification performance values are displayed differently in the parameter space in the lattice-structure parameter space in which the first and second parameters C and? Of the support vector machine SVM are each axis. For example, if the classification performance value is 0%, it represents the blue position, 0% to 50% represents the adjacent color position between blue and green, 50% represents the green position, and 100% .

도 11에 도시된 격자 구조의 파라미터 공간에서 제1 파라미터(C) 값의 범위는 {2-5, 2-3, 2-1, 21, 23, 25, 27, 29, 211, 213, 215}이 된다. 또한, 제2 파라미터(σ) 값의 범위는 {2-2, 2-1, 20, 21, 22, 23, 24, 25, 26, 27}이 된다.The range of the first parameter (C) value in the parameter space of the lattice structure shown in Fig. 11 is {2 -5 , 2 -3 , 2 -1 , 2 1 , 2 3 , 2 5 , 2 7 , 2 9 , 2 11 , 2 13 , 2 15 }. The range of the second parameter? Value is {2 -2 , 2 -1 , 2 0 , 2 1 , 2 2 , 2 3 , 2 4 , 2 5 , 2 6 , 2 7 }.

종래의 격자탐색 기술과 본 명세서의 실시 예에 따른 최적 파라미터 선택 방법에 따른 분류 성능의 계산 결과를 살펴보기로 한다.A calculation result of classification performance according to a conventional lattice search technique and an optimal parameter selection method according to an embodiment of the present invention will be described.

종래의 격자탐색 기술은 총 110번의 SVM 학습을 수행하였다. 제1 파라미터(C) 값은 21, 제2 파라미터(σ) 값은 20으로 분류 성능 값이 100%인 최적의 서포트 벡터 머신의 제1 및 제2 파라미터 값(1110)을 찾았다. 이때, 종래의 격자탐색 기술은 11.3초 만에 서포트 벡터 머신의 최적 제1 및 제2 파라미터 값(1110)를 찾았다.The conventional grating search technique performed a total of 110 SVM learning. The first and second parameter values 1110 of the optimum support vector machine having the first parameter (C) value of 2 1 and the second parameter (?) Value of 2 0 and the classification performance value of 100% were found. At this time, the conventional lattice search technique found optimal first and second parameter values 1110 of the support vector machine in 11.3 seconds.

반면, 본 명세서의 실시 예에 따른 최적 파라미터 방법은 총 3번의 SVM 학습을 수행하였다. 제1 파라미터(C) 값은 2-1, 제2 파라미터(σ) 값은 21으로 분류 성능 값이 100%인 최적의 서포트 벡터 머신의 제1 및 제2 파라미터 값(1120)를 찾았다. 이때, 본 명세서의 실시 예에 따른 최적 파라미터 방법은 1.7초 만에 서포트 벡터 머신의 최적 제1 및 제2 파라미터 값(1120)를 찾았다. 여기서, 본 명세서의 실시 예에 따른 최적 파라미터 방법에 의한 탐색 경로(1121)가 도 11에 도시되어 있다. 이러한 탐색 경로(1121)는 분류 성능 차이 값이 최대인 방향으로 증가하는 분류 성능 패턴을 가지는 것을 알 수 있다.On the other hand, the optimal parameter method according to the embodiment of the present invention performed a total of 3 SVM learning. The first and second parameter values 1120 of the optimal support vector machine having the classification performance value of 100% were found as the first parameter (C) value of 2 -1 and the second parameter (?) Value of 2 1 . At this time, the optimal parameter method according to the embodiment of the present invention found optimal first and second parameter values 1120 of the support vector machine in 1.7 seconds. Here, a search path 1121 by the optimal parameter method according to the embodiment of the present invention is shown in FIG. It can be seen that the search path 1121 has a classification performance pattern that increases in the direction in which the classification performance difference value is the maximum.

이와 같이, 종래의 격자탐색 기술 및 본 명세서의 실시 예에 따른 최적 파라미터 방법은 모두 분류 성능 값이 100%인 제1 및 제2 파라미터(C 및 σ) 값을 찾았다. 그러나 본 명세서의 실시 예에 따른 최적 파라미터 방법은 종래의 격자탐색 기술에 비해 더욱 적은 계산 횟수 및 신속하게 최적 파라미터를 찾는 것을 알 수 있다.As described above, both the conventional lattice search technique and the optimal parameter method according to the embodiment of the present invention have found values of the first and second parameters C and? Having a classification performance value of 100%. However, it can be seen that the optimal parameter method according to the embodiment of the present invention finds a smaller number of calculations and faster searching for the optimal parameter than the conventional grating search technique.

이상에서 설명한 실시 예들은 그 일 예로서, 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

700: 최적 파라미터 선택 장치
710: 파라미터 공간 관리부
720: SVM 학습부
730: 분류 성능 계산부
740: 파라미터 설정부700: Optimum parameter selector
710: Parameter space manager
720: SVM learning unit
730: classification performance calculation unit
740: Parameter setting section

Claims (13)

서포트 벡터 머신(SVM: support vector machine)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 초기 위치를 현재 위치로 지정하여 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출하는 파라미터 공간 관리부;
상기 추출된 제1 및 제2 파라미터 값을 이용하여 학습 데이터에 대한 서포트 벡터 머신(SVM)을 학습하는 SVM 학습부;
상기 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 분류 성능 계산부; 및
상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고 상기 비교 결과에 따라 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 파라미터 설정부를 포함하고,
상기 파라미터 공간 관리부는, 상기 현재 위치를 임의 위치 또는 기설정된 공간 위치로 지정하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The initial position is designated as the current position in the parameter space of the lattice structure in which the first and second parameters of the support vector machine (SVM) are constituted by the respective axes, and the first and second parameter values A parameter space management unit for extracting the parameter space;
An SVM learning unit for learning a support vector machine (SVM) for learning data using the extracted first and second parameter values;
Calculating classification performance of the current position and classification performance of the neighboring position with respect to the classification data based on the learned support vector machine and calculating the classification performance difference between the calculated classification performance of the current position and the neighboring position, part; And
And a parameter setting unit that compares the calculated classification performance difference value with a predetermined performance difference value and sets first and second parameters of a current position as parameters of a support vector machine according to the comparison result,
Wherein the parameter space management unit specifies the current position as an arbitrary position or a predetermined spatial position. 삭제delete 제1항에 있어서,
상기 파라미터 공간 관리부는,
상기 서포트 벡터 머신에서의 초평면 생성을 위한 최적화 함수에서 분류 오류 패널티인 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터를 격자 구조의 파라미터 공간에서 추출하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The method according to claim 1,
Wherein the parameter space management unit comprises:
A first parameter which is a classification error penalty in an optimization function for generating a hyperplane in the support vector machine and a second parameter which is a nonlinear adjustment parameter of a kernel function in an optimization function transformed into a Lagrangian dual form are extracted from a parameter space of a lattice structure The optimal parameter selection device of the support vector machine. 제1항에 있어서,
상기 분류 성능 계산부는
상기 현재 위치의 분류 성능을 계산하고, 상기 현재 위치에서 상하좌우 방향, 대각선 방향 또는 모든 방향으로 인접한 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치의 분류 성능 및 상기 계산된 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The method according to claim 1,
The classification performance calculator
Calculating a classification performance of the current position, calculating a classification performance of neighboring positions adjacent to each other in the up, down, left, right, diagonal, or all directions at the current position, classifying the calculated current position, And calculating a classification difference value between the performance of the support vector machine. 제1항에 있어서,
상기 분류 성능 계산부는
상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 이상인지를 확인하고,
상기 파라미터 공간 관리부는 상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 미만이면 상기 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정하고, 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The method according to claim 1,
The classification performance calculator
Determining whether the calculated current location classification performance is greater than or equal to a predetermined classification performance value,
Wherein the parameter space management unit resets the position in the arbitrary direction at the current position to the current position when the calculated classification performance of the current position is less than the predetermined classification performance value, The optimum parameter selection device of the support vector machine extracts the value again. 제1항에 있어서,
상기 파라미터 공간 관리부는
상기 비교된 분류 성능 차이값과 기설정된 성능 차이값의 비교 결과, 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정하고, 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The method according to claim 1,
The parameter space management unit
If the calculated classification performance difference value exceeds a preset performance difference value as a result of comparing the compared classification performance difference value with a predetermined performance difference value, the current location is reset to a position where the classification performance difference value is maximum, And extracts the first and second parameter values according to the current position of the support vector machine. 제1항에 있어서,
상기 파라미터 설정부는
상기 비교된 분류 성능 차이값과 기설정된 성능 차이값의 비교 결과, 상기 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면 상기 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 서포트 벡터 머신의 최적 파라미터 선택 장치.The method according to claim 1,
The parameter setting unit
If the calculated classification performance difference value is less than a preset performance difference value as a result of the comparison of the compared classification performance difference value and the predetermined performance difference value, the first and second parameters of the current position are set as parameters of the support vector machine The optimal parameter selection device of the support vector machine. 서포트 벡터 머신(SVM: support vector machine)의 제1 및 제2 파라미터가 각 축으로 이루어진 격자 구조의 파라미터 공간에서 초기 위치를 현재 위치로 지정하여 현재 위치 및 주변 위치의 제1 및 제2 파라미터 값을 추출하는 단계;
상기 추출된 제1 및 제2 파라미터 값을 이용하여 학습 데이터에 대한 서포트 벡터 머신을 학습하는 단계;
상기 학습된 서포트 벡터 머신을 기반으로 분류 데이터에 대해 현재 위치의 분류 성능 및 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치 및 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 단계; 및
상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하고 상기 비교 결과에 따라 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 단계를 포함하고,
상기 제1 및 제2 파라미터 값을 추출하는 단계는, 상기 현재 위치를 임의 위치 또는 기설정된 공간 위치로 지정하는 서포트 벡터 머신의 최적 파라미터 선택 방법.The initial position is designated as the current position in the parameter space of the lattice structure in which the first and second parameters of the support vector machine (SVM) are constituted by the respective axes, and the first and second parameter values Extracting;
Learning a support vector machine for learning data using the extracted first and second parameter values;
Calculating classification performance of the current position and classification performance of the neighboring position with respect to the classification data based on the learned support vector machine and calculating a classification performance difference value between the calculated classification performance of the current position and the neighboring position; And
Comparing the computed classification performance difference value with a predetermined performance difference value and setting the first and second parameters of the current position as parameters of the support vector machine according to the comparison result,
Wherein the step of extracting the first and second parameter values designates the current position as an arbitrary position or a predetermined spatial position. 삭제delete 제8항에 있어서,
상기 제1 및 제2 파라미터 값을 추출하는 단계는,
상기 서포트 벡터 머신에서의 초평면 생성을 위한 최적화 함수에서 분류 오류 패널티인 제1 파라미터와, 라그랑제 쌍대형식으로 변형된 최적화 함수에서 커널 함수의 비선형 조절 파라미터인 제2 파라미터를 격자 구조의 파라미터 공간에서 추출하는 서포트 벡터 머신의 최적 파라미터 선택 방법.9. The method of claim 8,
Wherein the extracting of the first and second parameter values comprises:
A first parameter which is a classification error penalty in an optimization function for generating a hyperplane in the support vector machine and a second parameter which is a nonlinear adjustment parameter of a kernel function in an optimization function transformed into a Lagrangian dual form are extracted from a parameter space of a lattice structure A method for selecting an optimum parameter of a support vector machine. 제8항에 있어서,
상기 분류 성능 차이값을 계산하는 단계는
상기 현재 위치의 분류 성능을 계산하고, 상기 현재 위치에서 상하좌우 방향, 대각선 방향 또는 모든 방향으로 인접한 주변 위치의 분류 성능을 계산하고, 상기 계산된 현재 위치의 분류 성능 및 상기 계산된 주변 위치의 분류 성능 간의 분류 성능 차이값을 계산하는 서포트 벡터 머신의 최적 파라미터 선택 방법.9. The method of claim 8,
The step of calculating the classification performance difference value
Calculating a classification performance of the current position, calculating a classification performance of neighboring positions adjacent to each other in the up, down, left, right, diagonal, or all directions at the current position, classifying the calculated current position, A method for selecting an optimum parameter of a support vector machine for calculating a classification performance difference value between performances. 제8항에 있어서,
상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 이상인지를 확인하는 단계;
상기 계산된 현재 위치의 분류 성능이 기설정된 분류 성능 값 미만이면, 상기 현재 위치에서 임의 방향으로의 위치를 현재 위치로 재설정하는 단계; 및
상기 제1 및 제2 파라미터 값을 추출하는 단계는 상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 단계
를 더 포함하는 서포트 벡터 머신의 최적 파라미터 선택 방법.9. The method of claim 8,
Determining whether the calculated current location classification performance is greater than or equal to a predetermined classification performance value;
Resetting the position in the arbitrary direction at the current position to the current position if the calculated classification performance of the current position is less than the predetermined classification performance value; And
The extracting of the first and second parameter values may include extracting the first and second parameter values again according to the reset current position
Further comprising the steps of: 제8항에 있어서,
상기 서포트 벡터 머신의 파라미터로 설정하는 단계는
상기 계산된 분류 성능 차이값과 기설정된 성능 차이값을 비교하는 단계;
상기 계산된 분류 성능 차이값이 기설정된 성능 차이값 이하이면 상기 현재 위치의 제1 및 제2 파라미터를 서포트 벡터 머신의 파라미터로 설정하는 단계;
상기 계산된 분류 성능 차이값이 기설정된 성능 차이값을 초과하면 분류 성능 차이값이 최대인 위치로 현재 위치를 재설정하는 단계; 및
상기 재설정된 현재 위치에 따라 제1 및 제2 파라미터 값을 다시 추출하는 단계
를 포함하는 서포트 벡터 머신의 최적 파라미터 선택 방법.9. The method of claim 8,
The step of setting the parameters of the support vector machine
Comparing the calculated classification performance difference value with a predetermined performance difference value;
Setting the first and second parameters of the current position as parameters of a support vector machine if the calculated classification performance difference value is less than or equal to a predetermined performance difference value;
Resetting the current position to a position where the classification performance difference value is maximum if the calculated classification performance difference value exceeds a predetermined performance difference value; And
Extracting the first and second parameter values again according to the reset current position
Gt; a < / RTI > support vector machine.
KR1020160033425A 2016-03-21 2016-03-21 Apparatus and method for selecting optimal parameter of support vector machine KR101722871B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160033425A KR101722871B1 (en) 2016-03-21 2016-03-21 Apparatus and method for selecting optimal parameter of support vector machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160033425A KR101722871B1 (en) 2016-03-21 2016-03-21 Apparatus and method for selecting optimal parameter of support vector machine

Publications (1)

Publication Number Publication Date
KR101722871B1 true KR101722871B1 (en) 2017-04-04

Family

ID=58588374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160033425A KR101722871B1 (en) 2016-03-21 2016-03-21 Apparatus and method for selecting optimal parameter of support vector machine

Country Status (1)

Country Link
KR (1) KR101722871B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190143527A (en) * 2018-06-08 2019-12-31 부산대학교 산학협력단 System and Method for Recognitioning Image Pattern using Machine Learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110080246A (en) 2010-01-05 2011-07-13 중앙대학교 산학협력단 Apparatus and method for data classification based on support vector machine
KR20150049511A (en) * 2013-10-30 2015-05-08 삼성에스디에스 주식회사 Apparatus and method for classifying data and system for collecting data of using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110080246A (en) 2010-01-05 2011-07-13 중앙대학교 산학협력단 Apparatus and method for data classification based on support vector machine
KR20150049511A (en) * 2013-10-30 2015-05-08 삼성에스디에스 주식회사 Apparatus and method for classifying data and system for collecting data of using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190143527A (en) * 2018-06-08 2019-12-31 부산대학교 산학협력단 System and Method for Recognitioning Image Pattern using Machine Learning
KR102102405B1 (en) 2018-06-08 2020-04-20 부산대학교 산학협력단 System and Method for Recognitioning Image Pattern using Machine Learning

Similar Documents

Publication Publication Date Title
US9633044B2 (en) Apparatus and method for recognizing image, and method for generating morphable face images from original image
JP4410732B2 (en) Face image detection device, face image detection method, and face image detection program
KR101834778B1 (en) Apparatus for recognizing traffic sign and method thereof
US8325998B2 (en) Multidirectional face detection method
US8744144B2 (en) Feature point generation system, feature point generation method, and feature point generation program
US8934674B2 (en) Person detection device and person detection method
CN105608441B (en) Vehicle type recognition method and system
US11449706B2 (en) Information processing method and information processing system
US10970313B2 (en) Clustering device, clustering method, and computer program product
KR102286571B1 (en) Method for recognizing plural object in image
EP3591580A1 (en) Method and device for recognizing descriptive attributes of appearance feature
CN108256454B (en) Training method based on CNN model, and face posture estimation method and device
CN108038491B (en) Image classification method and device
JP6266468B2 (en) Object detection device
JP6110174B2 (en) Image detection apparatus, control program, and image detection method
KR101722871B1 (en) Apparatus and method for selecting optimal parameter of support vector machine
JP7006782B2 (en) Information processing equipment, control methods, and programs
JP2014010633A (en) Image recognition device, image recognition method, and image recognition program
JP2011150626A (en) Method, device, and program for classifying image
US20170085753A1 (en) Image data generating apparatus, printer, image data generating method, and non-transitory computer readable medium
JPWO2013186906A1 (en) Discriminator generation device and pattern detection device
JP7201211B2 (en) Object detection method and object detection device
KR102073362B1 (en) Method and computer program for classifying wafer map according to defect type
CN113343918A (en) Power equipment identification method, system, medium and electronic equipment
CN109961063B (en) Text detection method and device, computer equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200212

Year of fee payment: 4