KR20120104363A - 패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램을 기록한 컴퓨터 판독 가능 기록 매체 - Google Patents

패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램을 기록한 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR20120104363A
KR20120104363A KR1020127018452A KR20127018452A KR20120104363A KR 20120104363 A KR20120104363 A KR 20120104363A KR 1020127018452 A KR1020127018452 A KR 1020127018452A KR 20127018452 A KR20127018452 A KR 20127018452A KR 20120104363 A KR20120104363 A KR 20120104363A
Authority
KR
South Korea
Prior art keywords
class
loss
recognition dictionary
losses
sum
Prior art date
Application number
KR1020127018452A
Other languages
English (en)
Inventor
아쯔시 사또
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20120104363A publication Critical patent/KR20120104363A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

손실 계산 수단은, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산한다. 손실차 계산 수단은, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산한다. 인식 사전 작성 수단은, 클래스마다 계산된 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성한다. 또한, 인식 사전 작성 수단은, 입력된 특징 벡터에 기초하여, 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하고, 패턴 식별 수단은, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별한다.

Description

패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램 {PATTERN RECOGNITION DEVICE, PATTERN RECOGNITION METHOD AND PATTERN RECOGNITION-USE PROGRAM}
본 발명은, 입력되는 데이터의 패턴을 인식하는 패턴 인식 장치, 패턴 인식 방법, 패턴 인식용 프로그램 및 이들 패턴 인식에 이용되는 인식 사전을 작성하는 인식 사전 작성 장치, 인식 사전 작성 방법 및 인식 사전 작성 프로그램에 관한 것이다.
입력 데이터를 2개의 그룹으로 분류하는 일반적인 방법으로서, 특허문헌 1 및 비특허문헌 1에 기재된 기술이 알려져 있다.
특허문헌 1에 기재된 소프트 마진 분류 시스템은, 트레이닝 세트 내의 모든 데이터 벡터에 있어서의 중량 벡터 및 바이어스를 포함하는 파라미터를 결정하고, 복수의 제약에 기초하여 각 데이터 벡터에 있어서의 슬랙 변수의 최소 비음수(non-negative value)를 결정한다. 또한, 특허문헌 1에 기재된 소프트 마진 분류 시스템은, 비용 함수의 최소값을 복수의 제약을 만족시키도록 결정한다.
또한, 비특허문헌 1에 기재된 방법은, 입력 데이터를 선형 분리할 수 없는 경우에, 패턴을 유한 혹은 무한 차원의 특징 공간으로 맵핑하고, 특징 공간 상에서 선형 분리를 행하는 것이다.
일본 특허 출원 공개 제8-087572호 공보(1996)(단락(0009))
C.Cortes and V.N.Vapnik, "Support vector Networks," Machine Learning, vol.20, pp.273-297, 1995
특허문헌 1 및 비특허문헌 1에 기재된 분류 방법을 이용한 일반적인 패턴 인식 장치에 대해 설명한다. 도 17은, 일반적인 패턴 인식 장치를 나타내는 설명도이다. 도 17에 나타난 패턴 인식 장치는, 데이터 입력부(201)와, 특징 추출부(202)와, 인식 사전 작성부(203), 식별부(classification section; 206), 및 결과 출력부(208)를 구비하고 있다. 또한, 인식 사전 작성부(203)는, 손실 계산부(204)와 마진 계산부(205)를 포함한다.
학습이라 불리는 인식 사전을 작성하는 단계에 있어서, 데이터 입력부(201)로부터 입력된 데이터를 특징 추출부(202)가 d차원의 특징 벡터로 변환하고, 인식 사전 작성부(203)가 인식 사전(207)을 작성한다. 데이터를 인식하는 단계에서는, 데이터 입력부(201)로부터 입력된 데이터를 특징 추출부(202)가 d차원의 특징 벡터로 변환하고, 식별부(206)가 인식 사전(207)을 이용하여 데이터를 식별 후, 결과 출력부(208)가 식별 결과를 출력한다.
또한, 인식 사전 작성부(203)는, 손실 계산부(204)가 계산한 손실과, 마진 계산부(205)가 계산한 마진의 역수를 서로 더한 평가 함수가 최소로 되도록 인식 사전(207)을 작성한다.
도 18은, 선형 분리 가능한 데이터로부터 인식 사전을 작성하기 위한 처리를 도시하는 설명도이다. 우선, 데이터 집합이 선형 분리 가능한 경우에 대해 도 18을 이용하여 설명한다. 도 18에 도시하는 검은 동그라미(이하"●"로 나타냄)는, 마이너스의 클래스에 속하는 데이터를 나타내고, 흰 동그라미(이하, "○"로 나타냄)는, 플러스의 클래스에 속하는 데이터를 나타낸다. 일반적인 패턴 인식장치에서는, 마이너스의 데이터와 플러스의 데이터 간의 마진이 최대로 되는 평행한 마진 경계(즉, 실선(302) 및 실선(303))를 구하고, 이들로부터 등거리에 있는 파선(301)을 식별 경계로 하는 인식 사전을 작성한다.
다음으로, 데이터 집합이 선형 분리 불가능한 경우에 대해 도 19를 이용하여 설명한다. 도 19는, 선형 분리 불가능한 데이터로부터 인식 사전을 작성하는 처리를 도시하는 설명도이다. 도 18에 도시하는 내용과 마찬가지로, 실선(402) 및 실선(403)은 평행한 마진 경계이며, 파선(401)은 이들로부터 등거리에 있는 식별 경계이다. 그러나, 도 18에 도시하는 경우와 상이하게, 사각으로 둘러싼 데이터(406, 407)가 데이터의 집합에 포함되므로, 데이터를 선형 분리할 수는 없다.
이와 같이 데이터 집합이 선형 분리 불가능한 경우, 일반적인 패턴 인식 장치에서는, 인식 사전 작성부(203)가 "●"로 나타내는 데이터의 마진 경계(즉, 실선(402))로부터의 일탈량(404)과, "○"로 나타내는 데이터의 마진 경계(즉, 실선(403))로부터의 일탈량(405)과의 총합을 손실로서 계산한다. 그리고, 인식 사전 작성부(203)는, 이 손실을 최소로 하고, 마진을 최대로 할 수 있는 마진 경계 및 식별 경계를 갖는 인식 사전을 작성한다. 이때, 인식 사전 작성부(203)는, 수학식 1로 정의되는 값 L을 최소화하는 식별 경계를 구한다.
Figure pct00001
또한, 수학식 1에 나타내는 계수 C는, 마진과 손실의 밸런스를 결정하는 파라미터이며, 그 값은 교차 검정법 등에 의해 시행 착오적으로 결정된다.
그러나, 일반적인 패턴 인식 장치를 이용하여 입력 데이터를 각 그룹으로 분류하는 방법에서는, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나 데이터 수가 적은 경우, 미학습의 새로운 데이터에 대한 식별 정밀도가 저하된다고 하는 문제가 있다. 이에 대해, 도 20 및 도 21을 이용하여 설명한다. 도 20은, 선형 분리 불가능한 데이터의 집합을 도시하는 설명도이다.
도 20에 도시하는 데이터(504)는, 노이즈에 의해 본래의 분포로부터 이격된 위치에 존재하고 있는 데이터, 혹은 데이터 수가 적으므로 분포로부터 이격되어 있는 것 같이 보이는 데이터이다. 이 경우, 일반적인 패턴 인식 장치는, 데이터 간의 마진을 최대화하는 실선(502) 및 실선(503)으로부터 동일한 위치로 식별 경계(파선(501))를 설정한다.
여기서, 도 20에 도시하는 데이터 집합에 미학습의 새로운 데이터가 추가된 경우에 대해 설명한다. 도 21은, 도 20에 도시하는 데이터 집합에 미학습의 새로운 데이터가 추가된 경우를 도시하는 설명도이다. 도 21에 나타내는 파선(602)의 위치에 식별 경계가 설정되면, "○"로 나타내는 데이터의 오류 수가 1, "●"로 나타내는 데이터의 오류수가 1로 되어, 오류의 총수는 2로 된다. 그러나, 일반적인 패턴 인식 장치가 이용하는 방법에서는, 파선(601)의 위치에 식별 경계가 설정되므로, "○"로 나타내는 데이터의 오류수가 3(즉, 오류의 총수가 3)으로 되어, 식별 정밀도가 저하된다고 하는 문제가 있다. 이와 같이, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우이어도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도를 실현할 수 있는 것이 바람직하다.
따라서, 본 발명은, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우에도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도로 패턴 인식을 행할 수 있는 패턴 인식 장치, 패턴 인식 방법, 패턴 인식용 프로그램 및 이들 패턴 인식에 이용되는 인식 사전을 작성하는 인식 사전 작성 장치, 인식 사전 작성 방법 및 인식 사전 작성 프로그램을 제공하는 것을 목적으로 한다.
본 발명에 따른 패턴 인식 장치는, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 수단과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 수단과, 손실 계산 수단이 클래스마다 계산한 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 수단과, 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 수단을 구비한다. 인식 사전 작성 수단이, 입력된 특징 벡터에 기초하여, 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하고, 패턴 식별 수단이, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별한다.
본 발명에 따른 인식 사전 작성 장치는, 데이터의 패턴을 인식하도록 구성된 패턴 인식 장치가 이용하는 인식 사전을 작성한다. 인식 사전 작성 장치는, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 수단과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 수단과, 손실 계산 수단이 클래스마다 계산한 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 수단을 구비한다. 인식 사전 작성 수단이, 입력된 특징 벡터에 기초하여, 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정한다.
본 발명에 따른 패턴 인식 방법은, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하고, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하고, 클래스마다 계산된 손실의 총합과, 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하고, 입력된 특징 벡터에 기초하여, 클래스마다 계산된 손실의 총합과, 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하고, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별하는 단계를 포함한다.
본 발명에 따른 인식 사전 작성 방법은, 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성하는 것이다. 인식 사전 작성 방법은, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하고, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하고, 클래스마다 계산된 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하고, 입력된 특징 벡터에 기초하여, 클래스마다 계산된 손실의 총합과, 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하는 단계를 포함한다.
본 발명에 따른 패턴 인식 프로그램은, 컴퓨터에, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 처리, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 처리, 손실 계산 처리에서 클래스마다 계산한 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 처리 및 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 처리를 실행시킨다. 인식 사전 작성 처리에서, 입력된 특징 벡터에 기초하여, 손실 계산 처리에서 계산한 클래스마다의 손실의 총합과, 손실차 계산 처리에서 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정시키고, 패턴 식별 처리에서, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별시킨다.
본 발명에 따른 인식 사전 작성 프로그램은, 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성하는 컴퓨터에 적용되는 인식 사전 작성 프로그램으로서, 컴퓨터에, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 처리, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 처리 및 손실 계산 처리에서 클래스마다 계산한 손실의 총합과, 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 처리를 실행시킨다. 인식 사전 작성 처리에서, 입력된 특징 벡터에 기초하여, 손실 계산 처리에서 계산한 클래스마다의 손실의 총합과, 손실차 계산 처리에서 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정시킨다.
본 발명에 따르면, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우이어도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도로 패턴 인식을 행할 수 있다.
도 1은 본 발명에 따른 패턴 인식 장치의 일 실시 형태를 나타내는 블록도이다.
도 2는 인식 사전을 작성하는 처리의 예를 나타내는 플로우 차트이다.
도 3은 인식 사전을 이용한 인식 처리의 예를 나타내는 플로우 차트이다.
도 4는 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 5는 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 6은 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 7은 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 8은 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 9는 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다.
도 10은 인식 사전을 작성하는 처리의 예를 나타내는 플로우 차트이다.
도 11은 클래스 1의 연속 손실을 계산하는 처리의 예를 나타내는 플로우 차트이다.
도 12는 클래스 2의 연속 손실을 계산하는 처리의 예를 나타내는 플로우 차트이다.
도 13은 평가값을 계산하는 처리의 예를 나타내는 플로우 차트이다.
도 14는 1개의 입력 데이터에 대해 행해지는 식별 처리의 예를 나타내는 플로우 차트이다.
도 15는 본 발명에 따른 패턴 인식 장치의 최소 구성의 예를 나타내는 블록도이다.
도 16은 본 발명에 따른 인식 사전 작성 장치의 최소 구성의 예를 나타내는 블록도이다.
도 17은 일반적인 패턴 인식 장치를 나타내는 설명도이다.
도 18은 선형 분리 가능한 데이터로부터 인식 사전을 작성하는 처리를 도시하는 설명도이다.
도 19는 선형 분리 불가능한 데이터로부터 인식 사전을 작성하는 처리를 도시하는 설명도이다.
도 20은 선형 분리 불가능한 데이터의 집합을 도시하는 설명도이다.
도 21은 데이터 집합에 미학습의 새로운 데이터가 추가된 경우를 도시하는 설명도이다.
이하, 본 발명의 예시적인 실시예들을 도면을 참조하여 설명한다.
도 1은, 본 발명에 따른 패턴 인식 장치의 일 실시 형태를 나타내는 블록도이다. 본 발명에 있어서의 패턴 인식 장치는, 데이터 입력부(101), 특징 추출부(102), 인식 사전 작성부(103), 식별부(106), 및 결과 출력부(108)를 구비하고 있다. 또한, 인식 사전 작성부(103)는, 연속 손실 계산부(104), 손실차 계산부(105), 및 인식 사전 결정부(109)를 포함한다.
데이터 입력부(101)는, 패턴 인식 장치에 입력된 인식 대상의 데이터를 특징 추출부(102)에 통지한다. 인식 대상의 데이터로서는, 예를 들면 카메라로 촬영된 화상 데이터 등을 들 수 있다.
특징 추출부(102)는, 데이터 입력부(101)로부터 통지된 데이터에 기초하여 d개의 특징값(이하, d차원 특징 벡터라고 명기하는 경우도 있음)을 추출한다. 특징 추출부(102)가 행하는 추출 방법의 일례로서, 화상 데이터를 흑백 농담(monochrome gray) 화상으로 변환한 후, 화상 전체를 세로 10×가로 10의 영역으로 분할하고, 각 영역 내에서 화상의 휘도값의 평균을 구함으로써, 100차원의 특징 벡터를 얻는 방법을 들 수 있다. 특징 추출부(102)가 다차원의 특징 벡터를 추출하는 방법은, 상술한 방법으로 한정되지 않는다. 입력된 데이터로부터 다차원의 특징 벡터를 추출하는 방법은 널리 알려져 있으므로, 상세한 설명은 생략한다.
인식 사전 작성부(103)는, 인식 사전(107)을 작성하는, "학습"이라 불리는 단계에 있어서, 특징 추출부(102)가 추출한 d차원 특징 벡터를 연속 손실 계산부(104) 및 손실차 계산부(105)에 입력하고, 그 계산 결과에 기초하여 인식 사전(107)을 작성한다.
연속 손실 계산부(104)는, d차원 특징 벡터에 기초하여 클래스마다의 손실을 계산한다. 그리고, 연속 손실 계산부(104)는, 계산된 클래스마다의 손실의 총합을 계산한다. 또한, 이하의 설명에서는, 일반적인 방법으로 계산되는 손실과 구별하기 위해, 연속 손실 계산부(104)가 계산하는 손실을 연속 손실이라 명기한다.
손실차 계산부(105)는, d차원 특징 벡터에 기초하여 하나의 클래스의 손실과 다른 클래스의 손실과의 차이를 계산한다. 그 후, 손실차 계산부(105)는, 클래스 간의 전체 차이들의 총합을 계산한다.
인식 사전 결정부(109)는, 연속 손실 계산부(104)가 계산한 연속 손실의 총합과, 손실차 계산부(105)가 계산한 클래스 간의 손실의 차의 총합에 기초하여, 작성하는 인식 사전을 결정한다.
식별부(106)는, 데이터를 인식하는 단계에서, 특징 추출부(102)가 추출한 d차원 특징 벡터와, 인식 사전(107)을 이용하여 데이터 패턴의 식별 처리를 행하고, 식별 결과를 결과 출력부(108)에 통지한다. 예를 들면, 식별부(106)는, 데이터가 속하는 클래스를 인식하기 위해, 입력된 데이터의 패턴을 식별할 수 있다. 또한, d차원 특징 벡터와 인식 사전을 이용한 식별 방법은 널리 알려져 있으므로, 상세한 설명은 생략한다.
결과 출력부(108)는, 식별부(106)로부터 수취한 식별 결과를 출력한다.
다음으로, 인식 사전 작성부(103)의 동작에 대해 이하에서 상세하게 설명한다. 인식 사전 작성부(103)의 연속 손실 계산부(104)는, k번째의 클래스에 대한 연속 손실을, 이하에 예시하는 수학식 2에 따라서 계산한다.
Figure pct00002
수학식 2에 있어서의 Pk는, k번째의 클래스에 관한 사전 확률(priori probability), Nk는 k번째의 클래스에 속하는 특징 벡터의 수, 벡터 xkn은 k번째의 클래스에 속하는 n번째의 특징 벡터, 벡터 α는 인식 사전(107)으로서 사용되는 식별기 파라미터이다.
여기서, 사전 확률이라 함은, 정답을 알고 있는 데이터에 관한 존재 확률, 혹은 출현 빈도를 나타낸다. 예를 들면, 전체 데이터의 수를 N으로 하였을 때, 그 데이터 중에 클래스 k의 데이터가 포함되어 있는 비율이 클래스 k의 사전 확률이다. 사전 확률에 대한 원하는 값으로서, 예를 들면 통계적으로 이미 알고 있는 값을 미리 설정할 수 있다. 예를 들면, 전체 특징 벡터 수가 N, 클래스 수가 K인 경우, 클래스 k의 사전 확률은 Pk＝Nk／N으로 설정될 수 있다. 단, N＝N1＋…NK이다. 또한, 이 경우의 사전 확률 Pk는, 클래스 k에 속하는 정답을 갖는 학습 데이터의, 전체 학습 데이터에 대한 비율이다.
식별기 파라미터는, 이용하는 식별기에 따라 정의되는 식별에 관한 파라미터이다. 예를 들면, 식별 함수로서 커넬 함수가 이용되는 경우, 수학식 2에 예시하는 파라미터 α로서, 각 커넬 함수를 가중치 부여할 때에 이용되는 계수가 이용될 수 있다.
수학식 2에 예시하는 함수 r(이하, r(ㆍ)이라 명기하는 경우도 있음)은, 인수로서 부여되는 특징 벡터가 식별 오류를 유발하는 정도를 나타내는 위험도를 나타내고, 식별 오류의 위험도가 높을수록 높은 값을 돌려주는 함수이다. 예를 들면, k번째의 클래스와 특징 벡터 x와의 유사도를 계산하는 식별 함수 gk(이하, gk(ㆍ)라고 명기하는 경우도 있음)를 이하에 기재하는 함수로 한다.
Figure pct00003
즉, 식별 함수 gk는, k번째의 클래스에 속하는 정도가 높아질수록 산출하는 값이 커지는 함수이다. 또한, 벡터 xkn에 대한 인식이 가장 잘못되기 쉬운 클래스를 j번째의 클래스로 하고, j번째의 클래스와 특징 벡터 x와의 유사도를 계산하는 식별 함수 gj(이하, gj(ㆍ)라고 명기하는 경우도 있음)를 이하에 기재하는 함수로 한다.
Figure pct00004
이때, 연속 손실 계산부(104)는, 이하에 예시하는 수학식 5?수학식 8을 이용하여 특징 벡터 x가 식별 오류로 되는 위험도를 계산한다.
Figure pct00005
Figure pct00006
Figure pct00007
Figure pct00008
또한, 함수 f(이하, f(ㆍ)라고 명기하는 경우도 있음)는 임의의 단조 증가 함수이며, 예를 들면 이하에 예시하는 수학식 9와 같이 정의된다.
Figure pct00009
여기서, β 및 ξ는 하이퍼 파라미터이며, 원하는 값이 설정된다. β 및 ξ에 대해서는, 일반적인 식별기에 있어서 값을 설정하는 방법과 동일한 방법을 이용하여 값을 설정하면 된다. 이와 같이, 연속 손실 계산부(104)는, 클래스 k에 속하는 입력 벡터 x가 어느 정도 잘못되기 쉬운지를 나타내는 위험도의 총합을 계산함으로써 클래스 k에 대한 연속 손실을 계산한다.
또한, 상기 설명에서는, 연속 손실 계산부(104)가, k번째의 클래스와 특징 벡터 x와의 유사도를 계산하는 식별 함수 gk를 이용하여 위험도를 산출하는 경우에 대해 설명하였다. 단, 위험도를 계산할 때에 이용하는 식별 함수 gk는, k번째의 클래스와 특징 벡터 x와의 유사도를 계산하는 함수로 한정되지 않는다.
예를 들면, 연속 손실 계산부(104)는, k번째의 클래스와 특징 벡터 x와의 거리를 계산하는 식별 함수를 이용하여 위험도를 계산할 수 있다. 또한, 이 경우에는, 식별 함수에 의해 산출되는 출력값이 작을(즉, 거리가 가까울)수록, 대상의 클래스에 속하는 정도가 높아진다. 그 때문에, 연속 손실 계산부(104)는, 수학식 5 내지 수학식 8에 예시하는 gk(ㆍ)와 gj(ㆍ)를 교체한 식을 이용하여 위험도를 계산하면 된다.
다음으로, 연속 손실 계산부(104)는, 클래스마다 계산한 연속 손실의 총합을 계산한다. 즉, 클래스 수를 K라고 하면, 연속 손실 계산부(104)는, 이하에 예시하는 수학식 10을 이용하여 연속 손실의 총합을 계산한다.
Figure pct00010
다음으로, 손실차 계산부(105)는, 클래스 간의 손실의 차의 총합을 계산한다. 예를 들면, 손실차 계산부(105)는, j번째의 클래스와 k번째의 클래스의 손실의 차의 총합을, 이하에 예시하는 수학식 11을 이용하여 계산한다.
Figure pct00011
다음으로, 인식 사전 결정부(109)는, 연속 손실 계산부(104)가 계산한 연속 손실의 총합과, 손실차 계산부(105)가 계산한 클래스 간의 손실의 차의 총합과의 가중치 부여 선형 합이 최소로 되는 식별기 파라미터 α를 결정한다. 예를 들면, 인식 사전 결정부(109)는, 연속 손실 계산부(104)가 수학식 10을 이용하여 계산한 연속 손실과, 손실차 계산부(105)가 수학식 11을 이용하여 계산한 클래스 간의 손실의 차의 총합과의 가중치 부여 선형 합이 최소로 되는 식별기 파라미터 α를 결정한다. 이때, 인식 사전 결정부(109)는, 이하에 예시하는 수학식 12에 의해 산출되는 값 L(α)가 최소로 되도록 식별기 파라미터 α를 결정할 수 있다.
Figure pct00012
여기서, λ는 하이퍼 파라미터이다. 인식 사전 결정부(109)는, 예를 들면 크로스 벨리데이션에 의해 L(α)가 최소로 되는 식별기 파라미터 α를 결정할 수 있다.
식별부(106)는, 이와 같이 결정된 식별기 파라미터 α를 이용하여 입력된 데이터의 식별 처리를 행한다. 따라서, 인식 사전 결정부(109)가 식별기 파라미터 α를 결정하는 것은, 입력되는 데이터의 식별 처리에 이용되는 인식 사전을 작성하는 것을 의미한다.
또한, 새로운 데이터가 입력되면, 인식 사전 결정부(109)는, 상기 방법에 의해, 입력된 새로운 데이터에 기초하여, 평가값 L(α)가 최소로 되도록 식별기 파라미터 α를 수정한다. 이것으로부터, 인식 사전 결정부(109)는, 입력된 데이터에 기초하여, 평가값 L(α)가 최소로 되도록 인식 사전을 수정하고 있다고도 할 수 있다.
데이터 입력부(101)와, 특징 추출부(102)와, 인식 사전 작성부(103)(보다 상세하게는, 연속 손실 계산부(104)와, 손실차 계산부(105)와, 인식 사전 결정부(109))와, 식별부(106)와, 결과 출력부(108)는, 프로그램(패턴 인식 프로그램)에 따라서 동작하는 컴퓨터의 CPU에 의해 실현된다. 예를 들면, 프로그램은, 패턴 인식 장치의 기억부(도시 생략)에 기억되고, CPU는, 그 프로그램을 읽어들이고, 프로그램에 따라서, 데이터 입력부(101), 특징 추출부(102), 인식 사전 작성부(103)(보다 상세하게는, 연속 손실 계산부(104), 손실차 계산부(105) 및 인식 사전 결정부(109)), 식별부(106) 및 결과 출력부(108)로 하여 동작할 수 있다. 또한, 데이터 입력부(101)와, 특징 추출부(102)와, 인식 사전 작성부(103)(보다 상세하게는, 연속 손실 계산부(104)와, 손실차 계산부(105)와, 인식 사전 결정부(109))와, 식별부(106)와, 결과 출력부(108)는, 각각이 전용의 하드웨어에서 실현되어 있을 수 있다.
또한, 인식 사전 작성부(103)(보다 상세하게는, 연속 손실 계산부(104)와, 손실차 계산부(105)와, 인식 사전 결정부(109))가, 하나의 장치(인식 사전 작성 장치)로 하여 동작할 수 있다.
다음으로, 동작에 대해 설명한다. 우선, 인식 사전을 작성하는 단계의 처리에 대해 설명한다. 도 2는, 인식 사전을 작성하는 처리의 예를 나타내는 플로우 차트이다. 이하의 설명에서는, 평가 함수로서 수학식 12를 이용하는 것으로 한다. 또한, 이하의 설명에서는, 인식 사전을 작성하는 것을 학습한다고 명기하는 경우도 있다.
우선, 학습용 데이터 세트(즉, 인식 사전을 작성할 때에 이용하는 데이터 세트)를 이용하여, 인식 사전의 초기화를 행한다(스텝 S701). 구체적으로는, 인식 사전 작성부(103)는, 식별기 파라미터 α의 초기값을 설정하여, 패턴 인식 장치를 학습에 사용할 수 있는 상태로 해 둔다. 또한, 인식 사전 작성부(103)는, 후술하는 처리에서 비교 대상으로 되는 변수 L에 대해, 충분히 큰 값을 설정해 둔다.
다음으로, 데이터 입력부(101)는, 입력 데이터를 읽어들이고(스텝 S702), 데이터를 특징 추출부(102)에 통지한다. 특징 추출부(102)는, 입력 데이터로부터 특징 추출을 행함으로써 입력 데이터를 d차원의 특징 벡터로 변환한다(스텝 S703). 인식 사전 결정부(109)는, 인식 사전인 식별기 파라미터 α를, 수학식 12로 정의되는 평가 함수 L(α)의 값이 감소하도록 수정한다(스텝 S704 및 스텝 S705). 구체적으로는, 인식 사전 결정부(109)는, 연속 손실 계산부(104)가 계산한 연속 손실의 총합과, 손실차 계산부(105)가 계산한 클래스 간의 손실의 차의 총합과의 가중치 부여 선형 합이 최소로 되도록 식별기 파라미터 α를 수정한다.
인식 사전 결정부(109)는, 평가 함수 L(α)의 값과 변수 L의 값을 비교한다. 그리고, 평가 함수 L(α)의 값과 변수 L의 값과의 차가 충분히 작은(즉, 일정한 값에 수속되어 있는) 경우(스텝 S706에 있어서의 '예'), 인식 사전 결정부(109)는, 이때의 α를 식별기 파라미터로서 결정하고 처리를 종료한다. 한편, 평가 함수 L(α)의 값과 변수 L의 값과의 차가 충분히 작다고 할 수 없는(즉, 일정한 값에 수속되어 있지 않은) 경우(스텝 S706에 있어서의 '아니오'), 인식 사전 결정부(109)는, 이때의 L(α)의 값을 변수 L에 대입하고, 스텝 S704 이후의 처리가 반복된다.
다음으로, 데이터를 인식하는 단계의 처리에 대해 설명한다. 도 3은, 인식 사전을 이용한 인식 처리의 예를 나타내는 플로우 차트이다. 우선, 식별부(106)는, 인식 사전의 초기화를 행한다(스텝 S801). 구체적으로는, 식별부(106)는, 인식 사전 작성부(103)가 작성한 인식 사전을 사용할 수 있는 상태로 한다. 다음으로, 데이터 입력부(101)는, 입력 데이터를 읽어들이고(스텝 S802), 특징 추출부(102)에 통지한다. 특징 추출부(102)는, 입력 데이터로부터 특징 추출을 행함으로써 입력 데이터를 d차원의 특징 벡터로 변환한다(스텝 S803). 식별부(106)는, 인식 사전을 이용하여 변환된 특징 벡터의 식별 처리를 행하고(스텝 S804), 식별 결과를 결과 출력부(108)에 통지한다. 그리고, 결과 출력부(108)는, 식별부(106)로부터 수취한 식별 결과를 출력한다(스텝 S805).
식별부(106)는, 입력 데이터의 읽어들임이 종료되어 있는지 여부를 판정한다(스텝 S806). 입력 데이터의 읽어들임이 종료되어 있지 않은 경우(스텝 S806에 있어서의 '아니오'), 스텝 S802 이후의 처리가 반복된다. 한편, 입력 데이터의 읽어들임이 종료되어 있는 경우(스텝 S806에 있어서의 '예'), 식별부(106)는, 처리를 종료한다.
이상과 같이, 본 실시 형태에 따르면, 연속 손실 계산부(104)가, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 연속 손실을 클래스마다 계산한다. 또한, 손실차 계산부(105)가, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산한다. 그리고, 인식 사전 결정부(109)가, 클래스마다 계산된 손실의 총합과, 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성한다. 또한, 인식 사전 결정부(109)가, 입력된 특징 벡터에 기초하여, 클래스마다 계산된 손실의 총합과, 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정한다. 그리고, 식별부(106)가, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별한다. 그 때문에, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우이어도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도로 패턴 인식을 행할 수 있다.
즉, 본 실시 형태에서는, 연속 손실을 작게 함과 함께 클래스 간의 손실의 차가 작아지도록 인식 사전을 결정하므로, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나 데이터 수가 적은 경우라도, 미학습의 새로운 데이터에 대해 높은 식별 정밀도를 실현할 수 있다. 이 효과에 대해, 이하 구체예를 이용하여 자세하게 설명한다. 이하의 구체예에서는, 설명을 쉽게 하기 위해, 클래스 수가 2개인 경우에 대해 설명한다. 클래스 수가 2개인 경우, 상술한 수학식 12는, 이하의 수학식 13과 같이 정의할 수 있다.
Figure pct00013
도 4 및 도 5는, 도 18에 도시하는 상태의 데이터에 대해 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다. 이하의 설명에서는, 도면 중의 검은 동그라미(이하,"●"로 나타냄)를 클래스 1에 속하는 데이터, 흰 동그라미(이하,"○"로 나타냄)를 클래스 2에 속하는 데이터라고 한다. 도 4에 나타내는 파선(901)은, 식별기가 설정하는 식별 경계를 나타낸다. 실선(902)은, 파선(901)으로부터 클래스 1 부근에, 어느 일정 거리 ξ의 위치로 설정된 마진 경계를 나타낸다. 또한, 도 4에 있어서 음영으로 나타낸 영역에 포함되는 "●"의 데이터의 연속 손실의 총합이, 클래스 1의 연속 손실 L1(α)로 된다.
마찬가지로, 도 5에 나타내는 파선(1001)은, 도 4에 있어서의 파선(901)과 동일한 위치로 설정되는 식별 경계를 나타내고, 실선(1002)은, 파선(1001)으로부터 클래스 2 부근의, 동일하게 일정 거리 ξ의 위치로 설정된 마진 경계를 나타낸다. 또한, 도 5에 있어서 음영으로 나타낸 영역에 포함되는 "○"의 데이터의 연속 손실의 총합이, 클래스 2의 연속 손실 L2(α)로 된다.
도 4 및 도 5에 도시한 바와 같이, 클래스 1의 연속 손실 L1(α)는, "●"로 나타내는 클래스 1의 데이터로부터 식별 경계가 멀어질수록 작은 값으로 된다. 또한, 클래스 2의 연속 손실 L2(α)는, "○"로 나타내는 클래스 2의 데이터로부터 식별 경계가 멀어질수록 작은 값으로 된다.
설명을 간략하게 하기 위해, 수학식 2, 수학식 5, 수학식 9 및 수학식 13을 이용하는 경우에 대해 이하 설명한다. 여기서, 수학식 2에 있어서의 사전 확률의 값을 Pk＝Nk로 하고, 수학식 9에 있어서의 β의 값을 충분히 큰 값으로 설정한다. 이 경우, 클래스 1의 연속 손실 L1(α)는, 도 4에 있어서의 음영 영역에 포함되는 "●"의 수, 클래스 2의 연속 손실 L2(α)는, 도 5에 있어서의 음영 영역에 포함되는 "○"의 수에 대략 동등하게 된다.
여기서, 수학식 13의 우변 제1 항 및 제2 항을 최소화하는 α를 구하는 것은, 이들(즉, 연속 손실)의 총합을 최소화하는 식별 경계를 구하는 것을 의미한다. 또한, 수학식 13의 우변 제3 항을 최소화하는 α를 구하는 것은, 도 4에 있어서의 음영 영역에 포함되는 "●"의 수와, 도 5에 있어서의 음영 영역에 포함되는 "○"의 수가 동등하게 되는 식별 경계를 구하는 것을 의미한다. 따라서, 수학식 13에 있어서의 λ의 값이 충분히 큰 경우에는, 도 4에 있어서의 음영 영역에 포함되는 "●"의 수와, 도 5에 있어서의 음영 영역에 포함되는 "○"의 수가 동등하게 되는 조건 하에서, 이들의 총합을 최소화하는 식별 경계를 구하게 된다.
도 6 및 도 7은, 도 20에 도시하는 상태의 데이터에 대해 식별 경계를 결정하는 동작의 예를 도시하는 설명도이다. 도 6 및 도 7에 도시하는 예에서는, "○"로 나타내는 클래스 2의 데이터의 부근에, "●"로 나타내는 클래스 1의 데이터가 추가되어 있다. 이와 같은 경우에도, 도 6에 있어서의 음영 영역에 포함되는 "●"의 수와, 도 7에 있어서의 음영 영역에 포함되는 "○"의 수가 동등하게 되는 조건 하에서, 이들의 총합을 최소화하는 식별 경계가 결정된다. 즉, 도 6에 나타내는 파선(1101), 혹은 도 7에 나타내는 파선(1201)의 위치로 식별 경계가 설정되게 된다.
따라서, 예를 들면 도 21에 예시하는 바와 같이 새로운 데이터가 입력된 경우이어도, 일반적인 패턴 인식 장치에서 구해지는 식별 경계보다도, 보다 식별 정밀도가 높은 식별 경계를 결정할 수 있다. 즉, 보다 높은 식별 정밀도를 실현할 수 있다.
또한, 본 실시 형태에 따르면, 식별 경계와 마진 경계와의 거리 ξ를 작게 함으로써, 일반적인 패턴 인식 장치에 의해 결정되는 식별 경계와 동일한 식별 경계를 얻을 수도 있다. 이에 대해, 도 8 및 도 9를 이용하여 이하 설명한다. 도 8 및 도 9는, 도 20에 도시하는 상태의 데이터에 대해 식별 경계를 결정하는 다른 동작의 예를 도시하는 설명도이다.
거리 ξ의 값을 작게 한 경우, 도 8에 있어서의 음영 영역에 포함되는 "●"의 수 및 도 9에 있어서의 음영 영역에 포함되는 "○"의 수가 적어진다. 그 때문에, 식별 경계 부근에 존재하는 데이터에 강하게 의존한 위치로 식별 경계(도 8에 있어서의 파선(1301), 혹은 도 9에 있어서의 파선(1401))가 설정되게 되고, 일반적인 패턴 인식 장치에서 결정되는 식별 경계(예를 들면, 도 21에 나타내는 파선(601))와 동일한 결과를 얻을 수 있다.
실시예
이하, 구체적인 실시예에 의해 본 발명을 설명하지만, 본 발명의 범위는 이하에 설명하는 내용으로 한정되지 않는다. 이하의 설명에서는, 클래스 수를 2로 하고, 각 클래스의 식별 함수로서 커넬 식별 함수를 이용하는 것으로 한다. 즉, 클래스 k의 식별 함수는, 이하에 예시하는 수학식 14와 같이 정의된다.
Figure pct00014
여기서, 벡터 xki는, 클래스 k에 속하는 학습 데이터이며, αki는 식별기 파라미터이다. 또한, K는 커넬 함수(이하, K(ㆍ)라고 명기하는 경우도 있음)이며, 이하에 예시하는 수학식 15와 같이 정의되는 가우시안형의 커넬 함수 등이 이용된다.
Figure pct00015
여기서, γ(단, γ＞0)는, 가우시안 커넬의 크기를 규정하는 파라미터이며, γ에는 미리 원하는 값을 설정해 둔다. 또한, 본 실시예에서는, k번째의 클래스에 대한 연속 손실을 산출하는 식으로서 수학식 2 및 수학식 8을 이용하는 것으로 한다. 또한, 평가 함수로서 수학식 13을 이용하는 것으로 한다.
본 실시예에서는, 처음에 인식 사전을 작성하는 단계의 처리에 대해 설명한다. 우선, 학습용으로 복수의 입력 데이터를 준비하고, 각 입력 데이터를 d차원의 특징 벡터(이후, 입력 벡터라 명기함)로 변환해 둔다. 이하, 설명을 간략화하기 위해, 설명을 간단히 하기 위해, 클래스 1에 속하는 입력 벡터를(x[1], x[2], …, x[N1]), 클래스 2에 속하는 입력 벡터를(x[N1＋1], x[N1＋2], …, x[N1＋N2])로 표기한다.
또한, 수학식 2의 사전 확률 Pk에는, 원하는 값을 설정해 둔다. 예를 들면, 클래스 1의 사전 확률 P1을, P1＝N1／N으로 설정하고, 클래스 2의 사전 확률 P2를, P2＝N2／N으로 설정한다. 단, N은 입력 벡터의 총수이며, N＝N1＋N2를 만족시킨다.
또한, 클래스 1에 관한 인식 사전으로서, (α[1], α[2], …, α[N1])를, 클래스 2에 관한 인식 사전으로서 (α[N1＋1], α2[N1＋2], …, α2[N1＋N2])를 각각 준비하고, 모든 값에 1을 설정해 둔다. 또한, 파라미터값의 변경량을 나타내는 미소한 값(minute value) ε을 준비하고, 이 ε의 값으로서, 예를 들면 0.01을 설정해 둔다.
도 10은, 본 실시예에서 인식 사전을 작성하는 처리의 예를 나타내는 플로우 차트이다. 처음에, 변수 Lnew 및 Lold에, 충분히 큰 값을 설정하고(스텝 S1501), 또한 변수 i에 1을 설정해 둔다(스텝 S1502). 인식 사전 작성부(103)는, i번째의 파라미터 α[i]의 값을 변수 α'로 보존하고, α[i]를 ε만큼 감소시킨다. 그 후, 수학식 13의 평가값 L(α)을 계산하고, 변수 L'로 보존한다(스텝 S1503). 변수 L'의 값이 변수 Lnew보다 작지 않은 경우(스텝 S1504에 있어서의 '아니오'), 스텝 S1506으로 진행한다. 한편, 변수 L'의 값이 변수 Lnew보다 작은 경우(스텝 S1504에 있어서의 '예'), 스텝 S1505로 진행한다. 스텝 S1505에 있어서, 인식 사전 작성부(103)는, 변수 L'의 값을 변수 Lnew로 보존함과 함께, 변수 i의 값을 변수 j로 보존해 둔다(스텝 S1505).
다음으로, 인식 사전 작성부(103)는, 변수 α'로 보존되어 있었던 값을 α[i]로 되돌아가게 한다(스텝 S1506). 변수 i의 값이 파라미터의 총수 N1＋N2보다 작은 경우(스텝 S1507에 있어서의 '예'), 인식 사전 작성부(103)는, i의 값을 1만큼 늘리고(S1508), 그 후 S1503으로 되돌아가 이후의 처리를 반복한다. 한편, 스텝 S1507에 있어서, 변수 i의 값이 파라미터의 총수 N1＋N2보다 작지 않은 경우(스텝 S1507에 있어서의 '아니오'), 스텝 S1509로 진행한다.
변수 Lnew의 값이 Lold보다 작지 않은 경우(스텝 S1509에 있어서의 '아니오'), 처리를 종료한다. 한편, 변수 Lnew의 값이 Lold보다 작은 경우(스텝 S1509에 있어서의 '예'), 스텝 S1510으로 진행한다. 스텝 S1510에 있어서, 인식 사전 작성부(103)는, Lold에 Lnew의 값을 보존하고, j번째의 파라미터 α(j)의 값을 ε만큼 감소하도록 변경한다(스텝 S1510). 그리고, 스텝 S1502로 되돌아가, 이후의 처리를 반복한다.
여기서, 스텝 S1503에 있어서 평가값 L(α)을 계산하는 처리에 대해 설명한다. 평가값 L(α)의 값은, 수학식 13에 예시하는 바와 같이, 클래스 1과 클래스 2 각각의 연속 손실 L1(α) 및 L2(α)의 값을 계산함으로써 얻어진다.
우선, 클래스 1의 연속 손실 L1(α)을 구하는 처리를, 플로우 차트를 이용하여 설명한다. 도 11은, 클래스 1의 연속 손실을 계산하는 처리의 예를 나타내는 플로우 차트이다.
우선, 인식 사전 작성부(103)는, 변수 L1의 값을 0, 변수 n의 값을 1로 설정한다(스텝 S1601). 또한, 인식 사전 작성부(103)는, 변수 i의 값을 1로, 변수 G1의 값을 0으로 각각 설정한다(스텝 S1602). 다음으로, 인식 사전 작성부(103)는, 입력 벡터 x(n)과 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G1에 가산한다(스텝 S1603).
여기서, 변수 i의 값이 N1보다 작은 경우(스텝 S1604에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1605), 스텝 S1603으로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1보다 작지 않은 경우(스텝 S1604에 있어서의 '아니오'), 스텝 S1606으로 진행한다. 스텝 S1606에 있어서, 인식 사전 작성부(103)는, i의 값을 N1＋1로, G2의 값을 0으로 각각 설정한다(스텝 S1606).
다음으로, 인식 사전 작성부(103)는, 입력 벡터 x(n)과 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G2에 가산한다(스텝 S1607). 여기서, 변수 i의 값이 N1＋N2보다 작은 경우(스텝 S1608에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1609), 스텝 S1607로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1＋N2보다 작지 않은 경우(스텝 S1608에 있어서의 '아니오'), 스텝 S1610으로 진행한다.
변수 G1로 설정된 값은, 클래스 1의 식별 함수의 값이며, 변수 G2로 설정된 값은, 클래스 2의 식별 함수의 값이다. 따라서, 인식 사전 작성부(103)는, 수학식 8에 따라서, 클래스 1에 속하는 입력 벡터 x(n)에 관한 연속 손실을 구한다(스텝 S1610). 변수 n의 값이 N1보다 작은 경우(스텝 S1611에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 n의 값을 1만큼 증가시키고(스텝 S1612), 스텝 S1602로 되돌아가 이후의 처리를 반복한다. 한편, 변수 n의 값이 N1보다 작지 않은 경우(스텝 S1611에 있어서의 '아니오'), 스텝 S1613으로 진행한다.
인식 사전 작성부(103)는, 수학식 2에 따라서, 원하는 값으로 설정된 사전 확률 P1을 변수 L1에 곱한 값을 계산하고, 또한 계산 결과를 클래스 1의 입력 벡터 수 N1로 나눈 값을 변수 L1로 설정한다(S1613). 그 후, 처리를 종료한다.
다음으로, 클래스 2의 연속 손실 L2(α)를 구하는 처리를, 플로우 차트를 이용하여 설명한다. 도 12는, 클래스 2의 연속 손실을 계산하는 처리의 예를 나타내는 플로우 차트이다.
우선, 인식 사전 작성부(103)는, 변수 L2의 값을 0, 변수 n의 값을 N1＋1로 설정한다(스텝 S1701). 또한, 인식 사전 작성부(103)는, 변수 i의 값을 1로, 변수 G1의 값을 0으로 각각 설정한다(스텝 S1702). 다음으로, 인식 사전 작성부(103)는, 입력 벡터 x(n)과 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G1에 가산한다(스텝 S1703).
여기서, 변수 i의 값이 N1보다 작은 경우(스텝 S1704에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1705), 스텝 S1703으로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1보다 작지 않은 경우(스텝 S1704에 있어서의 '아니오'), 스텝 S1706으로 진행한다. 스텝 S1706에 있어서, 인식 사전 작성부(103)는, i의 값을 N1＋1로, G2의 값을 0으로 각각 설정한다(스텝 S1706).
다음으로, 인식 사전 작성부(103)는, 입력 벡터 x(n)과 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G2에 가산한다(스텝 S1707). 여기서, 변수 i의 값이 N1＋N2보다 작은 경우(스텝 S1708에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1709), 스텝 S1707로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1＋N2보다 작지 않은 경우(스텝 S1708에 있어서의 '아니오'), 스텝 S1710으로 진행한다.
클래스 1의 경우와 마찬가지로, 변수 G1로 설정된 값은, 클래스 1의 식별 함수의 값이며, 변수 G2로 설정된 값은, 클래스 2의 식별 함수의 값이다. 따라서, 인식 사전 작성부(103)는, 수학식 8에 따라서, 클래스 2에 속하는 입력 벡터 x(n)에 관한 연속 손실을 구한다(스텝 S1710). 변수 n의 값이 N1＋N2보다 작은 경우(스텝 S1711에 있어서의 '예'), 인식 사전 작성부(103)는, 변수 n의 값을 1만큼 증가시키고(스텝 S1712), 스텝 S1702로 되돌아가 이후의 처리를 반복한다. 한편, 변수 n의 값이 N1＋N2보다 작지 않은 경우(스텝 S1711에 있어서의 '아니오'), 스텝 S1713으로 진행한다.
인식 사전 작성부(103)는, 수학식 2에 따라서, 원하는 값으로 설정된 사전 확률 P2를 변수 L2에 곱한 값을 계산하고, 또한 계산 결과를 클래스 2의 입력 벡터 수 N2로 나눈 값을 변수 L2로 설정한다(S1713). 그 후, 처리를 종료한다.
다음으로, 평가값 L(α)을 구하는 처리를, 플로우 차트를 이용하여 설명한다. 도 13은, 평가값을 계산하는 처리의 예를 나타내는 플로우 차트이다. 이하의 설명에서는, 수학식 13에 따라서 평가값 L(α)을 구하는 경우에 대해 설명한다.
우선, 인식 사전 작성부(103)는, 상술한 처리에서 산출된 변수 L1과 변수 L2를 가산한 값을 변수 L로 설정한다(스텝 S1801). 또한, 인식 사전 작성부(103)는, 상술한 처리에서 산출된 변수 L1과 변수 L2의 차의 제곱에 원하는 값 λ를 곱한 값을, 변수 L'로 설정한다(스텝 S1802). 그리고, 인식 사전 작성부(103)는, 스텝 S1801에 있어서 변수 L로 설정한 값과, 스텝 S1802에 있어서 변수 L'로 설정한 값을 가산한 값을 변수 L로 설정하고(스텝 S1803), 처리를 종료한다. 이와 같이 하여 얻어진 L의 값이, 도 10에 있어서의 스텝 S1503에서 평가값 L(α)로서 이용된다.
이상, 인식 사전을 작성하는 단계의 처리에 대해 설명하였다. 다음으로, 인식 사전을 이용하여 데이터를 인식하는 단계의 처리에 대해 설명한다. 또한, 여기서는, 입력 데이터가 미리 결정된 특징 추출에 의해 d차원의 특징 벡터 x로 변환되어 있는 것으로 한다. 이후, 이와 같이 변환된 특징 벡터를, 입력 벡터라고 명기한다.
도 14는, 1개의 입력 데이터에 대해 행해지는 식별 처리의 예를 나타내는 플로우 차트이다. 우선, 식별부(106)는, 변수 i의 값을 1, 변수 G1의 값을 0으로 설정한다(스텝 S1901). 다음으로, 식별부(106)는, 입력 벡터 x와 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G1에 가산한다(스텝 S1902).
여기서, 변수 i의 값이 N1보다 작은 경우(스텝 S1903에 있어서의 '예'), 식별부(106)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1904), 스텝 S1902로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1보다 작지 않은 경우(스텝 S1903에 있어서의 '아니오'), 스텝 S1905로 진행한다. 스텝 S1905에 있어서, 식별부(106)는, i의 값을 N1＋1로, G2의 값을 0으로 각각 설정한다(스텝 S1905).
다음으로, 식별부(106)는, 입력 벡터 x와 x(i)를 이용하여 수학식 15에 예시하는 커넬 함수의 값을 계산하고, 계산 결과에 i번째의 파라미터 α[i]를 곱한 값을 변수 G2에 가산한다(스텝 S1906). 여기서, 변수 i의 값이 N1＋N2보다 작은 경우(스텝 S1907에 있어서의 '예'), 식별부(106)는, 변수 i의 값을 1만큼 증가시키고(스텝 S1908), 스텝 S1906으로 되돌아가 이후의 처리를 반복한다. 한편, 변수 i의 값이 N1＋N2보다 작지 않은 경우(스텝 S1907에 있어서의 '아니오'), 스텝 S1909로 진행한다.
마지막으로, 식별부(106)는, 변수 G1의 값에서 변수 G2의 값을 감한 값(즉, G1-G2의 값)을 출력하고, 입력 벡터가 속하는 클래스를 식별하여 처리를 종료한다(스텝 S1909). 여기서, 출력값이 플러스인 경우, 입력 벡터 x는, 클래스 1에 속한다고 식별된다. 한편, 출력값이 플러스가 아닌 경우, 입력 벡터 x는, 클래스 2에 속한다고 인식된다.
또한, 본 실시예에서는, 클래스 수가 2인 경우에 대해 설명하였다. 단, 클래스 수는 2개로 한정되지 않고, 3개 이상일 수 있다. 또한, 본 실시예에서는, 식별기가 수학식 15로 정의되는 커넬 함수를 이용하는 경우에 대해 설명하였다. 단, 식별기가 이용하는 함수는, 커넬 함수로 한정되지 않는다.
다음으로, 본 발명에 따른 패턴 인식 장치의 최소 구성의 예를 설명한다. 도 15는, 본 발명에 따른 패턴 인식 장치의 최소 구성의 예를 나타내는 블록도이다. 본 발명에 따른 패턴 인식 장치는, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실(예를 들면, 연속 손실)을 클래스마다 계산하는(예를 들면, 수학식 10을 이용하여 계산하는) 손실 계산 수단(81)(예를 들면, 연속 손실 계산부(104))과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는(예를 들면, 수학식 11을 이용하여 계산하는) 손실차 계산 수단(82)(예를 들면, 손실차 계산부(105))과, 손실 계산 수단(81)이 클래스마다 계산한 손실의 총합(예를 들면, 수학식 10을 이용하여 계산된 연속 손실의 총합)과, 각 클래스 간의 손실의 차의 총합(예를 들면, 수학식 11을 이용하여 계산된 클래스 간의 손실의 차의 총합)에 기초하여, 인식 사전을 작성하는(예를 들면, 식별기 파라미터 α를 결정하는) 인식 사전 작성 수단(83)(예를 들면, 인식 사전 결정부(109))과, 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 수단(84)(예를 들면, 식별부(106))을 구비하고 있다.
인식 사전 작성 수단(83)은, 입력된 특징 벡터에 기초하여, 손실 계산 수단(81)이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단(82)이 계산한 각 클래스 간의 손실의 차의 총합과의 합(예를 들면, 수학식 12로 정의되는 평가 함수의 평가값 L(α))이 최소로 되도록 인식 사전을 수정하고, 패턴 식별 수단(84)은, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별한다.
그와 같은 구성에 의해, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우이어도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도로 패턴 인식을 행할 수 있다.
다음으로, 본 발명에 따른 인식 사전 작성 장치의 최소 구성의 예를 설명한다. 도 16은, 본 발명에 따른 인식 사전 작성 장치의 최소 구성의 예를 나타내는 블록도이다. 본 발명에 따른 인식 사전 작성 장치는, 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성한다. 인식 사전 작성 장치는 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실(예를 들면, 연속 손실)을 클래스마다 계산하는(예를 들면, 수학식 10을 이용하여 계산하는) 손실 계산 수단(91)(예를 들면, 연속 손실 계산부(104))과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는(예를 들면, 수학식 11을 이용하여 계산하는) 손실차 계산 수단(92)(예를 들면, 손실차 계산부(105))과, 손실 계산 수단(91)이 클래스마다 계산한 손실의 총합(예를 들면, 수학식 10을 이용하여 계산된 연속 손실의 총합)과, 각 클래스 간의 손실의 차의 총합(예를 들면, 수학식 11을 이용하여 계산된 클래스 간의 손실의 차의 총합)에 기초하여, 인식 사전을 작성하는(예를 들면, 식별기 파라미터 α를 결정하는) 인식 사전 작성 수단(93)(예를 들면, 인식 사전 결정부(109))을 구비하고 있다.
인식 사전 작성 수단(93)은, 입력된 특징 벡터에 기초하여, 손실 계산 수단(91)이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단(92)이 계산한 각 클래스 간의 손실의 차의 총합과의 합(예를 들면, 수학식 12로 정의되는 평가 함수의 평가값 L(α))이 최소로 되도록 인식 사전을 수정한다.
이와 같은 구성에 의해 작성되는 인식 사전을 이용하여 패턴 인식을 행하므로, 학습에 이용하는 데이터가 노이즈를 포함하는 경우나, 데이터 수가 적은 경우이어도, 미학습의 새로운 데이터에 대해, 높은 식별 정밀도로 패턴 인식을 행할 수 있다.
또한, 적어도 이하에 기재하는 바와 같은 패턴 인식 장치 및 인식 사전 작성 장치도, 상기에 설명하는 어느 하나의 실시 형태에 개시되어 있다.
(1) 패턴 인식 장치는, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실(예를 들면, 연속 손실)을 클래스마다 계산하는(예를 들면, 수학식 10을 이용하여 계산하는) 손실 계산 수단(예를 들면, 연속 손실 계산부(104))과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는(예를 들면, 수학식 11을 이용하여 계산하는) 손실차 계산 수단(예를 들면, 손실차 계산부(105))과, 손실 계산 수단이 클래스마다 계산한 손실의 총합(예를 들면, 수학식 10을 이용하여 계산된 연속 손실의 총합)과, 각 클래스 간의 손실의 차의 총합(예를 들면, 수학식 11을 이용하여 계산된 클래스 간의 손실의 차의 총합)에 기초하여, 인식 사전을 작성하는(예를 들면, 식별기 파라미터 α를 결정하는) 인식 사전 작성 수단(예를 들면, 인식 사전 결정부(109))과, 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 수단(예를 들면, 식별부(106))을 구비한다. 인식 사전 작성 수단은 입력된 특징 벡터에 기초하여, 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합(예를 들면, 수학식 12로 정의되는 평가 함수의 평가값 L(α))이 최소로 되도록 인식 사전을 수정하고, 패턴 식별 수단이, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별한다.
(2) 패턴 인식 장치에서, 손실 계산 수단이, 특징 벡터가 속하는 클래스가 식별 오류인 정도를 나타내는 위험도(예를 들면, 수학식 5?수학식 8 및 수학식 9에 의해 산출되는 위험도)의 총합(예를 들면, 수학식 2에 의해 산출되는 위험도의 총합)에 기초하여 클래스마다의 손실을 계산한다.
(3) 패턴 인식 장치에서, 손실 계산 수단이, 각 클래스의 손실을 커넬 함수를 이용하여 계산(예를 들면, 수학식 14 및 수학식 15를 이용하여 계산)하고, 패턴 식별 수단이, 커넬 함수에 기초하여 작성된 인식 사전을 이용하여 데이터의 패턴을 식별한다.
(4) 패턴 인식 장치는, 인식 대상으로 되는 데이터로서 입력된 데이터로부터 특징 벡터를 추출하는 특징 벡터 추출 수단(예를 들면, 특징 추출부(102))을 구비한다. 손실 계산 수단이, 특징 벡터 추출 수단이 추출한 특징 벡터의 손실을 클래스마다 계산하고, 패턴 식별 수단이, 특징 벡터 추출 수단이 추출한 특징 벡터의 패턴을 인식 사전을 이용하여 식별한다.
(5) 인식 사전 작성 장치는, 데이터의 패턴을 인식하는 패턴 인식 장치가 이용한다. 인식 사전을 작성하는 인식 사전 작성 장치는, 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실(예를 들면, 연속 손실)을 클래스마다 계산하는(예를 들면, 수학식 10을 이용하여 계산하는) 손실 계산 수단(예를 들면, 연속 손실 계산부(104))과, 클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는(예를 들면, 수학식 11을 이용하여 계산하는) 손실차 계산 수단(예를 들면, 손실차 계산부(105))과, 손실 계산 수단이 클래스마다 계산한 손실의 총합(예를 들면, 수학식 10을 이용하여 계산된 연속 손실의 총합)과, 각 클래스 간의 손실의 차의 총합(예를 들면, 수학식 11을 이용하여 계산된 클래스 간의 손실의 차의 총합)에 기초하여, 인식 사전을 작성하는(예를 들면, 식별기 파라미터 α를 결정하는) 인식 사전 작성 수단(예를 들면, 인식 사전 결정부(109))을 구비한다. 인식 사전 작성 수단은, 입력된 특징 벡터에 기초하여, 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합(예를 들면, 수학식 12로 정의되는 평가 함수의 평가값 L(α))이 최소로 되도록 인식 사전을 수정한다.
(6) 인식 사전 작성 장치는, 손실 계산 수단이, 특징 벡터가 속하는 클래스가 식별 오류인 정도를 나타내는 위험도(예를 들면, 수학식 5?수학식 8 및 수학식 9에 의해 산출되는 위험도)의 총합(예를 들면, 수학식 2에 의해 산출되는 위험도의 총합)에 기초하여 클래스마다의 손실을 계산한다.
이상, 실시 형태 및 실시예를 참조하여 본원 발명을 설명하였지만, 본원 발명은 상기 실시 형태 및 실시예로 한정되는 것은 아니다. 본원 발명의 구성이나 상세에는, 특허 청구 범위에 의해 정의되는 본원 발명의 사상 및 범주 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
이 출원은, 2010년 1월 14일에 출원된 일본 특허 출원 2010-5447을 기초로 하는 우선권을 주장하고, 그 개시의 전부를 여기에 원용한다.
(부기 1) 패턴 인식 방법은 인식 대상으로 되는 데이터로서 입력된 데이터로부터 특징 벡터를 추출하고, 추출된 특징 벡터의 손실을 클래스마다 계산하고, 추출된 특징 벡터의 패턴을 인식 사전을 이용하여 식별한다.
(부기 2) 패턴 인식 프로그램이, 컴퓨터에, 인식 대상으로 되는 데이터로서 입력된 데이터로부터 특징 벡터를 추출하는 특징 벡터 추출 처리를 실행시킨다. 손실 계산 처리에서, 상기 특징 벡터 추출 처리에서 추출한 특징 벡터의 손실을 클래스마다 계산시킨다. 패턴 식별 처리에서, 상기 특징 벡터 추출 처리에서 추출한 특징 벡터의 패턴을 인식 사전을 이용하여 식별시킨다.
본 발명은, 입력되는 데이터의 패턴을 인식하는 패턴 인식 장치에 적절히 적용된다. 예를 들면, 본 발명에 따른 패턴 인식 장치는, 화상 인식 등에 적절히 적용된다.
101 : 데이터 입력부
102 : 특징 추출부
103 : 인식 사전 작성부
104 : 연속 손실 계산부
105 : 손실차 계산부
106 : 식별부
107 : 인식 사전
108 : 결과 출력부
109 : 인식 사전 결정부

Claims (10)

  1. 패턴 인식 장치로서,
    각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 수단과,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 수단과,
    상기 손실 계산 수단이 클래스마다 계산한 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 수단과,
    상기 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 수단을 구비하고,
    상기 인식 사전 작성 수단은, 입력된 특징 벡터에 기초하여, 상기 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 상기 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하고,
    패턴 식별 수단은, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별하는 것을 특징으로 하는 패턴 인식 장치.
  2. 제1항에 있어서, 손실 계산 수단은, 특징 벡터가 속하는 클래스의 식별 오류의 정도를 나타내는 위험도의 총합에 기초하여 클래스마다의 손실을 계산하는 패턴 인식 장치.
  3. 제1항 또는 제2항에 있어서, 상기 손실 계산 수단은, 각 클래스의 손실을 커넬 함수를 이용하여 계산하고,
    상기 패턴 식별 수단은, 상기 커넬 함수에 기초하여 작성된 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 인식 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 인식 대상으로 되는 데이터로서 입력된 데이터로부터 특징 벡터를 추출하는 특징 벡터 추출 수단을 더 포함하고,
    상기 손실 계산 수단은, 상기 특징 벡터 추출 수단이 추출한 특징 벡터의 손실을 클래스마다 계산하고,
    상기 패턴 식별 수단은, 상기 특징 벡터 추출 수단이 추출한 특징 벡터의 패턴을 인식 사전을 이용하여 식별하는 패턴 인식 장치.
  5. 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성하는 인식 사전 작성 장치로서,
    각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 수단과,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 수단과,
    상기 손실 계산 수단이 클래스마다 계산한 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 수단을 포함하고,
    상기 인식 사전 작성 수단은, 입력된 특징 벡터에 기초하여, 상기 손실 계산 수단이 계산한 클래스마다의 손실의 총합과, 상기 손실차 계산 수단이 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하는 것을 특징으로 하는 인식 사전 작성 장치.
  6. 제5항에 있어서, 상기 손실 계산 수단은, 특징 벡터가 속하는 클래스의 식별 오류의 정도를 나타내는 위험도의 총합에 기초하여 클래스마다의 손실을 계산하는 인식 사전 작성 장치.
  7. 각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하고,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하고,
    클래스마다 계산된 손실의 총합과, 상기 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하고,
    입력된 특징 벡터에 기초하여, 클래스마다 계산된 손실의 총합과, 상기 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하고,
    수정된 인식 사전을 이용하여 데이터의 패턴을 식별하는 것을 특징으로 하는 패턴 인식 방법.
  8. 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성하는 인식 사전 작성 방법으로서,
    각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하고,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하고,
    클래스마다 계산된 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하고,
    입력된 특징 벡터에 기초하여, 클래스마다 계산된 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정하는 것을 특징으로 하는 인식 사전 작성 방법.
  9. 컴퓨터에,
    각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 처리,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 처리,
    상기 손실 계산 처리에서 클래스마다 계산한 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 처리, 및
    상기 인식 사전을 이용하여 데이터의 패턴을 식별하는 패턴 식별 처리를 실행시키고,
    상기 인식 사전 작성 처리에서, 입력된 특징 벡터에 기초하여, 상기 손실 계산 처리에서 계산한 클래스마다의 손실의 총합과, 상기 손실차 계산 처리에서 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정시키고,
    패턴 식별 처리에서, 수정된 인식 사전을 이용하여 데이터의 패턴을 식별시키는 것을 특징으로 하는 패턴 인식 프로그램.
  10. 데이터의 패턴을 인식하는 패턴 인식 장치가 이용하는 인식 사전을 작성하는 컴퓨터에 적용되는 인식 사전 작성 프로그램으로서,
    상기 컴퓨터에,
    각 클래스에 속하는 데이터의 특징을 나타내는 특징 벡터의 손실을 클래스마다 계산하는 손실 계산 처리,
    클래스마다 계산된 손실에 기초하여, 각 클래스 간의 손실의 차의 총합을 계산하는 손실차 계산 처리 및
    상기 손실 계산 처리에서 클래스마다 계산한 손실의 총합과, 상기 각 클래스 간의 손실의 차의 총합에 기초하여, 인식 사전을 작성하는 인식 사전 작성 처리를 실행시키고,
    상기 인식 사전 작성 처리에서, 입력된 특징 벡터에 기초하여, 상기 손실 계산 처리에서 계산한 클래스마다의 손실의 총합과, 상기 손실차 계산 처리에서 계산한 각 클래스 간의 손실의 차의 총합과의 합이 최소로 되도록 인식 사전을 수정시키는 것을 특징으로 하는 인식 사전 작성 프로그램.
KR1020127018452A 2010-01-14 2010-12-20 패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램을 기록한 컴퓨터 판독 가능 기록 매체 KR20120104363A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2010-005447 2010-01-14
JP2010005447 2010-01-14

Publications (1)

Publication Number Publication Date
KR20120104363A true KR20120104363A (ko) 2012-09-20

Family

ID=44303949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127018452A KR20120104363A (ko) 2010-01-14 2010-12-20 패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램을 기록한 컴퓨터 판독 가능 기록 매체

Country Status (6)

Country Link
US (1) US8750628B2 (ko)
EP (1) EP2525306A4 (ko)
JP (1) JP5621787B2 (ko)
KR (1) KR20120104363A (ko)
CN (1) CN102713945B (ko)
WO (1) WO2011086643A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014118978A1 (ja) 2013-02-01 2014-08-07 富士通株式会社 学習方法、情報処理装置および学習プログラム
WO2016181468A1 (ja) * 2015-05-11 2016-11-17 株式会社東芝 パターン認識装置、パターン認識方法およびプログラム
CN107533672B (zh) * 2015-05-11 2021-01-12 株式会社东芝 模式识别装置、模式识别方法以及记录介质
US9582715B2 (en) 2015-06-30 2017-02-28 International Business Machines Corporation Feature selection algorithm under conditions of noisy data and limited recording
CN107402914B (zh) * 2016-05-20 2020-12-15 富士通株式会社 自然语言深度学习系统和方法
JP6199461B1 (ja) * 2016-09-13 2017-09-20 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7114892B2 (ja) * 2017-12-13 2022-08-09 京セラドキュメントソリューションズ株式会社 画像形成装置
US11829861B2 (en) * 2019-07-17 2023-11-28 Unist (Ulsan National Institute Of Science And Technology) Methods and apparatus for extracting data in deep neural networks
JP7221892B2 (ja) * 2020-02-12 2023-02-14 株式会社東芝 学習装置、学習方法、および学習プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640492A (en) 1994-06-30 1997-06-17 Lucent Technologies Inc. Soft margin classifier
JP2690027B2 (ja) * 1994-10-05 1997-12-10 株式会社エイ・ティ・アール音声翻訳通信研究所 パターン認識方法及び装置
US7076473B2 (en) * 2002-04-19 2006-07-11 Mitsubishi Electric Research Labs, Inc. Classification with boosted dyadic kernel discriminants
US7490071B2 (en) * 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
JP2005198970A (ja) * 2004-01-19 2005-07-28 Konica Minolta Medical & Graphic Inc 医用画像処理装置
JP4723020B2 (ja) 2009-10-13 2011-07-13 株式会社ソフイア 遊技機

Also Published As

Publication number Publication date
JP5621787B2 (ja) 2014-11-12
JPWO2011086643A1 (ja) 2013-05-16
CN102713945A (zh) 2012-10-03
US20130129220A1 (en) 2013-05-23
EP2525306A1 (en) 2012-11-21
EP2525306A4 (en) 2018-01-10
CN102713945B (zh) 2015-03-25
US8750628B2 (en) 2014-06-10
WO2011086643A1 (ja) 2011-07-21

Similar Documents

Publication Publication Date Title
KR20120104363A (ko) 패턴 인식 장치, 패턴 인식 방법 및 패턴 인식용 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
US11282295B2 (en) Image feature acquisition
US20080101705A1 (en) System for pattern recognition with q-metrics
KR20160032533A (ko) 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치
Dev et al. Multi-level semantic labeling of sky/cloud images
CN109686402A (zh) 基于动态加权相互作用网络中关键蛋白质识别方法
US10671663B2 (en) Generation device, generation method, and non-transitory computer-readable recording medium
US10373028B2 (en) Pattern recognition device, pattern recognition method, and computer program product
Beigi et al. A hierarchical approach to large-scale speaker recognition.
Douangnoulack et al. Building minimal classification rules for breast cancer diagnosis
Zhan et al. A new classifier for facial expression recognition: fuzzy buried Markov model
Madjarov et al. Hybrid decision tree architecture utilizing local SVMs for multi-label classification
US9208402B2 (en) Face matching for mobile devices
Rabcan et al. Classification by fuzzy decision trees inducted based on Cumulative Mutual Information
KR102405867B1 (ko) 인공지능 모델을 이용한 특허문서의 중요도 판단 방법, 장치 및 시스템
Riera et al. No sample left behind: Towards a comprehensive evaluation of speech emotion recognition system
Zhang et al. A remote sensing feature discretization method accommodating uncertainty in classification systems
KR102491451B1 (ko) 심층 신경망 기반의 악성코드 탐지 분류체계의 유사도를 반영하는 시그니처 생성 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
Greenfield et al. Link prediction methods for generating speaker content graphs
KR102315215B1 (ko) 특허문서의 단어 세트 획득 방법 및 획득된 단어 세트를 바탕으로 특허문서의 유사도를 판단하기 위한 방법.
CN110555338A (zh) 对象识别方法和装置、神经网络生成方法和装置
Pangastuti et al. Classification boosting in imbalanced data
Celes Machine Learning for Diagnosis of Foliar Diseases in Apple Trees
Sethi et al. Isomap based Self-taught transfer Learning for Image classification
Nakatani et al. Semisupervised learning using feature selection based on maximum density subgraphs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application