KR19980069941A - 후보 테이블을 이용하여 분류를 행하는 패턴 인식 장치 및 방법 - Google Patents

후보 테이블을 이용하여 분류를 행하는 패턴 인식 장치 및 방법 Download PDF

Info

Publication number
KR19980069941A
KR19980069941A KR1019970047016A KR19970047016A KR19980069941A KR 19980069941 A KR19980069941 A KR 19980069941A KR 1019970047016 A KR1019970047016 A KR 1019970047016A KR 19970047016 A KR19970047016 A KR 19970047016A KR 19980069941 A KR19980069941 A KR 19980069941A
Authority
KR
South Korea
Prior art keywords
candidate
feature vector
category
feature
reference feature
Prior art date
Application number
KR1019970047016A
Other languages
English (en)
Other versions
KR100263808B1 (ko
Inventor
후지모토가츠히토
가마다히로시
Original Assignee
세키자와다다시
후지쓰가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세키자와다다시, 후지쓰가부시키가이샤 filed Critical 세키자와다다시
Publication of KR19980069941A publication Critical patent/KR19980069941A/ko
Application granted granted Critical
Publication of KR100263808B1 publication Critical patent/KR100263808B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Abstract

패턴 인식에 있어서의 후보 카테고리 집합의 산출을 고속화하는 것이 과제이다.
테이블 기억 수단(11)내의 후보 테이블(13)은, 패턴의 특징 벡터로부터 계산되는 참조 특징 벡터 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 유지한다. 후보 카테고리 계산 수단(12)은 후보 테이블(13)의 사상을 이용하여, 소정의 참조 특징 벡터 값에 대응하는 후보 카테고리 집합을 구하여 그것을 출력한다.

Description

후보 테이블을 이용하여 분류를 행하는 패턴 인식 장치 및 방법
본 발명은 패턴 인식에 관한 것으로, 입력 패턴 또는 그 특징 벡터에 속하는 카테고리를 추정하여 패턴을 인식하는 패턴 인식 장치 및 그 방법에 관한 것이다.
최근, 사무실에서의 작업 흐름의 효율화를 위해서, 문서를 전자적으로 감지하여 필요에 따라 코드화하는 시스템이 개발되고 있으며, FAX 문서 등을 인식하는 문서 인식 장치가 강하게 요구되고 있다. 특히, 문자 인식 장치는 문자열 정보의 코드화를 위해서 필수적이고, 그 실용화와 광범위한 보급을 위해서는 높은 인식 정밀도를 유지한채로 보다 고속으로 문자 카테고리를 추정하는 것이 중요하다.
또한, 인간의 얼굴을 인식하는 기술은 전자 회의, 보안 시스템의 기술 요소로서 중요성이 더해가고 있으며, 실시간에 인간의 얼굴의 동정(同定)이 가능한 고속이면서 또한 고정밀도로 얼굴을 인식하는 기술이 요구되고 있다.
또한, 3차원 물체 또는 2차원 도형의 인식 기술은 컴퓨터그래픽스, CAD (computer aided design), DTP(desk top publishing) 등의 보급에 따라서, 현실적으로 존재하는 3차원 물체 또는 2차원 도형을 효율적으로 컴퓨터에 입력하고, 재이용하기 위한 수단으로서 중요해지고 있다. 따라서, 고속이고 또한 고정밀도인 물체 또는 도형의 인식 기술은 이들 시스템에 있어서 실용상 필수적인 기술이다.
이와 같이, 고속이고 또한 고정밀도인 패턴 인식은 각종 실용적인 패턴 인식 장치를 구축하는데 있어서의 기술 요소로서 중요한 역할을 하고 있다. 여기서, 패턴 인식에 있어서 잘 이용되는 용어를 간단하게 정의해 둔다.
인식 대상의 것을 패턴이라고 부르고, 모든 패턴이 만드는 집합의 것을 패턴 공간이라고 부른다. 패턴을 특징 추출함으로써 얻어지는 1개 이상의 특징량의 세트를 특징 벡터라고 부르고, 특징 벡터의 요소의 수를 특징 벡터의 차원이라고 부른다.
특징 벡터의 각각의 요소 값의 세트를 특징 벡터 값이라고 부르고, 모든 특징 벡터 값이 만드는 집합의 것을 특징 공간이라고 부른다. 특징 공간의 차원은 특징 공간의 요소인 특징 벡터의 차원과 같다.
특징 벡터의 요소의 부분 집합을 부분 특징 벡터라고 부르고, 부분 특징 벡터의 각각의 요소 값의 세트를 부분 특징 벡터의 값이라고 부른다. 모든 부분 특징 벡터 값이 만드는 집합의 것을 부분 특징 공간이라고 부른다. 부분 특징 공간의 차원은 부분 특징 공간의 요소인 부분 특징 벡터의 차원과 같다.
동일 종류로 간주할 수 있는 패턴 또는 특징 벡터의 집합을 카테고리라고 부른다. 특히, 동일 종류로 간주할 수 있는 패턴의 집합을 카테고리 패턴 집합, 동일 종류로 간주할 수 있는 특징 벡터의 집합을 카테고리 특징 집합이라고 부른다.
입력된 패턴 또는 특징 벡터가 어떤 카테고리(카테고리 패턴 집합 또는 카테고리 특징 집합)에 속하는지를 결정하는 것을 패턴 인식이라고 부른다. 특히, 입력된 패턴 또는 특징 벡터가 카테고리 집합 중에 있는 카테고리에 속할 가능성이 있다고 추정될 경우, 그 카테고리 집합의 것을 후보 카테고리 집합이라고 부른다.
종래부터, 고속의 패턴 인식 방법으로서, 특징 압축을 행하여 조합시의 거리 계산에 이용하는 특징 벡터의 차원수를 크게 감함으로써, 처리 시간을 대폭 단축하는 방법이 있다. 도 23은 이러한 특징 압축에 의한 고속 분류를 이용한 패턴 인식 장치의 구성도이다.
도 23의 패턴 인식 장치에 있어서는 특징 추출부(1)가 입력 패턴으로 특징 벡터를 추출하고, 특징 압축부(2)가 특징 벡터의 선형 변환을 행하여, 차원수가 보다 낮은 압축 특징 벡터를 구한다. 압축 특징 사전(4)에는 각각의 카테고리에 대응하는 압축 특징 벡터가 유지되어 있고, 대분류부(3)는 특징 압축부(2)가 구한 압축 특징 벡터와 압축 특징 사전(4)내의 각 압축 특징 벡터와의 거리를 구한다. 그리고, 거리가 작은 순으로 카테고리를 다시 배열하여, 최단 거리의 것으로부터 지정된 수만의 카테고리 열을 후보 카테고리 집합으로서 출력한다.
그러나, 종래의 패턴 인식에는 다음과 같은 문제가 있다.
특징 압축에 의한 고속 분류를 이용한 패턴 인식에서는, 특징 벡터를 압축하여 보다 차원이 낮은 압축 특징 벡터로 변환할 때에 정보의 결락이 발생한다. 이 때문에, 입력 패턴의 압축 특징 벡터와의 거리가 작은 압축 특징 벡터를 포함하는 카테고리가 반드시 전자를 포함한다고는 할 수 없으며, 올바른 후보 카테고리 집합이 얻어지지 않을 경우가 있다. 따라서, 저품질인 입력 패턴에 대해서는 인식 정밀도가 대폭 저하되어 버리고, 고품질인 입력 패턴에 대해서도 인식 정밀도가 약간 저하된다는 문제가 있다.
본 발명의 과제는 인식 정밀도의 저하를 억제하면서 후보 카테고리 집합의 산출을 고속화할 수 있는 패턴 인식 장치 및 그 방법을 제공하는 것이다.
도 1은 본 발명의 패턴 인식 장치의 원리도.
도 2는 후보 테이블의 레코드를 나타내는 도면.
도 3은 카테고리와 참조 특징 공간을 나타내는 도면.
도 4는 정보 처리 장치의 구성도.
도 5는 후보 테이블의 구조를 나타내는 도면.
도 6은 제1 패턴 인식 장치의 구성도.
도 7은 제2 패턴 인식 장치의 구성도.
도 8은 제1 참조 특징 공간을 나타내는 도면.
도 9는 제1 후보 테이블을 나타내는 도면.
도 10은 제3 패턴 인식 장치의 구성도.
도 ll은 보로노이 분할을 나타내는 도면.
도 12는 제2 참조 특징 공간을 나타내는 도면.
도 13은 제3 참조 특징 공간을 나타내는 도면.
도 14는 제2 후보 테이블을 나타내는 도면.
도 15은 학습 패턴을 이용한 후보 테이블 작성 처리의 흐름도.
도 16은 학습 패턴을 이용한 추정 처리의 흐름도.
도 17은 후보 카테고리 집합 생성 처리의 흐름도.
도 18은 보로노이 분할을 이용한 후보 테이블 작성 처리의 흐름도.
도 19는 보로노이 분할을 이용한 추정 처리의 흐름도.
도 20은 제4 패턴 인식 장치의 구성도.
도 21은 제5 패턴 인식 장치의 구성도.
도 22는 제6 패턴 인식 장치의 구성도.
도 23은 종래의 패턴 인식 장치의 구성도.
〈도면의 주요 부분에 대한 부호의 설명〉
1,51,61,91,101 : 특징 추출부
2,92,102 : 특징 압축부
3,104 : 대분류부
4,107 : 압축 특징 사전
ll : 테이블 기억 수단
12 : 후보 카테고리 계산 수단
13,41,53,64,82,83,95,106 : 후보 테이블
21,54,71,73 : 특징 공간
22,55,72,74 : 참조 특징 공간
31 : CPU
32 : 메모리
33 : 입력 장치
34 : 출력 장치
35 : 외부 기억 장치
36 : 매체 구동 장치
37 : 네트워크 접속 장치
38 : 광전 변환 장치
39 : 버스
40 : 운반가능 기억 매체
42,52,62,84,85,93,103 : 후보 카테고리 계산부
63,94,105 : 상세 분류부
65,96,108 : 사전
81 : 참조 특징 벡터 계산부
86 : 후보 카테고리 집적부
도 1은 본 발명의 패턴 인식 장치의 원리도이다. 도 1의 패턴 인식 장치는 테이블 기억 수단(ll)과 후보 카테고리 계산 수단(12)을 구비한다.
테이블 기억 수단(11)은 패턴의 특징 벡터로부터 계산되는 참조 특징 벡터 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 형성하기 위해서 필요한 정보를 기술한 후보 테이블(13)을 기억한다.
후보 카테고리 계산 수단(12)은 후보 테이블(13)을 이용하여 소정의 참조 특징 벡터 값에 대응하는 후보 카테고리 집합을 구하여, 얻어진 후보 카테고리 집합을 출력한다.
참조 특징 벡터란 후보 카테고리 계산 수단(12)이 참조하는 특징 벡터의 것이고, 참조 특징 벡터의 요소 수를 참조 특징 벡터의 차원이라고 부르며, 참조 특징 벡터 값의 집합의 것을 참조 특징 공간이라고 부른다. 참조 특징 공간의 차원은 참조 특징 공간의 요소인 참조 특징 벡터의 차원과 같다. 예컨대 특징 벡터의 요소의 일부로 이루어진 부분 특징 벡터가 참조 특징 벡터로서 이용된다.
후보 테이블(13)은 참조 특징 벡터의 개개의 값과 후보 카테고리 집합의 대응 관계를 나타내는 사상 정보를 유지하고 있다. 따라서, 이 후보 테이블(13)을 참조하면, 특정한 참조 특징 벡터의 값에 대응하는 후보 카테고리 집합을 즉시 구할 수 있다. 후보 카테고리 계산 수단(12)은 참조 특징 벡터의 값을 부여했을 때, 그 값을 후보 테이블(13)의 사상에 입력하고 대응하는 후보 카테고리 집합을 구하여 그것을 출력한다.
이러한 패턴 인식 장치에 있어서는 복잡한 특징 벡터간의 거리 계산을 행하는 일없이, 간단한 테이블 당김의 조작만으로 후보 카테고리 집합을 출력할 수 있으며, 패턴 인식 처리가 각별히 고속화된다. 또한, 후보 테이블(13)의 사상을 적절하게 설정해 둠으로써, 본 발명을 이용하지 않는 경우와 같은 정도의 인식 정밀도를 유지하는 것이 가능하다.
예컨대, 도 1의 테이블 기억 수단(ll)은 후술하는 도 4의 메모리(32)에 대응하고, 후보 카테고리 계산 수단(12)은 CPU(중앙 처리 장치)(31)와 메모리(32)에 대응한다.
이하, 도면을 참조하면서 본 발명의 실시 형태를 상세히 설명한다.
본 발명에 있어서는 미리 준비된 후보 테이블을 참조함으로써 특징 벡터간의 거리 계산을 하는 일없이 후보 카테고리 집합을 출력하는 후보 카테고리 계산부를 설치한다. 후보 테이블에는 특징 벡터로부터 계산되는 어떤 참조 특징 벡터의 값을 입력으로 하고, 어떤 후보 카테고리 집합을 출력으로 하는 사상을 구성하기 위해서 필요한 정보가 기술되어 있다.
후보 카테고리 계산부는 입력된 참조 특징 벡터 값을 바탕으로 후보 테이블로부터 후보 카테고리 집합을 구하여 그것을 출력한다. 후보 테이블에 참조 특징 벡터 값과 카테고리 집합의 사상으로서 적절한 것을 유지해 두면 본 발명의 고속 분류 수법을 이용하지 않을 경우와 거의 같은 정도의 정밀도를 유지하면서도 고속인 분류를 실현할 수 있다.
도 2는 후보 테이블의 레코드의 예를 나타내고 있다. 도 2의 참조 특징 분할 요소x는 참조 특징 벡터의 특정한 값 또는 값의 범위를 나타내고, 참조 특징 공간내의 특정한 점 또는 영역에 대응한다. 후보 카테고리 계산부에 소정의 참조 특징 벡터 값이 참조 특징 분할 요소x에 포함될 때, 대응하는 후보 카테고리 집합(B,C,G,H,K)가 분류 결과로서 출력된다.
도 3은 카테고리와 참조 특징 공간의 관계를 나타내고 있다. 후보 테이블의 작성시에는 참조 특징 공간(22)을 적당한 기준에 따라서 복수의 참조 특징 분할 요소에 분할하여, 특징 공간(21)에 대응하는 각 카테고리A,B,C,D,E,F,G,H,I,J,K,L,M로부터 참조 특징 공간(22)으로의 투영(참조 특징 투영)의 추정을 행한다. 그리고, 예컨대, 각 참조 특징 분할 요소에 대하여, 그 영역과 각 카테고리의 참조 특징 투영과의 공통 부분을 구하여 공통 부분이 존재하는 카테고리의 집합을 대응하는 후보 카테고리 집합으로 한다.
여기서는 카테고리B,C,G,H,K의 투영이 참조 특징 분할 요소 x와 공통 부분을 갖기 때문에, 이들을 요소로 하는 집합(B,C,G,H,K)이 도 2에 도시된 바와 같이, 참조 특징 분할 요소 x에 대응하는 후보 카테고리 집합이 된다. 다른 참조 특징 분할 요소 y에 대응하는 후보 카테고리 집합도 동일하게 요구된다.
이와 같이, 참조 특징 투영이 참조 특징 분할 요소와 공통 부분을 갖는 카테고리를 후보 카테고리 집합의 요소로 하고, 참조 특징 분할 요소와 후보 카테고리 집합의 세트를 후보 테이블로서 유지해 둔다. 그리고, 후보 카테고리 계산부는 소정의 참조 특징 벡터 값을 포함하는 참조 특징 분할 요소를 구하고, 후보 테이블을 이용하여 대응하는 후보 카테고리 집합을 구한다. 이것에 의해, 정밀도를 저하시키는 일없이 고속인 분류를 실현할 수 있다.
도 4는 이러한 패턴 인식 장치에 이용되는 정보 처리 장치의 구성도이다. 도 4의 정보 처리 장치는 CPU(중앙 처리 장치)(31), 메모리(32), 입력 장치(33), 출력 장치(34), 외부 기억 장치(35), 매체 구동 장치(36), 네트워크 접속 장치(37), 광전 변환 장치(38)를 구비하고, 그들 각 장치는 버스(39)에 의해 서로 결합되어 있다.
CPU(31)는 메모리(32)에 격납된 프로그램과 후보 테이블을 이용하여 패턴 인식 장치의 처리를 실현한다. 메모리(32)로서는 예컨대 R0M(read only memory), RAM(random access memory) 등이 이용된다.
입력 장치(33)는 예컨대 키보드, 포인팅 디바이스 등에 상당하고, 이용자로부터의 요구나 지시의 입력에 이용된다. 또한, 출력 장치(34)는 표시 장치나 프린터 등에 해당하며, 이용자로의 문의나 처리 결과 등의 출력에 이용된다.
외부 기억 장치(35)는 예컨대, 자기 디스크 장치, 광 디스크 장치, 광 자기 디스크 장치 등이고, 프로그램이나 데이타를 보존할 수 있다. 또한, 패턴, 특징 벡터, 후보 테이블 등을 보존하는 데이타 베이스로서도 사용된다.
매체 구동 장치(36)는 운반가능 기억 매체(40)를 구동하여, 그 기억 내용에 액세스할 수 있다. 운반가능 기억 매체(40)로서는 메모리 카드, 플로피 디스크, CD-R0M(compact disk read only memory), 광 디스크, 광 자기 디스크 등, 임의의 계산기 독출 가능 기억 매체를 사용할 수 있다. 이 운반가능 기억 매체(40)에는 데이타 이외에 패턴 인식 처리를 행하는 프로그램이 격납된다.
네트워크 접속 장치(37)는 LAN(local area network) 등의 임의의 통신 네트워크에 접속되고, 통신에 따른 데이타 변환등을 행한다. 패턴 인식 장치는 네트워크 접속 장치(37)를 통해 외부의 데이타 베이스등으로부터 필요한 데이타나 프로그램을 수신할 수 있다. 광전 변환 장치(38)는 예컨대 이미지 스캐너이고, 처리 대상이 되는 패턴의 입력에 이용된다.
다음에, 도 5 내지 도 14를 참조하여 참조 특징 벡터와 후보 테이블의 구체적예 및 패턴 인식 장치의 기능 구성에 관해서 설명한다. 도 5는 본 실시 형태에서 이용되는 후보 테이블의 구조를 나타내고 있다. 도 5의 후보 테이블에는 복수의 참조 특징 분할 요소와 후보 카테고리 집합의 세트가 격납되어 참조 특징 벡터의 분류에 이용된다.
도 6은 입력된 특징 벡터의 부분 특징 벡터를 이용하여 고속 분류를 행하는 후보 테이블을 갖는 제1 패턴 인식 장치의 구성도이다. 도 6의 패턴 인식 장치는 특징 벡터로부터 계산되는 참조 특징 벡터 값과 카테고리 집합의 세트를 유지한 후보 테이블(41)과, 후보 카테고리 계산부(42)를 구비한다.
후보 카테고리 계산부(42)는 입력된 특징 벡터가 있는 부분 특징 벡터를 참조 특징 벡터로서 그 참조 특징 벡터 값과 후보 테이블(41)을 이용하여 후보 카테고리 집합을 구하여 그것을 출력한다.
여기서, 특징 벡터가 이루는 특징 공간은, 서로 교차하지 않는 K개의 카테고리 특징 집합(카테고리)Cl,C2,···,CK으로 덮여져 있다고 한다. 이 때, 모든 카테고리 특징 집합의 집합을 CSET로 하면,
CSET={Cl,C2,···,CK}
로 쓸 수 있다. 또한, 특징 공간의 차원수를 N으로 하면, 특징 벡터 f는 그 요소를 이용하여,
f=(fl,f2,···,fN)
으로 쓸 수 있다. 이 때, 후보 카테고리 계산부(42)는 입력 특징 벡터 fIN에 속하는 카테고리 CIN∈CSET를 포함하는 후보 카테고리 집합 CCAND를 추정하여 그것을 출력한다. 참조 특징 벡터로서는 특징 벡터의 임의의 부분 특징 벡터를 이용할 수 있다.
예컨대, 2차원의 부분 특징 벡터 g=(fl,f2)을 참조 특징 벡터로 하면, 후보 테이블(41)은 2차원의 부분 특징 벡터 값과 후보 카테고리 집합의 세트에 의해 구성된다. 그리고, 2차원의 부분 특징 벡터를 취할 수 있는 모든 값이 후보 테이블에 등록된다. 여기서, 특징 벡터f의 각 요소는, 각각 3종류의 값0,1,2의 어느 하나를 취할 수 있는 것으로 하면, 후보 테이블(41)은 다음과 같이 된다.
((0,0), C(0,0))
((0,1), C(0,1))
((0,2), C(0,2))
((1,0), C(1,0))
((1,1), C(1,1))
((1,2), C(1,2))
((2,0), C(2,0))
((2,1), C(2,1))
((2,2), C(2,2))
여기서, C(p,q)⊂CSET는 참조 특징 벡터 값(p,q)(P=0,1,2; q=0,1,2)에 대응하는 후보 카테고리 집합이다. 이 경우, 참조 특징 공간에서의 점(p,q)이 참조 특징 분할 요소가 된다.
후보 카테고리 계산부(42)는 입력된 특징 벡터로부터 2차원의 참조 특징 벡터 값(p,q)을 구하고, 후보 테이블(41) 중에서 (p,q)를 좌측 요소에 갖는 세트를 구하여 그 우측 요소의 후보 카테고리 집합 C(p,q)를 출력한다.
이러한 패턴 인식 장치를 이용하면, 거리 계산을 하는 일없이 테이블 당김에 의해 고속으로 후보 카테고리 집합을 구할 수 있다. 또한, 후보 테이블(41)에 유지되고 있는 후보 카테고리 집합이 각각 적절한 것이면, 고정밀도 또한 고속으로 패턴 인식을 실행하는 패턴 인식 장치를 실현할 수 있다.
도 7은, 입력된 패턴으로부터 특징 벡터를 구하여, 특징 벡터의 부분 특징 벡터를 참조 특징 벡터로서, 후보 테이블을 이용한 고속 분류를 행하는 제2 패턴 인식 장치의 구성도이다.
도 7의 패턴 인식 장치는 입력된 문자 패턴으로부터 특징 벡터를 추출하는 특징 추출부(51)와, 후보 카테고리 계산부(52)와, 후보 테이블(53)을 구비하고 있다. 후보 테이블(53)은 예컨대, 학습용 문자 패턴 집합을 이용하여 작성된다.
여기서, 문자 패턴의 카테고리는 K개 있는 것으로 하여, 대응하는 특징 벡터가 이루는 특징 공간은 서로 교차하지 않는 K개의 카테고리 특징 집합 Cl,C2,···,CK로 덮여 있는 것으로 한다. 이 때, 모든 카테고리 특징 집합의 집합 CSET는
CSET={C1,C2,···,CK}
로 쓸 수 있다. 후보 카테고리 계산부(52)는 입력 문자 패턴 PIN이 속하는 카테고리 CIN∈CSET를 포함하는 후보 카테고리 집합 CCAND를 추정하여 그것을 출력한다.
우선, 특징 추출부(51)에 의한 특징 추출 처리에 관해서 설명한다. 문자 패턴으로부터의 특징 추출에 잘 사용하고 있는 특징량으로서, 방향선소 특징량이 있다. 이것은, 문자 패턴을 2차원의 격자형으로 분할하여, 각 블록내의 문자 패턴의 윤곽 방향 성분의 수를 세어서 그것을 특징량으로 한 것이다.
예컨대, 세로7×가로7의 격자를 이용한 경우, 블록의 수는 합계 49개가 된다. 윤곽 방향 성분을 크게, 가로·세로·우측경사·좌측경사의 4방향으로 하면, 49×4=196개의 특징량을 얻을 수 있다. 이것에 의해, 입력된 문자 패턴으로부터 196차원의 특징 벡터가 추출되게 된다.
일반적으로, 특징 공간의 차원수를 N으로 하면, 특징 벡터f는 그 요소를 이용하여,
f=(f1,f2,···,fN)
으로 쓸 수 있다. 특징 벡터 f의 각 요소의 값은, 특정 블록에 포함되는 윤곽 화소 중, 특정 방향 성분을 갖는 화소의 수에 대응하고 있으며, 예컨대, 0 이상의 정수치로 표시된다.
또, 특징 벡터의 1개의 요소 f1을 1차원의 참조 특징 벡터r로 하여, 참조 특징 벡터의 취할 수 있는 값의 범위를 A≤r<B로 하면, 구간[A,B]가 참조 특징 공간이 된다.
후보 테이블의 요소가 되는 참조 특징 분할 요소로서, 참조 특징 공간[A,B)를, 격자형으로 분할한 것을 이용하는 것으로 한다. 이 경우, 참조 특징 공간이 1차원이기 때문에, 구간[A,B)를,
A=S-1<S0<S1<S2<···<SL=B
와 같이 L+1개의 구간 Ri=[Si-1,Si)(i=0,1,···,L)로 분할하면, 각각의 구간 Ri가 참조 특징 분할 요소가 된다. 참조 특징 공간을 무한 공간으로서 정의할 경우는 A=－∞, B=+∞로 하면 좋다.
예컨대, 도 8에 나타내는 1차원의 참조 특징 공간(55)의 경우는, L=6으로서, R0=(－∞,S0), Rl=[S0,S1), R2=[S1,s2), R3=[S2,S3), R4=[S3,S4), R5=[S4,S5), R6=[S5,+∞)의 7개의 참조 특징 분할 요소로 분할되어 있다.
각각의 참조 특징 분할 요소 Ri에 대한 후보 카테고리 집합은 학습용 문자 패턴 집합의 각 문자 카테고리에 대한 참조 특징 투영을 추정함으로써 요구된다. 그리고, 그들 후보 카테고리 집합을 이용하여 후보 테이블(53)이 작성된다.
다만, 학습용 문자 패턴 집합은 각 문자 카테고리에 속하는 문자 패턴을 충분한 수만큼 포함하고 있는 것으로 한다. 특정 문자 카테고리 Ck에 대한 참조 특징 투영의 추정은 다음과 같이 하여 행해진다.
우선, 학습용 문자 패턴 집합으로부터 문자 카테고리 Ck에 속하는 문자 패턴을 취출하고, 각각의 문자 패턴을 특징 추출하여 대응하는 특징 벡터를 구한다. 다음에, 얻어진 특징 벡터의 집합으로부터 각 특징 벡터의 제1 요소 f1의 집합 Fk를 구하면, 집합 Fk는 문자 카테고리 Ck의 참조 특징 투영에 유사한 분포를 형성한다. 이 집합 Fk의 요소의 최소치 MINk와 최대치 MAXk를 구하고, 또 특정 마진 M을 고려하여, 문자 카테고리 Ck의 참조 특징 투영의 추정치 Qk를,
Qk=[MINk－M, MAXk+M]
와 같은 폐구간으로 할 수 있다.
이상과 같이 하여 구한 참조 특징 분할 요소Ri와, 각 문자 카테고리Ck에 대한 참조 특징 투영Qk로부터, 각각의 참조 특징 분할 요소Ri와 세트로 해야 되는 후보 카테고리 집합Di가 요구된다.
여기서는 어떤 참조 특징 분할 요소Ri와 참조 특징 투영Qk가 공통 부분을 갖는 (곱집합이 공집합이 아니다) 문자 카테고리Ck의 집합을, 그 참조 특징 분할 요소Ri에 대한 후보 카테고리 집합Di로 하게 한다. 이것에 의해, 후보 카테고리 집합Di는 참조 특징 분할 요소Ri에 속하는 참조 특징 벡터의 값을 갖는 문자 패턴이 속할 가능성이 있는 문자 카테고리를 열거한 것이 된다.
따라서, 인식 정밀도를 유지하기 위해서 충분한만큼의 문자 카테고리를 포함하는 후보 카테고리 집합Di가 얻어지고, 후보 테이블(53)은 참조 특징 분할 요소Ri와 후보 카테고리 집합Di의 세트에 의해 구성된다.
도 8의 특징 공간(54)에 있어서는 카테고리B,C,G,H,K의 투영이 참조 특징 분할 요소R3과 공통 부분을 가지기 때문에, 이들을 요소로 하는 집합(B,C,G,H,K)가 참조 특징 분할 요소R3에 대응하는 후보 카테고리 집합이 된다. 다른 참조 특징 분할 요소에 대응하는 후보 카테고리 집합도 동일하게 요구되어, 후보 테이블(53)은 예컨대, 도 9에 도시된 바와 같이 된다.
후보 카테고리 계산부(52)는 입력된 특징 벡터의 제1 요소의 값이 r인 경우, 이것을 참조 특징 벡터 값으로 하고, 우선, 이 값r이 속하는 참조 특징 분할 요소Ri를 구한다. 여기서는 참조 특징 분할 요소Ri는 1차원의 구간이기 때문에 값r이 어떤 구간에 속하는지를 판정하는 것은 용이하다. 다음에, 후보 테이블(53)을 이용하여, 참조 특징 분할 요소Ri에 대응하는 후보 카테고리Di를 구하여, 이것을 문자 인식 결과로서 출력한다. 출력된 후보 카테고리 집합에는 입력 문자 패턴이 속하는 문자 카테고리가 속해 있는 것을 기대할 수 있다.
이러한 패턴 인식 장치를 이용하면, 거리 계산을 행하는 일없이 테이블 당김에 의해 입력 문자 패턴이 속한다고 추정할 수 있는 후보 카테고리를 매우 고속으로 또한 정밀도를 저하시키는 일없이 구할 수 있다.
도 10은, 입력된 문자 패턴으로부터 특징 벡터를 구하여, 특징 벡터의 부분 특징 벡터를 참조 특징 벡터로 하여, 후보 테이블을 이용한 상세한 고속 분류을 행하는 제3 패턴 인식 장치의 구성도이다.
도 10의 패턴 인식 장치는 특징 추출부(61), 후보 카테고리 계산부(62), 상세 분류부(63), 후보 테이블(64) 및 상세 분류를 위한 사전(65)을 구비한다. 특징 추출부(61)는 입력한 문자 패턴으로부터 특징 벡터를 추출한다.
여기서는 후보 테이블(64)을 작성하기 위해서, 사전(65)에 등록되어 있는 각 문자 카테고리에 대한 대표 특징 벡터가 만드는 보로노이(외 1) 분할을 이용한다. 보로노이 분할이란, 임의의 공간내에서 복수의 점이 부여되었을 때, 그들의 점에서의 거리에 기초하여 정의되는 영역의 일종이고, 보로노이 영역이라고도 불린다.
카테고리 특징 집합의 집합CSET, 특징 벡터f, 참조 특징 공간, 참조 특징 분할 요소Ri등의 표기법과 특징 추출 처리의 내용에 관해서는 제2 패턴 인식 장치의 경우와 같다. 후보 카테고리 계산부(62)는 입력 문자 패턴PIN이 속하는 카테고리 CIN∈CSET를 포함하는 후보 카테고리 집합CCAND를 추정하여 그것을 출력한다.
상세 분류부(63)는 후보 카테고리 계산부(62)가 출력한 후보 카테고리를 입력으로 하고, 사전(65)을 이용하여 거리 계산을 행한다. 사전(65)은 각 문자 카테고리에 대한 대표 특징 벡터를 유지하고 있으며, 상세 분류부(63)는 입력 문자 패턴에 대응하는 특징 벡터로부터의 거리가 최소인 대표 특징 벡터를 구하며, 그것에 대응하는 문자 카테고리를 추정 문자 카테고리로서 출력한다.
여기서는 각 문자 카테고리Ck에 대한 참조 특징 투영의 추정치Qk를 학습용 문자 패턴 집합을 이용하여 구하는 것이 아니라, 상세 분류를 위한 사전(65)에 등록되어 있는 각 문자 카테고리Cj에 대한 대표 특징 벡터Ej의 집합으로부터 얻어지는 보로노이 분할Vk를 이용하여 구한다.
여기서, 문자 카테고리Ck에 대한 보로노이 분할Vk란 특징 공간에 있어서, 임의의 특징 벡터f와 사전(65)에 등록되어 있는 모든 대표 특징 벡터와의 거리를 구했을 때, 문자 카테고리Ck에 대한 대표 특징 벡터Ek와의 거리가 최소가 되는 특징 벡터f의 집합인 것이다. 거리 계산에 기초하는 상세 분류에 의해서 특징 공간을 분할하면 보로노이 분할이 얻어지는 것이 알려져 있다.
예컨대, 2차원의 특징 공간에 있어서, 카테고리C1,C2,C3,C4,C5,C6에 대한 대표 특징 벡터E1,E2,E3,E4,E5,E6이 부여되었을 때, 대응하는 보로노이 분할V1,V2,V3,V4, V5,V6은 도 11에 도시된 바와 같이 된다. 도 ll에 있어서, 보로노이 분할V3와 보로노이 분할V5의 경계상의 특징 벡터 f=(f1,f2)는 대표 특징 벡터E1과 E3에서 등거리의 위치에 있다. 다른 경계상의 점에 관해서도 동일하다.
일반적으로, N차원의 특징 공간에 있어서, 유클리드 거리를 이용한 경우에는, 보로노이 분할은 특징 공간내의 초평면으로 둘러싸인 초볼록 다면체가 되고, 시가구 거리(시티 블록 거리)를 이용한 경우에는 보로노이 분할은 초다면체가 된다. 또한, 마하라노비스(Mahalanobis) 거리와 같은 비선형 거리를 이용한 경우에는 보로노이 분할은 초곡면으로 둘러싸인 유계인 부분 집합이 된다.
여기서, N차원 공간의 초곡면이란 N-1차원의 곡면을 의미하고, 초평면이란 그 특수한 경우를 의미한다. 시티 블록 거리 등의 다양한 거리의 정의와 그 의미에 관해서는 후술하기로 한다.
특징 벡터f의 1개의 요소f1을 참조 특징 벡터로 하면, 참조 특징 공간으로의 보로노이 분할Vk의 참조 특징 투영의 추정치Qk는 보로노이 분할Vk에 속하는 특징 벡터f의 요소f1값의 범위로서 부여된다. 거리가 유클리드 거리인 경우는 선형 계획법에 의하여 보로노이 분할Vk의 참조 특징 벡터의 최소치·최대치를 구할 수 있으며, 그들 값으로부터 참조 특징 투영의 추정치Qk가 얻어진다.
또한, 보다 일반적인 거리의 경우라도, 1차원의 참조 특징 벡터를 이용하고 있으면, 비선형 계획법에 의하여 보로노이 분할Vk에서 참조 특징 투영의 추정치Qk를 구할 수 있다. 선형 계획법 및 비선형 계획법에 의한 참조 특징 투영의 추정 방법에 관해서는 후술하기로 한다.
이상과 같이 하여 구한 참조 특징 분할 요소Ri와, 각 문자 카테고리Ck에 대한 참조 특징 투영Qk를 이용하여, 각각의 참조 특징 분할 요소Ri와 세트로 하여야 할 후보 카테고리 집합Di가 요구된다.
예컨대, 제2 패턴 인식 장치의 경우와 같이, 참조 특징 분할 요소Ri와 참조 특징 투영Qk가 공통 부분을 갖는 문자 카테고리Ck의 집합을, 그 참조 특징 분할 요소Ri에 대한 후보 카테고리 집합Di로 하면 좋다. 이것에 의해, 후보 카테고리 집합Di는, 참조 특징 분할 요소Ri에 속하는 참조 특징 벡터 값을 갖는 문자 패턴이 속할 가능성이 있는 문자 카테고리를 열거한 것이 된다.
도 12는 카테고리의 보로노이 분할과 2차원의 참조 특징 공간의 관계를 나타내고 있다. 도 12의 특징 공간(71)에 있어서, 각 카테고리에 대한 보로노이 분할A,B,C,D,E,F,G,H,I,J,K,L,M을 참조 특징 공간(72)에 투영함으로써, 참조 특징 공간(72)에 있어서의 각 보로노이 분할의 투영 영역이 얻어진다. 이 영역이 참조 특징 투영의 추정치가 된다.
그리고, 각 참조 특징 분할 요소에 대하여, 그 영역과 각 카테고리의 참조 특징 투영과의 공통 부분을 구하여 공통 부분이 존재하는 카테고리의 집합을 대응하는 후보 카테고리 집합으로 한다.
여기서는, 카테고리B,C,G,H,K의 투영이 참조 특징 분할 요소x와 공통 부분을 갖기 때문에 도 2의 레코드와 같이, 이들을 요소로 하는 집합(B,C,G,H,K)이 참조 특징 분할 요소x에 대응하는 후보 카테고리 집합이 된다. 다른 참조 특징 분할 요소y에 대응하는 후보 카테고리 집합도 동일하게 하여 요구된다.
후보 테이블(64)은 참조 특징 분할 요소Ri와 후보 카테고리 집합Di의 세트에 의해 구성되고, 후보 카테고리 계산부(62)는 제2 패턴 인식 장치의 경우와 같이, 후보 테이블(64)을 이용하여 입력된 특징 벡터로부터 후보 카테고리 집합을 구해서 그것을 상세 분류부(63)에 건네 준다.
상세 분류부(63)는 사전(65)을 참조하여, 후보 카테고리 계산부(62)에 의해 집적된 후보 카테고리 집합에 속하는 각 문자 카테고리의 대표 특징 벡터를 취출한다. 그리고, 그들 각 대표 특징 벡터로 입력된 문자 패턴에 대한 특징 벡터와의 거리를 계산하여, 거리가 최소가 되는 문자 카테고리를 추정 문자 카테고리로서 출력한다.
이와 같이, 상세 분류로 이용되는 각 문자 카테고리에 대한 보로노이 분할의 참조 특징 투영을 구하여 참조 특징 분할 요소와 공통 부분을 갖는 참조 특징 투영에 대응하는 문자 카테고리를 후보 카테고리로 함으로써, 상세 분류를 위해 필요하고 또한 충분한 문자 카테고리로 이루어진 후보 카테고리 집합을 구할 수 있다.
이것에 의해, 입력 문자 패턴이 속한다고 추정할 수 있는 후보 카테고리를 상세 분류의 정밀도를 보증하면서, 테이블 당김에 의해 매우 고속으로 집적시킬 수 있으며, 상세 분류의 대상 문자 카테고리를 대폭 삭감할 수 있다. 따라서, 고정밀도 또한 고속으로 패턴 인식을 실행하는 패턴 인식 장치가 실현된다.
다음에, 도 10의 패턴 인식 장치에 있어서, 특징 벡터f의 2개의 요소(f1,f2)를 2차원의 참조 특징 벡터r로 할 경우를 생각해 본다. 참조 특징 벡터r의 각 요소가 취할 수 있는 값의 범위를, f1∈[A1,B1), f2∈[A2,B2)로 하면, 직사각형 영역[A1,B1)×[A2,B2)이 참조 특징 공간이 된다.
후보 테이블(64)의 요소가 되는 참조 특징 분할 요소로서, 참조 특징 공간[A1,B1)×[A2,B2)를, 격자형으로 분할한 것을 이용한다. 이 때문에, 다음에 도시된 바와 같이, 구간[A1,B1)을 L1+1개의 구간으로 분할하고, 구간[A2,B2)을 L2+1개의 구간으로 분할한다.
A1=S-1<S0<S1<S2<…<SL1=B1
A2=t-1<t0<t1<t2<…<tL2=B2
인덱스i,j를 이용하면, 참조 특징 분할 요소R(i,j)는,
R(i,j)=직사각형[Si-1,Si)×[tj-1,tj)
와 같이 정의된다. 여기서, i=0,1,···,Ll, j=0,1,···,L2이다. 이것에 의해, 참조 특징 분할 요소R(i,j)는 2차원의 직사각형 영역이 된다. 예컨대, 도 13에 나타내는 2차원의 참조 특징 공간(74)의 경우는 L1=5, L2=3으로서, (5+1)×(3+1)=24개의 참조 특징 분할 요소로 분할되어 있다.
다음에, 각 문자 카테고리Ck에 대한 보로노이 분할Vk에 속하는 모든 특징 벡터를 취출하고, 그들 참조 특징 벡터(f1,f2) 값의 범위를, 참조 특징 투영의 추정치Qk로 한다. 그리고, 참조 특징 분할 요소R(i,j)와 참조 특징 투영Qk가 공통 부분을 갖는 문자 카테고리Ck의 집합을, 그 참조 특징 분할 요소R(i,j)에 대한 후보 카테고리 집합D(i,j)로 한다.
이 경우, 후보 테이블(64)은 참조 특징 분할 요소R(i,j)와 후보 카테고리 집합D(i,j)의 세트에 의해 구성된다. 특징 추출부(61) 및 상세 분류부(63)의 처리에 관해서는 상술한대로이다.
도 13의 특징 공간(73)에 있어서는 카테고리B,C,K의 사영이 참조 특징 분할 요소X=[S2,S3)×[t0,t1)과 공통 부분을 가지므로, 이들을 요소로 하는 집합(B,C,K)이 참조 특징 분할 요소X에 대응하는 후보 카테고리 집합이 된다. 또한, 카테고리G,H,K의 투영이 참조 특징 분할 요소Y=[S2,S3)×[t1,t2)과 공통 부분을 가지므로 이들을 요소로 하는 집합(G,H,K)이 참조 특징 분할 요소Y에 대응하는 후보 카테고리 집합이 된다. 따라서, 후보 테이블(64)은 도 14에 도시된 바와 같이 된다.
후보 카테고리 계산부(62)는 입력된 특징 벡터의 제1 요소, 제2 요소의 값이 각각 r1,r2인 경우, r=(r1,r2)을 참조 특징 벡터의 값으로 하고, 우선, 이 값이 속하는 참조 특징 분할 요소R(i,j)를 구한다. 참조 특징 분할 요소R(i,j)는 2차원의 직사각형 영역이기 때문에, 값r이 어떤 영역에 속하는지를 판정하는 것은 용이하다. 다음에, 후보 테이블(64)을 이용하여, 참조 특징 분할 요소R(i,j)에 대응하는 후보 카테고리 집합D(i,j)를 구하여 그것을 상세 분류부(63)에 건네 준다.
이와 같이, 참조 특징 공간은 1차원 공간에 한정되지 않고, 일반적으로 임의의 차원의 공간에 설정하는 것이 가능하다. 여기서, 참조 특징 공간이 2차원 이상인 경우의 후보 테이블의 작성 방법을 모아 둔다. 이하의 예는, 참조 특징 공간이 2차원인 경우이지만, 3차원 이상인 경우도 동일한 방식으로 테이블을 작성할 수 있다.
우선, 참조 특징 공간을 각 좌표축에 수직인 직선으로 구획지어 격자형으로 분할하고, 각 격자(블록)를 참조 특징 분할 요소로 할 경우를 생각한다. 이 경우, 각 격자의 2차원 인덱스를(i,j)로 하고, 대응하는 격자를 K(i,j)로 나타내는 것으로 한다. 카테고리C의 참조 특징 공간으로의 투영이 격자K(i,j)와 공통 부분을 갖는 경우에는 카테고리C를 격자K(i,j)에 대한 후보 카테고리 집합S(i,j)의 요소로 한다.
이렇게 해서 생긴 참조 특징 공간의 각 격자K(i,j)와 후보 카테고리 집합S(i,j)의 세트를 격자의 인덱스(i,j)와 후보 카테고리 집합에 속하는 각 카테고리의 인덱스를 이용하여 표현하고 후보 테이블로서 유지한다.
다음에, 참조 특징 공간을 양자화점을 이용하여 보로노이 분할하고, 각 보로노이 영역을 참조 특징 분할 요소로 할 경우를 생각한다. 이 경우, 참조 특징 공간의 각 보로노이 영역을 대표하는 양자화점의 인덱스를 i로 하여, 각 양자화점을 (xi,yi)로 나타내는 것으로 한다. 카테고리C의 참조 특징 공간으로의 투영이 양자화점(xi,yi)의 보로노이 영역Vi와 공통 부분을 갖는 경우에는, 카테고리C를 보로노이 영역Vi에 대한 후보 카테고리 집합S(i)의 요소로 한다.
이렇게 해서 생긴 참조 특징 공간의 각 보로노이 영역Vi와 후보 카테고리 집합S(i)의 세트를 보로노이 영역Vi를 대표하는 양자화점의 인덱스와 후보 카테고리 집합에 속하는 각 카테고리의 인덱스를 이용하여 표현하고 후보 테이블로서 유지한다.
이들 예에 있어서, 어떤 카테고리의 참조 특징 공간으로의 투영을 구하는 방법으로서는, 예컨대, 상술한 2개의 방법이 있다. 그중 하나는 학습용 패턴 집합(학습 패턴)에 대응하는 특징 벡터를 각각 참조 특징 공간에 투영함으로써, 참조 특징 투영을 추정하는 방법이고, 다른 하나는 상세 분류시의 사전에 등록되어 있는 대표 특징 벡터를 이용한 보로노이 분할을 바탕으로 참조 특징 투영을 추정하는 방법이다.
여기서, 도 15 내지 도 19를 참조하면서 이들의 각 추정 방법을 이용한 후보 테이블 작성 처리의 흐름을 설명한다.
도 15는 학습 패턴을 이용한 후보 테이블 작성 처리의 흐름도이다. 도 15의 흐름도는 1차원의 참조 특징 공간의 경우에 관해서 기술되고 있지만, 보다 고차원의 참조 특징 공간의 경우에 관해서도 같다.
처리가 개시되면, 패턴 인식 장치는 먼저, 참조 특징 공간에서의 참조 특징 분할 요소Ri=[Si-1,Si)를 i=0,1,···,L에 관해서 구한다(단계 Sl). 다음에, 각 카테고리Ck(k=1,···,K)에 대한 참조 특징 투영의 추정치Qk=[MINk,MAXk]를 학습 패턴의 참조 특징 공간으로의 투영을 이용하여 구한다(단계 S2).
다음에, 각 참조 특징 분할 요소Ri에 대한 후보 카테고리 집합Di를 추정치Qk(k=1,···,K)에서 구한다(단계 S3). 그리고, 각 참조 특징 분할 요소Ri와 후보 카테고리 집합Di의 세트를 후보 테이블에 격납하여(단계 S4) 처리를 종료한다.
도 16은 도 15의 단계 S2에 있어서의 참조 특징 투영의 추정 처리의 흐름도이다. 처리가 개시되면, 패턴 인식 장치는 우선, 카테고리Ck에 속하는 각 학습 패턴에 대한 참조 특징 벡터r을 구하여, 그들의 참조 특징 벡터의 집합Fk를 생성한다(단계 Sll).
다음에, 집합Fk의 요소의 최소치MINk와 최대치MAXk를 구하고(단계 S12), 폐구간[MINk,MAXk]을 추정치Qk로 하여(단계 Sl3) 도 15의 처리로 되돌아간다. 여기서, 마진M을 고려할 경우는 폐구간[MINk-M,MAXk+M]을 추정치Qk로 하면 좋다.
도 17은 도 15의 단계 S3에 있어서의 후보 카테고리 집합 생성 처리의 흐름도이다. 처리가 개시되면, 패턴 인식 장치는 우선, 후보 카테고리 집합Di의 초기치를 공집합Φ로 하고(단계 S21), 제어 변수k를 1로 두고(단계 S22), 참조 특징 투영Qk와 참조 특징 분할 요소Ri의 곱집합X를 구한다(단계 S23).
다음에, 곱집합X가 공집합인지 아닌지를 조사하여(단계 S24), 그것이 공집합이 아니면, 추정치Qk에 대응하는 카테고리Ck를 후보 카테고리 집합Di에 추가하여(단계 S25), k의 값을 K와 비교한다(단계 S26). k의 값이 K보다 작으면, k를 1만큼 증분하여(단계 S27), 단계 S23 이후의 처리를 반복한다.
단계 S24에 있어서 곱집합X가 공집합이면, 카테고리Ck를 후보 카테고리 집합Di에 추가하지 않고서, 즉시 단계 S26의 처리를 행한다. 그리고, 단계 S26에 있어서 k의 값이 K에 달하면, 도 15의 처리로 되돌아간다. 이것에 의해, 참조 특징 분할 요소Ri와 참조 특징 투영Qk가 공통 부분을 갖는 카테고리Ck가 빠짐없이 후보 카테고리 집합Di에 추가된다. 이 처리는 각 참조 특징 분할 요소Ri에 관해서 행해진다.
다음에, 도 18은 보로노이 분할을 이용한 후보 테이블 작성 처리의 흐름도이다. 도 18의 흐름도는 1차원의 참조 특징 공간의 경우에 관해서 기술되고 있지만, 보다 고차원의 참조 특징 공간의 경우에 관해서도 같다.
처리가 개시되면, 패턴 인식 장치는 우선, 참조 특징 공간에서의 참조 특징 분할 요소Ri=[Si-1,Si)를 i=0,1,···,L에 관해서 구한다(단계 S31). 다음에, 각 카테고리Ck(k=1,···,K)에 대한 참조 특징 투영의 추정치Qk=[MINk,MAXk]를, 특징 공간의 보로노이 분할을 바탕으로 선형 계획법을 이용하여 구한다(단계 S32).
다음에, 도 17의 후보 카테고리 집합 생성 처리와 동일하게 하여, 각 참조 특징 분할 요소Ri에 대한 후보 카테고리 집합Di를, 추정치Qk(k=1,···,K)에서 구한다(단계 S33). 그리고, 각 참조 특징 분할 요소Ri와 후보 카테고리 집합Di의 세트를 후보 테이블에 격납하여(단계 S34) 처리를 종료한다.
도 19는 도 18의 단계 S32에 있어서의 참조 특징 투영의 추정 처리의 흐름도이다. 처리가 개시되면, 패턴 인식 장치는 우선, 사전에 등록된 카테고리Ck에 대한 대표 특징 벡터Ek와, 그 이외의 카테고리Cj(j=1,···,K;j≠k)에 대한 대표 특징 벡터Ej로부터 등거리에 있는 평면(등거리면)의 방정식을 구한다(단계 S41). 다만, 특징 공간은 N차원 공간인 것으로 한다.
특징 공간에서의 거리로서 유클리드 거리를 이용할 경우에는, 보로노이 분할Vk는 특징 공간내의 초볼록 다면체가 되고, 복수의 초평면에 의해 둘러싸인 특징 공간내의 부분 집합이라고 할 수 있다. 따라서, 2개의 대표 벡터로부터의 등거리면인 초평면은 각각, 특징 벡터f=(f1,f2,···,fN)를 변수로 하는 선형 방정식으로 기술된다.
다음에, 얻어진 초평면의 방정식을 이용하여, 카테고리Ck에 대한 보로노이 분할Vk가 충족되는 연립 선형 부등식을 구한다(단계 S42). 이 연립 선형 부등식은 예컨대, 수학식 1과 같이 기술된다.
다음에, 특징 벡터f와 어느 방향 벡터h=(h1,h2,···,hN)와의 내적을 1차원의 참조 특징 벡터(참조 특징) r로 한다(단계 S43). 이 때, r=h1f1+ h2f2+···+ hNfN이 되어, 참조 특징r은 특징 벡터f의 각 요소의 선형 결합으로 표현된다.
따라서, 참조 특징 투영Qk를 구하는 문제는 상기 연립 선형 부등식을 충족시키는 선형 결합r의 최소치·최대치를 구하는 선형 계획 문제에 귀착된다. 이 문제는 공지의 선형 계획법으로 풀 수 있다.
그래서, 선형 계획법을 이용하여 얻어진 연립 부등식의 제약을 기초로 참조 특징r의 최소치MINk와 최대치MAXk를 구하고(단계 S44), 폐구간[MINk,MAXk]을 참조 특징 투영의 추정치Qk로 하여(단계 S45) 도 18의 처리로 되돌아간다.
여기서는, 추정 처리에 선형 계획법을 이용하는 것으로 하였지만, 보다 일반적으로는 비선형 계획법을 이용하여, 1차원 구간의 최소치·최대치를 구할 수 있다. 이 경우는 특징 벡터의 요소로부터 어떤 비선형 함수R에 의해 얻어지는 다음과 같은 값을 참조 특징r로 한다.
r=R(f1,f2,···,fN)
이 때, 보로노이 분할은 특징 공간내의 초볼록 곡면으로 둘러싸인 특징 공간내의 부분 집합이 된다. 따라서, 문자 카테고리Ck에 대한 보로노이 분할Vk는 수학식 2와 같은 연립 비선형 부등식에 의해 기술할 수 있다.
따라서, 참조 특징 투영Qk를 구하는 문제는 상기 연립 부등식을 충족시키는 참조 특징r의 최소치·최대치를 구하는 비선형 계획 문제에 귀착된다. 비선형 계획 문제의 컴퓨터에 의한 수치 계산 수법은 수리 계획법의 1분야로서 널리 알려져 있으며, 그것을 이용하여 이 문제를 풀 수 있다.
이상 설명한 실시 형태에 있어서는 후보 카테고리를 구하기 위해서 1종류의 참조 특징 벡터를 이용하고 있지만, 1개의 특징 벡터로부터 계산되는 복수의 참조 특징 벡터를 이용하여 대응하는 복수의 후보 카테고리 집합을 구해서 그들의 논리곱을 출력하는 구성도 생각할 수 있다.
이 경우, 다양한 참조 특징 벡터에 대응하는 복수의 후보 테이블을 준비하여, 각 후보 테이블마다 후보 카테고리 계산부를 설치한다. 각 후보 카테고리 계산부는, 특정 종류의 참조 특징 벡터 값을 입력으로 하고, 대응하는 후보 테이블을 참조하여 대응하는 후보 카테고리 집합을 출력한다. 또, 이들 후보 카테고리 집합의 논리곱을 계산하는 후보 카테고리 집적부를 설치하여, 후보 카테고리 집합을 단계적으로 집적하여 출력한다.
도 20은 2종류의 참조 특징 벡터를 이용하여, 2단계의 후보 카테고리 계산을 실행하는 제4 패턴 인식 장치의 구성도이다. 도 20의 패턴 인식 장치는 참조 특징 벡터 계산부(81), 후보 테이블(82,83), 후보 카테고리 계산부(84,85) 및 후보 카테고리 집적부(86)를 구비한다.
참조 특징 벡터 계산부(81)는 입력된 N차원의 특징 벡터f에서 2개의 참조 특징 벡터r1,r2를 계산한다. 제1 단계의 후보 카테고리 계산부(84)는 참조 특징 벡터r1을 입력으로 하고, 이미 유지된 후보 테이블(82)을 이용하여 후보 카테고리 집합D1(r1)을 출력한다. 또한, 제2 단계의 후보 카테고리 계산부(85)는 참조 특징 벡터r2를 입력으로 하여, 이미 유지된 후보 테이블(83)을 이용해서 후보 카테고리 집합D2(r2)를 출력한다.
후보 카테고리 집적부(86)는 2개의 후보 카테고리 집합D1(r1),D2(r2)을 입력으로 하고, 그들의 곱집합D1(r1)∩D2(r2)을 구하여, 그것을 최종적인 후보 카테고리 집합으로서 출력한다.
참조 특징 벡터 계산부(81)는 예컨대, 특징 벡터f의 제1 요소f1을 1차원의 참조 특징 벡터r1으로 하고, 특징 벡터f의 제2 요소f2를 1차원의 참조 특징 벡터r2로서 출력한다. 각 참조 특징 벡터를 취할 수 있는 값의 범위를 A1≤r1<B1, A2≤r2<B2로 하면, 구간[A1,B1)이 제1 참조 특징 공간, 구간[A2,B2)가 제2 참조 특징 공간이 된다.
여기서는 후보 테이블의 요소가 되는 참조 특징 분할 요소로서 각 참조 특징 공간을 격자형으로 분할한 것을 이용하는 것으로 한다. 참조 특징 공간[A1,B1) 및 [A2,B2)는 모두 1차원이기 때문에, 그것들을, 각각 다음과 같이 L1개, L2개의 구간으로 분할하여, 각 구간을 참조 특징 분할 요소로 한다.
A1=S0<S1<S2<···<SL1=B1
A2=t0<t1<t2<···<tL2=B2
이것에 의해, 참조 특징 공간[A1,B1)의 각각의 구간[Si-1,Si)가, 참조 특징 벡터r1에 대한 참조 특징 분할 요소R1i가 된다. 여기서, i=1, ···,L1이다. 또한, 참조 특징 공간[A2,B2)의 각각의 구간[tj-1,tj)가 참조 특징 벡터r2에 대한 참조 특징 분할 요소R2j가 된다. 여기서, j=1,···,L2이다.
각각의 참조 특징 분할 요소R1i또는 R2j에 대한 후보 카테고리 집합은 학습용 특징 벡터 집합을 이용하여 각 카테고리에 대한 참조 특징 투영을 추정함으로써 요구된다. 학습용 특징 벡터 집합은 각 카테고리에 속하는 특징 벡터를 충분한 수만큼 포함하고 있는 것으로 한다. 특정 카테고리Ck에 대한 참조 특징 투영의 추정 방법은 이하와 같다.
우선, 학습용 특징 벡터 집합에 속하는 카테고리Ck에 대한 특징 벡터의 집합으로부터, 특징 벡터의 제1 요소f1의 집합F1k를 구한다. 이 집합F1k는 카테고리Ck의 제1 참조 특징 투영에 유사한 분포를 형성한다. 이 집합F1k의 요소의 최소치MIN(F1k) 및 최대치MAX(F1k)를 구하고, 또 특정 마진M을 고려하여, 카테고리Ck의 제1 참조 특징 투영의 추정치Q1k를
Q1k=[MIN(F1k)-M, MAX(F1k)+M] 로 한다.
제2 참조 특징 투영의 추정도 동일하게 하여 행한다. 우선, 학습용 특징 벡터 집합에 속하는 카테고리Ck에 대한 특징 벡터의 집합으로부터 특징 벡터의 제2 요소f2의 집합F2k를 구한다. 이 집합F2k는, 카테고리Ck의 제2 참조 특징 투영에 유사한 분포를 형성한다. 이 집합F2k의 요소의 최소치MIN(F2k) 및 최대치MAX(F2k)를 구하고, 또 특정 마진M을 고려하여, 카테고리Ck의 제2 참조 특징 투영의 추정치Q2k를,
Q2k=[MIN(F2k)-M, MAX(F2k)+M] 으로 한다.
그리고, 이렇게 하여 얻어진 참조 특징 분할 요소R1i,R2i와, 각 카테고리Ck에 대한 참조 특징 투영Q1k,Q2k를 이용하여, 참조 특징 분할 요소R1i,R2i와 각각 세트로 해야 할 후보 카테고리 집합D1(r1)=D1i,D2(r2)=D2j를 다음과 같이 하여 구한다.
참조 특징 분할 요소R1i와, 대응하는 참조 특징 투영Q1k가 공통 부분을 갖는 카테고리Ck의 집합을 그 참조 특징 분할 요소R1i에 대한 후보 카테고리 집합D1i로 한다. 이것에 의해, 참조 특징 분할 요소R1i에 속하는 참조 특징 벡터 값을 갖는 특징 벡터가 속할 가능성이 있는 카테고리를 열거한 것이 후보 카테고리 집합D1i가 된다.
동일하게 하여, 참조 특징 분할 요소R2j와, 대응하는 참조 특징 투영Q2k가 공통 부분을 갖는 카테고리Ck집합을 그 참조 특징 분할 요소R2j에 대한 후보 카테고리 집합D2j로 한다. 이것에 의해, 참조 특징 분할 요소R2j에 속하는 참조 특징 벡터 값을 갖는 특징 벡터가 속할 가능성이 있는 카테고리를 열거한 것이, 후보 카테고리 집합D2j가 된다.
후보 카테고리 계산부(84)가 참조하는 후보 테이블(82)은 참조 특징 분할 요소R1i와 후보 카테고리 집합D1i의 세트에 의해 구성된다. 동일하게 하여, 후보 카테고리 계산부(85)가 참조하는 후보 테이블(83)은 참조 특징 분할 요소R2j와 후보 카테고리 집합D2j의 세트에 의해 구성된다.
후보 카테고리 계산부(84)는 소정의 참조 특징 벡터 값이 r1인 경우, 우선, 이 값r1이 속하는 참조 특징 분할 요소R1i를 구한다. 다음에, 후보 테이블(82)을 이용하여, 참조 특징 분할 요소R1i에 대응하는 후보 카테고리 집합D1i를 구하여 그것을 출력한다. 출력된 후보 카테고리 집합D1i에는, 입력 특징 벡터가 속하는 카테고리가 포함되어 있는 것을 기대할 수 있다.
동일하게 하여, 후보 카테고리 계산부(85)는 소정의 참조 특징 벡터 값이 r2인 경우, 우선, 이 값r2가 속하는 참조 특징 분할 요소R2j를 구한다. 다음에, 후보 테이블(83)을 이용하여, 참조 특징 분할 요소R2j에 대응하는 후보 카테고리 집합D2j를 구하여 그것을 출력한다. 출력된 후보 카테고리 집합D2j에는 입력 특징 벡터가 속하는 카테고리가 포함되어 있는 것을 기대할 수 있다.
그리고, 후보 카테고리 집적부(86)는 2개의 후보 카테고리 집합D1i,D2j의 곱집합D1i∩D2j를 구하고, 그것을 최종적인 후보 카테고리 집합으로 한다. 후보 카테고리 집적부(86)로부터 출력된 후보 카테고리 집합에는 입력 특징 벡터가 속하는 카테고리가 여전히 속해 있다고 추정할 수 있으며, 또한, 그 요소수는 원래 2개의 후보 카테고리 집합D1i,D2j보다도 적어지고 있다. 따라서, 후보 카테고리 집적부(86)는 후보 카테고리 집합을 단계적으로 집적하는 역할을 하고 있는 것을 알 수 있다.
이러한 패턴 인식 장치에 의하면, 1차원의 참조 특징 벡터를 2개 이용하고 있기 때문에, 1차원의 참조 특징 벡터가 1개인 경우보다, 후보 카테고리수를 감할 수 있다. 또한, 2차원의 참조 특징 벡터를 1개 이용할 경우에 비하여, 참조 특징 분할 요소의 수가 대폭 감소되기 때문에, 후보 테이블을 유지하기 위해서 필요한 기억 용량을 절약할 수 있다.
이와 같이, 비교적 저차원의 참조 특징 벡터를 복수 이용함으로써, 고정밀도로 또한 고속으로 패턴 인식을 실행하는 패턴 인식 장치를, 충분히 실용적인 기억 용량으로 실현하는 것이 가능하다. 이러한 복수의 후보 카테고리 집합을 구하는 처리는 순차적으로 행하여도 좋지만 병렬로 행하면 더욱 처리 시간이 경감된다.
그런데, 본 발명의 패턴 인식 장치가 인식 정밀도를 거의 저하시키지 않는다고 할 수 있는 이유를 설명해 둔다. 본 발명에 의한 고속 분류을 행한 후에는 통상 원래의 특징 벡터의 거리 계산을 이용한 상세 분류를 또 행하여 입력 패턴의 카테고리를 특정한다.
인식 정밀도의 저하가 제로란 출력된 후보 카테고리 집합의 누적 인식 정밀도가 후단에서 행하고자 하는 상세 분류의 정밀도를 보증한다는(떨어뜨리지 않는다) 의미이다. 여기서, 누적 인식 정밀도란 후보 카테고리 집합의 어느 하나에 입력 패턴의 참 카테고리가 포함되어 있는 확률을 가리킨다. 따라서, 이상적으로는 누적 인식 정밀도는 항상 100%인 것이 바람직하다.
실제로는, 출력된 후보 카테고리 집합의 누적 인식 정밀도가 100%인 것은 반드시 요구되지 않고, 후단에서 행해지는 상세 분류의 정밀도 이상이면 좋다. 따라서, 충분한 수의 후보 카테고리를 포함하는 후보 카테고리 집합을 후보 테이블에 등록해 둠으로써, 실용상은 정밀도 저하가 제로인 패턴 인식 장치가 실현된다.
만약, 후보 카테고리 집합 중에 참 카테고리가 존재하지 않을 경우, 즉 분류 에러를 일으킨 경우에는 상세 분류에서도 같은 분류 에러를 일으킬 것이기 때문에, 최종적인 누적 인식 정밀도는 변하지 않는다고 생각된다. 이 의미에 있어서, 본 발명에 의한 고속 분류는 소정의 상세 분류의 제약을 잘 이용하여 정밀도의 저하없이 고속화를 실현하고 있다.
본 발명에서 이용하는 참조 특징 벡터는 반드시 상술한 바와 같은 특징 벡터의 부분 벡터일 필요는 없으며, 특징 벡터로부터 계산가능한 임의의 벡터를 참조 특징 벡터로서 이용할 수 있다. 예컨대, 도 23에 나타낸 패턴 인식 장치에서 사용하고 있는 압축 특징 벡터도 그 하나이다.
도 21은 압축 특징 벡터를 참조 특징 벡터로서 후보 카테고리 집합을 구하고, 그것에 대하여 상세 분류을 행하는 제5 패턴 인식 장치의 구성도이다. 도 21의 패턴 인식 장치는 특징 추출부(91), 특징 압축부(92), 후보 카테고리 계산부(93), 상세 분류부(94), 후보 테이블(95) 및 사전(96)을 구비한다.
특징 추출부(91)는 입력 패턴에서 특징 벡터를 추출하고, 특징 압축부(92)는 특징 벡터에 적당한 변환을 행하여, 차원수의 보다 작은 압축 특징 벡터를 생성한다. 다음에, 후보 카테고리 계산부(93)는 후보 테이블(95)을 참조하여 소정의 압축 특징 벡터에 대응하는 후보 카테고리 집합을 구한다.
상세 분류부(94)는, 후보 카테고리 계산부(93)에 의해 출력된 후보 카테고리 집합의 각각의 후보 카테고리에 대하여, 사전(96)에 유지된 대표 특징 벡터와, 입력 패턴의 특징 벡터와의 거리를 계산한다. 그리고, 거리가 작은 순으로 후보 카테고리를 다시 배열하여, 최단 거리의 것로부터 지정된 수만큼 카테고리의 열을 출력한다.
이러한 패턴 인식 장치에 의하면, 특징 압축에 이용하는 변환을 적당히 선택함으로써, 소망의 참조 특징 벡터를 생성할 수 있으며, 그것에 대응한 후보 테이블을 이용하여, 보다 효과적으로 후보 카테고리 집합을 집적시킬 수 있다. 또한, 특징 압축의 결과 얻어진 압축 특징 벡터를 직접 이용하여 거리 계산을 행하는 것이 아니라, 그것을 후보 테이블을 빼기 위한 참조치로서 이용하기 때문에, 원리적으로 는 처리 정밀도의 저하를 초래하지 않는다.
다음에, 도 22는 압축 특징 벡터를 참조 특징 벡터로서 후보 카테고리 집합을 구하고, 그것에 대하여 대분류 및 상세 분류을 행하는 제6 패턴 인식 장치의 구성도이다. 도 22의 패턴 인식 장치는 특징 추출부(101), 특징 압축부(102), 후보 카테고리 계산부(103), 대분류부(104), 상세 분류부(105), 후보 테이블(106), 압축 특징 사전(107) 및 사전(108)을 구비한다.
특징 추출부(101), 특징 압축부(102), 후보 카테고리 계산부(103) 및 후보 테이블(106)의 기능에 관해서는 각각, 도 21의 특징 추출부(91), 특징 압축부(92), 후보 카테고리 계산부(93) 및 후보 테이블(95)과 같다.
대분류부(104)는 후보 카테고리 계산부(103)에 의해 출력된 후보 카테고리 집합의 각각의 후보 카테고리에 대하여, 압축 특징 사전(107)에 유지된 압축 특징 벡터와, 입력 패턴의 압축 특징 벡터와의 거리를 계산한다. 그리고, 거리가 작은 순으로 후보 카테고리를 다시 배열하고, 최단 거리의 것부터 지정된 수만큼의 카테고리의 열을 후보 카테고리 집합으로서 출력한다.
상세 분류부(105)는 대분류부(104)에 의해 출력된 후보 카테고리 집합의 각각의 후보 카테고리에 대하여, 사전(108)에 유지된 대표 특징 벡터와, 입력 패턴의 특징 벡터와의 거리를 계산한다. 그리고, 거리가 작은 순으로 후보 카테고리를 다시 배열하고, 최단 거리의 것부터 지정된 수만큼의 카테고리의 열을 출력한다.
이러한 패턴 인식 장치에 의하면, 후보 카테고리 계산부(103)에 의해 출력된 후보 카테고리 집합을 대분류부(104)가 다시 집적시켜 상세 분류부(105)에 전달하기 때문에 상세 분류의 대상이 되는 후보 카테고리가 보다 한정되어 처리가 고속화된다.
도 21 및 도 22의 패턴 인식 장치에 있어서는 압축 특징 벡터를 그대로 참조 특징 벡터로 하고 있지만, 대신에 압축 특징 벡터의 부분 특징 벡터를 참조 특징 벡터로서 이용하여도 좋다. 이 경우, 참조 특징 벡터의 차원수가 더욱 삭감되어 처리가 고속화된다.
특징 벡터로부터 압축 특징 벡터를 생성하는 변환으로서는, 선형 변환을 이용할 수 있다. 선형 변환은 변환 행렬과 벡터와의 곱이라는 비교적 단순한 계산에 의해 특징 벡터를 압축하기 때문에, 비선형 변환에 비해 계산 효율이 좋다. 선형 변환을 이용한 특징 압축 방법으로서는 정준 판별 분석, 주성분 분석 등이 알려져 있다.
정준 판별 분석으로서는 카테고리마다 소정의 샘플 패턴의 N차원의 특징 벡터로부터 카테고리간 분산 행렬과 카테고리내 분산 행렬을 계산하여 그들의 분산 행렬을 이용하여 고유 벡터를 구해 둔다. 그리고, 그들 중 M개(M<N)의 고유 벡터를 선택하여 M차원의 공간을 정의한다. 미지의 패턴이 입력되면, 그 특징 벡터와 각 고유 벡터의 내적을 계산하여, 그들 값을 요소로 하는 M차원의 압축 특징 벡터를 생성한다.
이 분석법으로서는, 카테고리간 분산을 크게 하고, 또한, 카테고리내 분산을 작게 하도록 N차원의 평균 특징 벡터가, M개의 고유 벡터에 의해서 규정되는 M개의 좌표축에 투영된다. 이것에 의해, 특징 압축 후의 M차원의 공간에 있어서, 다른 종류의 패턴끼리는 떨어지고, 같은 종류의 패턴끼리는 접근하는 변환이 행해진다.
한편, 주성분 분석에서는, 각 카테고리가 서로 떨어지는 주성분 벡터의 세트가 각 카테고리마다 계산된다. 그리고, 각 카테고리마다 주성분 벡터를 좌표축으로 하는 개별의 새로운 공간이 생성되며, 입력 패턴의 특징 벡터를 각 카테고리의 주성분 벡터에 투영함으로써 압축 특징 벡터가 생성된다. 입력 패턴과 각 카테고리와의 거리는 압축 특징 벡터를 이용하여 계산된다.
이 분석법에 의하면, 특징 공간내의 근접한 영역에서 유사한 카테고리가 존재할 때에, 인식 대상 패턴의 특징 벡터를 각각의 카테고리에 대응하는 주성분 벡터에 투영시킴으로써 보다 정확한 인식 결과가 얻어진다. 이 분석법은 주로 카테고리가 적게 통한 문자 패턴의 판별등에 사용되고 있다.
이상 설명한 실시 형태에 있어서, 보로노이 분할의 생성 처리, 후보 카테고리의 대분류 처리 및 상세 분류 처리로서는 벡터간의 거리 계산을 필요로 한다. 이 때, 일반적인 유클리드 거리 이외에도 임의의 거리를 정의하여 이용하는 것이 가능하다. 예컨대, 공지의 시티 블록 거리, 마하라노비스 거리, 유사 마하라노비스 거리, 베이즈 식별 함수(Bayes discriminant function), 유사 베이즈 식별 함수(Modified Bayes discriminant function)등을 이용하여도 좋다.
여기서, 벡터g=(g1,g2,···,gn)과 벡터 P=(P1,P2,···,Pn) 사이의 각 거리는 다음과 같이 정의된다.
[시트 블록 거리]
[마하라노비스 거리]
Dm(g,p)=(g-p)TΣj -1(g-p)
여기서, p는 특정 카테고리의 학습 패턴pi(i=1,2,3,···,N)의 평균이고, Σj -1는 차식으로 정의되는 공분산 행렬(분산 공분산 행렬이라고도 한다)이다.
Σj -1=(1/N)Σ(pi-p)(pi-p)T
Σj의 고유치를 λ1,λ2,···,λn(λ1>λ2>···>λn)으로 하고, 대응하는 고유 벡터를 각각 φ1 1,φ2,···,φn으로 하여,
φ=(φ1,φ2,···,φn)
으로 하면, Dm(g,p)는 다음과 같이 쓸 수 있다.
[유사 마하라노비스 거리]
단,
λi=λ(일정) (m<<n, m+1 ≤ i ≤ n)
이 유사 마하라노비스 거리는, 마하라노비스 거리의 실용상의 문제(계산량과 계산 정밀도)를 해결하기 위해서 제안된 것이고, 후술하는 수학식 8의 유사 베이즈 식별 함수의 사고 방식에 기초한 것이다.
[베이즈 식별 함수]
이 베이즈 식별 함수(2차 식별 함수)는 벡터g와 벡터p의 거리를 나타내고 있으며, 대상이 정규 분포에 따라서, 특징 벡터의 평균과 공분산 행렬이 공지인 경우, 최적 식별 함수가 된다.
[유사 베이즈 식별 함수]
이 유사 베이즈 식별 함수는 복잡한 문자 패턴 등의 식별에 있어서, 고차의 고유 벡터에 관한 계산 정밀도의 문제를 해결하기 위해서 생각해 낸 함수이다.
이들의 거리는 카테고리 특징 집합이 정규 분포에 따라서 분포하고 있으며, 각 카테고리의 출현 확율이 동일한 경우를 가정하고 있다. 각 카테고리의 분포의 공분산 행렬의 행렬식이 동일한 경우에는, 마하라노비스 거리 또는 유사 마하라노비스 거리에 기초하여 상세 분류가 행해지고, 그들이 동일하지 않은 일반적인 경우에는 유사 베이즈 식별 함수에 기초하여 상세 분류가 행해진다.
또한, 본 발명은 문자 패턴뿐만아니라, 2차원 도형, 3차원 물체, 인간의 얼굴의 화상을 포함하는 임의의 패턴을 인식하는 기술에 적용가능하다.
본 발명에 의하면 임의의 패턴의 인식 처리에 있어서 후보 테이블을 이용함으로써, 인식 정밀도의 저하를 최소한으로 억제하면서, 카테고리 분류의 고속화를 도모할 수 있다. 특히, 상세 분류용의 사전에 등록된 각 카테고리와 동일한 분할에 기초하여 후보 테이블을 작성하면 상세 분류의 정밀도를 저하시키지 않도록 하는 것이 가능하다.

Claims (31)

  1. 패턴의 특징 벡터로부터 계산되는 참조 특징 벡터의 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 형성하기 위해서 필요한 정보를 기술한 후보 테이블을 기억하는 테이블 기억 수단과;
    상기 후보 테이블을 이용하여 소정의 참조 특징 벡터의 값에 대응하는 후보 카테고리 집합을 구하고, 얻어진 상기 후보 카테고리 집합을 출력하는 후보 카테고리 계산 수단을 구비하는 것을 특징으로 하는 패턴 인식 장치.
  2. 제1항에 있어서, 상기 패턴의 특징 벡터로부터 상기 참조 특징 벡터를 계산하는 참조 특징 벡터 계산 수단을 추가로 구비하는 것을 특징으로 하는 패턴 인식 장치.
  3. 제2항에 있어서, 상기 참조 특징 벡터 계산 수단은 상기 패턴의 특징 벡터의 1개 이상의 부분 특징 벡터를 1개 이상의 참조 특징 벡터로서 출력하는 것을 특징으로 하는 패턴 인식 장치.
  4. 제1항에 있어서, 상기 테이블 기억 수단은 상기 참조 특징 벡터 값의 집합으로 이루어진 참조 특징 공간을 2개 이상으로 분할하여 얻어지는 각 부분 집합을 참조 특징 분할 요소로 이용하여, 상기 참조 특징 분할 요소와 후보 카테고리 집합의 세트 정보를 포함하는 상기 후보 테이블을 유지하고;
    상기 후보 카테고리 계산 수단은 상기 소정의 참조 특징 벡터 값을 포함하는 참조 특징 분할 요소를 구하며,
    상기 얻어진 참조 특징 분할 요소에 대응하는 후보 카테고리 집합을 상기 후보 테이블을 이용하여 구하는 것을 특징으로 하는 패턴 인식 장치.
  5. 제4항에 있어서, 상기 테이블 기억 수단은 상기 참조 특징 공간을 격자형으로 구획지어 얻어지는 상기 참조 특징 분할 요소의 정보를 유지하는 것을 특징으로 하는 패턴 인식 장치.
  6. 제4항에 있어서, 각 카테고리에 대응하는 특징 벡터의 집합을 상기 참조 특징 공간에 투영했을 때의 투영 범위의 추정을 행하고, 얻어진 추정치를 이용하여 작성된 후보 테이블을 상기 테이블 기억 수단이 유지하는 것을 특징으로 하는 패턴 인식 장치.
  7. 제6항에 있어서, 상기 후보 테이블은, 상기 참조 특징 분할 요소와 상기 추정치의 공통 부분이 존재할 때, 상기 추정치에 대응하는 카테고리를 상기 참조 특징 분할 요소에 대응하는 후보 카테고리 집합의 요소로 이용하여 작성되는 것을 특징으로 하는 패턴 인식 장치.
  8. 제6항에 있어서, 상기 후보 테이블은 각 카테고리에 대응하는 1차원의 참조 특징 공간으로의 투영의 추정치로서, 1차원의 참조 특징 벡터 값의 최소치 및 최대치를 구함으로써 작성되는 것을 특징으로 하는 패턴 인식 장치.
  9. 제6항에 있어서, 상기 후보 테이블은 선형 계획법을 이용하여 구해진 상기 추정치에 기초하여 작성되는 것을 특징으로 하는 패턴 인식 장치.
  10. 제6항에 있어서, 상기 후보 테이블은 비선형 계획법을 이용하여 구해진 상기 추정치에 기초하여 작성되는 것을 특징으로 하는 패턴 인식 장치.
  11. 제6항에 있어서, 상기 후보 테이블은 학습용 패턴 집합으로부터 얻어지는 참조 특징 벡터 값의 분포를 이용하여 구해진 상기 추정치에 기초하여 작성되는 것을 특징으로 하는 패턴 인식 장치.
  12. 제6항에 있어서, 사전에 등록되어 있는 각 카테고리의 대표 특징 벡터에 기초하는 특징 공간의 보로노이 분할 요소를 상기 참조 특징 공간에 투영하여 얻어지는 상기 추정치에 기초하여 상기 후보 테이블이 작성되는 것을 특징으로 하는 패턴 인식 장치.
  13. 제1항에 있어서, 입력 패턴에서 상기 패턴의 특징 벡터를 생성하는 특징 추출 수단을 추가로 구비하는 것을 특징으로 하는 패턴 인식 장치.
  14. 제1항에 있어서, 각 카테고리의 대표 특징 벡터를 등록한 상세 분류 사전을 기억하는 사전 기억 수단과, 상기 후보 카테고리 집합에 포함되는 각 후보 카테고리의 대표 특징 벡터를 상기 상세 분류 사전을 이용하여 구하고, 상기 후보 카테고리의 대표 특징 벡터와 상기 패턴의 특징 벡터와의 거리를 구하며, 상기 거리가 작은 순으로 소정수의 후보 카테고리를 출력하는 상세 분류 수단을 추가로 구비하는 것을 특징으로 하는 패턴 인식 장치.
  15. 제1항에 있어서, 상기 패턴의 특징 벡터에 미리 정해진 변환을 행하고, 차원수가 보다 작은 압축 특징 벡터를 생성하는 특징 압축 수단을 추가로 구비하며, 상기 후보 카테고리 계산 수단은 소정의 압축 특징 벡터 값으로부터 계산되는 상기 참조 특징 벡터 값을 이용하여 상기 후보 카테고리 집합을 구하는 것을 특징으로 하는 패턴 인식 장치.
  16. 제15항에 있어서, 상기 후보 카테고리 계산 수단은 상기 압축 특징 벡터의 부분 특징 벡터를 상기 참조 특징 벡터로서 이용하는 것을 특징으로 하는 패턴 인식 장치.
  17. 제15항에 있어서, 각 카테고리의 압축 특징 벡터를 등록한 압축 특징 사전을 기억하는 사전 기억 수단과, 상기 후보 카테고리 집합에 포함되는 각 후보 카테고리의 압축 특징 벡터를 상기 압축 특징 사전을 이용하여 구하고, 상기 후보 카테고리의 압축 특징 벡터와 상기 특징 압축 수단으로부터 출력되는 압축 특징 벡터와의 거리를 구하며, 상기 거리가 작은 순으로 소정수의 후보 카테고리를 출력하는 대분류 수단을 추가로 구비하는 것을 특징으로 하는 패턴 인식 장치.
  18. 제17항에 있어서, 상기 대분류 수단은 상기 거리의 정의로서 유클리드 거리, 시티 블록 거리, 마하라노비스 거리, 유사 마하라노비스 거리, 베이즈 식별 함수, 및 유사 베이즈 식별 함수 중의 하나를 이용하는 것을 특징으로 하는 패턴 인식 장치.
  19. 제17항에 있어서, 각 카테고리의 대표 특징 벡터를 등록한 상세 분류 사전을 기억하는 사전 기억 수단과, 상기 대분류 수단에 의해 출력되는 각 후보 카테고리의 대표 특징 벡터를 상기 상세 분류 사전을 이용하여 구하고, 상기 후보 카테고리의 대표 특징 벡터와 상기 패턴의 특징 벡터와의 거리를 구하며, 상기 거리가 작은 순으로 소정수의 후보 카테고리를 출력하는 상세 분류 수단을 추가로 구비하는 것을 특징으로 하는 패턴 인식 장치.
  20. 제19항에 있어서, 상기 상세 분류 수단은 상기 거리의 정의로서, 유클리드 거리, 시티 블록 거리, 마하라노비스 거리, 유사 마하라노비스 거리, 베이즈 식별 함수 및 유사 베이즈 식별 함수 중의 하나를 이용하는 것을 특징으로 하는 패턴 인식 장치.
  21. 제15항에 있어서, 상기 특징 압축 수단은 선형 변환을 이용하여 상기 압축 특징 벡터를 생성하는 것을 특징으로 하는 패턴 인식 장치.
  22. 제21항에 있어서, 상기 특징 압축 수단은 특징 공간의 주성분 분석에 의해 상기 선형 변환을 구하는 것을 특징으로 하는 패턴 인식 장치.
  23. 제21항에 있어서, 상기 특징 압축 수단은 특징 공간의 정준(正準) 판별 분석에 의해 상기 선형 변환을 구하는 것을 특징으로 하는 패턴 인식 장치.
  24. 제1항에 있어서, 상기 패턴은 문자, 인간의 얼굴, 3차원 물체 및 2차원 도형 중 적어도 하나의 정보에 대응하는 것을 특징으로 하는 패턴 인식 장치.
  25. 패턴의 특징 벡터로부터 계산되는 참조 특징 벡터 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 형성하기 위해서 필요한 정보를 기술한 후보 테이블을 각각 기억하는 복수의 테이블 기억 수단과;
    상기 복수의 테이블 기억 수단 각각에 대응하여 설치되고, 상기 후보 테이블을 이용함으로써 소정의 참조 특징 벡터 값에 대응하는 후보 카테고리 집합을 구하고, 이 얻어진 후보 카테고리 집합을 각각 출력하는 복수의 후보 카테고리 계산 수단과;
    상기 복수의 후보 카테고리 계산 수단으로부터 출력된 복수의 후보 카테고리 집합을 집적하고 그 결과를 출력하는 카테고리 집적 수단을 구비하는 것을 특징으로 하는 패턴 인식 장치.
  26. 제25항에 있어서, 상기 카테고리 집적 수단은 복수의 후보 카테고리 집합의 논리곱을 계산하여 상기 복수의 후보 카테고리 집합을 집적하는 것을 특징으로 하는 패턴 인식 장치.
  27. 패턴의 특징을 나타내는 특징량 데이타와 후보 카테고리 집합과의 대응 관계를 기억하는 기억 수단과;
    상기 대응 관계를 이용하여 소정의 특징량 데이타에 대응하는 후보 카테고리 집합을 구하고, 얻어진 후보 카테고리 집합을 출력하는 후보 카테고리 계산 수단을 구비하는 것을 특징으로 하는 패턴 인식 장치.
  28. 계산기에 의해 사용되었을 때,
    패턴의 특징 벡터로부터 계산되는 참조 특징 벡터 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 형성하기 위해 필요한 정보를 기술한 후보 테이블을 이용하여 소정의 참조 특징 벡터 값에 대응하는 후보 카테고리 집합을 구하는 기능과,
    얻어진 후보 카테고리 집합을 출력하는 기능이 상기 계산기에 의해 수행되는 계산기 독출 가능 기억 매체.
  29. 계산기에 의해 사용되었을 때,
    패턴의 특징을 나타내는 특징량 데이타와 후보 카테고리 집합과의 대응 관계를 이용하여 소정의 특징량 데이타에 대응하는 후보 카테고리 집합을 구하는 기능과,
    얻어진 후보 카테고리 집합을 출력하는 기능이 상기 계산기에 의해 수행되는 계산기 독출 가능 기억 매체.
  30. 패턴의 특징 벡터로부터 계산되는 참조 특징 벡터 값을 입력으로 하고, 후보 카테고리 집합을 출력으로 하는 사상을 형성하기 위해 필요한 정보를 기술한 후보 테이블을 이용하여, 소정의 참조 특징 벡터 값에 대응하는 후보 카테고리 집합을 구하고,
    상기 얻어진 후보 카테고리 집합을 출력하는 것을 특징으로 하는 패턴 인식 방법.
  31. 패턴의 특징을 나타내는 특징량 데이타와 후보 카테고리 집합과의 대응 관계를 이용하여, 소정의 특징량 데이타에 대응하는 후보 카테고리 집합을 구하고,
    상기 얻어진 후보 카테고리 집합을 출력하는 것을 특징으로 하는 패턴 인식 방법.
KR1019970047016A 1997-02-12 1997-09-12 후보테이블을이용하여분류를행하는패턴인식장치및방법 KR100263808B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2752197 1997-02-12
JP97-027521 1997-02-12

Publications (2)

Publication Number Publication Date
KR19980069941A true KR19980069941A (ko) 1998-10-26
KR100263808B1 KR100263808B1 (ko) 2000-08-16

Family

ID=12223439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970047016A KR100263808B1 (ko) 1997-02-12 1997-09-12 후보테이블을이용하여분류를행하는패턴인식장치및방법

Country Status (3)

Country Link
US (1) US6539115B2 (ko)
KR (1) KR100263808B1 (ko)
CN (1) CN1151465C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150066160A (ko) * 2013-12-06 2015-06-16 주식회사 케이티 비지도 학습을 통한 개체명 사전 구축 방법 및 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584458B2 (ja) * 1997-10-31 2004-11-04 ソニー株式会社 パターン認識装置およびパターン認識方法
US6795804B1 (en) * 2000-11-01 2004-09-21 International Business Machines Corporation System and method for enhancing speech and pattern recognition using multiple transforms
US6931400B1 (en) * 2001-08-21 2005-08-16 At&T Corp. Method and system for identifying representative trends using sketches
MXPA05003249A (es) * 2002-09-25 2005-07-05 Microsoft Corp Metodo y aparato para determinar automaticamente caracteristicas salientes para la clasificacion de objeto.
JP2004348706A (ja) * 2003-04-30 2004-12-09 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
US7333985B2 (en) * 2003-12-15 2008-02-19 Microsoft Corporation Dynamic content clustering
JP2006338092A (ja) * 2005-05-31 2006-12-14 Nec Corp パタン照合方法、パタン照合システム及びパタン照合プログラム
JP4682030B2 (ja) * 2005-11-30 2011-05-11 富士通株式会社 図形検索プログラム、該プログラムを記録した記録媒体、図形検索装置、および図形検索方法
JP4768451B2 (ja) * 2006-01-18 2011-09-07 株式会社リコー 画像処理装置、画像形成装置、プログラムおよび画像処理方法
WO2007121454A1 (en) * 2006-04-18 2007-10-25 Ge Healthcare Bio-Sciences Corp. System for preparing an image for segmentation
WO2009013818A1 (ja) * 2007-07-25 2009-01-29 Fujitsu Limited 文字認識処理方法及び装置
US8688621B2 (en) * 2008-05-20 2014-04-01 NetCee Systems, Inc. Systems and methods for information compression
CN101599168B (zh) * 2008-06-04 2011-09-28 鸿富锦精密工业（深圳）有限公司 聚合实体图层转换系统及方法
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 ３次元物体認識システム及びそれを用いた棚卸システム
KR101577953B1 (ko) * 2008-12-16 2015-12-17 삼성디스플레이 주식회사 접촉 감지 기능이 있는 표시 장치 및 접촉 판단 방법
FR2951839B1 (fr) * 2009-10-23 2021-06-11 Commissariat Energie Atomique Methode pour evaluer la ressemblance d'un objet requete a des objets de reference
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법
GB2514397B (en) 2013-05-23 2017-10-11 Linear Algebra Tech Ltd Corner detection
KR101463005B1 (ko) * 2013-10-15 2014-11-18 (주)한국해양기상기술 특정 파장에 대한 형광 특성을 갖는 미생물 검사방법
JP6156126B2 (ja) * 2013-12-19 2017-07-05 富士通株式会社 検索方法、検索プログラムおよび検索装置
US20170132457A1 (en) * 2014-06-27 2017-05-11 Beijing Qihoo Technology Company Limited Human face similarity recognition method and system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287275A (en) * 1988-08-20 1994-02-15 Fujitsu Limited Image recognition apparatus and method for recognizing a pattern within an image
EP0447751B1 (en) * 1990-01-19 1999-06-09 Fujitsu Limited Image processing system
CA2034638C (en) * 1990-01-19 1997-01-07 Masayuki Kimura Data conversion system for line-narrowing a pattern
US5508915A (en) * 1990-09-11 1996-04-16 Exxon Production Research Company Method to combine statistical and engineering techniques for stuck pipe data analysis
US5325445A (en) * 1992-05-29 1994-06-28 Eastman Kodak Company Feature classification using supervised statistical pattern recognition
EP0613101B1 (en) * 1993-02-26 2000-07-12 Canon Kabushiki Kaisha Pattern recognizing method and apparatus
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
JP2937729B2 (ja) * 1993-12-21 1999-08-23 株式会社バーズ情報科学研究所 パターン認識方法及び装置及び辞書作成方法
EP0726543B1 (en) * 1995-02-07 2003-09-10 Canon Kabushiki Kaisha Image processing method and apparatus therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150066160A (ko) * 2013-12-06 2015-06-16 주식회사 케이티 비지도 학습을 통한 개체명 사전 구축 방법 및 시스템

Also Published As

Publication number Publication date
US6539115B2 (en) 2003-03-25
KR100263808B1 (ko) 2000-08-16
CN1151465C (zh) 2004-05-26
CN1190764A (zh) 1998-08-19
US20010019628A1 (en) 2001-09-06

Similar Documents

Publication Publication Date Title
KR19980069941A (ko) 후보 테이블을 이용하여 분류를 행하는 패턴 인식 장치 및 방법
Flexer On the use of self-organizing maps for clustering and visualization
Flexer On the use of self-organizing maps for clustering and visualization
KR100578614B1 (ko) 패턴 특징 추출 방법 및 그 장치
US7949158B2 (en) Method and apparatus for extracting face feature
JP3815704B2 (ja) 図形分類処理方法、図形検索処理方法、図形分類システム、図形検索システム、図形分類用特徴抽出処理方法、図形分類用表作成処理方法、情報記録媒体、図形間の類似度又は相異度の評価処理方法、図形正規化処理方法、及び、図形間対応付け処理方法
EP1418507A2 (en) Method and system for multiple cue integration
JPH1055444A (ja) Ｄｃｔをベースとするフィーチャー・ベクトルを使った顔の認識
CN105912611A (zh) 一种基于cnn的快速图像检索方法
Vasconcelos et al. Scalable discriminant feature selection for image retrieval and recognition
Passalis et al. Intraclass retrieval of nonrigid 3D objects: Application to face recognition
Zhang et al. A nonlinear neural network model of mixture of local principal component analysis: application to handwritten digits recognition
CN110442618B (zh) 融合专家信息关联关系的卷积神经网络评审专家推荐方法
CN116630100B (zh) 旅游数据处理方法、装置、设备及存储介质
Hong et al. Unsupervised learning of compositional sparse code for natural image representation
Nie et al. Implicit weight learning for multi-view clustering
JP3943223B2 (ja) 候補テーブルを用いて分類を行うパターン認識装置および方法
JP2006060796A (ja) 映像検索装置，方法及びプログラム並びにプログラムを記録した記録媒体
Zielinski et al. Persistence codebooks for topological data analysis
CN112487231B (zh) 一种基于双图正则化约束和字典学习的图像自动标注方法
Peter et al. The geometry of orthogonal-series, square-root density estimators: Applications in computer vision and model selection
Kaur et al. A survey on dimension reduction techniques for classification of multidimensional data
JP3131862B2 (ja) 特徴選択装置
CN116578734B (zh) 一种基于clip的概率嵌入组合检索方法
Han et al. Multi-channel Joint Sparse LearningModel for Non-rigid Three-dimensional Object Classification.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120507

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 14

LAPS Lapse due to unpaid annual fee