KR20000071094A - 패턴 인식 방법 및 장치 - Google Patents

Abstract

패턴 인식 장치는 입력 섹션(102), 특징 추출 모듈(108), 특징 변환 모듈(114), 인식 사전(120, 122)과 카테고리화기(118)를 구비하는 인식 섹션을 포함한다. 입력 섹션은 카테고리 세트를 구성하는 다수의 카테고리 중 하나에 속하는 패턴을 포함하는 입력 패턴을 수신한다. 특징 추출 모듈은 패턴의 특징을 특징 벡터로서 표현한다. 특징 변환 모듈은 변환 벡터 행렬을 사용하여 적어도 특징 벡터의 부분을 변환하고 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터를 발생한다. 인식 사전(dictionary)은 카테고리 각각에 대한 정합 정보(120) 및 변환된 정합 정보(122)를 모두 저장한다. 제 1 변환된 정합 정보는 변환 벡터 행렬을 사용하여 변환된다. 인식 섹션(section)은 정합 정보와 제 1 변환된 정합 정보 및 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터로부터 유도된 적어도 하나의 정합 벡터간의 정합 동작을 수행함으로써 카테고리 각각에 대한 적어도 하나의 차분값을 발생한다. 카테고리화기는 적어도 하나의 차분값에 응답하여 패턴이 속하는 카테고리를 확정한다.

Description

패턴 인식 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING PATTERNS}

패턴 인식을 포함하는 정보 처리에 대한 필요성이 현재 급격히 증가하고 있다. 패턴 인식은 컴퓨터에 의해 수행되는 이미지(image) 처리, 텍스트(text) 처리, 음향(sound) 처리와 같은 애플리케이션(application)에 사용되고 있다. 따라서, 패턴 인식 기술의 개선이 매우 필요하다.

패턴 인식은 이미지, 손으로 기록되거나 인쇄된 문자, 혹은 음향과 같은 물리적인 현상이 이를 나타내는 전기적 신호로 변환되고, 이 현상이 속하는 카테고리 세트(category set)에서 다수의 가능한 카테고리 중 어느 카테고리에 속하는지가 판정되며, 결정된 카테고리를 나타내는 코드(code)가 발생되는 처리(process)이다. 예를 들면, 문자 인식에서는 글자 "A"와 같은 미상의 인쇄된 문자가 전자 스캐너(scanner)에 의해 스캐닝될 수 있다. 이 스캐너는 미상의 문자를 표시하는 수 천 바이트(byte)의 어레이(array)로 구성되는 패턴을 나타내는 전기 패턴 신호를 발생한다. 다음에, 이 패턴 신호를 분석하여 그 미상의 문자가 글자 A-Z에 대응하는 카테고리 세트 내의 어떤 카테고리에 속하는지를 판단한다. 이어서, 미상의 문자 카테고리로서 카테고리를 식별하는 코드가 발생된다. 예를 들면, 글자 A를 나타내는 ASCII 코드 33이 발생될 것이다.

패턴 인식 처리는 바람직하게 로우(raw) 패턴 신호를 사용하는 대신에 패턴 신호로부터 추출한 패턴의 특징을 사용하여 수행된다. 패턴 신호로부터 추출한 특징을 처리하는 것이 바람직한데, 그 이유는 이들 특징이 로우 패턴 신호보다 더 빠르고, 더 정확하며, 더 저렴한 비용으로 흔히 처리될 수 있기 때문이다. 매우 많은 양의 정보를 포함하는 패턴 신호가 처리되는 경우에는 수 개의 추출한 특징만이 처리되어야 한다. 패턴 인식의 한 가지 목적은 패턴 신호로부터 추출한 특징을 사용하여 패턴을 나타냄으로써 정보를 압축하는 것이다. 물론, 이 특징은 패턴 신호로부터 패턴 인식 처리의 성능을 약화시키지 않고 패턴을 인식하는 방식으로 추출되어야만 한다.

패턴 p의 특징 f는 통상적으로 유한한 M 개의 특징 성분 x(p;m)의 세트 {x(p;m); m=1,2,3,…,M}으로 정의된다. 특징 f는 패턴의 특질을 명확하며 정량적으로 나타낸다. 따라서, 특징 f는 m 번째 성분이 특징 성분 x(p;m)인 M 차원 벡터로 표시되므로, 특징 f의 벡터 표시는 특징 벡터 X(p)=(x(p;1), x(p;2),…, x(p;m))^t이다. 변수 p는 특징 벡터 X(p)가 패턴 p의 특징 벡터라는 것을 나타낸다. 위첨자 t는 벡터 치환을 나타낸다.

특징 성분이 정성적일지라도, 이들이 정량화되어 사용될 수 있다.

패턴 p가 다양한 형태로 변형되면, 특징 성분 x(p;m)의 값이 변한다. 따라서, 특징 벡터 X(p)가 변한다. 그러나, 변형된 패턴이 자신의 최초 카테고리에 속하는 동안은 패턴 인식 처리가 변형된 패턴을 그 최초 카테고리에 속하는 것으로서 인식해야만 한다.

특정한 카테고리에 속하는 패턴으로 표시되거나 카테고리의 특징으로 표시되는 것으로서 확정된 특정한 패턴이 카테고리의 기준 패턴으로 지칭된다. 확정된 패턴의 특징 벡터가 카테고리의 기준 패턴으로 지칭된다. 카테고리에 대한 기준 패턴으로서 특정한 패턴을 사용하는 대신에, 그 카테고리에 속하는 패턴을 평균하여 얻어지는 가상 패턴(hypothetical pattern)이 기준 패턴으로서 사용될 수 있으며, 이러한 가상 패턴의 특징 벡터가 그 카테고리의 기준 벡터로서 사용될 수 있다.

패턴 인식에서는 미상의 패턴 p를 수신한 다음 패턴 인식 처리를 수행한다. 패턴은 미상의 패턴이 공지 패턴(known pattern) q와 유사한지를 판정하거나 미상의 패턴이 속하는 카테고리를 판정하여 결정될 수 있다. 패턴 인식은 도형, 문자, 심벌(symbol), 이미지, 음향을 인식하는 데 필수적이다. 패턴 인식과 패턴 인식의 문제점에 관한 전반적인 정보는 참조 문헌 1인 1978년 편집자 카즈오 나카다(Kazuo Nakada)에 의한 "PATTERN RECOGNITION AND ITS APPLICATION", Corona Co.(일본어판)와, 참조 문헌 2인 1992년 편집자 히데미츠 오가와(Hidemitsu Ogawa)에 의한 "New Developments in Pattern Recognotion and Understanding - The Challenges - DENSHI JYOHO TSUSHIN GAKKAI"(일본어판)에서 알 수 있을 것이다.

이미지 인식 및 음향 인식과 같은 다른 형태의 패턴 인식에 용이하게 적용될 수 있는 본 명세서에 개시된 원리를 이해하기 위해 미상의 패턴이 문자 패턴인 패턴 인식의 예를 아래에 설명할 것이다. 문자 패턴은 글자, 숫자, 간지(Kanji) 문자 등을 나타내는 패턴이다. 문자를 나타내는 패턴은 지금부터 문자 패턴으로서 지칭될 것이다. 문자 패턴의 가능한 특징 성분의 예로서는 문자의 종횡비(length-to-width ratio), 수직선의 개수, 만곡부(loop)의 개수, 문자 상에 놓인 각 사각형의 그리드(grid)가 블랙(black) 또는 화이트(white)인지의 여부, 특정한 방향인 직선과의 교차점 개수, 문자 패턴의 푸리어 변환(Fourier transform) 계수가 있다.

앞에서 열거한 것과 같은 특징 성분의 세트가 특징 벡터를 구성하는 데 사용됨으로써, 결과적인 특징 벡터가 문자 세트의 문자를 최적으로 나타낼 수 있다. 각 특징 성분의 동적 범위는 나중에 설명할 패턴 인식의 정확도를 개선할 수 있도록 선택된다. 특징 성분은 필요한 경우에 표준 편차를 사용하여 표준화될 수도 있다.

패턴 인식은 패턴 인식될 각 문자 패턴의 카테고리 명칭을 발생한다. 카테고리 코드는 문자 패턴의 판독, 의미, 혹은 코드를 나타낸다. 예를 들면, 문자 "A"가 속하는 카테고리의 카테고리 명칭은 "카테고리 A"일 수 있다. 전술한 바와 같이, 이 카테고리에 속하는 특정한 문자 패턴이 이 카테고리에 대한 기준 패턴으로서 선택된다. 이와 달리, 어떤 카테고리에 속하는 다수의 문자 패턴을 평균하여 획득된 가상 패턴이 기준 패턴으로서 사용될 수 있다. 이 기준 패턴의 특징 벡터가 그 카테고리의 기준 벡터로서 채용된다.

패턴 인식의 핵심부는 인식 프로세서(processor)이며, 이 프로세서는 문자 패턴이 변형되고 또한 이러한 문자 패턴이 카테고리 A가 아닌 카테고리에 속하지 않는 것에 관계없이 모든 미상의 문자 패턴이 카테고리 A에 속하는 문자 "A"를 나타내는 것을 결정하는 목적을 갖는다.

문자 패턴 관찰 및 판독 후에 통상적으로 일련의 처리 모듈로 분할되는 문자 인식 장치에 의해 수행된 처리는 문자 패턴 전처리, 특징 추출, 인식을 수행한다. 각각의 처리 모듈은 주로 컴퓨터를 사용하여 구현될 수 있으며, 특정한 동작 세트를 수행하는 컴퓨터에 의해 실현된다. 문자 패턴의 관찰을 포함하는 처리 모듈이 모두 인식 모듈에 의해 발생된 결과에 영향을 미친다.

문자 인식의 정확도를 증가시키기 위한 전략은 인식율을 극대화시켜 오류인식율을 제로(zero)로 감소시키는 것이다. 인식율은 카테고리 각각에 속해야 하는 문자 패턴의 소수부이며, 이 문자 패턴은 그 카테고리 각각에 속하는 것으로 정확하게 인식된다. 오류인식율은 카테고리 각각에 속하지 않는 문자 패턴의 소수부이며, 이 문자 패턴은 그 카테고리 각각에 속하는 것으로 오류인식된다. 구체적으로, 많은 애플리케이션에서는 오류인식율이 발생하지 않아야 하는, 즉 문자 패턴이 카테고리 A에 속하지 않는 예컨대, 카테고리 A에 할당되지 않아야 하는 것이 요구된다.

각각의 입력 패턴은 대응하는 이상적인 패턴의 휨(warping) 또는 변형으로서 간주될 수 있다. 변형이 패턴을 인식하는 패턴 인식 장치의 성능을 저하시킨다는 견지에서 이러한 변형은 전처리의 역형태(inverse form)로서 간주될 수 있다. 이 역 전처리는 문자 인식에 대한 패턴 인식 장치의 성능을 개선하려는 경우에 고려된 타겟(target) 벡터 중 하나이어야 한다.

패턴 인식 장치의 인식 정확도를 개선하기 위한 공지된 수법이 인식 결과에 근거하여 각각의 처리 모듈에 의해 수행된 처리를 조절하는 것과 같은 궤환 제어 함수에 부가되어 인식 모듈에 의해 수행된 처리에 대해 다양한 변형이 이루어 졌다.

앞에서 지칭한 문자 인식 전처리로는 입력 문자 패턴의 크기, 기울어짐, 위치, 선밀도(line density)를 표준화하는 것과 스폿(spot)과 흠집 같은 노이즈(noise)를 제거하는 것이 있다.

앞에서 지칭한 특징 추출은 입력 문자 패턴을 분석하여 이 문자 패턴에 의해 표시된 문자의 형상 및 다른 특징을 나타내는 특징 성분값을 결정한다. 문자 패턴의 특징 벡터는 특징 성분으로부터 구성된다. 특징 성분의 개수는 전형적으로 예컨대 380 또는 500 개인 수 백 개 정도이지만, 최대 수 천 개일 수도 있다. 문자 패턴의 특징 벡터를 생성하는 한 방식은 64 × 64 그리드를 갖는 문자 패턴을 전체적으로 중첩시킨 다음 그리드의 각 사각형이 문자 패턴의 스트로크(stroke)로 채워지는지를 판단하는 것이다. 사각형이 채워지면, 값 1이 그 사각형으로 할당된다. 사각형이 채워지지 않으면, 값 0이 할당된다. 그리드의 각 사각형은 특징 성분으로서 간주될 수 있으며, 요소가 0과 1인 4,096 차원의 특징 벡터가 문자 패턴의 특징 벡터로서 발생된다.

다른 예에서, 문자 인식에서의 다른 유효한 특징으로는 예컨대 스트로크에서의 종단점 개수(글자 A에서는 2), 만곡부의 개수(글자 A에서는 1), 구부러진점 개수(글자 A에서는 1), 분기점 개수(글자 A에서는 2), 교차점 개수(글자 A에서는 0), 이들의 위치의 조합이 있다. 요구된 인식 정확도에 일치하는 가능한 최소 개수의 특징 성분이 선택되어 대응하는 개수의 차원(dimension)을 갖는 특징 벡터가 구성된다. 인식 정확도를 높이기 위해 특징 벡터 차원수를 증가시키더라도, 차원수를 증가시키는 것은 처리 시간과 필요한 메모리 용량을 증가시키기만 한다.

앞에서 지칭한 인식 모듈에서는 각각의 입력 문자로부터 추출된 특징 벡터가 카테고리 세트 내에 있는 각 카테고리의 기준 벡터에 정합되어 입력 문자 패턴이 속하는 카테고리를 결정한다. 기준 벡터는 문자 인식 처리가 시작되기 전에 결정되어 인식 사전(dictionary)에 저장된다. 기준 벡터는 문자 인식이 수행되는 특정한 방식으로 미상의 문자가 속하는 문자 세트로 확정된다. 인식 사전은 카테고리 세트 내에 있는 각 카테고리에 대해 적어도 하나의 기준 벡터를 갖는 기준 벡터의 세트를 포함한다. 인식 모듈은 인식 함수로서 흔히 유사성 함수 또는 거리 함수를 사용하여 미상의 문자 패턴이 속하는 카테고리를 결정한다. 문자 패턴과 기준 패턴간의 거리는 기준 패턴에 의해 표시된 바와 같은 문자 패턴과 카테고리간의 거리로서 간주될 수 있다. 구체적으로, 문자 패턴의 특징 벡터와 기준 패턴의 기준 벡터간의 거리는 문자 패턴과 카테고리간의 거리로서 간주될 수 있다.

인식 모듈이 거리 함수를 사용하는 경우, 문자 패턴들 간의 거리를 측정하는 방식이 정의되어 입력 문자 패턴과 각 카테고리 사이의 거리가 측정된다. 일반적으로, 거리가 짧아질수록 문자 패턴은 유사성을 더 갖는다. 입력 문자 패턴의 특징 벡터가 어떤 카테고리 기준 벡터의 일정한 거리 내에 있으면, 이 입력 문자 패턴은 그 어떤 카테고리에 속한다고 말할 수 있다. 이와 달리, 최근접 기준 특징 벡터가 속하는 카테고리에 문자 패턴이 속한다고 말할 수 있다.

전술한 예에서와 같이 입력 문자의 특징 벡터가 정의되는 경우, 인식 모듈은 요소가 1과 0인 4,096 차원의 특징 벡터 내에서 해밍 거리(Hamming distance)(다수의 서로 상이한 요소)를 계산한다. 기준 벡터가 입력 문자의 추출된 특징 벡터로부터 해밍 거리 100 내에 있는 카테고리에 입력 문자가 속한다고 말할 수 있다.

해밍 거리는 입력 문자 패턴으로부터 추출된 특징 벡터와 카테고리 세트 내에 있는 모든 카테고리의 기준 벡터간에 계산된다. 해밍 거리가 가장 짧은 카테고리가 입력 문자 패턴이 속하는 카테고리로 결정된다.

기준 벡터가 입력 문자 패턴의 특징 벡터로부터 최단거리인 카테고리에 입력 문자 패턴이 속한다고 말하기 전에 부가적인 조건이 부가될 수도 있다. 이러한 부가적인 조건의 예로는 최단 해밍 거리가 제 1 문턱값 미만인 것과, 최단 해밍 거리와 제 2 최단 해밍 거리 사이의 증분이 제 2 문턱값을 초과해야만 한다는 것이 있다.

매우 정확한 문자 인식 처리의 다른 예에서는 인식 모듈이 이의 인식 함수로서 유클리드(Euclidean) 거리를 판단하는 거리 함수, 가중된 유클리드 거리를 판단하는 거리 함수, 혹은 2차 식별 함수를 사용할 수 있다. 이러한 인식 함수의 인식 정확도는 식별 함수와 문자 인식 사전을 개선하기 위한 훈련 처리(training process)를 사용함으로써 증가될 수 있다. 본 발명의 발명자에 의해 "Handprinted Numerals Recognition by Learning Distance Function, Trans. of THE IEICE, Vol. J-76-D-11, No. 9, pp. 1851-59(참조 문헌 3)에 개시된 식별 분석에 의한 학습(Learning by Discriminant Analysis : LDA) 방법은 식별 처리를 훈련함으로써 문자 패턴의 변형을 고려한다. 이 참조 문헌은 또한 통상적인 문자 인식 처리를 보다 상세히 설명하고 있으므로, 이 참조 문헌을 재검토함으로써 이하 개시한 본 발명을 보다 많이 이해하기 위한 훌륭한 기초를 제공한다.

식별 분석에 의한 학습은 피셔(Fisher)의 선형 식별 분석을 사용한다. 이하 논의될 참조 문헌 3에 사용된 심벌 표현과는 상이한 심벌 표현을 사용하여 LDA 방법의 부분을 이제 설명할 것이다. 식별 분석에 의한 학습에서, 가중된 유클리드 거리를 제공하는 거리 함수가 훈련되어 인식 사전에 저장된다. 구체적으로, 가중치 벡터와 거리 함수 및 기준 벡터의 상수항이 학습된다.

훈련 패턴으로서 입력 문자 패턴 p가 인식 장치로 입력되어 처음에 통상적인 전처리 및 특징 추출 단계를 거쳐 특징 벡터 X(p)=(x(p;1), x(p;2),…, x(p;m),…, x(p;m))^t를 얻는다.

카테고리 세트 {K} 내에 있는 각 카테고리 K의 참조 벡터 R(K)=(r(K;1), r(K;2),…, r(K;m),…, r(K;M))^t가 주어지고, 이 카테고리 세트 내에 있는 각 카테고리의 입력 문자 패턴 X(p)와 기준 벡터 R(K) 사이의 가중된 유클리드 거리 D(p, K)가 계산된다. 가중된 유클리드 거리는 수학식 1을 사용하여 계산된다.

더 정확하게는 D(p,K)가 거리의 제곱을 나타내지만, 여기서는 간단하게 거리로 지칭될 것이다.

즉, ω(K;m)는 m 번째 가중치 벡터이며 가중치 벡터 W(K)=(ω(K;1), ω(K;2), …, ω(K;m), …, ω(K;M))^t의 한 요소이다. 문자 인식 사전 L({k})이 필요한 파라미터(parameter)를 저장하여 인식 동작을 수행한다. 전형적인 파라미터는 기준 특징 벡터 R(K)과 가중치 벡터 W(K)를 포함한다. {K}는 카테고리 K가 구성원이며 입력 문자가 속할 수 있는 카테고리 세트 전체를 나타낸다. 정합 동작 중에, 기준 사전은 카테고리 세트 내에 있는 카테고리 각각에 대한 기준 벡터를 제공한다. 따라서, 카테고리 세트 {k}와 연관된 인식 사전은 L({K})로서 지정된다.

상기 형식의 거리 함수가 카테고리 세트 내에 있는 모든 카테고리에 대한 가중된 유클리드 거리를 결정하는 데 사용되지만, 거리 함수에 사용된 파라미터는 각 카테고리에 대한 특정값으로 설정된다. LDA에 의한 학습 후에, 거리 함수는 거리 공식을 만족시키는 통상적인 정의에 근거한 통상적인 거리 함수와 상이하다. LDA 기반 인식 함수는 패턴들 간의 차분을 증가시킨다.

다음의 설명에서, 실제로 입력 문자 패턴 p가 속하는 카테고리는 K(p)로 지정될 것이다. LDA 기반 패턴 인식 동작에서는 학습 동작이 훈련 패턴, 즉 카테고리가 공지된 문자 패턴을 사용하여 수행된다. 각각의 입력 문자 패턴과 각각의 카테고리간의 변경된 유클리드 거리 D(p,K)는 카테고리 세트 내에 있는 카테고리 각각의 K에 대해서 결정된다. 인식 모듈은 결정된 변형 유클리드 거리 D(p,K)가 최소인 카테고리 K₁(p)에 입력 문자 패턴 p가 속한다고 결정한다. 그러나, 소정의 환경에서 결정된 카테고리 K₁(p)은 입력 문자 패턴 p가 실제로 속하는 카테고리 K(p)와 상이할 것이다. 이 경우에 입력 문자 패턴은 오류 인식된다. 다른 환경에서, 입력 문자 패턴 사이의 거리 D(p,K₁) 및 D(p,K₂)와 카테고리 K₁및 카테고리 K₂간의 증분은 작다. 카테고리 K₂는 카테고리 K₁과 상이하다. 이러한 문자 패턴에 있어서, 인식 결과 K(p)가 정확한 고도의 신뢰도를 갖는다고 말할 수 없다. 카테고리에 부적절하게 할당되거나 고도의 신뢰도로 카테고리에 속한다고 말할 수 없는 문자 패턴은 다음의 방식 중 하나로 특징지어질 수 있다.

(1) 실제로 카테고리 K와 상이한 어떤 카테고리에 속하지만 그 카테고리 K에 속하는 한 인식 모듈이 오류인식하는 문자 패턴은 그 카테고리 K에 속하는 오류 패턴 p_oe로 지칭될 것이다.

(2) 실제로 카테고리 K와 상이한 어떤 카테고리에 속하지만 그 카테고리 K에 속하는 한 인식 모듈이 거의 오류인식하는 문자 패턴은 그 카테고리 K에 속하는 니어 미스(near-miss) 패턴 p_on으로 지칭될 것이다.

용어 p_oe와 p_on은 본 발명의 발명자에 의해 전술한 참조 문헌 3에 사용된 용어이고, 카테고리 K의 경쟁 패턴(rival pattern) 세트를 구성하는 두 유형의 경쟁 패턴 p_or을 설명한다. LDA에서는 가중치 벡터, 상수항, 기준 벡터가 학습됨으로써, 모든 경쟁 패턴 p_or이 카테고리 K로부터 적어도 최소 거리로 유지된다. 학습 처리는 모두 카테고리에 대해서나 오류인식이 빈번히 발생하는 카테고리에 대해서 수행될 수 있다.

카테고리 K의 경쟁 패턴 세트는 Ω_r(K)로 지정되며, 카테고리 K의 카테고리내 패턴 세트는 Ω_o(K)로 지정된다. 카테고리 K의 카테고리내 패턴 세트는 카테고리 K에 속하는 것으로서 정의된 훈련 패턴으로 구성된다. 학습 처리가 계수 {a(m); m=1 내지 M}, {b(m); m=1 내지 M}, c를 결정함으로써, 훈련 패턴이 카테고리내 세트 Ω_o(K)의 구성원인 네가티브(negative)의 경우와 훈련 패턴이 경쟁 패턴 세트 Ω_rR(K)의 구성원인 포지티브(positive)의 경우에 이들 계수는 아래의 수학식인 식별 함수 F(X(p),R(K))를 제공한다. 이러한 처리 중에, 카테고리 K의 카테고리내 패턴 세트에 속하는 훈련 패턴의 특징 벡터 평균은 카테고리 K의 기준 벡터 R(K)에 사용된다. 식별 함수는 수학식 2를 사용하여 계산된다.

식별 함수 F(X(p),R(K))가 카테고리내 세트 Ω_o(K)에 대해 네가티브이기 때문에, F(X(p),R(K)) = c < 0이다.

식별 함수 F(X(p),R(K))가 팩터(factor) Y만큼 가중되어 그 결과가 상기 수학식 1에서 정의된 최초 거리에 더해진다. 따라서, 거리 D(X(p),R(K))는 수학식 3과 같이 정의되는 새로운 거리 G(X(p),R(K))가 된다.

수학식 3에서 가중치 팩터 Y는 실험적으로 결정된 양수이다. 가중치 팩터값은 카테고리 세트 {K} 내에 있는 모든 카테고리에 대해 인식 정확도를 최대화하도록 선택된다. 이 검사는 공용 문자 데이터베이스(publicly-available character database)나 독립적으로 컴파일링된 문자 데이터베이스(independently-compiled character database)를 사용한다. 흔히, 학습 동작은 문자 데이터베이스 내에 있는 문자 패턴의 일부분을 사용하여 수행되며, 문자 패턴의 나머지는 학습 동작의 결과를 대조 확인하는 데 사용된다.

학습 동작을 수행한 결과로서, 가중치 벡터, 기준 벡터, 상수항은 부가된 상수항 d(K)의 형태로 학습된다. 새로운 기준 벡터와 가중치 벡터 각각은,

와,

와 같이 지정된다.

상수항 d(K), 가중치 벡터 U(K), 기준 벡터 T(K)는 인식 사전 내에 저장된다. 다음에, 상수항을 포함하는 G(X(p),R(X))를 사용하여 식별이 수행되고, 이 식별에 기인한 새롭게 발생된 경쟁 패턴이 각 카테고리의 경쟁 패턴 세트에 부가되며, 학습 처리가 반복된다.

전술한 예에서, 특징 벡터 및 식별 함수의 유형이 초기 특징 벡터로부터 변하지 않기 때문에, 학습 처리의 범주는 인식 처리의 일부분으로 제한된다. 이 일부분은 인식 사전의 콘텐츠(contents)를 포함한다.

다수의 상이한 인식 처리를 조합하여 문자 인식 정확도를 개선하는 패턴 인식 방법이 공지되어 있다. 구체적으로, 패턴으로부터 추출된 상이한 특징을 사용하는 인식 처리의 조합이 공지되어 있다. 이 특징은 이들의 유형과 이들 내에 있는 특징 성분의 개수에서 상이할 것이다. 더욱이, 상이한 식별 함수를 사용하는 인식 처리의 조합이 시도되었다. 이들 가능한 인식 처리의 조합 중 하나는 인식 정확도를 개선하는 데 효과적이다. 그러나, 다수의 인식 처리를 사용하는 통상적인 방식은 적어도 두 개의 독자적으로 개발된 인식 프로세스를 단순히 조합하는 것이다. 다른 인식 처리에 의해 인식되지 않는 문자를 높은 정확도로 인식하기 위한 인식 처리를 설계하는 것과 같은 더 효과적인 방법이 개발될 징후는 없다. 따라서, 두 개의 통상적인 인식 처리의 조합을 사용하는 것으로 인식 정확도를 개선하는 데에는 한계가 있다.

소망한 특성을 갖는 두 개의 인식 처리를 통합하여 인식 정확도를 개선함으로써 인식 처리 중 하나에 의해 고신뢰도로 인식될 수 없는 패턴이 다른 인식 처리에 의해 가능한 최고의 정확도로 인식되는 패턴 인식 장치 및 방법이 필요하다.

인식 처리 중 하나에 의해서는 정확히 인식되지만 인식 처리들을 함께 사용할 때는 오류인식되는 패턴의 퍼센트를 최소화하는 어떤 방식으로 두 개의 인식 처리가 통합되는 패턴 인식 장치 및 방법이 또한 필요하다.

마지막으로, 두 개의 인식 처리가 통합되어 통합된 인식 처리에 의한 학습이 용이하게 구현될 수 있는 패턴 인식 장치 및 방법이 필요하다.

발명의 요약

본 발명은 입력 섹션(section), 특징 추출 모듈, 특징 변환 모듈, 인식 사전과 카테고리화기(categorizer)를 구비하는 인식 섹션을 포함하는 패턴 인식 장치를 제공한다. 입력 섹션은 카테고리 세트를 구성하는 다수의 카테고리 중 하나에 속하는 패턴을 포함하는 입력 패턴을 수신한다. 특징 추출 모듈은 패턴의 특징을 특징 벡터로서 표현한다. 특징 변환 모듈은 변환 벡터 행렬을 사용하여 적어도 특징 벡터의 부분을 변환하여 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터를 발생한다. 인식 사전은 카테고리 각각에 대한 정합 정보 및 제 1 변환된 정합 정보를 모두 저장한다. 제 1 변환된 정합 정보는 변환 벡터 행렬을 사용하여 변환되었다. 인식 섹션은 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터로부터 유도된 적어도 하나의 정합 벡터와 정합 정보 및 제 1 변환된 정합 정보 사이의 정합 동작을 수행하여 카테고리 각각에 대한 적어도 하나의 차분값을 발생한다. 카테고리화기는 적어도 하나의 차분값에 응답하여 패턴이 속하는 카테고리를 확정한다.

일실시예는 신뢰도 판정 모듈을 더 포함하며, 특징 변환 모듈은 특징 벡터를 모두 변환하여 카테고리 각각에 대응하는 변환된 특징 벡터를 발생하고, 인식 섹션은 제 1 인식 모듈과 제 2 인식 모듈을 포함한다. 제 1 인식 모듈은 정합 정보와 특징 벡터로부터 유도된 제 1 정합 벡터간의 정합 동작을 수행하여 카테고리 각각에 대한 제 1 차분값을 발생한다. 제 2 인식 모듈은 제 1 변환된 정합 정보와 카테고리 각각에 대응하는 제 1 변환된 특징 벡터로부터 유도된 제 2 정합 벡터간의 정합 동작을 수행하여 카테고리 각각에 대한 제 2 차분값을 발생한다. 신뢰도 판정 모듈은 카테고리 각각에 대한 제 1 차분값을 수신하고 카테고리 각각에 대한 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 경우를 나타낸다. 카테고리화기는 카테고리 각각에 대한 제 1 차분값에만 응답하거나 카테고리 각각에 대한 제 1 및 제 2 차분값에 응답하여 패턴이 속하는 카테고리를 확정한다. 카테고리화기는 제 1 차분값에만 응답하여 신뢰도 판정 모듈이 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있다는 것을 나타내는 경우에 확정한다.

본 발명은 또한 입력 패턴이 수신되어 패턴의 특징이 특징 벡터로서 표현되는 패턴을 인식하는 방법을 제공한다. 입력 패턴은 카테고리 세트를 구성하는 다수의 카테고리 중 하나에 속하는 패턴을 포함한다. 적어도 특징 벡터의 부분이 변환 벡터 행렬을 사용하여 변환되어 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터를 발생한다. 정합 동작은 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터로부터 유도된 정합 벡터와 카테고리 각각에 대한 정합 정보 및 변환된 정합 정보간에 수행된다. 정합 동작은 카테고리 각각에 대한 적어도 하나의 차분값을 발생한다. 변환된 정합 정보는 변환 벡터 행렬을 사용하여 변환된 정합 정보이다. 마지막으로, 패턴이 속하는 카테고리는 적어도 하나의 차분값에 응답하여 확정된다.

변환 벡터 행렬은 (1) 카테고리 세트에 속하는 카테고리나, (2) 카테고리 세트에 속하는 다수의 카테고리로 구성된 카테고리 서브세트(subset)에 대한 변환 벡터 행렬을 포함한다. 변환 벡터 행렬은 개별적인 카테고리가 정의된 훈련 패턴을 수신하여 이 훈련 패턴의 특징을 특징 벡터로서 표현함으로써 발생될 수 있다. 훈련 패턴 각각이 속하는 카테고리는 특징 벡터로부터 유도된 제 1 정합 벡터와 정합 정보간에 정합 동작을 수행하여 확정된다. 훈련 패턴이 속하는 것으로서 확정된 카테고리는 개별적으로 정의된 카테고리와 비교되어 (1) 카테고리나, (2) 카테고리 서브세트 각각에 대한 경쟁 패턴 세트를 정의한다. 평균 벡터는 (1) 카테고리나 (2) 카테고리 서브세트 각각에 속하는 것으로서 정의된 모든 훈련 패턴의 특징 벡터로부터 결정된다. 차분 벡터는 평균 벡터를 사용하여 경쟁 패턴 세트에 속하는 각각의 훈련 패턴에 대해 계산된다. 차분 벡터의 자기상관 행렬이 계산된다. 마지막으로, 자기상관 행렬의 고유벡터(eigenvector)는 (1) 카테고리나, (2) 카테고리 서브세트 각각에 대한 변환 벡터 행렬을 구성하는 변환 벡터로서 적용된다.

카테고리 세트에 속하는 어떤 카테고리에 대한 변환된 인식 정보는 카테고리 각각이 정의되는 훈련 패턴을 수신하여 이 훈련 패턴의 특징을 특징 벡터로서 표현하여 발생될 수 있다. 훈련 패턴 각각이 속하는 카테고리는 특징 벡터로부터 유도된 제 1 정합 벡터와 정합 정보간에 정합 동작을 수행하여 확정된다. 훈련 패턴이 속하는 것으로서 확정된 카테고리가 개별적으로 정의된 카테고리와 비교되어 그 카테고리에 대한 경쟁 패턴 세트를 정의한다. 특징 벡터는 (1) 카테고리나, (2) 카테고리가 속하는 카테고리 서브세트에 대한 변환 벡터를 사용하여 변환되어 개별적으로 변환된 특징 벡터를 발생한다. 카테고리 서브세트는 이에 속하는 다수의 카테고리로 구성된다. 식별 분석은 변환된 특징 벡터를 사용하여 수행되어 식별 함수를 발생한다. 변경된 차분값은 식별 함수를 사용하여 훈련 패턴과 각각의 카테고리간에 계산된다. 훈련 패턴 각각이 속하는 카테고리는 카테고리 각각에 대해 변경된 차분값에 응답하여 재확정된다. 변경된 차분값에 응답하여 훈련 패턴이 속하는 것으로서 확정된 카테고리는 개별적으로 정의된 카테고리와 재비교되어 부가적인 패턴이 카테고리에 속하는 것으로서 오류인식되는지를 판단한다. 변환된 인식 정보는 부가적인 패턴이 오류인식되지 않는 경우에 식별 함수를 사용하여 발생된다. 이와 달리, 부가적인 패턴은 카테고리의 경쟁 패턴에 포함되며, 식별 분석 수행, 변경된 차분값 계산, 카테고리 재확정, 재비교 동작은 부가적인 패턴이 오류인식되지 않을 때까지 반복된다.

본 발명은 패턴(pattern) 인식 장치 및 패턴 인식 방법에 관한 것으로, 상세하게는 상이한 인식 모듈(module)을 조합하여 인식 정확도를 향상시키는 패턴 인식 방법에 관한 것이다.

도 1은 본 발명에 따른 제 1 실시예의 패턴 인식 장치의 블럭도이다.

도 2는 패턴 인식 장치에 의해 사용된 변환 벡터 행렬이 발생되는 방법을 나타내는 흐름도이다.

도 3은 변환된 특징 벡터에 대한 패턴 인식을 수행하는 데 사용된 인식 사전이 발생되는 방법을 나타내는 흐름도이다.

도 4는 본 발명에 따른 제 2 실시예의 패턴 인식 장치의 블럭도이다.

도 5는 본 발명에 따른 제 3 실시예의 패턴 인식 장치의 블럭도이다.

도 6은 본 발명에 따른 제 4 실시예의 패턴 인식 장치의 블럭도이다.

도 7은 본 발명에 따른 일실시예의 패턴 인식 장치를 내장하는 패턴 인식 디바이스의 블럭도이다.

다음의 설명에서, 차분값이란 용어는 거리 함수의 거리값, 유사성 함수값, 2차 식별 함수값, 식별 함수값, 다른 식별 함수값, 혹은 이러한 함수의 조합값인 파라미터와, 어떤 다른 파라미터, 혹은 두 벡터간의 유사성 또는 비유사성을 정량화하는 파라미터를 포함하는 것으로 이해되어야 한다. LDA에서 거리의 제곱값은 차분값의 또다른 예이다.

본 발명에 따른 패턴 인식 장치 및 방법에서는 두 개의 상이한 인식 모듈이 입력 문자 패턴을 특정화하는 정합 벡터와 인식 사전 내에 저장된 카테고리 세트에서 각 카테고리의 기준 벡터간의 차분값을 결정한다. 특징 벡터가 입력 패턴으로부터 필수적으로 변경되지 않고 추출되지는 않지만, 특징 변환을 겪고 부가적으로나 대안적으로 감축된 차원수를 가질 수 있기 때문에, 입력 패턴을 특정화하는 벡터는 본 명세서에서 정합 벡터로 지칭된다.

본 발명에 따른 패턴 인식 장치의 실제적인 실시예는 훈련 패턴을 사용하여 학습 처리를 수행하는 데 사용되지 않는다. 대신에, 이러한 실제적인 실시예의 모델(model)이 시뮬레이션(simulation)되며 학습 처리는 이 모델을 사용하여 수행된다. 학습 처리의 종단에서, 학습 처리에 의해 발생된 결과는 실제 패턴 인식에 사용하기 위해 실제적인 장치의 실시예로 전송된다. 본 발명의 후속하는 설명에서는 혼동되지 않는 한 실제적인 패턴 인식 장치의 실시예와 이 장치의 모델을 구분하지 않는다.

본 발명에 따른 패턴 인식 장치는 제 1 및 제 2 인식 사전을 각각 구비한 제 1 및 제 2 인식 모듈을 포함한다. 패턴 인식 장치는 문자 인식 동작이나 인식 사전이 최적화된 학습 동작을 수행할 수 있다. 학습 동작을 수행하는 데 있어서, 패턴 인식 장치는 먼저 주어진 카테고리에 속하는 훈련 패턴으로부터 특징 벡터를 추출하고, 제 1 인식 사전을 이 특징 벡터에 연관된 제 1 정합 벡터에 정합시켜 제 1 차분값을 얻는다. 다음에, 제 2 인식 모듈은 제 2 인식 사전을 그 특징 벡터에 연관된 제 2 정합 벡터에 정합시켜 제 2 차분값을 발생한다. 제 2 정합 벡터는 변환 벡터 행렬을 사용하여 적어도 특징 벡터의 부분을 변환시켜 얻어진 변환된 특징 벡터를 포함한다. 마지막으로, 훈련 패턴의 카테고리는 제 1 및 제 2 차분값으로부터 결정된다.

패턴 인식 장치는 상기 처리를 사용하여 패턴 인식 동작을 수행한다. 즉, 미상의 입력 패턴이 훈련 패턴 대신 처리된다.

학습 동작에 있어서, 패턴 인식 장치는 또한 (1) 적어도 하나의 카테고리의 제 1 차분값으로부터 결정된 경쟁 패턴과 (2) 카테고리에 속하는 훈련 패턴으로부터 고유벡터를 결정한다. 또한, 패턴 인식 장치는 카테고리 세트 내의 모든 카테고리에 속하는 훈련 패턴으로 구성되며, 훈련 패턴 세트 내의 모든 훈련 패턴의 카테고리가 결정되어질 때까지 전술한 처리를 수행한다. 다음에, 패턴 인식 장치는 훈련 패턴 세트에 대해 수행된 패턴 인식의 인식 정확도를 판단한다. 인식 정확도는 훈련 패턴이 실제로 속하는 카테고리와 제 1 및 제 2 차분값으로부터 결정된 카테고리를 비교함으로써 판단된다. 마지막으로, 제 2 인식 사전은 인식 정확도를 증가시키도록 설계된 방식으로 변경되고, 훈련 패턴 세트 내에 있는 모든 훈련 패턴의 카테고리가 재결정되며, 인식 정확도가 재결정된다.

본 발명의 일실시예에 있어서, 제 1 정합 벡터는 각각의 훈련 패턴으로부터 추출된 특징 벡터의 모든 특징 성분을 포함하고, 제 2 특징 벡터는 훈련 패턴으로부터 추출된 특징 벡터의 모든 특징 성분을 포함하는 벡터를 변환시켜 얻어진 변환된 특징 벡터를 포함한다.

본 발명의 다른 실시예에 있어서, 제 1 정합 벡터는 훈련 패턴으로부터 추출된 특징 벡터의 특징 성분의 제 1 그룹(group)으로 구성된다. 제 2 정합 벡터는 제 1 그룹과 상이하며 훈련 패턴으로부터 추출된 특징 벡터의 특징 성분의 제 2 그룹으로 구성되는 벡터를 변환시켜 얻어진 변환된 특징 벡터를 포함할 수 있다.

패턴 인식 장치를 제공하는 데 요구되는 계산 자원을 보존하는 것이 필요한 경우, 제 1 정합 벡터는 감소된 차원수를 가질 수 있어 훈련 패턴으로부터 추출된 특징 벡터의 특징 성분의 제 1 그룹으로 구성될 수 있다.

본 발명에 따른 패턴 인식 장치 및 방법은 통상적으로 컴퓨터나 디지털 신호 프로세서로 구현되기 때문에, 본 발명은 또한 전술한 처리를 수행하도록 컴퓨터에게 명령하는 프로그램을 저장하는 디스크 또는 플래시(flash) 메모리와 같은 메모리 디바이스로 구현될 수 있다.

본 발명에 따른 패턴 인식 장치를 구현하며 본 발명에 따른 패턴 인식 방법을 실행할 수 있는 패턴 인식 시스템의 일예는 통신 터미널(terminal)을 구비하는 학습 센터(center)로 구성된다. 이 터미널은 인식 사전 및 변환 벡터 행렬을 저장하고, 입력 문자 패턴의 카테고리를 결정하는 함수를 실행한다. 이 터미널은 인식 사전 및 변환 벡터 행렬에 대한 결정을 행한다. 이 터미널에서 발생된 경쟁 패턴의 통지에 응답하도록 패턴 인식 장치가 설계되므로, 학습 센터가 인식 사전을 갱신하고 터미널이 변환 벡터 행렬을 갱신한다.

인식 시스템은 훈련 패턴의 변화와 오류 인식율의 증가에 응답하여 용이하게 재학습할 수 있는 기능을 구비하는 컴퓨터 또는 디지털 신호 프로세서로 구현되므로 인식 정확도의 변화에 근거하여 자동적으로 학습할 수 있다.

본 발명에 따른 패턴 인식 장치의 변형이 연속적으로 배열된 다수의 인식 유닛을 가질 수 있다. 각각의 인식 유닛은 인식 사전 및 인식 모듈로 구성된다. 적어도 하나의 인식 유닛이 입력 패턴을 수용한다. 적어도 하나의 인식 유닛은 다른 인식 유닛의 출력을 수신하여 또다른 인식 유닛으로 전송하는 출력을 발생한다. 적어도 하나의 인식 유닛은 입력 패턴의 특징 벡터에 연관된 정합 벡터를 수신하고 특징 벡터에 의해 표현된 특징을 변환 벡터 행렬을 사용하여 변환한다. 적어도 하나의 인식 유닛은 자신의 출력을 인식 모듈로 전송한다. 인식 모듈은 각 입력 패턴의 카테고리를 결정한다. 이를 위해 입력측에 접속된 인식 유닛에 의해 결정된 경쟁 패턴에 근거하여 각각의 변환 벡터 행렬이 결정된다. 이 구조에서, 각각의 인식 유닛은 이의 앞에 있는 인식 유닛에서 인식하지 못했던 패턴을 확실하게 인식한다. 이렇게 함으로써, 다수의 인식 유닛을 구비하는 패턴 인식 장치의 인식 정확도가 더 향상될 수 있다.

도 1은 본 발명에 따른 패턴 인식 장치의 제 1 실시예(100)의 블럭도이다. 이 패턴 인식 장치는 패턴 인식 모듈(104)과 전처리 모듈(106)로 구성된 패턴 입력 섹션(102)과, 특징 추출 모듈(108)과, 제 1 인식 모듈(110)과, 신뢰도 판정 모듈(112)과, 특징 변환 모듈(114)과, 제 2 인식 모듈(116)과, 카테고리화기(118)를 포함한다. 이들 각각의 모듈에 의해 수행되는 처리를 다음에 상세히 설명할 것이다.

각각의 입력 패턴 p는 패턴 입력 섹션(102)의 부분을 형성하는 패턴 입력 모듈(104)에 의해 수신된다. 패턴 입력 모듈은 이 패턴을 전처리 모듈(106)로 전송하며, 이 전처리 모듈(106)은 패턴의 크기, 위치, 회전 등을 표준화시킨다. 전처리 모듈은 표준화된 패턴을 특징 추출 모듈(108)로 전송하며, 이 특징 추출 모듈(108)은 패턴을 인식하는 데 사용될 특징을 패턴으로부터 추출한다. 특징 추출 모듈은 패턴 p로부터 추출된 특징을 특징 벡터 X(p)로 표현한다.

제 1 인식 모듈(110)은 특징 벡터 X(p)를 패턴 p에 대한 정합 벡터로서 채택한다. 제 1 인식 모듈은 패턴 p의 정합 벡터와 기준 벡터 R{K}와 카테고리 세트 {K}를 구성하는 각 카테고리 K의 가중치 벡터 W(K) 간의 제 1 정합 동작을 수행한다. 기준 벡터와 가중치 벡터는 제 1 인식 사전(120) 내에 저장된다. 제 1 인식 모듈에 의해 수행된 정합 동작은 입력 패턴의 정합 벡터와 각 카테고리에 대한 기준 벡터간의 제 1 차분값을 발생한다. 각각의 제 1 차분값은 입력 패턴과 개별적인 카테고리간의 차분을 정량화한다.

제 1 인식 모듈(110)은 카테고리 세트 {K} 내에 있는 각 카테고리에 대한 제 1 차분값을 신뢰도 판정 모듈(112)과 카테고리화기(118)로 전송한다. 카테고리 세트 내에 있는 카테고리에 대한 제 1 차분값에 근거하여, 신뢰도 판정 모듈은 제 1 차분값에 근거한 패턴 인식을 신뢰할 수 있는지의 여부를 나타내는 상태를 갖는 출력 신호를 발생한다. 신뢰도 판정 모듈은 예컨대 제 1 차분값의 최소치와 제 1 차분값의 다음 최소치간의 증분을 결정할 수 있다. 신뢰도 판정 모듈은 신뢰도값과 사전설정된 문턱값을 비교하여 자신의 출력 신호 상태를 판단한다.

신뢰도값이 사전설정된 문턱값 이상이거나 미만이면, 신뢰도 판정 모듈(112)은 제 1 인식 모듈(110)에 의해 발생되며 신뢰할 수 있는 제 1 차분값에 근거하여 패턴 인식을 판단한다. 이 경우에, 신뢰도 판정 모듈은 높은 신뢰도(하이(HIGH)) 상태의 출력 신호를 발생한다. 신뢰도 판정 모듈은 출력 신호를 카테고리화기(118), 특성 변환 모듈(103), 제 2 인식 모듈(116)로 전송한다. 하이 상태의 신뢰도 모듈 출력 신호에 응답하여, 카테고리화기는 제 1 차분값이 최소인 카테고리 세트 {K} 내에 있는 카테고리를 확정하여 입력 패턴의 카테고리로서 그 카테고리를 나타내는 코드를 출력한다. 더욱이, 하이 상태의 출력 신호는 특징 변환 모듈(103)과 제 2 인식 모듈(116)의 동작을 규제한다.

신뢰도 결과가 사전설정된 문턱값 미만이면, 신뢰도 판정 모듈(112)은 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 없다고 판정한다. 이 경우에, 신뢰도 판정 모듈은 낮은 신뢰도(로우(LOW)) 상태의 출력 신호를 발생한다. 로우 상태의 신뢰도 모듈 출력 신호에 응답하여, 특징 변환 모듈(114)과 제 2 인식 모듈(116)은 부가적인 처리를 수행하여 제 2 차분값을 발생하고, 카테고리화기는 제 1 및 제 2 차분값에 응답하여 입력 패턴의 카테고리를 결정한다. 이것은 카테고리화기에 의해 발생된 인식 결과의 신뢰도를 증가시킨다.

특징 변환 모듈(114)은 특징 추출 모듈(108)로부터 입력 패턴의 특징 벡터를 수신하여 이를 일시적으로 저장한다. 신뢰도 판정 모듈(112)이 로우 상태의 출력 신호를 발생하는 경우, 특징 변환 모듈은 입력 패턴 p의 특징 벡터 X(p)를 변환한다. 이 변환은 카테고리 세트 {K} 내에 있는 각 카테고리 K에 대한 변환 벡터 행렬 Φ(K)를 사용하여 수행된다. 도 2를 참조하여 변환 벡터 행렬 Φ(K)의 생성을 아래에 설명할 것이다. 카테고리 세트 X(p) 내에 있는 각 카테고리 K의 변환 벡터 행렬 Φ(K)를 사용하여 특징 벡터 X(p)를 변환하면 카테고리 세트 내에 있는 각 카테고리에 대한 변환된 특징 벡터 Y(p;K)가 발생된다.

변환된 특징 벡터 Y(p;K)의 m 번째 특징 성분 y(p;K;m)는,

과 같이 주어지는데, 여기서 Φ(K;m)은 카테고리 K의 변환 벡터 행렬 Φ(K)의 m 번째 변환 벡터이다. 변환 모듈은 각 카테고리에 대해 변환된 특징 벡터 Y(p;K)를 제 2 인식 모듈(116)로 전송한다.

제 2 인식 모듈(116)은 카테고리 K에 대한 패턴 p의 정합 벡터로서 입력 패턴 p의 변환된 특징 벡터 Y(p;K)와 변환 모듈(114)로부터 수신된 카테고리 K를 선택한다. 제 2 인식 모듈은 이 인식 처리에서 정합 벡터인 각각의 변환된 특징 벡터와, 변환 벡터 행렬 Φ(K)에 대응하는 변환된 인식 사전 L({K})(122)의 페이지(page) L({K};Φ(K)) 간의 제 2 정합 동작을 수행한다. 변환된 인식 사전은 예컨대 LDA를 사용하여 발생된다. 페이지 L({K};Φ(K))은 변환된 기준 벡터 R(Φ(K))과 변환된 가중치 벡터 T(Φ(K))를 저장하고, 필요한 경우에는 카테고리에 대한 변환 벡터 행렬 Φ(X)에 의한 변환에 대응하는 카테고리 세트 {K} 내에 있는 각 카테고리 K의 상수항 d(Φ(K))를 저장한다. 카테고리 K에 대한 입력 패턴 p가 카테고리 K에 대한 패턴 p의 변환된 특징 벡터 Y(p;K)와 변환된 기준 벡터 R(Φ(K)) 간에 수행되는 데 있어서, 변환된 가중치 벡터 T(Φ(K))와 필요하다면 카테고리 K의 상수항 d(Φ(K))가 기준 사전의 페이지 L({K};Φ(K))에 저장된다.

각 카테고리 K의 변환 벡터 행렬 Φ(K)에 대응하는 변환된 인식 사전 L({K})(122)의 페이지 L({K};Φ(K))에 저장되는 각 카테고리에 대한 변환된 기준 벡터 및 변환된 가중치 벡터를 사용하여, 제 2 인식 모듈(116)은 카테고리 K에 대한 입력 패턴 p의 변환된 특징 벡터 Y(p;K)와 카테고리 세트 {K} 내에 있는 각 카테고리의 변환된 기준 벡터 R(Φ(K)) 간의 제 2 차분값을 정합 벡터로서 발생한다. 제 2 인식 모듈은 카테고리 세트 내에 있는 각 카테고리에 대한 제 2 차분값을 카테고리화기(118)로 전송한다. 변환된 인식 사전 L({K};Φ(K)) 페이지의 구조를 아래에 설명할 것이다.

신뢰도 판정 모듈(112)의 출력 신호가 제 1 인식 모듈(11)에 의해 발생된 제 1 차분값에만 의존하여 패턴 인식을 신뢰할 수 없다고 표시하는 로우 상태인 경우, 카테고리화기(118)는 입력 패턴의 카테고리를 결정하기 전에 각 카테고리에 대한 제 1 차분값을 변경한다. 카테고리 각각에서, 카테고리화기는 제 2 인식 모듈(116)에 의해 결정된 각 카테고리에 대한 제 2 차분값에 일정한 승수를 승산하고 그 결과를 제 1 인식 모듈로부터 수신된 카테고리에 대한 제 1 차분값에 더하여 변경된 차분값을 발생한다. 카테고리화기는 변경된 차분값이 최소인 카테고리 세트 {K} 내에 있는 카테고리를 확정하고 입력 패턴의 카테고리로서 그 카테고리를 나타내는 코드를 제공한다.

카테고리화기(18)에서 제 2 차분값을 승산하는 데 사용된 승수는 모든 카테고리에 대한 인식 정확도를 증가시키도록 실험적으로 선택된다. 문자 패턴 데이터베이스와 같은 공용 패턴 데이터베이스는 본 발명에 따른 패턴 인식 장치를 훈련시키고 검사하는 데 사용된다. 데이터베이스 내의 소정의 문자 패턴은 훈련 패턴으로서 사용되고 그 나머지는 검사 패턴으로서 사용된다. 예를 들어, 데이터베이스 내에 있는 문자 패턴의 4/5가 검사 패턴으로서 사용되고 그 나머지는 검사 패턴으로서 사용될 수 있다. 전체 인식 정확도를 최대로 하는 승수가 선택된다. 또한, 독립적으로 컴파일링(compiling)된 문자 데이터베이스가 공용 문자 데이터베이스에 부가되어 사용되며 평균보다 높은 인식 정확도가 요구되는 문자 세트의 특정한 영역에서 문자 인식의 정확도를 높일 수 있다. 더욱이, 기록된 문자 패턴의 전체 세트가 훈련 패턴으로서 사용될 수 있다. 그러나, 기록된 문자 패턴의 부분이 훈련 패턴으로서 사용되고 그 나머지가 검사 패턴으로서 사용되면, 패턴 인식 장치 인식 성능의 안정성 및 견고성은 보다 신뢰할 수 있는 것으로 평가될 수 있다. 훈련 패턴으로서 사용되는 기록된 문자 패턴과 검사 패턴으로서 사용되는 기록된 문자 패턴을 상호 교환하는 것이 또한 효과적이다.

특징 변환 모듈(114)과 제 2 인식 모듈(116)을 신뢰도 판정 모듈(112)의 출력 신호에 응답하여 동작하는 것으로 나타내었으나, 이것이 절대적인 것은 아니다. 특징 변환 모듈과 제 2 인식 모듈은 각 입력 패턴에 대한 제 2 차분값을 발생할 수 있다. 이 경우에, 신뢰도 판정 모듈의 하이 상태 출력 신호는 카테고리화기(118)가 제 2 차분값을 무시하고, 제 1 차분값에만 응답하여 입력 패턴의 카테고리를 결정하도록 한다.

도 2는 문자 세트 {K} 내에 있는 각 카테고리 K에 대한 변환 벡터 행렬 Φ(K)를 발생하도록 수행되는 처리를 나타내는 플로우챠트이다. 이 처리는 본 명세서에 개시한 패턴 인식 장치의 실시예에서 수행될 수 있거나 본 명세서에 개시한 실시예와 독립적으로 수행될 수도 있다. 후자의 경우에, 처리 결과는 패턴 인식 장치로 로딩(loading)된다. 먼저, 단계(10)에서는 훈련 패턴의 세트가 입력된다. 각각의 훈련 패턴에 대한 카테고리를 정의한다. 단계(12)에서는 이 훈련 패턴에 대한 예비 패턴 인식 동작을 수행한다. 이 동작은 도 1에 도시한 패턴 인식 장치의 실시예인 입력 모듈(102), 특징 추출 모듈(108), 제 1 인식 모듈(110), 신뢰도 판정 모듈(112), 카테고리화기(118)를 사용하여 수행할 수 있다. 각각의 훈련 패턴 q에 대하여, 예비 패턴 인식 동작은 훈련 패턴과 카테고리 세트 {K} 내에 있는 각 카테고리 K에 대한 기준 특징 벡터간의 차분값, 이 훈련 패턴의 카테고리 판정, 카테고리 판정의 신뢰도 판정을 발생할 수 있다.

단계(14)에서는 단계(12)에서 수행한 예비 패턴 인식 동작에 의해 발생된 인식 결과를 평가하여 카테고리 각각에 대한 경쟁 패턴 세트를 발생한다. 두 유형의 패턴을 각 카테고리의 경쟁 패턴 세트에 할당한다. 이제, 카테고리 K에 대한 인식 결과의 평가를 설명할 것이다.

카테고리 K의 경쟁 패턴에 할당한 제 1 유형의 패턴이 정의된 카테고리가 카테고리 K가 아닌 패턴이지만, 단계(12)에서 수행한 예비 패턴 인식 동작은 카테고리 K에 속하는 것으로서 오류인식했다. 이러한 유형의 경쟁 패턴을 카테고리 K의 경쟁 패턴 세트 내에 있는 오류 패턴 p_e(K)로 지칭할 것이다.

카테고리 K의 경쟁 패턴 세트에 할당한 제 2 유형의 패턴이 정의된 카테고리가 카테고리 K가 아닌 패턴이지만, 단계(12)에서 수행한 예비 패턴 인식 동작은 카테고리 K에 속하는 것으로 거의 오류인식했다. 카테고리 K가 두 번째의 최소 차분값을 갖는 카테고리이고 최소 차분값과 이 두 번째의 최소 차분값간의 증분이 작으면, 어떤 패턴은 카테고리 K에 속하는 것으로서 거의 오류인식된다. 이러한 유형의 경쟁 패턴을 카테고리 K의 경쟁 패턴 세트 내에 있는 니어 미스 패턴 p_n(K)로 지칭할 것이다. 니어 미스 패턴은 신뢰도 판정 모듈(112)에 의해 확정된다.

오류 패턴 p_e(K)는 예비 패턴 인식 동작이 카테고리 K로 할당하는 각각의 훈련 패턴과 이 훈련 패턴의 정의된 카테고리를 비교함으로써 확정된다. 카테고리 K로 할당되며 정의된 카테고리가 카테고리 K가 아닌 훈련 패턴은 오류 패턴으로서 확정된다.

니어 미스 패턴 p_n(K)는 다음의 방식으로 확정된다. 정의된 카테고리가 카테고리 K가 아닌 훈련 패턴에 대한 증분은 훈련 패턴과 카테고리 K 간의 차분값 및 훈련 패턴과 예비 패턴 인식 동작이 훈련 패턴을 할당한 카테고리간의 차분값 사이에서 결정된다. 다음에, 증분이 문턱값보다 작은 훈련 패턴 중에서 일정한 개수의 훈련 패턴을 선택한다. 이러한 선택을 수행하는 데 있어서, 최소값부터 시작하여 이들의 증분 순서로 훈련 패턴을 선택한다.

바람직하게는 오류 패턴과 니어 미스 패턴이 모두 카테고리 K의 경쟁 패턴 세트 Λ(K)를 구성한다. 이와 달리, 니어 미스 패턴을 생략하고 오류 패턴으로만 경쟁 패턴 세트를 구성할 수 있다. 그러나, 경쟁 패턴 세트에 니어 미스 패턴을 포함하는 검사가 더 나은 결과를 산출한다. 특히, 오류 패턴이 거의 없는 경우에 니어 미스 패턴을 포함하면 상당한 개선의 효과를 가져온다.

단계(16)에서는 카테고리 K에 속하는 것으로 정의한 모든 훈련 패턴의 특징 벡터를 평균하여 카테고리 K의 평균 벡터 R_m(K)를 발생한다.

단계(18)에서는 경쟁 패턴 세트 내에 있는 각 경쟁 패턴의 특징 벡터를 카테고리 K의 평균 벡터 R_m(K)로부터 공제하여 이 경쟁 패턴에 대한 차분 벡터를 발생한다.

단계(20)에서는 단계(18)에서 발생한 차분 벡터의 자기상관 행렬을 정의한다. 이것은 다음과 같이 행해진다.

카테고리 K의 경쟁 패턴 세트 내에 있는 n 번째 패턴 p_r,n의 특징 벡터는 X(K;r;n)이다. 경쟁 패턴에 대해 단계(18)에서 결정한 차분 벡터는인데, 여기서이다. 차분 벡터의 자기상관 행렬 Q(K;r)는,

로 주어지는데, 여기서 N(K;r)은 경쟁 패턴 세트 내에 있는 경쟁 패턴의 총 개수이고, 1부터 N까지의 합산은 경쟁 패턴 세트에 대한 합산이며, t는 차분 벡터의 치환을 나타낸다.

단계(22)에서는 자기상관 행렬 Q(K;r)의 고유벡터 Φ(k;m)를 결정하고 선택하여 카테고리 K에 대한 변환 벡터 행렬 Φ(K)를 형성한다. 카테고리 K에 대한 변환 벡터 행렬을 구성하는 변환 벡터의 최대 개수는 특징 벡터의 차원 M의 개수와 동일하다. 변환 벡터 행렬의 m 번째 변환 벡터는 m 번째로 큰 고유값을 갖는 자기상관 행렬의 고유벡터이다.

단계(18)에서 계산한 차분 벡터는 경쟁 패턴 세트 내에 있는 각각의 경쟁 패턴과 카테고리 K의 평균 벡터간의 차분을 나타낸다. 자기상관 행렬 Q(K;r)의 고유벡터는 카테고리 K와 경쟁 패턴간의 차분의 직교 전개로서 간주된다. 따라서, 자기상관 행렬 Q(K;r)의 고유벡터는 카테고리 K와 경쟁 패턴간의 차분의 주성분을 정확하게 나타낸다. 자기상관 행렬 Q(K;r)의 고유벡터에 대한 입력 특징 벡터의 투사가 경쟁 패턴 세트로부터 카테고리 K의 카테고리내 패턴 세트를 분리하는 데 매우 효과적이라는 것이 알려졌다.

단계(24)에서는 검사를 수행하여 카테고리 세트 {K} 내에 있는 각 카테고리 K에 대한 변환 벡터 행렬이 발생되었는지를 판단한다. 판단 결과가 예이면, 실행을 종료한다. 판단 결과가 아니오이면, 실행을 단계(14)로 리턴(return)시킴으로써 카테고리 세트 내에 있는 다른 카테고리에 대한 변환 벡터 행렬을 발생할 수 있다.

카테고리 K의 변환 벡터 행렬을 결정하는 또다른 방식에서는 카테고리에 대한 평균 벡터에 부가하여 카테고리 K의 카테고리내 패턴 세트의 공분산(covariance) 행렬 S(K)를 결정한다. 카테고리내 패턴 세트는 정의된 카테고리가 카테고리 K인 훈련 패턴으로 구성된다. 단계(20)에서는 카테고리 K의 경쟁 패턴 세트의 자기상관 행렬 Q(K;r)를 계산한 다음에, 이를 카테고리내 패턴 세트 공분산 행렬의 역과 승산하여 행렬 S(K)^-1Q(K;r)를 발생한다. 마지막으로 단계(22)에서는 행렬 S(K)^-1Q(K;r)의 고유벡터를 결정하고 선택하여 카테고리 K에 대한 변환 벡터 행렬 Φ(K)를 형성한다.

자기상관 행렬 Q(K;r)의 고유벡터는 모든 경쟁 패턴에 대해서 취해지고 축 상의 각 경쟁 패턴의 차분 벡터의 투사의 제곱 평균이 최소가 되는 것을 따르는 축을 정의한다. 이와 반대로, 행렬 S(K)^-1Q(K;r)의 고유벡터는 모든 경쟁 패턴에 대해서 취해지고 축 상의 각 경쟁 패턴의 차분 벡터의 투사의 제곱 평균이 증가하며, 카테고리의 카테고리내 패턴 세트가 투사되는 경우 흩어짐(scattering)이 비교적 작은 것을 따르는 축을 정의한다. 이것은 또한 경쟁 패턴 세트로부터 카테고리 K의 카테고리내 패턴 세트를 분리하는 데 매우 효과적이다.

단계(22)에서는 수행한 채택 처리에서 최대 고유값을 갖는 고유벡터를 변환 벡터 행렬의 한 변환 벡터로서 채택한다. 또한, 점진적으로 작은 고유값을 갖는 다수의 고유벡터를 부가적으로 선택한다. 선택된 고유벡터의 개수는 변환 벡터 행렬의 복잡성과 변환 벡터 행렬을 사용하여 수행된 처리의 복잡성을 결정한다. 따라서, 고유값이 중요한 고유벡터만을 선택하는 것이 바람직하다. 최대 고유값으로부터 소망한 고유값까지의 합산이 고유값 모두의 합의 사전설정된 소수부, 예컨대 0.9 이상인 경우, 선택된 고유값의 개수는 최대 고유값을 갖는 고유벡터와 소망한 고유값의 고유벡터간의 고유벡터 개수이다. 이와 달리, 선택된 고유벡터의 개수는 실험적으로 결정될 수 있다.

전술한 설명에서는 각 카테고리에 대해 결정된 고유벡터가 입력 패턴의 특징 벡터를 변환하는 데 사용된 개별적인 변환 벡터 행렬을 구성하는 변환 벡터로서 채택된다. 이와 달리, 특징 벡터 변환은 카테고리 서브세트 {K}'를 구성하는 원하는 개수의 카테고리의 경쟁 패턴 세트의 상위 세트로부터 발생된 변환 벡터 행렬을 사용할 수 있다. 이러한 변환 벡터 행렬에 의해 영향받는 변환은 다수의 카테고리를 고려한다.

카테고리 서브세트 {K}'는 원하는 개수의 카테고리로 구성된다. 카테고리 세트 {K} 내에 있는 모든 카테고리를 다수의 오류 패턴에 주어진 우선 순위로 오류 패턴의 개수와 이들의 경쟁 패턴의 크기 순서로 정렬하여 카테고리 서브세트 {K}' 내에 포함되도록 카테고리를 선택한다. 원하는 개수의 카테고리를 랭킹(ranking)의 종단에 있는 다수의 오류 패턴/경쟁 패턴 세트로부터 취하여 카테고리 서브세트 {K}'를 구성한다. 선택적으로, 카테고리 서브세트 {K}'는 카테고리 세트 {K}와 함께 동일한 공간에 퍼질 수 있다.

단계(20)와 유사한 단계에서는 수학식 8을 사용하여 카테고리 서브세트 {K}'의 차분 벡터의 자기상관 행렬 Q({K}';r)을 계산하며, 이 수학식 8은 카테고리 서브세트 {K} 내에 있는 카테고리 K의 차분 벡터의 자기상관 행렬 Q(K;r)를 제공하는 수학식 7에 근거한다.

즉, 1부터 {K}까지의 합산은 항이 카테고리 서브세트 {K}'를 구성하는 카테고리 세트 {K} 내에 있는 카테고리와 교차하여 더해지는 것을 나타낸다.

단계(22)와 유사한 단계에서는 카테고리 서브세트 {K}'의 차분 벡터의 자기상관 행렬 Q({K}';r)의 m 번째 고유벡터 Φ({K}';m)을 결정하고 카테고리 서브세트 {K}'에 대한 변환 벡터 행렬 Φ({K}')의 m 번째 변환 벡터로서 선택한다.

전술한 단계와 유사한 또다른 단계에서는 카테고리 서브세트 {K}'에 속하는 훈련 패턴의 평균 공분산 행렬 S({K})를 찾고, 변환 벡터 Φ({K}';m)을 S({K})^-1Q({K}';r)의 고유벡터로 대체한다. 이것은 전술한 바와 같이 고유벡터 Φ(K;m)을 S(K)^-1Q(K;r)의 고유벡터로 대체함으로써 제공되는 바와 동일한 효과를 제공한다.

도 3은 변환된 인식 사전 L({K};Φ(K))을 발행하는 처리의 흐름도를 도시하고 있다. Φ(K)가 Φ({K}')로 대체되는 동일한 처리를 변환된 인식 사전 L({K};Φ({K}'))를 생성하는 데 사용할 수 있다. 이 처리는 본 명세서에 개시한 패턴 인식 장치의 실시예에서 수행될 수 있거나 이와 독자적으로 수행될 수도 있다. 후자의 경우에는 처리에 의해 발생된 결과를 패턴 인식 장치로 로딩하는 데 적합한 저장 또는 전송 매체를 사용한다.

도 3에 도시한 변환된 인식 사전 발생 처리에서, 단계(10-14)에서는 도 2를 참조하여 전술한 단계(10-14)에서의 변환 벡터 행렬 발생 처리와 동일하므로 상세히 설명하지 않을 것이다. 예비 패턴 인식 단계(12)에서 각 카테고리에 속하는 것으로 오류인식되거나 거의 오류인식된 훈련 패턴을 단계(14)에서 그 각 카테고리의 경쟁 패턴 세트 Λ(K)로 확정한다.

단계(30)에서는 카테고리의 변환 벡터 행렬 Φ(K)를 사용하여 카테고리 각각에 속하는 것으로서 정의한 모든 훈련 패턴의 특징 벡터를 변환한다.

단계(32)에서는 카테고리내 패턴 세트와 각 카테고리의 경쟁 패턴 세트간의 식별 분석을 수행한다. 식별 분석에 사용한 변수는 카테고리의 변환 벡터 행렬 Φ(K)를 사용하여 변환된 특징 벡터이다. 식별 분석은 카테고리의 경쟁 패턴 세트와 카테고리내 패턴 세트를 선택적으로 분리시키는 식별 함수를 유도한다. 참조 문헌 3에서 본 발명의 발명자에 의해 개시된 절차를 사용하여 이 식별 분석을 수행할 수 있다.

단계(34)에서는 단계(32)에서 각 카테고리에 대해 결정한 식별 함수값을 상수와 승산하고 그 결과를 단계(12)에서 각 훈련 패턴에 대해 결정한 각 카테고리에 대한 차분값에 더하여 변경된 거리값을 발생한다.

단계(36)에서는 단계(34)에서 발생한 변경된 거리값을 사용하여 각 훈련 패턴의 카테고리를 결정한다.

단계(38)에서는 각 훈련 패턴에 대해 단계(36)에서 발생한 패턴 인식 결과를 평가하고 검사를 수행하여 단계(32, 34, 36)에서 수행한 처리가 새로운 오류인식 패턴인지를 결정한다. 새로운 오류인식 패턴은 이전에 카테고리의 경쟁 패턴 세트의 구성원이 아닌 오류 패턴이다. 검사 결과가 아니오이면, 실행은 단계(40)로 진행한다. 검사 결과가 예이면, 새로운 오류인식 패턴을 발생한 다음에 실행이 단계(42)로 진행하여 각 카테고리의 새로운 오류인식 패턴을 카테고리의 경쟁 패턴 세트에 부가한다. 실행이 단계(32)로 리턴한 다음 단계(38)에서의 검사 결과가 아니오일 때까지 단계(32, 34, 36, 38, 42)로 구성되는 루프(loop)를 반복한다.

단계(40)에서는 단계(32)의 마지막 반복에서 발생한 식별 함수를 이용하여 변환된 인식 사전을 발생한다.

카테고리 K의 변환된 특징 벡터 Y(K;p)의 평균 벡터 R_m(Φ(K))의 m 번째 성분이 r_m(Φ(K);m)으로 지정되는 경우, 카테고리 K의 식별 함수 F(Y(K;p),Rm(Φ(K))는으로 주어진다.

a(m)가 m 번째 성분인 가중치 벡터, r_m(Φ(K);m)-b(m)/(2a(m))이 m 번째 성분인 기준 벡터,의 값을 갖는 상수항을 카테고리 K 인식 사전으로서 변환된 인식 사전 내에 저장한다. 이 절차에 따라 단계(12)에서 사용한 식별 함수와 결합하는 경우, 식별 함수를 결정하여 인식 정확도를 최대화할 수 있다.

본 발명의 발명자는 학습 처리의 반복에 있어서, 인식 정확도가 처음에는 증가하지만 학습 효과가 점차 감소하여 인식 정확도가 실제로 감소될 수 있음을 발견하였다. 이러한 사실은 (1) 인식 정확도가 특정값에 도달하거나 (2) 학습 처리의 부가적인 반복이 인식 정확도를 개선하지 않는 조건인 경우에 학습 처리를 자동적으로 종료하는 데 사용된다.

제 2 평가 기준을 채택하는 경우, 학습 처리의 반복 전에 인식 사전의 콘텐츠를 시작하고 각 카테고리에 대한 변환 벡터 행렬을 사용하기 위해 메모리 내에 저장한다. 본 발명에 따른 패턴 인식 장치는 학습 반복이 종료되었다는 것을 사용자에게 통지하고 달성된 인식율과 수행된 학습 처리의 반복 횟수를 표시하는 디스플레이(display)를 포함할 수 있다.

전술한 처리에서는 경쟁 패턴을 자동적으로 컴파일링할 수 있다. 훈련 패턴과 검사 패턴으로서 카테고리와 문자 패턴을 얻는다. 오류 패턴과 니어 미스 패턴을 추출한다. 이때, 전술한 바와 같이 오류 패턴을 자동적으로 결정한다. 니어 미스 패턴의 최대 개수가 지정되면, 니어 미스 패턴은 자동적으로 결정된다. 이와 달리, 오류 패턴의 개수가 사전설정된 개수 이하인 경우에는 사전설정된 개수의 니어 미스 패턴만이 선택된다.

전술한 바와 같이 본 발명에 따라 컴퓨터에 구현한 인식 시스템은 필요한 경우에 검사 패턴을 포함하는 훈련 패턴을 제공한다. 따라서, 본 발명에 따른 인식 시스템은 간단한 구현을 가지며 애플리케이션에 대응하는 훈련 패턴을 제공함으로써 주어진 애플리케이션에 용이하게 적용될 수 있다.

도 4는 본 발명에 따른 패턴 인식 장치의 제 2 실시예(130)의 블럭도이다. 즉, 도 1을 참조하여 설명한 제 1 실시예의 구성 요소에 대응하는 구성 요소는 동일한 참조 번호로 표시되며 상세히 설명하지 않을 것이다. 이 실시예에서는 입력 섹션(102)이 전처리된 입력 패턴을 제 1 특징 추출 모듈인 특징 추출 모듈(108)에 제공하고 제 2 특징 추출 모듈(132)에 또한 제공한다. 제 1 특징 추출 모듈이 각 입력 패턴으로부터 제 1 특징 벡터를 추출한다. 제 1 특징 벡터가 제 1 인식 모듈(110)과 신뢰도 판정 모듈(112)에 의해 수행되는 동작으로 전송된다. 제 2 특징 추출 모듈이 제 1 특징 추출 모듈과 유사하지만 각각의 전처리된 입력 패턴으로부터 상이한 특징 성분을 추출하여 제 2 특징 벡터를 발생한다.

특징 변환 모듈(134)은 전술한 특징 변환 모듈(114)과 유사하게 동작하여 카테고리 {K} 내에 있는 각 카테고리에 대한 변환 벡터 행렬 Φ(K)를 사용하여 제 2 특징 추출 모듈(132)에 의해 발생된 각각의 제 2 특징 벡터를 변환한다. 제 2 인식 모듈(136)은 제 2 인식 모듈(116)과 유사하게 동작하여 변환된 인식 사전(138)을 사용하여 변환된 제 2 특징 벡터에 대해 인식 처리를 수행한다. 각각의 입력 패턴에 대해, 제 2 인식 모듈이 입력 패턴과 카테고리 세트 {K} 내에 있는 각 카테고리간의 차분값을 발생한다.

카테고리화기(118)는 신뢰도 판정 모듈 출력 신호가 하이 상태인 경우 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값만을 사용하고, 신뢰도 판정 모듈 출력 신호가 로우 상태인 경우 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값과 제 2 인식 모듈(116)에 의해 발생된 제 2 차분값을 모두 사용하여 각 입력 패턴의 카테고리를 결정한다.

제 2 특징 추출 모듈(132), 특징 변환 모듈(134), 제 2 인식 모듈(136)을 신뢰도 판정 모듈(112)의 출력 신호에 응답하여 동작하는 것으로 도시함으로써, 이들은 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값에 근거한 패턴 인식을 신뢰할 수 없다고 신뢰도 판정 모듈이 판단한 입력 패턴에 대해서만 제 2 차분값을 총체적으로 발생한다. 이와 달리, 이들 모듈은 모든 입력 패턴에 대해 제 2 차분값을 발생할 수도 있다. 이 경우에 신뢰도 판정 모듈의 출력 신호 상태가 하이 상태이면, 카테고리화기는 제 2 인식 모듈에 의해 발생된 제 2 차분값을 무시하고 제 1 인식 모듈에 의해 발생된 제 1 차분값에만 응답하여 입력 패턴의 카테고리를 결정한다.

특징 변환 모듈(134)은 특징 추출 모듈(108)에 의해 발생된 특징 벡터 대신에 제 2 특징 추출 모듈(132)에 의해 발생된 제 2 특징 벡터에 대해서 동작하고, 제 1 및 제 2 특징 추출 모듈은 전처리된 입력 패턴으로부터 상이한 특징 세트를 추출한다는 점에서 제 2 실시예는 제 1 실시예와 상이하다. 소량의 특징 세트에 대해서 동작할 수 있도록 함으로써 제 2 인식 모듈(136)을 간략화할 수 있다. 전술한 바와 같이, 카테고리가 공지된 검사 패턴을 사용하여 인식 정확도를 결정하는 검사에 근거하여 더 우수한 인식 정확도를 제공하는 것에 따라 제 2 실시예 또는 제 1 실시예를 선택할 수 있다.

통상적으로, 제 1 특징 벡터와 제 2 특징 벡터는 공통 특징 성분을 갖지 않는다. 그러나, 이들은 분명하게 인식 정확도를 개선하는 경우에 공통 특징 성분을 가질 수도 있다. 전술한 제 1 및 제 2 실시예에서는 제 1 인식 모듈(110)을 식별 분석에 의한 학습에 근거한 인식 함수를 사용하여 동작하는 것으로 설명하고 있다. 그러나, 이것은 절대적인 것은 아니며 다른 인식 함수를 대안적으로 사용할 수 있다.

도 1을 참조하여 전술한 패턴 인식 장치의 실시예에서, 특징 변환 모듈(114) 내에서 특징 벡터를 변환하는 변환 벡터 행렬 Φ(K)를 도 2를 참조하여 전술한 변환 벡터 행렬 Φ({K'})로 대체할 수 있다. 이렇게 하면, 제 2 인식 모듈(116)에 사용한 변환된 인식 사전 L({K};Φ(K))(122)를 변환된 인식 사전 L({K};Φ({K}'))로 또한 대체할 수 있다. 도 4에 도시한 제 2 실시예의 제 2 인식 모듈(136)에 사용한 특징 변환 모듈(134)과 변환된 인식 사전(138)에 대응하는 변경을 행할 수 있다. 이들 경우 모두에서, 전술한 바와 같이 카테고리 서브세트 {K}'의 경쟁 패턴 세트를 사용하여 변환 벡터 행렬 Φ({K}')를 결정한다. 카테고리 서브세트 {K}'의 경쟁 패턴 세트는 카테고리 서브세트 {K}'를 구성하는 모둔 카테고리의 경쟁 패턴으로 구성된다. 변환된 인식 사전 L({K};Φ({K}'))에서는 변환 벡터 행렬 Φ({K}')를 사용하여 카테고리 세트 {K} 내에 있는 각 카테고리 K의 기준 벡터를 카테고리에 대한 변환된 기준 벡터를 발생한다. 카테고리 서브세트 {K}'가 하나의 카테고리만으로 구성되는 경우, {K}'는 K가 된다.

카테고리 세트 {K} 또는 카테고리 서브세트 {K}' 내에 하나의 카테고리만이 있는 경우, {K}와 {K}'를 전술한 설명에서의 K로 설정할 수 있다. 카테고리 서브세트 {K}'가 카테고리 세트 {K} 내에 있는 모든 카테고리만큼 포함할 수 있다.

특징 변환 모듈(114, 134)을 동작시킴으로써 변환 벡터 행렬 Φ({K}')를 사용하여 입력 패턴의 특징 벡터를 변환시켜 카테고리 서브세트 {K}'에 속하는 카테고리 각각에 대한 변환된 특징 벡터를 발생할 수 있다. 이 경우에, 특징 변환 모듈은 또한 나머지 카테고리 각각의 변환 벡터 행렬 Φ{K}를 사용하여 입력 패턴의 특징 벡터를 변환시킴으로써 카테고리 세트 {K}에 속하는 그 나머지 카테고리에 대한 변환된 특징 벡터를 발생한다. 이와 달리, 변환 모듈(114, 134)을 동작시킴으로써 변환 벡터 행렬 Φ({K}')를 사용하여 카테고리 세트 {K}에 속하는 카테고리 각각에 대한 변환된 특징 벡터를 발생하여 입력 패턴의 특징 벡터를 변환시킬 수 있다. 전자의 동작 모드(mode)는 인식 정확도를 용이하게 개선하지만, 후자보다 더 큰 동작 속도 및 더 많은 메모리 용량을 필요로하는 경향이 있다.

본 발명에 따른 패턴 인식 장치의 제 1 실시예에 대한 변형에서는 제 1 인식 모듈(110)과 신뢰도 판정 모듈(112)이 생략된다. 특징 추출 모듈(108)에 의해 추출된 각각의 추출 특징 벡터 X(p)가 변경되지 않고 특징 변환 모듈(114)로 입력되고, 카테고리화기가 제 2 인식 모듈(116)에 의해 발생된 차분값에만 근거하여 입력 패턴의 카테고리를 결정한다.

도 4를 참조하여 전술한 본 발명에 따른 패턴 인식 장치의 제 2 실시예에 대한 변형에서는 신뢰도 판정 모듈(112)이 생략되고, 제 2 특징 추출 모듈(132), 특징 변환 모듈(134), 제 2 인식 모듈(136)은 모든 입력 패턴에 대해 동작하며, 카테고리화기(118)는 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값과 제 2 인식 모듈(136)에 의해 발생된 제 2 차분값을 모두 사용하여 모든 입력 패턴의 카테고리를 결정한다.

도 5는 본 발명에 따른 패턴 인식 장치의 제 3 실시예를 도시하고 있다. 도 1을 참조하여 전술한 제 1 실시예에 대응하는 본 실시예의 구성 요소는 동일한 참조 번호를 사용하여 표시되며 상세히 설명하지 않을 것이다. 이 실시예에서는 특징 추출 모듈(142)이 각각의 전처리된 입력 패턴으로부터 제 1 특징 벡터와 제 2 특징 벡터를 추출한다. 이들 두 특징 벡터는 특징 벡터 조합 모듈(146)에 의해 조합되기 전에 독립적으로 처리된다. 인식 모듈(148)이 인식 사전을 사용하여 정합 동작을 수행하는 경우에 조합된 특징 벡터를 정합 벡터로서 채택한다.

특징 추출 모듈(142)은 각각의 전처리된 입력 패턴으로부터 두 특징 세트를 추출하여 각 특징 세트를 특징 벡터로서 표현한다. 특징 추출 모듈은 제 1 특징 벡터 X₁(p)을 차원 감축 모듈(144)로 전송하고, 제 2 특징 벡터 X₂(p)를 특징 변환 모듈(114)로 전송한다.

차원 감축 모듈(114)은 예컨대, 카르휸-로이브(Karhunen-Loeve) 전개식을 사용하여 제 1 특징 벡터 X₁(p)의 차원수를 감축하여 차원 감축된 특징 벡터 Z₁(p)을 특징 벡터 조합 모듈(148)로 전송한다. Z₁(p)=X₁(p)인 경우에는 차원 감축 모듈을 생략할 수도 있다.

제 1 특징 벡터 X₁(p)의 차원수가 감축되는 경우, 결과적인 차원 감축된 특징 벡터 Z₁(p)의 m 번째 성분 z₁(p;m)은,

으로 주어지는데, 여기서은 이 실시예에 의해 수행된 학습 처리에 사용되는 모든 훈련 패턴의 공분산 행렬의 고유벡터를 사용할 수 있는 m 번째 정도의 차원 감축된 벡터이다. 공지된 다른 차원 감축 기술이 대안적으로 사용될 수 있다. 벡터내의 심벌는 모든 훈련 패턴이 사용되는 것을 나타낸다.

특징 변환 모듈(114)은 변환 벡터 행렬 Φ(Z₁;(K)')를 사용하여 제 2 특징 벡터의 특징을 변환한다. 변환 벡터 행렬 Φ(Z₁;{K}')는 훈련 패턴으로부터 추출된 차원 감축된 특징 벡터 Z₁(p)을 사용하는 패턴 인식을 수행하여 발생되며 카테고리 서브세트 {K}'의 경쟁 패턴에 근거하는 변환 벡터 행렬을 나타낸다.

변환 벡터 행렬 Φ(Z₁;{K}')를 사용하여 제 2 특징 벡터 X₂(p)를 변환한 결과가 변환된 특징 벡터 Y₁(p;Z₁;{K}')이다.

변환된 특징 벡터 Y₁(Z₁;{K}')의 m 번째 특징 성분 y₁(p;Z₁;{K}';m)은 y₁(p;Z₁;{K}';m) = X₂(p)Φ(Z₁;{K}';m)으로 주어지는데, 여기서 Φ(Z₁;{K}';m)는 변환 벡터 행렬 Φ(Z₁;{K}')의 m 번째 변환 벡터이다.

특징 벡터 조합 모듈(146)은 차원 감축된 특징 벡터 Z₁(p)과 변환된 특징 벡터 Y₁(Z₁;{K}')의 모든 성분을 추출하여 조합된 특징 벡터 C(Z₁;Y₁)를 발생한다. 이와 달리, 이 모듈은 차원 감축 모듈(144)과 특징 변환 모듈(114)로부터 수신된 벡터로부터 특정한 성분만을 추출함으로써 조합된 특징 벡터를 발생할 수 있다. 특징 벡터 조합 모듈은 조합된 특징 벡터 C(Z₁;Y₁)를 인식 모듈(148)로 전송한다.

인식 모듈(148)은 조합된 특징 벡터 C(Z₁;Y₁)를 정합 벡터로 채택하여 정합 벡터와 조합된 인식 사전(150) 간의 정합 동작을 수행한다. 인식 모듈(148)에 의해 수행된 처리는 도 1을 참조하여 전술한 제 1 인식 모듈(110)에 의해 수행된 처리와 유사하며 각 카테고리에 대한 차분값을 발생한다. 인식 모듈(148)은 차분값을 카테고리화기(152)로 전송한다. 카테고리화기는 인식 모듈로부터 최소의 수신된 차분값에 대응하는 카테고리를 확정함으로써 입력 패턴의 카테고리를 결정한다.

이 실시예에서 사용한 조합된 인식 사전(150)은 각각의 훈련 패턴으로부터 유도된 조합된 특징 벡터 C(Z₁;Y₁)를 사용하여 LDA를 적용함으로써 생성될 수 있다. 더욱이, 차원 감축이 적용되어 제 1 특징 벡터의 차원수를 감축시키더라도, 변환 벡터 행렬 Φ(Z₁;{K}')는 차원 감축된 특징 벡터 Z₁(p)에 대해 최적화된 인식 사전을 사용하여 먼저 인식 처리를 수행함으로써 결정될 수 있다. 이 사전을 사용하는 인식 결과에 근거하여, 경쟁 패턴 세트를 컴파일링하고 전술한 변환 벡터 행렬 Φ({K}')과 동일한 방식으로 변환 벡터 행렬 Φ(Z₁;{K}')을 찾는다.

이 실시예는 개선된 인식 정확도와 신속한 인식 처리 시간을 갖지만, 대용량의 조합된 인식 사전을 필요로하지 않는다.

이 실시예에서, 제 1 특징 벡터는 제 2 특징 벡터와 동일할 수 있다.

도 6은 본 발명에 따른 패턴 인식 장치의 제 4 실시예(160)를 도시하고 있다. 도 1 및 도 4를 참조하여 설명한 제 1 및 제 2 실시예에 대응하는 본 실시예의 구성 요소는 동일한 참조 번호를 사용하여 표시되고 여기에서는 재차 설명하지 않을 것이다.

도 6에 도시한 패턴 인식 장치에서, 도 1에 도시한 패턴 인식 장치(100)는 도 4에 도시한 제 2 실시예의 특징 추출 모듈(132), 특징 변환 모듈(134), 인식 모듈(138)에 제 2 신뢰도 판정 모듈(160)을 부가함으로써 변경된다. 제 4 실시예에 있어서, 이들 구성 요소는 제 2 특징 추출 모듈(132), 제 2 특징 변환 모듈(134), 제 3 인식 모듈(136)로 지칭된다. 제 3 인식 모듈은 제 2 변환된 인식 사전(138)을 포함한다.

제 2 신뢰도 판정 모듈(162)은 제 1 신뢰도 판정 모듈(112)의 로우 상태인 출력 신호에 응답하여 제 1 특징 변환 모듈(114) 및 제 2 인식 모듈(116)과 함께 동작한다. 로우 상태인 이 출력 신호는 제 1 인식 모듈(110)에 의해 발생된 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 없다는 것을 나타낸다.

제 2 신뢰도 판정 모듈(162)은 제 1 인식 모듈(112)과 제 2 인식 모듈(116)에 의해 발생된 차분값을 수신한다. 제 2 신뢰도 판정 모듈은 제 1 신뢰도 판정 모듈(112)과 유사하게 동작하여 패턴 인식의 신뢰도를 제 1 및 제 2 인식 모듈에 의해 발생된 차분값에 근거하여 결정하고 이러한 패턴 인식 동작의 신뢰도를 나타내는 상태를 갖는 출력 신호를 발생한다. 제 2 신뢰도 판정 모듈의 출력 신호가 제어 신호로서 제 2 특징 추출 모듈(132), 제 2 특징 변환 모듈(134), 제 3 인식 모듈(136), 카테고리화기(164)로 전송된다.

제 2 특징 추출 모듈(132)은 패턴 입력 섹션(102)으로부터 전처리된 패턴을 수신하고, 입력 패턴으로부터 특징 세트를 추출하며, 이 추출된 특징을 제 2 특징 벡터로서 표현한다. 제 2 특징 추출 모듈에 의해 추출된 특징은 제 1 특징 추출 모듈(108)에 의해 입력 패턴으로부터 추출된 특징과 상이하다. 제 2 특징 추출 모듈은 각각의 제 2 특징 벡터를 제 2 특징 변환 모듈로 전송하며, 이 제 2 특징 변환 모듈은 제 2 특징 벡터를 변환하여 결과적인 변환된 제 2 특징 벡터를 제 2 인식 모듈(136)로 전송한다.

제 3 인식 모듈(136)은 변환된 제 2 특징 벡터를 정합 벡터로서 채택하여 정합 벡터와 제 2 변환된 인식 사전(138) 간의 정합 동작을 수행한다. 정합 동작은 카테고리 각각에 대한 제 3 차분값을 발생한다. 제 3 인식 모듈은 제 3 차분값을 카테고리화기(164)로 전송한다.

카테고리화기(164)는 제 1 신뢰도 판정 모듈(112)과 제 2 신뢰도 판정 모듈(162) 각각의 제 1 및 제 2 출력 신호에 응답하여 동작하고 제 1 인식 모듈(110), 제 2 인식 모듈(116), 제 3 인식 모듈(136)로부터 수신한 차분값을 사용하여 입력 패턴의 카테고리를 결정한다. 제 1 신뢰도 판정 모듈 출력 신호가 하이 상태이면, 카테고리화기는 제 1 인식 모듈에 의해서만 발생된 제 1 차분값으로부터 입력 패턴의 카테고리를 결정한다. 제 1 신뢰도 판정 모듈 출력 신호가 로우 상태이고 제 2 신뢰도 판정 모듈 출력 신호가 하이 상태인 경우, 카테고리화기는 제 1 인식 모듈에 의해 발생된 제 1 차분값과 제 2 인식 모듈에 의해 발생된 제 2 차분값으로부터 입력 패턴의 카테고리를 결정한다. 제 1 및 제 2 신뢰도 판정 모듈 출력 신호가 모두 로우 상태인 경우, 카테고리화기는 제 1 인식 모듈에 의해 발생된 제 1 차분값과, 제 2 인식 모듈에 의해 발생된 제 2 차분값과, 제 3 인식 모듈에 의해 발생된 제 3 차분값으로부터 입력 패턴의 카테고리를 결정한다.

전술한 특징 벡터 변환에 사용된 변환 벡터 행렬과 인식 사전은 이러한 변환 벡터와 인식 사전을 생성하기 위한 전술한 방법을 사용하여 생성될 수 있다. 예를 들어, 특징 변환 모듈(114, 134)에 사용된 변환 벡터 행렬은 제 1 인식 모듈(110)을 사용하여 패턴 인식 동작을 훈련 패턴에 수행함으로써 발생된 경쟁 패턴 세트로부터 결정될 수 있다. 인식 사전(120, 122, 138)이 결정되어 바람직하게 모든 훈련 패턴에 대한 인식율은 인식 사전이 각각 위치한 제 1 인식 모듈(110), 제 2 인식 모듈(116), 제 3 인식 모듈(136)의 출력 신호까지 최대화될 수 있다. 인식 사전을 결정할 때보다 변환 벡터 행렬을 결정할 때 더 많은 변수가 발생한다. 예를 들면, 특징 변환 모듈(114, 134)에 사용된 변환 벡터 행렬은 제 1 인식 모듈(110)을 사용하여 패턴 인식 동작을 훈련 패턴에 수행함으로써 발생된 경쟁 패턴 세트로부터 결정될 수 있다. 이와 달리, 제 2 특징 변환 모듈(134)에 사용된 변환 벡터 행렬은 제 1 인식 모듈(110)과 제 2 인식 모듈(116)을 사용하여 패턴 인식 동작을 훈련 패턴에 수행함으로써 발생된 경쟁 패턴 세트로부터 결정될 수 있다.

바로 앞에 설명한 실시예에 대한 첫 번째 변형에서는 제 2 특징 추출 모듈(132)을 생략하고 제 1 특징 추출 모듈(108)에 의해 발생된 특징 벡터를 제 2 특징 변환 모듈(134)로 입력한다. 두 번째 변형에서는 제 2 특징 추출 모듈과 제 2 특징 변환 모듈을 생략하고 제 1 특징 변환 모듈(114)에 의해 발생한 변환된 특징 벡터를 제 3 인식 모듈(136)에 직접 입력한다.

특징 추출 모듈, 특징 변환 모듈, 혹은 특징 추출 모듈 및 특징 변환 모듈에 선행하는 인식 모듈의 직렬 배치는 인식 유닛으로서 간주될 수 있다. 도 6에 도시한 실시예에서, 제 3 인식 모듈(136)을 구비하는 인식 유닛을 포함하는 3 개의 인식 유닛은 캐스캐이드(csacade)된다. 본 실시예에 대한 변형은 패턴 입력 섹션(102) 부근의 업스트림(upstream) 또는 부가적이나 대안적으로 카테고리화 부호의 다운스트림(downstream)에 위치한 부가적인 인식 유닛을 구비할 수 있다. 입력 패턴으로부터 유도한 전처리된 패턴을 하나 이상의 인식 유닛의 인식 결과에 따라 다수의 인식 유닛에 입력할 수 있다.

바로 앞에서 설명한 변형에서는 각각의 입력 패턴을 나타내는 특징 벡터를 선형적으로 변환시킴으로써 유도한 입력 패턴 및 벡터를 인식 유닛으로 입력하고, 인식 유닛은 입력 패턴 카테고리의 표시나 입력 패턴에 대한 차분값의 세트일 수 있는 인식 결과를 발생하며, 마지막으로 카테고리화기는 인식 유닛의 출력으로부터 입력 패턴의 카테고리를 결정한다. 따라서, 인식 유닛에 의해 사용된 변환 벡터 행렬은 업스트림 인식 유닛으로부터 획득한 경쟁 패턴 세트에 근거하여 결정된다. 각 인식 유닛의 인식 사전이 최대로 설정되거나, 인식 유닛까지 포함하는 패턴 인식 장치의 부분에 의해 훈련 패턴에 대해 수행된 패턴 인식의 인식 정확도를 적어도 상당히 증가시키도록 설정된다.

도 7은 전형적인 패턴 인식 시스템(200)의 블럭도이다. 이 시스템은 학습 센터(202), 전형적인 하나를 (204)로 도시하며 통신 링크(link) 또는 전송가능한 저장 매체(206)에 의해 링크된 하나 이상의 터미널로 구성된다.

학습 센터(202)가 내장되거나 외부 접속형 자원을 사용하여 훈련 패턴 세트(212)를 처리하는 제어/훈련 소프트웨어(210)를 실행하고 변환 벡터 행렬과 인식 사전(216)의 세트(214)를 생성한다. 학습 센터(202)에 의해 변환 벡터 행렬과 인식 사전을 생성한 후에, 적합한 저장 매체를 사용하여 이들을 저장한 다음 터미널(204)에 전송할 수 있다. 이 터미널은 패턴 인식을 저장 매체 내에 일시적으로 저장한 미상의 패턴에 실제로 수행하는 광 패턴 인식(optical character recognition : OCR) 디바이스일 수 있다. 이와 달리, 통신 링크(206)를 사용하여 변환 벡터 행렬과 인식 사전을 터미널(204)로 전송할 수 있다. 사용한 통신 링크가 양방향이면, 학습 센터는 터미널로부터 제공된 오류 패턴을 수신하고, 이 오류 패턴을 사용하여 변환 벡터 행렬과 인식 사전을 갱신할 수 있다. 이 인식 센터(202)는 인식 정확도와 같은 메시지를 표시할 수 있는 디스플레이(도시하지 않음)를 포함할 수 있다. 이 시스템은 커맨드(command)와 데이터를 입력할 수 있는 입력 디바이스(도시하지 않음)를 포함할 수 있다.

터미널(204)은 내장되거나 외부 접속형 자원을 사용하여 제어/인식 소프트웨어(220)를 실행한다. 패턴 입력 모듈(222)을 사용하여 각각의 패턴 입력을 변환 벡터 행렬(224)에 의해 변환하고 인식 사전(226)에 정합시켜 패턴의 카테고리를 결정한다.

변환 벡터 행렬(214)과 인식 사전(216)을 생성하는 데 실제 컴퓨터 자원을 필요로할 수 있기 때문에, 변환 벡터 행렬의 크기를 갖는 컴퓨터의 성능과 비용 및 인식 사전 사이에서 최적의 균형을 선택하기 위한 중요한 범위가 있다. 어느쪽 장치도 훈련 및 인식을 모두 수행할 수 있다.

전술한 본 발명에 따르면, 제 1 인식 모듈과 제 2 인식 모듈을 효과적으로 조합하는 경우, 제 1 벡터는 제 1 인식 모듈이 발견된 카테고리의 경쟁 패턴 세트로부터 각 카테고리의 카테고리내 패턴을 효과적으로 분리한다. 제 2 인식 모듈은 인식 사전을 추출하며, 이 인식 사전은 제 1 인식 모듈에 의해 오류인식된 가능한 한 많은 패턴을 정확하게 인식할 수 있게 한다. 제 2 인식 모듈은 제 1 벡터 상에 투사된 특징 벡터값을 특징 벡터로서 사용한다. 본 발명은 두 개의 인식 모듈을 효과적으로 조합함으로써 인식 정확도를 현저하게 개선한다.

더욱이, 적절한 유형의 훈련 패턴만을 사용하여 학습 처리를 수행함으로써 상이한 유형의 패턴에 대해 패턴 인식을 수행하는 데 본 발명에 따른 패턴 인식 장치 및 방법을 용이하게 적용할 수 있다.

가산기 및 승산기와 같은 전용 하드웨어를 사용하여 본 명세서에 개시한 패턴 인식 장치의 실시예를 구성할 수 있다. 바람직한 실시예에서는 마이크로프로세서(도시하지 않음)나 디지털 신호 프로세서에 의해 수행되는 컴퓨터로 패턴 인식 장치를 구현한다. 컴퓨터 기반 및 DSP 기반 실시예에서는 패턴 인식 장치의 다양한 모듈이 일시적일 수 있으며, 다양한 패턴 인식으로서 도출될 수 있고 학습 동작이 실행될 수 있다는 것을 또한 주지해야 한다. 모든 모듈이 컴퓨터나 DSP 내에 동시에 있을 필요가 없다.

바람직한 실시예에서는 패턴 인식 프로그램을 포함하는 컴퓨터가 전술한 모든 처리를 구현한다. 본 명세서는 고수준(예컨대, C 또는 C⁺⁺) 또는 저 수준 프로그래밍 언어를 사용하여 적합한 패턴 인식 프로그램을 작성하도록 당업자에게 충분한 정보를 제공한다. 따라서, 프로그램 리스트 자체를 생략한다. 패턴 인식 프로그램은 플로피 디스크, CD-ROM, DVD-ROM과 같은 적합한 실제 매체의 표현으로 프로그램을 구현하여 실행하는 컴퓨터로 전송되거나 적합한 데이터 링크(link)에 의해 그러한 컴퓨터로 전송될 수 있다.

본 명세서에 본 발명의 예시적인 실시예를 상세히 설명하였으나, 본 발명은 설명한 명확한 실시예에 한정되지 않고 첨부한 청구 범위에 의해 정의된 본 발명의 범주 내에서 다양한 변형이 이루어질 수 있는 것으로 이해되어야 한다.

Claims (17)

1. 패턴 인식 장치에 있어서,

   카테고리 세트를 구성하는 다수의 카테고리 중 하나에 속하는 패턴을 포함하는 입력 패턴을 수신하는 입력 섹션(102)과,

   상기 패턴의 특징을 제 1 특징 벡터로서 표현하는 제 1 특징 추출 모듈(108)과,

   상기 제 1 특징 벡터의 일부분을 변환하기 위해 변환 벡터 행렬을 사용하여 상기 카테고리 각각에 대응하는 적어도 부분적 변환된 제 1 특징 벡터를 생성하는 제 1 특징 변환 모듈(114)과,

   상기 변환 벡터 행렬을 사용하여 변환된 상기 카테고리 각각에 대한 제 1 변환된 정합 정보와 정합 정보를 저장하고, 상기 카테고리 각각에 대응하는 상기 적어도 부분적 변환된 제 1 특징 벡터로부터 유도된 적어도 하나의 정합 벡터와 상기 정합 정보 및 상기 제 1 변환된 정합 정보간에 정합 동작을 수행함으로써 상기 카테고리 각각에 대한 적어도 하나의 차분값을 생성하는 인식 사전(120, 122)을 포함하는 인식 섹션과,

   상기 적어도 하나의 차분값에 응답하여 상기 패턴이 속하는 상기 카테고리 중 하나를 확정하는 카테고리화기(118)를 포함하는

   패턴 인식 장치.
2. 제 1 항에 있어서,

   상기 제 1 특징 변환 모듈이 상기 제 1 특징 벡터를 모두 변환하여 상기 카테고리 각각에 대응하는 제 1 변환된 특징 벡터를 발생하고,

   상기 인식 섹션이,

   상기 제 1 특징 벡터로부터 유도된 제 1 정합 벡터와 상기 정합 정보간에 정합 동작을 수행함으로써 상기 카테고리 각각에 대한 제 1 차분값을 생성하는 제 1 인식 모듈(110)과,

   상기 카테고리 각각에 대응하는 상기 제 1 변환된 특징 벡터로부터 유도된 제 2 정합 벡터와 상기 제 1 변환된 정합 정보간에 정합 동작을 수행함으로써 상기 카테고리 각각에 대한 제 2 차분값을 생성하는 제 2 인식 모듈(116)을 포함하며,

   상기 장치가 상기 카테고리 각각에 대한 상기 제 1 차분값을 수신하고 상기 카테고리 각각에 대한 상기 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 경우를 나타내는 신뢰도 판정 모듈(112)을 더 포함하고,

   상기 카테고리화기가,

   상기 신뢰도 판정 모듈이 상기 카테고리 각각에 대한 상기 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있다는 것을 나타내는 경우에는 상기 카테고리 각각에 대한 상기 제 1 차분값에만 응답하여 상기 패턴이 속하는 상기 카테고리 중 하나를 확정하고,

   그렇지 않은 경우에는 상기 카테고리 각각에 대한 상기 제 1 차분값과 상기 제 2 차분값에 응답하여 상기 패턴이 속하는 상기 카테고리 중 하나를 확정하는

   패턴 인식 장치.
3. 제 2 항에 있어서,

   상기 패턴 인식 장치가 상기 입력 섹션(102)과 상기 제 1 특징 변환 모듈(134) 사이에 삽입되며 상기 패턴의 특징을 제 2 특징 벡터로서 표현하는 제 2 특징 추출 모듈(132)을 더 포함하고,

   상기 제 1 특징 변환 모듈이 상기 제 2 특징 벡터를 변환하여 상기 변환된 특징 벡터를 생성하는

   패턴 인식 장치.
4. 제 2 항에 있어서,

   상기 장치가,

   상기 카테고리 각각에 대한 상기 제 1 및 제 2 차분값을 수신하고, 상기 카테고리 각각에 대한 상기 제 1 및 제 2 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 경우를 나타내는 제 2 신뢰도 판정 모듈(162)과,

   상기 패턴의 특징을 제 2 특징 벡터로서 표현하는 제 2 특징 추출 모듈(132)과,

   제 2 변환 벡터 행렬을 사용하여 상기 제 2 특징 벡터를 변환함으로써 상기 카테고리 각각에 대응하는 제 2 변환된 특징 벡터를 생성하는 제 2 특징 변환 모듈(134)을 더 포함하고,

   상기 인식 사전(120, 122, 138)이 상기 제 2 변환 벡터 행렬을 사용하여 변환된 상기 카테고리 각각에 대한 제 2 변환된 정합 정보를 더 저장하며,

   상기 인식 섹션이 상기 카테고리 각각에 대응하는 상기 제 2 변환된 특징 벡터로부터 유도된 제 3 정합 벡터와 상기 제 2 변환된 정합 정보간의 정합 동작을 수행함으로써 상기 카테고리 각각에 대한 제 3 차분값을 생성하는 제 3 인식 모듈(136)을 포함하고,

   상기 카테고리화기(164)가,

   상기 제 1 신뢰도 판정 모듈(112)이 상기 카테고리 각각에 대한 상기 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 것으로 나타내는 경우에는 상기 카테고리 각각에 대한 상기 제 1 차분값에만 응답하여,

   상기 제 2 신뢰도 판정 모듈(162)이 상기 카테고리 각각에 대한 상기 제 1 및 제 2 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 것으로 나타내는 경우에는 상기 카테고리 각각에 대한 상기 제 1, 제 2 차분값에 응답하여,

   그렇지 않은 경우에 상기 카테고리 각각에 대한 상기 제 1, 제 2, 제 3 차분값에 응답하여 상기 패턴이 속하는 상기 카테고리 중 하나를 확정하는

   패턴 인식 장치.
5. 제 2 항에 있어서,

   상기 제 1 특징 추출 모듈(108)과 상기 제 1 인식 모듈(110)의 직렬 배치가 제 1 인식 유닛을 구성하고,

   상기 제 1 특징 변환 모듈(114)과 상기 제 2 인식 모듈(116)의 직렬 배치가 집합적으로 제 2 인식 유닛을 구성하며,

   상기 패턴 인식 장치가,

   특징 추출 모듈(132)과 특징 변환 모듈(134) 중 적어도 하나와,

   상기 제 1 및 제 2 인식 유닛에 의해 신뢰할 수 있게 인식되지 않은 패턴을 인식하도록 최적화된 변환된 인식 사전(138)을 포함하는 인식 모듈(136)의 직렬 배치를 구비하는 또다른 인식 유닛(132, 134, 136)을 더 포함하는

   패턴 인식 장치.
6. 제 3 항, 제 4 항, 혹은 제 5 항에 있어서,

   상기 제 1 특징 추출 모듈에 의해 발생된 상기 제 1 특징 벡터가 상기 패턴의 제 1 특징 세트를 표현하고,

   상기 제 2 특징 추출 모듈에 의해 발생된 상기 제 2 특징 벡터가 상기 패턴의 제 2 특징 세트를 표현하는

   패턴 인식 장치.
7. 제 6 항에 있어서,

   상기 제 1 특징 세트와 상기 제 2 특징 세트가 부분적으로 중첩하는

   패턴 인식 장치.
8. 제 1 항에 있어서,

   상기 제 1 특징 추출 모듈(142)이 상기 패턴의 제 1 특징 세트를 상기 제 1 특징 벡터로 표현하고, 상기 패턴의 제 2 특징 세트를 제 2 특징 벡터로 더 표현하며,

   상기 제 1 특징 변환 모듈(114)이 상기 제 1 특징 벡터를 모두 변환하여 상기 카테고리 각각에 대응하는 제 1 변환된 특징 벡터를 발생하고,

   상기 장치가 상기 제 1 특징 추출 모듈과 상기 인식 섹션(148) 사이에 삽입되어, 상기 카테고리 각각에 대응하는 상기 제 1 변환된 특징 벡터와 상기 제 2 특징 벡터를 조합함으로써 상기 카테고리 각각에 대응하는 상기 적어도 부분 변환된 제 1 특징 벡터를 생성하는 제 1 특징 벡터 조합 모듈(146)을 더 포함하는

   패턴 인식 장치.
9. 제 8 항에 있어서,

   상기 제 2 특징 벡터가 다수의 차원을 갖고,

   상기 장치가 상기 제 1 특징 추출 모듈과 상기 특징 벡터 조합 모듈 사이에 삽입되어, 상기 제 2 특징 벡터의 차원수를 감축함으로써 차원 감축된 제 2 특징 벡터를 생성하는 차원 감축 모듈(144)을 더 포함하며,

   상기 특징 벡터 조합 모듈(146)이 상기 카테고리 각각에 대응하는 상기 차원 감축된 제 2 특징 벡터와 상기 제 1 변환된 특징 벡터를 조합하여 상기 카테고리 각각에 대응하는 적어도 부분 변환된 상기 특징 벡터를 생성하는

   패턴 인식 장치.
10. 제 9 항에 있어서,

    상기 특징 벡터 조합 모듈이 상기 차원 감축된 제 2 특징 벡터와 상기 카테고리 각각에 대응하는 상기 제 1 변환된 특징 벡터 중에서 적어도 하나의 서브세트를 추출함으로써 상기 조합된 특징 벡터를 생성하는

    패턴 인식 장치.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,

    상기 변환 벡터 행렬이 카테고리 서브세트를 구성하는 상기 카테고리 중 다수에 속하는 것으로 오류인식된 경쟁 패턴으로 구성된 경쟁 패턴 세트에 응답하여 발생된 변환 벡터 행렬을 포함하고,

    상기 변환 벡터 행렬에 응답하여 발생된 상기 적어도 부분 변환된 제 1 특징 벡터가 상기 카테고리 서브세트를 구성하는 상기 카테고리 중 상기 다수에 대해 공통인

    패턴 인식 장치.
12. 패턴을 인식하는 방법에 있어서,

    카테고리 서브세트를 구성하는 다수의 카테고리 중 하나에 속하는 패턴을 포함하는 입력 패턴을 수신하는 단계(102)와,

    상기 패턴의 특징을 특징 벡터로서 표현하는 단계(108)와,

    변환 벡터 행렬을 사용하여 상기 특징 벡터의 적어도 부분을 변환함으로써 상기 카테고리 각각에 대응하는 적어도 부분 변환된 특징 벡터를 생성하는 변환 단계(114)와,

    상기 변환 벡터 행렬을 사용하여 변환된 정합 정보인 상기 카테고리 각각에 대한 변환된 정합 정보 및 정합 정보와,

    상기 카테고리 각각에 대응하는 상기 적어도 부분 변환된 특징 벡터로부터 유도된 정합 벡터간에 정합 동작을 수행함으로써 상기 카테고리 각각에 대한 적어도 하나의 차분값을 생성하는 수행 단계(116)와,

    상기 적어도 하나의 차분값에 응답하여 상기 패턴이 속하는 상기 카테고리 중 상기 하나를 확정하는 단계(118)를 포함하는

    패턴 인식 방법.
13. 제 12 항에 있어서,

    상기 변환 벡터 행렬이 ① 상기 카테고리 세트에 속하는 카테고리와 ② 상기 카테고리 세트에 속하는 상기 카테고리 중 다수로 구성된 카테고리 서브세트 중에서 하나에 대한 변환 벡터 행렬을 포함하고,

    상기 변환 벡터 행렬이,

    각각의 카테고리가 정의된 훈련 패턴을 수신하고 상기 훈련 패턴의 특징을 제 1 특징 벡터로 표현하는 표현 단계(10)와,

    상기 제 1 특징 벡터로부터 유도된 제 1 정합 벡터와 상기 정합 정보간의 정합 동작을 수행함으로써 상기 훈련 패턴이 각각 속하는 상기 카테고리를 확정하는 단계(12)와,

    상기 훈련 패턴이 속하는 것으로 확정된 상기 카테고리와 상기 각각의 정의된 카테고리를 비교하여 ① 상기 카테고리와 ② 상기 카테고리 서브세트 중에서 각 하나에 대한 경쟁 패턴 세트를 정의하는 비교 단계(14)와,

    ① 상기 카테고리와 ② 상기 카테고리 서브세트 중에서 상기 각 하나에 속하는 것으로 정의된 상기 모든 훈련 패턴의 상기 특징 벡터로부터 평균 벡터를 결정하는 단계(16)와,

    상기 평균 벡터를 사용하여 상기 경쟁 패턴에 속하는 상기 훈련 패턴 각각에 대한 차분 벡터를 계산하는 단계(18)와,

    상기 차분 벡터의 자기상관 행렬을 계산하는 단계(20)와,

    ① 상기 카테고리와 ② 상기 카테고리 서브세트 중 상기 각 하나에 대한 상기 변환 벡터 행렬을 구성하는 변환 벡터로서 상기 자기상관 행렬의 고유벡터를 선택하는 단계(22)에 의해 발생되는

    패턴 인식 방법.
14. 제 13 항에 있어서,

    상기 자기상관 행렬의 상기 고유벡터가 개별적인 고유값을 가지며,

    상기 고유벡터 선택 단계가,

    상기 자기상관 행렬의 상기 모든 고유벡터의 고유값을 합산하여 제 1 합산값을 생성하는 합산 단계와,

    상기 고유벡터를 고유값의 내림차순으로 선택된 고유벡터로서 선택하고 상기 선택된 고유벡터의 고유값을 합산하여 제 2 합산값이 상기 제 1 합산값의 사전설정된 소수부를 초과할 때까지 상기 제 2 합산값을 생성하는 단계를 포함하는

    패턴 인식 방법.
15. 제 13 항에 있어서,

    상기 방법이,

    상기 카테고리에 속하는 것으로 정의된 상기 모든 훈련 패턴의 상기 특징 벡터로부터 공분산(covariance) 행렬을 계산하는 단계와,

    상기 공분산 행렬을 상기 자기상관 행렬과 승산하여 곱 행렬을 생성하는 승산 단계를 더 포함하며,

    상기 고유벡터 선택 단계에서, 상기 자기상관 행렬의 고유벡터 대신에 상기 곱 행렬의 고유벡터가 상기 변환 벡터 행렬의 상기 변환 벡터로서 선택되는

    패턴 인식 방법.
16. 제 12 항 내지 제 15 항 중 어느 한 항에 있어서,

    상기 카테고리 세트에 속하는 카테고리에 대한 상기 변환된 인식 정보가,

    각각의 카테고리가 정의되는 훈련 패턴을 수신하고 상기 훈련 패턴의 특징을 특징 벡터로서 표현하는 표현 단계(10)와,

    상기 제 1 특징 벡터로부터 유도된 제 1 정합 벡터와 상기 정합 정보간의 정합 동작을 수행함으로써 상기 훈련 패턴이 각각 속하는 상기 카테고리를 확정하는 단계(12)와,

    상기 훈련 패턴이 속하는 것으로 확정된 상기 카테고리와 상기 각각 정의된 카테고리를 비교하여 상기 카테고리에 대한 경쟁 패턴 세트를 정의하는 비교 단계(14)와,

    상기 카테고리가 속하는 ① 상기 카테고리와 ② 상기 카테고리 세트에 속하는 상기 카테고리 중 다수로 구성되는 카테고리 서브세트 중 하나에 대하여 상기 변환 벡터 행렬을 사용하여 상기 훈련 패턴의 상기 특징 벡터를 변환함으로써 각각 변환된 특징 벡터를 생성하는 변환 단계(30)와,

    상기 변환된 특징 벡터를 사용하여 식별 분석을 수행하여 식별 함수를 생성하는 수행 단계(32)와,

    상기 식별 함수를 사용하여 상기 카테고리 각각에 대한 변경된 차분값을 계산하는 단계(34)와,

    상기 카테고리 각각에 대한 상기 변경된 차분값에 응답하여 상기 훈련 패턴 각각이 속하는 상기 카테고리를 재확정하는 단계(36)와,

    새로운 차분값에 응답하여 상기 훈련 패턴이 속하는 것으로서 확정된 상기 카테고리와 상기 개별적으로 정의된 카테고리를 재비교하여 부가적인 패턴이 상기 카테고리에 속하는 것으로서 오류인식되는지를 결정하는 재비교 단계(38)와,

    부가적인 패턴이 오류인식되지 않는 경우 상기 식별 함수를 사용하여 상기 변환된 인식 정보를 발생(40)하고, 그렇지 않은 경우 상기 부가적인 패턴을 상기 카테고리의 상기 경쟁 패턴 세트에 포함(42)시켜 부가적인 패턴이 오류인식 않을 때까지 상기 식별 분석 수행과, 변경된 차분값 계산과, 카테고리 재확정 및 재비교 동작을 반복하는 단계에 의해 발생되는

    패턴 인식 방법.
17. 제 12 항 내지 제 16 항 중 어느 한 항에 있어서,

    상기 방법이,

    상기 카테고리 각각에 대한 상기 정합 정보(120)와 상기 특징 벡터로부터 유도된 상기 제 1 정합 벡터간의 정합 동작(110)을 수행하여 상기 카테고리 각각에 대한 제 1 차분값을 생성하는 수행 단계와,

    상기 제 1 차분값에 응답하여, 상기 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 있는 경우를 나타내는 신뢰도 표시(112)를 생성하는 단계를 더 포함하고,

    상기 신뢰도 표시가 상기 제 1 차분값에 근거하여 패턴 인식을 신뢰할 수 없는 것으로 표시하는 경우에 상기 카테고리 각각에 대한 상기 제 1 차분값의 합 및 상기 카테고리 각각에 대한 다수의 상기 제 2 차분값에 응답하여 상기 패턴이 속하는 상기 카테고리 중 하나가 확정되며,

    상기 제 2 차분값의 개수는,

    상기 승수를 초기값으로 설정하는 단계와,

    각각의 카테고리가 정의되는 훈련 패턴을 수신하는 단계와,

    상기 훈련 패턴에 대한 표현, 제 1 정합 동작 수행, 신뢰도 표시 생성 동작을 수행하여, 상기 제 1 차분값에 근거하여 패턴 인식을 확정된 훈련 패턴으로서 신뢰할 수 없다는 것을 신뢰도 표시가 나타내는 경우에 상기 훈련 패턴을 확정된 훈련 패턴으로서 확정하는 단계와,

    상기 확정된 훈련 패턴의 상기 특징 벡터에 상기 변환 동작을 수행하는 단계와,

    상기 확정된 훈련 패턴에 대해 상기 승수가 최대 인식 정확도에 대응하는 값을 가질 때까지,

    상기 제 2 정합 및 확정 동작을 수행하는 단계와,

    상기 확정된 훈련 패턴이 속하는 것으로 확정된 상기 카테고리와 상기 개별적으로 정의된 카테고리를 비교하여 인식 정확도를 생성하는 비교 단계와,

    상기 승수를 변경하는 단계를 수행하는 단계에 의해 결정되는

    패턴 인식 방법.