KR20060118598A - 참조 데이터 최적화 학습 방법과 패턴 인식 시스템 - Google Patents

참조 데이터 최적화 학습 방법과 패턴 인식 시스템 Download PDF

Info

Publication number
KR20060118598A
KR20060118598A KR1020067017039A KR20067017039A KR20060118598A KR 20060118598 A KR20060118598 A KR 20060118598A KR 1020067017039 A KR1020067017039 A KR 1020067017039A KR 20067017039 A KR20067017039 A KR 20067017039A KR 20060118598 A KR20060118598 A KR 20060118598A
Authority
KR
South Korea
Prior art keywords
reference data
data
distance
recognition
threshold value
Prior art date
Application number
KR1020067017039A
Other languages
English (en)
Other versions
KR100865201B1 (ko
Inventor
한스 유르겐 마타우쉬
데츠시 고이데
요시노리 시라카와
Original Assignee
히로시마 다이가쿠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히로시마 다이가쿠 filed Critical 히로시마 다이가쿠
Publication of KR20060118598A publication Critical patent/KR20060118598A/ko
Application granted granted Critical
Publication of KR100865201B1 publication Critical patent/KR100865201B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors

Abstract

본 발명은 새롭게 추가되는 참조 데이터를 효율적으로 학습시키는 패턴 인식 시스템에 관한 것이다. 패턴 인식 시스템에서는, 패턴 검색 대상인 입력 데이터와 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 인식 위너로서 설정된 참조 데이터에 대응하는 일정 회수의 입력 데이터에 근거하여, 그 중심을 계산해서 참조 데이터를 최적화한다. 또한, 임계값을 변경하여 인식 영역의 확대/축소를 행하고, 이에 의해 잘못된 인식을 방지하여 인식률을 향상시킨다.

Description

참조 데이터 최적화 학습 방법과 패턴 인식 시스템{REFERENCE DATA OPTIMIZATION LEARNING METHOD AND PATTERN RECOGNITION SYSTEM}
본 발명은 패턴 매칭 처리를 위한 참조 데이터를 추가하고 인식시키는 참조 데이터 최적화 학습 방법, 및 이 방법을 이용하여 참조 데이터의 인식/학습을 행하는 패턴 인식 시스템에 관한 것이다.
패턴 인식 시스템에 있어서, 패턴 매칭 처리는 인식 처리에서 중요한 요소이다. 종래의 시스템에서는, 프로세서를 기반으로 하여 실현한 모델이 가장 일반적이다. 이 모델에서는, 입력 패턴의 데이터를 메모리 내의 복수의 참조 데이터와 점차 비교하여, 가장 유사한 패턴을 나타내는 참조 데이터를 검출하는 방법을 사용하고 있다. 그러나, 이 모델의 방법에는, 점차 비교에 많은 처리 시간이 필요하고, 비교 데이터의 수의 증가에 비례하여 그 처리에 소요되는 시간이 증대된다고 하는 문제가 있다. 참조 데이터에 대해서는, 연속 비교로 인해, 비교 순서의 변경 또는 신규의 참조 데이터의 등록에서 학습하는 개념이 없어, 학습에 의한 처리 시간 단축의 효과를 얻는 것은 불가능하다.
패턴 인식 및 학습은 인간의 뇌와 같은 능력을 가지는 인공 지능 시스템을 구축하기 위해서 필수 불가결한 기능이다. 그 때문에, 이들 기능을 집적 회로 상에서 실현하는 것은 기술적으로 매우 중요하다. 지금까지 제안되어 있는 패턴 인식과 학습 기능의 실현 방법은 뉴럴 네트워크(neural network; 신경 회로망)를 이용한 것이 대부분이다. 그 예가 하기의 문헌 1에 개시되어 있다.
[문헌1]
요시히토 아마미야 편저, "Neural Network LSI", 전자 정보 통신 학회, 1995년.
그러나, 뉴럴 네트워크를 이용한 방법에서는 각 뉴런(neuron)의 임계값과 각 네트워크의 하중(load)의 업데이트가 필요하게 되어, 상당한 처리 시간이 소요된다고 하는 문제가 있다. 효율적으로 패턴을 네트워크 내에 기억시키는 유용한 방법이 없기 때문에, 패턴의 정보를 네트워크 구조 자체에서 취입할 필요가 있다. 또한, 네트워크의 학습이 완료된 후에 새로운 패턴을 인식하도록 학습하기 위해서는, 네트워크 전체의 재학습이 필요하게 되어, 인식 처리를 수행하면서 학습을 실행하여 네트워크의 하중을 업데이트하는 것은 어렵다.
최근의 뉴럴 네트워크를 이용한 하드웨어에 의한 실현 방법에 관한 진전은 당초 기대했던 것보다 늦어지고 있어, 현재 집적도나 소비 전력의 관점에서 LSI화를 실현하는 것은 어렵다. 이러한 환경 하에서, 메모리 요소를 내장하여 효율적으로 패턴을 기억할 수 있는, 보다 우수한 새로운 하드웨어에서의 실현 방법이 요망되고 있다.
전술한 사정을 고려하여, 최근에는 완전 병렬 아키텍쳐(fully parallel architecture)에 의한 소면적/고속 연상 메모리의 개발이 진행되고 있다. 그 예에 대해 하기의 문헌 2~8에 상세히 기재하고 있다.
[문헌 2]
H. J. Mattausch, N. Omori, S. Fukae, T. Koide, and T. Gyoten, "Fully-parallel pattern-matching engine with dynamic adaptability to Hamming or Manhattan distance", 2002 Symposium on VLSI Circuit Dig. of Tech. Papers, 252-255페이지, 2002년.
[문헌 3]
T. Koide, Y. Yano, H. J. Mattausch, "An associative memory for real-time applications requiring fully parallel nearest Manhattan-distance-search", Proc. of the Workshop on Synthesis And System Integration of Mixed Technologies, 200-205페이지, 2003년.
[문헌 4]
H. J. Mattausch, T. Gyohten, Y. Soda, T. Koide, "Compact associative-memory architecture with fully-parallel search capability for the minimum Hamming distance", IEEE Journal of Solid-State Circuits, Vol.37, 218-227페이지, 2002년.
[문헌 5]
Y. Yano, T. Koide, H. J. Mattausch, "Fully parallel nearest Manhattan- distance search memory with large reference-pattern number", Extend. Abst. of the International Conf. on Solid-State Devices and Materials, 254-255페이지, 2002년.
[문헌 6]
일본 특허 출원 제 2001-011760 호
[문헌 7]
일본 특허 출원 제 2002-159436 호
[문헌 8]
일본 특허 출원 제 2002-165759 호
이 연상 메모리는 인식 기능 실현에 중요한 요소인 최소 거리 검색 기능을 갖고 있으며, 검색 데이터와 각 참조 데이터의 비교를 디지털에 의한 비교 계산과 아날로그에 의한 최소값 계산에 의해 행함으로써, 모든 데이터간의 비교를 병렬로 처리하는 것이 실행 가능하다. 따라서, 연상 메모리는 고속의 패턴 매칭 처리를 실현할 수 있는 것으로서 주목받고 있다.
그러나, 연상 메모리를 기반으로 한 패턴 인식 시스템의 경우에도, 새로운 참조 데이터를 인식하도록 효율적으로 학습시키기 위한 구체적인 방법이 확립되어 있지 않아, 참조 데이터의 추가 또는 교체의 처리에 상당한 시간이 필요하다.
발명의 개시
이상 설명한 바와 같이, 인공 지능 시스템에서는, 입력 환경의 변화에 대응 하여 패턴 인식을 실행하는 기능이 필요하고, 학습에 의한 폭넓은 인식을 실행하는 것이 중요하다. 종래의 시스템에서는, 프로세서를 기반으로 하거나 또는 뉴럴 네트워크를 기반으로 한 방법에 의해 학습이 이루어지고 있다. 학습을 실현하기 위해서는, 프로세서 기반의 시스템의 경우, 하나의 방법 또는 다른 방법에 의해 참조 데이터를 업데이트해야 하고, 뉴럴 네트워크 기반의 시스템의 경우에는 네트워크 전체의 각 네트워크 하중을 업데이트해야 한다. 따라서, 패턴 인식과 학습을 모두 실행하는 경우에는, 전술한 종래 시스템에서는 전력 소비나 회로 규모의 관점에서 집적화가 어렵다고 하는 문제가 있다. 고속 매칭 처리의 실현을 도모한 연상 메모리를 기반으로 한 패턴 인식 시스템이 제안되어 있다. 그러나, 새롭게 추가되는 참조 데이터를 인식하도록 효율적으로 학습시키기 위한 구체적인 방법이 아직 확립되어 있지 않아, 참조 데이터의 인식/학습에 상당한 시간이 필요하다.
본 발명의 목적은, 패턴 매칭 처리에 필수 불가결한 신규 참조 데이터의 인식을 비교적 단시간에 자동적으로 학습시킬 수 있는 참조 데이터 최적화 학습 방법, 및 이 방법을 채용하여 패턴 인식에 소요되는 시간을 더 단축시킬 수 있는 패턴 인식 시스템을 제공하는 것이다.
본 발명에 따른 참조 데이터 최적화 학습 방법은 이하와 같은 특징을 갖는다.
(1) 패턴 검색 대상인 입력 데이터와 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 임계값에 의해서 결정되는 인식 영역 내에 존재하는 최소 거리의 참조 데이터를 인식 데이터로서 선택하고, 상기 인식 데이터의 학습에 의해서 참조 데이터를 패턴 인식용으로 최적화하는 참조 데이터 최적화 학습 방법을 제공한다. 이 방법은, 상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수 취입하는 단계와, 입력 데이터와 참조 데이터와의 거리 분포의 중심점(gravity center point)을 구해서, 당해 중심점에 위치하도록 상기 참조 데이터의 위치를 최적화하는 단계를 포함하는 것을 특징으로 한다.
(2) (1)에 있어서, 상기 참조 데이터의 위치의 최적화에서, 당해 참조 데이터의 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한한다.
(3) (1)에 있어서, 상기 참조 데이터의 위치의 최적화에서, 서로 인접하는 참조 데이터 사이에서 설정되는 인식 영역들이 중첩되지 않도록 임계값을 변경해서 인식 영역을 확대 또는 축소한다.
(4) 참조 데이터 최적화 학습 방법은, 패턴 검색 대상의 입력 데이터를 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 임계값에 의해서 결정되는 인식 영역 내에서 최소 거리에 있는 참조 데이터를 인식 데이터로서 선택하는 패턴 인식에 이용되고, 상기 인식 데이터의 학습에 의해서 참조 데이터를 패턴 인식용으로 최적화한다. 상기 방법은, 인식 영역의 내외측에 있는 입력 데이터의 수를 카운트하는 단계와, 인식 영역 내외측의 입력 데이터의 수 중 먼저 일정 회수에 도달하는 쪽을 판별하는 단계와, 먼저 상기 일정 회수에 도달하는 쪽에 대해 임계값을 변경하여 상기 인식 영역의 확대 또는 축소를 행해서 참조 데이터의 위치를 최적화하는 단계를 포함한다.
(5) (3) 또는 (4)에 있어서, 참조 데이터의 위치 최적화에서, 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택한다.
(6) (3) 또는 (4)에 있어서, 상기 임계값은 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 기준값을 초과하는 경우에만 변경된다.
(7) (1)에 있어서, 거리 연산에 제공되는 거리의 지표로는 유클리드 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 해밍 거리(Hamming distance), 마할라노비스 거리(Mahalanobis distance) 중 어느 하나를 이용한다.
본 발명에 따른 패턴 인식 시스템은 이하와 같은 특징을 갖는다.
(8) 상기 시스템은, 적어도 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터를 기억하는 참조 데이터 기억 수단, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하는 최소 거리 검색 수단, 및 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 판단 수단을 구비하는 연상 메모리와, 상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수 취입하고, 입력 데이터와 참조 데이터와의 거리 분포의 중심점을 구해서, 당해 중심점에 위치하도록 상기 참조 데이터의 위치를 최적화하는 최적화 수단을 구비한다. 상기 시스템은 상기 최적화된 참조 데이터에 근거하여 참조 데이터 기억 수단에 기억된 참조 데이터를 업데이트하는 것을 특징으로 한다.
(9) (8)에 있어서, 상기 최적화 수단은 상기 참조 데이터의 임계값에 의해서 결정된 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한한다.
(10) (8)에 있어서, 상기 최적화 수단은 서로 인접하는 참조 데이터에서 임계값에 의해서 결정되는 인식 영역들이 중첩되지 않도록 임계값을 변경해서 인식 영역을 확대 또는 축소한다.
(11) 상기 시스템은, 적어도 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터를 기억하는 참조 데이터 기억 수단, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하는 최소 거리 검색 수단, 및 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 판단 수단을 구비하는 연상 메모리와, 상기 임계값에 의해서 결정되는 인식 영역 내외측에 있는 입력 데이터의 수를 카운트하여, 먼저 일정 회수에 도달하는 쪽에 대해 임계값을 변경해서 상기 인식 영역을 확대 또는 축소하는 최적화 수단을 구비한다. 상기 시스템은 상기 최적화된 참조 데이터에 근거하여 참조 데이터 기억 수단에 기억된 참조 데이터를 업데이트하는 것을 특징으로 한다.
(12) (10) 또는 (11)에 있어서, 상기 최적화 수단은 임계값의 변경량을 미리 설정된 확률 분포로부터 선택한다.
(13) (10) 또는 (11)에 있어서, 상기 최적화 수단은 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 기준값을 초과할 때에만 임계값을 변경한다.
(14) (8) 또는 (11)에 있어서, 거리 연산에 제공되는 거리의 지표로는 유클 리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용한다.
(15) (8) 또는 (11)에 있어서, 상기 연상 메모리 및 상기 최적화 수단은 1칩 집적 회로에 내장된다.
(16) 패턴 인식 시스템은, 프로그램에 따라 연산 처리를 실행하는 프로세서, 적어도 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터, 프로세서의 연산 처리 결과, 상기 연산 처리에 이용하는 파라미터를 기억하는 기억 수단을 구비하며, 상기 프로세서가, 상기 프로그램에 의해서, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하고, 상기 최소 거리가 임계값 이상인지 여부에 따라 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 연산 처리 장치와, 상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수 취입하고, 상기 입력 데이터와 참조 데이터와의 거리 분포의 중심점을 구하여, 당해 중심점에 위치하도록 참조 데이터의 위치를 최적화하는 최적화 수단을 구비한다. 상기 시스템은 상기 최적화된 참조 데이터에 근거하여 상기 참조 데이터 기억 수단에 기억된 참조 데이터를 업데이트하는 것을 특징으로 한다.
(17) (16)에 있어서, 상기 최적화 수단은 참조 데이터의 임계값에 의해서 결정되는 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한한다.
(18) (16)에 있어서, 상기 최적화 수단은 서로 인접하는 참조 데이터 사이에서 임계값에 의해서 결정되는 인식 영역이 중첩되지 않도록 임계값을 변경하여 인식 영역을 확대 또는 축소한다.
(19) 상기 시스템은, 프로그램에 따라 연산 처리를 실행하는 프로세서, 적어도 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터, 상기 프로세서의 연산 처리 결과, 상기 연산 처리에 이용하는 파라미터를 기억하는 기억 수단을 구비하며, 상기 프로세서가, 상기 프로그램에 의해서, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하여, 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 연산 처리 장치와, 상기 임계값에 의해서 결정되는 인식 영역 내외측에 있는 입력 데이터의 수를 카운트하여, 먼저 일정 회수에 도달하는 쪽에 대해 임계값을 변경하여 인식 영역을 확대 또는 축소하는 최적화 수단을 구비한다. 이들 시스템은 상기 최적화된 참조 데이터에 근거하여 상기 참조 데이터 기억 수단에 기억된 참조 데이터를 업데이트하는 것을 특징으로 한다.
(20) (18) 또는 (19)에 있어서, 상기 최적화 수단은 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택한다.
(21) (18) 또는 (19)에 있어서, 상기 최적화 수단은 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 기준값을 초과할 때에만 임계값을 변경한다.
(22) (16) 또는 (19)에 있어서, 상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용한다.
(23) (16) 또는 (19)에 있어서, 상기 연산 처리 장치 및 상기 최적화 수단은 1칩 집적 회로에 내장된다.
도 1은 본 발명에 따른 방법이 적용되는 연상 메모리의 개념도,
도 2는 도 1의 연상 메모리의 일례로 하는 완전 병렬형 연상 메모리(fully parallel associative memory)의 구성예를 나타내는 블럭도,
도 3은 본 발명에 따른 최적화 학습 방법의 개념도,
도 4는 본 발명에 따른 최적화 학습 방법의 개념도,
도 5는 본 발명에 따른 최적화 학습 방법의 개념도,
도 6은 본 발명이 적용되는 연상 메모리의 참조 데이터와 입력 데이터의 대응 관계를 나타내는 도면,
도 7은 본 발명에 따른 참조 데이터 및 인식 영역의 최적화 학습 알고리즘을 나타내는 흐름도,
도 8은 도 7의 임계값 최적화 학습 알고리즘을 설명하기 위한 인식 영역의 축소/확대의 상태를 나타내는 개념도,
도 9는 본 발명에 따른 임계값의 업데이트량이 선택되는 확률 분포를 나타내는 특성도,
도 10은 본 발명에 따른 학습 기능을 부가한 연상 메모리의 아키텍쳐를 나타내는 블럭도,
도 11은 도 10에 도시한 학습 회로의 구체적인 구성을 나타내는 블럭도,
도 12는 도 11에 도시한 확률 분포 저장 메모리가 Dgi=3인 경우에 발생시키는 난수 선택의 일례를 나타내는 개념도,
도 13은 본 발명에 따른 참조 데이터 최적화 학습의 시뮬레이션 결과를 나타내는 그래프,
도 14는 본 발명에 따른 임계값 최적화 학습(인식 영역 최적화)의 시뮬레이션 결과를 나타내는 그래프,
도 15a는 도 13의 시뮬레이션에 이용한 입력 데이터의 편차 상태를 나타내는 정규 분포의 파형도,
도 15b는 도 13, 도 14의 시뮬레이션에 이용한 입력 데이터의 편차 상태를 나타내는 균등 분포(uniform distribution)의 파형도,
도 16은 본 발명의 최적화 학습 방법을 채용하는 프로세서 기반의 패턴 인식 시스템의 구성을 나타내는 블럭도이다.
발명을 실시하기 위한 최선의 형태
이하, 도면을 참조하여 본 발명을 실시하기 위한 최선인 형태를 상세히 설명한다.
본 발명에 따른 방법이 적용되는 연상 메모리는, 도 1에 도시하는 바와 같이, 미리 메모리에 축적된 복수의 참조 데이터(또는 템플레이트(template))와 입력 데이터(또는 검색 데이터)를 미리 지정한 거리 지표에 근거하여 유사도로 비교해 서, 입력 데이터와 가장 유사한(가장 거리가 짧은) 참조 데이터(이하, 위너(winner)라고 부름)를 검출함으로써 패턴 매칭을 실행하는 기능 메모리이다.
도 2는 상기 연상 메모리의 일례로서, 고속 처리, 소면적 및 저소비 전력의 실현을 향해서 개발이 진행되고 있는 완전 병렬 최소 거리 검색을 실행하는 타입(완전 병렬형 연상 메모리)의 구성예를 나타내는 블럭도이다. 도면에 있어서, 메모리 코어 부분은 메모리 영역(100), 위너-라인-업 증폭 회로(winner-line-up amplification circuit)(이하, WLA 회로)(200), 전(全) 위너 취득 회로(winner-taken-all circuit)(이하, WTA 회로)(300)를 구비하며, 주변 회로로서, 행 디코더 및 R/W 회로(M×W행)(110), 열 디코더(R열)(120), 검색 데이터 보존 회로(M비트×W)(130)를 가진다.
메모리 영역(100)은 참조 데이터를 유닛 단위(unit)(M비트)로 보존하기 위한 SRAM 셀로 형성되는 W×R개의 유닛 보존 회로(US), 각 유닛용 참조 데이터와 검색 데이터와의 차의 절대값(후술하는 맨하탄 거리)을 계산하는 W×R개의 유닛 비교 회로(UC), 계산한 거리를 아날로그 전압(혹은 전류)으로 변환하는 R개의 워드 가중치 비교 회로(WC)를 구비한다.
워드 가중치 비교 회로 WC에 의해 생성된 비교 신호 Ci는 WLA 회로(200)에 입력된다. WLA 회로(200)는 이 신호 Ci를 회로 자신의 밸런스에 근거하여 제어해서, 최초의 단계에서 각 행간의 전압의 차를 가장 크게 증폭시킨다. WLA 회로(200)와 WTA 회로(300)는 면적 증가 비율이 행의 수 R에 대하여 선형 O(R)의 소 면적으로 실현 가능하다는 특징이 있다.
WTA 회로(300)는 WLA 회로(200)에 의해 증폭된 각 행간의 전압 출력 LAi의 차를 더욱 증폭하는 기능을 가진다. WTA 회로(300)의 출력 Mi에서는, 위너 행이 "1", 그 외의 루저(loser) 행이 "0"인 디지털 신호로 생성된다. WLA 회로(200)는 내부의 피드백 신호 F를 이용하여 증폭점의 위너 행이 최대의 증폭을 얻을 수 있다. 워드 가중치 비교 회로 WC로 반환할 때에, 당해 WLA 회로(200)에 내장된 전압 팔로워 회로(voltage follower circuit)를 이용하여 피드백 속도를 고속화한다.
맨하탄 거리 D는 벡터 a=(a1, a2, …, ai, …, aN) 및 b=(b1, b2, …, bi, …, bN)인 경우에 이하의 수학식으로 표시된다.
Figure 112006060516503-PCT00001
도 3은 본 발명에 따른 최적화 학습 알고리즘의 개념도이다. 패턴을 색조(color tones)와 형상(shapes)의 2차원적으로 분류하는 경우를 예로 들어 나타낸다. 도 3중의 상부 좌측 (a)에 있어서, 입력 데이터(8각형의 마크)와 미리 축적된 4개의 참조 데이터 A, B, C, D 중, 최소의 맨하탄 거리 1을 가지는 가장 유사한 패턴을 위너로서 선택한다. 이 경우의 위너는 A의 8각형의 마크이다. 최소 맨하탄 거리를 「위너 거리 Dwi」로서 설정한다.
위너 거리 Dwi가 참조 데이터 i에 대하여 미리 지정한 인식 영역을 결정하는 임계 거리 Dthi 이하(Dwi≤Dthi)이면, 위너는 인식된 위너로서 간주된다. 이 위너 거리 Dwi를 「인식 위너 거리 Drwi」라고 부른다. 따라서, 가장 유사한 패턴이 미리 지정된 임계값 내에 존재하는 경우에, 연상 메모리에 의해서 패턴이 인식된다. 한편, Dwi가 Dthi보다 크면(Dwi>Dthi), 그 입력 데이터는 해당하는 참조 데이터와 유사하지 않다고 보아, 어떤 참조 데이터에도 유사하지 않다고 하여, 인식되지 않는다. 그러나, 연상 메모리에서는 참조 데이터와 입력 데이터를 비교하여 위너를 검색하고, 이에 의해, 위너 거리 Dwi를 구하고 있다. 따라서, 미리 최적의 참조 데이터를 준비해 두는 것이 효과적인 인식을 위해서는 중요하다. 예컨대, 도 3의 중앙 (b)에 있어서, 입력 데이터 분포가 도시한 바와 같은 경우에는, 참조 데이터 B에 의해 나타낸 입력 데이터 그룹의 중심이 최적의 참조 데이터 B'인 것이 바람직하다.
또한, 「인식 위너 거리 Drwi」는 임계값 Dthi와 위너 거리 Dwi를 비교함으로써 인식될지 여부가 판단되기 때문에, 최적의 임계값 Dthi의 설정은 인식 향상을 위해서는 중요하다. 예컨대, 임계값 Dthi에 대하여, 어떤 참조 데이터에 대응하는(유사한) 입력 데이터 모두를 (100%) 인식 가능하게 하는 임계값을 Dmaxi라고 가정하면, Dthi가 Dmaxi에 비해서 너무 작은 경우에는 인식률이 저하하거나, 또는 반대로 너무 커서 다른 참조 데이터와 일치하는 경우에는 오류 인식하게 된다(도 3 중 (c), (d)). 따라서, 참조 데이터에 임계값 Dthi의 영역(인식 영역)이 중첩되면, 그 중첩 정도에 의거하여 잘못된 인식의 가능성이 있기 때문에, 인식 영역의 중첩을 해소하는 것이 필요하다.
이러한 중첩의 해소는, 도 4 중의 하부 (c)에 도시하는 바와 같이, 참조 데이터를 시프팅함으로써(C→C', D→D'), 또는 도 5 중의 하부 (c)와 같이, 참조 데이터 i의 임계값 Dthi를 감소시킴으로써 실현할 수 있다. 이와 같이, 연상 메모리 기반의 시스템에서는, 인식을 정확하게 실행하기 위한 각 참조 데이터 i에 대한 임계값 Dthi의 최적화에 의한 인식 영역의 최적화가 필요하다.
따라서, 본 발명의 최적화 학습이란, 2개, 즉 참조 데이터를 최적의 것으로 업데이트하는 「참조 데이터 최적 학습」 및, 각 참조 데이터의 임계값을 최적의 것으로 업데이트하는 「인식 영역 최적 학습」을 의미한다. 이하, 도 6 내지 도 9를 참조하여 학습 알고리즘을 상세히 설명한다.
이하의 설명에 있어서, US, SB, G는 각각 참조 데이터, 입력 데이터, 및 참조 데이터와 입력 데이터와의 차의 벡터를 의미하는 것으로 한다. 도 6에 도시하는 바와 같이, 연상 메모리에 보존하고 있는 참조 데이터의 세트를 US={US1, US2, …, USi, …, USR}(R은 연상 메모리의 데이터 수(행 수))로 한다. 각 참조 데이터는 M비트의 W워드로 구성되는 것으로 한다. 따라서, USi=(Xi1, Xi2, …, Xij, …, XiW)(W는 연상 메모리의 벡터 수(열 수))로 나타낼 수 있다. 참조 데이터 USi(1≤i ≤R)에 대하여, 인식 위너로서 인식된 N개의 입력 데이터의 세트를 SBi={SBi ,1, SBi,2, …, SBi ,k, …, SBi ,N}(1≤k≤N)로 정의하고, 입력 데이터를 SBi , k=(yi1 ,k, yi2 ,k, …, yij ,k, …, yiW ,k)(1≤j≤W)로 정의한다.
도 7은 본 발명에 따른 참조 데이터 및 인식 영역의 최적화 학습 알고리즘을 나타내는 흐름도이다.
먼저, 참조 데이터의 최적화 학습 알고리즘에 대하여 설명한다. 본 알고리즘에서는, 최적의 참조 데이터란, 어떤 참조 데이터가 인식 위너로 선정되는 모든 입력 데이터의 중심(gravity center)(센터)이라고 가정한다(도 3 중의 (a)). 그러나, 입력 데이터가 시간과 함께 연속적으로 입력되는 온라인 인식에서는 최초의 모든 입력 데이터의 정보가 한번으로 알 수 없기 때문에, 일반적으로 최적의 참조 데이터를 얻는 것이 어렵다. 그래서, 본 발명에서는, 인식 위너로 설정된 참조 데이터에 대응하는 일정 회수의 입력 데이터에 근거하여, 그들의 중심(gravity center)을 계산해서 참조 데이터를 최적화한다. 이러한 처리에 의해서, 어떠한 영향으로 입력 데이터의 분포가 변할 때라도, 그 분포의 변화에 충분히 대응할 수 있다.
참조 데이터를 최적으로 것으로 업데이트하기 위한 학습 알고리즘을 도 7의 흐름도를 참조하여 설명한다. 먼저, US에 입력 데이터 SBi ,k를 입력하여(단계 S1), 위너의 검출을 실행하면(단계 S2), USi가 위너로 된다. 다음에, 위너 거리 Dwi ,k를 계산하여, 임계값 Dthi와 비교한다(단계 S3). 비교 결과, Dwi ,k≤Dthi인 경우, Drwi=Dwi,k가 인식되어, 입력 데이터 SBi ,k와 참조 데이터 USi와의 벡터 차 Gi ,k를 이하의 식 (1)에 의해 계산하여 기억한다(단계 S4).
Figure 112006060516503-PCT00002
N회 인식 위너로 된(단계 S6, S7) 참조 데이터에 대응하는 입력 데이터에 근거하여, 참조 데이터 USi를 이하의 식 (2)에 의해 업데이트한다(단계 S8).
Figure 112006060516503-PCT00003
입력 데이터의 각 입력에 대해서 인식이 행해져, N회 인식 위너로 된(단계 S6, 단계 S7) 참조 데이터에 대해 Gi ,k가 N회 계산된다(단계 S6, 단계 S7). Gi ,k는 입력 데이터와 인식 위너로 된 참조 데이터와의 차의 정도를 나타내는 벡터이다. N회의 Gi ,k로부터 식 (2)의 제 2 항이 구해지고, 참조 데이터와 입력 데이터의 중심과의 차의 크기를 판정한다. 그 차가 크면, 그 차를 줄이도록 식 (2)로부터 참조 데이터를 최적으로 업데이트한다(단계 S8). 차의 대소 판단 기준은 N회분의 입력 데이터와 참조 데이터와의 차로부터 구한 거리(예컨대 맨하탄 거리)와 임계값(예컨대 맨하탄 거리)의 비율이다. 식 (2)의 제 2 항에 나타내는 대소 판단 기준은 후술하는 업데이트 처리에서 이용되는 식 (7)과 동일하다. 참조 데이터 업데이트와 임계값 업데이트의 절차는 동일하며, 입력 데이터의 중심과 참조 데이터의 차가 큰 경우, 참조 데이터와 임계값을 업데이트한다.
다음에 각 참조 데이터 USi의 임계값 Dthi를 최적화하는 학습 알고리즘에 대해서 설명한다.
먼저, 임계값을 변경하는 것은 인식 영역의 축소 또는 확대를 의미한다. 그것을 위해서는, 입력 데이터가 인식 영역 내측/외측에 입력되는 비율을 판단해야 한다. 본 발명에서는, 도 8에 점선으로 표시된 인식 영역의 내측(≤Dthi) 또는 외측(>Dthi)에 존재하는 입력 데이터의 수를 카운트하여(단계 S6, S10), 미리 지정한 일정 회수의 입력 데이터가 N회 발생할 때에 인식 영역을 축소 또는 확대한다.
어떤 참조 데이터 USi가 위너로 된 경우(단계 S2), 즉 위너 거리가 임계값보다 작은 경우에는, 위너 거리를 인식 위너 거리 Drwi ,k(1, 2, …, k, …, N)로 설정하여(단계 S3), 이들의 입력 데이터의 세트를 SBi={SBi ,1, SBi ,2, …, SBi ,k, …, SBi,N}으로 설정한다. 한편, 임계값보다도 큰 경우, 위너 거리를 인식 위너 거리 Dwi,k(1, 2, …, k, …, N)로 설정하여, 이들의 입력 데이터의 세트를 SBei={SBei ,1, SBei,2, …, SBei ,k, …SBei ,N}으로 설정한다. 이들은 임계값의 업데이트량 Dc를 얻기 위한 파라미터이다. Dthi와 Dwi 또는 Drwi의 Dgi를 이하의 식 (3), (4)에 의해 얻는다(단계 S11). Dgi는 N회분의 입력 데이터가 임계값으로부터 어느 정도의 편차인지를 나타내고, 임계값 업데이트는 이 편차의 감소를 의미한다.
Figure 112006060516503-PCT00004
임계값의 업데이트량 Dci는, 도 9에 도시하는 바와 같이, 미리 설정된 확률 분포, 예컨대 삼각 분포의 확률 분포로부터 선택된다. 도 9는 임계값의 업데이트량 Dci가 선택되는 확률 분포 ρ(Dci)를 나타내고 있으며, A가 Dgi=4인 경우, B가 Dgi=3인 경우를 나타내고 있다.
Figure 112006060516503-PCT00005
따라서, 임계값은 아래와 같이 학습된다.
Figure 112006060516503-PCT00006
참조 데이터 및 임계값의 양 학습에서 업데이트 처리를 행한다. 맨하탄 거리 Gti가 이하의 식 (8), (9)에 의해 표현되는 Gmi의 각 차원의 평균으로부터 얻어지면, 식 (10)에 의해 표현되는 맨하탄 거리 Gti는 임계값과 비교하면 작으며(예컨대, 임계값의 약 20%),
Figure 112006060516503-PCT00007
Figure 112006060516503-PCT00008
참조 데이터과 임계값 모두 업데이트되지 않는다. 왜냐하면, Gti가 입력 데이터의 세트의 중심과 현재의 참조 데이터와의 맨하탄 거리, 즉 현재의 참조 데이터 USi로부터의 새로운 참조 데이터의 이동 정도를 나타내기 때문이며, 작은 Gti가 적은 업데이트량을 의미하므로, 업데이트를 실행하는 경우라도 인식률의 향상은 크게 기대할 수 없다. 그래서, 이러한 업데이트량이 적은 경우에는, 업데이트를 방지하여 업데이트 회수를 억제해서, 효율이 양호한 참조 데이터의 최적화를 실행한다.
다음에, 상기 참조 데이터 및 인식 영역의 최적화 학습 알고리즘에 근거하는 연상 메모리 기반의 시스템의 아키텍쳐에 대하여 설명한다.
도 10은 연상 메모리 기반의 최적화 학습 시스템의 아키텍쳐를 나타내는 블럭도이다. 아키텍쳐는 연상 메모리 장치(400)에 대하여, 제어 회로(500), 학습 회로(600), 비교 회로(700), 데이터 보존 회로(800), 보존 대상 선택 회로(900)를 구비한다.
연상 메모리 장치(400)는 최소 거리 검색을 실행하는 연상 메모리(410), 입력 데이터를 일시적으로 보존하는 입력 버퍼(420), 연상 메모리(410)에 의해 추출된 2진수(위너만 "1"을 출력하고, 다른 어드레스 행은 "0"을 출력함)를 행 어드레스로 변환하는 인코더(430)를 구비한다.
제어 회로(500)는 이 시스템 전체의 처리를 제어한다. 학습 회로(600)는 연상 메모리 장치(400)의 참조 데이터 및 인식 영역을 결정하는 임계값을 최적의 값으로 학습하여 업데이트한다. 비교 회로(700)는 임계값 비교용 및 업데이트 제어용으로 제각기 준비되는 비교기(710, 720)를 포함한다. 데이터 보존 회로(800)는 임계값 기억용, 참조 데이터 학습용, 임계값 축소용, 임계값 확대용의 각각의 계산 결과를 저장하기 위한 제 1 내지 제 4 메모리(810-840)를 구비한다. 보존 대상 선택 회로(900)는 제어 회로(500) 및 학습 회로(600) 각각의 처리 과정을 통해 얻어지는 데이터의 보존 대상을 선택하기 위한 제 1 및 제 2 카운터(910, 920)를 구비한다.
도 11은 상기 학습 회로(600)의 구체적인 구성을 나타내는 블럭도이다. 이 학습 회로(600)는 감산기(601), 가산기(602), 제산기(603), 난수 발생기(604), 확률 분포 저장 메모리(605) 및 각 블럭(601~605)의 데이터 입출력에 이용하는 레지스터(REG)(611~615), 입력 버퍼(420)로부터의 입력 데이터, 인코더(430)로부터의 위너 행 어드레스, 데이터 보존 회로(800)의 메모리(810~840)로부터의 데이터(이하, 메모리 1, 메모리 2, 메모리 3, 메모리 4이라 함)를 선택적으로 취입하여, 감산기(601), 가산기(602), 제산기(603)에 전달하는 입력 선택 스위치(621), 레지스 터(611~615)에 수취한 데이터를 연상 메모리 장치(400), 데이터 보존 회로(800)에 전달하는 출력 선택 스위치(622)를 구비한다.
도 10 및 도 11에 나타내는 구성의 아키텍쳐에 있어서, 이하에 구체적인 동작을 설명한다.
설명을 간단히 하기 위해서, W=2인 참조 데이터의 i행에 USi=(80, 110)가 연상 메모리(410)에 미리 축적되어 있다고 가정한다. 먼저, 임계값 Dthi=10이 임계값 기억용의 메모리 1에 축적되어 있다고 가정하고, 입력 데이터 SBi ,1=(75, 112)이 연상 메모리(410)에 입력될 때, i행이 위너로 되는 경우, 연상 메모리(410)로부터 i행째만 「1」이 출력되는 반면, 다른 행은 「0」이 출력된다. 연상 메모리(410)로부터 (0, …, 1, …, 0)T(T는 전치(transposition)를 의미함)가 인코더(430)에 입력되고, 이 인코더(430)로부터 행 어드레스 i가 출력된다.
학습 회로(600)에 i행이 입력된 후에, 참조 데이터 i행째 USi=(80, 110)와 입력 데이터 SBi ,1=(75, 112)와의 거리를 거리 지표(예컨대, 맨하탄 거리)에 근거하여 계산한다. 감산기(601)에서는 각 차원의 감산을 실행한다. 식 (1)로부터, 이하의 수학식이 얻어진다.
Figure 112006060516503-PCT00009
이 계산 결과에 근거하여 보수(compliment)의 변환을 행한 후, 가산기(602)를 이용하여 위너 거리(예컨대, 맨하탄 거리) Dwi ,1=7을 계산한다. 임계값 비교용의 제 1 비교기(710)에서 임계값과 위너 거리를 비교하면 Dthi>Dwi ,1이기 때문에, 이 위너는 인식 위너이며, 참조 데이터 학습용의 메모리 2에 Gi ,1을 기억한다. 또한, Dwi,1=Drwi,1=7이 확립되어, 임계값 축소용의 메모리 3에 Drwi ,1을 기억한다.
{SBi ,2, SBi ,3, SBi ,4}={(86, 112), (81, 114), (77, 105)}이고, 인식 위너로 되는 입력 데이터가 미리 결정된 회수(N=4) 입력되면, {Gi ,1, Gi ,3, Gi ,4}={(6, 2), (1, 4), (-3, 5)}와 {Drwi ,2, Drwi ,3, Drwi ,4}={8, 5, 8}을 얻을 수 있다. 참조 데이터 학습용 메모리 2에 Gmi={-1, 13}이 기억되고, 임계값 축소용의 메모리 3에 이하의 수학식이 기억된다.
Figure 112006060516503-PCT00010
N=4회 입력되었기 때문에, 감산기(601), 가산기(602), 제산기(603)를 이용하여 식 (10)으로부터 Gti=3이 얻어진다. Gti=3이 업데이트량으로서 작다고 판단된 경우에는 학습되지 않는다. 업데이트 전의 임계값의 20% 이하인 경우에 업데이트량이 작다고 가정하면, Gti=3은 이 값보다 커지고, 이에 따라, 참조 데이터 및 임계 값 영역의 최적화가 행하여진다. 식 (2)로부터, 참조 데이터는 USi=(0, 3)+(80, 110)=(80, 113)으로 업데이트되고, 임계값은 식 (3)으로부터 Dgi=3으로 된다.
Dci를 식 (5)에 의해 발생시키는 방법을 이하에 설명한다. 도 9에 있어서, Dgi=3인 경우, 확률 분포 저장 메모리(605)는 Dgi=3에 대하여 0.00~0.45, 0.46~0.71, 0.72~0.91, 0.92~1.00을 미리 저장하고 있다. 이 경우, 난수 발생기(604)에 의해서 0.00~1.00의 균일한 난수를 발생시킨다. 도 12에 도시하는 바와 같이, 난수가 0.00~0.45, 0.46~0.71, 0.72~0.91, 092~1.00의 경우는 제각각 Dc=0, Dci=1, Dci=2, Dci=3을 얻을 수 있다. Dci=1이 얻어진 경우, 식 (6)으로부터 Dthi=10-1=9로 업데이트된다.
참조 데이터 업데이트 학습 알고리즘과 각 참조 데이터의 임계값 업데이트 학습 알고리즘(인식 영역 최적화 알고리즘)을 C 언어를 이용하여 컴퓨터상에서 실현하여, 그 유효성을 검증하기 위해 컴퓨터에 의한 시뮬레이션을 행하였다. 그 결과를 각각 도 13, 도 14에 나타낸다. 여기서 학습 회수란, 실제로 참조 데이터나 임계값을 업데이트한 회수를 의미한다.
도 13의 시뮬레이션 조건은 R=1, W=5, N=4이며, 입력 데이터의 편차는 정규 분포를 이용하였다. 정규 분포는 도 15a에 나타내는 확률 분포이며, 중심으로부터의 편차 s는 이하의 수학식에 의해 표현되는 확률로 얻어진다.
Figure 112006060516503-PCT00011
이 시뮬레이션에서는 σ=3으로 설정하였다. 참조 데이터의 최적화 실행을 체크하기 위해서는, 입력 데이터의 중심이 변화된 경우, 그 변화에 따라 참조 데이터의 변화가 수반되는지 여부를 체크하였다. 그 방법으로서는, 일정 회수의 입력 데이터가 입력되면, 입력 데이터의 중심 값을 각 차원에서 「1」만큼 증가시켜 조금씩 변화시켰다. 즉, 입력 데이터의 중심이 시작시에 (10, 15)이었던 경우에, 처음 변화 후에는 (11, 16)으로 변화하였다.
도 14의 시뮬레이션 조건은 R=1, W=5, N=4이며, 입력 데이터의 편차에 정규 분포와 균등 분포(uniform distribution)를 이용하였다. 균등 분포는 도 15b에 나타낸 확률 분포이며, 중심으로부터의 편차 s는 이하의 수학식에 의해 표현되는 확률로 얻어진다.
Figure 112006060516503-PCT00012
이 시뮬레이션에서는 σ=3으로 설정하였다. 이 시뮬레이션에서는 입력 데이터의 변화는 없었다.
최적화의 정도를 나타내는 지표로서는, 도 13에서 오차율을 이용하고, 도 14에서 거리 오차율을 이용하였다. 이 경우, 오차율 αi는 이하의 수학식에 의해 표 현된다.
Figure 112006060516503-PCT00013
MSEi는 i행의 참조 데이터에 대한 입력 데이터의 평균 자승 오차(average square error)이다(일정 회수마다 계산됨). MSEOi는 이상적인 참조 데이터에 대한 모든 입력 데이터로부터 얻어지는 추정의 평균 자승 오차이며, 무한히 입력 데이터가 입력되면, 평균 자승 오차 MSEi에 의해 발생할 수 있는 오차이다. 즉, 오차율 αi는 발생할 수 있는 오차 MSEOi로부터의 현재의 평균 자승 오차 MSEi의 편차 정도를 나타내는 비율이다. 이 오차율 αi는 「0」에 근접할수록 참조 데이터가 더 최적화됨을 나타낸다.
거리 오차율은 이하의 수학식에 의해 표현된다.
Figure 112006060516503-PCT00014
Dmaxi는 인식률이 100%인 임계값이다. 따라서, 이 거리 오차율은 「0」에 가까울수록 인식 영역이 더 최적화됨을 나타낸다. 도 13의 결과로부터, 학습 회수 가 증가함에 따라 참조 데이터의 최적화가 행하여지는 것을 알 수 있다. 또한, 입력 데이터의 분포의 변화에 참조 데이터가 추정하여, 입력 데이터의 변화에 따른 최적의 참조 데이터로 되는 것을 알 수 있다. 도 14에서는, 입력 데이터의 입력 분포를 2가지, 즉 정규 분포와 균등 분포를 이용하고, 양 분포는 학습 후에 인식률이 75% 이상의 임계값으로 되었다. 여기서, 도 14에 있어서, 정규 분포의 입력 데이터에서의 거리 오차율이 커져 있다. 그 이유는, 정규 분포의 입력의 경우에, 최적의 참조 데이터의 중심 주위로 입력 데이터가 기울어져 있으므로, 임계값은 증가하기 어렵기 때문에, 결과적으로 거리 오차율이 커진다.
본 실시예에서는, 거리 지표의 예로서 맨하탄 거리를 들었다. 그러나, 유클리드 거리(Euclidean distance), 해밍 거리(Hamming distance), 마할라노비스(Mahalanobis distance) 등의 다른 거리 지표를 사용할 수 있다.
본 실시예에서는, 연상 메모리 기반의 패턴 인식 시스템에 대하여 설명하였다. 그러나, 본 발명은 이것에 한정되지 않는다. 예컨대, 본 발명은 프로세서 기반의 패턴 인식 시스템에도 적용 가능하다. 이하, 이 프로세서 기반의 시스템의 실시예에 대해서 도 16을 참조하여 설명한다.
도 16은 본 발명의 최적화 학습 방법을 채용하는 프로세서 기반의 패턴 인식 시스템의 구성을 나타내는 블럭도이다. 도 16에 있어서, 1000은 중앙 처리 장치(Central Processing Unit; CPU), 1100은 메모리, 1300은 CPU(1000)와 메모리(1100) 사이에서 기록 데이터, 판독 데이터를 전송하는 데이터 버스이다.
CPU(1000)는 ALU(Arithmetic and Logic Unit; 계산 로직 유닛)(1010), 레지 스터(1011~1013), 제어기(1020)를 구비한다. 제어기(1020)는 미리 등록된 프로그램에 근거하여 ALU(1010)에 가감산, 비교, 제산 등을 선택적으로 명령하는 한편, 메모리(1100)의 판독/기록을 제어한다. ALU(1010)의 입출력부에는, 각각 레지스터(1011~1013)가 버퍼로서 배치된다.
메모리(1100)는 입력 데이터 SB1~SBR을 일시적으로 저장하는 영역(1110), 참조 데이터 US11~USRW를 저장하여 업데이트 가능하게 하는 영역(1120), 임계값 데이터 Dth1~DthR을 저장하는 영역(1130), CPU(1000)의 거리 계산 결과 D1~DR을 저장하는 영역(1140), 위너 거리 Dw1 ,1~DwR ,N을 저장하는 영역(1150), 위너 거리와 임계값과의 차 Dg1~DgR을 저장하는 영역(1160), 검색 데이터와 참조 데이터와의 차 G1 ,1~GR ,N을 저장하는 영역(1170), 임계값의 내측에 입력된 회수의 값(제 1 카운터값) 1~N을 저장하는 영역(1180), 임계값의 외측에 입력된 회수의 값(제 2 카운터값) 1~N을 저장하는 영역(1190), 확률적인 임계값 업데이트량 데이터 Dc를 저장하는 영역(1200)을 구비하고, CPU(1000)측의 제어기(020)에 의해 판독/기록의 제어가 이루어진다.
상기 구성에 따르면, 제어기(1020)의 실행 프로그램에 대해서, 연상 메모리의 처리와 동일한 처리가 소프트웨어에 의해서 실행된다. 즉, CPU(1000)에 있어서, 메모리(1100)에 대한 데이터의 전송에 의해서, 패턴 검색 대상의 입력 데이터와 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 임계값에 의해서 결정되는 인식 영역 내에서 최소 거리에 있는 참조 데이터를 인식 데이터로 서 선택한다.
이 경우에, 도 7에 나타낸 흐름도에 근거하는 참조 데이터의 최적화 학습 처리가 상기 제어기(1020)의 실행 프로그램에 내장된다. 이에 따라, 메모리(1100) 내의 참조 데이터는 항상 최적 상태로 업데이트되어, 패턴 인식에 소요되는 시간의 단축이 가능해진다. 전술한 바와 같이, 종래의 프로세서 기반의 시스템의 경우에는, 참조 데이터의 최적화 학습에 의한 업데이트 처리가 내장되어 있지 않기 때문에, 패턴 인식에 소요되는 시간의 단축 및 인식률의 향상이 곤란하였다. 그러나, 이 문제는 본 발명의 최적화 처리를 내장함으로써 해결되어, 패턴 인식에 소요되는 시간의 단축 및 인식률의 향상을 실현할 수 있다.
상기 프로세서 기반의 시스템에서는, 거리 지표의 예로서, 맨하탄 거리 이외에 유클리드 거리, 해밍 거리, 마할라노비스 거리 등의 지표를 이용할 수 있다.
본 발명은 인공 지능 시스템, 자율 로봇, 인증 시스템, IDS(illegal entry detection system), 데이터뱅크 시스템, 인터넷 라우터, 대상 인식, 전동 의수(electric arm), 가사 조력 로봇(domestic help robot) 등의 패턴 매칭 처리에 적용 가능하다.

Claims (34)

  1. 패턴 검색 대상의 입력 데이터와 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 임계값에 의해서 결정되는 인식 영역 내에 존재하는 최소 거리의 참조 데이터를 인식 데이터로서 선택하는 패턴 인식에 이용되고, 상기 인식 데이터의 학습에 의해서 참조 데이터를 상기 패턴 인식용으로 최적화하는 참조 데이터 최적화 학습 방법으로서,
    상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수만큼 취입하는(fetching) 단계와,
    상기 입력 데이터와 상기 참조 데이터와의 거리 분포의 중심(重心)점(a gravity center point)을 구하는 단계와,
    상기 중심점에 위치하도록 상기 참조 데이터의 위치를 최적화하는 단계
    를 포함하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  2. 제 1 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는 상기 참조 데이터의 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  3. 제 1 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는 서로 인접하는 참조 데이터에 설정되는 인식 영역들이 중첩되지 않도록 임계값을 변경하여 인식 영역을 확대/축소하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  4. 제 3 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는 상기 임계값의 변경량(a changing amount)을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  5. 제 3 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  6. 제 1 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 해밍 거리(Hamming distance), 마할라노비스 거리(Mahalanobis distance) 중 어느 하나를 이용하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  7. 패턴 검색 대상의 입력 데이터와 복수의 참조 데이터 사이에서 유사도에 상당하는 거리 연산을 행하여, 임계값에 의해서 결정되는 인식 영역 내에서 최소 거리에 있는 참조 데이터를 인식 데이터로서 선택하는 패턴 인식에 이용되고, 상기 인식 데이터의 학습에 의해서 상기 참조 데이터를 상기 패턴 인식용으로 최적화하는 참조 데이터 최적화 학습 방법으로서,
    상기 인식 영역의 내외측에 있는 입력 데이터 수를 카운트하는 단계와,
    상기 인식 영역의 내외측의 입력 데이터 수 중 먼저 일정 회수에 도달하는 쪽을 판별하는 단계와,
    상기 일정 회수에 도달한 쪽에 대해 상기 임계값을 변경하여 상기 인식 영역의 확대/축소를 행해서 상기 참조 데이터의 위치를 최적화하는 단계
    를 포함하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  8. 제 7 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  9. 제 8 항에 있어서,
    상기 참조 데이터의 위치를 최적화하는 단계는, 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  10. 제 7 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용하는 것을 특징으로 하는 참조 데이터 최적화 학습 방법.
  11. 패턴 인식 시스템에 있어서,
    적어도, 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터를 기억하는 참조 데이터 기억 수단, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하는 최소 거리 검색 수단, 및 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 판단 수단을 구비하는 연상 메모리와,
    상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수만큼 취입하고, 상기 입력 데이터와 상기 참조 데이터와의 거리 분포의 중심점(a gravity center point)을 구하여, 상기 중심점에 위치하도록 상기 참조 데이터의 위치를 최적화하는 최적화 수단
    을 구비하되,
    상기 최적화된 참조 데이터에 근거하여 상기 참조 데이터 기억 수단에 기억된 상기 참조 데이터를 업데이트하는 것
    을 특징으로 하는 패턴 인식 시스템.
  12. 제 11 항에 있어서,
    상기 최적화 수단은 상기 참조 데이터의 임계값에 의해서 결정되는 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한하는 것을 특징 으로 하는 패턴 인식 시스템.
  13. 제 11 항에 있어서,
    상기 최적화 수단은 서로 인접하는 참조 데이터의 인식 영역이 임계값에 의해 결정되는 인식 영역과 중첩되지 않도록 임계값을 변경하여 인식 영역을 확대/축소하는 것을 특징으로 하는 패턴 인식 시스템.
  14. 제 11 항에 있어서,
    상기 최적화 수단은 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 패턴 인식 시스템.
  15. 제 11 항에 있어서,
    상기 최적화 수단은, 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 패턴 인식 시스템.
  16. 제 11 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용하는 것을 특징으로 하는 패턴 인식 시스템.
  17. 제 11 항에 있어서,
    상기 연상 메모리 및 상기 최적화 수단은 1칩 집적 회로에 내장되는 것을 특징으로 하는 패턴 인식 시스템.
  18. 패턴 인식 시스템에 있어서,
    적어도, 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터를 기억하는 참조 데이터 기억 수단, 상기 검색 데이터와 최소 거리에 있는 참조 데이터를 구하는 최소 거리 검색 수단, 및 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 상기 최소 거리의 참조 데이터와의 동일성을 판단하는 판단 수단을 구비하는 연상 메모리와,
    상기 임계값에 의해서 결정되는 인식 영역 내외측에 있는 입력 데이터 수를 카운팅하여, 먼저 상기 일정 회수에 도달하는 쪽에 대해 상기 임계값을 변경해서 상기 인식 영역의 확대/축소를 행하는 최적화 수단
    을 구비하되,
    상기 최적화된 참조 데이터에 근거하여 상기 참조 데이터 기억 수단에 기억된 참조 데이터를 업데이트하는 것
    을 특징으로 하는 패턴 인식 시스템.
  19. 제 18 항에 있어서,
    상기 최적화 수단은 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 패턴 인식 시스템.
  20. 제 18 항에 있어서,
    상기 최적화 수단은 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 패턴 인식 시스템.
  21. 제 18 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용하는 것을 특징으로 하는 패턴 인식 시스템.
  22. 제 18 항에 있어서,
    상기 연상 메모리 및 상기 최적화 수단은 1칩 집적 회로에 내장되는 것을 특징으로 하는 패턴 인식 시스템.
  23. 패턴 인식 시스템에 있어서,
    프로그램에 따라 연산 처리를 실행하는 프로세서, 및 적어도 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터, 상기 프로세서의 연산 처리 결과, 상기 연산 처리에 이용하는 파라미터를 기억하는 기억 수단을 구비하며, 상기 프로세서가, 상기 프로그램에 의해서, 상기 검색 데이터와 최소 거리 내에 있는 참조 데이터를 구하여, 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 최소 거리의 참조 데이터와의 동일성을 판단하는 연산 처리 장치와,
    상기 인식 데이터로서 선택되어야 할 참조 데이터에 대응하는 입력 데이터를 일정 회수만큼 취입하고, 상기 입력 데이터와 상기 참조 데이터와의 거리 분포의 중심점(a gravity center point)을 구하여, 상기 중심점에 위치하도록 상기 참조 데이터의 위치를 최적화하는 최적화 수단
    을 구비하되,
    상기 최적화된 참조 데이터에 근거하여 상기 기억 수단에 기억된 참조 데이터를 업데이트하는 것
    을 특징으로 하는 패턴 인식 시스템.
  24. 제 23 항에 있어서,
    상기 최적화 수단은 상기 참조 데이터의 임계값에 의해서 결정되는 인식 영역이 인접 참조 데이터의 인식 영역과 중첩되지 않도록 이동을 제한하는 것을 특징으로 하는 패턴 인식 시스템.
  25. 제 23 항에 있어서,
    상기 최적화 수단은 서로 인접하는 참조 데이터 사이에서 임계값에 의해 결정되는 인식 영역들이 중첩되지 않도록 상기 임계값을 변경하여 인식 영역을 확대/축소하는 것을 특징으로 하는 패턴 인식 시스템.
  26. 제 25 항에 있어서,
    상기 최적화 수단은 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 패턴 인식 시스템.
  27. 제 25 항에 있어서,
    상기 최적화 수단은, 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 패턴 인식 시스템.
  28. 제 23 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용하는 것을 특징으로 하는 패턴 인식 시스템.
  29. 제 23 항에 있어서,
    상기 연산 처리 장치 및 상기 최적화 수단은 1칩 집적 회로에 내장되는 것을 특징으로 하는 패턴 인식 시스템.
  30. 패턴 인식 시스템에 있어서,
    프로그램에 따라 연산 처리를 실행하는 프로세서, 및 적어도, 입력 패턴의 검색 데이터를 인식하기 위한 복수의 참조 데이터, 상기 프로세서의 연산 처리 결과, 및 상기 연산 처리에 이용하는 파라미터를 기억하는 기억 수단을 구비하며, 상기 프로세서가, 상기 프로그램에 의해서, 상기 검색 데이터와 최소 거리 내에 있는 참조 데이터를 구하여, 상기 최소 거리가 임계값 이상인지 여부에 따라 상기 검색 데이터와 상기 최소 거리의 참조 데이터와의 동일성을 판단하는 연산 처리 장치와,
    상기 임계값에 의해서 결정되는 인식 영역 내외측에 있는 입력 데이터 수를 카운트하여, 먼저 상기 일정 회수에 도달하는 쪽에 대해 상기 임계값을 변경해서 상기 인식 영역의 확대/축소를 행하는 최적화 수단
    을 구비하되,
    상기 최적화된 참조 데이터에 근거하여 상기 기억 수단에 기억된 참조 데이터를 업데이트하는 것
    을 특징으로 하는 패턴 인식 시스템.
  31. 제 30 항에 있어서,
    상기 최적화 수단은 상기 임계값의 변경량을 미리 설정된 확률 분포로부터 선택하는 것을 특징으로 하는 패턴 인식 시스템.
  32. 제 30 항에 있어서,
    상기 최적화 수단은 상기 입력 데이터의 그룹의 중심과 현재의 참조 데이터와의 거리를 나타내는 값을 기준값과 비교하여, 상기 기준값을 초과할 때에만 상기 임계값의 변경을 실시하는 것을 특징으로 하는 패턴 인식 시스템.
  33. 제 30 항에 있어서,
    상기 거리 연산에 제공되는 거리의 지표로는 유클리드 거리, 맨하탄 거리, 해밍 거리, 마할라노비스 거리 중 어느 하나를 이용하는 것을 특징으로 하는 패턴 인식 시스템.
  34. 제 30 항에 있어서,
    상기 연산 처리 장치 및 상기 최적화 수단은 1칩 집적 회로에 내장되는 것을 특징으로 하는 패턴 인식 시스템.
KR1020067017039A 2004-02-27 2005-02-24 참조 데이터 최적화 학습 방법과 패턴 인식 시스템 KR100865201B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00053433 2004-02-27
JP2004053433A JP3861157B2 (ja) 2004-02-27 2004-02-27 参照データ最適化装置とパターン認識システム

Publications (2)

Publication Number Publication Date
KR20060118598A true KR20060118598A (ko) 2006-11-23
KR100865201B1 KR100865201B1 (ko) 2008-10-23

Family

ID=34908742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067017039A KR100865201B1 (ko) 2004-02-27 2005-02-24 참조 데이터 최적화 학습 방법과 패턴 인식 시스템

Country Status (7)

Country Link
US (1) US7881525B2 (ko)
EP (1) EP1720130A4 (ko)
JP (1) JP3861157B2 (ko)
KR (1) KR100865201B1 (ko)
CN (2) CN100547613C (ko)
TW (1) TWI258715B (ko)
WO (1) WO2005083632A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079168A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 이더넷 솔리드 스테이트 드라이브에서 데이터 패턴 매칭 및 기계 학습 알고리즘들을 지원하는 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4892720B2 (ja) * 2005-09-14 2012-03-07 国立大学法人広島大学 最小ユークリッド距離検索連想メモリ装置
JP5193518B2 (ja) * 2007-07-13 2013-05-08 株式会社東芝 パターン探索装置及びその方法
JP4631937B2 (ja) * 2008-06-18 2011-02-16 株式会社デンソー 学習装置及び燃料噴射システム
JP4710932B2 (ja) * 2008-07-09 2011-06-29 ソニー株式会社 学習装置、学習方法、およびプログラム
US8214672B2 (en) * 2009-01-07 2012-07-03 Micron Technology, Inc. Method and systems for power consumption management of a pattern-recognition processor
US8589760B1 (en) * 2010-03-31 2013-11-19 Sk Hynix Memory Solutions Inc. Defect scan and manufacture test
JP5598082B2 (ja) * 2010-05-17 2014-10-01 日本電気株式会社 異常判定装置、異常判定プログラムおよび異常判定方法
US8799760B2 (en) * 2011-12-08 2014-08-05 Xerox Corporation Smart macros using zone selection information and pattern discovery
JP6271881B2 (ja) * 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
WO2015011907A1 (ja) * 2013-07-25 2015-01-29 国立大学法人広島大学 ｋ近傍法連想メモリ
US9619753B2 (en) 2014-12-30 2017-04-11 Winbond Electronics Corp. Data analysis system and method
JP6389438B2 (ja) * 2015-01-30 2018-09-12 国立大学法人広島大学 ｋ近傍法連想メモリ
CN107133549B (zh) 2016-02-29 2020-11-24 上海联影医疗科技有限公司 Ect运动门控信号获取方法及ect图像重建方法
US9607058B1 (en) * 2016-05-20 2017-03-28 BlackBox IP Corporation Systems and methods for managing documents associated with one or more patent applications
CN106251381B (zh) * 2016-07-29 2020-02-04 上海联影医疗科技有限公司 图像重建方法
JP7193708B2 (ja) * 2018-10-19 2022-12-21 富士通株式会社 最適化装置及び最適化装置の制御方法
US10811003B2 (en) 2018-10-31 2020-10-20 International Business Machines Corporation Language phonetic processing based on fine-grained mapping of phonetic components
JP7459679B2 (ja) * 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57212586A (en) * 1981-06-25 1982-12-27 Fujitsu Ltd Character recognizing system
JPS61261799A (ja) * 1985-05-16 1986-11-19 株式会社リコー 不特定話者用コ−ドブツク作成方法
US5060277A (en) * 1985-10-10 1991-10-22 Palantir Corporation Pattern classification means using feature vector regions preconstructed from reference data
CA2012938A1 (en) * 1989-04-19 1990-10-19 Patrick F. Castelaz Clustering and association processor
JP3118725B2 (ja) * 1991-09-11 2000-12-18 株式会社日立製作所 自動分類方法
JP3165247B2 (ja) * 1992-06-19 2001-05-14 シスメックス株式会社 粒子分析方法及び装置
JP3312149B2 (ja) * 1993-12-27 2002-08-05 シャープ株式会社 文字や音声の認識装置における認識評価閾値の作成方法
DE69430870T2 (de) * 1994-07-28 2003-03-13 Ibm Innovative Neuronalschaltungsarchitektur
GB9415398D0 (en) 1994-07-29 1994-09-21 Texas Instruments Ltd Improvements in or relating to microprocessors
JPH0969159A (ja) * 1995-08-31 1997-03-11 Sharp Corp テンプレートマッチング装置
US6104833A (en) * 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US6345119B1 (en) * 1996-02-19 2002-02-05 Fujitsu Limited Handwritten character recognition apparatus and method using a clustering algorithm
US5832182A (en) * 1996-04-24 1998-11-03 Wisconsin Alumni Research Foundation Method and system for data clustering for very large databases
DE59801086D1 (de) * 1997-05-07 2001-08-30 Siemens Ag Verfahren zur anpassung eines referenzdatensatzes anhand mindestens eines eingabedatensatzes durch einen rechner
KR19990027482A (ko) 1997-09-30 1999-04-15 전주범 패턴 인식 시스템에서 영상내 물체 구성 직선들의 관계 설정방법
US6272250B1 (en) * 1999-01-20 2001-08-07 University Of Washington Color clustering for scene change detection and object tracking in video sequences
AU775328B2 (en) * 1999-01-13 2004-07-29 Computer Associates Think, Inc. Signature recognition system and method
JP4024430B2 (ja) 1999-06-28 2007-12-19 日本マイヤー株式会社 経編機におけるマシンベースの熱歪防止装置
GB0023004D0 (en) * 2000-09-20 2000-11-01 Koninkl Philips Electronics Nv Improved graphical user interface
JP4629213B2 (ja) 2000-11-24 2011-02-09 Ｈｏｙａ株式会社 内視鏡の外装チューブ装着構造及び内視鏡の外装チューブ装着方法
JP4619523B2 (ja) 2000-12-05 2011-01-26 株式会社トプコン 模型眼
US20030086520A1 (en) * 2001-11-07 2003-05-08 Russell William Earl System and method for continuous optimization of control-variables during operation of a nuclear reactor
KR100863128B1 (ko) * 2001-12-22 2008-10-15 주식회사 케이티 도메인 최적화를 이용한 무선망 최적화 방법
US7016529B2 (en) 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
JP2004013504A (ja) 2002-06-06 2004-01-15 Univ Hiroshima パターン認識システム、このシステムに用いられる連想メモリ装置及びパターン認識処理方法
JP4172584B2 (ja) * 2004-04-19 2008-10-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 文字認識結果出力装置、文字認識装置、その方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079168A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 이더넷 솔리드 스테이트 드라이브에서 데이터 패턴 매칭 및 기계 학습 알고리즘들을 지원하는 장치 및 방법

Also Published As

Publication number Publication date
TW200537392A (en) 2005-11-16
TWI258715B (en) 2006-07-21
CN101546382A (zh) 2009-09-30
CN100547613C (zh) 2009-10-07
WO2005083632A1 (ja) 2005-09-09
EP1720130A4 (en) 2008-10-08
CN1922632A (zh) 2007-02-28
KR100865201B1 (ko) 2008-10-23
JP2005242808A (ja) 2005-09-08
CN101546382B (zh) 2011-09-28
JP3861157B2 (ja) 2006-12-20
EP1720130A1 (en) 2006-11-08
US7881525B2 (en) 2011-02-01
US20070003135A1 (en) 2007-01-04

Similar Documents

Publication Publication Date Title
KR100865201B1 (ko) 참조 데이터 최적화 학습 방법과 패턴 인식 시스템
Li et al. Data-driven evolutionary algorithm with perturbation-based ensemble surrogates
Derrac et al. Evolutionary fuzzy k-nearest neighbors algorithm using interval-valued fuzzy sets
Filev et al. An Extended Version of the Gustafson‐Kessel Algorithm for Evolving Data Stream Clustering
Toh et al. A reduced multivariate polynomial model for multimodal biometrics and classifiers fusion
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
JP2014164396A (ja) 情報処理装置、情報処理方法及びプログラム
CN115905855A (zh) 一种改进的元学习算法MG-Reptile
Wei et al. Development of self-learning kernel regression models for virtual sensors on nonlinear processes
Kuo et al. Generalized part family formation through fuzzy self-organizing feature map neural network
Guo et al. Data mining and application of ship impact spectrum acceleration based on PNN neural network
Callari et al. Autonomous recognition: Driven by ambiguity
CN109116300A (zh) 一种基于非充分指纹信息的极限学习定位方法
JP2007018530A (ja) 忘却型ヒストグラム計算装置及びそれを用いた外れ値度計算装置
Wang et al. Hierarchical multihop reasoning on knowledge graphs
Resmi et al. Kernel fuzzy clustering with output layer self-connection recurrent neural networks for software cost estimation
Qiao et al. A Right-Hand Side Function Surrogate Model-Based Method for the Black-Box Dynamic Optimization Problem
Shih et al. Design and implementation of decision-tree (DT) online training hardware using divider-free GI calculation and speeding-up double-root classifier
CN111797979A (zh) 基于lstm模型的振动传递系统
JP4662702B2 (ja) 外れ値度計算装置
Sakuma et al. An area-efficient recurrent neural network core for unsupervised time-series anomaly detection
CN110728303A (zh) 基于卷积神经网络数据复杂度的动态自适应计算阵列
Mustafa Hybridization of particle swarm optimization and simulated annealing for maximum partition problem
US20230196088A1 (en) Fan behavior anomaly detection using neural network
Tabuchi et al. An autonomous learning algorithm of resource allocating network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111004

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee