KR940009990B1 - 신경 회로망을 이용하는 패턴 인식 시스템 - Google Patents

Abstract

내용 없음.

Description

신경 회로망을 이용하는 패턴 인식 시스템

제 1 도는 본 발명에 따른 패턴 인식 시스템의 다이어그램.

제 2 도는 제 1 도에 도시된 패턴 인식 시스템의 바운더리 세그먼터 부분의 블럭도.

제 3 도는 제 2 도에 도시된 바운더리 콘투어 시스템내 뉴론들의 출력 응답을 계산하는데 사용된 션팅 멤브레인 방정식(SME)을 도시하는 도면.

제 4 도는 제 1 도에 패턴 인식 시스템의 특성 추출기 및 패턴 인식기의 다이어그램.

제 5 도는 U0평면에서의 입력에 응답하는 여러 US1평면의 응답을 도시하는 다이어그램.

제 6 도는 특성 추출기 및 패턴 인식기내 네오코그니트론이 입력패턴의 내부적 표현을 생성하는 방법을 도시하는 다이어그램.

제 7 도는 제 4 도에 도시된 특성 추출기의 연결상태와 작동을 상세히 예시하는 도면.

제 8 도는 제 4 도에 도시된 특성 추출기의 작동을 상세히 예시하는 도면.

제 9 도는 제 4 도에 도시된 US1층내 하나의 뉴론에 대한 출력을 계산하는 것을 예시하는 도면.

제 10 도는 제 4 도에 도시된 패턴 인식기내 특성 추출기의 작동을 조절하는데 사용된 네오코그니트론 파라미터의 테이블.

제 11 도는 제 1 도에 도시된 역전파 회로망의 다이어그램.

* 도면의 주요부분에 대한 부호의 설명

10 : 패턴 인식 시스템 14 : 세그멘터 및 프리프로세서

12 : 그레이 레벨 입력 데이타 16 : 특성 추출기

18 : 패턴 인식기 20 : 분류기

58 : 입력 뉴론층 60 : 은폐 뉴론층

62 : 출력 뉴론층

본 발명은 신경회로망에 관한 것으로, 특히 계층적 패턴 인식을 실행하는 신경회로망에 관한 것이다.

신경회로망 모델을 기초로 하는 패턴 및 영상처리시스템은 최근의 중요한 연구활동의 주제가 되어왔다. 이러한 연구의 목적을 생물학적 시각 시스템에 내재하는 역량과 효율에 근접하는 컴퓨터 비젼 시스템을 개발하는 것이었다. 신경회로망은 특성이 움직이기전에 구체화시켜야 하는 통계적 객체(object) 인식기와 같은 통상의 객체 인식기 보다 뛰어난 장점을 가지고 있는데, 이것은 신경회로망이 훈련을 통해 객체 자체의 특성을 판별할 수 있기 때문이다. 실제 생물학적 시스템을 다소막연하게 시사적으로 이해한다는 것에 바탕을 둔 다수의 신경회로망 모델들은 영상처리작업의 여러가지 국면을 처리하는데 이용되어 왔다. 기준의 모델과 시스템들이 여러 정도의 성공을 보여왔지만, 어떤 종류의 영상처리작업에서는 그들의 유용성에 한계를 받는 많은 단점이 있기도 하다. 또한, 선행기술의 신경회로망 시스템은 어떤 국면에는 적합한것 처럼 보이지만 영상인식의 끝부분 처리에서는 적합하지 않다.

예로, 초기의 낮은 수준의 영상처리에 특히 적합한 한가지 신경회로망은 스티븐 그로스버그(Stephen Grossberg)가 개발한 바운더리 콘투어 시스템(Boundary Contour Systerm : BCS)이다. 그로스버그 등에게 공고된 미합중국 특허 제 4,803,736호의 주제로서, 본 명세서에 참조문헌으로 인용되어 있는 BCS시스템은 미처리(raw)데이타 또는 그레이 레벨 영상 데이타로부터 에지를 추출하는 역량을 보장하였다. 그러나, 본질적으로 이 시스템은 낮은 수준의 생물학적 시가의 수학적 모델이며 중간 내지 높은 수준의 시각 또는 인식 기능용으로는 설계되지 않는다.

또다른 관련된 신경회로망 회로망 모델은 네오코그니트론(Neocognitron)으로 알려진 모델이다. 네오코그니트론 모델은 구니히꼬 후꾸시마(Kunihiko Fukushima)에 의해 개발되었다.

이것은 본 명세서에 참조문헌으로 인용된, 구니히꼬 후꾸시마가 "Neocognitron : a new algorithm for patern recognition tolerant of derormations and shifts and position"이라는 명칭으로, 1982년 15권, 6호, 455면에 기고한 논문을 참조하라. 네오코그니트론 모델은 비교적 복잡한 특성을 인식할 수 있는 특성 추출기 및 패턴 인식기로서 유망한 것으로 생각된다. 그러나, 네오코그니트론은 그레이 레벨 데이타를 처리하는데는 적합하지 않으며, 따라서 2진 영상 데이타 입력에 주로 적용된다. 또한 네오코그니트론 모델은 이 모델이 불류할 수 있는 객체의 수에 있어서 아주 한정적이다.

예로 네오코그니트론 모델이 분류할 수 있는 객체의 수는 대체로 시스템내 출력평면들의 수로 국한된다. 많은 경우에 있어서, 많은 수의 객체를 분류할 수 있는 것이 바람직한데, 이렇게 많은 수는 네오코그니트론에 실용적으로 제공되는 출력 평면의 수의 한계를 초과할 서이다. 또한, 네오코그니트론은 입력 영상에서의 이동, 회전 또는 크기의 변화를 제한된 양만 취급할 수 있을 뿐이다.

또다른 일반적인 신경회로망 모델은 역전파(backpropagation)회로망으로서, 소위 다층 퍼셉트론(muiti-layer perceptron)이라 지칭된다. 역전파 회로망은 다양한 형태의 입력 패턴을 분류하는 데 성공적이었으며, 많은 수의 객체를 분류할 수 있다. 또한, 이 회로망은 클래스(class)를 간단하게 지정하는 것과 반대적인 것으로 객체의 실수값 벡터 표현을 인코드할 수 있다. 그러나, 일반적으로 입력 특성은 이동, 회전, 또는 크기의 변화가 있기 때문에 이 역전파 회로망은 영상을 처리하는데에는 특히 적합하지 않다. 즉, 역전파 회로망을 훈련시켜 특정 영상을 인식하게 한다면, 이 회로망은 영상이 이동하거나, 회전하거나, 축척되거나 또는 왜곡되는 경우 그 영상을 인식하기가 매우 어려울 것이다.

그래서, 상기 기술된 몇가지 또는 모든 단점을 극복하는 영상 프로세서를 제공하는 것이 바람직할 것이다. 또한, 어떤 영상으로부터의 미처리 그레이 레벨 센서 입력을 받아들이고 많은 수의 객체 또는 목표물을 인코우드할 수 있는 신경회로망 시스템을 제공하는 것이 바람직할 것이다. 그 외에도, 이동, 회전, 크기 및 왜곡 분변의 정도가 높은 비교적 복잡한 특성을 인식할 수 있는 패턴 인식 시스템을 제공하는 것이 바람직할 것이다.

본 발명에 따르면, 다수의 패턴을 인코우드하고 식별할 수 있는 패턴 인식기 시스템이 개시된다. 이 시스템은 입력 데이타를 수신하고 출력으로서 복수의 그레디언트 방향 응답 신호(gradient orientation response signal)을 병렬로 발생하는 바운더리 세그멘터(boundary segmenter)를 포함한다. 이 시스템은 또한 상기 세그멘터에 연결되어 상기 바운더리 세그멘터로부터 병렬 출력을 수신하고 입력 신호에서의 원소적인 특성들을 특징으로 하는 출력 응답을 발생하는 특성 추출기를 포함하다. 또한, 패턴 인식기는 상기 특성 추출기 출력에 연결되어 복수의 원소적 특성 응답을 조합하여 원소적 특성들의 복잡한 조합을 특징으로 하는 새로운 병렬 출력 응답을 형성한다. 마지막으로, 분류기는 상기 패턴 인식기 출력에 연결되어 입력 패턴의 실수값 벡터 표현을 인코우드하는 출력을 제공한다.

패턴 인식기는 연속적인 값을 가지는 입력 데이터를 받아들일 수 있으며 비교적 복잡한 특성을 추출하고 다수의 가능한 입력 패턴을 인코우드한다. 더욱이, 이 시스템은 이동되고, 회전되고, 축척되는 패턴을 인식할 수 있다.

본 발명의 여러 장점은 다음의 설명과 첨부 도면을 참조함으로써 본 기술 분야에서 통상의 지식을 가진자에게 자명해질 것이다.

제 1 도를 참조하면, 본 발명에 따른 자가 적응 계층적 목표를 식별 및 인식 신경회로망(Self Adaptive Hierarchical Target Identification and Recognition Neural Network : SAHTIRN)패턴 인식 시스템(10)이 도시된다. 패턴 인식 시스템(10)은, 예를 들면, 영상에서 목표물, 인쇄 또는 필기 문자, 또는 특정 파형의 어떤 특성과 같은 특별히 희망하는 패턴을 인식하도록 훈련된다. 패턴 인식 시스템(10)은 입력 데이터로서 영상 센서(도시안됨)로부터 연속적인 값을 가지는 미처리 그레이 레벨데이타(12)일 수도 있는 데이타를 받아들인다. 이러한 데이타(12)는 네가지 주요 성분, 즉 세그멘터 및 프리프로세서(14), 특성 추출기(16), 패턴 인식기(18) 및 분류기(20)로 이루어진 패턴 인식 시스템(10)에 의해 처리된다.

세그멘터 및 프리프로세서(14)는 미처리 센서 영상을 사전처리하고 분할하여 특성 추출기로 입력시킨다. 세그멘터(14)는 그레이 레벨 영상을 그 장면의 2진 표현으로 변환시키는 일반형태의 분할 처리 과정을 포함 할 수도 있다. 그 예는 정규화 회로망(Regularization Network), 캐니 에지 추출기(Canny Edge Extractor), 소벨 에지 추출기(Sobel Edge Extractor) 또는 바운더리 콘투어 시스템을 들수 있다. 세그멘터 및 프리프로세서(14)는 국부적인 이득 및 레벨 제어를 제공하여 통상의 센서 사전처리 시스템의 성능을 격감시킬 수도 있는 동적 및 휘도 효과를 조절하게 한다. 세그멘터 및 프리프로세서(14)는 또한 그레디언트, 또는 에지 오퍼레이터 및 어댑티브 바운더리 세그멘터로서 작용한다. 다음에, 경계 분할된 장면과 목표물 패턴이 특성 추출기(16)로 전달된 다음 패턴 인식기(18)로 전달한다. 이러한 두가지 성분은 네오코그니트론의 아키텍처를 근거한 것이다. 특성 추출기(16)와 패턴 인식기(18)는 스스로 조직(self-organizing)하며 단기간의 훈련 과정을 받아야 한다.

특성 추출기(16)는 예측된 목표물 및 장면을 특징으로 하는 특성을 추출하도록 학습한다. 이러한 초보적인 특성은 패턴 인식기 내부의 계층적 구조에 의해 집합되어 입력 영상을 압축된 표현으로 형성한다. 패턴 인식기(18)는 초보적 특성의 이러한 공간적 관계를 추출하고 그러므로써 공간적 구조와 장면 및 목표물을 식별하도록 학습한다. 최종 성분은 분류기(20)이다.

패턴 인식기로부터 영상 출력의 압축된 표현은 분류기(20) 내부의 지도(supervised)역전파 회로망에 의해 분류된다.

세그멘터 및 프리프로세서(14)의 바람직한 실시태양은 제 2 도에 보다 상세히 도시된다. 세그멘터 및 프리프로세서(14)는 12개가 개별적으로 병렬로 작용하는 바운더리 콘투어 시스템(22)들로 구성된다. 즉, 각각의 바운터리 콘투어 시스템(22)은 동일 입력 영상(12)을 처리하되, 상이한 방향에서 처리한다.

이러한 방향들은 바운더리 콘투어 시스템(22)의 그레디언트 페이즈 필드 모듈(gradient phase field module)(24)에 있는 배향성 마스크에 의해 성취된다. 예로, 12방향을 15°씩 분할 할 수도 있다. 세그멘터 및 프리프로세서(14)의 기능은 미처리 영상데이타(12)를 어떤 장면에 있는 객체의 구조를 나타내는 지도(map)로 변환시키는 것이다. 바운더리 콘투어 시스템(22)은 상기 언급한 미합중국 특허 제4,803,736호에 보다 상세히 기술되어 있다.

또다른 유용한 설명에 대해서는 본 명세서에 참조문헌으로 인용된, 스티븐 그로스버그와 이 밍골라(E. Mingolla)의, "Neural dynamics of surface perception : boundary webs, illuminance, and shape-from-shading"이라는 명칭으로 기고한37 11-165(1987)에서 뒷받침된다.

BCS시스템은 피드백 메타니즘을 포함하는 것으로, 이 메타니즘은 빠져있거나 부족한 에지 정보를 채워 주는데 도움을 주기위해 그레디언트 방향 응답들간의 협동과 경쟁을 유발시킨다. 바운더리 콘투어 시스템(22) 내부의 각각의 모듈은 일정한 웨이트(weight)연결을 포함하는 웨이트 마스크에 의해 연결된 객개의 뉴론으로 구성된다. 예로, 입력 영상(12)이 256×256 픽셀로 이루어진 경우, 바운더리 콘투어 시스템(22)내 각각의 모듈은 256× 256뉴론을 가지고 있을 것이다. 그래서, 그레디언트 페이즈 필드 모듈(24)이 12개이기 때문에, 그 각각은 영상(12)을 상이한 방향으로 포획하는 상이한 마스크를 포함한다.

그레디언트 페이즈 필드 모듈(24)의 출력은 센터 서라운드 이용 공간 그레디언트 모듈(spatial gradient using center surround module)(26)에 연결되며, 이 모듈은 뉴론의 응답이 강하거나 또는 미약하던지간에, 에지들 중의 몇 에지를 추출하는 기능과 응답을 모두 정규화하는 기능을 수행한다. 또한, 이 모듈은 이러한 응답들이 어떤 구역에서 폭넓은 경우 그 응답을 솎아내는 기능도 수행한다. 공간적 그레디언트 모듈(26)로 부터의 출력은 방향들에 걸친 국부적 경쟁 모듈(local competition across orientations module)(28)로 전송된다. 이 모듈(28)은 바운더리 콘투어 시스템(22)내 상이한 국부적 경쟁 모듈(28)로부터의 여러 응답을 처리한다. 두가지 응답이 방향에 있어서 서로 아주 근접하고 하나의 응답이 두 모듈(28)에서 발견되는 경우, 어느 응답이 보다 강한지에 대해서는 애매하다. 그래서, 어느 응답이 강한지를 판단하기 위해 방향들간의 결쟁이 실행된다. 예로 동일한 위치에서 수평과 수직 응답이 있었다면 이들 응답 중 단지 하나의 응답만이 우세해지는데 이것은 우세한 응답은 영상의 각 위치에서 한 방향이상에서 있을 수 없기 때문이다. 그 결과로서, 경쟁에서 우세하지 않은 뉴론은 턴 오프된다.

모듈(28)로부터 출력은 방향들간의 전체 협동 모듈(30)(global cooperation among orientations module)(30)로 전달 된다.

이 모듈은 인접한 바운더리 콘투어 시스템(22)로으로 건내지는 대신, 단일 방향 모듈(22)에서 잔존하며 한 위치를 이웃하는 픽셀들과 비교한다. 예로, 수직 에지가 있었다면, 이 모듈은 다른 수직 에지들이 있는 경우 이 수직 에지들이 서로 연결되었는지를 알아보기위해 이 에지를 위 아래로 살펴볼 것이다. 이것은 간격을 연결시키는 에지를 따라서 협동을 수행한다. 이 모듈(30)로부터의 출력은 센터 서라운드 이용 공간 그레디언트 모듈(spatial gradient using center surround module)(32)로 전달된다. 이 모듈(32)은 협동에 의해 야기된 불선명한 가능성을 없애기 위해 모듈(30)에서의 협동의 효과와 반대로 작용하기 때문에 상기 공간 그레디언트 모듈(26)과 유사하다. 즉, 협동의 한가지 단점은 협동이 너무 강렬하게 이루어진다면 에지들 중의 몇 에지를 가로질러 영상을 희미하게 만들 수도 있다는 것이다.

이러한 특정 세그멘터 및 프리프로세서(14)는 피드백이 있건 없건 사용될 수 있다. 피드백이 사용되지 않으면, 센터 서라운드 이용 공간적 그레디언트 모듈(32)로부터의 출력은 다음단의 특성 추출기(16)로 전달된다. 그와달리, 제 2 도에 도시된 바와 같이, 이 모듈(32)은 공간 그레디언트 모듈(26)의 입력에 연결될 수도 있다. 페루프식의 출력이 바람직하겠지만 그렇게 되면 시스템은 더 많은 계산 단계를 거치게 된다는 것이 인식될 것이다. (피드백이 없는)개루프 작동에서, 응답 품질은 약간 손실되지만 훨씬 빠른 계산이 실행될 수 있다. 자동 이득 제어함수 및 자동 레벨 제어가 바운더리 콘투어 시스템(22)에서 기본적으로 실행된다.

바운더리 콘투어 시스템(22)의 뉴론 출력은 일련의 시변 비선형 1차 방정식에 의해 계산된다. 기본 식은 제 3 도엔 도시된다. 이 식은 션팅 멤브레인 방정식(Shunting Membrane Equation)으로 알려져 있다. 출력 뉴론은 입력 뉴론 I의 구역 k를 처리함으로써 응답 X를 발생한다. g마스크는 그 구역의 중심에서의 뉴론 입력을 주변에서의 뉴론 입력보다 강하게 가중시켜 여기(excitatory)항 I⁺를 만든다. e 마스크는 주변 뉴론 입력을 증폭시켜 금지(inhibitory)항 I^-를 만든다. 션팅 멤브레인 방정식은 이들 두 항을 스케일하고 이 두항을 비교함으로써 일시적인 출력 응답을 유도하는 국부적인 공간 대비 단위를 제공한다. 그래서, 표준형의 뉴론 모델과는 달리, 두가지 공간적이고 일시적인 처리가션팅 멤브레인 방정식 모델에 의해 실행된다.

션팅 멤브레인 방정식은 출력 응답 X를 적합하게 스케일하고, 이것을 정상상태(dx/dt=0)에서 b와 -c에다 괄호로 묶는다. g와 e마스크는 영상(예로 10뉴론×10뉴론)보다 작으며 전체 영상에 걸쳐 감겨진다.

바운더리 콘투어 시스템(22)은 종래의 분할 구조에서 찾을 수 없는 많은 강력한 역량을 제공한다. 첫째로, 이러한 분할 시스템은 수학 방정식에 의해 완전히 규정된다. 이 시스템은 발견적 전문가 시스템 및 논리 프로그램을 이용하여 영상을 분할하는 종래의 분할 구성과는 아주 상이하다. 이것은 바운더리 콘투어 시스템(22)을 고전적 신호 처리, 시스템 이론, 및 수학적 기법을 이용하여 분석되게 한다. 이러한 종류의 식견은 선행 기법으로는 불가능하다. 두번째로, 모든 계산값을 구하는 션팅 멤브레인 방정식은 각 계산 단계마다 자동 이득 제어 및 자동 레벨 제어를 제공한다. 그러므로, 각 계산의 감도는 데이타에 의해 일정하게 조절된다. 즉, 계산은 적용적이다.

세그멘터 및 프리프로세서(14)에 의해 생성된 그레디언트 방향 응답 영상(34)은 특성 추출기(16)로 전달 된다. 특성 추출기(16) 네오코그니트론의 층 1을 포함하며, 패턴 인식기(18)는 네오코그니트론의 층 2 및 층 3을 포함한다. 네오코그니트론 아키텍처에 관한 설명은 상기 인용된 후꾸시마의 논문에서 상세히 찾아볼수 있다. 일반적으로 네오코그니트론을 영상 패턴 인식을 위해 특별하게 고안된 다층의 피드 포워드(feed forward) 신경회로망이다. 네오코그니트론의 각 층은 단순(US) 부분층(shblayer)과 복잡(UC) 부분층으로 나누어진다. 제 4 도를 참조하면, 각각의 부분층은 12개의 2차원적 뉴론 어레이(36)을 가지고 있다. 제1의 12(USI) 어레이(36)는 바운더리 세그멘터(14)에 의해 생성된 그레디언트 방향 응답 영상(34)을 수신한다.

뉴론들 사이를 본질적으로 연결시켜주는 컨벌루션 마스크(38)에 의해 층들간의 전이가 이루어진다. 이러한 마스크는 영상을 묘사하는 데 이용된 특성 세트를 형성하기 위해 자율 훈련하는 동안 적응한다. US1부분층(40)과 UC1부분층(42)과의 사이와 같은 부분층들간의 전이는 고정 컨벌루션 마스크(44)에 의해 이루어진다.

각각의 뉴론은 선행 층에서의 뉴론들의 작은 구역을 처리하여 존재하는 신경 활동 패턴의 응답 특징을 형성한다.

예로, UC1 뉴론들은 US1 어레이들(36)을 처리하여 방향선 세그멘터 또는 호(arc)와 같은 원소적 특성들을 특징으로 하는 응답을 발생한다. 패턴 인식기(18) 층들은 이러한 저급 특성 응답을 서로 조합 또는 통합 시켜서 US1부분층(42)에서 저급 특성의 복잡한 조합을 특징으로 하는 새로운 응답을 형성한다.

특성 조합이 점차 줄어지는 것을 특징으로 할때는 소수의 뉴론들만이 필요하면되기 때문에 각각의 뉴론 어레이의 크기는 층이 연속할 때마다 줄어든다. 그래서, US2층(46) 및 US2층(48)의 2차원 어레이들(36)에는 US1층과 UC1층(40) 및 (42)의 2차원 어레이들(36)에 있는 뉴론들보다 소수의 뉴론들이 있게 된다.

마찬가지로, US3층(50) 내 2차원 어레이(36)에는 더욱 소수의 뉴론들이 있게된다. 층 UC3(52)의 출력에서, 어레이 크기는 하나의 뉴론 x 하나의 뉴론일 뿐이다. 그 결과, 바운더리 세그멘터(14)에 의해 입력된 고유 그레디언트 패턴을 특징으로 하는 12원소 벡터로 된다. 이러한 벡터는 분류기(20)로 전달되어 최종적으로 분석된다.

네오코그니트론의 작동은 제 5 도 내지 제 10 도를 참조하여 하기 상세히 설명된다. 제 5 도에는 바운더리 세그멘터(14)로부터의 숫자 5라는 2진 영상(54)으로 이루어지는 입력을 처리하는 US1평면(40)의 작동에 관한 다이어그램이 도시된다.

이러한 2진 영상(54)은 제 4 도에 도시된 영상(34)에 대응하는 U0평면(54)상에 도시된다. US1평면들(36), K=1, K=2,…, K=12, 각각이 입력 패턴에서의 원초적으로 상이한 특성에 응답하는 것을 알 수 있다. 평면(36)에서 활성 뉴론의 위치는 특성의 위치를 의미한다. 이제 제 6 도를 참조하면, 뉴론 어레이들이 하위 층들로부터의 특성들을 계층적으로 클러스터함으로써 보다 복잡한 특성을 추출하는 방법을 예시하는 연속층들이 도시된다. 어레이상의 활성상태 위치는 선행층에서의 특성의 공간적 위치를 식별한다. 그래서, 보다 복잡한 특성은 이러한 공간적 관계와 입력 패턴의 구성을 유지하고 있다.

최종 층은 고유 입력 패턴의 요약적 압축이다. 이 과정은 US1층(40)과 UC1층(42)에 있는 비교적 원초적인 특성이 US2층(46)에서 집산되어 이러한 저급 특성의 복잡한 조합을 특징으로 하는 응답을 형성하는 방법을 예시하는 제 7 도에서 보다 상세히 도시된다. 이제 제 8 도를 참조하면, US1층(40)에서의 특성 추출과정이 더 상세히 도시된다. 제 8 도는 US1의 각 평면이 독특한 특성을 그와 연관된 마스크에 따라서 이렇게 추출하는가를 도시한다. 이렇게 독특한 특성은 네오코그니트론의 각 층의 단순 부분층에서 추출된다. 희미한 선은 감산된 금지 응답 Vo를 나타낸다.

특성 추출기(16)와 패턴 인식기(18)의 연속 층간의 전이는 비선형 컨벌루션형 조작에 의해 실행된다. a와 c로 지칭되는 두개의 상이한 2차원 마스크를 이용하여 컨벌루션이 이루어진다. US1(40) 내 각 평면은 각 평면에 대한 상이한 마스크를 가지며 그 층내 모든 평면에 대한 공통 c마스크를 이용한다. 예로 US1부분층(40)에 열두개 평면과 하나의 U0 평면이 있다면, 입력 패턴을 열두개 US1평면에 내포된 표현으로 전이하는데는 열두개읜 상이한 a마스크와 하나의 c마스크가 포함된다. 훈련 모드에 있어서, a마스크들에 간직된 웨이트들은 상기 인용된 후꾸시마의 논문에 기술된 학습 알고리즘에 따라서 조절된다. 이러한 훈련에 의해 층 1에서 특정한 원초적 특성을 추출하고, 층 2와 층 3에서 이들의 원초적 특성의 공간적 관계를 추출하는 마스크가 생성된다.

층 1에서 특성 추출 과정은 우리가 하나의 US1 평면(36)에서 하나의 뉴론에 대한 작동을 설명하는 경우 가장 쉽게 이해되는 컨벌루션 조작에 근거한 것이다. US1평면내 단일 뉴론의 값을 계산하는 것은 두 부분, 즉, 여기 성분 E와 금지 성분 H로 이루어지는 것으로 보여질 수 있다. 상기 두 성분은 a와 c마스크 아래의 N×N 구역내 UC0입력 뉴론들의 가중화된 합을 계산하는 것을 수반한다. 계산의 아키텍처는 제 9 도에 도시된다.

수학적으로, US1평면들 중의 한 평면에서 하나의 뉴론의 값을 계산하는 것은 다음과 같이 기술된다.

상기 식에서 a와 c는 1차원 벡터들로서 정렬된 2차원 웨이트마스크이고, U는 패턴이 기억되는선행층 U0상의 유니트들이고, K는 외부적으로 설정된 파라미터이며 b는 학습받은 파라미터이다.

함수 파이()응답의 선행 드레숄드를 제공한다. 2차원 a마스크 및 단일의 실수 값 b의 웨이트들을 변경 또는 학습시키는 이러한 특정 시스템의 두 성분이 있다. US1층에 있는 평면들과 동수의 학습받은 a마스크들과 b웨이트들이 있다는 것을 주목 하는 것이 중요한다.

네오코그니트론의 최적한 작동은 시스템의 성능을 최적화시키는데 사용될 수 있는 다수의 파라미터를 선택하는데 달려 있다는 것을 주목해야 할 것이다. 특성 추출기(16)와 패턴 인식기(18)의 네오코그니트론내 주요 파라미터들은 제 10 도에 도시된다. 네오코그니트론에서 층간의 전이는 컨벌루션 마스크에 의해 수행되기 때문에, 이러한 컨벌루션 마스크들의 크기는 주요 파라미터의 크기이며 네오코그니트론의 성능에 상당한 영향을 미친다는 것이 인식될 것이다. 마스크 크기는 각 층마다 상이할 수도 있다. 이러한 파라미터들은 제 10 도에서 규정된다.

네오코그니트론의 성능에 미치는 이러한 파라미터들의 영향과 작용에 관한 상세한 설명은 본 명세서에서 참조문헌으로 인용된, 케이. 존슨(K. Johnson), 씨. 다니엘(C. Daniell)과, 제이. 버만(J. burman)이 "Feature Extraction in the Neocognitron"이라는 명칭으로, 1988년 Proc. IEEE International Conference on Neural Networks, Volume 2, 117 내지 127면에 기고한 논문을 참조하라. 또한 이러한 사항에 유용한 것으로 케이. 존슨과 씨. 다니엘과 제이. 버만이 "Hierarchical Feature Extraction and Representation in the Neocognitron"이라는 명칭으로, 1988년Volume 1, Supp. 1, Pergamon Press, 504면에 기고한 논문과, 케이. 존슨과 씨. 다니엘과 제이. 버만이 "Analysis of the Neocognitron's Outputs and Classification Performance Using Back Propagation"이라는 명칭으로, 1988년Volume 1, Supp. 1, Pergamon Press 504면에 기고한 기사가 있으며, 이 두 기사의 내용은 본 명세서에서 참조문헌으로 인용된다.

패턴 인식 시스템(10)내 특성 추출기(16)와 패턴 인식기(18)를 포함하는 네오코그니트론이 상기 기술된 바와 같은 방식으로 사용될 때는 널리 사용되는 것으로서의 분류기라기 보다는 패턴 인코우더로서 작용한다는 것을 주목 하는 것이 중요하다.

즉, 본 발명의 네오코그니트론은 클래스를 지정하는 것과 반대적인것으로서 객체 실수값 벡터 표현을 인코우드한다. 제 4 도에 도시된바와 같이 최종 UC3층(52)내에 12개의 단일 유니트 출력평면(36)이 있다면, 종래의 네오코그니트론을 각각의 출력 평면이 하나의 객체를 분류하는 단지 12개의 객체만을 분류할 수 있다.

그러나, 본 발명에 따르면, 패턴 인식 시스템(10) 내부의 네오코그니트론은, 예를들면, 1조개의 상이한 객체를 단지 소수한자리의 정밀도로 일정수의 신경 원소들로 인코우드할 수 있다. 예로, UC3층내 각 출력 평면이 0, 1, 2, 3, …, 9의 값을 가질 수 있다면, 12평면들상의 이러한 아나로그 값들의 모든 조합은 10¹²가지의 상이한 값을 산출한다. 객체들이 이러한 모든 벡터 표현은 제 11 도와 관련하여 하기 기술되는 분류기(20)에 의해 분류될 수도 있다.

다시 제 1 도를 참조하면, 일련의 화살표(56)는 표시된 선택적 주목 피드백(Selective Attention Feedback)이 도시된다.

본 발명의 일실시태양에 따르면, 특성 추출기(16)와 패턴 인식기(18)는 네오코그니트론으로 하여금 관심사인 패턴 또는 목표물을 선택적으로 찾게하는 선택적 주목 메카니즘(56)을 이용할 수도 있다.

선택적 주목 피드백 메카니즘(56)은 인식을 바탕으로하는 피드백을 이용하여 불필요한 혼란을 악압시키고, 입력 패턴에서 차단된 것 또는 대비가 낮은 구역에 대해 보상하며 시야에 들어오는 여러 패턴을 선택적으로 주목하게 한다. 선택적 주목 피드백 메카니즘(56)은 정보가 출력으로부터 입력으로 반대로 흐르는 네오코그니트론의 피드포워드(feed forward)경로와 같은 제2의 데이타 구조를 가지고 있다. 출력 층에서, 피드백 마스크들은 피드포워드 상관 응답과 연류되어, 피드 포워드 데이타의 불선명한 "고스트(ghost)영상"을 효과적으로 발생한다. 이러한 정보가 피드백계층을 통해 역방향으로 흘러감에 따라 이 정보는 피드 포워드 신호와 조하되어 입력 영상 부분을 증폭 또는 감쇠시킬 수도 있는 이득 제어 메카니즘을 형성한다. 혼란 억압은 피드백 경로들에서 경쟁을 통해 제공된다. 특성들이 희미하거나 빠져있는 영역에서는 피드 포워드 신호 보다 큰 피드백신호가 있기 때문에 희히만 또는 빠져있는 특성에 대한 보상이 이루어진다. 그러한 영역에서, 이러한 차이에 비례하여 부분적인 피드 포워드 이득이 증가된다.

최저급에서 피드백 신호는 입력 패턴과 합산되어 패턴의 약간 부분이 빠져있는 장소에 채워진다. 입력 패턴이 여러개 존재할 때, 선택적 주목 피드백 메카니즘(56)은 네오코그니트론이 한번에 단지 하나의 패턴만을 주목하게 만들것이다. 이것은 혼란 억압 기능을 제공하도록 작용하는 상기와 동일한 경쟁 메카니즘에 의해 성취된다. 선택적 주목 피드백 네오코그니트론에 관한 보다 상세한 설명은 본 명세서에 참조문헌으로 인용된 것으로, 후꾸시마가 "A Neural Network Model for Selective Attention"이라는 명칭으로 1987년IEEE First International Conference on Neural Networks에 기고한 내용에서 찾아볼 수 있다.

이제 제 11 도를 참조하면, 분류기(20)가 도시된다. 바람직한 실시태양에 따르면, 분류기(20)는 3층의 역전파 회로망을 포함한다. 층1 또는 입력 층958)은 패턴 인식기(18)로 부터 12출력 신호를 수신하는 12입력 뉴론들을 포함한다. 이들 입력 뉴론들(58)은 은폐 뉴론층(60)에 연결되고 이 은폐 뉴론 층은 다시 출력 뉴론층(62)에 연결된다. 패턴 인식기(18)로부터 12 실수값 입력 x은 분류기(20)에 의해 M비트 2진 벡터로 처리된다. 분류기 출력의 각 비트는 목표물 클래스(또는 목표물 서브클래스)에 상응한다. 출력 비트들 중의 한 비트는 "목표물 찾지 못함"을 표시하는데 사용된다. 지도 훈련 기간은 주어지 허용 가능한 과실 경보 발생율을 정확히 분류하는 확률을 극대화시키는 웨이트 값을 결정하는데 이용된다. 역전파 회로망은 잘 알려져 있으며 그에 관한 작동과 구동에 대해서는 알. 피. 리프만(R.P. lippmann)이 "An introduction to Computing with neural nets"라는 명칭으로 1987년 4월, IEEE ASSP 잡지에 기고한 논문에서 찾아볼수 있다. 분류기(20)의 출력은 용도에 따라서 어떠한 방식으로도 이용될 수 있다. 예로 패턴 인식 시스템을 미사일 유도 시스템으로 이용하는 경우, 분류기 출력은 미사일 유도 시스템에서 사용된 제어 신호를 발생시키는데 이용될 수도 있다. 이러한 시스템 패턴 인식 시스템(10)이 입력 영상의 국부적 영역을 상이한 시간대마다 처리할 수 있기 때문에 입력 영상에서의 작은 규모의 목표물을 찾고 분류할수도 있다.

본 발명에 따른 패턴 인식 시스템(10)의 한가지 장점은 그의 모듈화에 있다는 것을 주목해야 할 것이다. 각각의 모듈, 즉, 세그멘터(14), 패턴 인식기 및 특성 추출기(16 및 18), 및 분류기(20)는 보다 고전적인 모듈로 대체될 수도 있다. 이로써 패턴 인식기 시스템(10)을 기존의 시스템에 합체시키는 것이 용이하다.

패턴 인식기(10)는 광범위한 용도로 이용될 수 있다. 분석될 데이타는 영상일 수도 있고 또는 다른 종류의 파형일 수도 있다. 본 시스템은 공항 보안 시스템. 광학 문자 인식, 스마트 하이웨이 프로그램, 신호 분류등과 같은 많은 유형의 군사적 용도 또는 비방어적 용도에 적용가능하다.

본 발명에 따른 패턴 인식 시스템(10)은 소프트웨어 또는 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수도 있다. 본 발명을 구현하는 데 필요한 모든 하드웨어 성분은 디지탈 형태 또는 아나로그 형태로 알려져 있다. 이것을 구현하는데는 데이타 큐브 인코포레이티드(Data Cube Incorporporated)에서 제조 하여 "DATA CUBE"라는 상표로 시판한 컴퓨터 시스템이 유익하게 이용될 수도 있다. 또한 본 발명에 따른 패턴 인식 시스템(10)에서 실행된 기능들은 광학 장치를 이용하여 달리 실행될 수도 있다는 것이 인식될 것이다. 예로, 전기-광학 매트릭스 멀티플라이어, 리니어 모듈레이터 어레이, 홀로그래픽 코릴레이터등은 모두 신경회로망 아키텍처를 구현하느데 이용되어 왔다. 패턴 인식 시스템(10)내 마스크들은 공간 다중 컴퓨터 생성 홀로그래픽 특성 필터(Spatially multiplexed computer generated holographic feature filters)를 이용하여 구성될 수도 있다.

상기 설명으로부터, 본 발명은 미처리 센서 데이타를 받아들일 수 있고 또한 다수의 가능한 입력 패턴을 인코우드할 수 있는 패턴 인식 시스템(10)을 제공한다는 것을 알 수 있다.

또한, 본 시스템(10)은 이동, 회전, 또는 크기의 불변도가 크게 패턴 인식을 수행할 수 있다. 본 기술에서 통상의 지식을 가진자라면, 본 명세서, 도면 그리고 다음의 청구범위를 숙지한 후, 본 발명을 사용하여 다른 장점을 얻을 수 있다는 것과 본 발명의 참정신을 벗어나지 않는 변경이 이루어질 수 있다는 것을 인식 할 수 있다.

Claims (14)

1. 입력 영상에 포함된 목표를 영상을 찾아내고 분류하는 시스템이, 상기 입력 영상을 나타내는 2진 영상을 출력으로서 발생하는 세그멘터와, 상기 세그멘터에 연결되어 상기 세그멘터로부터 상기 출력을 수신하며 상기 입력 영상내 원소적 특성을 특징으로 하는 출력 응답을 발생하는 특성 추출기와, 상기 특성 추출기의 출력에 연결되어 복수의 상기 원소적 특성 응답을 조합하여 상기 원소적 특성의 복잡한 조합을 특징으로 하는 새로운 병렬 출력 응답을 형성하는 패턴 인식기와, 상기 패턴 인식기의 출력에 연결되어 상기 목표물 영상의 사전 결정된 분류에 대응하는 출력을 발생하는 분류기를 포함하는 시스템.
2. 제 1 항에 있어서, 상기 세그멘터는 상기 영상을 동등하게 이격된 방향들에서 복수의 그레디언트 영상으로 분리하는 바운더리 콘투어 시스템을 포함하므로써, 상기 목표물이 상기 입력 영상내에서 국한되고 구별하는 시스템.
3. 제 2 항에 있어서, 상기 바운더리 콘투어 시스템은 그레디언트 바운더리들이 상기 입력 영상에서 존재하는 큰 응답을 형성시키는 션팅 멤브레인 방정식 뉴론의 시스템을 포함하는 시스템.
4. 제 2 항에 있어서, 상기 바운더리 콘투어 시스템은 방향 마스크 이용 그레디언트 페이즈 필드를 생성하는 수단과, 센터 서라운드 이용 공간 그레디언트 발생하는 수단과, 방향에 걸쳐 국부적 경쟁을 발생하는 수단과, 상기 영상에서 빠진 또는 미약한 에지 정보가 채워지도록 방향들중의 전체 협동을 발생하는 수단과, 상기 전체 협동을 발생시키는 수단에 의해 야기된 흐릿해짐을 제거하는 센터 서라운드 이용 공간적 그레디언트를 발생시키는 수단을 포함하는 피드백 메카니즘을 포함하는 시스템.
5. 제 1 항에 있어서, 상기 특성 추출기와 상기 패턴 인식기는 모두 네오코그니트론을 포함하는 시스템.
6. 제 5 항에 있어서, 상기 특성 추출기는 제1네오코그니트론 층을 포함하고 상기 패턴 인식기는 제2 및 제3네오코그니트론 층을 포함하며, 각각의 상기 제1, 제2 및 제3층들은 두개의 부분층들을 포함하며, 각각의 상기 부분층들은 2차원 뉴론 어레이를 포함하며, 각각의 상기 네오코그니트론 층들은 상기 뉴론들 중의 선택된 뉴론들 간의 가중된 연결로 이루어지는 컨벌루션 마스크에 의해 연결되는 시스템.
7. 제 6 항에 있어서, 상기 가중된 연결 강도를 자율 훈려에 의해 조절하는 수단을 더 포함하는 시스템.
8. 제 1 항에 있어서, 상기 패턴 인식기는 상기 목표물 영상의 벡터 표현을 발생시키는 시스템.
9. 입력 데이타내의 패턴들을 인식하는 시스템이, 상기 입력 패턴을 나타내는 2진 신호를 출력으로서 발생하는 세그멘터와, 상기 세그멘터에 연결되어 상기 세그멘터로부터 병렬의 상기 출력을 수신하고 상기 입력 데이타내 원소적 특성을 특징으로 하는 출력 응답을 발생하는 특성 추출기와, 상기 특성 추출기의 출력에 연결되어 복수의 상기 원소적 특성 응답을 조합하여 상기 원소적 특성들의 복잡한 조합을 특징으로하는 새로운 병렬 출력 응답을 형성하는 패턴 인식기와, 상기 패턴 인식기 출력에 연결되어 상기 입력 데이타내 상기 패턴들의 사전 결정된 분류에 대응하는 출력을 발생하는 분류기를 포함하는 시스템.
10. 제 9 항에 있어서, 상기 세그멘터는 영상을 동일하게 이격된 방향들에서 복수의 그레디언트 신호들로 분리하는 바운더리 콘투어 시스템을 포함하므로써, 상기 패턴이 상기 입력 데이타내에서 국한되고 구별되는 시스템.
11. 제 10 항에 있어서, 상기 바운더리 콘투어 시스템은 그레디언트 바운더리들이 상기 입력 데이타에 존재하는 큰 응답을 형성하도록 션팅 멤브레인 방정식 뉴론의 시스템을 포함하는 시스템.
12. 제 10 항에 있어, 상기 바운더리 콘투어 시스템은 방향 마스크 이용 그레디언트 페이즈 필드를 생성하는 수단과, 센터 서라운드 이용 공간 그레디언트 를 발생하는 수단과, 방향들에서 국부적 경쟁을 발생하는 수단과, 상기 영상에서 빠진 또는 미약한 에지 정보가 채워지도록 방향들간의 전체 협동을 발생하는 수단과 상기 전체 협동을 발생하는 수단에 의해 야기된 희미해짐을 제거하는 센터 서라운드 이용 공간 그레디언트 를 발생하는 수단을 포함하는 피드백 메카니즘을 포함하는 시스템.
13. 제 9 항에 있어서, 상기 특성 추출기는 제1네오코그니트론 층을 포함하고 상기 패턴 인식기는 제2 및 제3네오코그니트론 층을 포함하며, 각각의 상기 제1, 제2 및 제3층들은 두개의 부분 층들을 포함하고, 각각의 상기 부분층은 2차원 뉴론 어레이를 가지며, 각각의 상기 네오코그니트론 층은 상기 뉴론들 중의 선택된 뉴론들간의 가중된 연결된 이루어지는 컨벌루션 마스크에 의해 연결되는 시스템.
14. 입력 영상에 포함된 목표물 영상을 찾아내고 분류하는 미사일 유도 시스템이, 이 입력 영상에 연결되어 출력으로서 복수의 그레디언트 방향 응답 영상을 병렬로 발생하는 바운더리 콘투어 시스템과, 제1층이 상기 바운더리 콘투어 시스템에 연결되고 특성 추출기를 포함하며, 제2 및, 제3층이 상기 특성 추출기에 연결되어 상기 입력 영상내 원소적 특성들의 복잡한 조합을 특징으로 하는 병렬 출력 응답을 발생하는 패턴 인식기를 포함하는 상기 세개의 제1,제2 및 제3층을 포함하는 네오코그니트론과, 상기 패턴 인식기에 연결되어 상기 목표물 영상의 사전 결정된 분류에 대응하는 출력을 발생하는 역전파 신경회로망을 포함하는 미사일 유도 시스템.