KR930007744B1 - 가변 연결 요소의 수를 줄인 광학 신경회로망 - Google Patents

Abstract

내용 없음.

Description

가변 연결 요소의 수를 줄인 광학 신경회로망

제1도는 본 발명이 제안하는 신경회로망의 기본구조도.

제2도는 본 발명에서 제안하는 단층 신경회로망 구조도.

제3도는 본 발명에서 제안하는 2층 신경회로망 구조도.

제4도는 본 발명의 단층 신경회로망의 광학적 구현도.

제5도는 본 발명의 순방향 패스에서의 N²M²상호 연결 구성도.

제6도는 본 발명의 역방향 패스에서의 N²M²상호 연결 구성도.

제7도는 본 발명의 2층 신경회로망의 광학적 구현도.

* 도면의 주요부분에 대한 부호의 설명

x : 입력 y : 출력

t : 원하는 출력 W : 입력단 가변 가증값

V : 출력단 가변가증값 T : 연결행렬

VEP : 입력단의 가변가중값을 학습시키기 위한 누적오차

WEP : 출력단위 가변가중값을 학습시키기 위한 누적오차

1 : 순방향 패스 2 : 역방향 패스

3,8,20,26 : 2차원 공간 광변조기 4,7,22,24,25 : 다면 홀로그램

5,10,23,29 : 2차원 감지기 6,30 : 개인용 컴퓨터

9,27,28 : 렌즈

본 발명은 생물학적 두뇌작용을 모방하여 인간이나 동물들이 잘 수행하는 영상인식, 음성인식, 적응제어등을 효율적으로 수행하는 인공지능 시스템 구현에 관한 것이다.

특히, 외부의 지도자(supervisor ; 처리프로그램의 실행을 감독하는 기능을 가진 감시프로그램)에 의해 주어진 입력에 따른 원하는 출력이 가르쳐 질때, 원하는 출력과 실출력사이의 오차가 최소가 되도록 비교적 단순한 법칙에 의하여 입·출력 사이의 연결행렬을 조정하여 적응학습시키는 지도학습 신경회로망으로 신경 회로망의 광 구현에 관련되어 있고, 적응 요소를 줄임으로써 대규모 광학적 구현을 효율적으로 할 수 있도록 하는데 관련된 가변 연결요소의 수를 줄인 광학 신경회로망에 관한 것이다.

일반적인 인공 신경회로망의 구조를 살펴보면, 매우 간단한 형태로 이루어져 있음을 알 수 있는데 입력데이타를 상호연결 가중치에 곱하고, 그 합에 비선형 함수를 가하여 출력을 얻는다. 이는 신경회로망이 많은 상호연결로 이루어져 있을때, 몇개의 상호연결 가중치에 에러가 발생하더라도 별로 중요하지 않다는 것을 의미하고, 이로 인하여 시스템은 입력 잡음에도 어느 정도의 면역 성질을 갖게끔 한다. 그리고, 생물학적 뉴우런의 속도가 수 밀리초임에도 불구하고 영상인식, 음성인식, 적응제어 등에서 수퍼컴퓨터를 능가하는 이유는 수십억개의 뉴우런이 동시에 대량 병렬적으로 처리되기 때문이다. 따라서, 신경회로망 특징중 고밀도 연결성과 대량 병렬성의 성질은 원칙상 대단히 매력적이다. 그러나, 실질적으로 성공적인 구현이 이루어지기에는 많은 장애물이 있다. 특히 하드웨어를 구성할때 고밀도 연결성 특징을 이루게 하는 상호연결이 어떻게 구현되는가는 대단히 중요한 관건이 된다.

많은 수의 뉴우런을 갖는 대규모 인공 신경회로망의 수많은 상호연결을 현재 잘 발달된 반도체 초집적 회로(VLSI ; Very Large Scale Integration) 기술로 구현하는 것은 한 방법일지 몰라도 최적의 것은 아니다. 한편, 광학기술을 이용한 구현은 이론상 많은 상호연결과 속도[interconnects/sec]를 제공하나, 적응학습을 위해서는 고성능의 공간 광변조기가 필요한 실정이다. 적응학습에 필요한 가변요소는 고정요소보다 가격면에서 비싸며, 대규모 구현의 제한요소가 되었다.

따라서, 본 발명에서는 많은 고정 상호연결을 제공하는 다면 홀로그램(page-oriented hologram)과 공간 광 변조기(spatial light modulator)를 결합하여 적응요소의 수를 줄이고도 적응학습시킬 수 있는 새로운 신경회로망의 구조와 광학적 구현방법을 제시한다. 그리고, 기술적 방법의 기반과 이론적 측면은 "대규모 광학적 이행을 위한 신경회로망 모델, 신경계산 3(H.J.Lee, S.Y.Lee, and S.Y.Shin, TAG : A Neural network model for large-scale optical implementation, Neural Computation 3, 135-143, 1991.)"에 기술되어 있다.

본 발명에서 제안하는 신경회로망 구조는 하나의 층안에 두가지 다른 상호연결을 갖도록 하는데, 총체 고정 상호연결과 국부 적응연결로 이루어져 있어 광학적 구현시에 총체 고정 상호연결은 꽤 많은 상호연결을 제공하는 다면 홀로그램 기법을 이용하여 만들고, 국부 적응 연결은 공간 광변조기로 구현된다.

입력 뉴우런이 N×N이고 출력 뉴우런이 M×M일때, 고정 상호연결을 제공하는 다면 홀로그램은 N×N의 2차원 배열로 된 작은 홀로그램 어레이(array)를 만들고, 그 각각의 홀로그램은 M²의 고정연결을 주도록 하여 전체적인 N²M²의 고정 상호연결을 얻을 수 있게 한 것이다. 이는 종래의 미국 특허 제5,004,309호에서는 N²M²의 상호연결을 얻기 위하여 M×M의 어레이로 된 작은 홀로그램의 각각에 N²의 상호연결을 주도록 한 것으로써, 하나의 홀로그램 판(板)에 배열을 구성하는 작은 홀로그램의 내용, 즉, 상호연결 강도를 정해주는 방식이 다르다.

본 발명에서는 똑같은 다면 홀로그램을 사용하여 N²M²의 상호연결을 구성하여 서로 역행렬 관계에 있는 양구조를 결합하여 광 신경회로망의 순방향 패스와 오차를 역전파시키기 위한 역방향 패스를 각각 구현할 수 있다. 오차의 계산, 국부 적응 연결의 가변량 계산 및 신호의 흐름이 개인용 컴퓨터에 의해 처리되어 하나의 적응 광 신경회로망 구조를 형성한다.

본 발명은 상호 연결행렬이 W_iT_ijV_j로 V_j와 W_i는 적응요소로 구성되고, T_ij는 고정요소로써 구성된다. 총체적 고정연결 T_ij는 어떤 표준패턴에 대해 오프라인(off-line) 학습을 시킨것을 사용하는 경우와 0과 1사이에 균일한 존재 확률을 갖는 랜덤(random)수로 부터 생성된 것을 사용하거나, 평균이 0.5이고 적정한 표준편차를 갖는 정규분포를 사용할 수 있다. 즉, 총체 고정연결은 신경회로망에서 필요로 하는 총체적 연결만을 구성하고, 저장 패턴은 국부 적응연결로 학습된다. 이와 같이 구성하는 이유는 총체적 연결을 고정요소로 구성함으로써 비교적 손쉽게 대규모 신경회로망을 구현할 수 있게 하기 위함이며, 적응 학습기능을 첨가하기 위해 적응요소를 입력단과 출력단에 부가하였다. 또한, 순방향 패스의 N²M²의 상호 연결형태가 특이하며 랜덤수의 광 신호표시로써 신경회로망의 완전 연결만을 제공하는 역할을 하는 경우와 표준 패턴에 대해 미리 학습한 가중치를 다면 홀로그램에 기록할 경우의 2가지로 이용된다.

이하, 본 발명을 첨부도면에 의거하여 상세히 설명하면 다음과 같다.

본 발명에서 사용하는 광학 신경회로망의 기본구조도를 표시한 것으로 입력(x)과 출력(y)을 연결하는 연결행렬을 W_iT_ijV_j로 놓고, 이중 T_ij를 고정시키고 W_i와 V_j만을 변화시켜 학습시킨다. 여기서 첨자 i와 j는 각각 벡터의 i와 j번째 요소를 의미하고, 첨자 ij는 행렬의 i번째 열, j번째 행을 의미한다. 본 발명에서 사용하는 연결행렬의 특징은 모든 출력 뉴우런에 연결되는 총체적 연결을 유지하나, 가변 연결요소의 수가 기존의 NM에서 (N+M)개로 주는데 있다(여기서 N과 M은 각각 입력과 출력의 뉴우런수이다). 즉, 같은 수의 가변 연결요소를 가지고 훨신 많은 수의 입출력 뉴우런을 구현할 수 있다.

제2도는 본 발명에서 사용되는 단층 신경회로망의 구조로 가운데의 총체 상호연결은 고정요소를 사용하여 구현성을 용이하도록 하고, 앞단과 뒷단에 적응요소를 첨가하여 적응학습 되도록 하였다. 따라서, 적응요소의 수는 입력 뉴우런의 갯수가 N×N이고, 출력 뉴우런의 갯수가 M×M이면, 단층 인식자의 경우는 N²M²의 적응요소가 필요한 반면, 본 발명의 구조는 단지 N²+M²의 적응 요소만을 필요로 한다. 출력 T_ij는 다음과 같이 시그모이드(Sigmoid) 함수를 적용한 형태로 나타낼 수 있다(본 발명에서의 광학적 구현구조가 2차원 입력/출력에 대한 것이기 때문에 입출력을 두개의 아래 첨자로 표기한다).

여기서, x_kℓ은 k_ℓ번째 입력 뉴우런의 활성도이고, V_ijT_ijkℓW_kℓx_kℓ은 kℓ번째 입력 뉴우런과 ij번째 출력 뉴우런 사이의 상호연결이 된다. 또한, S(.)는 시그모이드 함수를 의미한다. 종래의 신경회로망에서는 T_ijkℓ만을 상호연결을 사용하였으나, 본 발명에서는 T_ijkℓ을 고정연결로 두고 가변 연결 V_ij와 W_ij을 도입하여 T_ikℓV_jkℓW_kℓ을 상호연결로 사용하였다.

총체 고정 상호연결 T_ijkℓ의 값은 랜덤하게 결정되거나, 표준패턴에 대하여 임의의 학습방법에 의해 결정될 수 있다. 출력단에서의 오차는 다층 인식자 경우와 마찬가지로 합자승 오차로 정의하였다.

여기서, s는 입력/출력쌍에 대한 인덱스이고, i, j는 출력 뉴우런에 대한 인덱스이며, y는 출력 뉴우런에서의 실제 상태를 나타낸다. 그리고, t는 출력에서 학습되기 원하는 목표상태를 나타낸다. E를 최소화시키기 위해 적응요소 V_ij와 W_k1에 대해 E의 편미분을 구하는 것이 필요하며, 체인룰(chain rule)을 적용하여 각각 다음과 같이 얻었다.

식(3)의

는 식(1)에의 입력

에 대한 시그모이드 함수의 인자를 의미하고,

와

는 각각 출력단과 입력단에서 오차를 의미하며, 다음과 같이 정의된다.

(5)식에서 S'(.)는 S(.)의

에 대한 미분을 의미하고, 오차

의 역전파에 의해 계산되어짐을 알 수 있다. 이것은 다층구조로 확장시킬 수 있음을 의미하며, 일 예로써 2층 구조에 대하여 제3도에 도시하였다. 2층 구조의 첫번째 단에서의 출력 z_k1과 두번째 단에서의 출력 y_iℓ는 다음과 같이 나타낼 수 있다.

따라서, 각 층의 상호연결은 총체 고정 상호연결 T_klmn,

과 국부 적응연결 W_mn, V_kℓ,

,

로 이루어진다. 오차를 식(2)에서와 같이 정의하고 각 층의 적응요소에 대한 편미분을 구해보면, 다음과 같이 정의된다.

여기서,

식(11)과 식(12)에서 알 수 있듯이 출력단의 오차

에 의해

가 계산된다. 따라서, 임의의 층을 갖는 구조에 대해서도 마찬가지로 학습시킬 수 있다. 본 발명 구조의 기울기 계산은 벡터-행렬 형태의 곱셈을 해야 하는 다층 인식자와는 달리, 단지 일대일 스칼라 곱셈이기 때문에 쉽게 구현될 수 있다.

총체 고정 상호연결은 저장되는 패턴의 표준정보를 갖는 경우와 그렇지 않은 경우가 모두 가능하다. 전자의 경우, 활자체 패턴에 대해 미리 오프-라인으로 학습시킨 결과를 이용하여 고정 상호연결을 구현하고, 국부 적응연결로 필기체에 적응시키는 것이 좋은 예가 된다. 후자의 경우, 총체 고정 상호연결은 단순히 신경회로망에서 필요로 하는 총체적 연결만을 구성할뿐 저장패턴은 국부 적응연결로 학습된다. 이때 총체 고정연결은 0과 1사이에 균일한 존재 확률을 갖는 랜덤 수로부터 생성하거나, 평균 0.5이고 적정한 표준편차를 갖는 정규분포를 사용할 수 있다.

신경회로망의 광학적 구현측면에서 생각해 볼때, 인식자나 홉필드(hopfield) 모델등은 완전연결을 이루고 있기 때문에 요구되는 적응요소 수가 입력 뉴우런 갯수(N×N)에 출력 뉴우런 갯수(M×M)을 곱한 수(N²×M²)만큼 되므로 공간 광 변조기의 해상도가 가장 심각한 제한요소가 된다. 그러나, 본 발명에서의 모델은 공간 광 변조기 해상도가 단지 입력 뉴우런 갯수 더하기 출력 뉴우런 갯수(N²+M²)이기 때문에 대규모 구현에 적합하다 할 수 있다.

제4도에서는 본 발명의 단층 신경회로망의 광학적 구현도로써 적응학습시에는 2개의 패스가 사용되는데, 순방향 패스(1)와 역방향 패스(2)(비록 방향은 순방향 진행과 같지만 역전파되는 오차를 구해내기 위한 패스)의 N²M²상호 연결방식이 다르게 구현된다.

공간 광변조기(3)로 입력되는 입력광은 파장이 고른 정현파의 모임상태인 코히런트 광(coherent light source)으로 빛의 세기에 따라 학습이 이루어진다. 입력광은 N²과 M²의 국부 적응연결을 제공하는 공간 광변조기(3)를 거치고, N²M²의 총체 고정 상호연결을 제공하는 다면 홀로그램(4)을 통해 출력평면에서,

_ij/W_ij를 얻는 2차원 감지기(5)로 패스되는 순방향 패스(1)를 거치게 된다. 2차원 감지기(5)는 검출신호를 개인용 컴퓨터(6)로 전송하고, 개인용 컴퓨터(6)는 검출신호의 오차 및 공간 광변조기(3)에로의 국부 적응연결 강도를 지정한다.

한편, 입력광이 다면 홀로그램(7)에 입력되면 N²과 M²의 국부 적응연결을 제공하는 공간 광변조기(8)를 거치고, 렌즈(9)를 통해 상기 다면 홀로그램(7)과 벡터 행렬 곱셈에 따라 γ_kl/V_kl을 감지하는 2차원 감지기(10)로 패스되어 역방향 패스(1)를 거치게 된다. 역전파 되는 역방향 패스(1)는 오차를 구하여 적응학습을 구현하게 되고, 2차원 감지기(10)에서 검출된 신호는 개인용 컴퓨터(6)로 입력되어 국부 적응연결을 제공하는 공간 광변조기(8)로 전기적 신호를 보내 오차를 계산하게 된다.

제5도는 제4도의 순방향 패스(1)의 N²M²상호연결 구성을 상세히 표현한 것으로 2차원 감지기(5)에 공간 광변조기(3)와 다면 홀로그램(4)을 통해 검출되는 신호로써

를 갖게 되고, 제4도의 역방향 패스(2)는 다면 홀로그램(7)과 벡터행렬 곱셈에 따라 γ_kl/V_kl을 감지하는데, 검출되는 신호는

T_ijklb_ij로 된다. 즉, 단층 신경회로망의 광학적 구현도는 2차원 공간 광변조기(3)를 이용하여 입력광으로 부터 x_kℓ/V_kℓ을 얻고, 다면 홀로그램(4)을 통해 출력 평면에서 2차원 감지기(5)로

_{ij ij}

를 계산하게 되고, 다시 2차원 공간 광변조기(8)에

의 투과율로 설정하면, 역시 같은 다면 홀로그램(7)과의 벡터행열 곱셈에 따라 2차원 감지기(10)에서 γ_kl/V_kl을 감지하게 되는 것이다. 이에 따라 개인용 컴퓨터(6)는 새로운 입력단 가변가중값(W)과 출력단 가변가중값(V)을 구하게 된다.

제7도는 본 발명의 다른 실시예로써 2층 구조의 광학 신경회로망의 구현을 나타낸 것으로 다층구조로 확장이 가능하다. 즉, 다수의 국부 적응연결과 다수의 총체 고정연결로 대규모의 광학 신경회로망을 구현할 수 있는 것이다.

상기와 같이 본 발명에서는 대규모의 광학적 구현을 위하여 개발된 새로운 신경회로망 구조와 그것의 광학적 구현으로 2차원 N×N의 입력 뉴우런과 2차원 M×M의 출력 뉴우런을 갖는 신경회로망의 상호연결을 N²M²의 국부 적응연결을 갖고, 광학적 구현시에 총체 고정 상호연결은 N²M²의 상호연결을 갖는 다면 홀로그램(4)(7)에 의해 용이하게 구할 수 있으며, 국부 적응연결을 공간 광변조기(3)(8)에 의하여 단지 입출력단에서 N²+M²의 국부 적응연결만으로 쉽게 이루어질 수 있다. 그러므로, 본 발명에서는 고해상도 영상의 인식에서 상용 공간 광변조기(3)(8)의 사용이 가능하고, 기존 다층인식자와 동일하게 오차 역전파 방법에 의해 학습되므로 쉽게 다층구조로 확장시킬 수 있다.

Claims (7)

1. 신경회로망의 구조와 광학적 구현에 있어서, 빛의 세기에 따라 학습이 이루어지는 코히턴트 광으로 입력되는 입력광과, N²M²의 총체 고정 상호연결을 제공하는 다면 홀로그램(4)(7)과, N²과 M²의 국부 적응 연결을 제공하는 공간 광변조기(3)(8)와, 적응학습을 위한 순방향 패스(1)와, 역전파되는 오차를 구해내기 위한 역방향 패스(2)와, 상기 다면 홀로그램(4)을 통해 출력평면에서

   

   _ij/W_ij를 얻는 2차원 감지기(5)와, 상기 다면 홀로그램(7)과 백터행렬 곱셈에 따라 γ_kl/V_kl을 감지하는 2차원 감지기(10)와, 검출된 신호로부터 오차를 계산하고, 상기 공간 광변조기(3)(8)에 국부 적응연결 강도를 지정하도록 하는 개인컴퓨터(6)로 구성되고 입력 뉴우런과 출력 뉴우런 사이의 연결행렬로 고정된 총체 상호연결과 국부 적응연결로 이루어져 국부 적응연결의 조정에 의해 학습을 시키는 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
2. 제1항에 있어서, 개인용 컴퓨터(6)로써 상기의 학습방법으로 실출력과 원하는 출력사이의 차를 자승하여 합한 전체오차를 최소로 하는 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
3. 제2항에 있어서, 오차를 최소로 하기 위하여 각 국부 적응연결에 대한 전체 오차의 기울기를 구하여, 그 반대 방향으로 국부 적응연결 값을 반복적으로 조정하는 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
4. 제1항에 있어서, 고정된 총체 상호연결로서 특수분포함수(예로 균일함수, 가우스분포등)을 갖는 랜덤수를 사용하는 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
5. 제1항에 있어서, 고정된 총체 상호연결을 응용분야별 기준 입출력쌍에 의해 미리 학습시킨 값을 사용하고, 사용자에 따른 입출력쌍의 변형을 국부 적응연결로 학습시킨 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
6. 제1항에 있어서, 상기 신경회로망이 은익층(hidden layer)이 있는 다층구조인 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.
7. 제1항에 있어서, 다면 홀로그램(4)(7)을 어레이의 공간적인 형태로 배치함으로써 미리 결정된 고정 상호연결 가중치를 제공하고, 공간 광변조기(3)(8)를 이용하여 국부 적응연결을 시킨 것을 특징으로 하는 가변 연결요소의 수를 줄인 광학 신경회로망.

Images