KR20010002997A - 신경회로망을 이용한 선택적 주의집중 방법 - Google Patents

Abstract

본 발명은 인간의 두뇌에서 일어나는 선택적 주의 집중의 메카니즘을 기존의 신경회로망인 다층 퍼셉트론과 그 학습 방법인 오차 역전파법을 이용하여 구현하고 이를 음성 인식이나 문자 인식과 같은 패턴 인식에 이용하는 방법에 관한 것으로, 기존의 다층 퍼셉트론과 오차 역전파법이 주어진 입력에 대하여 네트워크의 가중치를 변화시켜 원하는 인식의 기능을 하던 것에 반하여 본 알고리즘은 미리 학습된 가중치를 가지고 가중치의 값은 고정시킨 상태에서 출력층의 오차가 최소가 되도록 현재의 입력 패턴을 학습시킴으로서 원래의 입력 중 네트워크가 원하는 입력만을 선택적으로 받아들이는 기능을 가지게 되어 생물학적으로 선택적 주의 집중의 메카니즘을 모델링한 동시에 이를 이용하여 복수의 후보자 클라스에 대하여 주의 집중의 정도를 새로운 인식 척도로 정의하여 기존의 하나의 후보자 클래스에 대한 인식시스템에 비하여 우수한 인식 결과를 갖게 한다.

Description

신경회로망을 이용한 선택적 주의집중 방법{A selective attention method using neural networks}

본 발명은 신경회로망과 그 학습 방법인 오차 역전파법에 관한 것으로 특히, 오차 역전파법을 입력층까지 확장 적용하여 시냅스 가중치가 아닌 입력값을 변화시키고 변화된 입력값과 원래의 입력값의 차이를 인식의 척도로 활용하며 이러한 입력값의 변형과정을 종래의 인식기 앞단에 선택적 필터를 부가함으로써 인간의 두뇌에서 일어나는 선택적 주의 집중을 공학적으로 모사하고 이를 이용하여 음성인식이나 패턴인식에 적용할 수 있는 시스템을 구현하기 위한 신경회로망을 이용한 선택적 주의 집중 방법에 관한 것이다.

일반적으로, 선택적 주의 집중이란 둘 이상의 신호 또는 정보가 동시에 입력되어지는 상황에서 각각의 정보 또는 신호의 중요도 등을 기준으로 어느 한쪽의 정보 EH는 신호에 보다 많은 집중 혹은 주의를 기울이는 현상을 의미하며, 인간의 두뇌에서는 이러한 선택적 주의 집중이 자연스럽게 일어나고 있다.

예를 들어 인간은 여러 사람이 동시에 말하는 상황에서 주파수의 차이 또는 음원의 위치의 차이등 여러 신호의 차이를 효율적으로 이용하여 원하는 음성을 쉽게 인식해 낼 수 있다. 이러한 선택적 주의 집중은 심리학에서는 가장 오래된 주제 중 하나로 그 원리를 이해하기 위하여 인간과 동물을 대상으로 하여 많은 실험이 이루어져 왔다.

심리학 또는 인지과학에서 선택적 주의 집중에 관한 연구는 크게 두 가지로 구분할 수 있다. 한 가지는 여러 개의 자극이 두뇌에서 처리되기 이전에 선택적 필터를 거치는 과정에서 원하지 않는 신호는 걸러진다는 초기 선택 이론이며 또 한 가지는 모든 신호는 두뇌의 처리부에 전달되지만 두뇌에서 처리하는 과정에서 중요한 신호에 보다 더 큰 반응을 보인다는 것이다.

이 두 가지 견해에 대하여는 아직까지 많은 논의가 이루어지고 있으며 실제의 두뇌에서 일어나는 메카니즘은 이 두 가지 작용의 조합으로 보는 견해가 지배적이다.

최근에는 이러한 선택적 주의 집중을 공학적으로 모사하여 실제의 음성인식이나 문자 인식에 도움을 주고자 하는 시도가 생겨나고 있다. 하지만 현재까지의 연구들이 인간의 두뇌에서 일어나는 과정을 인지 과학적 측면에서는 잘 모사하고 있으나 이러한 연구의 경우 실제의 인식에 이용하기는 지극히 어려우며 단지 생물학적 측면에서 의의를 갖는 경우가 많고, 또 실제의 인식에 이용되는 연구 결과의 경우에도 구성이 복잡하여 실제로 소프트웨어 혹은 하드웨어로 구현하는 것은 어려운 상황이다.

상술한 상황을 극복하기 위하여 시도되고 있는 몇가지 방식중 대표적이라 할 수 있는 방식이 다층 퍼셉트론 방식으로써, 뉴런 혹은 신경회로망이라 칭하는 인공지능형식에 많이 사용되는 방식으로, 일정 패턴의 반복된 학습을 통해 추후 입력되는 정보(패턴)의 인식 또는 판단을 수행하게되는 방식이다.

그러나, 상술한 다층 퍼셉트론 방식에 따른 인공지능 형식의 신경회로망에서는 일정시간 반복 학습한 특정 패턴에 대해서는 빠른 적응력을 보이는 반면에, 학습된 패턴과 상이한 입력에 대하여는 인식 성능이 급격히 저하된다는 자체적인 문제점을 가지고 있다.

상술한 종래 기술의 문제점을 해소하기 위한 본 발명의 목적은, 오차 역전파 과정을 통하여 학습되는 선택적 필터를 종래의 인식기 앞단에 부가하여 인간의 두뇌에서 일어나는 선택적 주의 집중의 능력을 공학적으로 구현하고 이를 인식기에 적용하여 잡음 환경에서의 인식성능을 높이기 위한 것으로 특히 종래의 오차 역전파법이 출력층 오차를 첫 번째 은닉층까지 전파하여 은닉층의 가중치를 학습하는데 이용되었던 것에 비하여 오차의 역전파 과정을 입력층까지 확장 적용하여 입력층으로 오차를 역전파하는 신경회로망을 이용한 선택적 주의집중 방법을 제공하는 데 있다.

도 1은 전방향 신경회로망을 설명하기 위한 예시도

도 2는 본 발명에서 구현한 선택적 주의 집중 모델의 인지과정에 대한 과학적 설명을 위한 예시도

도 3은 본 발명에서 선택적 주의 집중을 구현한 전방향 신경회로망과 선택적 필터의 구성도

도 4a와 도 4b는 본 발명에 따른 선택적 주의 집중의 과정을 설명하기 위한 전체 순서도

도 5는 본 발명에 따른 선택적 주의 집중의 알고리즘을 패턴 인식에 사용한 시스템의 구성도

상기의 목적을 달성하기 위한 본 발명의 특징은, 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치를 학습패턴에 있어서, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및 상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 데 있다.

상기의 목적을 달성하기 위한 본 발명의 부가적인 특징으로 주어진 입력 패턴에 대하여를 계산하여와 같이를 반복적으로 학습시키되, 전방향 신경회로망의번째 은닉층의번째 뉴런의 출력값을, 이 뉴런의 역전파 오차값을,을번째 은닉층의번째 뉴런과번째 은닉층의번째 뉴런사이의 가중치라고 했을 때, 기존의 전방향 신경회로망의 가중치 학습 방법인 오차 역전파법을 입력의 학습에 확장 적용하여과 같이 정의하고와 같이 산출하는 데 있다.

상기의 목적을 달성하기 위한 본 발명의 다른 특징은, 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치를 학습패턴에 있어서, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및를 계산한 후,의 학습률로 입력값을 학습하는 과정인을 적용하는 과정에서를 직접 변화시키지 않고, 입력단과 다층 퍼셉트론의 입력단 사이에 주의 집중 이득로 이루어진 필터를 추가하고 필터의 입력을 인식하고자하는 패턴, 필터의 출력을이라 하였을 때,와 같이 정의하고을 다층 퍼셉트론의 입력으로 인가하여 입력 패턴의 학습을 국부 연결을 가진 시냅스 가중치의 학습을 통한 필터 설계로 대치하여 기존의 다층 퍼셉트론의 시냅스 가중치의 학습 방법인와 같이 산출하는 제 3과정을 포함하는 데 있다.

상기의 목적을 달성하기 위한 본 발명의 또 다른 특징은, 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치 학습 방법으로, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및 상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 신경회로망을 이용한 선택적 주의집중 방법을 통해 선택적 주의 집중의 학습결과를 음성 인식이나 문자 인식과 같은 패턴 인식의 문제에 활용하는 방법에 있어서: 다층 퍼셉트론의 출력으로부터 2개 이상의 후보자 클래스를 선택하여 각 클래스에 대하여 상기 선택적 주의 집중 방법을 적용하여 선택적 필터를 구성하는 제 1과정과, 제 1과정을 적용하여 설계된 필터의 출력과 입력사이의 거리를 이용하여 인식 척도를 새롭게 정의하고 이를 인식에 이용하는 제2과정, 및 주의 집중 이득의 값을 모두 1로 둔 상태에서 인식하고자하는 입력 패턴를 인가하여 전방향 신경회로망의 출력을 구한 후 가장 큰 출력 값을 내는개의 출력 클래스에 대하여 각 클래스 별로 목표치를 정하여를 산출하는 제 3과정을 포함하는 데 있다.

상기의 목적을 달성하기 위한 본 발명의 또 다른 특징은, 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치 학습 방법으로, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및 상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 신경회로망을 이용한 선택적 주의집중 방법을 통해 선택적 주의 집중의 학습결과를 음성 인식이나 문자 인식과 같은 패턴 인식의 문제에 활용하는 방법에 있어서: 다층 퍼셉트론의 출력으로부터 2개 이상의 후보자 클래스를 선택하여 각 클래스에 대하여 상기 선택적 주의 집중 방법을 적용하여 선택적 필터를 구성하는 제 1과정과, 제 1과정으로부터 계산한 필터의 출력와 원래의 입력사이의 유클리드 거리,와 제3항의 과정을 적용하는 과정에서의 학습 후의 출력층 오차를 계산하여 이를 인식에 이용하기 위하여 다층 퍼셉트론의 해당 출력 클래스의 원래의 출력 결과와 함께와 같이 정의하여 이를 인식의 척도로 이용하는 제 2과정, 및 주의 집중 이득의 값을 모두 1로 둔 상태에서 인식하고자하는 입력 패턴를 인가하여 전방향 신경회로망의 출력을 구한 후 가장 큰 출력 값을 내는개의 출력 클래스에 대하여 각 클래스 별로 목표치를 정하여를 산출하는 제 3과정을 포함하는 데 있다.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 후술되는 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.

우선, 본 발명을 설명하기에 앞서 본 발명에서 해소하고자 하는 종래 기술의 문제점이 발생되는 원인을 첨부한 도 1을 참조하여 상세히 살펴보기로 한다.

일반적인 다층 퍼셉트론은 첨부한 도 1에 도시되어 있는 바와 같이 입력층과 출력층 사이에 하나 이상의 중간층(은닉층)이 존재하는 층 구조의 신경회로망으로 몇 개의 단층 퍼셉트론이 직렬로 연결된 형태이다.

입력층에 인가된 입력값은 각 입력 뉴런에 연결된 시냅스 가중치가 곱해져 인접한 은닉층의 뉴런 별로 그 합이 계산되어 이 뉴런의 출력값이 다시 다음 은닉층의 입력이 되는 형태로 차례로 출력층까지 전달된다. 즉번째 은닉층의번째 뉴런의 입력은 아래의 수학식 1과 같이 계산된다.

상기 수학식 1에서는의 바이어스인데,이다. 또한,는번째 은닉층의번째 뉴런과번째 은닉층의번째 뉴런을 연결하는 시냅스 가중치를 의미하며, 또한은번째 은닉층의번째 뉴런의 출력값을 의미한다. 또한, 변수은번째 은닉층의 은닉 뉴런의 개수를 의미한다.

따라서, 은닉층의 뉴런의 입력이과 같이 주어졌을 때 그 뉴런의 출력은 아래의 수학식 2와 같이 정의할 수 있다.

상술한 바와 같은 구조를 갖는 다층 퍼셉트론이 인식기로써 올바르게 동작하기 위해서는 각 뉴런을 연결하는 시냅스 가중치들이 적당한 값으로 조절되어야 한다는 선행 조건이 따르게 되는데, 이러한 가중치의 조절 과정이 다층 퍼셉트론의 학습 과정이며 이는 오차 역전파법에 의하여 층별로 계산된다.

다층 퍼셉트론의 학습은개의 학습 패턴을 입력으로 받아들이고 각각의 학습 패턴에 해당하는 원하는 출력값을 출력층의 목표치로 설정하여 출력층의 실제 출력값과 목표치 사이의 MSE를 최소로하는 시냅스 가중치를 구함으로써 이루어진다.

그러므로,개의 학습패턴와 그에 따른 출력 벡터, 목표 벡터에 대한 MSE는 아래의 수학식 3과 같이 계산된다.

이때, 상기 수학식 3의 MSE를 최소화시키기 위하여 오차 역전파법에서는 출력 층의 가중치를 아래의 수학식 4와 같은 방법으로 반복적으로 적용하게된다.

상기 수학식 4에서 변수는 학습률을 나타내며,는 각 은닉층 뉴런값에 대한 출력층 오차의 미분치를 나타내는 것인데, 상기 출력층 오차의 미분치를 수학식으로 정리하면 아래의 수학식 5와 같이 정의된다.

상기 수학식들을 기준으로 기존의 오차 역전파법을 요약하면, 주어진 입력 벡터와 목표 벡터에 대하여 상기 수학식 1에 따른 전방향 전파를 통하여 상기 수학식 3과 같은 출력층의 총오차를 계산하고 이를 최소화하기 위하여 상기 수학식 5와 같이 각 은닉층 뉴런의 값에 대하여 출력층 오차를 미분하여 오차가 작아지는 방향으로 상기 수학식 4을 통해 시냅스 가중치를 변경하는 과정을개의 학습 패턴에 대하여 반복적으로 적용하는 알고리즘이다.

이때, 상술한 바와 같은 단순 계산의 반복에 의하여 주어진 입력 패턴을 몇 개의 클라스로 분류하는 다층 퍼셉트론은 대표적인 신경회로망으로 패턴 인식 문제에 널리 쓰이고 있으나 전술한 종래 기술의 문제점에서와 같이 학습된 패턴과 상이한 입력에 대하여는 인식 성능이 급격히 저하된다는 문제점을 가지고 있다.

따라서, 본 발명에서 적용하고자 하는 기술적 사상은 오차 역전파 과정을 통하여 학습되는 선택적 필터를 종래의 인식기 앞단에 부가하여 인간의 두뇌에서 일어나는 선택적 주의 집중의 능력을 공학적으로 구현하고 이를 인식기에 적용하여 잡음 환경에서의 인식성능을 높이기 위한 것으로 특히 종래의 오차 역전파법이 출력층 오차를 첫 번째 은닉층까지 전파하여 은닉층의 가중치를 학습하는데 이용되었던 것에 비하여 오차의 역전파 과정을 입력층까지 확장 적용하고자 하는 것이다.

이하, 첨부한 도면을 참조하여 본 발명에 따른 신경회로망을 이용한 선택적 주의집중 방법을 살펴보기로 한다.

첨부한 도 2는 본 발명에서 구현한 선택적 주의 집중의 알고리즘이 인지과학적 측면에서 인간의 두뇌에서 일어나는 선택적 주의 집중을 어떻게 설명할 수 있는가를 공학적으로 도시한 것이다.

도 2에서 인가된 입력은 인식기 즉, 두뇌의 처리부에 전달되기 이전에 선택적 필터(10)를 통과한다. 이 과정에서 원하지 않는 신호는 감쇠되고 원하는 신호만 통과되어 두뇌의 처리부(20)는 여러 개의 신호 중 원하는 하나의 신호만을 받아들이게 된다.

상기 선택적 필터(10)는 두뇌에서 생각하는 목표치에 따라 자동으로 구성되어야 하며 이것은 원하는 입력에 대한 기존의 기억에 의하여 두뇌에서 가상의 목표치를 구상하고, 이 목표치와 필터의 출력간의 차이가 최소가 되도록 필터의 계수를 학습시킴으로써 이루어진다.

도 3은 상기 도 2에서 상술한 다층 퍼셉트론과 오차 역전파법을 이용하여 실제로 구현한 네트워크를 도시한 것이다.

우선, 본 발명에서 정의하고자 하는 기술적 배경을 간략히 언급하면 다음과 같다.

상술한 오차 역전파법에서항은번째 은닉층 또는 출력층의번째 뉴런의 입력값에 대하여 출력층의 오차함수를 미분한 항이다. 이 과정에서항의 전파를 입력층까지 확장하여 생각하면 입력층에서의항은 아래 수학식 6과 같은 의미를 갖는다.

상기 수학식 6은 출력층의 오차를 감소시키기 위하여 입력값이 어떤 방향으로 변화되어야 하는지를 나타내는 것으로, 상기 수학식 6에서의 변수값은 기존의 오차 역전파법을 확장하여 아래의 수학식 7과 같이 쉽게 구할 수 있다.

이때, 상기 수학식 7에서의 변수은 기존의 오차 역전파법에서와 같이 첫 번째 은닉층의 j번째 뉴런의항을 의미한다.

따라서, 상기 수학식 5와 같은 입력항의 변화를 첨부한 도 3에 도시되어 있는 바와 같이 입력단과 인식기 사이에 외부의 입력과 다층 퍼셉트론의 입력을 일대일로 연결하는 연결 제한된 은닉층을 추가함으로써 추가된 은닉층의 가중치 변화로 대치할 수 있다.

즉, 기존의 다층 퍼셉트론의 입력()은 실제의 입력()에 아래의 수학식 8과 같이 주의 집중 이득가 곱해진 형태이며, 이 주의 집중 이득을 변화시키는 것은 다층 퍼셉트론의 입력을 변화시키는 것과 같은 효과를 가져온다.

이 경우 주의 집중 이득의 학습은 추가된 주의 집중층을 다층 퍼셉트론의 일부로 간주할 수 있고, 이때 아래의 수학식 9와 같이 기존의 오차 역전파법과 동일한 형태로 적용 가능하다.

상기 수학식 9에서 사용되는항은 상기 수학식 6과 같이 정의되며, 또한 수학식 7과 같이 계산된다.

이러한 학습 알고리즘에 의한 선택적 주의 집중의 과정을 순서도로 정리하면, 첨부한 도 4a와 도 4b에서와 같이 정리될 수 있는데, 우선 일반적인 다층 퍼셉트론의 앞단에 상술한 것과 같이 주의 집중 이득을 필터 계수로 하여 실제의 입력과 필터를 거친 다층 퍼셉트론의 입력을 일대일로 연결하는 선택적 필터를 구성한다.

우선, 학습과정에 대하여 살펴보면, 스텝 S101에서 모든 주의 집중 이득를 1로 고정시켜 두어, 실제 입력이 그대로 다층 퍼셉트론에 전달되도록 하여 다층 퍼셉트론의 시냅스 가중치를 학습한다(S102∼S108).

이 과정은 기존의 오차 역전파법과 동일하므로 상세한 설명은 생략하고, 간략히 언급하면, 상기 스텝 S101에서 주의 집중 이득를 1로 고정시킨 이후 스텝 S102에서는 P개의 학습 패턴을 입력받게 된다. 이후, 스텝 S103과 스텝 S 104의 과정을 통해 입력된 신호들의 전방향 전파와 그에 따른 출력층 오차를 계산하게 된다.

상기 스텝 S104에서 출력층 오차가 계산되어지면 스텝 S105에서는 상기 스텝 S104에서 산출되어진 오차값이 임계범위 이내인가를 판단하여 즉, 오차값이 문턱값보다 작은가를 판단하여 작지 않다고 판단되면 스텝 S106으로 진행하고, 작다고 판단되면 스텝 S108로 진행하게 된다.

상기 스텝 S105에서 오차값이 문턱값보다 작지 않다고 판단되는 경우 스텝 S106과 스텝 S107에서는 오차의 역방향 전파를 수행하고 그에 따라 가중치를 변경하여 상기 스텝 S102로 재 진행한다.

반면에, 상기 스텝 S105에서 오차값이 문턱값보다 작다고 판단되는 경우 스텝 S108에서는 해당 가중치를 저장하고 종료하게 된다.

상술한 바와 같은 학습과정을 수행한 후 얻어지는 기 학습된 시냅스 가중치는 고정된 상태에서 주의 집중 이득만을 학습하여 입력 신호를 선택적으로 받아들이는 기능을 구현한다.

이를 위하여 첨부한 도 4b에 도시되어 있는 과정을 수행하게 되는데, 우선 스텝 S021에서 주의 집중 이득를 모두 1로 초기화 한 후, 스텝 S202의 과정을 통해 테스트 패턴을 읽어들인다.

이후, 상기 스텝 S102의 과정을 통해 읽어들인 테스트 패턴 신호를 네트워크에 인가하여 신호의 전방향 전파를 통한 다층 퍼셉트론의 출력값을 얻는다. 이후 스텝 S204에서 스텝 S208까지의 과정이 원하는 신호를 지정하여 입력 신호 중 원하는 부분만을 통과시키는 필터를 구성하는 과정으로 출력층에서의 오차가 원하는 문턱값이하가 될 때까지 반복적으로 적용하게 된다. 이 과정에서 원하는 신호는 외부에서 임의로 정하여 주거나 또는 네트워크의 최대 출력값을 갖는 클래스로 설정된다.

보다 자세히 살펴보면, 상기 스텝 S204에서는 정해진 신호에 따라 목표치를 가정하고, 이에 따라 스텝 S205에서는 상기 수학식 3과 수학식 4 및 수학식 5의 과정을 통하여 첫 번째 은닉층에서의값을 계산한다.

이후, 상기 스텝 S205에서 은닉층의 출력 오차가 계산되어지면 스텝 S206에서는 상기 스텝 S205에서 산출되어진 오차값이 임계범위 이내인가를 판단하여 즉, 오차값이 문턱값보다 작은가를 판단하여 작지 않다고 판단되면 스텝 S207로 진행하고, 작다고 판단되면 스텝 S209로 진행하게 된다.

상기 스텝 S206에서 오차값이 문턱값보다 작지 않다고 판단되는 경우 스텝 S207과 스텝 S208에서는 오차의 역방향 전파를 수행하고 그에 따라 주의 집중 이득을 변경하여 상기 스텝 S203으로 재 진행한다. 이때, 상기 스텝 S208에서는 상기 수학식 7과 수학식 9에 의하여 주의 집중 이득을 변경한다.

따라서, 변경된 주의 집중이득에 대하여 출력층의 오차가 원하는 문턱값 이하로 수렴할 때까지 스텝 S206에서 S208까지의 과정을 반복하게 된다.

상술한 과정을 통해 계산된 출력층의 오차가 문턱값보다 작은 값의 경우에는 현재의 필터 출력은 실제 입력에서 원하는 신호만을 걸러 낸 신호이므로, 스텝 S209의 과정을 통해 저장된 후 이후의 처리 과정으로 전달하게 된다.

이러한 주의 집중층의 학습 과정은 상술한 심리학에서의 선택적 주의 집중의 연구 결과 중 초기 선택 이론에 부합하며 초기 선택 이론에서의 선택적 필터를 오차 역전파법의 확장을 통하여 원하는 목표치에 따라 자동으로 설정한 결과이다. 제안된 선택적 주의 집중의 알고리즘은 잡음 하에서의 패턴 인식에 사용되어 인식 성능에 도움을 줄 수 있다.

첨부한 도 5는 제안된 주의 집중의 알고리즘이 음성인식이나 문자인식과 같은 패턴인식에 사용되는 시스템의 블록도이다.

하나의 입력 패턴에 대하여 제안된 시스템은 기존의 다층 퍼셉트론을 이용하여 2개 이상의개의 인식 결과를 제시한다.

선택적 주의 집중의 알고리즘은 각각의 인식 결과에 대하여 첨부한 도 4a와 도 4b에서 상술한 방법으로 필터를 구성하고 필터의 출력을 계산한다. 이 때 필터의 출력은 현재의 입력을 해당 클라스에 속하는 입력이라고 가정하고 그에 따른 출력 오차가 최소가 되도록 입력 패턴을 변형한 결과이다.

입력 벡터에 해당하는개의 후보자 클라스에 대하여 선택적 주의 집중을 적용한 이후의 필터의 출력을라고 할 때번째 후보자에 해당하는 두 벡터 사이의 유클리드 거리는 아래의 (수학식10)과 같이 표현된다.

입력 패턴이 가정한 출력 클라스에 실제로 속하는 경우가 그렇지 않은 경우에 비하여 두 벡터간의 거리가 작을 것으로 쉽게 예상할 수 있다. 따라서 이 거리를 인식의 척도로 사용함으로써 인식성능을 향상시킬 수 있다.

또한 이외에 선택적 주의 집중의 과정에서 얼마나 오차가 잘 수렴하였는 가를 나타내는과 원래의 입력패턴이 그 클라스에 속할 확률을 나타내는 다층 퍼셉트론의 원래의 출력값도 중요한 인식의 척도가 될 수 있다.과은 각각 아래의 수학식 11과 수학식 12와 같이 표현된다.

여기서,은번째 후보자 목표 클래스에 해당하는 목표치 벡터,은 입력이일 때 다층 퍼셉트론의 출력 벡터,는 입력이일때의 출력층의번째 뉴런의 출력 벡터를 의미한다.

따라서, 상기 수학식 10과 수학식 11 및 수학식 12로부터 아래의 수학식 13과 같은 인식 척도를 계산할 수 있다.

따라서, 선택적 주의 집중의 알고리즘을 이용한 패턴 인식기는개의 후보자에 대하여 각각 수학식 13의 척도를 계산한 이후 가장 높은 값의 척도를 내는 후보자 클라스를 최종적인 인식 결과로 선택하게 된다.

이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

상술한 바와 같이 동작하는 본 발명에 따른 선택적 주의 집중 방법은 잡음이 섞인 입력 패턴에 대하여 목표치 벡터를 정해주면 이 입력 패턴을 목표치 벡터를 내는 새로운 입력 패턴으로 변형 시키는 알고리즘이다. 이러한 과정은 인간의 두뇌에서 일어나는 선택적 주의 집중 능력, 특히 여러 개의 신호가 섞여 있을 때 이중 원하지 않는 신호를 감쇠시키는 능력을 설명하고 구현하는 하나의 방향을 제시하여 준다.

또한, 이러한 선택적 주의 집중을 문자인식이나 패턴인식에 사용함으로써 여러 개의 후보자 클라스에 대하여 새로이 제시한 인식 척도를 계산하여 판단 결과를 내림으로써 인식 성능을 획기적으로 높일 수 있다.

또한, 구현된 네트워크는 인지 과학적 측면에서 인간의 두뇌에서 일어나는 선택적 주의 집중의 메카니즘을 모사하였으며 또한 이와 동시에 기존의 인식기보다 우수한 인식 성능을 보인다.

Claims (5)

1. 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치를 학습패턴에 있어서,

   주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과;

   입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정; 및

   상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 것을 특징으로 하는 신경회로망을 이용한 선택적 주의집중 학습방법.
2. 상기 제 2과정과 제 3과정은,

   주어진 입력 패턴에 대하여를 계산하여와 같이를 반복적으로 학습시키되;

   전방향 신경회로망의번째 은닉층의번째 뉴런의 출력값을, 이 뉴런의 역전파 오차값을,을번째 은닉층의번째 뉴런과번째 은닉층의번째 뉴런사이의 가중치라고 했을 때, 기존의 전방향 신경회로망의 가중치 학습 방법인 오차 역전파법을 입력의 학습에 확장 적용하여과 같이 정의하고와 같이 산출하는 것을 특징으로 하는 신경회로망을 이용한 선택적 주의집중 학습방법.
3. 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치를 학습패턴에 있어서,

   주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과;

   입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정; 및

   를 계산한 후,의 학습률로 입력값을 학습하는 과정인을 적용하는 과정에서를 직접 변화시키지 않고, 입력단과 다층 퍼셉트론의 입력단 사이에 주의 집중 이득로 이루어진 필터를 추가하고 필터의 입력을 인식하고자하는 패턴, 필터의 출력을이라 하였을 때,와 같이 정의하고을 다층 퍼셉트론의 입력으로 인가하여 입력 패턴의 학습을 국부 연결을 가진 시냅스 가중치의 학습을 통한 필터 설계로 대치하여 기존의 다층 퍼셉트론의 시냅스 가중치의 학습 방법인와 같이 산출하는 제 3과정을 포함하는 것을 특징으로 하는 신경회로망을 이용한 선택적 주의집중 학습방법.
4. 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치 학습 방법으로, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및 상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 신경회로망을 이용한 선택적 주의집중 방법을 통해 선택적 주의 집중의 학습결과를 음성 인식이나 문자 인식과 같은 패턴 인식의 문제에 활용하는 방법에 있어서;

   다층 퍼셉트론의 출력으로부터 2개 이상의 후보자 클래스를 선택하여 각 클래스에 대하여 상기 선택적 주의 집중 방법을 적용하여 선택적 필터를 구성하는 제 1과정과;

   제 1과정을 적용하여 설계된 필터의 출력과 입력사이의 거리를 이용하여 인식 척도를 새롭게 정의하고 이를 인식에 이용하는 제2과정; 및

   주의 집중 이득의 값을 모두 1로 둔 상태에서 인식하고자하는 입력 패턴를 인가하여 전방향 신경회로망의 출력을 구한 후 가장 큰 출력 값을 내는개의 출력 클래스에 대하여 각 클래스 별로 목표치를 정하여를 산출하는 제 3과정을 포함하는 것을 특징으로 하는 신경회로망을 이용한 선택적 주의집중 응용방법.
5. 전방향 신경회로망인 다층 퍼셉트론을 이용한 패턴 인식의 문제에서 신경회로망의 가중치 학습 방법으로, 주어진 입력 패턴에 대하여 출력층의 목표치을 임의로 선택하는 제 1과정과, 입력 패턴에 대한 신경회로망의 출력와 목표치사이의 출력 오차를 산출하는 제 2과정, 및 상기 제 2과정을 통해 산출되어진 출력 오차가 임의의 임계범위 이내에 속하도록를 반복적으로 학습시키는 제 3과정을 포함하여 잡음 등이 섞인 입력 패턴으로부터 원하는 신호만을 선택적으로 통과시켜 받아들일 수 있도록 입력 값을 학습시키는 신경회로망을 이용한 선택적 주의집중 방법을 통해 선택적 주의 집중의 학습결과를 음성 인식이나 문자 인식과 같은 패턴 인식의 문제에 활용하는 방법에 있어서;

   다층 퍼셉트론의 출력으로부터 2개 이상의 후보자 클래스를 선택하여 각 클래스에 대하여 상기 선택적 주의 집중 방법을 적용하여 선택적 필터를 구성하는 제 1과정과;

   제 1과정으로부터 계산한 필터의 출력와 원래의 입력사이의 유클리드 거리,와 제3항의 과정을 적용하는 과정에서의 학습 후의 출력층 오차를 계산하여 이를 인식에 이용하기 위하여 다층 퍼셉트론의 해당 출력 클래스의 원래의 출력 결과와 함께와 같이 정의하여 이를 인식의 척도로 이용하는 제 2과정; 및

   주의 집중 이득의 값을 모두 1로 둔 상태에서 인식하고자하는 입력 패턴를 인가하여 전방향 신경회로망의 출력을 구한 후 가장 큰 출력 값을 내는개의 출력 클래스에 대하여 각 클래스 별로 목표치를 정하여를 산출하는 제 3과정을 포함하는 것을 특징으로 하는 신경회로망을 이용한 선택적 주의집중 응용방법.