KR20020085900A - 결정 귀환 재귀 신경망 등화기의 가중치 제어방법 - Google Patents

Abstract

본 발명은 결정 귀환 재귀 신경망 등화기에서의 가중치 제어방법에 관한 것으로, 신경망을 구성하는 각 노드들의 출력값과 순시 에러값, 그리고 민감도 함수를 시간에 따라 산출하고 이를 이용하여 가중치()를 산출하는 단계와; 상기 등화기 수렴()후의 가중치()값을 상기 등화기 수렴시의 가중치값()으로 최초 설정한후 현재 시간(t)에서 얻어진 가중치()와 상기 등화기 수렴시의 가중치값() 사이의 차가 제1규정값() 보다 작거나 제2규정값() 보다 크면 등화기 수렴시의 값으로 가중치를 유지하고, 그 반대이면 현재 시간(t)에서 얻어진 가중치값(

Description

결정 귀환 재귀 신경망 등화기의 가중치 제어방법{METHOD FOR CONTROLLING A WEIGHTS IN THE DECISION FEEDBACK RECURRENT NEURAL NETWORK EQUALIZER}

본 발명은 신경망 등화기에 관한 것으로, 특히 결정 귀환 재귀 신경망 등화기에서의 가중치 제어방법에 관한 것이다.

신경망 기술의 발전과 함께, 신경망 적응형 등화는 우수한 효과를 얻기 위한 HF 채널 통신에 광범위하게 사용되고 있다. 결정 귀환 재귀 신경망 등화기(Decision Feedback Recurrent Neural Network Equalizer:DFRNNE라 함)는 간단한 구조와 우수한 안정성 및 수렴도, 그리고 저 비트에러율을 가진다.

일반적으로 채널의 신호대 잡음비(SNR)는 10dB와 20dB 사이에 존재한다. 그러나 버스트 간섭과 같은 불확실한 인자들이 존재하기 때문에, 채널이 10dB 이하의 SNR을 가질 수도 있다. 시뮬레이션 결과 채널들이 버스트 간섭에 의해 영향을 받을때 SNR은 장시간 10dB 보다 낮은 값을 유지한다는 것을 확인할 수 있었다. 이러한 시뮬레이션 결과를 고려해 볼때 DFRNNE의 등화 성능은 바람직하지 않은 것이 된다. 이러한 등화 성능의 열화는 곧 추적 능력을 상실할 우려가 있고, 채널들이 정상 조건으로 되돌아갔을때 정상 동작으로 복구할 가능성이 없게 되는 것이다. 이것은 곧 통신장애 요인으로 작용하게 되며, 이러한 경우 전 시스템을 재가동시켜야 하기 때문에 통신성능에 영향을 미치게 된다.

따라서 본 발명의 목적은 결정 귀환 재귀 신경망 등화기가 채널의 동적 변화를 적응적으로 추적할 수 있도록 하여 일시적인 버스트 간섭에 의해 시스템을 재가동시켜야 하는 단점을 해결할 수 있는 결정 귀환 재귀 신경망 등화기의 가중치 제어방법을 제공함에 있다.

도 1은 본 발명의 실시예에 따른 결정 귀환 재귀 신경망 등화기(DFRNNE)의 구성도.

도 2는 노드 2를 가지는 결정 귀환 재귀 신경망 등화기(DFRNNE)의 가중치 예시도.

도 3은 정상 채널에서 MSE(Mean Square Error)와 8개의 가중치 값들의 변화 곡선 예시도.

도 4는 버스트 간섭을 가지는 MSE와 가중치들의 변화 곡선 예시도.

도 5는 버스트 간섭을 가지는 경우 본 발명의 실시예에 따른 가중치 제어방법의 제1단계를 적용한 경우의 MSE 변화 곡선 예시도.

도 6은 버스트 간섭을 가지는 경우 본 발명의 실시예에 따른 가중치 제어방법의 제2단계를 적용한 경우의 MSE와 가중치 변화 곡선 예시도.

상기 목적을 달성하기 위한 본 발명의 일 양상에 따른 결정 귀환 재귀 신경망 등화기의 가중치 제어방법은;

시간경과에 따라 신경망을 구성하는 각 노드들의 출력값과 순시 에러값 및 민감도 함수를 산출하고 이를 이용하여 가중치()를 산출하는 단계와;

상기 등화기 수렴()후의 가중치()값을 상기 등화기 수렴시의 가중치값()으로 최초 설정한후 현재 시간(t)에서 얻어진 가중치()와 상기 등화기 수렴시의 가중치값() 사이의 차가 제1규정값() 보다 작거나 제2규정값() 보다 크면 등화기 수렴시의 값으로 가중치를 유지하고, 그 반대이면 현재 시간(t)에서 얻어진 가중치값()으로 가중치를 보정하는 단계:로 이루어짐을 특징으로 한다.

또한 본 발명의 부가적인 일 양상에 따르면, 상기 제1규정값과 제2규정값은 0.2 내지 0.3의 값으로 설정됨을 특징으로 한다.

이하 첨부 도면을 참조하여 본 발명의 실시예에 따른 결정 귀환 재귀 신경망 등화기(DFRNNE)의 구성 및 동작을 상세히 설명하기로 한다.

우선 도 1은 본 발명의 실시예에 따른 결정 귀환 재귀 신경망 등화기(DFRNNE)구성을 도시한 블럭도로서, 데이터의 일정 주기 단위로 채널 입력신호를 지연시키도록 탭 지연 선 구조를 가지는 제1버퍼들(10)과, 지연된 상기 채널 입력신호()들과 결정 귀환 지연신호들 및 각 노드의 귀환 출력을 입력으로 하여 함수연산하는 노드들(20)과, 노드들(20) 각각의 출력신호를 절대치로 치환하여 디지털 형태의 추정값()을 산출하여 출력하는 결정기(30)들과, 상기 결정기(30)들로부터 출력되는 상기 디지털 형태의 추정값을 결정 귀환 지연신호로서 지연 출력하는 제2버퍼(40)들과, 상기 결정기(30)들의 출력과 학습신호()중 하나를 선택하여 상기 제2버퍼(40)로 입력하기 위한 스위칭 수단(S)과, 상기 노드들(20) 각각의 출력신호()와 학습신호() 차이를 누적하여 순시 에러()를 산출하는 누적기(50)들로 구성된다.

도 1에서 n, m 및 l은 각각 내부 노드의 수, 지연 입력의 수, 그리고 결정 귀환 지연 입력의 수로 정의한다.

도 1을 참조하면, 우선 데이터 전송처리 과정에서 채널로부터 공급되는 입력신호는 탭 지연선 구조를 가지는 제1버퍼들(10)을 통과하여 데이터 주기 단위로 지연된 후 가중치와 곱해져서 n 개의 노드들(20)에 입력된다. 이와 동시에 노드들(10)의 이전 출력값은 각 결정기(30)에 의해 추정값으로 계산되어 출력된다. 이러한 추정값은 시리얼 접속된 제2버퍼들(40)을 통과하여 데이터 주기 단위로 지연된후 가중치와 곱해져서 다시 n개의 노드들(20)에 입력된다. 이에 따라 각 노드들(20)은 하기 수학식 1에 의한 값을 출력하게 된다. 하기 수학식 1은 p(p=1,2,..,n)번째 노드의 입력 가중치 합을 나타낸 것이다.

상기 수학식 1에서은 지연 입력신호를 나타내고,는 i번째 노드의 출력을,(d는 채널 지연)는 귀환 지연 신호를,는 i번째 노드로부터 p번째 노드까지의 가중치를,는 각 지연 입력신호(j=n+1, ...., n+m)로부터 p번째 노드까지의 가중치를,는 각 결정 귀환 지연 신호(h=n+m+1, ..., n+m+l)로부터 p번째 노드까지의 가중치를 나타낸 것이다. 여기서 결정 귀환 지연 신호는 훈련처리과정(스위치 S가 1에 접점)에서 학습신호()에 의해 결정되고, 직접 결정 모드, 즉 데이터 전송 처리과정(스위치 S가 2에 접점)에서는 등화기의 결정출력값에 따라 결정된다. 등화기의 결정 출력은이며, 여기서 SGN(x)는 1(x≥0일때) 또는 -1(x＜0일때)을 갖는다.

참고적으로이라 하면, f(x)는 능동함수로서 하기 수학식 2와 같이 정의할 수 있고, 그의 도함수는 하기 수학식 3으로 정의할 수 있다.

한편 상술한 구성을 가지는 결정 귀환 재귀 신경망 등화기 역시 가중치의 조절을 위해 일반적으로 사용되고 있는 실시간 재귀 학습 방법을 이용한다. 이러한 실시간 재귀 학습방법은 크게 각 노드들의 출력값을 산출하는 단계와, 순시 에러값을 산출하는 단계 및 민감도 함수를 산출하는 단계, 그리고 산출된 순시 에러값 및 민감도 함수를 이용하여 가중치를 보정하는 단계의 반복으로 이루어져 있다.

상술한 실시간 재귀 학습 방법을 보다 구체적으로 설명하면,

우선 제1단계로서, 노드들(20)의 출력값을 상기 수학식 1에 의해 산출한다.

그리고 제2단계로서 순시 에러값을 산출한다. h번째 뉴런의 순시 에러는 하기 수학식 4로 정의할 수 있으며, 신경망의 전체 순시 에러는 하기 수학식 5에 의해 구해질 수 있다.

그리고 제3단계로서, 민감도 함수를 산출한다. 이러한 민감도 함수를 산출하기 위해서는 우선적으로를 하기 수학식 6과 같이 정의하고, 수학식 2의 도함수(수학식 3)를 구하여야 한다. 민감도 함수는 하기 수학식 7과 같이 나타낼 수 있다.

그리고 마지막 제4단계로서 산출된 각각의 순시에러, 민감도 함수를 이용하여 하기 수학식 8에 의해 가중치를 보정한다.

상기 수학식 8에서 양(+)의 값을 가지는는 상기 등화기의 학습 단계를 나타낸다. 그리고는 결정 귀환 재귀 신경망 등화기(DFRNNE)의 내부 노드(j=1,2,...,n), 외부 입력신호(j=n+1, ...., n+m) 또는 귀환 입력 신호(j=n+m+1, ...., n+m+l)의 출력을 나타낼 수 있다.

이하에서는 상술한 구성 및 학습방법에 의해 동작하는 결정 귀환 재귀 신경망 등화기(DFRNNE)의 구체적인 예를 들어 실시간 재귀 학습방법의 단점을 분석하고, 그 해결방안, 즉 본 발명의 실시예를 설명하기로 한다.

우선 CCITT는 데이터 통신에서 아날로그 채널 모델에 지연선 필터의 사용을 권고하고 있다. SNR은 초기에 16dB로 세트되어진다. 결정 귀환 재귀 신경망 등화기(DFRNNE)는 버스트 간섭 없는 등화에 사용되어질때 항상 수렴한다.

입력 수 m=1, 뉴런 수 n=2, 귀환 입력수 l=1이라 가정하자. 이것은 노드 2를 가지는 결정 귀환 재귀 신경망 등화기(DFRNNE)의 구조이다. 이러한 결정 귀환 재귀 신경망 등화기(DFRNNE)의 구조가 도 2에 도시되어 있다.

도 2를 참조하면, 8개의 가중치, 즉(노드 1→ 노드 1),(노드 2→노드 1),(입력 →노드 1),(귀환 입력 → 노드 1),(노드 1 →노드 2),(노드 2 → 노드 2),(입력 → 노드 2) 그리고(귀환 입력 → 노드 2)를 고려할 수 있다. 정상 채널에서 MSE(Mean Square Error)와 8개의 가중치 값들의 변화 곡선이 도 3에 도시되어 있다. 도 3을 참조하면, 데이터 전송 처리과정에서 8개의 가중치 곡선은 기본적으로 임의의 특정 값 근처에 위치한다는 것을 알 수 있다. 가중치들의 몇몇은 일치하고 몇몇은 위 아래에 위치한다. 두 개의 가중치과은 오버랩되어 있고, 4개의 가중치및는 오버랩 되어 있으며, 두 개의 가중치와는 오버랩되어 있다. 도 3(b)에 따르면 MSE는 매우 낮은 값들을 가지며, 비트 에러율 또한 매우 낮은 레벨을 유지한다.

데이터 전송처리 과정에서, 300번째 반복으로부터 600번째 반복까지의 주기중에 채널이 버스트 간섭을 만나고 SNR이 갑자기 3dB까지 감소하면, DFRNNE는 채널이 정상 조건으로 복구된 후에도 정상동작으로 복구할 수 없다. 따라서 시스템을 재동작시켜야 하기 때문에 통신 장애가 발생하게 된다. SNR이 3dB이고 간섭기간이 300번인 버스트 간섭 조건에서, 버스트 간섭을 가지는 MSE와 가중치들의 변화 곡선이 도 4에 도시되어 있다.

도 4(a)를 참조하면 모든 8개의 가중치 곡선들은 특정 값에 수렴한다는 것을 알 수 있다. 도 4(b)를 참조하면, 등화기가 800번 반복한 후에 MSE가 대략적으로 0에 수렴한다는 것을 알 수 있다. 이러한 경우 비트 에러율은 0.4350에 이르며, 등화기는 수렴조건을 유지한다. 그러나 사실상 비트 에러율이 너무 크기 때문에 그것은 잘못된 수렴이다. 가중치들은 발산과 오 수렴 조건을 포함하는 안정된 값들로부터 편향되어 있다. 오 수렴은 종종 시뮬레이션에서 발생한다. 어떤 특정한 값에 가중치가 수렴한다는 사실은 0에 수렴하기 위한 MSE를 도출시켜야 한다는 것인데, 이것은 알고리즘에 의해서 결정될 수 있다. 이러한 경우 등화기는 효율성을 잃게 되며 추정된 비트의 불확실성은 비트 에러율이 급속히 증가한 만큼 매우 크게 된다.

상술한 바와 같은 분석으로부터, 결정 귀환 재귀 신경망 등화기(DFRNNE)에서 버스트 간섭에 의해 통신장애가 발생할 수 있는 주된 이유는 가중치(i=1,...,n; j=1,..., n, n+1, .., n+m, n+m+l)가 발산 또는 잘못 수렴하고 있다는 것이며, 이것은 결과적으로 랜덤 결정이 되는 것이다. 따라서 가중치를 제어할 필요가 있다.

이에 본 발명에서는 결정 귀환 재귀 신경망 등화기(DFRNNE)에서 채용되고 있는 실시간 재귀 학습방법에서 가중치를 제어하는 방법을 제공하여 결정 귀환 재귀 신경망 등화기(DFRNNE)의 단점을 보완하고자 한다.

이하 본 발명의 실시예에 따른 가중치 제어방법을 상세히 설명하기로 한다.

본 발명의 실시예에 따른 가중치 제어방법은;

우선 제1단계로서 등화기 수렴 시간 이후에는 수렴시의 가중치 값으로 고정시킨다. 가중치는 시간에 따라 가변되기 때문에, 본 발명에서는 가중치를 시간에 대한 함수로서로 대체한다. 그리고 등화기 수렴 후 소정 시간으로서를 정의한다.가 안정된 값 근처에 존재한다는 것은 이전에 설명하였듯이 자명한 사실이다. 따라서 시간 t가 등화기 수렴시간이후의 시간값을 가지면 본 발명에서는 가중치 값을 등화기 수렴시의 가중치 값()으로 고정시킨다. 시간 t가 등화기 수렴시간이전일때에는 수학식 8에 기초하여 산출된 가중치값()으로 신경망을 보정한다.

따라서 등화기 수렴 시간 이후에는 고정된 가중치 값()으로 등화를 수행한다. 이러한 상태에서 등화기의 성능은 좋으며, 등화기는 오(false) 수렴 조건을 막는데 유용하다. 그러나 가중치들이 불변한다는 사실은 채널 민감도를 저하시키기 때문에 하기와 같은 제2단계를 유도하는 것이 바람직하다.

우선 채널이 정상일때에는 결정 귀환 재귀 신경망 등화기(DFRNNE)의 성능은 변하지 않는다. 그러나 채널이 버스트 간섭을 만나면, MSE는 급격하게 변하고 비트 에러율 역시 증가한다.

따라서 본 발명에서는 제2단계로서, 하기 조건을 만족하는 경우에는 등화기 수렴시의 가중치()를 유지하고, 하기 조건을 만족하지 못하는 경우에는 수학식 8에 기초하여 산출된 가중치값()으로 가중치()로 신경망을 보정한다.

조건 :, 또는

상기 조건에서과는 수 많은 측정을 통해 0.2 내지 0.3의 값으로 설정하는 것이 바람직하다.

즉, 본 발명에서는 등화기 수렴후에는 가중치값을 등화기 수렴시의 값으로 고정제어한후, 현재 시간에서 얻어진 가중치와 상기 등화기 수렴시의 값 사이의 차가 제1규정값() 보다 작거나 제2규정값() 보다 클 경우에는 등화기 수렴시의 값으로 가중치를 유지하고, 그 반대인 경우에는 현재 시간에서 얻어진 가중치 값으로 신경망을 보정함으로서, 일시적인 버스트 간섭 이후에도 채널들이 정상 조건으로 되돌아갔을때 정상 동작으로 복구할 확률이 그 만큼 높아지게 되어 시스템을 재동작시킬 필요가 없다.

따라서 본 발명은 일반적인 결정 귀환 재귀 신경망 등화기에서 채용하고 있는 실시간 학습방법에 비해 채널의 동적 변화를 적응적으로 추적할 수 있게 되는 것이다.

참고적으로 도 5는 버스트 간섭을 가지는 경우 본 발명의 실시예에 따른 가중치 제어방법의 제1단계를 적용한 경우의 MSE 변화 곡선 예시도를 도시한 것이며, 도 6은 버스트 간섭을 가지는 경우 본 발명의 실시예에 따른 가중치 제어방법의 제2단계를 적용한 경우의 MSE와 가중치 변화 곡선 예시도를 도시한 것이다.

도 5를 참조해 볼때 채널이 정상적으로 복구된 후에 등화기의 MSE가 매우 작은 것을 볼 수 있는데, 이것은 곧 등화기가 잘 수렴하고 있다는 것을 의미한다. 그리고 도 6을 참조해 보면, 버스트 간섭이 발생한 후 줄 곧 MSE가 매우 작은 범위내에서 제어되고 있음을 알 수 있는데, 이것 역시 등화기가 매우 잘 수렴하고 있다는 것을 의미한다.

즉, 본 발명은 등화기 수렴후에는 가중치값을 등화기 수렴시의 값으로 고정제어한후, 버스트 간섭에 의해 현재 시간에서 얻어진 가중치와 상기 등화기 수렴시의 값 사이의 차가 제1규정값() 보다 작거나 제2규정값() 보다 클 경우에는 등화기 수렴시의 값으로 가중치를 유지함으로서, 일시적인 버스트 간섭후에도 채널들이 정상 조건으로 되돌아갔을때 정상 동작으로 복구할 확률이 높아지게 되는 것이다.

상술한 바와 같이 본 발명은 결정 귀환 재귀 신경망 등화기가 채널의 동적 변화를 적응적으로 추적할 수 있기 때문에 버스트 간섭에 의한 오 수렴을 방지할 수 있으며, 등화기가 자동적으로 정상 동작상태로 복구되도록 함으로서 시스템 재가동에 의한 통신 단절을 예방할 수 있는 효과가 있다. 이는 곧 시스템의 통신성능을 향상시키는 원동력이 되는 것이다.

Claims (2)

1. 신경망을 구성하는 각 노드들의 출력값과 순시 에러값, 그리고 민감도 함수를 시간에 따라 산출하는 결정 귀환 재귀 신경망 등화기의 가중치 제어방법에 있어서,

   시간경과에 따라 산출된 상기 각 노드들의 출력값과 순시 에러값 및 민감도 함수를 이용하여 가중치()를 산출하는 단계와;

   상기 등화기 수렴()후의 가중치()값을 상기 등화기 수렴시의 가중치값()으로 최초 설정한후 현재 시간(t)에서 얻어진 가중치()와 상기 등화기 수렴시의 가중치값() 사이의 차가 제1규정값() 보다 작거나 제2규정값() 보다 크면 등화기 수렴시의 값으로 가중치를 유지하고, 그 반대이면 현재 시간(t)에서 얻어진 가중치값()으로 가중치를 보정하는 단계:로 이루어짐을 특징으로 하는 결정 귀환 재귀 신경망 등화기의 가중치 제어방법.
2. 청구항 1에 있어서, 상기 제1규정값과 제2규정값은 0.2 내지 0.3의 값으로 설정됨을 특징으로 하는 결정 귀환 재귀 신경망 등화기의 가중치 제어방법.