KR101210380B1 - 유한 상태 자동기계를 동정화하기에 알맞은 새로운 회귀 신경망 - Google Patents

Abstract

이 발명은 유한 상태 자동기계를 동정화하는 데 알맞은 새로운 얼개의 회귀 신경망에 관한 것이다.
이 발명은, 동정화할 유한 상태 자동기계의 상태를 바로 나타낼 수 있는 얼개로 회귀 신경망을 만드는 제1단계;
상기 제1단계에서 만든 신경망에 유한 상태 자동기계를 부호화하여, 제안한 신경망으로 유한 상태 자동기계를 동정화할 때 사용할 매개변수의 개수와 값의 범위를 정하는 제2단계;
상기 제2단계를 거쳐서 만든 신경망에 새로운 비용함수를 써서 혼합 그리디 모의 담금질 방법으로 신경망을 학습시키는 제3단계를 포함하는 것을 특징으로 한다.
이 발명에서 제안한 방법은 어떤 이산 시간 동적 시스템이든지 동정화할 수 있을 뿐만 아니라, 주어진 이산 시간 동적 시스템의 상태 또한 바로 나타낼 수 있다. 제안한 신경망을 쓰면 이산 시간 동적 시스템의 상태를 바로 나타내므로, 더 적은 매개변수들로 유한 상태 자동기계를 동정화할 수 있고, 매우 간단하게 유한 상태 자동기계를 추출할 수 있다. 게다가, 제안한 신경망으로 유한 상태 자동기계를 동정화할 때, 상태 개수의 최솟값을 찾아냄으로써 일반화 성능을 높인다.

Description

유한 상태 자동기계를 동정화하기에 알맞은 새로운 회귀 신경망 {A New Class of Recurrent Neural Networks for Identification of Finite State Automata}

이 발명은 얼개가 새로운 회귀 신경망에 기존의 비용함수를 조금 고친 비용함수를 쓰고 혼합 그리디 모의 담금질 방법으로 학습시켜 주어진 유한 상태 자동기계를 동정화하는 기법에 관한 것이다.

동적 시스템(dynamical system)은 신경 과학, 천문학, 물리학, 전자 공학, 생태학 같은 여러 분야에서 자연계를 모형화하는 데에 자주 쓰인다.

동적 시스템 가운데 이산 시간 동적 시스템은 여러 사람들이 연구해 왔는데, 컴퓨터 모의실험과 디지털 하드웨어를 통한 구현의 관점에서 어떤 시스템이든지 이산 시간 동적 시스템으로 나타내는 것이 유리하다고 알려져 있다.

이때, 상태 공간이 이산적인 이산 시간 동적 시스템을 자동기계라고 부르고, 상태, 입력 부호, 출력 부호가 모두 유한개인 자동기계를 유한 상태 자동기계 (finite state automaton) 또는 유한 상태 기계라고 (finite state machine) 부른다.

한편, 입출력 수열 짝으로 동적 시스템을 동정화하는 (identification) 데에 회귀 신경망 (recurrent neural networks), 정보 이론 모형, 그리고 웨이블릿을 바탕으로 한 모형들이 주로 쓰여 왔다. 이 가운데 회귀 신경망은 그 얼개를 주어진 문제에 알맞도록 융통성 있게 정할 수 있고, 학습 방법 또한 이제까지의 여러 매개변수 최적화 알고리즘들 가운데에서 알맞은 것으로 고를 수 있기 때문에, 동적 시스템 동정화에 주로 쓰여 왔다.

여러 연구들 가운데 시그모이드 함수를 전달함수로 하는 뉴런들로 이루어진 회귀 신경망으로 유한 상태 자동기계를 동정화하는 방법이 있었는데, 긴 수열들이 주어졌을 때, 유한 상태 자동기계를 제대로 학습시키지 못하였고, 결과적으로 일반화 성능이 나쁘다는 문제점이 드러났다.

따라서 만족할 만한 일반화 성능을 얻고자 짧은 입출력 수열들을 여러 짝 써서 유한 상태 자동기계를 동정화하는 방법들이 제안되었다. 최근에는 입출력 수열한 짝으로 유한 상태 자동기계를 동정화하는 온라인 동정화 방법이 제안되었으나, 이 방법은 회귀 신경망을 학습시킬 때 너무 긴 입출력 수열 짝이 필요하다는 문제점을 지니고 있다.

이 발명에서는 유한 상태 자동기계를 동정화하는 데에 알맞은, 얼개가 새로운 회귀 신경망을 제안한다.

또한, 유한 상태 자동기계를 동정화하는 성능을 높이기 위해, 이 발명에서 제안한 신경망을 제대로 학습시키는 데 쓸 비용함수와 학습 알고리즘을 제안한다.

아울러, 잘 알려진 토미타 자동기계에 대해서 제안한 회귀 신경망과 여러 신경망들의 동정화 성능을 모의실험으로 얻고 견주어 본다.

이상과 같은 기술적 과제를 달성하기 위하여, 본 발명은, 동정화할 유한 상태 자동기계의 상태를 바로 나타낼 수 있는 얼개로 회귀 신경망을 만드는 제1단계;

상기 제1단계에서 만든 신경망에 유한 상태 자동기계를 부호화하여, 제안한 신경망으로 유한 상태 자동기계를 동정화할 때 사용할 매개변수의 개수와 값의 범위를 정하는 제2단계;

상기 제2단계를 거쳐서 만든 신경망에 새로운 비용함수를 써서 혼합 그리디모의 담금질 방법으로 학습시키는 제3단계를 포함하는 것을 특징으로 한다.

이 발명에서 제안한 신경망은 어떤 이산 시간 동적 시스템이든지 동정화할 수 있을 뿐만 아니라, 주어진 이산 시간 동적 시스템의 상태 또한 바로 나타낼 수 있다.

또한, 이 발명에서 제안한 신경망을 쓰면 이산 시간 동적 시스템의 상태를 바로 나타내므로, 더 적은 매개변수들로 유한 상태 자동기계를 동정화할 수 있고, 간단하게 유한 상태 자동기계를 추출할 수 있다.

그리고, 이 발명에서 제안한 신경망을 제안한 방법으로 학습시키면 유한 상태 자동기계를 동정화하는 성능이 다른 기법들보다 더 좋다.

도 1은 이 발명에서 제안한 신경망의 얼개이다.
도 2는 이 발명에서, 유한 상태 자동기계 동정화의 블록선도이다.
도 3은 이 발명에서 제안한 방법의 순서도이다.
도 4는 이 발명에서, │Σ│ = │Γ│ = 2 또는 4일 때, 조절해야할 매개변수의 개수이다.
도 5는 이 발명에서, 토미타 자동기계 1'의 상태 그림이다.
도 6는 이 발명에서, 토미타 자동기계 2'의 상태 그림이다.
도 7는 이 발명에서, 토미타 자동기계 3'의 상태 그림이다.
도 8은 이 발명에서, 토미타 자동기계 4'의 상태 그림이다.
도 9는 이 발명에서, 토미타 자동기계 5의 상태 그림이다.
도 10은 이 발명에서, 토미타 자동기계 6의 상태 그림이다.
도 11은 이 발명에서, 토미타 자동기계 7의 상태 그림이다.
도 12는 토미타 자동기계 1'에 대하여 이 발명에서 제안한 방법을 포함한 회귀 신경망 6개의 일반화 성능을 나타낸다.
도 13은 토미타 자동기계 2'에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 14는 토미타 자동기계 3'에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 15는 토미타 자동기계 4'에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 16은 토미타 자동기계 5에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 17은 토미타 자동기계 6에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 18은 토미타 자동기계 7'에 대하여 상기 6개의 회귀 신경망들의 일반화 성능을 나타낸다.
도 19는 이 발명에서, 복잡한 유한 상태 자동기계의 상태 그림이다.
도 20은 이 발명에서, 토미타 자동기계 7'과 복잡한 유한 상태 자동기계로 100번 실험했을 때

와 성공 횟수와의 관계이다.

이제, 이 발명을 도면을 통해 구체적으로 살펴 보기로 한다.

도 1에 보였듯이, 이 발명에서 제안한 신경망은 다층 퍼셉트론이 2개로 이루어진 0층부터 4층까지로 나타낼 수 있다. 이때, 0층, 1층, 2층이 이루는 다층 퍼셉트론은 제안한 신경망이 동적 시스템의 상태를 어림하는 데에 쓰이고, 2층, 3층, 4층이 이루는 다층 퍼셉트론은 제안한 신경망이 동적 시스템의 출력을 어림하도록 한다. 제안한 신경망에서 i = 1,2,3,4일 때, n _i 는 i층에 있는 뉴런의 개수를 나타내고, φ _i 는 i층에 있는 뉴런들의 전달함수를 (transfer function) 나타내며, w _i 는 (i-1)층과 i층을 잇는 n _i ×n _{i -1} 가중값 행렬을 나타낸다. 또한, w _r 은 2층과 1층을 잇는 가중값 행렬로서 크기가 n ₁×n ₂이고, w ₅는 0층과 3층을 잇는 가중값 행렬로서 크기가 n ₃×n ₀이며, b _i 는 i층의 n _i ×1 문턱값 (bias) 벡터이다.

이와 같이, 이 발명에서 제안한 신경망은 유한 상태 자동기계와 관련하여 잘 정의된 얼개를 가진 덕분에, 유한 상태 자동기계를 부호화하고 동정화하고 추출할 때, 다른 회귀 신경망들보다 유리하다는 장점이 있다.
제안한 신경망의 입력이

이면, 출력은

이고, 2층의 출력, 곧 상태는,

이다. 이때, 초기 상태 x[0] = x ₀로 둔다. 수학식 1과 2에서 밑줄을 그어 쓴 것은, 보기를 들어, 크기가 m×n인 행렬 x가 있을 때,

삭제

삭제

삭제

삭제

처럼 1차원 영역에서 정의된 스칼라 함수들로 이루어진 행렬을 뜻한다. 여기서 x _i,j 행렬 x의 i째 행 j째 열의 원소이다.

제안한 신경망에 유한 상태 자동기계를 부호화하는 방법을 이야기하기에 앞서서, 몇 가지 기호들을 뜻매김하자. 유한 상태 자동기계의 상태 집합을 Q= {q ₀,q ₁,… ,q _{│ Q │-1}} 라 하고, 입력 부호 집합을 Σ= {σ ₀,σ ₁,… ,σ _{│ Σ │-1}} 라 하며, 출력 부호 집합을 Γ= {γ ₀,γ ₁,… ,γ _{│ Γ │-1}}라 하자. 또한, 벡터

를 Σ와 Q의 데카르트 곱 Σ×Q의 원소라 하고, P= [ρ ₀ ρ ₁ … ρ _{│ Σ ││ Q │-1}] 을 크기가

인 행렬이라고 하자. 수학식 4에서 mod는 모듈로 (modulo) 연산이고, ρ _k 는

차원 열벡터이다. 다음으로, 아래 세 조건

을 모두 만족시키는 단조 증가 함수 φ의 집합을 Φ라 두자. 또한, 함수

을 부호 (sign) 함수라 하고, 크기가 m×n이고 원소들이 모두 1인 행렬을 1 _{m , n} 이라 쓰며, 행렬 A를 이루는 행벡터들을 모두 더한 것을 sum(A)라 하고, 자연수의 집합을 Z ⁺라고 하자.

이제, 제안한 신경망에 유한 상태 자동기계를 부호화하는 방법을 이야기하겠다. 먼저, l = 1,2,3,4일 때 φ _l ∈Φ이고, 유한 상태 자동기계의 초기 상태 x[0] = x ₀ = q _I 일 때, 수학식 1과 2로 나타낸 제안한 신경망의 뉴런의 개수를 아래와 같이 둔다.

수학식 9와 12에서 │Σ│와 │Γ│는 주어진 입출력 수열 짝에서 얻을 수 있고, 수학식 10과 11에서 │Q│는 제안한 신경망을 초기화할 때 2│Σ│로 둔다. 또한, 아래 세 부등식

를 만족시키는

과 다음 두 부등식

을 만족시키는

이 주어졌을 때, 제안한 신경망의 매개변수들을 다음과 같이 고른다.

그러면, 제안한 신경망의 상태의 원소와 동정화할 유한 상태 자동기계의 상태의 원소와의 차가 늘 β ₂보다 작고, 제안한 신경망의 출력의 원소와 동정화할 유한 상태 자동기계의 출력의 원소와의 차가 언제나 β ₄보다 작다 (증명은 별첨 문서 참고). 이 때, β ₂와 β ₄는 바라는 만큼 작게 잡을 수 있다. 다시 말해서, 제안한 방법으로 유한 상태 자동기계를 부호화하면, 제안한 신경망이 주어진 유한 상태 자동기계를 잘 동정화할 수 있다.

앞에서 이야기한 부호화 방법을 바탕으로 제안한 신경망으로 유한 상태 자동기계를 동정화하는 것을 이야기하겠다. 유한 상태 자동기계를 동정화한다는 것은, 그 유한 상태 자동기계에 대한 다른 정보 없이, 입출력 수열 짝을 맞추는 모형을 세우는 것이다. 한편, 동정화하려는 유한 상태 자동기계보다 상태의 개수가 더 많은 모형으로 입출력 수열 짝을 맞추면 그 모형은 일반화 성능이 좋지 않을 가능성이 높다. 따라서 이 발명에서는 일반화 성능을 염두에 두어, 상태의 개수가 가장 적은 모형으로 유한 상태 자동기계를 동정화하려고 한다. 유한 상태 자동기계를 동정화하는 일반적인 과정을 도 2에 블록선도로 (block diagram) 나타내었다.

제안한 신경망으로 주어진 유한 상태 자동기계를 동정화하려면 학습 알고리즘을 써서 w ₂와 w ₄를 알맞게 정해주어야 하는데, 이 발명에서는 혼합 그리디 모의 담금질 방법을 학습 알고리즘으로 쓴다. 혼합 그리디 모의 담금질 방법은 지역 최적화 알고리즘과 전역 최적화 알고리즘을 섞은 매개변수 최적화 기법으로서, 지역 최적화 알고리즘으로는 레벤버그-마쿼트 (Levenberg-Marquardt) 알고리즘을 쓰고, 전역 최적화 알고리즘으로는 그리디 모의 담금질 (greedy simulated annealing) 방법을 쓴다. 레벤버그-마쿼트 알고리즘은 신경망을 학습시키는 데 널리 쓰여 왔으며, 확률적으로 최적점을 찾아가는 알고리즘인 그리디 모의 담금질 방법은 지역 최적점에 잘 빠지지 않는다는 장점이 있다. 이 두 방법을 섞은 혼합 그리디 모의 담금질 방법은 전역 최적점으로 수렴한다는 것이 수학적으로 보장되어 있으며 수렴 속도도 다른 전역 최적화 알고리즘과 견주어 빠르다고 알려져 있다.

한편, 제안한 신경망을 혼합 그리디 모의 담금질 방법으로 학습시킬 때 기존의 신경망 학습에 쓰인 비용함수를 아래처럼 고친 비용 함수를 쓴다.

수학식 23에서

는 유한 상태 자동기계의 출력 수열이고 y[t]와 x[t]는 각각 제안한 신경망의 출력과 상태이며,

는 입출력 수열의 길이이다. 한편, μ는 구간 (0,1)에 있는 수이고,

은 아다마르 곱을 뜻하며,

이고,

이다. 수학식 23의 첫째 항의 값이 0으로 가장 작을 때는

일 때이며, 둘째 항의 값이 0으로 가장 작을 때는 x[t]의 모든 원소가 0 또는 1일 때이다. 이를 바탕으로 제안한 신경망의 출력과 상태가 각각 동정화하려는 유한 상태 자동기계의 출력과 상태와 비슷할수록 비용함수 E(w ₂,w ₄)가 작아진다는 것을 알 수 있다. 수학식 23은 입출력 수열이 한 짝일 때의 비용함수인데, 수열이 여러 짝일 때에는 수학식 23을 일반화하여 비용함수를 나타낼 수 있다.

이제, 혼합 그리디 모의 담금질 방법으로 수학식 23을 최소화하는 w ₂와 w ₄를 얻는 과정을 자세하게 다루어 보도록 하자.

i) 초기화. 풀이 행렬 w ₂와 w ₄를 초기화한다. 곧, w ₂와 w ₄의 원소들을 각각 구간[0,ζ₂]와 [0,ζ₄]에서 아무렇게나 고른다. 되풀이 횟수

는 1로 두고, 초기 온도 T ₀과 최대 되풀이 횟수

는 충분히 크게 잡아 풀이 벡터가 지역 최저점에 수렴하지 않도록 한다. 학습 목표 E _Φ 는 충분히 작은 값으로 둔다.

ii) 담금질. 역 담금질 과정에 따라 온도를

으로 낮춘다.

iii) 생성. 먼저, i가 2일 때는 크기가 n ₂×n ₁이고, i가 4일 때는 크기가 n ₄×n ₁이며, 서로 독립이고 구간 (?π/2,π/2]에 고르게 분포된 확률변수들로 이루어진 행렬을 v _i 라 하자. 현재의 풀이 행렬 w _i 로부터 새로운 풀이 행렬

을

로 얻는다.

iv) 레마 알고리즘. 먼저, 크기가

인 벡터

를

라고 뜻매김하자. 여기서, i = 2,4이고 t = 1,2,…,

일 때,

이고

이다. 덧붙여, 크기가

인 행렬

를

의 야코비 행렬이라고 뜻매김하자. 여기서, i = 2,4이고 j = 2,4일 때,

이고,

이다. 이때, w _{j , m , n} 은 w _j 의 m째 행 n째 열에 있는 원소를 뜻한다.

레벤버그-마쿼트 알고리즘에서는 수학식 25의 야코비 행렬을 써서 아래 레마 갱신 과정

을 되풀이하여

에서

를 얻는다. 여기서, 자연수

은 수학식 27을 되풀이하는 횟수이고

이며, i = 0,1,…,

-1이고 j = 2,4이다. 또한, I _m 은 크기가 m×m인 단위행렬이며,

은

의 k째 원소이고, vec(A)는 행렬 A를 벡터화한 것, 다시 말해서, 행렬 A의 열들을 순서대로 한 줄로 위아래로 둔 열벡터를 뜻한다. 수학식 28에서

은

을 '역 벡터화'한 것임을 눈여겨보도록 하자.

한편, 수학식 27에서 λ는 발걸음 너비를 조정하는 인자이며 (damping factor), λ값이 커질수록 레벤버그-마쿼트 알고리즘은 뉴턴 알고리즘과 (Newton's algorithm) 가까워지고, 작아질수록 표준 최급강하법과 (standard gradient descent) 가까워진다. 이 발명에서는 레벤버그-마쿼트 알고리즘을 시작할 때, λ를 아주 작은 값 λ ₀으로 초기화한다. 수학식 27에서 얻은 새로운 풀이 벡터의 비용이 원래 벡터의 비용보다 작으면 (크면) 새 (원래) 벡터를 저장하고 λ를 1보다 큰 수 λ ₁로 나눈다 (λ ₁과 곱한다). 그다음 i를 1만큼 (0만큼) 늘리고 같은 과정을 되풀이한다. 끝으로, λ가

에 이르면, i가

-1이 아니더라도 레벤버그-마쿼트 알고리즘을 마친다.

위에서 말한 모든 과정을 거쳐

에서

을 만든다.

v) 비용 계산. 비용 E(w ₂,w ₄)와

을 계산한다.

vi) 고르기. 혼합 그리디 모의 담금질 방법의 해를 다음과 같이 정한다.

vii) 끝내기. 비용 E(w ₂,w ₄)가 E _Φ 보다 작거나

가

에 이르면, 혼합 그리디 모의 담금질 방법을 끝내고, 그렇지 않으면,

+1로 두고 ii)로 간다. 여기서, 혼합 그리디 모의 담금질 방법이 끝났을 때 E(w ₂,w ₄)가 E _Φ 보다 작거나 같으면 학습이 성공했다고 하고, 그렇지 않으면 학습이 실패했다고 한다.

제안한 신경망을 혼합 그리디 모의 담금질 방법으로 학습시킬 때, 이 발명에서는 제안한 신경망이 주어진 유한 상태 자동기계를 잘 동정화하면서 좋은 일반화 성능을 보이도록 상태 개수의 최솟값 │Q│를 시행착오법으로 찾아낸다. 좀더 자세히 이야기하면, 맨 처음에 │Q│ = 2│Σ│로 두고 신경망의 매개변수들을 정한 다음 혼합 그리디 모의 담금질 방법을 써서 제안한 신경망을 학습시킨다. 이 학습이 성공적이면 (성공적이지 않으면) │Q│를 1만큼 줄인 (늘린) 값을 새로 │Q│로 둔 다음 제안한 신경망을 처음부터 다시 학습시킨다. 이와 같이 학습이 성공적이면 (성공적이지 않으면) 학습에 실패할 (성공할) 때까지 │Q│의 값을 1씩 줄이고 (늘리고) 혼합 그리디 모의 담금질 과정을 되풀이한다. 마지막으로 성공한 학습에서 쓴 │Q│를 상태 개수의 최솟값으로 받아들인다. 동정화의 모든 과정을 도 3에 간추려 나타내었다.

제안한 신경망으로 유한 상태 자동기계를 동정화할 때, 조절해야 할 매개변수의 개수는

이며, 이는 w ₂와 w ₄의 원소 개수의 합이다. 앞서 이야기한 대로, 그 밖의 매개변수 w ₁, w _r, w ₃, w ₅,

는 한번 정해지면 바꾸지 않는다. 제안한 신경망을 비롯하여 유한 상태 자동기계를 동정화할 때 널리 쓰이는 회귀 신경망들 곧, 엘만망, 로빈슨-폴사이드망 (Robinson-Fallside), 그리고 회귀 방사 바탕 함수에서 (recurrent radial basis function) 조절해야 할 매개변수의 개수들을 표 1에 정리해 놓았다. 제안한 신경망에서는 조절해야 할 매개변수의 개수가

에 비례하여 늘어나고, 그 밖의 회귀 신경망에서는 │Q│²에 비례해서 늘어남을 눈여겨보도록 하자. 도 4는 │Σ│ = │Γ│ = 2일 때와 │Σ│ = │Γ│ = 4일 때, 조절해야 할 매개변수의 개수를 │Q│의 함수로 나타낸 것이다. 도 4에서 다른 회귀 신경망들과 견주어보았을 때, 제안한 신경망에서 조절해야 할 매개변수의 개수가 가장 작음을 알 수 있다.

제안한 신경망의 학습이 모두 끝나면, 다시 말해서 제안한 신경망이 유한 상태 자동기계를 동정화하고 나면, 학습한 신경망에서 유한 상태 자동기계의 상태 전이표를 다음 순서에 따라 바로 얻을 수 있다.

i) w ₁과 w _r 을 살펴보아, k = 1,2,…,n ₁일 때 ρ _{k -1}을 알아낸다. 곧, ρ _{k -1}는

의 k째 열이다.

ii) 상태 전이표에서 입력열의 k째 행은 ρ _{k -1}의 처음 n ₀개의 원소들이고, 이전 상태열의 k째 행은 ρ _{k -1}의 나머지 n ₂개의 원소들이다.

iii) 현재 상태열의 k째 행은

이다. 여기서, R(x)는 x를 반올림하는 것이다.

iv) 비슷하게, 출력열의 k째 행은

이다.

이와 같이 얻은 상태 전이표를 써서 언제든지 상태 전이도를 그릴 수 있다.

주어진 유한 상태 자동기계를 동정화하였을 때, 제안한 방법의 일반화 성능을 다른 기법들과 견주기 위해 도 5-11에 보인 토미타 자동기계 7개로 모의실험을 하였다. 먼저, 0과 1의 개수가 같은 입력 수열을 만들고 각각의 유한 상태 자동기계에서 출력 수열을 얻었다. 토미타 자동기계마다 학습시키는 데 쓰는 수열의 총 개수와 가장 긴 수열의 길이를 다르게 하였는데, 이를 표 2에 나타내었다.

도 12-18에 제안한 방법과 비클러스터링 (no clustering) 기법, 강화 양자화 기법 (rigid quantization), 학습하고 양자화하는 (quantize) 기법, 포기의 (Forgy) 알고리즘을 사용한 비지도 (unsupervised) 방식의 동적인 온라인 클러스터링과 상태 추출 기법 (dynamic online clustering and state extraction, 줄여서, DOLCE), 합침 모형을 사용한 지도 (supervised) 방식의 DOLCE의 일반화 성능을 보였다. 세로축에는 길이가 3000인 수열을 썼을 때 잘못 분류한 비트들의 수를, 초기 가중값을 다르게 하여 100번 실험한 결과를 평균하여 나타내었다. 여기서, 잘못 분류된 비트란, 제안한 신경망의 출력 가운데 동정화한 유한 상태 자동기계의 출력과의 차가 0.5보다 큰 것을 말한다. 가로축에는 여러 방법들의 이름을 간추려 적었다. 제안한 동정화 기법은 MATLAB과 C를 써서 구현하였으며, 도 12-18에서 알 수 있듯이, 다른 기법들과 견주어 뛰어난 성능을 보여준다.

나아가, 앞에서 동정화한 유한 상태 자동기계들보다 좀 더 복잡한 유한 상태 자동기계를 동정화해 보았다. 먼저, 길이가 60인 입력 수열을 아무렇게나 만들고, 도 19에 보인 유한 상태 자동기계에서 출력수열을 얻었다. 이 입출력 수열을 바탕으로, 제안한 신경망의 초기 가중값을 바꾸면서 주어진 유한 상태 자동기계를 100번 동정화한 결과를 도 20에 보였다. 도 20의 결과에서 제안한 동정화 기법이 복잡한 유한 상태 자동기계도 제대로 동정화할 수 있다는 것과 더 복잡한 유한 상태 자동기계를 동정화하기 위해서는 일반적으로 더 많은 연산이 필요하다는 것을 알 수 있다. 한편, 길이가 1000인 입출력 수열 한 짝으로 일반화 성능을 검사해 본 결과 잘못 분류된 비트가 하나도 없었다.

[제안한 부호화 방법의 유한 상태 자동기계 동정화 능력 증명]

[정리]

제안한 신경망에서 l = 1,2,3,4일 때 φ _l ∈Φ이고, 유한 상태 자동기계의 초기 상태 x[0] = x ₀ = q _I 일 때, 제안한 신경망의 뉴런의 개수를 아래와 같이 둔다.

수학식 31과 수학식 34에서 │Σ│와 │Γ│는 주어진 입출력 수열 짝에서 얻을 수 있고, 수학식 32와 수학식 33에서 │Q│는 제안한 신경망을 초기화할 때 2│Σ│로 둔다. 또한, 아래 세 부등식

을 만족시키는

과 다음 두 부등식

를 만족시키는

이 주어졌을 때, 제안한 신경망의 매개별수들을 다음과 같이 고른다.

그러면, 제안한 신경망의 상태의 원소와 동정화할 유한 상태 자동기계의 상태의 원소와의 차가 늘 β ₂보다 작고, 제안한 신경망의 출력의 원소와 동정화할 유한 상태 자동기계의 출력의 원소와의 차가 언제나 β ₄보다 작다. 이때, β ₂와 β ₄는 바라는 만큼 작게 잡을 수 있다.

[증명]

먼저, 제안한 신경망 1층의 입력은 다음과 같다.

그러면, 수학식 40과 수학식 44를 써서 1층의 k째 뉴런의 입력은

으로 나타낼 수 있다. 여기서,

이다. 또한, 제안한 신경망의 상태

에 수학식 41과 수학식 44-45를 써서 2층의 j째 뉴런의 출력을

로 나타낼 수 있다. 여기서, η _j (

)은 동정화할 유한 상태 자동기계의 다음 상태 함수

의 j째 원소이다.

열벡터 ρ _{k -1}의 원소가 1이면 이에 해당하는

의 원소가 1이고, ρ _{k -1}의 원소가 0이면 이에 해당하는

의 원소가 -1이기 때문에 v≠ρ _{k -1}인 (n ₀+n ₂)차원의 이진 열벡터 v를 어떻게 고르더라도,

이 성립한다. 여기서, 등호는 v와 ρ _{k -1}사이의 해밍 거리가 1일 때 성립한다. 한편, v = ρ _{k -1} 일 때에는

이다.

이제, 수학적 귀납법으로 정리를 증명하겠다. 먼저,

이므로

이다. 다음에,

가 성립할 때,

이 성립함을 보이자. 이때,

는 주어진 유한 상태 자동기계의 표준 이진 부호화된 (standard binary encoded) 상태이다.

1.

의 하한:

는 0 또는 1이므로, x _j [t]이 가장 크고

일 때,

은 가장 작다. 이제, 함수 η _j (

)의 모든 가능성을 생각해 보면 φ ₁(z _k [t])의 값은 음이 아니고 η _j (

)의 값은 0 또는 1이므로 수학식 49와 수학식 54에서

x _j [t]가 가장 큼을 알 수 있다. 여기서, k ₀∈{1,2,… ,n ₁} 은

을 만족시키는 수이므로 수학식 49에서

을 얻는다. 이제 상기 수학식 56에서

의 상한을 얻어 보자. 크기가 m×n인 영행렬을 0 _{m ,n}으로 쓸 때, 수학식 47을

처럼 쓰자. 수학식 57에 수학식 50을 쓰면, k≠k ₀일 때,

을 얻는다. 수학식 52에서

임을 알 수 있으므로, k≠k ₀일 때 수학식 58을

으로 다시 쓸 수 있다. 따라서, 수학식 38, 수학식 46, 수학식 60에서

을 얻고, 그 결과로

임을 알 수 있다. 수학식 56에 상기 수학식 51을 써서

를 얻고, 수학식 39를 써서 상기 수학식 62에서

을 얻는다.

2.

의 상한:

은 0 또는 1이므로, x _j [t]이 가장 작고

일 때,

은 가장 크다. 함수 η _j (

)의 모든 가능성을 생각해 보면φ ₁(z _k [t])의 값은 음이 아니고 η _j (

)의 값은 0 또는 1이므로 수학식 49와 수학식 64에서

x _j [t]가 가장 작다. 따라서, 수학식 49에서

을 얻는다. 이제, 수학식 60을 얻을 때와 비슷한 과정을 거치면, 수학식 51-52를 바탕으로 수학식 57에서

을 얻는다. 또한, φ(x) = 1-φ(-x)와 수학식 38, 수학식 46, 수학식 67을 쓰면,

을 얻는다.

이제, 함수 φ ₂가 느는 함수라는 것을 새기고, 수학식 66과 68을 뭉쳐서

를 얻고, φ(x) = 1 -φ(-x)와 수학식 39를 쓰면 수학식 69를

으로 다시 쓸 수 있다. 여기서,

이고,

이며, 따라서

이므로, 상기 수학식 70에서

을 얻는다.

수학식 63과 수학식 71에서 제안한 신경망의 상태의 원소와 동정화할 유한 상태 자동기계의 상태의 원소와의 차가 늘 β ₂보다 작음을 알 수 있고, 비슷한 방식으로 제안한 신경망의 출력의 원소와 동정화할 유한 상태 자동기계의 출력의 원소와의 차가 언제나 β ₄보다 작다는 것을 보일 수 있다.

Claims (12)

1. 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법에 있어서,
   컴퓨터 장치가, 동정화할 유한 상태 자동기계의 상태를 나타낼 수 있는 얼개로 회귀 신경망을 형성하는 제1단계;
   컴퓨터 장치가, 상기 제1단계에서 만든 회귀 신경망에 유한 상태 자동기계를 부호화하여, 상기 회귀 신경망으로 유한 상태 자동기계를 동정화할 때 사용할 매개변수들의 개수와 값의 범위를 정하는 제2단계;
   컴퓨터 장치가, 상기 제2단계를 거쳐서 만든 회귀 신경망에 새로운 비용함수를 써서 혼합 그리디 모의 담금질 방법으로 회귀 신경망을 학습시키는 제3단계를 포함하는 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
2. 제1항에 있어서,
   상기 회귀 신경망은,
   다층 퍼셉트론이 2개로 이루어진 0층부터 4층으로 구성되고, 입력이

   

   일때에 4층의 출력은 하기의 수학식 1를 만족하고 2층의 출력은 하기 수학식 2를 만족하도록 상기 컴퓨터 장치가 연산을 수행하여 형성하는 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
   (수학식1)
   

   

   
   (수학식2)
   

   

   
   여기서, i = 1,2,3,4일 때, φ_i 는 i층에 있는 뉴런들의 전달함수를 나타내며, w_i 는 (i-1)층과 i층을 잇는 n_i ×n_{i -1} 가중값 행렬을 나타내며, w ₅는 0층과 3층을 잇는 가중값 행렬이며, b_i 는 i층의 n_i ×1 문턱값 벡터이다.
3. 제2항에 있어서,
   상기 부호화에서 회귀 신경망의 0층부터 4층까지의 뉴런 개수는, 하기의 수학식 9 내지 수학식 12를 만족하도록 상기 컴퓨터 장치가 연산을 수행하여 정하는 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
   (수학식 9)
   

   

   
   (수학식 10)
   n ₁ = n ₃ = │Σ││Q│
   (수학식 11)
   

   

   
   (수학식 12)
   

   

   
   여기서, i = 1,2,3,4일 때, n_i 는 신경망의 i층의 뉴런 개수이고, │Q│,│Σ│,│Γ│는 각각 동정화할 유한 상태 자동기계의 상태 집합의 크기, 입력 부호 집합의 크기, 출력 부호 집합의 크기이다.
4. 제3항에 있어서,
   상기 매개변수의 가중값 행렬과 문턱값들은, 하기의 수학식 18 내지 수학식 22를 만족하도록 상기 컴퓨터 장치가 연산을 수행하여 정하는 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
   (수학식 18)
   

   

   
   (수학식 19)
   

   

   
   (수학식 20)
   

   

   
   (수학식 21)
   

   

   
   (수학식 22)
   

   

   
   여기서, i = 1,2,3,4일 때, w_i 는 (i-1)층과 i층을 잇는 가중값 행렬이고, w_r 는 2층과 1층을 잇는 가중값 행렬이며, w ₅는 0층과 3층을 잇는 가중값 행렬이며, b_i 는 i층의 문턱값 행렬이며, η는 동정화할 유한 상태 자동기계의 다음 상태 함수이고, v는 출력 함수이며, ρ_k 는 입력 부호 집합 Σ와 상태 집합 Q의 데카르트 곱 Σ×Q의 원소이고, 행렬 P= [ρ ₀ ρ ₁… ρ _{│ Σ ││ Q │-1}] 이며, 1 _{m , n} 은 크기가 m×n이고 원소들이 모두 1인 행렬이며, sum( A )는 행렬 A를 이루는 행벡터들을 모두 더한 것이다.
5. 제4항에 있어서,
   상기 비용함수는, 하기의 수학식 23을 만족하도록 상기 컴퓨터 장치가 연산을 수행하여 정하는 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
   (수학식 23)
   

   

   
   여기서,

   

   는 유한 상태 자동기계의 출력 수열이고, y[t]와 x[t]는 각각 회귀 신경망의 출력과 상태이며,

   

   는 입출력 수열의 길이이며, n ₂와 n ₄는 각각 회귀 신경망 2층과 4층의 뉴런 개수이고,

   

   은 크기가 n ₂×1이고 원소들이 모두 1인 행렬이며, μ는 구간 (0,1)에 있는 수이고,

   

   은 아다마르 곱을 뜻하며,

   

   이고,

   

   이다.
6. 제1항에 있어서,
   상기 혼합 그리디 모의 담금질 방법은, 레벤버그-마쿼트 알고리즘과 그리디 모의 담금질 방법을 합친 것을 특징으로 하는, 컴퓨터 장치에 의해 유한 상태 자동기계를 동정화하는 방법.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images