KR20040028408A - 신경망을 이용한 변수 중요도 측정방법 - Google Patents

Abstract

복수개의 입력노드, 상기 각각의 입력노드와 연결된 복수개의 은닉노드, 및 상기 각각의 은닉노드와 연결된 출력노드를 포함하는 신경망을 이용하여 변수 중요도를 측정하는 본 발명은 복수개의 입출력 데이터 쌍를 가지고 상기 신경망에 대한 학습을 수행하는 제1 단계, 상기 학습 결과를 상기 각각의 입력노드와 상기 각각의 은닉노드와의 연결관계를 나타내는 복수개의 제1 연결강도, 및 상기 각각의 은닉노드와 상기 출력노드와의 연결관계를 나타내는 복수개의 제2 연결강도로 저장하는 제2 단계, 상기 저장된 학습결과를 이용하여 복수의 지표들을 결정하는 제3 단계, 및 상기 결정된 지표들 중 일부 또는 전부의 조합에 의하여 상기 복수개의 입력노드 각각에 대한 중요도를 결정하는 제4 단계를 포함한다.

본 발명에 의하여 복수의 입력변수 중에서 출력변수에 중요한 영향을 미치는 소수의 입력변수를 추출할 수 있다.

Description

신경망을 이용한 변수 중요도 측정방법{Method for measuring the importance of a variable using neural network}

본 발명은 신경망의 이용에 관한 것으로서, 특히 신경망에서 학습한 변수들의 상대적인 중요도를 표시하는 방법에 관한 것이다.

인공 신경망을 이용한 종래의 기술에서는 신경망을 학습시키고 학습된 신경망에 새로운 값을 입력한 경우 출력값을 예측하는 작업에 치중하였을 뿐 예측값을 얻는 과정에 대해서는 전혀 다루어지지 않았다.

예를 들어 신경망을 이용하여 반도체의 수율에 영향을 미치는 공정요소에 대하여 분석하는 경우에, 신경망에 입력되는 변수들은 온도, 압력 등의 공정요소이고 출력은 수율(yield)이 된다.

종래의 기술에 의하면 어떤 변수가 수율 향상에 어느 정도의 기여를 하는지 알 수 없었다. 따라서 수율 향상을 위해서 모든 변수에 대하여 감시 조사를 해야 하는 문제가 있었다.

이에 본 발명에서는 신경망의 학습 결과를 가지고 신경망에 입력된 각 변수들의 중요도를 판단할 수 있는 기준을 제시함으로써 감시 대상 변수들의 수를 대폭 줄이고 결과에 상대적으로 중요한 영향을 미치는 일부 변수들에 대해서만 집중적인 감시 조사를 수행할 수 있도록 하는 방법을 개시한다.

도 1은 본 발명에 의한 변수 중요도 측정에 사용되는 신경망의 구성도.

도 2는 본 발명에 의해 변수 중요도 측정 방법을 나타내는 순서도.

< 도면의 주요 부분에 대한 부호의 설명 >

101 : 입력계층102 : 제1 연결강도

103 : 은닉계층104 : 제2 연결강도

105 : 출력계층

201 : 신경망 학습용 데이터202 : 신경망 학습부

203 : 연결강도 데이터204 : 변수 중요도 측정부

205 : 민감성 계산부206 : 현저성 계산부

207 : 활동성 계산부208 : 관련성 계산부

209 : 변수 중요도 결과 처리부

복수개의 입력노드, 상기 각각의 입력노드와 연결된 복수개의 은닉노드, 및 상기 각각의 은닉노드와 연결된 출력노드를 포함하는 신경망을 이용하여 변수 중요도를 측정하는 본 발명은 복수개의 입출력 데이터 쌍를 가지고 상기 신경망에 대한 학습을 수행하는 제1 단계, 상기 학습 결과를 상기 각각의 입력노드와 상기 각각의은닉노드와의 연결관계를 나타내는 복수개의 제1 연결강도, 및 상기 각각의 은닉노드와 상기 출력노드와의 연결관계를 나타내는 복수개의 제2 연결강도로 저장하는 제2 단계, 상기 저장된 학습결과를 이용하여 복수의 지표들을 결정하는 제3 단계, 및 상기 결정된 지표들 중 일부 또는 전부의 조합에 의하여 상기 복수개의 입력노드 각각에 대한 중요도를 결정하는 제4 단계를 포함한다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명에 의한 실시예에서 사용하는 신경망을 나타내는 구성도이다.

본 실시예에 의한 신경망은 복수개의 입력노드를 포함하는 입력계층(101), 복수개의 은닉노드를 포함하는 은닉계층(103), 및 출력계층(105)를 포함한다.

입력계층(101)은 d(d는 자연수)개의 입력노드 {x₁, x₂, ..., x_d}와, 학습을 위한 추가노드인 x₀를 포함한다.

은닉계층(103)은 m(m은 자연수)개의 은닉노드 {z₁, z₂, ..., z_m}와, 학습을 위한 추가노드인 z₀를 포함한다.

제1 연결강도(102)는 각각의 입력노드 및 추가노드(x₀)와 각각의 은닉노드를 연결하는 것이다. 예를 들어 x_i에서 z_j로 연결되는 제1 연결강도는 W_ij ⁽¹⁾로 표시된다.

제2 연결강도(104)는 각각의 은닉노드 및 추가노드(z₀)와 출력노드를 연결하는 것이다. 예를 들어 z_j에서 출력노드 연결되는 제2 연결강도는 W_j ⁽²⁾로 표시된다.

본 실시예는 출력노드가 하나인 경우이지만 본 발명은 출력노드가 복수개인 경우에도 마찬가지로 적용된다. 출력변수는 y이다.

이와 같은 구조의 인공 신경망을 학습시키는 방법은 여러가지가 알려져 있다. 본 실시예에서 사용하는 방법은 역전사(back propagation) 학습 방법이다.

역전사 학습방법에 대한 구체적인 사항은 C. M. Bishop의 저서 "Neural Network for Pattern Recognition"을 참조한다.

도 2는 본 발명에 의하여 입력 변수의 중요도를 측정하는 단계를 나타낸다.

본 발명에서는 도 1에 도시된 바와 같은 신경망을 학습시킨 후(201, 202, 203), 그 결과를 이용하여 소정의 지표들을 측정하고(204), 이들 지표들의 전부 또는 일부의 조합으로 출력변수(y)에 대한 입력변수(x)의 중요도를 결정한다(209).

학습데이터로서 n개의 입출력 (x,y) 정보가 주어진다(201).

신경망은 이를 학습하고(202) 그 결과를 각각의 제1 및 제2 연결강도에 저장한다(203).

본 발명에서 측정하는 지표들에는 민감성 지표, 현저성 지표, 활동성 지표, 및 관련성 지표가 있다.

민감성 지표는 특정 변수를 임의의 고정값으로 치환한 경우에 출력값의 변화 정도를 나타내는 지표이다. 민감성이 낮은 변수는 고정값으로 치환하였을 때 출력의 변화가 작고, 민감성이 높은 변수는 고정값으로 치환한 경우에 출력의 변화가 크다.

신경망에서 학습된 하나의 입력 데이터{x₁, x₂, ..., x_d}에 대한 출력값을 P⁰, 위 입력 데이터 중에 x_i를 소정의 상수값 c로 치환한 입력 데이터 {x₁, x₂, ... , x_i-1, c, x_i+1, ..., x_d}에 대한 출력값을 Pⁱ, 학습에 사용된 입력 데이터가 모두 n개인 경우에, i번째 입력 변수에 대한 민감성 지표 S_i를 수식으로 표현하면 다음과 같다.

현저성 지표는 입력노드에서 출력노드로 연결되는 경로상의 연결강도를 비교하는 값이다. 신경망에서 중요한 변수일수록 출력에 반영되는 정도가 커지도록 학습을 수행하므로 최종 학습이 완료된 경우에 연결강도의 절대값이 큰 변수일수록 중요도가 커지게 된다.

i번째 입력노드에서 j번째 은닉노드로 연결되는 상기 제1 연결강도를 W_ij ⁽¹⁾, j번째 은닉노드에서 출력노드로 연결되는 상기 제2 연결강도를 W_j ⁽²⁾, 은닉노드의 개수를 m이라고 할 때, i번째 입력 변수에 대한 현저성 지표 J_i를 수식으로 표현하면 다음과 같다.

활동성은 노드의 출력이 변화하는 정도를 측정한 것으로서 각 노드의 출력값의 변화가 클수록 최종 결과에 큰 영향을 미친다는 원리를 이용한 지표이다. 예를 들어 한 입력변수가 모든 출력값에 대해서 일정한 값을 가진다면 그 변수의 활동성은 0이 된다.

x _i 의 활동성A _i 를 측정하기 위해서는 먼저 은닉노드 z_j의 활동성 A_j를 측정하여야 한다. Aj의 출력값은 신경망의 학습방법에 따라서 달라진다. 역전사 학습방법의 경우 입력값의 합을 지그모이드 함수에 적용하여 결정한다. 지그모이드 함수는 역전사 학습방법에서 이용되는 변환함수로서g(a)=(1+e ^{- a} )^-1와 같다. 이를 정리하여 수식으로 표현하면 다음과 같다.

신경망의 학습과정에서 연결강도의 초기값을 설정하는 방법에는 일정한 상수로 설정하는 방법과 임의의 값으로 설정하는 방법이 있다. 신경망의 학습이 진행됨에 따라서 출력변수로부터 큰 피드백을 받는 뉴런의 연결강도는 학습이 진행됨에따라서 분산이 커지게 된다. 이러한 성질을 이용하여 변수의 중요도를 측정하는 지표가 관련성 지표이다.

관련성은 은닉노드의 관련성 R_j를 먼저 계산하고 입력노드와의 연결강도의 크기제곱과 곱하여 입력변수 x_i와 출력 y의 관련성을 계산한다. R_j는 은닉노드에 연결된 d+1개의 제1 연결강도의 분산과 해당 은닉노드의 제2 연결강도의 제곱과의 곱으로 구할 수 있다. 이를 이용하여 x_i의 관련성 R_i는 은닉노드의 관련성과 제1 연결강도의 제곱과의 곱을 모두 더하여 얻는다. 이를 정리하여 수식으로 표현하면 다음과 같다.

본 실시예에서는 신경망 학습결과를 이용하여 위와 같이 민감성 지표, 현저성 지표, 활동성 지표, 및 관련성 지표를 도출하였다.

다음 단계는 이들 지표를 이용하여 각 변수의 중요도를 결정하는 단계이다(209).

중요도는 위 지표들의 전부 또는 일부를 조합하여 생성할 수 있다.

예를 들어 각 지표들의 평균값을 중요도로 사용하거나, 각 지표들의 우선순위를 정하고 이에 따른 가중치를 부여한 후 가중 평균값을 중요도로 사용할 수 있다.

위와 같이 각 변수들에 대하여 중요도를 알 수 있으면 다음과 같은 용도로 사용할 수 있다.

예를 들어 반도체 제조 공정에서는 웨이퍼당 각 단계마다 처리온도, 화학약품의 농도, 압력, 처리시간을 포함한 천여개의 공정 변수값이 기록된다.

조기에 수율을 높이기 위해서는 이들 변수 중에서 공정의 품질을 결정하는 수율(yield)에 결정적인 영향을 미치는 변수를 파악하는 것이 중요하다.

이때, 반도체 공정 변수들을 신경망의 입력값(x)으로, 수율을 신경망의 출력값(y)으로 설정하여 학습한 후에, 전술한 바와 같은 네가지 지표들을 결정하여 각 변수에 따른 중요도를 정하면 모니터링 대상을 천여개의 변수중에서 중요도가 큰 소수의 변수들로 압축하는 것이 가능하다.

본 발명에 의하여 복수의 입력변수 중에서 출력변수에 중요한 영향을 미치는 소수의 입력변수를 추출할 수 있다. 따라서 소수의 중요한 변수들에 집중해서 출력을 조절할 수 있게 된다.

본 발명은 생산품에 영향을 미치는 공정요소들의 분석과 같은 산업상의 이용분야 외에도 각종 통계분석 소프트웨어의 기능 모듈, 고객관리(CRM)에서의 고객 프로파일 분석 등과 같이 소프트웨어 분야에서도 유용하게 사용될 수 있는 효과가 있다.

본 발명의 실시예는 예시의 목적을 위한 것으로서 당업자는 특허청구범위의 기술적 사상을 통해 실시예의 다양한 수정 및 변경이 가능하며, 이러한 수정 및 변경은 특허청구범위에 속하는 것이다.

Claims (12)

1. 복수개의 입력노드, 상기 각각의 입력노드와 연결된 복수개의 은닉노드, 및 상기 각각의 은닉노드와 연결된 출력노드를 포함하는 신경망을 이용한 변수 중요도 측정방법에 있어서,

   복수개의 입출력 데이터 쌍를 가지고 상기 신경망에 대한 학습을 수행하는 제1 단계;

   상기 학습 결과를 상기 각각의 입력노드와 상기 각각의 은닉노드와의 연결관계를 나타내는 복수개의 제1 연결강도, 및 상기 각각의 은닉노드와 상기 출력노드와의 연결관계를 나타내는 복수개의 제2 연결강도로 저장하는 제2 단계;

   상기 저장된 학습결과를 이용하여 복수의 지표들을 결정하는 제3 단계; 및

   상기 결정된 지표들 중 일부 또는 전부의 조합에 의하여 상기 복수개의 입력노드 각각에 대한 중요도를 결정하는 제4 단계

   를 포함하는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
2. 제 1 항에 있어서,

   상기 학습은 역전사(back propagation) 학습 방법인 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
3. 제 1 항에 있어서,

   상기 제3 단계의 상기 복수의 지표들은 민감성 지표, 현저성 지표, 활동성 지표, 및 관련성 지표를 포함하는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
4. 제 3 항에 있어서,

   상기 신경망에서 학습된 하나의 입력 데이터{x₁, x₂, ..., x_d}에 대한 출력값은 P⁰이고,

   상기 입력 데이터 중에 x_i를 소정의 상수값 c로 치환한 입력 데이터 {x₁, x₂, ... , x_i-1, c, x_i+1, ..., x_d}에 대한 출력값은 Pⁱ이며,

   상기 학습에 사용된 입력 데이터이 개수는 n일때

   i번째 입력 변수에 대한 민감성 지표 S_i는

   로 결정되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
5. 제 3 항에 있어서,

   상기 i번째 입력노드와 상기 j번째 은닉노드의 연결관계를 나타내는 상기제1 연결강도는 W_ij ⁽¹⁾이고,

   상기 j번째 은닉노드와 상기 출력노드의 연결관계를 나타내는 상기 제2 연결강도는 W_j ⁽²⁾이며,

   상기 은닉노드의 개수는 m일 때,

   i번째 입력 변수에 대한 현저성 지표 J_i는

   로 결정되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
6. 제 3 항에 있어서,

   상기 i번째 입력노드와 상기 j번째 은닉노드의 연결관계를 나타내는 상기 제1 연결강도는 W_ij ⁽¹⁾이고,

   상기 j번째 은닉노드와 상기 출력노드의 연결관계를 나타내는 상기 제2 연결강도는 W_j ⁽²⁾이고,

   함수 g(a)는 g(a) = (1+e^-a)^-1이고,

   상기 입력노드의 개수는 d이고,

   i(i는 자연수) 번째 입력 데이터는 x_i라 표시하고,

   상기 은닉노드의 개수는 m이며,

   0번째 입력 데이터 x₀는 상기 학습을 위한 추가노드일 때,

   i번째 입력 변수에 대한 활동성 지표 A_i는

   로 결정되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
7. 제 3 항에 있어서,

   상기 i번째 입력노드와 상기 j번째 은닉노드의 연결관계를 나타내는 상기 제1 연결강도는 W_ij ⁽¹⁾이고,

   상기 j번째 은닉노드와 상기 출력노드의 연결관계를 나타내는 상기 제2 연결강도는 W_j ⁽²⁾이며,

   상기 은닉노드의 개수는 m일 때,

   i번째 입력 변수에 대한 활동성 지표 R_i는

   로 결정되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
8. 제 1 항 또는 제 3 항에 있어서, 상기 중요도는

   상기 복수의 지표들의 평균값으로 결정하는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
9. 제 1 항 또는 제 3 항에 있어서, 상기 중요도는

   상기 복수의 지표들의 우선순위에 따른 가중 평균값으로 결정하는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
10. 제 1 항에 있어서,

    상기 입력노드에는 반도체 공정 변수들이 입력되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
11. 제 10 항에 있어서,

    상기 신경망의 출력노드에서는 반도체 수율이 출력되는 것을 특징으로 하는 신경망을 이용한 변수 중요도 측정방법.
12. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

    상기 출력노드는 복수개인 것을 특징으로 하는 신경망을 이용한 변수 중요도측정방법.