KR101878579B1 - 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법 - Google Patents

계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법 Download PDF

Info

Publication number
KR101878579B1
KR101878579B1 KR1020167024009A KR20167024009A KR101878579B1 KR 101878579 B1 KR101878579 B1 KR 101878579B1 KR 1020167024009 A KR1020167024009 A KR 1020167024009A KR 20167024009 A KR20167024009 A KR 20167024009A KR 101878579 B1 KR101878579 B1 KR 101878579B1
Authority
KR
South Korea
Prior art keywords
neural network
nodes
weight
check matrix
code
Prior art date
Application number
KR1020167024009A
Other languages
English (en)
Other versions
KR20160117537A (ko
Inventor
다카시 야마자키
와타루 마츠모토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20160117537A publication Critical patent/KR20160117537A/ko
Application granted granted Critical
Publication of KR101878579B1 publication Critical patent/KR101878579B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0454—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

오류 정정 부호의 검사 행렬에 근거하여 계층형 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행해서 소결합 부분을 생성한다.

Description

계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법{HIERARCHICAL NEURAL NETWORK DEVICE, LEARNING METHOD FOR DETERMINATION DEVICE, AND DETERMINATION METHOD}
본 발명은 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법에 관한 것이다.
주지하는 바와 같이 뉴럴 네트워크는, 학습 능력을 가지며, 비선형성, 패턴 매칭 성능이 우수하여, 제어, 예측, 진단 등의 많은 분야에서 이용되고 있다.
또한, 뉴럴 네트워크에는 많은 구조가 제안되어 있지만, 실용화된 대부분은 거의 계층형, 특히 3계층형의 것이다. 계층형 뉴럴 네트워크는, 통상 백프로퍼게이션(backpropagation)법(오차 역전파법)이라고 불리는 알고리즘에 의해 학습하고, 내부의 결합 상태(노드간의 가중치)가 조정된다. 이렇게 해서 학습 데이터와 동일한 입력 데이터를 인가하면 학습 데이터와 거의 동일한 출력을 한다. 또한, 학습 데이터에 가까운 입력을 인가하면 학습 데이터에 가까운 출력을 하는 특징이 있다.
계층형 뉴럴 네트워크에서 복잡한 문제를 취급하는 경우, 중간층의 노드수나 층수를 늘리게 되어, 연산량이 증가한다고 하는 과제가 있다. 이 과제의 해결법으로서 노드간을 소(疎)결합(loose coupling)으로 하여 연산량을 삭감하는 예가 있으며, 대표적인 특허문헌으로서 이하의 2건이 있다.
특허문헌 1에서는, 복수의 입력 노드에 대해, 학습 데이터의 최대, 최소, 평균, 표준 편차의 통계 지표를 이용하는 것이나 학습 데이터의 입력 노드간 또는 입력과 출력간의 상관 계수를 이용하는 것에 의해 특징이 닮은 입력 노드끼리의 그룹을 형성하고, 그들 그룹 내에서 입력 노드와 중간 노드를 결합해서 소결합 부분을 가지는 구조로 하고 있다.
또한, 특허문헌 2에 기재된 뉴럴 네트워크 구조 최적화 방법에서는, 임의의 노드간의 결합을 삭제하는 것에 의해 구조가 상이한 뉴럴 네트워크를 복수 생성하고, 각각의 뉴럴 네트워크의 평가값을 산출하여 평가값의 비교 판정을 행함으로써, 최적인 구조의 뉴럴 네트워크로 변경하고 있다.
특허문헌 1: 일본 특허 공개 제2011-54200호 공보 특허문헌 2: 일본 특허 공개 평9-91263호 공보
특허문헌 1, 2로 대표되는 종래의 기술에서는, 판별기 학습을 행하기 전에 소결합을 형성하기 위한 사전 학습이 필요하고, 학습 데이터의 변경이나 수정이 있을 때마다 사전 학습을 행하지 않으면 안되어, 소결합의 형성에 많은 시간과 연산량을 필요로 하고 있었다. 이 때문에, 판별기 학습과 판별 처리의 고속화를 도모할 수 없다고 하는 과제가 있었다.
본 발명은, 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 계층형 뉴럴 네트워크에서, 학습 데이터에 의존하지 않고 소결합을 형성함으로써 판별기 학습과 판별 처리의 고속화를 도모할 수 있는 계층형 네트워크 장치, 판별기 학습 방법 및 판별 방법을 얻는 것을 목적으로 한다.
본 발명에 따른 계층형 뉴럴 네트워크 장치는, 오류 정정 부호의 검사 행렬에 근거하여, 노드를 가지는 입력층, 중간층 및 출력층으로 이루어지는 계층형 뉴럴 네트워크에서의 일부의 노드 사이에 결합을 행하여 소결합 부분을 생성하고, 결합된 노드간의 가중치를 학습하는 가중치 학습부와, 결합된 노드간의 가중치가 가중치 학습부에 의해 학습된 가중치의 값으로 갱신된 계층형 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푸는 판별 처리부를 구비한다.
본 발명에 의하면, 계층형 뉴럴 네트워크에서, 학습 데이터에 의존하지 않고 소결합을 형성함으로써 판별기 학습과 판별 처리의 고속화를 도모할 수 있다고 하는 효과가 있다.
도 1은 본 발명의 실시 형태 1에 따른 계층형 뉴럴 네트워크 장치의 구성을 나타내는 블럭도이다.
도 2는 실시 형태 1에 있어서의 계층형 뉴럴 네트워크의 구조를 나타내는 도면이다.
도 3은 종래의 계층형 뉴럴 네트워크의 구조를 나타내는 도면이다.
도 4는 실시 형태 1에 있어서의 가중치 학습 처리를 나타내는 흐름도이다.
도 5는 의사 난수 부호의 검사 행렬을 나타내는 도면이다.
도 6은 유클리드 기하학적 부호의 검사 행렬의 행수 또는 열수에 대한 1의 개수와 1의 비율을 나타내는 도면이다.
도 7은 투영 기하학적 부호의 검사 행렬의 행수 또는 열수에 대한 1의 개수와 1의 비율을 나타내는 도면이다.
도 8은 차 집합 순회 부호의 검사 행렬의 행수 또는 열수에 대한 1의 개수와 1의 비율을 나타내는 도면이다.
도 9는 공간 결합형 부호의 검사 행렬을 나타내는 도면이다.
도 10은뉴럴 네트워크 A, B에 있어서의 입력 노드와 중간 노드간의 결합수의 예를 나타내는 도면이다.
도 11은 본 발명의 실시 형태 2에 따른 계층형 뉴럴 네트워크 장치의 구성을 나타내는 블럭도이다.
도 12는 실시 형태 2에 있어서의 딥 뉴럴 네트워크(deep neural network)의 구조를 나타내는 도면이다.
도 13은 종래의 딥 뉴럴 네트워크의 구조를 나타내는 도면이다.
도 14는 실시 형태 2에 있어서의 가중치의 사전 학습과 조정에 의한 가중치 학습 처리를 나타내는 흐름도이다.
도 15는 N=5로 한 경우에 있어서의 가중치의 사전 학습과 조정에 의한 가중치 학습 처리의 개요를 나타내는 도면이다.
도 16은 가중치의 사전 학습 처리를 나타내는 흐름도이다.
도 17은 가중치의 조정 처리를 나타내는 흐름도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대해, 첨부한 도면에 따라 설명한다.
실시 형태 1
도 1은 본 발명의 실시 형태 1에 따른 계층형 뉴럴 네트워크 장치의 구성을 나타내는 블럭도이다. 도 1에 있어서, 계층형 뉴럴 네트워크 장치(1)는 계층형 뉴럴 네트워크를 이용하여 판별을 행하는 장치로서, 판별기 학습부(2), 가중치 기억부(3), 학습 데이터 기억부(4) 및 교사 데이터 기억부(5)를 구비하여 구성된다.
또, 계층형 뉴럴 네트워크는 입력층, 중간층 및 출력층으로 이루어지고, 각 층은 복수의 노드를 가지고 있다. 또한, 계층형 뉴럴 네트워크는, 입력층과 중간층의 노드간 및 중간층과 출력층의 노드간에 임의의 가중치를 설정하여 노드간의 결합 상태를 조정하는 것에 의해 여러 가지 문제(분류 문제 혹은 회귀 문제)를 풀 수 있는 판별기로서 기능한다.
판별기 학습부(2)는, 계층형 뉴럴 네트워크를 학습하고, 학습한 계층형 뉴럴 네트워크를 이용한 판별을 행한다. 그 구성으로서, 가중치 학습부(20) 및 판별 처리부(21)를 구비한다.
가중치 학습부(20)는, 오류 정정 부호의 검사 행렬에 근거하여 계층형 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행해서 소결합 부분을 생성하고, 결합된 노드간의 가중치를 학습한다. 즉, 가중치 학습부(20)는 판별 처리부(21)로부터 출력된 판별 결과와, 가중치 기억부(3)로부터 읽어낸 노드간의 가중치(판별기의 가중치)와 교사 데이터 기억부(5)로부터 읽어낸 교사 데이터가 입력되면, 이들 데이터를 이용하여 가중치 학습을 행한다.
또한, 가중치 학습부(20)는, 오류 정정 부호의 검사 행렬에 있어서의 행 요소에 한쪽의 층의 노드를 할당하고, 열 요소에 다른 한쪽의 층의 노드를 할당하고, 행렬 요소가 1로 정해진 노드간을 결합하고, 행렬 요소가 0인 노드간은 결합하지 않는다. 이것에 의해, 학습 데이터를 이용하는 일없이, 노드간에 소결합 부분을 생성할 수 있다.
판별 처리부(21)는, 결합된 노드간의 가중치가 가중치 학습부(20)에 의해 학습된 가중치의 값으로 갱신된 계층형 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푼다. 예를 들면, 판별 처리부(21)는, 가중치 기억부(3)로부터 초기화된 가중치 또는 학습 중인 가중치를 입력받고, 학습 데이터 기억부(4)로부터 학습 데이터를 입력받으면, 이들을 이용한 판별 결과를 가중치 학습부(20)에 출력한다. 또한, 판별 처리부(21)는, 가중치 기억부(3)로부터 학습 완료된 가중치를 입력받고, 판별 데이터를 입력받으면, 이들을 이용한 판별 결과를 장치 외부의 디스플레이 등의 전송 장치에 출력한다.
판별 처리부(21)에서는, 계층형 뉴럴 네트워크에서의 입력층과 중간층의 노드간에 학습 데이터 또는 판별 데이터가 입력 신호로 되고, 이 노드간의 가중치가 승산된다. 이 승산 결과를 중간층에 있어서의 노드에서 각각 합계한 것이, 임계값 함수에 의해 계산되어 출력된다. 여기서, 임계값 함수를 f(), 중간층의 j번째의 노드의 임계값 함수의 출력값을 Hj, 입력층의 i번째의 노드의 입력 신호를 Xi라고 하고, 입력층의 i번째의 노드와 중간층의 j번째의 노드의 사이의 가중치를 Wji라고 한 경우에는, 임계값 함수의 출력값을 Hj는 하기 식 (1)로 나타낼 수 있다.
Figure 112016084766428-pct00001
또한, 중간층과 출력층의 노드간에서는, 임계값 함수에 의해 계산된 출력 신호를 입력 신호로 하고, 이 노드간의 가중치가 승산된다. 이 승산 결과를 출력층에 있어서의 각 노드에서 합계한 것이 임계값 함수에 의해 계산되고, 판별 결과로서 출력된다. 여기서, 출력층의 k번째의 노드의 임계값 함수의 출력치를 Ok, 중간층의 j번째의 노드와 출력층의 k번째의 노드의 사이의 가중치를 Wkj로 한 경우, 임계값 함수의 출력치 Ok는 하기 식 (2)로 나타낼 수 있다. 단, 임계값 함수 f()로서는 시그모이드(sigmoid) 함수, tanh 함수, max 함수 등을 들 수 있다. 또한, 노드간의 가중치의 승산은 노드간의 결합이 있는 부분에 대해서만 행한다.
Figure 112016084766428-pct00002
가중치 기억부(3)는 계층형 뉴럴 네트워크에 있어서의 노드간의 가중치를 기억하는 기억부이다. 가중치 기억부(3)에는, 가중치의 초기화 처리시에는 계층형 뉴럴 네트워크의 모든 노드간의 가중치의 초기값이 기억되고, 소결합의 생성시에는 결합이 있는 노드간의 가중치 학습값이 기억된다. 판별 처리부(21)는, 각 노드 및 그 노드간의 가중치의 값을 가중치 기억부(3)로부터 읽어냄으로써 계층형 뉴럴 네트워크를 구축하고, 이것을 이용하여 분류 문제 혹은 회귀 문제를 푼다.
학습 데이터 기억부(4)는 학습 데이터를 기억하는 기억부이다. 학습 데이터란, 미리 정상과 이상(異常)이 판별된 상태 정보 및 특징량을 나타내는 데이터이다. 학습 데이터에는, 교사 데이터가 기지(旣知)인 경우(교사 있음 학습)와, 판별 데이터에 대해 요망하는 교사 데이터가 미지인 경우(교사 없음 학습)가 있다.
교사 데이터 기억부(5)는 교사 데이터를 기억하는 기억부이다. 교사 데이터란, 판별 데이터에 대해 요망하는 출력 데이터이다. 또한, 판별 데이터는 판별 대상의 데이터이다.
또, 가중치 학습부(20)와 판별 처리부(21)는, 예를 들면, 본 실시 형태 1에 특유의 처리가 기술된 프로그램을 마이크로컴퓨터가 실행함으로써, 하드웨어와 소프트웨어가 협동한 구체적인 수단으로서 실현할 수 있다.
가중치 기억부(3), 학습 데이터 기억부(4) 및 교사 데이터 기억부(5)는, 예를 들면 계층형 뉴럴 네트워크 장치(1)로서 기능하는 컴퓨터에 탑재되어 있는 하드 디스크 드라이브(HDD) 장치, USB 메모리, 기억 미디어 재생 장치에서 재생 가능한 기억 미디어(CD, DVD, BD)로 구축된다.
도 2는 실시 형태 1에 있어서의 계층형 뉴럴 네트워크의 구조를 나타내는 도면이고, 도 3은 종래의 계층형 뉴럴 네트워크의 구조를 나타내는 도면이다. 도 3에 나타내는 바와 같이, 종래의 계층형 뉴럴 네트워크는, 입력층과 중간층의 노드간이 모두 결합되고, 중간층과 출력층의 노드간이 모두 결합되어 있다. 이에 반해, 실시 형태 1에서는, 도 2에 나타내는 바와 같이, 입력층과 중간층의 노드간의 결합 및 중간층과 출력층의 노드간의 결합 중 적어도 한쪽에 소결합 부분이 형성된다.
다음에 동작에 대해 설명한다.
도 4는 실시 형태 1에 있어서의 가중치 학습 처리를 나타내는 흐름도이며, 이 도 4에 따라 가중치 학습부(20)에 의한 가중치 학습의 상세를 설명한다.
우선, 가중치 학습부(20)는 계층형 뉴럴 네트워크의 각 층에 있어서의 모든 노드간의 가중치를 초기화한다(스텝 ST1). 구체적으로는, 각 층에 있어서의 모든 노드간의 가중치에 대해 초기치를- 0.5~+0.5의 난수로 인가한다.
다음으로, 가중치 학습부(20)는, 오류 정정 부호의 검사 행렬에 근거하여 계층형 뉴럴 네트워크에 있어서의 일부의 노드간에만 결합을 행하여 소결합을 생성한다(스텝 ST2). 오류 정정 부호의 검사 행렬로서는, 통상의 계층형 뉴럴 네트워크와 비교하여 학습 오차를 동등 또는 작게 하는 것이고, 또한 루즈(loose)한 행렬로 한다. 예를 들면, 의사 난수 부호, 유한 기하학적 부호, 순회 부호, 의사 순회 부호, 저밀도 패리티 검사 부호(LDPC) 및 공간 결합 부호 중 어느 한쪽을 들 수 있다.
계속해서, 가중치 학습부(20)는, 학습 오차를 평가하는 평가 함수의 값이 작아지도록, 소결합 부분에서 결합된 노드간의 가중치의 수정량을 산출한다(스텝 ST3).
또, 평가 함수 J는, 예를 들면 하기 식 (3)으로 나타낼 수 있다. 단, 노드의 출력 신호를 o, 교사 데이터를 t로 한다.
Figure 112016084766428-pct00003
이 후, 가중치 학습부(20)는, 스텝 ST3에서 구한 수정량으로, 결합된 노드간의 가중치의 값을 종전의 값으로부터 갱신한다(스텝 ST4).
노드간의 가중치의 갱신이 종료되면, 가중치 학습부(20)는 가중치 학습의 종료 조건을 만족했는지 여부를 확인한다(스텝 ST5). 여기서, 종료 조건으로서는, 예를 들면 교사 데이터와 판별 처리부(21)로부터 입력받은 판별 결과의 오차를 산출하는 평가 함수의 값이 미리 정한 임계값 이하로 되는 경우가 생각된다. 또한, 학습 횟수가 임계값 횟수 이상으로 된 경우이더라도 좋다.
종료 조건을 만족하여 가중치 학습을 종료해야 한다고 판단한 경우(스텝 ST5; 예), 가중치 학습부(20)는 가중치 학습을 종료한다. 한편, 종료 조건을 만족하지 않은 경우(스텝 ST5; 아니오), 스텝 ST3의 처리로 되돌아가고, 상술한 가중치 학습을 반복한다.
이것에 의해, 판별 처리부(21)는 소결합 부분에서 결합된 노드간의 가중치가 가중치 학습부(20)에 의해 학습된 가중치의 값으로 갱신된 계층형 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 풀 수 있다.
다음에, 도 5에 나타내는 의사 난수 부호의 검사 행렬에 근거하여, 입력층과 중간층의 노드간에 소결합 부분을 생성하는 경우의 일례를 나타낸다. 도 5의 행렬은 각 행, 각 열에 1이 4개씩 있는 15×15의 행렬로 되어 있다. 이것은, 각 열의 요소에 할당된 입력층의 노드(이하, 입력 노드라고 기재함) x1, x2, …, x15와 각 행의 요소에 할당된 중간층의 노드(이하, 중간 노드라고 기재함) h1, h2, …, h15가 각각 15개 있고, 행렬 요소의 값이 1인 부분이 결합하는 것으로 하여 1개의 중간 노드에 4개의 입력 노드가 결합하는 것을 나타내고 있다. 예를 들면, 중간 노드 h1에는, 행렬의 요소가 1로 정해진 입력 노드 x1, x3, x9, x10가 결합한다.
중간 노드 또는 출력 노드(출력층의 노드)의 수가 적은 경우(예를 들면 21개 이하), 유클리드 기하학적 부호 혹은 투영 기하학적 부호 등의 유한 기하학적 부호의 검사 행렬, 또는 차 집합 순회 부호 등의 순회 부호의 검사 행렬에 근거하여, 상술한 바와 같이 행렬 요소가 1로 정해진 노드간에서 결합을 행하면, 대폭적인 연산량의 삭감이 기대된다. 이것은, 도 6에 나타내는 유클리드 기하학적 부호의 검사 행렬, 도 7에 나타내는 투영 기하학적 부호의 검사 행렬, 도 8에 나타내는 차 집합 순회 부호의 검사 행렬에 있어서의 열수 또는 행수에 대한 1의 개수를 나타낸 결과로부터 명백한 바와 같이, 노드수에 대응하는 열수 또는 행수가 21개 이하인 경우에 반해, 열수 또는 행수에 대해 1의 개수가 현격히 적어, 노드간에 소결합 부분을 형성할 수 있기 때문이다.
또, 순회 부호는 부호어를 순회 시프트하여 생성한 부호이고, 규칙적인 배열로 되어 있다. 이 때문에, 시계열 데이터의 학습 판별에 적절하고, 또한 하드웨어에 실장하는 경우에는, 다른 부호에 비해 설계를 용이하게 행할 수 있다고 하는 특징이 있다.
또한, 중간 노드 또는 출력 노드의 수가 많은 경우(예를 들면 21개를 넘는 경우)에는, LDPC 부호의 검사 행렬, 공간 결합형 부호의 검사 행렬 및 의사 순회 부호의 검사 행렬 중 어느 하나에 근거하여 노드간의 결합을 행하면, 대폭적인 연산량의 삭감을 기대할 수 있다. 이것은, LDPC 부호, 공간 결합형 부호, 의사 순회 부호의 검사 행렬에서는, 행수나 열수에 의존하지 않고, 행에 포함되는 1의 개수나 열에 포함되는 1의 개수가 평균 3~6개로 되기 때문이다. 예를 들면, 행수를 10000으로 한 경우에 있어서도, 행에 포함되는 1의 개수의 평균이 3~6개로 되고, 노드간의 결합수의 평균이 3~6개와 소결합으로 된다. 이 때문에, 대폭적으로 연산량을 삭감할 수 있다. 특히, 도 9에 나타내는 공간 결합형 부호의 검사 행렬은, 1이 띠형상으로 배열된 행렬이기 때문에, 제어의 용이함의 관점에서 최대 연산량의 삭감 효과를 기대할 수 있다.
상술한 바와 같이, 오류 정정 부호의 검사 행렬에 근거하여 노드간을 소결합으로 함으로써, 판별 성능을 유지하면서, 고속으로 판별기 학습 및 판별 처리를 행할 수 있다.
도 10은 뉴럴 네트워크 A, B에 있어서의 입력 노드와 중간 노드간의 결합수의 예를 나타내는 도면이다. 도 10에서, 뉴럴 네트워크 A가, 모든 노드간이 결합된 통상의 계층형 뉴럴 네트워크이고, 뉴럴 네트워크 B는 본 발명에 의해 소결합을 노드간에 형성한 계층형 뉴럴 네트워크이다.
뉴럴 네트워크 B에서는, 1개의 중간 노드에 대해 4개의 입력 노드가 결합되는 경우를 나타내고 있다. 이와 같이, 실시 형태 1에서는, 뉴럴 네트워크 A에 대해, 입력 노드와 중간 노드가 각각 50개인 경우는 2/25, 100개인 경우는 1/25, 1000개인 경우는 1/250에 결합을 삭감할 수 있다. 이에 따라 입력 노드와 중간 노드의 사이의 곱-합 연산을 삭감할 수 있기 때문에, 판별기 학습 및 판별 처리를 고속화하는 것이 가능하다.
또한, 학습 데이터에 의존하지 않고 소결합을 생성하기 때문에, 학습 데이터의 변경이나 수정이 있던 경우에도, 사전 학습을 행하는 수고를 생략할 수 있다.
이상과 같이, 본 실시 형태 1에 의하면, 오류 정정 부호의 검사 행렬에 근거하여, 노드를 가지는 입력층, 중간층 및 출력층으로 이루어지는 계층형 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행하여 소결합 부분을 생성하고, 결합된 노드간의 가중치를 학습하는 가중치 학습부(20)와, 결합된 노드간의 가중치가 가중치 학습부(20)에 의해 학습된 가중치의 값으로 갱신된 계층형 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푸는 판별 처리부(21)를 구비한다. 이와 같이 계층형 뉴럴 네트워크에서 학습 데이터에 의존하지 않고 소결합을 형성하는 것에 의해 판별기 학습 및 판별 처리의 고속화를 도모할 수 있다.
실시 형태 2
상기 실시 형태 1은 일반적인 3계층형의 뉴럴 네트워크를 이용한 판별기 학습과 판별 처리를 고속화하는 경우를 나타냈다. 본 실시 형태 2에서는, 계층형 뉴럴 네트워크의 발전형으로서, 최근 주목받고 있는 딥 뉴럴 네트워크를 이용한 판별기 학습과 판별 처리를 고속화하는 경우에 대해 설명한다.
도 11은 본 발명의 실시 형태 2에 따른 계층형 뉴럴 네트워크 장치의 구성을 나타내는 블럭도이다. 도 11에 나타내는 계층형 뉴럴 네트워크 장치(1A)는 딥 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푸는 장치이며, 판별기 학습부(2A), 가중치 기억부(3), 학습 데이터 기억부(4) 및 교사 데이터 기억부(5)를 구비하여 구성된다. 딥 뉴럴 네트워크는, 입력층, 복수층의 중간층 및 출력층으로 이루어지고, 각 층은 복수의 노드를 가지고 있다. 또한, 딥 뉴럴 네트워크는, 입력층과 중간층의 노드간 및 중간층과 출력층의 노드간에 임의의 가중치를 설정하여 노드간의 결합 상태를 조정하는 것에 의해 여러 가지 문제(분류 문제 혹은 회귀 문제)를 풀 수 있는 판별기로서 기능한다.
도 12는 실시 형태 2에 있어서의 딥 뉴럴 네트워크의 구조를 나타내는 도면이고, 도 13은 종래의 딥 뉴럴 네트워크의 구조를 나타내는 도면이다. 도 13에 나타내는 바와 같이, 종래의 딥 뉴럴 네트워크는, 입력층과 중간층의 노드간이 모두 결합하고, 중간층끼리의 노드간이 모두 결합하고, 중간층과 출력층의 노드간이 모두 결합하고 있다. 이에 반해, 실시 형태 2에서는, 도 12에 나타내는 바와 같이, 입력층과 중간층의 노드간의 결합, 중간층끼리의 노드간의 결합 및 중간층과 출력층의 노드간의 결합 중 어느 한쪽에 소결합 부분이 형성된다.
판별기 학습부(2A)는, 딥 뉴럴 네트워크를 학습하고, 학습한 딥 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푼다. 그 구성으로서, 판별 처리부(21), 가중치 사전 학습부(22) 및 가중치 조정부(23)를 구비한다.
가중치 사전 학습부(22)는, 오류 정정 부호의 검사 행렬에 근거하여 딥 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행해서 소결합 부분을 생성하고, 결합된 노드간의 가중치를 교사 없음 학습한다. 예를 들면, 가중치 사전 학습부(22)는, 초기화된 노드간의 가중치 및 학습 데이터가 입력되면, 가중치의 사전 학습을 행한다.
또한, 가중치 사전 학습부(22)는, 오류 정정 부호의 검사 행렬에 있어서의 행 요소에 한쪽의 층의 노드를 할당하고 열 요소에 다른 한쪽의 층의 노드를 할당하고, 행렬 요소가 1로 정해진 노드간을 결합하고, 행렬 요소가 0인 노드간은 결합하지 않는다. 이에 의해, 학습 데이터를 이용하는 일없이, 노드간에 소결합 부분을 생성할 수 있다.
가중치 조정부(23)는 가중치 사전 학습부(22)가 학습한 가중치를 교사 있음 학습으로 미세 조정한다. 즉, 가중치 조정부(23)는 결합된 노드간에만 가중치의 미세 조정을 행한다.
실시 형태 2에 있어서의 판별 처리부(21)는, 가중치 기억부(3)로부터 사전 학습된 가중치 또는 학습 중인 가중치를 입력받고, 학습 데이터 기억부(4)로부터 학습 데이터를 입력받으면, 이들을 이용한 판별 결과를 가중치 조정부(23)에 출력한다. 또한, 판별 처리부(21)는, 가중치 기억부(3)로부터 학습 완료된 가중치를 입력받고, 판별 데이터를 입력받으면, 이들을 이용한 판별 결과를 장치 외부의 디스플레이 등의 전송 장치에 출력한다.
판별 처리부(21)에서는, 딥 뉴럴 네트워크에 있어서의 입력층과 제 1 층째의 중간층의 노드간에서는 학습 데이터 또는 판별 데이터가 입력 신호로 되고, 이 노드간의 가중치가 승산된다. 이 승산 결과를 제 1 층째의 중간층에 있어서의 중간 노드에서 각각 합계한 것이, 임계값 함수에 의해 계산되어 출력된다. 여기서, 임계값 함수를 f(), 제 1 층째의 중간층의 j번째의 중간 노드의 임계값 함수의 출력값을 H1, j, i번째의 입력 노드의 입력 신호를 Xi라고 하고, i번째의 입력 노드와 제 1 층째의 중간층의 j번째의 중간 노드간의 가중치를 W1, j, i로 한 경우에는, 임계값 함수의 출력값을 H1, j는 하기 식 (4)로 나타낼 수 있다.
Figure 112016084766428-pct00004
또한, 제 n-1 층째(n은 2 이상의 정수)의 중간층의 j번째의 중간 노드와 제 n 층째의 중간층의 m번째의 중간 노드의 사이에서는, 제 n-1 층째의 중간 노드의 임계값 함수에 의해 계산된 출력 신호를 입력 신호로 하고, 이 노드간의 가중치가 승산된다. 이 승산 결과를 제 n 층째의 중간층에 있어서의 각 중간 노드에서 합계한 것이, 임계값 함수에 의해 계산되어 출력된다. 여기서, 제 n-1 층째의 중간층의 j번째의 중간 노드의 임계값 함수의 출력값을 Hn -1, j, 제 n 층째의 중간층의 m번째의 중간 노드의 임계값 함수의 출력값을 Hn , m, 제 n-1 층째의 중간층의 j번째의 중간 노드와 제 n 층째의 중간층의 m번째의 중간 노드의 사이의 가중치를 Wn , m, n-1, j로 한 경우, 임계값 함수의 출력값 Hn , m은 하기 식 (5)로 나타낼 수 있다.
Figure 112016084766428-pct00005
중간 노드와 출력 노드의 사이에서는, 중간 노드의 임계값 함수에 의해 계산된 출력 신호를 입력 신호로 하고, 이 노드간의 가중치가 승산된다. 이 승산 결과를 출력층에 있어서의 각 출력 노드에서 합계한 것이 임계값 함수에 의해 계산되어 판별 결과로서 출력된다.
여기서, 출력층의 k번째의 출력 노드의 임계값 함수의 출력값을 Ok, 제 N-1 층째의 중간층의 j번째의 중간 노드와 출력층의 k번째의 출력 노드의 사이의 가중치를 Wk, N-1, j로 한 경우, 임계값 함수의 출력값 Ok는 하기 식 (6)으로 나타낼 수 있다.
단, 임계값 함수 f()로서는 시그모이드 함수, tanh 함수, max 함수 등을 들 수 있다. 또한, 노드간의 가중치의 승산은 노드간의 결합이 있는 부분에 대해서만 행한다.
Figure 112016084766428-pct00006
또, 판별 처리부(21), 가중치 사전 학습부(22) 및 가중치 조정부(23)는, 예를 들면 실시 형태 2에 특유의 처리가 기술된 프로그램을 마이크로컴퓨터가 실행함으로써, 하드웨어와 소프트웨어가 협동한 구체적인 수단으로서 실현될 수 있다.
다음으로 동작에 대해 설명한다.
도 14는 실시 형태 2에 있어서의 가중치 학습 처리를 나타내는 흐름도이다.
우선, 가중치 사전 학습부(22)는, 딥 뉴럴 네트워크의 각 층에 있어서의 모든 노드간의 가중치를 초기화한다(스텝 ST1a). 구체적으로는, 실시 형태 1과 마찬가지로, 각 층의 모든 노드간의 가중치에 대해 초기값을 -0.5~+0.5의 난수로 인가한다.
다음에, 가중치 사전 학습부(22)는, 오류 정정 부호의 검사 행렬에 근거하여 딥 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행하고, 소결합을 생성한다(스텝 ST2a). 오류 정정 부호의 검사 행렬로서는, 통상의 딥 뉴럴 네트워크와 비교하여 학습 오차를 동등 또는 작게 하는 것이고, 또한 루즈한 행렬로 한다. 예를 들면, 의사 난수 부호, 유한 기하학적 부호, 순회 부호, 의사 순회 부호, LDPC 부호 및 공간 결합 부호 중 어느 하나를 들 수 있다.
계속해서, 가중치 사전 학습부(22)는, 도 15에 나타내는 바와 같이, 딥 뉴럴 네트워크를 N층(N은 정수)으로 한 경우에, 제 N-1 층까지의 결합을 갖는 노드간의 가중치(W1, W2, …, WN - 2)의 사전 학습을 행한다(스텝 ST3a).
이 사전 학습에서는, 우선 제 1 층과 제 2 층의 2층 구조에서, 제 1 층과 제 2 층의 노드간의 가중치 W1을 교사 없음 학습한다. 다음으로, 제 2 층과 제 3 층의 2층 구조에서, 가중치 W1의 교사 없음 학습에서 제 2 층의 노드로부터 출력된 신호를 입력 신호로 하여, 제 2 층과 제 3 층의 노드간의 가중치 W2를 교사 없음 학습한다. 이 처리를 제 N-2 층과 제 N-1 층의 노드간의 가중치 WN -2가 사전 학습될 때까지 반복한다(도 15 참조, N=5로 한 경우).
도 16을 이용하여 가중치의 사전 학습의 상세를 설명한다.
우선, 가중치 사전 학습부(22)는 제 2 층의 노드와 제 3 층 이상의 노드의 사이의 가중치를 사전 학습할 때, 전단의 사전 학습에서 출력된 신호를 입력 신호로 초기 설정한다(스텝 ST1b). 다음으로, 가중치 사전 학습부(22)는, 대수(對數) 우도가 증가하도록, 결합된 노드간에 있어서의 가중치의 수정량을 산출한다(스텝 ST2b).
계속해서, 가중치 사전 학습부(22)는 산출한 가중치의 수정량으로, 결합된 노드간의 가중치의 값을 갱신하여 수정한다(스텝 ST3b).
노드간의 가중치의 갱신이 종료되면, 가중치 사전 학습부(22)는, 현재의 학습 대상층에 있어서의 가중치 사전 학습의 종료 조건을 만족했는지 여부를 확인한다(스텝 ST4b). 여기서, 종료 조건으로서는, 예를 들면 학습 횟수가 임계값 횟수 이상으로 된 경우가 생각된다.
현재의 학습 대상층의 종료 조건을 만족하고 가중치 사전 학습을 종료해야 한다고 판단한 경우(스텝 ST4b; 예), 가중치 사전 학습부(22)는 스텝 ST5b의 처리로 이행한다.
한편, 종료 조건을 만족하지 않고 있는 경우(스텝 ST4b; 아니오), 스텝 ST2b의 처리로 되돌아가서, 상술한 가중치 사전 학습을 반복한다.
스텝 ST5b에서, 가중치 사전 학습부(22)는, 딥 뉴럴 네트워크를 N층으로 한 경우에, 제 N-1 층까지의 모든 층에서 결합된 노드간의 가중치의 사전 학습이 완료되었는지 여부를 확인한다. 전 층의 가중치 사전 학습이 종료되어 있지 않은 경우(스텝 ST5b; 아니오), 스텝 ST1b의 처리로 되돌아가고, 다음의 층간(더 위쪽의 층간)을 학습 대상으로 해서 상술한 가중치의 사전 학습이 행해진다. 또한, 전 층의 가중치 사전 학습이 종료되어 있으면(스텝 ST5b; 예), 가중치 사전 학습부(22)는 사전 학습을 종료한다. 여기서, 딥 뉴럴 네트워크가 N층인 경우, W1로부터 WN -2의 N-2개의 가중치의 사전 학습이 행해진다.
도 14의 설명으로 되돌아간다.
가중치 사전 학습부(22)에 의한 가중치의 사전 학습이 완료되면, 가중치 조정부(23)는 가중치 사전 학습부(22)가 사전 학습한 가중치를 교사 있음 학습에 의해 미세 조정하여 최적화를 행한다(스텝 ST4a). 이하, 도 17을 이용하여 가중치의 미세 조정의 상세를 설명한다.
우선, 가중치 조정부(23)는, 상기 식 (3)으로 나타낸 학습 오차를 평가하는 평가 함수 J의 값이 작아지도록, 교사 데이터 기억부(5)로부터 읽어낸 교사 데이터를 이용한 교사 있음 학습에 의해 가중치 사전 학습부(22)가 사전 학습한 노드간의 가중치를 최적화해서 가중치의 수정량을 산출한다(스텝 ST1c).
다음에, 가중치 조정부(23)는, 스텝 ST1c에서 구한 수정량으로, 가중치 사전 학습부(22)가 사전 학습한 노드간의 가중치의 값을 갱신한다(스텝 ST2c).
노드간의 가중치의 갱신이 종료되면, 가중치 조정부(23)는 가중치의 미세 조정의 종료 조건을 만족했는지 여부를 확인한다(스텝 ST3c). 여기서, 종료 조건으로서는, 예를 들면 교사 데이터와 판별 처리부(21)로부터 입력받은 판별 결과의 오차를 산출하는 평가 함수의 값이 미리 정한 임계값 이하로 되는 경우가 생각된다. 또한, 학습 횟수가 임계값 횟수 이상으로 된 경우이더라도 좋다.
종료 조건을 만족하고 가중치의 미세 조정을 종료해야 한다고 판단한 경우(스텝 ST3c; 예), 가중치 조정부(23)는 가중치의 미세 조정을 종료한다. 한편, 종료 조건을 만족하고 있지 않은 경우(스텝 ST3c; 아니오), 스텝 ST1c의 처리로 되돌아가고, 상술한 가중치의 미세 조정을 반복한다. 이것에 의해, 판별 처리부(21)는, 소결합 부분에서 결합된 노드간의 가중치를 가중치 사전 학습부(22)에 의해 사전 학습되고, 가중치 조정부(23)에 의해 최적화 조정된 가중치의 값으로 갱신된 딥 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 풀 수 있다.
딥 뉴럴 네트워크에 있어서, 중간 노드 또는 출력 노드의 수가 적은 경우(예를 들면 21개 이하), 실시 형태 1과 마찬가지로, 유클리드 기하학적 부호 혹은 투영 기하학적 부호 등의 유한 기하학적 부호의 검사 행렬, 또는 차 집합 순회 부호 등의 순회 부호의 검사 행렬에서, 행 요소에 한쪽의 층의 노드를 할당하고, 열 요소에 다른 한쪽의 층의 노드를 할당하고, 행렬 요소가 1로 정해진 노드간에서 결합을 행하면, 대폭적인 연산량의 삭감이 기대된다. 이것은, 도 6에 나타낸 유클리드 기하학적 부호의 검사 행렬, 도 7에 나타낸 투영 기하학적 부호의 검사 행렬, 도 8에 나타낸 차 집합 순회 부호의 검사 행렬에 있어서의, 열수 또는 행수에 대한 1의 개수를 나타낸 결과로부터 명백한 바와 같이, 노드수에 대응하는 열수 또는 행수가 21개 이하인 경우에 열수 또는 행수에 대해 1의 개수가 현격히 적고, 노드간에 소결합 부분을 형성할 수 있기 때문이다.
또, 순회 부호는 부호어를 순회 시프트하여 생성한 부호이고, 규칙적인 배열로 되어 있다. 이 때문에, 시계열 데이터의 학습 판별에 적절하고, 또한 하드웨어에 실장하는 경우에는, 다른 부호에 비해 설계를 용이하게 행할 수 있다고 하는 특징이 있다.
또한, 딥 뉴럴 네트워크에 있어서, 중간 노드 또는 출력 노드의 수가 많은 경우(예를 들면 21개를 넘는 경우)는, 실시 형태 1과 마찬가지로 LDPC 부호의 검사 행렬, 공간 결합형 부호의 검사 행렬 및 의사 순회 부호의 검사 행렬 중 어느 하나에 근거하여 노드간의 결합을 행하면, 대폭적인 연산량의 삭감을 기대할 수 있다. 이것은, LDPC 부호, 공간 결합형 부호, 의사 순회 부호의 검사 행렬에서는, 행수나 열수에 의존하지 않고, 행에 포함되는 1의 개수나 열에 포함되는 1의 개수가 평균 3~6개로 되기 때문이다. 예를 들면, 행수를 10000으로 한 경우에 있어서도, 행에 포함되는 1의 개수의 평균이 3~6개로 되고, 노드간의 결합수의 평균이 3~6개로 소결합이 된다. 이 때문에, 대폭적으로 연산량을 삭감할 수 있다. 특히, 도 9에 나타낸 공간 결합형 부호의 검사 행렬은, 행렬 요소의 1이 띠 형상으로 배열된 행렬이기 때문에, 제어의 용이함의 관점에서 최대 연산량의 삭감 효과를 기대할 수 있다.
이상과 같이, 본 실시 형태 2에 의하면, 오류 정정 부호의 검사 행렬에 근거하여, 노드를 가지는 입력층, 복수층의 중간층 및 출력층으로 이루어지는 딥 뉴럴 네트워크에 있어서의 일부의 노드간에 결합을 행하여 소결합 부분을 생성하고, 결합된 노드간의 가중치를 교사 없음 학습하는 가중치 사전 학습부(22)와, 가중치 사전 학습부(22)가 학습한 가중치를 교사 있음 학습으로 조정하는 가중치 조정부(23)와, 결합된 노드간의 가중치가 가중치 조정부(23)에 의해 조정된 가중치의 값으로 갱신된 딥 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푸는 판별 처리부(21)를 구비한다. 이와 같이 딥 뉴럴 네트워크에서 소결합을 형성하는 것에 의해 판별기 학습 및 판별 처리의 고속화를 도모할 수 있다. 특히, 딥 뉴럴 네트워크는, 실시 형태 1에서 나타낸 계층형 뉴럴 네트워크에 비해 중간층의 층수가 많고 소결합 부분을 형성 가능한 개소가 많기 때문에, 노드간의 곱-합 연산의 삭감 효과가 크다. 또한, 학습 데이터에 의존하지 않고 소결합을 생성하기 때문에, 학습 데이터의 변경이나 수정이 있던 경우의 사전 학습을 행하는 수고를 생략할 수 있다.
또, 본 발명은 그 발명의 범위 내에서, 각 실시 형태의 자유로운 조합 혹은 각 실시 형태의 임의의 구성요소의 변형, 혹은 각 실시 형태에서 임의의 구성요소의 생략이 가능하다.
(산업상의 이용 가능성)
본 발명에 따른 계층형 뉴럴 네트워크 장치는, 계층형 뉴럴 네트워크에서 학습 데이터에 의존하지 않고 소결합을 형성하는 것에 의해 판별기 학습 및 판별 처리의 고속화를 도모할 수 있으므로, 각종의 제어, 예측, 진단에 관한 정보 처리에 적용 가능하다.
1, 1A: 계층형 뉴럴 네트워크 장치
2, 2A: 판별기 학습부
3: 가중치 기억부
4: 학습 데이터 기억부
5: 교사 데이터 기억부
20: 가중치 학습부
21: 판별 처리부
22: 가중치 사전 학습부
23: 가중치 조정부

Claims (10)

  1. 계층형 뉴럴 네트워크에서의 복수의 노드간의 가중치를 학습하는 가중치 학습부로서, 상기 계층형 뉴럴 네트워크는, 오류 정정 부호의 검사 행렬에 근거하여 일부의 노드간에 결합을 행하여 노드간 소(疎)결합이 형성되고, 복수의 노드를 각각 가지는 입력층, 중간층 및 출력층으로 이루어지는, 상기 가중치 학습부와,
    결합된 노드간의 가중치가 상기 가중치 학습부에 의해 학습된 가중치의 값으로 갱신된 계층형 뉴럴 네트워크를 이용하여 분류 문제 혹은 회귀 문제를 푸는 판별 처리부
    를 구비하고,
    상기 오류 정정 부호의 검사 행렬은 제 1 검사 행렬, 및 상기 제 1 검사 행렬과 상이한 제 2 검사 행렬을 구비하고,
    상기 계층형 뉴럴 네트워크는 상기 중간층 혹은 상기 출력층의 노드 수에 따라, 상기 제 1 검사 행렬 또는 상기 제 2 검사 행렬을 이용하여, 상기 노드간 소결합이 형성되는
    계층형 뉴럴 네트워크 장치.
  2. 제 1 항에 있어서,
    상기 오류 정정 부호는 의사 난수 부호, 유한 기하학적 부호, 순회 부호, 의사 순회 부호, LDPC 부호 및 공간 결합 부호 중 어느 하나인 것을 특징으로 하는 계층형 뉴럴 네트워크 장치.
  3. 제 1 항에 있어서,
    상기 가중치를 교사 있음 학습에 의해 조정하는 가중치 조정부를 더 구비하며,
    상기 중간층은 복수의 층을 구비하고,
    상기 결합된 노드간의 가중치가 상기 가중치 조정부에 의해 조정된 가중치의 값으로 갱신되는
    계층형 뉴럴 네트워크 장치.
  4. 제 3 항에 있어서,
    상기 오류 정정 부호는, 의사 난수 부호, 유한 기하학적 부호, 순회 부호, 의사 순회 부호, LDPC 부호 및 공간 결합 부호 중 어느 하나인 것을 특징으로 하는 계층형 뉴럴 네트워크 장치.
  5. 복수의 노드를 각각 가지는 입력층, 중간층 및 출력층으로 이루어지는 계층형 뉴럴 네트워크를 학습하는 계층형 뉴럴 네트워크 장치에서의 판별기 학습 방법으로서,
    상기 계층형 뉴럴 네트워크 장치의 가중치 학습부에 의해, 오류 정정 부호의 검사 행렬에 근거하여 일부의 노드간에 결합을 행하여 노드간 소결합이 형성된 상기 계층형 뉴럴 네트워크에서의 복수의 노드 간의 가중치의 수정값을 계산하는 단계와,
    상기 계층형 뉴럴 네트워크 장치의 가중치 학습부에 의해, 상기 수정값에 의해 노드간의 가중치의 값을 갱신하는 단계
    를 구비하고,
    상기 오류 정정 부호의 검사 행렬은 제 1 검사 행렬, 및 상기 제 1 검사 행렬과 상이한 제 2 검사 행렬을 구비하고,
    상기 계층형 뉴럴 네트워크는 상기 중간층 혹은 상기 출력층의 노드 수에 따라, 상기 제 1 검사 행렬 또는 상기 제 2 검사 행렬을 이용하여 상기 노드간 소결합이 형성되는
    판별기 학습 방법.
  6. 제 5 항에 있어서,
    상기 계층형 뉴럴 네트워크 장치의 가중치 조정부에 의해, 교사 있음 학습에 의해 상기 가중치의 값을 조정하는 단계를 더 구비하는 판별기 학습 방법.
  7. 청구항 5에 기재된 판별기 학습 방법으로 노드간의 가중치의 값이 갱신된 계층형 뉴럴 네트워크를 이용하여, 상기 계층형 뉴럴 네트워크 장치의 판별 처리부가 판별을 행하는 판별 방법.
  8. 청구항 6에 기재된 판별기 학습 방법으로 노드간의 가중치의 값이 갱신된 뉴럴 네트워크를 이용하여, 상기 계층형 뉴럴 네트워크 장치의 판별 처리부가 판별을 행하는 판별 방법.
  9. 제 1 항에 있어서,
    상기 제 1 검사 행렬은 유한 기하학적 부호의 검사 행렬 또는 순회 부호의 검사 행렬이고, 상기 제 2 검사 행렬은 의사 순회 부호의 검사 행렬, LDPC 부호의 검사 행렬, 또는 공간 결합 부호의 검사 행렬인
    계층형 뉴럴 네트워크 장치.
  10. 제 5 항에 있어서,
    상기 제 1 검사 행렬은 유한 기하학적 부호의 검사 행렬 또는 순회 부호의 검사 행렬이고, 상기 제 2 검사 행렬은 의사 순회 부호의 검사 행렬, LDPC 부호의 검사 행렬, 또는 공간 결합 부호의 검사 행렬인
    판별기 학습 방법.
KR1020167024009A 2014-02-10 2014-02-10 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법 KR101878579B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053056 WO2015118686A1 (ja) 2014-02-10 2014-02-10 階層型ニューラルネットワーク装置、判別器学習方法および判別方法

Publications (2)

Publication Number Publication Date
KR20160117537A KR20160117537A (ko) 2016-10-10
KR101878579B1 true KR101878579B1 (ko) 2018-07-13

Family

ID=53777512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167024009A KR101878579B1 (ko) 2014-02-10 2014-02-10 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법

Country Status (6)

Country Link
US (1) US10796223B2 (ko)
EP (1) EP3089081A4 (ko)
JP (1) JP5937284B2 (ko)
KR (1) KR101878579B1 (ko)
CN (2) CN111242300A (ko)
WO (1) WO2015118686A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3185184A1 (en) 2015-12-21 2017-06-28 Aiton Caldwell SA The method for analyzing a set of billing data in neural networks
JP6601569B2 (ja) * 2016-03-31 2019-11-06 富士通株式会社 ニューラルネットワークモデルの訓練方法、装置及び電子機器
DE112016007005T5 (de) * 2016-06-24 2019-03-07 Olympus Corporation Bildverarbeitungsvorrichtung, Lernvorrichtung, Bildverarbeitungsverfahren, Verfahren zum Erstellen eines Klassifizierungskriteriums, Lernverfahren und Programm
US10706327B2 (en) * 2016-08-03 2020-07-07 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
KR101828011B1 (ko) 2016-08-11 2018-02-21 서울대학교산학협력단 이미지에 포함된 객체의 상태를 분류하는 방법 및 분류 장치
US10572342B2 (en) * 2016-10-24 2020-02-25 SK Hynix Inc. Memory system with LDPC decoder and operating method thereof
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
CN110352432A (zh) 2017-04-07 2019-10-18 英特尔公司 使用用于深度神经网络的改进的训练和学习的方法和系统
US10491243B2 (en) * 2017-05-26 2019-11-26 SK Hynix Inc. Deep learning for low-density parity-check (LDPC) decoding
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
KR101880901B1 (ko) 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치
CN109426859B (zh) * 2017-08-22 2021-03-05 华为技术有限公司 神经网络训练系统、方法和计算机可读存储介质
US10693496B2 (en) * 2017-08-29 2020-06-23 SK Hynix Inc. Memory system with LDPC decoder and method of operating such memory system and LDPC decoder
US10552251B2 (en) * 2017-09-06 2020-02-04 Western Digital Technologies, Inc. Storage of neural networks
US11301752B2 (en) * 2017-10-24 2022-04-12 International Business Machines Corporation Memory configuration for implementing a neural network
CN108230359B (zh) 2017-11-12 2021-01-26 北京市商汤科技开发有限公司 目标检测方法和装置、训练方法、电子设备、程序和介质
US11468332B2 (en) * 2017-11-13 2022-10-11 Raytheon Company Deep neural network processor with interleaved backpropagation
CN109995380B (zh) * 2018-01-02 2021-08-13 华为技术有限公司 译码方法及设备
EP3518153A1 (en) * 2018-01-29 2019-07-31 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
EP3518152A1 (en) * 2018-01-29 2019-07-31 Panasonic Intellectual Property Corporation of America Information processing method and information processing system
KR102501884B1 (ko) * 2018-07-06 2023-02-21 에임시스템 주식회사 기계 학습 기반의 설비 이상 진단 시스템 및 방법
KR102659892B1 (ko) * 2018-07-24 2024-04-24 삼성전자주식회사 객체 인식 장치, 이를 포함하는 전자 장치 및 객체 인식 방법
CN109492764A (zh) * 2018-10-24 2019-03-19 平安科技（深圳）有限公司 生成式对抗网络的训练方法、相关设备及介质
US11210565B2 (en) * 2018-11-30 2021-12-28 Microsoft Technology Licensing, Llc Machine learning model with depth processing units
US10727868B2 (en) 2018-12-03 2020-07-28 Samsung Electronics Co., Ltd. Apparatus and method for offset optimization for low-density parity-check (LDPC) code
JP2020095428A (ja) 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体
WO2020144836A1 (ja) * 2019-01-11 2020-07-16 三菱電機株式会社 推論装置及び推論方法
KR20210113356A (ko) * 2019-02-28 2021-09-15 미쓰비시덴키 가부시키가이샤 데이터 처리 장치, 데이터 처리 시스템 및 데이터 처리 방법
DE102019206720B4 (de) * 2019-05-09 2021-08-26 Volkswagen Aktiengesellschaft Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
US11080152B2 (en) * 2019-05-15 2021-08-03 Western Digital Technologies, Inc. Optimized neural network data organization
US11468327B2 (en) * 2020-05-26 2022-10-11 GE Precision Healthcare LLC Differential learning for learning networks
WO2022091530A1 (ja) * 2020-11-02 2022-05-05 Ｓｏｉｎｎ株式会社 推定装置、推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022164667A1 (en) * 2021-02-01 2022-08-04 Microsoft Technology Licensing, Llc Automated program repair using stack traces and back translations
US11604719B2 (en) * 2021-02-01 2023-03-14 Microsoft Technology Licensing, Llc. Automated program repair using stack traces and back translations
EP4329202A1 (en) * 2021-05-25 2024-02-28 Samsung Electronics Co., Ltd. Neural network-based self-correcting min-sum decoder and electronic device comprising same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714600B2 (ja) 1988-08-12 1998-02-16 衛 田中 連想型ニューロコンピュータ
JPH0991263A (ja) 1995-09-20 1997-04-04 Hitachi Medical Corp ニューラルネットワーク構造最適化装置ならびに方法
JP2003317073A (ja) 2002-04-24 2003-11-07 Fuji Xerox Co Ltd ニューラルネットワーク処理装置
JP2006163808A (ja) 2004-12-07 2006-06-22 Fuji Electric Holdings Co Ltd ニューラルネットワークの構造
US7523375B2 (en) * 2005-09-21 2009-04-21 Distribution Control Systems Set of irregular LDPC codes with random structure and low encoding complexity
FR2964222A1 (fr) * 2010-08-25 2012-03-02 Inst Telecom Telecom Bretagne Dispositif d'apprentissage et de decodage de messages, mettant en œuvre un reseau de neurones, procedes d'apprentissage et de decodage et programmes d'ordinateur correspondants.
JP5234085B2 (ja) 2010-11-11 2013-07-10 富士電機株式会社 ニューラルネットワークの学習方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dahl, George E., Tara N. Sainath, and Geoffrey E. Hinton. "Improving deep neural networks for LVCSR using rectified linear units and dropout." ICASSP 2013. IEEE, 2013. *
Pham, Vu, et al. "Dropout improves recurrent neural networks for handwriting recognition." arXiv preprint arXiv:1312.4569, 2013 *
Wan, Li, et al. "Regularization of neural networks using DropConnect." Proceedings of the 30th international conference on machine learning (ICML-13), 2013. *

Also Published As

Publication number Publication date
JP5937284B2 (ja) 2016-06-22
KR20160117537A (ko) 2016-10-10
EP3089081A1 (en) 2016-11-02
CN111242300A (zh) 2020-06-05
CN105900116A (zh) 2016-08-24
US10796223B2 (en) 2020-10-06
EP3089081A4 (en) 2017-09-20
JPWO2015118686A1 (ja) 2017-03-23
US20160335536A1 (en) 2016-11-17
WO2015118686A1 (ja) 2015-08-13

Similar Documents

Publication Publication Date Title
KR101878579B1 (ko) 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법
CN110796241B (zh) 基于忆阻器的神经网络的训练方法及其训练装置
CN111464154B (zh) 一种控制脉冲的计算方法及装置
JP6227052B2 (ja) 処理装置、判別方法およびプログラム
US10380479B2 (en) Acceleration of convolutional neural network training using stochastic perforation
CN113033811B (zh) 两量子比特逻辑门的处理方法及装置
US9171383B2 (en) Apparatus and method of scalable encoding of 3D mesh, and apparatus and method of scalable decoding of 3D mesh
JP2016197389A (ja) 学習システム、学習プログラムおよび学習方法
US20190138929A1 (en) System and method for automatic building of learning machines using learning machines
CN112068798A (zh) 一种实现网络节点重要性排序的方法及装置
CN113179660A (zh) 基于用于深度神经网络的增强学习的张量分解中的排序选择
CN110009048B (zh) 一种神经网络模型的构建方法以及设备
CN111710356B (zh) 编码型闪存装置和编码方法
CN112737599A (zh) 一种原模图ldpc码的自学习快速收敛译码方法及装置
CN110889080A (zh) 乘积累加运算装置、乘积累加运算方法和系统
US9645883B2 (en) Circuit arrangement and method for realizing check bit compacting for cross parity codes
JP7279225B2 (ja) 破滅的忘却の発生を抑えつつ、転移学習を行う方法、情報処理装置及びプログラム
CN110648355A (zh) 一种图像跟踪方法、系统及相关装置
EP3912094A1 (en) Training in communication systems
JP2023076839A (ja) 機械学習装置およびプルーニング方法
US20210295153A1 (en) Learning device
WO2020144836A1 (ja) 推論装置及び推論方法
US20220391674A1 (en) Method for optimizing execution time of an artificial neural network
US20210081783A1 (en) Information processing apparatus, method of processing information, and non-transitory computer-readable storage medium for storing information processing program
Benureau et al. Learning Timescales in MTRNNs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant