KR102239714B1 - 신경망 학습 방법 및 장치, 데이터 처리 장치 - Google Patents

신경망 학습 방법 및 장치, 데이터 처리 장치 Download PDF

Info

Publication number
KR102239714B1
KR102239714B1 KR1020140094108A KR20140094108A KR102239714B1 KR 102239714 B1 KR102239714 B1 KR 102239714B1 KR 1020140094108 A KR1020140094108 A KR 1020140094108A KR 20140094108 A KR20140094108 A KR 20140094108A KR 102239714 B1 KR102239714 B1 KR 102239714B1
Authority
KR
South Korea
Prior art keywords
neural network
learning
hidden
data
hidden nodes
Prior art date
Application number
KR1020140094108A
Other languages
English (en)
Other versions
KR20160012537A (ko
Inventor
문태섭
이예하
최희열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140094108A priority Critical patent/KR102239714B1/ko
Priority to US14/636,684 priority patent/US10853723B2/en
Priority to CN201510242301.XA priority patent/CN105320986A/zh
Priority to JP2015101540A priority patent/JP6606349B2/ja
Priority to EP15176946.0A priority patent/EP2977936A3/en
Publication of KR20160012537A publication Critical patent/KR20160012537A/ko
Application granted granted Critical
Publication of KR102239714B1 publication Critical patent/KR102239714B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

신경망 학습 방법 및 장치가 개시된다. 신경망 학습 장치는 순차적 데이터를 포함하는 학습 데이터를 이용하여 신경망을 학습시킬 수 있다. 신경망은 회귀 신경망이며 복수의 히든 층들을 포함할 수 있다. 신경망 학습 장치는 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다. 학습 데이터가 학습되는 동안, 기준 히든 노드와 다른 시간 구간의 히든 노드들 간의 연결은 무시될 수 있다.

Description

신경망 학습 방법 및 장치, 데이터 처리 장치{NEURAL NETWORK TRAINING METHOD AND APPARATUS, DATA PROCESSING APPARATUS}
아래의 설명은 인식 모델로 이용되는 신경망을 학습시키는 기술에 관한 것이다.
최근 들어, 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하는 방안으로써, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다. 이러한 연구 중 하나로, 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 인공신경망(artificial neural network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공신경망은 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여 인공신경망은 입력 패턴과 출력 패턴들 사이의 사상(mapping)을 생성해낼 수 있는데, 이를 인공신경망이 학습 능력이 있다고 표현한다. 또한, 인공신경망은 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가지고 있다.
일 실시예에 따른 신경망 학습 방법은, 순차적 데이터를 포함하는 학습 데이터를 수신하는 단계; 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 선택하는 단계; 및 상기 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 신경망을 학습시키는 단계를 포함할 수 있고 상기 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시될 수 있다.
일 실시예에 따른 신경망 학습 방법에서, 상기 기준 히든 노드는, 하나의 순차적 데이터가 학습되는 동안 계속적으로 제외될 수 있다.
일 실시예에 따른 신경망 학습 방법은, 상기 선택하는 단계는, 상기 복수의 히든 노드들 중에서 상기 기준 히든 노드를 랜덤하게 선택하는 단계를 포함할 수 있다.
일 실시예에 따른 신경망 학습 방법에서, 상기 학습시키는 단계는, 하나의 순차적 데이터에 대한 학습이 종료되는 경우, 상기 복수의 히든 노드들 중에서 상기 기준 히든 노드를 랜덤하게 선택하는 단계; 및 상기 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 다른 순차적 데이터를 학습시키는 단계를 포함할 수 있다.
일 실시예에 따른 신경망 학습 방법에서, 상기 순차적 데이터는, 음성 데이터, 영상 데이터, 생체 데이터 및 필적 데이터 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 신경망 학습 방법은, 상기 학습시키는 단계는, 상기 학습 결과에 기초하여 상기 신경망에 적용되는 연결 가중치를 업데이트하는 단계를 포함할 수 있다.
일 실시예에 따른 신경망 학습 방법에서, 상기 학습시키는 단계는, 미리 설정된 반복 횟수에 기초하여 상기 신경망이 상기 학습 데이터에 대한 학습을 반복적으로 수행하도록 제어하는 단계를 포함할 수 있다.
일 실시예에 따른 신경망 학습 방법에서, 상기 신경망은, 회귀 신경망이고, 복수의 히든 층들을 포함할 수 있다.
다른 실시예에 따른 신경망 학습 방법은, 순차적 데이터를 포함하는 학습 데이터를 수신하는 단계; 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 선택하는 단계; 및 상기 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 신경망을 학습시키는 단계를 포함할 수 있고, 상기 기준 히든 노드는, 하나의 순차적 데이터가 학습되는 동안 계속적으로 제외될 수 있다.
다른 실시예에 따른 신경망 학습 방법에서, 상기 나머지 히든 노드들은, 상기 하나의 순차적 데이터를 학습하는 동안 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시될 수 있다.
일 실시예에 따른 신경망 학습 장치는, 복수의 순차적 데이터를 포함하는 학습 데이터를 저장하는 학습 데이터 저장부; 및 상기 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드가 제외된 학습 패턴에 기초하여 상기 신경망을 학습시키는 신경망 학습부를 포함할 수 있고, 상기 학습 패턴은, 하나의 순차적 데이터를 학습하는 동안 고정될 수 있다.
다른 실시예에 따른 신경망 학습 장치는, 순차적 데이터를 포함하는 학습 데이터를 저장하는 학습 데이터 저장부; 및 상기 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드가 제외된 학습 패턴에 기초하여 상기 신경망을 학습시키는 신경망 학습부를 포함할 수 있고, 상기 기준 히든 노드를 제외한 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시될 수 있다.
일 실시예에 따른 데이터 처리 장치는, 복수의 히든 노드들을 포함하는 신경망의 인식 모델을 이용하여 순차적 데이터를 인식하는 인식부; 상기 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 인식 모델을 학습시키는 학습부; 및 상기 순차적 데이터의 인식이 실패한 경우, 상기 순차적 데이터를 학습하도록 상기 학습부를 제어하는 제어부를 포함할 수 있고, 상기 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시될 수 있다.
도 1은 일 실시예에 따른 신경망 학습 장치의 구성을 도시한 도면이다.
도 2 및 도 3은 일 실시예에 따른 신경망 학습 장치가 순차적 데이터를 이용하여 신경망을 학습시키는 동작을 설명하기 위한 도면들이다.
도 4는 일 실시예에 따른 신경망 학습 방법의 동작을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 신경망 학습 방법의 동작을 구체화한 흐름도이다.
도 6은 일 실시예에 따른 데이터 처리 장치의 구성을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일 실시예에 따른 신경망 학습 장치(100)의 구성을 도시한 도면이다. 신경망 학습 장치(100)는 신경망(또는, 인공신경망)을 학습시킬 수 있다. 신경망은 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 인식 모델이다.
신경망의 인식 모델은 순차적 데이터(sequential data)를 인식할 수 있으며, 음성 인식, 영상 인식, 신체 상태 인식, 또는 필적 인식 등의 영역에서 이용될 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터(handwriting data) 등과 같이 시간성 내지 순서를 가지는 데이터이다. 예를 들어, 신경망의 인식 모델은 입력된 음성 데이터가 어떠한 문장(또는, 단어)인지를 인식하거나, 동영상에 나타난 인물이 누구인지를 인식할 수 있다. 또는, 신경망의 인식 모델은 심전도(ECG; electrocardiogram), 뇌전도(EEG ;electroencephalogram) 등의 생체 신호를 분석하여 사용자의 신체 상태를 인식하거나, 또는 사용자의 동작을 분석하여 입력된 필적을 인식할 수 있다. 또 다른 예로, 신경망의 인식 모델은 DNA(deoxyribonucleic acid) 염기 서열 결정 장치(DNA sequencing device)에서 관찰 신호로부터 올바른 DNA 염기 서열을 추정하는데 이용될 수 있다.
신경망에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들이 이용되고, 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 연결 가중치는 연결선이 갖는 특정한 값으로서 연결 강도라고도 나타낼 수 있다. 신경망은 인공 뉴런들을 통해 인간의 인지 작용이나 학습 과정을 수행할 수 있다. 인공 뉴런은 노드(node)라고도 지칭할 수 있다.
신경망은 복수의 층들을 포함할 수 있다. 예를 들어, 신경망은 입력 층(input layer), 히든 층(hidden layer), 출력 층(output layer)을 포함할 수 있다. 입력 층은 학습을 수행하기 위한 입력을 수신하여 히든 층에 전달할 수 있고, 출력 층은 히든 층의 노드들로부터 수신한 신호에 기초하여 신경망의 출력을 생성할 수 있다. 히든 층은 입력 층과 출력 층 사이에 위치하고, 입력 층을 통해 전달된 학습 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다. 입력 층과 히든 층에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결되고, 히든 층과 출력 층에 포함된 노드들에서도 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있다. 입력 층, 히든 층 및 출력 층은 복수 개의 노드들을 포함할 수 있다.
신경망은 복수 개의 히든 층들을 포함할 수 있다. 복수 개의 히든 층들을 포함하는 신경망을 깊은 신경망(deep neural network)이라고 하고, 깊은 신경망을 학습시키는 것을 깊은 학습(deep learning)이라고 한다. 히든 층에 포함된 노드를 히든 노드(hidden node)라고 한다. 이전 시간 구간에서의 히든 노드의 출력은 현재 시간 구간에서의 히든 노드들에 연결될 수 있다. 그리고, 현재 시간 구간에서의 히든 노드의 출력은 다음 시간 구간에서의 히든 노드들에 연결될 수 있다. 서로 다른 시간 구간에서 히든 노드들 간에 재귀적(recurrent)인 연결이 있는 신경망을 회귀 신경망(recurrent neural network)이라고 한다.
신경망 학습 장치(100)는 감독 학습(supervised learning)을 통해 신경망을 학습시킬 수 있다. 감독 학습이란 학습 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 방법이다. 예를 들어, 신경망 학습 장치(100)는 델타 규칙(delta rule)과 오류 역전파 학습(backpropagation learning) 등을 통해 인공 뉴런들 사이의 연결 가중치를 업데이트할 수 있다.
오류 역전파 학습은, 주어진 학습 데이터에 대해 전방 계산(forward computation)으로 오류를 추정한 후, 출력 층에서 시작하여 히든 층과 입력 층 방향으로 역으로 전진하여 추정한 오류를 전파하고, 오류를 줄이는 방향으로 연결 가중치를 업데이트하는 방법이다. 신경망의 처리는 입력 층 -> 히든 층 -> 출력 층의 방향으로 진행되지만, 오류 역전파 학습에서 연결 가중치의 업데이트 방향은 출력 층 -> 히든 층 -> 입력 층의 방향으로 진행될 수 있다.
신경망 학습 장치(100)는 현재 설정된 연결 가중치들이 얼마나 최적에 가까운지를 측정하기 위한 목적 함수(objective function)를 정의하고, 목적 함수의 결과에 기초하여 연결 가중치들을 계속 변경하고, 학습을 반복적으로 수행할 수 있다. 예를 들어, 목적 함수는 신경망이 학습 데이터에 기초하여 실제 출력한 출력 값과 출력되기로 원하는 기대 값 간의 오류를 계산하기 위한 오류 함수일 수 있다. 신경망 학습 장치(100)는 오류 함수의 값을 줄이는 방향으로 연결 가중치들을 업데이트할 수 있다.
도 1을 참조하면, 신경망 학습 장치(100)는 학습 데이터 저장부(110) 및 신경망 학습부(120)를 포함할 수 있다.
학습 데이터 저장부(110)는 학습 데이터를 저장할 수 있다. 학습 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터 등과 같은 순차적 데이터를 포함할 수 있다. 예를 들어, 생체 데이터는 뇌전도(EEG), 심전도(ECG), 근전도(EMG; electromyogram), 안전도(EOG; electrooculogram), 및 맥박(pulse) 등을 포함할 수 있다. 학습 데이터 저장부(110)는 외부로부터 수신한 학습 데이터를 저장하고, 저장한 학습 데이터를 신경망 학습부(120)에 제공할 수 있다. 신경망 학습부(120)는 학습 데이터를 이용하여 신경망을 학습시킬 수 있다.
신경망 학습부(120)는 먼저 학습 데이터로부터 특징 값을 검출할 수 있다. 예를 들어, 신경망 학습부(120)는 음성 데이터에서 시간에 따라 변화하는 상대적 변화량을 특징 값으로 추출할 수 있다. 신경망 학습부(120)는 학습 데이터로부터 충분히 많은 특징 값들을 획득하고, 획득된 특징 값들을 이용하여 신경망을 학습시킬 수 있다.
예를 들어, 학습 데이터가 음성 데이터인 경우, 학습 데이터 저장부(110)에는 "볼륨 업", "볼륨 다운", 및 "이전 채널로 이동" 등에 대응하는 음성 데이터들이 저장될 수 있다. 신경망 학습부(120)는 음성 데이터들로부터 특징 값들을 추출하고, 추출한 특징 값들에 기초하여 신경망을 학습시킬 수 있다. 각 음성 데이터들은 특정 시간 단위로 분할되고, 특정 시간 단위로 분할된 음성 데이터가 순차적으로 신경망에 입력될 수 있다.
신경망 학습부(120)는 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드가 제외된 학습 패턴에 기초하여 신경망을 학습시킬 수 있다. 학습 패턴은 하나의 순차적 데이터를 학습하는 동안 계속적으로 고정될 수 있다. 신경망은 서로 다른 시간 구간에서 히든 노드들 간의 연결이 존재하는 회귀 신경망일 수 있고, 복수 개의 히든 층들을 포함할 수 있다. 연속되는 시간 구간에서, 회귀 신경망의 히든 층에서 출력된 출력 값은 다음 시간 구간에서의 히든 층에 입력될 수 있다.
신경망 학습부(120)는 신경망의 히든 층에 포함된 히든 노드들 중 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다. 하나의 순차적 데이터가 학습되는 동안 동일한 기준 히든 노드가 계속적으로 제외될 수 있다.
신경망 학습부(120)는 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 랜덤(random)하게 선택할 수 있다. 기준 히든 노드가 제외되는 학습 패턴은 하나의 순차적 데이터를 학습하는 동안에는 동일하게 유지될 수 있다. 신경망 학습부(120)는 학습 대상으로 입력되는 순차적 데이터가 바뀔 때마다 기준 히든 노드가 제외되는 학습 패턴을 랜덤하게 변경할 수 있다.
기준 히든 노드는 순차적 데이터의 학습 과정에서 제외되는 히든 노드를 나타낸다. 기준 히든 노드와 상위 층의 노드들 간의 연결 및 기준 히든 노드와 다른 시간 구간에서의 히든 노드들 간의 연결은 무시될 수 있다. 여기서, 상위 층은 기준 히든 노드가 포함된 히든 층보다 상위에 있는 다른 히든 층 또는 출력 층을 포함할 수 있다. 기준 히든 노드와 다른 노드 간의 연결이 무시된다는 것은, 실제로 기준 히든 노드의 출력이 다른 노드로 입력되지 않는 경우 및 기준 히든 노드가 다른 노드에 출력으로서 "0"의 값을 출력하는 경우를 모두 포함할 수 있다. 여기서, 다른 노드는 상위 층의 노드 또는 다른 시간 구간에서의 히든 노드를 포함할 수 있다.
히든 층에 포함된 복수의 히든 노드들 중 기준 히든 노드를 제외한 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 기준 히든 노드와 다른 시간 구간에서의 히든 노드들 간의 연결은 무시될 수 있다.
하나의 순차적 데이터에 대한 학습이 종료되는 경우, 신경망 학습부(120)는 학습 패턴을 변경하여 다른 순차적 데이터에 대한 학습을 시작할 수 있다. 신경망 학습부(120)는 신경망에 포함된 전체 히든 노드들 중에서 기준 히든 노드를 다시 랜덤하게 선택하고, 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다.
예를 들어, 신경망에 "볼륨 업"의 음성 데이터를 학습시키는 경우, 신경망 학습부(120)는 제외할 신경망에 포함된 히든 노드들 중에서 제외할 기준 히든 노드를 선택하고, 기준 히든 노드를 제외한 나머지 히든 노드들을 이용하여 "볼륨 업"의 음성 데이터를 학습시킬 수 있다. 신경망이 "볼륨 업"의 음성 데이터를 학습하는 동안, 해당 기준 히든 노드는 계속적으로 무시된 채 학습이 수행될 수 있다. "볼륨 업"의 음성 데이터에 대한 학습이 종료하고, 다음 순차적 데이터인 "볼륨 다운"의 음성 데이터에 대한 학습이 시작되는 경우, 신경망 학습부(120)는 전체 히든 노드들 중에서 학습 과정에서 제외할 기준 히든 노드를 다시 선택할 수 있다. 그 후, 신경망 학습부(120)는 다시 선택된 기준 히든 노드를 계속적으로 제외한 채, "볼륨 다운"의 음성 데이터에 대한 학습을 수행할 수 있다.
신경망 학습부(120)는 순차적 데이터의 학습 결과에 기초하여 신경망에 적용되는 연결 가중치를 조정할 수 있다. 신경망 학습부(120)는 신경망의 출력 층에서 생성된 출력 값과 학습 데이터에 대한 원하는 기대 값을 비교하여 오류를 계산하고, 오류를 줄이는 방향으로 신경망의 인식 모델에 적용되는 연결 가중치를 조정할 수 있다. 신경망 학습부(120)는 미리 설정된 반복 횟수에 기초하여 신경망이 학습 데이터에 포함된 모든 순차적 데이터에 대한 학습을 반복적으로 수행하도록 제어할 수 있다.
신경망 학습부(120)는 모든 히든 노드들이 아닌 일부 히든 노드들만 이용하여 신경망을 학습시킴으로써 과대적합(overfitting)이 발생하는 문제를 효과적으로 개선시킬 수 있다. 과대적합은 신경망의 인식 모델이 학습 데이터에 과도하게 적응하게 되어 실제 인식하려고 하는 대상에 대한 인식률이 낮아지는 현상을 나타낸다. 또한, 신경망 학습부(120)는 일부 히든 노드들만 이용하여 신경망을 학습시킴으로써 학습의 결과로 히든 노드들의 연결 가중치가 서로 비슷해지는 상호적응(co-adaptation) 문제를 해결할 수 있다.
학습된 신경망은 순차적 데이터를 인식하는데 활용될 수 있다. 예를 들어, 신경망의 인식 모델은 순차적 데이터가 입력되면 순차적 데이터로부터 특징 값을 추출하고, 추출된 특징 값을 분류기(classifier)에 입력하여 입력된 순차적 데이터의 분류 결과 또는 인식 결과를 출력할 수 있다.
도 2 및 도 3은 일 실시예에 따른 신경망 학습 장치가 순차적 데이터를 이용하여 신경망을 학습시키는 동작을 설명하기 위한 도면들이다.
도 2는 신경망이 특정한 하나의 순차적 데이터를 학습하는 동작을 설명하기 위한 도면이다. 학습 대상으로서 순차적 데이터가 입력되면, 순차적 데이터는 특정 시간 단위로 분할될 수 있다. 신경망 학습 장치가 신경망을 학습시킬 때, 하나의 신경망 모델이 이용된다. 예를 들어, 분할된 순차적 데이터는 시간 순서에 따라 차례대로 하나의 신경망 "A"에 입력되어 학습될 수 있다.
각 타임 스탬프(time stamp)에 따른 특정 신경망의 학습 패턴이 도 2의 학습 패턴(210), 학습 패턴(250), 학습 패턴(260)에 도시되어 있다. 학습 패턴(210)은 이전 시간 구간(T-1)에서의 학습 패턴을 나타내고, 학습 패턴(250)은 현재 시간 구간(T)에서의 학습 패턴을 나타내며, 학습 패턴(260)은 다음 시간 구간(T+1)에서의 학습 패턴을 나타낸다. 이전 시간 구간, 현재 시간 구간, 및 다음 시간 구간 모두에서 하나의 신경망 구조가 학습에 이용된다.
신경망은 입력 층(220), 히든 층(230), 및 출력 층(240)을 포함할 수 있다. 가장 하위 층이 학습 데이터로서 순차적 데이터가 입력되는 입력 층(220)이고, 입력 층(220)과 출력 층(240) 사이의 중간 층이 히든 층(230)이며, 가장 상위 층이 출력 층(240)이다. 각각의 입력 층(220), 히든 층(230), 및 출력 층(240)은 복수 개의 노드들을 포함할 수 있다. 히든 층(230)에 포함된 노드들(234, 232, 236)을 히든 노드라고 한다.
신경망(210)은 입력 층(220) -> 히든 층(230) -> 출력 층(240) 방향으로 연결되어 있다. 입력 층(220)의 각 노드들에 학습 데이터가 입력되면, 학습 데이터는 입력 층(220)의 각 노드들에서 변환되어 히든 층(230)에 전달되고, 최후에 출력 층(240)에서 출력이 생성된다. 도 2 및 도 3에서는 설명의 편의를 위해 하나의 히든 층(230)만을 도시하였지만, 실시예의 범위가 이에 한정되는 것은 아니며, 신경망은 복수 개의 히든 층(230)들을 포함할 수 있다.
신경망 학습 장치는 순차적 데이터를 신경망의 입력 층(220)에 입력시키고, 순차적 데이터에 대한 분류 결과가 신경망의 출력 층(240)으로부터 출력되도록 신경망을 학습시킬 수 있다. 신경망 학습 장치에 의해 학습되는 신경망은, 서로 다른 시간 구간에서 히든 노드들 간의 재귀적 연결이 존재하는 회귀 신경망일 수 있다. 신경망 학습 장치에 의해 신경망이 순차적 데이터를 학습할 때, 히든 층에 포함된 히든 노드는 다음 시간 구간에서의 히든 노드들에 연결될 수 있다. 현재 시간 구간에서의 히든 노드의 출력 값이 다음 시간 구간에서의 히든 노드들에 입력될 수 있다.
신경망 학습 장치는 순차적 데이터를 학습할 때, 모든 히든 노드가 아닌 일부 히든 노드가 제외된 학습 패턴에 기초하여 신경망을 학습시킬 수 있다. 신경망 학습 장치는 히든 노드들 중 학습 과정에서 제외(또는, 무시)할 기준 히든 노드를 랜덤하게 선택할 수 있다.
이전 시간 구간의 학습 패턴(210)에서, 히든 층(230)에 포함된 히든 노드들(232, 234, 236) 중 가운데 위치한 히든 노드가 기준 히든 노드(232)로 선택되어 있다. 기준 히든 노드(232)와 상위 층(240)의 노드들 간의 연결은 무시되고, 기준 히든 노드(232)와 현재 시간 구간에서의 히든 노드들(252, 254, 256) 간의 연결도 무시된다. 그리고, 현재 시간 구간에서의 기준 히든 노드(252)와 상위 층의 노드들 간의 연결도 무시되고, 기준 히든 노드(252)와 다음 시간 구간에서의 히든 노드들(262, 264, 266) 간의 연결도 무시될 수 있다. 도 2에서, 실선으로 나타낸 연결은 노드들 사이에서 정상적으로 연결된 것을 나타내고, 점선으로 나타낸 연결은 노드들 사이에서 무시되는 연결을 나타낸다.
이전 시간 구간에서, 히든 노드들(232, 234, 236) 중 기준 히든 노드(232)를 제외한 나머지 히든 노드들(234, 236)은, 상위 층(240)의 노드들뿐만 아니라 현재 시간 구간에서의 히든 노드들(252, 254, 256)에 연결된다. 예를 들어, 히든 노드(234)에서 생성된 출력은 상위 층(240)의 노드들뿐만 아니라 다음 시간 구간에서의 히든 노드들(252, 254, 256)에 입력될 수 있다. 그리고, 현재 시간 구간에서, 기준 히든 노드(252)를 제외한 나머지 히든 노드들(254, 256)은 다음 시간 구간에서의 히든 노드들(262, 264, 266)에 연결될 수 있다.
하나의 순차적 데이터를 학습하는 동안 각 시간 구간에서 기준 히든 노드가 제외되는 학습 패턴은 동일하게 유지될 수 있다. 예를 들어, 순차적 데이터가 "볼륨 업"의 음성 데이터인 경우, 신경망 학습 장치는 동일한 기준 히든 노드가 제외된 학습 패턴에 기초하여 해당 음성 데이터를 학습할 수 있다. 이전 시간 구간의 학습 패턴(210)에서 선택된 기준 히든 노드(232)는 현재 시간 구간의 학습 패턴(250)에서 동일하게 기준 히든 노드(252)로 되고, 다음 시간 구간의 학습 패턴(260)에서도 기준 히든 노드(262)로 될 수 있다. 각 시간 구간에서 기준 히든 노드는 무시된 채 나머지 히든 노드들에 기초하여 순차적 데이터에 대한 학습이 진행될 수 있다.
신경망 학습 장치는 각 시간 구간에서 생성되는 출력 층의 출력 값과 원하는 기대 값을 비교하고, 출력 값과 기대 값 간의 차이를 줄여나가는 방향으로 노드들의 연결 가중치를 조절할 수 있다. 신경망 학습 장치는 연결 가중치의 조정을 통하여 신경망을 학습시킬 수 있다. 예를 들어, 입력 층에 입력된 학습 데이터가 히든 층을 거치면서 연결 가중치와 곱해지고 더해지는 과정을 통해 출력 층으로부터 출력 값이 생성될 수 있다. 출력 층에서 생성된 출력 값과 기대하는 출력 값 간에 서로 차이가 발생할 수 있고, 신경망 학습 장치는 해당 차이를 최소화하는 방향으로 노드들의 연결 가중치를 업데이트할 수 있다.
도 3은 신경망 학습 장치가 다른 순차적 데이터를 학습시키는 동작을 설명하기 위한 도면이다. 신경망 학습 장치는 각 순차적 데이터마다 학습 패턴을 랜덤하게 결정하여 신경망을 학습시킬 수 있다. 각 순차적 데이터마다 학습 과정에서 제외되는 기준 히든 노드가 결정될 수 있다. 결정된 기준 히든 노드는 해당 순차적 데이터가 학습되는 동안 계속적으로 기준 히든 노드로 선택되게 된다.
예를 들어, "볼륨 업"의 음성 데이터를 학습하는 동안에는 기준 히든 노드 A가 계속적으로 무시된 채 학습이 진행되고, "볼륨 다운"의 음성 데이터가 학습되는 동안에는 다른 기준 히든 노드인 기준 히든 노드 B가 계속적으로 무시된 채 학습이 진행될 수 있다. 그러나, 각 순차적 데이터의 학습 과정에서 제외될 기준 히든 노드는 랜덤하게 선택되기 때문에, 순차적 데이터가 다르더라도 동일한 기준 히든 노드가 선택될 수도 있다.
하나의 순차적 데이터의 학습이 완료되고, 신경망 학습 장치가 다른 순차적 데이터를 학습시키고자 하는 경우, 신경망 학습 장치는 학습 패턴을 변경할 수 있다. 신경망 학습 장치는 히든 층에 포함된 복수의 히든 노드들 중에서 학습 과정에서 제외할 기준 히든 노드를 다시 랜덤하게 선택할 수 있다.
다른 순차적 데이터를 학습하기 위한 신경망의 학습 패턴이 도 3에 도시되어 있다. 도 3을 참조하면, 학습 패턴(310)은 이전 시간 구간의 학습 패턴을 나타내고, 학습 패턴(350)은 현재 시간 구간의 학습 패턴을 나타내며, 학습 패턴(360)은 다음 시간 구간의 학습 패턴을 나타낸다. 이전 시간 구간, 현재 시간 구간, 및 다음 시간 구간 모두에서 하나의 신경망 구조가 학습에 이용된다. 또한, 모든 순차적 데이터가 하나의 신경망 구조를 통해 학습된다.
도 2에서와 마찬가지로, 신경망은 입력 층(320), 히든 층(330), 및 출력 층(340)을 포함할 수 있다. 히든 층(330)에 포함된 노드들(334, 332, 336)이 히든 노드들이다.
이전 시간 구간의 학습 패턴(310)에서, 히든 층(330)에 포함된 히든 노드들(332, 334, 336) 중 두 개의 기준 히든 노드들(332, 334)이 선택되었다. 기준 히든 노드들(332, 334)과 상위 층(340)의 노드들 간의 연결은 무시되고, 기준 히든 노드들(332, 334)과 현재 시간 구간의 히든 노드들(352, 354, 356) 간의 연결도 무시된다. 그리고, 현재 시간 구간의 기준 히든 노드들(352, 354)과 상위 층의 노드들 간의 연결도 무시되고, 기준 히든 노드들(352, 354)과 다음 시간 구간에서의 히든 노드들(362, 364, 366) 간의 연결도 무시될 수 있다. 도 2에서와 마찬가지로, 도 3에서 실선으로 나타낸 연결은 노드들 사이에서 정상적으로 연결된 것을 나타내고, 점선으로 나타낸 연결은 노드들 사이에서 무시되는 연결을 나타낸다.
이전 시간 구간에서, 히든 노드들(332, 334, 336) 중 기준 히든 노드들(332)를 제외한 나머지 히든 노드(336)은 상위 층(340)의 노드들뿐만 아니라 현재 시간 구간의 히든 노드들(352, 354, 356)에 연결된다. 그리고, 현재 시간 구간에서, 기준 히든 노드들(352, 354)를 제외한 나머지 히든 노드들(356)은 다음 시간 구간의 히든 노드들(362, 364, 366)에 연결될 수 있다.
신경망 학습 장치는 학습되는 각 순차적 데이터마다 기준 히든 노드를 선택하고, 해당 순차적 데이터가 학습되는 시간 구간에서는 선택된 기준 히든 노드를 계속적으로 무시한 채 학습을 수행할 수 있다. 그리고, 신경망에 포함된 히든 노드들 중 학습 과정에서 제외될 기준 히든 노드로 선택되면, 기준 히든 노드로부터 상위 층의 노드들로의 연결뿐만 아니라 기준 히든 노드로부터 다음 시간 구간의 히든 노드들로의 연결도 무시된 채 신경망의 학습이 수행될 수 있다.
도 4는 일 실시예에 따른 신경망 학습 방법의 동작을 설명하기 위한 흐름도이다.
단계(410)에서, 신경망 학습 장치는 복수의 순차적 데이터를 포함하는 학습 데이터를 수신할 수 있다. 순차적 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터 등을 포함할 수 있다. 신경망 학습 장치는 외부로부터 수신한 학습 데이터를 저장하고, 저장한 학습 데이터로부터 특징 값을 검출할 수 있다. 신경망 학습 장치는 학습 데이터로부터 충분히 많은 특징 값들을 획득하고, 특징 값들을 이용하여 신경망을 학습시킬 수 있다.
단계(430)에서, 신경망 학습 장치는 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 선택할 수 있다. 신경망 학습 장치는 기준 히든 노드를 랜덤하게 선택하고, 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다.
단계(430)에서, 신경망 학습 장치는 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다. 기준 노드가 제외되는 학습 패턴은 하나의 순차적 데이터를 학습하는 동안 계속적으로 고정될 수 있다. 하나의 순차적 데이터가 학습되는 동안 동일한 기준 히든 노드가 계속적으로 제외될 수 있다.
신경망 학습 장치는 학습 대상으로 입력되는 순차적 데이터가 바뀔 때마다 기준 히든 노드가 제외되는 학습 패턴을 랜덤하게 변경할 수 있다. 기준 히든 노드와 상위 층의 노드들 간의 연결 및 기준 히든 노드와 다른 시간 구간에서의 히든 노드들 간의 연결은 무시될 수 있다. 히든 층에 포함된 복수의 히든 노드들 중 기준 히든 노드를 제외한 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 기준 히든 노드와 다른 시간 구간에서의 히든 노드들 간의 연결은 무시될 수 있다.
하나의 순차적 데이터에 대한 학습이 종료되는 경우, 신경망 학습 장치는 신경망에 포함된 전체 히든 노드들 중에서 기준 히든 노드를 다시 랜덤하게 선택할 수 있다. 그 후, 신경망 학습 장치는 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 다른 순차적 데이터를 학습시킬 수 있다.
신경망 학습 장치는 순차적 데이터의 학습 결과에 기초하여 신경망의 인식 모델에 적용되는 연결 가중치를 조정할 수 있다. 신경망 학습 장치는 신경망의 출력 층에서 생성된 출력 값과 학습 데이터에 대한 원하는 기대 값을 비교하고, 출력 값과 기대 값 간의 차이를 줄이는 방향으로 연결 가중치를 업데이트할 수 있다. 신경망 학습 장치는 미리 설정된 반복 횟수만큼 학습 데이터에 포함된 모든 순차적 데이터에 대한 학습을 반복적으로 수행할 수 있다.
도 5는 다른 실시예에 따른 신경망 학습 방법의 동작을 설명하기 위한 흐름도이다.
단계(510)에서, 신경망 학습 장치는 학습 데이터를 수신할 수 있다. 학습 데이터는 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터 등과 같은 순차적 데이터를 포함할 수 있다.
단계(520)에서, 신경망 학습 장치는 학습 데이터로부터 특징 값을 검출할 수 있다. 예를 들어, 신경망 학습 장치는 학습 데이터로부터 특징 벡터들을 검출하고, 검출된 특징 벡터들을 이용하여 신경망을 학습시킬 수 있다.
단계(530)에서, 신경망 학습 장치는 학습 데이터 중에서 제일 먼저 학습할 제1 학습 데이터를 선택할 수 있다. 학습 데이터는 학습되는 순서에 따라 제1 학습 데이터, 제2 학습 데이터, ..., 제N 학습 데이터(N은 2보다 큰 자연수)로 구분될 수 있다. 각각의 학습 데이터들은 서로 독립된 순차적 데이터일 수 있다. 예를 들어, 제1 학습 데이터는 "볼륨 업"에 대응하는 음성 데이터이고, 제2 학습 데이터는 "볼륨 다운"에 대응하는 음성 데이터이며, 제3 학습 데이터는 "이전 채널로 변경"에 대응하는 음성 데이터일 수 있다.
단계(540)에서, 신경망 학습 장치는 신경망에 포함된 복수의 히든 노드들 중에서 학습 과정에서 제외할 기준 히든 노드를 랜덤하게 선택할 수 있다. 예를 들어, 각 히든 노드들은 50%의 확률로 기준 히든 노드로 선택될 수 있다. 기준 히든 노드와 상위 층의 노드들 간의 연결 및 기준 히든 노드와 다른 시간 구간에서의 히든 노드들 간의 연결은 무시될 수 있다.
단계(550)에서, 신경망 학습 장치는 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 신경망을 학습시킬 수 있다. 하나의 학습 데이터가 학습되는 동안, 기준 히든 노드가 제외되는 학습 패턴은 동일하게 유지될 수 있다. 신경망 학습 장치는 학습 데이터의 학습 결과에 기초하여 신경망에 적용되는 연결 가중치를 업데이트할 수 있다.
단계(560)에서, 신경망 학습 장치는 모든 학습 데이터가 학습되었는지 여부를 결정할 수 있다. 모든 학습 데이터에 대한 학습이 수행되지 않은 경우, 단계(570)에서, 신경망 학습 장치는 다음 학습 데이터를 선택할 수 있다. 예를 들어, 제1 학습 데이터의 다음 학습 데이터로서 제2 학습 데이터가 선택될 수 있다. 그 후, 신경망 학습 장치는 단계(540)에서 다시 복수의 히든 노드들 중 기준 히든 노드를 랜덤하게 선택하고, 단계(550)에서 제2 학습 데이터를 입력으로 하여 신경망을 학습시킬 수 있다.
단계(560)에서 모든 학습 데이터에 대한 학습이 수행되었다고 결정된 경우, 단계(580)에서 신경망 학습 장치는 미리 설정된 반복 횟수에 도달하였는지 여부를 결정할 수 있다. 미리 설정된 반복 횟수에 도달하지 않은 경우, 신경망 학습 장치는 단계(530)에서 다시 제1 학습 데이터를 선택하고, 단계(540) 내지 단계(570)의 동작을 계속적으로 수행할 수 있다.
단계(580)에서 미리 설정된 반복 횟수에 도달하였다고 결정된 경우, 신경망 학습 장치는 신경망에 대한 학습을 종료할 수 있다.
도 6은 일 실시예에 따른 데이터 처리 장치(600)의 구성을 도시한 도면이다. 데이터 처리 장치(600)는 신경망의 인식 모델을 이용하여 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터 등의 순차적 데이터를 인식할 수 있다. 데이터 처리 장치(600)는 입력된 순차적 데이터의 인식이 실패한 것으로 결정된 경우에는 해당 순차적 데이터에 대한 학습을 수행할 수 있다. 데이터 처리 장치(600)는 인식이 실패한 순차적 데이터를 학습함으로써 인식 성능을 계속적으로 개선시킬 수 있다.
일 실시예에 따른 데이터 처리 장치(600)는 순차적 데이터를 인식하고, 이에 대응하는 동작을 수행할 수 있는 전자 기기일 수 있다. 예를 들어, 데이터 처리 장치(600)는 디지털 TV, 데스크 탑 컴퓨터, 노트북, 셋탑 박스, DVD(Digital Versatile Disc)/BD(Blu-ray Disc) 플레이어, DVD 레코더, 스마트폰, 태블릿 PC(tablet personal computer), 또는 스마트 TV(smart television) 등의 전자 기기일 수 있다.
도 6을 참조하면, 데이터 처리 장치(600)는 인식부(610), 학습부(620), 제어부(630) 및 사용자 인터페이스부(640)를 포함할 수 있다.
인식부(610)는 음성 데이터, 영상 데이터, 생체 데이터, 또는 필적 데이터 등의 순차적인 데이터를 인식할 수 있다. 예를 들어, 인식부(610)는 마이크로폰을 통해 입력된 음성 데이터를 인식하거나 또는 카메라를 통해 촬영된 영상 데이터를 인식할 수 있다. 인식부(610)는 신경망의 인식 모델을 포함할 수 있고, 신경망은 복수 개의 히든 층들을 포함하는 회귀 신경망일 수 있다. 인식부(610)는 순차적인 데이터가 입력되었을 때, 신경망의 인식 모델을 이용하여 순차적인 데이터가 무엇을 나타내는지를 결정할 수 있다.
예를 들어, 데이터 처리 장치(600)에 "이전 채널로 변경"의 음성 데이터가 입력하는 경우, 인식부(610)는 해당 음성 데이터를 분석하여 음성 인식 결과를 출력할 수 있다. 인식부(610)는 "이전 채널로 변경"의 음성 데이터를 복수 개의 프레임들로 분할하고, 신경망의 인식 모델을 이용하여 분할된 프레임의 음성 데이터가 무엇에 대응하는지를 추정할 수 있다. 인식부(610)는 입력된 음성 데이터를 양자화하여 특징 값들을 추출하고, 추출된 특징 값들을 음성 인식 대상의 특징 값과 비교할 수 있다. 인식부(610)는 각 프레임들의 인식 결과를 종합하여 최종적인 인식 결과를 출력할 수 있다. 음성 인식 결과에 따라, 인식부(610)는 "이전 채널로 변경"에 대응하는 인식 결과를 출력할 수도 있고, 잘못 인식된 결과를 출력할 수도 있다.
학습부(620)는 제어부(630)의 제어에 의해 신경망의 인식 모델을 학습시킬 수 있다. 제어부(630)는 인식부(610)가 순차적 데이터를 제대로 인식하지 못하였다고 결정한 경우에는, 학습부(620)가 해당 순차적 데이터를 학습하도록 제어할 수 있다. 제어부(630)는 인식부(610)가 순차적 데이터의 인식을 실패하는 경우뿐만 아니라, 순차적 데이터의 인식을 성공하는 경우에도 입력된 순차적 데이터를 학습하도록 학습부(620)를 제어할 수 있다.
학습부(620)는 순차적 데이터를 학습할 때, 신경망에 포함된 히든 노드들 중 일부 히든 노드를 무시한 채 인식 모델의 학습을 수행할 수 있다. 신경망의 히든 층에 포함된 히든 노드들 중 학습 과정에서 무시된 히든 노드를 기준 히든 노드라고 정의한다. 학습부(620)는 복수의 히든 노드들 중 기준 히든 노드를 랜덤하게 선택하고, 하나의 순차적 데이터가 학습되는 시간 구간에서는 선택된 기준 히든 노드를 계속적으로 무시한 채 학습을 수행할 수 있다. 그리고, 신경망에 포함된 히든 노드들 중 기준 히든 노드로 선택되면, 기준 히든 노드에서 상위 층의 노드들로의 연결뿐만 아니라 기준 히든 노드에서 다음 시간 구간의 히든 노드들로의 연결도 무시된 채 신경망의 학습이 수행될 수 있다. 순차적 데이터의 학습이 진행될 때, 히든 노드들 중 기준 히든 노드를 제외한 나머지 히든 노드들은 상위 층의 노드들뿐만 아니라 다음 시간 구간에서의 히든 노드들과 연결될 수 있다.
제어부(630)는 인식 대상인 순차적 데이터를 인식하도록 인식부(610)를 제어할 수 있다. 인식이 성공하는 경우, 제어부(630)는 인식 결과에 대응하는 특정 동작을 수행할 수 있다. 예를 들어, 데이터 처리 장치(600)에 입력된 음성 데이터가 "이전 채널로 이동"이였고, 인식부(610)가 해당 음성 데이터의 인식을 성공하였다면, 데이터 처리 장치(600)는 디스플레이되는 채널을 현재 채널에서 이전 채널로 변경할 수 있다.
사용자 인터페이스부(640)는 사용자로부터 인식 성공 여부에 대한 피드백을 수신할 수 있다. 사용자 인터페이스부(640)는 사용자로부터 순차적 데이터의 인식이 성공하였는지 또는 실패하였는지 여부에 관하여 입력받을 수 있다. 예를 들어, 사용자가 음성을 입력하거나 또는 영상을 촬영한 후, 인식 결과가 실패하였음을 나타내는 키를 누르는 경우 또는 일정 시간 사용자의 입력이 없는 경우, 데이터 처리 장치(600)는 인식 실패라고 결정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 학습 데이터를 이용하여 신경망을 학습시키는 신경망 학습 방법에 있어서,
    신경망 학습 장치에 의해, 순차적 데이터를 포함하는 학습 데이터를 수신하는 단계;
    상기 신경망 학습 장치에 의해, 서로 다른 시간 구간에서 히든 노드들 간에 재귀적(recurrent)인 연결이 있는 회귀 신경망(recurrent neural network)에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 선택하는 단계; 및
    상기 신경망 학습 장치에 의해, 상기 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 신경망을 학습시키는 단계를 포함하고,
    상기 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시되는, 신경망 학습 방법.
  2. 제1항에 있어서,
    상기 기준 히든 노드는,
    하나의 순차적 데이터가 학습되는 동안 계속적으로 제외되는, 신경망 학습 방법.
  3. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 복수의 히든 노드들 중에서 상기 기준 히든 노드를 랜덤하게 선택하는 단계
    를 포함하는 신경망 학습 방법.
  4. 제1항에 있어서,
    상기 학습시키는 단계는,
    하나의 순차적 데이터에 대한 학습이 종료되는 경우, 상기 복수의 히든 노드들 중에서 상기 기준 히든 노드를 랜덤하게 선택하는 단계; 및
    상기 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 다른 순차적 데이터를 학습시키는 단계
    를 포함하는 신경망 학습 방법.
  5. 제1항에 있어서,
    상기 순차적 데이터는,
    음성 데이터, 영상 데이터, 생체 데이터 및 필적 데이터 중 적어도 하나를 포함하는, 신경망 학습 방법.
  6. 제1항에 있어서,
    상기 학습시키는 단계는,
    학습 결과에 기초하여 상기 신경망에 적용되는 연결 가중치를 업데이트하는 단계
    를 포함하는 신경망 학습 방법.
  7. 제1항에 있어서,
    상기 학습시키는 단계는,
    미리 설정된 반복 횟수에 기초하여 상기 신경망이 상기 학습 데이터에 대한 학습을 반복적으로 수행하도록 제어하는 단계
    를 포함하는 신경망 학습 방법.
  8. 삭제
  9. 학습 데이터를 이용하여 신경망을 학습시키는 신경망 학습 방법에 있어서,
    순차적 데이터를 포함하는 학습 데이터를 수신하는 단계;
    서로 다른 시간 구간에서 히든 노드들 간에 재귀적인 연결이 있는 회귀 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 선택하는 단계; 및
    상기 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 신경망을 학습시키는 단계를 포함하고,
    상기 기준 히든 노드는, 하나의 순차적 데이터가 학습되는 동안 계속적으로 제외되는, 신경망 학습 방법.
  10. 제9항에 있어서,
    상기 나머지 히든 노드들은, 상기 하나의 순차적 데이터를 학습하는 동안 다른 시간 구간의 히든 노드들에 연결되고,
    상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시되는, 신경망 학습 방법.
  11. 제9항에 있어서,
    상기 학습시키는 단계는,
    상기 하나의 순차적 데이터에 대한 학습이 종료되는 경우, 상기 복수의 히든 노드들 중에서 상기 기준 히든 노드를 랜덤하게 선택하는 단계; 및
    상기 선택된 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 다른 순차적 데이터를 학습시키는 단계
    를 포함하는 신경망 학습 방법.
  12. 제1항 내지 제7항 및 제9항 내지 제11항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  13. 학습 데이터를 이용하여 신경망을 학습시키는 신경망 학습 장치에 있어서,
    복수의 순차적 데이터를 포함하는 학습 데이터를 저장하는 학습 데이터 저장부; 및
    상기 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드가 제외된 학습 패턴에 기초하여 상기 신경망을 학습시키는 신경망 학습부를 포함하고,
    상기 학습 패턴은, 하나의 순차적 데이터를 학습하는 동안 고정되고,
    상기 신경망은 서로 다른 시간 구간에서 히든 노드들 간에 재귀적인 연결이 있는, 신경망 학습 장치.
  14. 제13항에 있어서,
    상기 기준 히든 노드를 제외한 나머지 히든 노드들은, 다른 시간 구간의 히든 노드들에 연결되고,
    상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시되는, 신경망 학습 장치.
  15. 제13항에 있어서,
    상기 신경망 학습부는,
    상기 하나의 순차적 데이터에 대한 학습이 종료되는 경우, 상기 학습 패턴을 변경하고, 다른 순차적 데이터를 이용하여 상기 신경망을 학습 시키는, 신경망 학습 장치.
  16. 학습 데이터를 이용하여 신경망을 학습시키는 신경망 학습 장치에 있어서,
    순차적 데이터를 포함하는 학습 데이터를 저장하는 학습 데이터 저장부; 및
    상기 신경망에 포함된 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드가 제외된 학습 패턴에 기초하여 상기 신경망을 학습시키는 신경망 학습부를 포함하고,
    상기 기준 히든 노드를 제외한 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시되고,
    상기 신경망은 서로 다른 시간 구간에서 히든 노드들 간에 재귀적인 연결이 있는, 신경망 학습 장치.
  17. 복수의 히든 노드들을 포함하는 신경망의 인식 모델을 이용하여 순차적 데이터를 인식하는 인식부;
    상기 복수의 히든 노드들 중 적어도 하나의 기준 히든 노드를 제외한 나머지 히든 노드들에 기초하여 상기 인식 모델을 학습시키는 학습부; 및
    상기 순차적 데이터의 인식이 실패한 경우, 상기 순차적 데이터를 학습하도록 상기 학습부를 제어하는 제어부를 포함하고,
    상기 나머지 히든 노드들은 다른 시간 구간의 히든 노드들에 연결되고, 상기 기준 히든 노드와 상기 다른 시간 구간의 히든 노드들 간의 연결은 무시되고,
    상기 신경망은 서로 다른 시간 구간에서 히든 노드들 간에 재귀적인 연결이 있는, 데이터 처리 장치.
  18. 제17항에 있어서,
    상기 기준 히든 노드는,
    하나의 순차적 데이터가 학습되는 동안 계속적으로 제외되는, 데이터 처리 장치.
  19. 제17항에 있어서,
    상기 제어부는,
    상기 순차적 데이터의 인식이 성공한 경우, 상기 순차적 데이터에 대응하는 특정 동작을 수행하는, 데이터 처리 장치.
KR1020140094108A 2014-07-24 2014-07-24 신경망 학습 방법 및 장치, 데이터 처리 장치 KR102239714B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140094108A KR102239714B1 (ko) 2014-07-24 2014-07-24 신경망 학습 방법 및 장치, 데이터 처리 장치
US14/636,684 US10853723B2 (en) 2014-07-24 2015-03-03 Neural network training method and apparatus, and data processing apparatus
CN201510242301.XA CN105320986A (zh) 2014-07-24 2015-05-13 神经网络训练方法和设备及数据处理设备
JP2015101540A JP6606349B2 (ja) 2014-07-24 2015-05-19 神経網学習方法及び装置、データ処理装置
EP15176946.0A EP2977936A3 (en) 2014-07-24 2015-07-16 Neural network training method and apparatus, and data processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140094108A KR102239714B1 (ko) 2014-07-24 2014-07-24 신경망 학습 방법 및 장치, 데이터 처리 장치

Publications (2)

Publication Number Publication Date
KR20160012537A KR20160012537A (ko) 2016-02-03
KR102239714B1 true KR102239714B1 (ko) 2021-04-13

Family

ID=53719654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140094108A KR102239714B1 (ko) 2014-07-24 2014-07-24 신경망 학습 방법 및 장치, 데이터 처리 장치

Country Status (5)

Country Link
US (1) US10853723B2 (ko)
EP (1) EP2977936A3 (ko)
JP (1) JP6606349B2 (ko)
KR (1) KR102239714B1 (ko)
CN (1) CN105320986A (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063667B2 (en) * 2015-12-09 2018-08-28 Audio-Technica, U.S., Inc. Plug-on networked audio adapter
CN105590623B (zh) 2016-02-24 2019-07-30 百度在线网络技术（北京）有限公司 基于人工智能的字母音素转换模型生成方法及装置
KR101937018B1 (ko) * 2016-03-24 2019-01-09 울산대학교 산학협력단 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
CN106407874A (zh) * 2016-03-25 2017-02-15 东南大学 基于笔迹坐标序列的手写识别方法
CN105976027A (zh) * 2016-04-29 2016-09-28 北京比特大陆科技有限公司 数据处理方法和装置、芯片
US11288573B2 (en) * 2016-05-05 2022-03-29 Baidu Usa Llc Method and system for training and neural network models for large number of discrete features for information rertieval
CN106327251A (zh) * 2016-08-22 2017-01-11 北京小米移动软件有限公司 模型训练系统和方法
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
EP3312724B1 (en) 2016-10-21 2019-10-30 Fujitsu Limited Microservice-based data processing apparatus, method, and program
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
KR102450374B1 (ko) * 2016-11-17 2022-10-04 삼성전자주식회사 데이터 인식 및 트레이닝 장치 및 방법
KR20180068475A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 순환 모델에 기초한 인식 및 순환 모델을 트레이닝하는 방법과 장치
KR101955583B1 (ko) * 2016-12-28 2019-07-31 (주)뮤테이션 뇌전도 신호와 가상현실을 이용한 학습 보조 장치 및 그 방법
KR101980688B1 (ko) 2017-01-11 2019-05-22 주식회사 투엔 빅 데이터 분석을 통한 배송인 추천방법
KR101987889B1 (ko) 2017-01-11 2019-06-12 주식회사 투엔 빅 데이터 분석을 통한 배송 의뢰 정보 제공 방법
KR102490916B1 (ko) * 2017-02-21 2023-01-20 삼성전자주식회사 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
US11107189B2 (en) * 2017-04-07 2021-08-31 Intel Corporation Methods and systems using improved convolutional neural networks for image processing
KR101891778B1 (ko) 2017-04-07 2018-08-24 네이버 주식회사 음원의 하이라이트 구간을 결정하는 방법, 장치 및 컴퓨터 프로그램
US11392827B1 (en) * 2017-07-19 2022-07-19 United States Of America As Represented By The Secretary Of The Navy Deeper learning from the real-time transformative correction of and reasoning from neural network outputs
KR102342143B1 (ko) * 2017-08-08 2021-12-23 주식회사 만도모빌리티솔루션즈 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법
US11741354B2 (en) 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
KR102424514B1 (ko) * 2017-12-04 2022-07-25 삼성전자주식회사 언어 처리 방법 및 장치
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
KR101855360B1 (ko) * 2017-12-13 2018-05-09 한국과학기술정보연구원 신경망의 학습 최적화를 위한 신경망 구성 방법 및 장치
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램
KR101864380B1 (ko) * 2017-12-28 2018-06-04 (주)휴톰 수술영상데이터 학습시스템
EP3731749A4 (en) 2017-12-31 2022-07-27 Neuroenhancement Lab, LLC NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE
WO2019135019A1 (en) * 2018-01-02 2019-07-11 Nokia Technologies Oy Channel modelling in a data transmission system
US10769701B1 (en) * 2018-02-27 2020-09-08 Amazon Technologies, Inc. Sensory-based delivery of content
CN108446506B (zh) * 2018-03-26 2021-06-08 东北大学 一种基于区间反馈神经网络的不确定系统建模方法
KR102097442B1 (ko) * 2018-03-27 2020-04-06 주식회사 제니스텍 전력 계통 운용을 위한 상호작용형 실시간 제어 및 진단 시스템 업데이트 방법 및 장치
US11669746B2 (en) 2018-04-11 2023-06-06 Samsung Electronics Co., Ltd. System and method for active machine learning
CN108717178A (zh) * 2018-04-12 2018-10-30 福州瑞芯微电子股份有限公司 一种基于神经网络的声源定位方法和装置
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
KR102270954B1 (ko) * 2018-08-03 2021-06-30 주식회사 엔씨소프트 심층 신경망 및 순환 신경망의 복층 구조에 기반한 음성 검출 장치 및 방법.
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
WO2020141696A1 (ko) * 2019-01-04 2020-07-09 주식회사 딥엑스 전자기기를 위한 특정 기능 수행용 학습된 모델 작성 방법 및 동일 기능을 수행하기 위한 학습 모델, 전용 칩 및 전용 칩 동작 방법, 그리고 전자기기와 시스템
JP7188182B2 (ja) * 2019-02-26 2022-12-13 日本電信電話株式会社 データ変換学習装置、データ変換装置、方法、及びプログラム
KR20200129458A (ko) 2019-05-08 2020-11-18 삼성전자주식회사 인공 신경망 모델을 트레이닝하는 컴퓨팅 장치, 인공 신경망 모델을 트레이닝하는 방법 및 이를 저장하는 메모리 시스템
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11948292B2 (en) 2019-07-02 2024-04-02 MakinaRocks Co., Ltd. Systems and methods for detecting flaws on panels using images of the panels
KR102111002B1 (ko) 2019-10-21 2020-05-14 옴니스랩스 주식회사 컨텐츠 처리 방법
KR102299530B1 (ko) * 2020-02-10 2021-09-09 울산대학교 산학협력단 의료 도구 제어 장치의 동작을 결정하기 위한 기계 학습 모델을 트레이닝하는 방법 및 장치
CN113496282B (zh) * 2020-04-02 2024-06-28 北京金山数字娱乐科技有限公司 一种模型训练方法及装置
CN112669167B (zh) * 2020-12-15 2024-06-28 中国农业大学 一种预测商品猪生产性能的方法及其应用

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180986A1 (en) * 2012-12-24 2014-06-26 Google Inc. System and method for addressing overfitting in a neural network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100274579B1 (ko) 1997-09-24 2000-12-15 최종욱 신경망 모형 기법을 통한 차종 인식방법
KR20020017110A (ko) 2000-08-28 2002-03-07 신대진 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측시스템
KR20020085900A (ko) 2001-05-07 2002-11-18 주식회사 씨노드 결정 귀환 재귀 신경망 등화기의 가중치 제어방법
US20030065632A1 (en) * 2001-05-30 2003-04-03 Haci-Murat Hubey Scalable, parallelizable, fuzzy logic, boolean algebra, and multiplicative neural network based classifier, datamining, association rule finder and visualization software tool
KR100442434B1 (ko) 2002-03-07 2004-07-30 엘지전자 주식회사 학습된 신경망 설계를 위한 어레이 구조 연산 방법
JP2005523533A (ja) 2002-04-19 2005-08-04 コンピュータ アソシエイツ シンク，インコーポレイテッド 混合型数字及び／又は非数字データの処理
JP2007280054A (ja) 2006-04-06 2007-10-25 Sony Corp 学習装置および学習方法、並びにプログラム
KR100820723B1 (ko) 2006-05-19 2008-04-10 인하대학교 산학협력단 은닉노드 목표값을 가진 2 개층 신경망을 이용한 분리 학습시스템 및 방법
US7647284B2 (en) 2007-01-12 2010-01-12 Toyota Motor Engineering & Manufacturing North America, Inc. Fixed-weight recurrent neural network controller with fixed long-term and adaptive short-term memory
US7835999B2 (en) 2007-06-27 2010-11-16 Microsoft Corporation Recognizing input gestures using a multi-touch input device, calculated graphs, and a neural network with link weights
WO2011128313A1 (de) 2010-04-14 2011-10-20 Siemens Aktiengesellschaft Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
KR101210380B1 (ko) 2010-12-22 2012-12-10 한국과학기술원 유한 상태 자동기계를 동정화하기에 알맞은 새로운 회귀 신경망
JP2013120465A (ja) 2011-12-07 2013-06-17 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
KR20140025702A (ko) 2012-08-22 2014-03-05 국민대학교산학협력단 동적신경망을 이용한 이산화탄소 농도 기반 재실인원 추정 시스템
US9627532B2 (en) * 2014-06-18 2017-04-18 Nuance Communications, Inc. Methods and apparatus for training an artificial neural network for use in speech recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140180986A1 (en) * 2012-12-24 2014-06-26 Google Inc. System and method for addressing overfitting in a neural network

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Dropout improves Recurrent Neural Networks for Handwriting Recognition. Vu Pham et al. arXiv:1312.4569v2 [cs.CV] 10 Mar 2014.
Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Nitish Srivastava et al. Journal of Machine Learning Research 15 (2014) 1929-1958.
G. Mesnil, X. He, L. Deng, and Y. Bengio, "Investigation of recurrentneural-network architectures and learning methods for spoken language understanding," in Interspeech, 2013.
Improving neural networks by preventing co-adaptation of feature detectors. G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov. arXiv:1207.0580v1 [cs.NE] 3 Jul 2012.
Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks. Caglar Gulcehre, Kyunghyun Cho, Razvan Pascanu, Yoshua Bengio. arXiv:1311.1780. Wed, 29 Jan 2014.
Regularization and nonlinearities for neural language models: when are they needed? Marius Pachitariu, Maneesh Sahani. arXiv:1301.5650v2 [stat.ML] 20 Jun 2013

Also Published As

Publication number Publication date
JP2016024812A (ja) 2016-02-08
CN105320986A (zh) 2016-02-10
EP2977936A3 (en) 2017-01-11
KR20160012537A (ko) 2016-02-03
JP6606349B2 (ja) 2019-11-13
US20160026913A1 (en) 2016-01-28
EP2977936A2 (en) 2016-01-27
US10853723B2 (en) 2020-12-01

Similar Documents

Publication Publication Date Title
KR102239714B1 (ko) 신경망 학습 방법 및 장치, 데이터 처리 장치
KR102449837B1 (ko) 신경망 학습 방법 및 장치, 및 인식 방법 및 장치
US11093780B2 (en) Device and method to generate image using image learning model
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
KR102483643B1 (ko) 모델을 학습하는 방법 및 장치 및 상기 뉴럴 네트워크를 이용한 인식 방법 및 장치
KR102410820B1 (ko) 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치
US20200394526A1 (en) Method and apparatus for performing anomaly detection using neural network
KR102486699B1 (ko) 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
CN110020580A (zh) 识别对象和面部表情的方法以及训练面部表情的方法
CN115345278A (zh) 卷积神经网络的结构学习
Mavroudi et al. End-to-end fine-grained action segmentation and recognition using conditional random field models and discriminative sparse coding
US20180157892A1 (en) Eye detection method and apparatus
US20200057937A1 (en) Electronic apparatus and controlling method thereof
US11386288B2 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
KR20200110064A (ko) 변환 모델을 이용한 인증 방법 및 장치
CN108810551B (zh) 一种视频帧预测方法、终端及计算机存储介质
KR101893290B1 (ko) 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
CN108292437A (zh) 图像处理装置和方法
Ngo et al. Efficient interactive multiclass learning from binary feedback
Filntisis et al. An audiovisual child emotion recognition system for child-robot interaction applications
Tan et al. A co-training algorithm based on modified Fisher's linear discriminant analysis
CN115984652B (zh) 符号生成系统的训练方法、装置、电子设备和存储介质
KR20220011560A (ko) 압축된 표상을 이용하는 뉴럴 네트워크 연산 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant