KR101828215B1 - Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치 - Google Patents

Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치 Download PDF

Info

Publication number
KR101828215B1
KR101828215B1 KR1020170097848A KR20170097848A KR101828215B1 KR 101828215 B1 KR101828215 B1 KR 101828215B1 KR 1020170097848 A KR1020170097848 A KR 1020170097848A KR 20170097848 A KR20170097848 A KR 20170097848A KR 101828215 B1 KR101828215 B1 KR 101828215B1
Authority
KR
South Korea
Prior art keywords
neural network
artificial neural
learning
network
time step
Prior art date
Application number
KR1020170097848A
Other languages
English (en)
Inventor
김강일
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020170097848A priority Critical patent/KR101828215B1/ko
Application granted granted Critical
Publication of KR101828215B1 publication Critical patent/KR101828215B1/ko

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

LSTM(Long Short Term Memory) 기반 순환형 상태 전이 모델의 학습 방법 및 장치가 개시된다. 일 실시예에 따른 인공 신경망 학습 방법은, 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하는 단계와, 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키는 단계를 포함하고, 상기 제1 인공 신경망 및 상기 제2 인공 신경망은 서로 상이하다.

Description

Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치{A METHOD AND APPARATUS FOR LEARNING CYCLIC STATE TRANSITION MODEL ON LONG SHORT TERM MEMORY NETWORK}
아래 실시예들은 LSTM(Long Short Term Memroy) 인공 신경망 기반 순환형 상태 전이 모델의 학습 방법 및 장치에 관한 것이다.
인공 신경망(neural network)은 1990년대 이후 꾸준히 연구되어오다가, 2006년 이후 세계에서 각광 받으면서 딥 러닝이라는 키워드로 지능 시스템의 기본적 표현형으로 사용되고 있다.
인공 신경망에서는 해결하려고 하는 문제에 대해서 주어진 입력에 대한 출력을 얼마나 잘 예측하는지를 평가하기 위한 cost 함수를 설정하여 학습을 진행한다. cost 함수로 정답 값과의 에러 혹은 정답 값을 정확히 표현할 확률 등을 사용할 수 있다.
LSTM(Long Short Term Memory)은 RNN(Recurrent Neural Network)의 일종으로 RNN에 비해 오래 전 시간에 발생한 정보들이 현재의 의사결정에 미치는 영향력을 학습하는 것이 가능하다. 근래에 LSTM은 기계 번역 및 자연어 처리 분야에서 다양하게 활용되고 있는 네트워크 중 하나이다.
LSTM은 시간에 따라 변하는 현상을 나타내는 타임 시리즈(time series)문제들에 대하여 주로 적용되며, 초기 타임 스텝(time step)에서의 관측 값으로부터 현재 값들을 결정하기 위한 스테이트(state)들을 각 타임 스텝 별로 생성되는 히든 벡터들을 통해서 구분한다.
LSTM의 제약점 중 하나는 상태 전이 모델뿐만 아니라 네트워크가 어떤 상태인지를 추정하기 위한 모델이 같이 학습된다는 것이다. 이 방법은 주어진 모델의 표현 능력을 벗어나기 쉬우며, 상태 추정을 위해 초기 타임 스텝에서 표현해야 하는 정보량이 많아지는 문제점이 있다.
학습해야 하는 정보량의 크기가 다른 상황에서도, RNN은 모든 타임 스텝에 같은 수준의 표현력을 가지는 네트워크를 사용하므로 불필요한 부분이 발생하게 된다.
순환형 상태 전이가 일어나고 실시간으로 서비스를 해야 하는 문제들에서는 모델의 압축 수준에 따라서 반응 속도에 차이가 날 수 있으므로, 이러한 문제들은 순환형 상태전이 예측 모델의 실질적인 성능에 나쁜 영향을 미칠 수 있다.
실시예들은 상태 전이 네트워크와 상태 추정 네트워크를 이용하여 순환형 상태 전이 현상을 학습시키는 기술을 제공할 수 있다.
일 실시예에 따른 인공 신경망 학습 방법은, 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하는 단계와, 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키는 단계를 포함하고, 상기 제1 인공 신경망 및 상기 제2 인공 신경망은 서로 상이하다.
상기 학습시키는 단계는, 상기 제1 인공 신경망인 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성하는 단계와, 상기 히든 벡터 및 상기 셀 벡터에 기초하여 상기 제2 인공 신경망인 상태 전이 네트워크를 학습시키는 단계를 포함할 수 있다.
상기 인공 신경망 학습 방법은 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 단계를 더 포함할 수 있다.
상기 업데이트하는 단계는, 상기 상태 추정 네트워크를 상기 새로운 타임 스텝의 관측 데이터를 이용하여 학습시킴으로써 상기 히든 벡터 및 상기 셀 벡터를 업데이트하는 단계와, 업데이트된 히든 벡터 및 업데이트된 셀 벡터에 기초하여 상기 상태 전이 네트워크를 학습시키는 단계를 포함할 수 있다.
상기 제1 인공 신경망 및 상기 제2 인공 신경망은 FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network)을 포함할 수 있다.
상기 상태 전이 네트워크는, LSTM(Long Short Term Memory) 기반 네트워크를 포함할 수 있다.
상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 동시에 학습되거나 상이한 시간에 학습될 수 있다.
상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 상이한 비용 함수를 사용하여 학습될 수 있다.
일 실시예에 따른 인공 신경망 학습 장치는, 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하고, 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키는 컨트롤러를 포함하고, 상기 제1 인공 신경망 및 상기 제2 인공 신경망은 서로 상이하다.
상기 컨트롤러는, 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하는 기준 시점 설정기와, 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키는 트레이너를 포함할 수 있다.
상기 트레이너는, 상기 제1 인공 신경망인 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성하는 상태 추정기와, 상기 히든 벡터 및 상기 셀 벡터에 기초하여 상기 제2 인공 신경망인 상태 전이 네트워크를 학습시키는 상태 전이기를 포함할 수 있다.
상기 트레이너는, 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 업데이터를 더 포함할 수 있다.
상기 업데이터는, 상기 상태 추정 네트워크를 상기 새로운 타임 스텝의 관측 데이터를 이용하여 학습시킴으로써 상기 히든 벡터 및 상기 셀 벡터를 업데이트하고, 업데이트된 히든 벡터 및 업데이트된 셀 벡터에 기초하여 상기 상태 전이 네트워크를 학습시킬 수 있다.
상기 제1 인공 신경망 및 상기 제2 인공 신경망은 FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network)을 포함할 수 있다.
상기 상태 전이 네트워크는, LSTM(Long Short Term Memory) 기반 네트워크를 포함할 수 있다.
상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 동시에 학습되거나 상이한 시간에 학습될 수 있다.
상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 상이한 비용 함수를 사용하여 학습될 수 있다.
도 1은 일 실시예에 따른 인공 신경망 학습 장치의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록를 나타낸다.
도 3은 도 2에 도시된 트레이너의 개략적인 블록도를 나타낸다.
도 4는 도 3에 도시된 트레이너의 동작의 예시를 나타낸다.
도 5는 타임 스텝에 따른 트레이너의 동작의 예시를 나타낸다.
도 6은 도 2에 도시된 컨트롤러의 동작의 순서도를 나타낸다.
도 7은 도 3에 도시된 트레이너의 동작의 순서도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 인공 신경망 학습 장치의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 인공 신경망 학습 장치(10)는 주어진 문제를 해결하기 위해 인공 신경망을 학습시킬 수 있다. 예를 들어, 인공 신경망 학습 장치(10)는 순환형 상태 전이 현상을 학습시킬 수 있다.
인공 신경망 학습 장치(10)는 하나의 인공 신경망을 순환형 상태 전이 현상에 관하여 학습시키고, 다른 하나의 인공 신경망을 순환형 상태 전이 모델에서 어느 지점을 나타내는지에 대해서 추정하기 위해서 학습시킬 수 있다.
기존의 RNN(Recurrent Neural Network)은 여러 가설들의 표현 능력이 모든 타임 스텝에 대하여 일관된 수준을 나타낼 수 있다. 따라서, 기존의 RNN은 타임 스텝 별로 표현해야 하는 가설들의 수가 달라지면 불필요하게 큰 모델을 가지는 문제점을 가질 수 있다.
순환형 상태 전이 현상의 복잡도에 적합한 인공신경망의 표현력을 설정하는 것은 인공 신경망을 학습시킴에 있어서 중요한 문제일 수 있다. 인공 신경망 학습 장치(10)는 분리된 인공 신경망을 사용함으로써, 순환형 상태 전이 모델의 복잡도에 적합한 인공 신경망의 표현력을 결정할 수 있다.
상태 추정을 위한 가설들은 타임 스텝의 초반부에 집중되어 있으므로, 인공 신경망 학습 장치(10)는 초반부를 학습시키는 인공 신경망을 분리함으로써 불필요하게 큰 모델을 사용하는 비효율성을 극복할 수 있다. 즉, 인공 신경망 학습 장치(10)는 상태 전이와 현재 상태 예측을 모두 하나의 모델로 학습시킬 때 발생하는 학습 모델의 표현력 사용의 비효율성을 개선할 수 있다.
인공 신경망 학습 장치(10)가 해결하는 문제는 타임 시리즈 데이터로 이루어진 문제를 포함할 수 있다. 타임 시리즈 데이터는 복수의 타임 스텝을 포함하고, 각각의 타임 스텝에 대응하는 데이터를 포함할 수 있다.
인공 신경망 학습 장치(10)는 타임 시리즈 데이터로 이루어진 문제에 관하여 예측할 때, 인공 신경망 학습 모델의 크기를 감소시켜 예측 속도 및 학습 속도를 향상 시킬 수 있다.
인공 신경망 학습 장치(10)는 상태 추정 모델과 상태 전이 모델을 분리함으로써 불필요한 모델 크기의 확장을 억제할 수 있다.
인공 신경망 학습 장치(10)는 시간의 흐름에 따라 타임 스텝에서 발생하는 예측 값을 재입력하는 방식으로 학습을 진행하므로, 특정 타임 래그(time lag)를 가진 미래의 일부 현상만을 예측하는 시계열 모델들에 비하여 매우 유동적으로 시점을 예측할 수 있고, 먼 미래를 예측할 수 있다.
인공 신경망 학습 장치(10)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.
휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.
인공 신경망 학습 장치(10)는 컨트롤러(100)를 포함한다.
컨트롤러(100)는 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정할 수 있다.
컨트롤러(100)는 예측 기준 시점 이전의 타임 스텝 및 예측 기준 시점 이후의 타임 스텝을 구분하여 예측 기준 시점 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 예측 기준 시점 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시킬 수 있다.
예측 기준 시점 이전의 타임 스텝 및 예측 기준 시점 이후의 타임 스텝은 복수의 타임 스텝을 포함할 수 있다.
컨트롤러(100)가 학습시키는 제1 인공 신경망과 제2 인공 신경망은 상이한 인공 신경망일 수 있다.
도 2는 도 1에 도시된 컨트롤러의 개략적인 블록를 나타낸다.
도 2를 참조하면, 컨트롤러(100)는 기준 시점 설정기(110) 및 트레이너(130)를 포함할 수 있다.
기준 시점 설정기(110)는 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정할 수 있다.
관측된 데이터란 인공 신경망을 학습시킴으로써 해결하려고 하는 문제의 결과 값을 의미할 수 있다. 관측된 데이터가 존재하는 타임 스텝은 과거의 일정 시점을 의미할 수 있다.
예측해야할 타임 스텝은 과거의 관측된 데이터를 이용하여 인공 신경망을 학습시켜 예측하고자 하는 미래의 일정 시점을 의미할 수 있다.
예측 기준 시점은 인공 신경망을 학습시킴으로써 예측해야 할 시점과 이미 관측된 데이터가 존재하는 시점을 구분하는 기준이 되는 시점을 의미할 수 있다. 예를 들어, 예측 기준 시점은 과거와 미래를 구분하는 현재를 의미할 수 있다.
트레이너(130)는 예측 기준 시점 이전의 타임 스텝 및 예측 기준 시점 이후의 타임 스텝을 구분하여 예측 기준 시점 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 예측 기준 시점 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시킬 수 있다.
제1 인공 신경망 및 제2 인공 신경망은 FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network)을 포함할 수 있다.
도 3은 도 2에 도시된 트레이너의 개략적인 블록도를 나타낸다.
도 3을 참조하면, 트레이너(130)는 상태 추정기(131), 상태 전이기(133) 및 업데이터(135)를 포함할 수 있다.
상태 추정기(131)는 제1 인공 신경망인 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성할 수 있다. 상태 추정 네트워크는 FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network)을 포함할 수 있다.
상태 추정기(131)는 생성한 히든 벡터 및 셀 벡터를 상태 전이기(133)으로 출력할 수 있다. 히든 벡터 및 셀 벡터는 순환형 상태 전이 모델의 시점에 관한 정보를 포함할 수 있다. 상태 추정기(131)는 순환형 상태 전이 모델의 시점에 관한 정보를 벡터로 압축하는 방식으로 히든 벡터 및 셀 벡터를 생성할 수 있다.
상태 추정기(131)가 순환형 상태 전이 모델의 상태를 추정하기 위해서 벡터 공간 내의 위치를 히든 벡터 및 셀 벡터를 이용하여 나타낼 수 있다. 상태 추정기(131)는 상태 추정 네트워크를 이용하여 히든 벡터 및 셀 벡터를 수식으로 표현함으로써 시점에 관한 추정 값을 도출할 수 있다.
상태 전이기(133)는 히든 벡터 및 셀 벡터에 기초하여 상기 제2 인공 신경망인 상태 전이 네트워크를 학습시킬 수 있다. 상태 전이 네트워크는 FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network)를 포함할 수 있다. 예를 들어, 상태 전이 네트워크는 RNN의 일종인 LSTM(Long Short Term Memory) 기반 네트워크일 수 있다. 상태 전이기(133)의 동작은 도 4 및 도 5를 참조하여 자세하게 설명할 것이다.
업데이터(135)는 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트할 수 있다.
업데이터(135)는 상태 추정 네트워크를 새로운 타임 스텝의 관측 데이터를 이용하여 학습시킴으로써 상기 히든 벡터 및 상기 셀 벡터를 업데이트할 수 있다.
업데이터(135)는 업데이트된 히든 벡터 및 업데이트된 셀 벡터에 기초하여 상태 전이 네트워크를 학습시킬 수 있다.
도 4는 도 3에 도시된 트레이너의 동작의 예시를 나타낸다.
도 4를 참조하면, 도 4의 예시에서, 해결하고자 하는 문제는 t1에서 tl까지의 복수의 타임 스텝으로 이루어질 수 있다. 도 4의 예시에서, 예측 기준 시점은 tk일 수 있다. tk의 이전 타임 스텝인 t1 내지 tk에는 관측된 데이터가 존재할 수 있다.
상태 추정기(131)는 예측 기준 시점인 t1부터 tk까지 타임 스텝에 대하여 관측된 데이터를 이용하여 상태 추정 네트워크를 학습시킬 수 있다.
상태 추정기(131)는 복수의 타임 스텝에 대응하는 입력 데이터를 이용하여 상태 추정 네트워크를 학습시킬 수 있다. 입력 데이터는 벡터의 형태를 가질 수 있다.
상태 추정기(131)는 상태 추정 네트워크를 학습시켜서 tk시점에서 히든 벡터(hk) 및 셀 벡터(ck)를 생성할 수 있다. 상태 추정기(131)는 상태 추정 네트워크에서 복수의 타임 스텝에 대응하여 생성되는 출력을 조합하여 히든 벡터 및 셀 벡터를 생성할 수 있다. 예를 들어, 상태 추정기(131)는 t1 부터 t(k-1)까지의 타임 스텝에서 생성된 출력 h1, c1, h2, c2, …, h(k-1), c(k-1)을 조합하여 히든 벡터 및 셀 벡터를 생성할 수 있다.
상태 추정기(131)는 생성한 히든 벡터 및 셀 벡터를 상태 전이기(133)로 출력할 수 있다.
상태 전이기(133)는 히든 벡터(hk) 및 셀 벡터(ck)를 초기 값으로 사용하여 상태 전이 네트워크를 학습시킬 수 있다. 상태 전이기(133)는 상태 전이 네트워크를 학습시킴으로써 예측 기준 시점 이후의 시점인 t(k+1) 부터 tl까지의 타임 스텝에 대하여 데이터를 예측할 수 있다.
상태 전이기(133)는 특정 타임 스텝에 대응한 데이터만을 예측하는 것이 아닌 t(k+1) 이후의 모든 타임 스텝에 대한 데이터를 예측하도록 상태 전이 네트워크를 학습시킬 수 있다.
상태 전이 네트워크는 LSTM(Long Short Term Memory) 기반 네트워크를 포함할 수 있고, 변형 LSTM도 포함할 수 있다.
상태 추정 네트워크 및 상태 전이 네트워크는 동시에 학습되거나 상이한 시간에 학습될 수 있다.
예를 들어, 상태 추정 네트워크는 상태 전이 네트워크 학습 시 초기 값으로 사용할 히든 벡터 및 셀 벡터를 제공해야 하므로, 트레이너(130)는 상태 추정 네트워크와 상태 전이 네트워크를 동시에 학습시킬 수 있다.
또한, 트레이너(130)는 상태 추정 네트워크와 상태 전이 네트워크를 상이한 비용 함수(cost function)을 사용하여 학습시킬 수 있다. 트레이너(130)는 상이한 비용함수를 사용하여 상태 추정 네트워크와 상태 전이 네트워크를 학습시킴으로써 히든 벡터 및 셀 벡터의 분포가 잘 나뉘어지도록 할 수 있다.
트레이너(130)는 상태 추정 네트워크와 상태 전이 네트워크를 상이한 종류의 인공 신경망을 사용하여 학습시킬 수도 있다.
트레이너(130)는 상태 전이 모델의 성능을 최대화하고, 비용을 최소화하는 방향으로 상태 추정 네트워크를 학습시킴으로써, 상태 전이 모델의 파라미터를 업데이트하여 추정 값을 변경할 수 있다.
트레이너(130)는 경사(gradient) 기반 최적화 방법을 사용하여 상태 전이 모델의 파라미터를 업데이트할 수 있다.
도 5는 타임 스텝에 따른 트레이너의 동작의 예시를 나타낸다.
도 5를 참조하면, 트레이너(150)는 히든 벡터 및 셀 벡터의 분포를 기반으로한 메트릭(metric)을 비용 함수로 사용할 수 있다.
트레이너(150)가 상태 추정 네트워크와 상태 전이 네트워크를 별도로 학습하는 경우, 상태 추정 네트워크의 정답을 정의하지 못하므로 히든 벡터 및 셀 벡터의 특성을 통해 비용 함수를 정의할 수 있다. 트레이너(150)는 분포의 다양성을 최대화하거나 희귀도(sparseness)를 최대화 하는 비용 함수를 사용할 수 있다.
트레이너(150)는 순환형 상태 전이 현상을 학습하기 위하여 상태 추정 네트워크에서 출력한 히든 벡터 및 셀 벡터가 조건으로 주어졌을 때, 모든 타임 스텝에서 발생되는 상태 전이 네트워크를 이용하여 예측한 데이터들과 관측된 데이터들의 차이 값을 에러(error) 함수로 정의할 수 있다.
에러 함수를 이용하여 비용 함수의 예시를 나타내면 수학식 1과 같을 수 있다. 트레이너(150)는 수학식 1의 비용 함수를 사용하여 상태 추정 네트워크와 상태 전이 네트워크를 통합하여 학습시키거나, 분리하여 학습시킬 수 있다.
Figure 112017074448021-pat00001
여기서, N은 전체 타임 스텝의 수를 의미하고, w는 관측된 데이터가 존재하는 타임 스텝의 수를 의미하고, s는 예측 기준 시점의 타임 스텝을 의미할 수 있다.
예측 기준 시점을 s라고 하였을 때, 상태 추정기(131)는 타임 스텝 s에서 히든 벡터 및 셀 벡터를 상태 전이기(133)로 전달할 수 있다.
관측된 데이터가 존재하는 타임 스텝의 수가 w이고, 전체 타임 스텝의 수가 N일 때, 상태 전이기(133)는 예측 기준 시점 s가 w부터 N까지 별도의 학습 케이스를 생성하여 총 N-w만큼의 학습 케이스를 생성할 수 있다.
상태 추정기(131)는 s-w+1 번째 또는 첫 번째 타임 스텝의 관측 데이터부터 s 번째 타임 스텝까지의 관측 데이터를 입력으로 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성할 수 있다.
상태 전이기(133)가 생성한 학습 케이스는 히든 벡터 및 셀 벡터로부터 순차적으로 s+1 번째부터 N 번째 타임 스텝의 데이터를 예측할 수 있다.
상태 전이기(133)는 각 타임 스텝에서 관측 데이터와 예측 데이터를 비교하여 다양한 방법으로 에러를 측정할 수 있다. 예를 들어, 에러는 평균 제곱근 오차(root mean square error), R 스퀘어 오차(R square error) 등을 포함할 수 있다.
업데이터(135)는 시간의 흐름에 따라 예측 기준 시점 s가 변함에 따라, 새로운 타임 스텝의 관측 데이터를 이용하여 상태 추정 네트워크를 학습시킴으로써 히든 벡터 및 셀 벡터를 업데이트 할 수 있다. 업데이터(135)는 업데이트된 히든 벡터 및 셀 벡터를 상태 전이 네트워크 네트워크의 새로운 입력으로 사용하여 상태 전이 네트워크의 학습 정확도를 높일 수 있다.
굉장히 많은 타임 스텝에 대하여 학습할 경우 상태 전이 네트워크의 학습 정확도가 감소할 수 있으므로, 업데이터(135)는 바로 이전 단계의 입력 데이터를 지속적으로 입력할 수 있다.
또한, 업데이터(135)는 상태 전이 네트워크의 학습의 정확도를 높이기 위해서 일정 타임 스텝 이전의 관측 데이터를 제거하여 상태 추정 네트워크를 학습시킴으로써 히든 벡터 및 셀 벡터를 업데이트할 수 있다.
도 6은 도 2에 도시된 컨트롤러의 동작의 순서도를 나타낸다.
도 6을 참조하면, 기준 시점 설정기(110)는 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정할 수 있다(S510).
예측 기준 시점은 시간의 흐름에 따라 변할 수 있다. 예측 기준 시점 이전의 시점은 관측 데이터가 존재하는 타임 스텝을 의미할 수 있다. 예측 기준 시점 이후의 시점은 인공 신경망 학습 장치(10)를 이용하여 예측하고자 하는 시점을 의미할 수 있다.
트레이너(130)는 예측 기준 시점 이전의 타임 스텝　및 예측 기준 시점 이후의 타임 스텝을 구분하여 예측 기준 시점 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 예측 기준 시점 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시킬 수 있다(S530).
제1 인공신경망은 상태 추정 네트워크를 의미할 수 있고, 제2 인공 신경망은 상태 전이 네트워크를 의미할 수 있다. 예측 기준 시점 이전의 타임 스텝 및 예측 기준 시점 이후의 타임 스텝은 복수의 타임 스텝을 포함할 수 있다.
트레이너(130)는 제1 인공 신경망 및 제2 인공 신경망을 동시에 또는 상이한 시간에 학습시킬 수 있다. 트레이너(130)는 제1 인공 신경망 및 제2 인공 신경망을 상이한 비용 함수를 사용하여 학습시킬 수 있다.
도 7은 도 3에 도시된 트레이너의 동작의 순서도를 나타낸다.
도 7을 참조하면, 상태 추정기(131)는 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성할 수 있다(S531). 상태 추정기(131)는 예측 기준 시점 이전의 타임 스텝에 대응하는 관측 데이터를 이용하여 상태 추정 네트워크를 학습시킬 수 있다.
상태 추정기(131)는 상태 추정 네트워크를 학습시킴으로써 예측 기준 시점에 대응하는 히든 벡터 및 셀 벡터를 생성할 수 있다. 상태 추정기(131)는 히든 벡터 및 셀 벡터를 상태 전이기(133)로 출력할 수 있다.
상태 전이기(133)는 히든 벡터 및 셀 벡터에 기초하여 상태 전이 네트워크를 학습시킬 수 있다(S533). 상태 전이기(133)는 히든 벡터 및 셀 벡터를 조건 벡터로 사용하여 상태 전이 네트워크를 학습시킬 수 있다.
상태 전이기(133)는 예측 기준 시점 이후의 모든 타임 스텝에 대하여 학습 케이스를 생성함으로써, 인공 신경망 학습 장치(10)의 학습 정확도를 향상 시킬 수 있다.
업데이터(135)는 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트 할 수 있다(S535). 업데이터(135)는 새로 관측된 데이터를 이용하여 상태 추정 네트워크를 학습시킴으로써 히든 벡터 및 셀 벡터를 업데이트할 수 있다.
업데이터(135)는 업데이트된 히든 벡터 및 셀벡터를 입력으로 이용하여 상태 전이 네트워크를 학습시킬 수 있다.
업데이터(135)는 오래된 타임 스텝에 대응하는 관측 데이터를 제거하여 인공 신경망 학습 장치(10)의 학습 정확도를 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 인공 신경망 학습 장치가 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하는 단계;
    상기 인공 신경망 학습 장치가 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키는 단계; 및
    상기 인공 신경망 학습 장치가 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 단계
    를 포함하고,
    상기 제1 인공 신경망 및 상기 제2 인공 신경망은 서로 상이하고,
    상기 학습시키는 단계는,
    제2 인공 신경망을 학습시킴으로써 상기 예측 기준 시점 이후의 복수의 타임 스텝 모두에 대한 데이터를 예측하는 단계를 포함하는
    인공 신경망 학습 방법.
  2. 제1항에 있어서,
    상기 학습시키는 단계는,
    상기 제1 인공 신경망인 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성하는 단계; 및
    상기 히든 벡터 및 상기 셀 벡터에 기초하여 상기 제2 인공 신경망인 상태 전이 네트워크를 학습시키는 단계
    를 포함하는 인공 신경망 학습 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 업데이트하는 단계는,
    상기 상태 추정 네트워크를 상기 새로운 타임 스텝의 관측 데이터를 이용하여 학습시킴으로써 상기 히든 벡터 및 상기 셀 벡터를 업데이트하는 단계; 및
    업데이트된 히든 벡터 및 업데이트된 셀 벡터에 기초하여 상기 상태 전이 네트워크를 학습시키는 단계
    를 포함하는 인공 신경망 학습 방법.
  5. 제1항에 있어서,
    상기 제1 인공 신경망 및 상기 제2 인공 신경망 각각은
    FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network) 중 하나로 구현되는
    인공 신경망 학습 방법.
  6. 제2항에 있어서,
    상기 상태 전이 네트워크는,
    LSTM(Long Short Term Memory) 기반 네트워크
    를 포함하는 인공 신경망 학습 방법.
  7. 제2항에 있어서,
    상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 동시에 학습되거나 상이한 시간에 학습되는
    인공 신경망 학습 방법.
  8. 제2항에 있어서,
    상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 상이한 비용 함수를 사용하여 학습되는
    인공 신경망 학습 방법.
  9. 복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하고, 상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키고, 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 컨트롤러
    를 포함하고,
    상기 제1 인공 신경망 및 상기 제2 인공 신경망은 서로 상이하고,
    상기 컨트롤러는,
    상기 예측 기준 시점 이후의 복수의 타임 스텝 모두에 대한 데이터를 예측하도록 상기 제2 인공 신경망을 학습시키는
    인공 신경망 학습 장치.
  10. 제9항에 있어서,
    상기 컨트롤러는,
    복수의 타임 스텝 중에서 관측된 데이터가 존재하는 타임 스텝과 데이터를 예측해야 할 타임 스텝을 구분하는 예측 기준 시점을 설정하는 기준 시점 설정기; 및
    상기 예측 기준 시점 이전의 타임 스텝 및 상기 예측 기준 시점 이후의 타임 스텝을 구분하여 상기 이전의 타입 스텝에 대응하는 제1 인공 신경망 및 상기 이후의 타임 스텝에 대응하는 제2 인공 신경망을 학습시키고, 시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 트레이너
    를 포함하는 인공 신경망 학습 장치.
  11. 제10항에 있어서,
    상기 트레이너는,
    상기 제1 인공 신경망인 상태 추정 네트워크를 학습시켜 히든 벡터 및 셀 벡터를 생성하는 상태 추정기;
    상기 히든 벡터 및 상기 셀 벡터에 기초하여 상기 제2 인공 신경망인 상태 전이 네트워크를 학습시키는 상태 전이기; 및
    시간의 흐름에 따라 새로운 타임 스텝의 학습 결과를 업데이트하는 업데이터
    를 포함하는 인공 신경망 학습 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 업데이터는,
    상기 상태 추정 네트워크를 상기 새로운 타임 스텝의 관측 데이터를 이용하여 학습시킴으로써 상기 히든 벡터 및 상기 셀 벡터를 업데이트하고, 업데이트된 히든 벡터 및 업데이트된 셀 벡터에 기초하여 상기 상태 전이 네트워크를 학습시키는
    인공 신경망 학습 장치.
  14. 제9항에 있어서,
    상기 제1 인공 신경망 및 상기 제2 인공 신경망 각각은
    FFN(Feed-Forward Neural Network), RNN(Recurrent Neural Network), CNN(Convolution Neural Network) 중 하나로 구현되는
    인공 신경망 학습 장치.
  15. 제11항에 있어서,
    상기 상태 전이 네트워크는,
    LSTM(Long Short Term Memory) 기반 네트워크
    를 포함하는 인공 신경망 학습 장치.
  16. 제11항에 있어서,
    상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 동시에 학습되거나 상이한 시간에 학습되는
    인공 신경망 학습 장치.
  17. 제11항에 있어서,
    상기 상태 추정 네트워크 및 상기 상태 전이 네트워크는 상이한 비용 함수를 사용하여 학습되는
    인공 신경망 학습 장치.
KR1020170097848A 2017-08-01 2017-08-01 Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치 KR101828215B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170097848A KR101828215B1 (ko) 2017-08-01 2017-08-01 Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170097848A KR101828215B1 (ko) 2017-08-01 2017-08-01 Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101828215B1 true KR101828215B1 (ko) 2018-02-12

Family

ID=61225033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170097848A KR101828215B1 (ko) 2017-08-01 2017-08-01 Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101828215B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200054352A (ko) 2018-11-02 2020-05-20 한국로봇융합연구원 시계열 데이터를 주파수 성분별로 분할하여 복수의 학습 모델을 병렬 처리하는 딥러닝 학습 방법 및 시스템
KR20200063317A (ko) * 2018-11-20 2020-06-05 서울대학교산학협력단 Lstm을 이용한 순환식 수경재배의 양액 다량이온 추정 장치 및 그 방법
KR20200077162A (ko) * 2018-12-20 2020-06-30 주식회사 마인즈랩 제1 신경망을 이용한 제2 신경망 학습 방법 및 컴퓨터 프로그램
CN112036542A (zh) * 2019-06-04 2020-12-04 山东华软金盾软件股份有限公司 一种基于深度学习的cpu占有率的预测方法及系统
KR20210078068A (ko) * 2019-12-18 2021-06-28 (주)씨앤솔루션 섬유 원단의 판매량을 추정하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
US11281969B1 (en) 2018-08-29 2022-03-22 Amazon Technologies, Inc. Artificial intelligence system combining state space models and neural networks for time series forecasting
KR102423998B1 (ko) * 2021-12-23 2022-07-22 농업회사법인 상상텃밭 주식회사 강화학습 ai를 활용한 식물공장 양액제어 시스템 최적화 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Donahue, Jeff, et al. "Long-term recurrent convolutional networks for visual recognition and description." Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference on. IEEE, 2015.*
Srivastava, Nitish, Elman Mansimov, and Ruslan Salakhudinov. "Unsupervised learning of video representations using lstms." International Conference on Machine Learning. 2015.*

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11281969B1 (en) 2018-08-29 2022-03-22 Amazon Technologies, Inc. Artificial intelligence system combining state space models and neural networks for time series forecasting
KR20200054352A (ko) 2018-11-02 2020-05-20 한국로봇융합연구원 시계열 데이터를 주파수 성분별로 분할하여 복수의 학습 모델을 병렬 처리하는 딥러닝 학습 방법 및 시스템
KR20200063317A (ko) * 2018-11-20 2020-06-05 서울대학교산학협력단 Lstm을 이용한 순환식 수경재배의 양액 다량이온 추정 장치 및 그 방법
KR102301629B1 (ko) * 2018-11-20 2021-09-10 서울대학교산학협력단 Lstm을 이용한 순환식 수경재배의 양액 다량이온 추정 장치 및 그 방법
KR20200077162A (ko) * 2018-12-20 2020-06-30 주식회사 마인즈랩 제1 신경망을 이용한 제2 신경망 학습 방법 및 컴퓨터 프로그램
KR102168541B1 (ko) 2018-12-20 2020-10-21 주식회사 마인즈랩 제1 신경망을 이용한 제2 신경망 학습 방법 및 컴퓨터 프로그램
CN112036542A (zh) * 2019-06-04 2020-12-04 山东华软金盾软件股份有限公司 一种基于深度学习的cpu占有率的预测方法及系统
KR20210078068A (ko) * 2019-12-18 2021-06-28 (주)씨앤솔루션 섬유 원단의 판매량을 추정하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR102331158B1 (ko) * 2019-12-18 2021-11-25 주식회사 씨앤에이아이 섬유 원단의 판매량을 추정하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR102423998B1 (ko) * 2021-12-23 2022-07-22 농업회사법인 상상텃밭 주식회사 강화학습 ai를 활용한 식물공장 양액제어 시스템 최적화 방법

Similar Documents

Publication Publication Date Title
KR101828215B1 (ko) Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치
US11741342B2 (en) Resource-efficient neural architects
US20170228639A1 (en) Efficient determination of optimized learning settings of neural networks
KR20190018276A (ko) 모델을 학습하는 방법 및 장치 및 상기 뉴럴 네트워크를 이용한 인식 방법 및 장치
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
US10769551B2 (en) Training data set determination
EP3474274B1 (en) Speech recognition method and apparatus
KR20170034258A (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN113168559A (zh) 机器学习模型的自动化生成
KR20180057300A (ko) 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템
KR102676221B1 (ko) 음성 인식 방법 및 장치
US10909451B2 (en) Apparatus and method for learning a model corresponding to time-series input data
CN106709588B (zh) 预测模型构建方法和设备以及实时预测方法和设备
CN110929114A (zh) 利用动态记忆网络来跟踪数字对话状态并生成响应
WO2020043473A1 (en) Data prediction
WO2020215694A1 (zh) 一种基于深度学习的中文分词方法、装置、存储介质及计算机设备
US10733537B2 (en) Ensemble based labeling
KR102662329B1 (ko) 자동학습 기반 시계열 데이터 예측 및 제어 방법 및 장치
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
CN114072809A (zh) 经由神经架构搜索的小且快速的视频处理网络
CN113330462A (zh) 使用软最近邻损失的神经网络训练
JP2024500459A (ja) マルチ・レベル多目的自動機械学習
KR102561799B1 (ko) 디바이스에서 딥러닝 모델의 레이턴시를 예측하는 방법 및 시스템
US20220207413A1 (en) Loss augmentation for predictive modeling
US11144790B2 (en) Deep learning model embodiments and training embodiments for faster training

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant