KR20180083238A - 고차 장단기메모리 네트워크 시스템 및 방법 - Google Patents

고차 장단기메모리 네트워크 시스템 및 방법 Download PDF

Info

Publication number
KR20180083238A
KR20180083238A KR1020170067827A KR20170067827A KR20180083238A KR 20180083238 A KR20180083238 A KR 20180083238A KR 1020170067827 A KR1020170067827 A KR 1020170067827A KR 20170067827 A KR20170067827 A KR 20170067827A KR 20180083238 A KR20180083238 A KR 20180083238A
Authority
KR
South Korea
Prior art keywords
short
long
networks
memory
memory networks
Prior art date
Application number
KR1020170067827A
Other languages
English (en)
Other versions
KR102269694B1 (ko
Inventor
강인엽
김재영
이정원
모스타파 엘-카미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180083238A publication Critical patent/KR20180083238A/ko
Application granted granted Critical
Publication of KR102269694B1 publication Critical patent/KR102269694B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Logic Circuits (AREA)

Abstract

본 발명에는, 고차 장단기메모리 네트워크 시스템 및 방법이 제공된다. 상기 고차 장단기메모리 네트워크 방법은, 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하고, 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서, 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하되, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 존재하는 고차 장단기메모리 네트워크 방법을 포함한다.

Description

고차 장단기메모리 네트워크 시스템 및 방법{SYSTEM AND METHOD FOR HIGHER ORDER LONG SHORT-TERM MEMORY(LSTM) NETWORK}
본 발명은 일반적으로 인공 뉴럴 네트워크에 관련되어 있고, 구체적으로는 고차 장단기메모리(long short-term memory: LSTM) 네트워크에 관한 시스템 및 방법이다.
머신 러닝(machine learning)에 대한 어플리케이션은 그 장치 주변의 객체 탐지, 분류, 및 인식을 제공하는 장치(예를 들어, 모바일 장치, 보안 장치, 및 자율 주행 차량)에 이용될 수 있다. 머신 러닝에 있어서 장기 상관 관계(long term correlation)를 갖는 순차적 모델링은 해결해야 할 과제이다. 은닉 마르코프 모델(hidden Markov model: HMM)과 같은 전형적인 접근은 중요한 컴퓨팅 자원을 요구하는 장기 의존성(long term dependency)을 개선시키기 위한 상태들의 개수를 기하급수적으로 증가시켜야 한다. 딥 뉴럴 네트워크의 구현에 있어 최근의 발전으로 인해, 언어 모델링, 기계 번역, 머신 비전(machine vision), 및 스피치 교정의 성능은 매우 증가하게 되었다. 다양한 뉴럴 네트워크 모델들 중에서, 반복 뉴럴 네트워크(recurrent neural network: RNN)은 간단한 반복 매커니즘을 이용하여 순차적인 데이터의 장기 의존성(long term dependency)을 포착할 수 있다. RNN을 구현하는데 필요한 아키텍처(architecture)와 컴퓨팅 자원의 복잡도는 전형적인 HMM과 비교하여 훨씬 효율적이다.
그러나, 기울기 소실/폭발(vanishing/exploding gradients) 때문에 RNN 네트워크의 적절한 훈련이 매우 어렵다. 기울기 소실 문제는, 기울기에 기초한 학습 방법 및 역전파를 이용하여 RNN 네트워크를 훈련하는데 어려움이 있다. 기울기 소실이 있을 때, 오류 신호는 기하 급수적으로 감소하고, 초기의 계층(early layer)은 매우 느리게 훈련한다. 불안정성(instability)은 또한 오류 신호를 기하 급수적으로 증가시키는 기울기 폭발을 발생시킬 수 있다. RNN 훈련 문제를 해결 하기위해 많은 시행착오를 겪은 후, 몇몇의 성공적인 딥 뉴럴 네트워크 훈련 아키텍처가 존재한다. 그것들 중 장단기메모리(long short-term memory: LSTM) 네트워크가 가장 유명한 딥 뉴럴 네트워크 아키텍처 중 하나이다. LSTM 네트워크는 정해진 시간 안에 추가적인 기울기 경로를 제공할 수 있는 학습 가능한 게이트 네트워크(gate network)를 제공한다. 그러므로, 게이트 네트워크의 상태에 따라 일부 기울기 경로는 다른 기울기 경로보다 더 오래 살아남을 수 있어 기울기 소실/폭발 문제를 해결할 수 있다.
LSTM 네트워크가 많은 머신 러닝 및 인공 지능 분야에서 유익한 결과를 제공하지만, LSTM 네트워크는 1차 반복 네트워크 아키텍처에 기초한다. 1차 반복 네트워크 아키텍처는 순차적인 데이터의 매우 긴 기간의 의존성을 모델링 하는데에는 한계가 있다.
본 발명이 해결하고자 하는 기술적 과제는, 고차 장단기메모리 네트워크(Higher order long short-term memory: HOLSTM)에 관한 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 고차 장단기메모리 네트워크(Higher order long short-term memory: HOLSTM)에 관한 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 해당 기술분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 몇몇 실시예들에 따르면, 각각의 장단기메모리 네트워크(long short term memory: LSTM)가 서로 다른 네트워크 계층(layer)에 존재하는 복수의 장단기메모리 네트워크를 구성하고, 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서, 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하는 고차 장단기메모리 네트워크 방법이 제공된다.
본 발명의 몇몇 실시예들에 따르면, 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 있는 복수의 장단기메모리 네트워크를 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하되, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하는 고차 장단기메모리 네트워크 방법이 제공된다.
본 발명의 몇몇 실시예들에 따르면, 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 존재하는 복수의 장단기메모리 네트워크를 포함하되, 복수의 메모리 셀(memory cell)은 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서 구성되고, 상기 복수의 메모리 셀(memory cell)은 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서 구성되고, 각각의 상기 복수의 장단기메모리 네트워크의 출력은 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 제어되고, 상기 복수의 메모리 셀은 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 제어되는 고차 장단기메모리 네트워크 장치가 제공된다.
본 발명의 몇몇 실시예들에 따르면, 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 있는 복수의 장단기메모리 네트워크를 포함하되, 상기 복수의 장단기메모리 네트워크를 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 고차 장단기메모리 네트워크 장치가 제공된다.
본 발명의 몇몇 실시예들에 따르면, 적어도 하나의 다른 프로세서를 포함하는 웨이퍼 혹은 패키지의 일부로서 프로세서를 형성하고, 상기 프로세서를 검사하는 것을 포함하되, 상기 프로세서는 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하고, 상기 프로세서를 검사하는 것은, 하나 이상의 전기-광 컨버터(electrical to optical converters), 하나의 광 신호를 둘 이상의 광 신호로 나누는 하나 이상의 분광기(optical splitters), 및 하나 이상의 광-전기 컨버터(optical to electrical converters)를 이용하여 검사하는 것을 포함하는 프로세서를 제조하는 방법이 제공된다.
본 발명의 몇몇 실시예들에 따르면, 집적 회로(integrated circuit; IC)의 계층(layer)에 관한 특징들의 세트(set of features)에 관한 마스크 레이아웃(mask layout)을 생성하는 것을 포함하되, 상기 마스크 레이아웃은 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하는 프로세서(processor)를 포함하는 하나 이상의 회로 특징들에 관한 표준 셀 라이브러리(standard cell library) 매크로(macro)들을 포함하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하는 집적 회로를 구성하는 방법이 제공된다.
도 1은 본 발명의 몇몇 실시예들에 따른 네트워크 환경에서의 전자장치의 블록도이다.
도 2는 본 발명의 몇몇 실시예들에 따른 축적된/비축적된 2D HOLSTM 네트워크의 예시적인 도면이다.
도 3은 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크의 예시적인 순서도이다.
도 4는 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크를 구현하는 프로세서를 테스트하는 방법에 관한 순서도이다.
도 5는 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크를 구현하는 프로세서를 제조하는 방법에 대한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 표시된 구성요소의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하며, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
비록 제1, 제2 등이 다양한 소자나 구성요소들을 서술하기 위해서 사용되나, 이들 소자나 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자나 구성요소를 다른 소자나 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자나 구성요소는 본 발명의 기술적 사상 내에서 제2 소자나 구성요소 일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 몇몇 실시예들에 따른 네트워크 환경에서의 전자장치의 블록도이다.
도 1을 참조하면, 전자장치(electronic device, 100)는, 통신 블록(communication block, 110), 프로세서(processor, 120), 메모리(memory, 130), 디스플레이(display, 150), 입/출력 블록(input/output block, 160), 오디오 블록(audio block, 170) 및 이미지 센서(image sensor, 180)를 포함하지만 이에 한정되지는 않는다. 전자장치(100)는 스마트폰(smart phone), 태블릿(tablet) 또는 PC(personal computer)를 포함하는 휴대용 전자장치를 포함할 수 있다. 그러나 이에 한정되지는 않는다. 전자장치(100)는 또한 자동차(automobile), 기차(train), 비행기(airplane), 자율주행차(autonomous vehicle), 드론(drone), 자전거(bicycle), 모터싸이클(motorcycle)을 포함하는 운송 수단을 포함할 수 있다. 그러나 이에 한정되지는 않는다.
전자장치(100)는, 이 전자장치(100)를 음성/데이터 통신을 위해 다른 전자장치나 네트워크에 연결하는 통신블록(110)을 포함한다. 통신블록(110)은, 일반 패킷 무선서비스(general packet radio service; GPRS), 에지(enhanced data rates for GSM evolution; EDGE), 셀룰러(cellular), 광역(wide area), 로컬 영역(local area), 개인 영역(personal area), 근접장(near field), 장치 대 장치(device to device; D2D), 기계 대 기계(machine to machine; M2M), 위성(satellite), 향상된 모바일 광대역(enhanced mobile broadband; eMBB), 대량 기계형 통신(massive machine type communication; mMTC), 초신뢰성 저지연 통신(ultra-reliable low latency communication; URLLC), 협대역 사물인터넷(narrowband Internet of things; NB-IoT), 및 단거리 통신(short range communication)을 제공한다. 통신블록(110)의 기능, 또는 트랜시버(113)를 포함하는 통신블록(110)의 일부의 기능은, 칩셋(chipset)으로 구현될 수 있다. 특히, 셀룰러 통신 블록(cellular communications block, 112)은, 지상 기지국(terrestrial base transceiver station)을 통하거나 직접적으로, 다른 전자장치들로의 광역 네트워크 접속(wide area network connection)을 제공한다. 이를 제공하기 위해, 2세대(second generation; 2G), GPRS, EDGE, D2D, LTE(long term evolution), 5세대(fifth generation; 5G), LTE-A(long term evolution advanced), CDMA(code division multiple access), WCDMA(wide code division multiple access), 범용 이동 통신 시스템(universal mobile telecommunications system; UMTS), 무선 광대역(wireless broadband; WiBro), 및 GSM(global system for mobile communication)과 같은 기술을 이용한다. 상기 셀룰러 통신 블록(112)은 칩셋(chipset)과 트랜시버(113)를 포함하나, 이에 한정되지는 않는다. 상기 트랜시버(113)는 트랜스미터(transmitter)와 리시버(receiver)를 포함하나, 이에 한정되지는 않는다. 와이파이(wireless fidelity: WiFi) 통신 블록(114)은, IEEE 802.11 같은 기술들을 이용하여, 네트워크 액세스 포인트를 통해 로컬 영역 네트워크 접속을 제공한다. 블루투스(Bluetooth) 통신 블록(116)은, IEEE802.15 같은 기술들을 이용하여, 개인 영역(personal area)에 직접적/네트워크화 된 통신을 제공한다. 근거리 통신(near field communications; NFC)블록(118)은, ISO/IEC 14443과 같은 표준들을 이용하여, 점 대 점 단거리 통신(point to point short range communications)을 제공한다. 상기 통신 블록(110)은 GNSS 리시버(119) 역시 포함한다. 상기 GNSS 리시버(119)는 위성 트랜스미터(satellite transmitter)로부터의 신호를 수신하는 것을 지원한다.
상기 전자장치(100)는, 기능 블록(functional block)들을 동작시키기 위해, 전원 공급 장치(power supply)로부터 전력(electrical power)을 수신할 수 있다. 상기 전원 공급 장치는 배터리(battery)를 포함하지만 이에 한정되지는 않는다.
상기 프로세서(120)는 전자장치(100)의 사용자에 의해 요구되는 응용 계층 처리 기능(application layer processing functions)을 제공한다. 또한, 상기 프로세서(120)는, 전자장치(100)에 있는 다양한 블록들에 대한, 명령 및 제어 기능(command and control functionality)을 제공한다. 상기 프로세서(120)는, 기능 블록이 요구하는 제어 기능을 갱신(updating)하는 것을 제공한다. 상기 프로세서(120)는 HOLSTM 네트워크 또는 2D HOLSTM 네트워크가 요구하는 리소스(resource)를 제공할 수 있다.
메모리(130)는, 장치 제어 프로그램 코드(device control program code), 사용자 데이터 저장(user data storage), 어플리케이션 코드(application code), 및 데이터 저장(data storage)를 위한, 저장공간을 제공한다. 상기 메모리(130)는, 셀룰러 통신 블록(112)이 요구하는, 펌웨어, 라이브러리, 데이터베이스, 룩업 테이블, 알고리즘(algorithms), 방법(methods), 채널 추정 파라미터(channel estimation parameters), 및 교정 데이터(calibration data)를 위한 데이터 저장공간을 제공할 수 있다. 메모리(130)는 이미지 센서(180)에 의해 캡쳐된 이미지들을 저장하기 위한 공간을 제공할 수 있다. 이미지 센서(180)가 요구하는 프로그램 코드 및 데이터베이스는 장치를 부팅할 때 메모리(130)으로부터 로컬 스토리지(local storage)로 로딩될 수 있다.
디스플레이(150)는 터치 패널일 수 있고, 액정 표시 장치(liquid crystal display; LCD), 유기 발광 다이오드(organic light emitting diode; OLED) 표시 장치, 능동 구동형 유기 발광 다이오드(active matrix OLED; AMOLED) 표시 장치, 및 이와 비슷한 장치일 수 있다. 상기 입/출력 블록(160)은, 전자장치(100)의 사용자에 대한 인터페이스(interface)를 제어한다. 상기 오디오 블록(170)은 오디오 입/출력을 상기 전자 장치(100)로 제공하고, 상기 전자 장치(100)로부터의 오디오 입/출력을 제공한다.
이미지 센서(180)가 정지 이미지(still image)와 움직이는 이미지(moving image)를 캡쳐(capture)할 수 있다. 이미지 센서(180)는 인간의 눈에 보이는 전자기 스펙트럼(electromagnetic spectrum)의 가시 스펙트럼(visible spectrum) 부분의 이미지를 캡쳐할 수 있다. 이미지 센서(180)는 적외선 및 자외선을 포함하여, 전자기 스펙트럼의 가시 스펙트럼 부분 밖의 이미지도 캡쳐할 수 있다. 이미지 센서(180)는 상보형 금속 산화 반도체(complementary metal oxide semiconductor: CMOS) 타입 또는 전하 결합 소자(charge coupled device: CCD) 타입일 수 있고, 이미지 포커싱 렌즈(image focusing lens) 및 이미지 줌 기능(image zoom function)을 포함할 수 있다. 이미지 센서(180)는 또한 메모리와 로컬 프로세서와 프로세서(120)에 대한 인터페이스를 포함할 수 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 시스템 및 방법은 일차 LSTM 네트워크의 고차 일반화(higher-order generalization)를 제공할 수 있다. LSTM 네트워크의 복잡한 구조때문에, 다양한 유형의 고차 LSTM(higher-order LSTM: HOLSTM) 네트워크가 본 명세서에서 제공된다. 본 발명의 시스템 및 방법은 공간 영역(spatial domain)과 시간 영역(temporal domain)에서 고차 커넥션(higher-order connection)이 제공되는 이차원(two dimensional: 2D)의 HOLSTM 네트워크를 더 제공할 수 있다.
고차 RNN(higher-order RNN: HORNN)은 1부터 N까지의 모든 이전 시간(previous time) 단계를 포함할 수 있다. 여기에서, N은 HORRN의 차수이다. HORRN은 수학식 1에 나타난 바와 같이 시간 인덱스(time indices)의 하위 선택을 허용함으로써 일반화될 수 있다.
[수학식 1]
Figure pat00001
여기에서, g (·) 는 시그모이드(sigmoid)나 ReLU(rectified linear unit)과 같은 비선형 엑티베이션 함수(nonlinear activation function)이고, h t 는 새로운 상태이고, h t-1 는 이전 상태이고, W hn 와 W xh 는 가중치 행렬이고, x t 는 입력이다.
상기 수학식 1은 HORNN이 적은 수의 고차 커넥션(higher-order connection)을 갖는 반복적인 피드백 경로(recurrent feedback path)를 사용하도록 허용할 수 있다.
본 발명의 몇몇 실시예에 따른 HOLSTM 네트워크는 장 기간의 네트워크의 의존성(dependency)을 훈련하는데 도움이 되는 LSTM 반복 업데이트(recurrent update)에 관한 다양한 과거 히스토리(past history)를 제공할 수 있다. LSTM 네트워크는 시간 영역(temporal domain)에서 HOLSTM 네트워크로 일반화될 수 있다. 본 발명의 몇몇 실시예들에 따르면, HOLSTM 네트워크 식(equation)은 새로운 상태 h t 의 모든 의존성이 이전의 상태 h t-n 의 서브-세트(sub-set)로 대체되도록 수정될 수 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 LSTM 입력 경로(LSTM input path)로부터 고차 커넥션(higher-order connection)을 확장할 수 있다. 수학식 2 내지 수학식 7에 보여지는 바와 같이, 본 발명의 HOLSTM 네트워크는 고차 피드백 경로(higher-order feedback path)를 메모리 셀 반복 입력(memory cell recurrent input) j t L +1 에 추가할 수 있다.
[수학식 2]
input gate
Figure pat00002
[수학식 3]
forget gate
Figure pat00003
[수학식 4]
new input
Figure pat00004
[수학식 5]
cell activation register
Figure pat00005
[수학식 6]
cell output activation
Figure pat00006
[수학식 7]
output gate
Figure pat00007
여기에서 L 은 계층 인덱스(layer index)이고, t 는 시간 인덱스(time index)이고, c t L +1 은 시간 t 에서 L+ 1 번째 계층의 메모리 셀(memory cell)이고, h t L+1 은 시간 t 에서 L+ 1 번째 계층의 LSTM 출력을 의미한다.
상기 수학식 4는 고차 피드백
Figure pat00008
가 서브 샘플링되어(sub-sampled) j t L +1 에서 합산되어 상기 수학식 1의 HORRN 일반화를 따르는 것을 보여준다. j t L + 1 는 각 요소들에 대한 입력 게이트와 더 곱해지고 메모리 셀 c t L +1 에 더해진다. 고차 피드백
Figure pat00009
는 서브 샘플링되어 j t L +1 에서 합산된다. 그리고 j t L +1 는 c t L +1 업데이트에 대한 입력이다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 내부 셀 메모리로부터 고차 커넥션(higher-order connection)을 확장할 수 있다. 본 발명의 HOLSTM 네트워크는 시간 영역(temporal domain)에서 하이웨이 경로(highway path)로써 내부 메모리 셀을 활용하는 LSTM의 원리에 따라,
Figure pat00010
를 사용하는 것 대신
Figure pat00011
를 고차 하이웨이 피드백(higher-order highway feedback)으로 사용할 수 있다. 본 발명의 HOLSTM은 고차 하이웨이 확장(higher-order highway extension)을 위해 내부 메모리 구조(internal memory structure)를 수학식 8 및 수학식 9에 보여지는 것처럼 수정할 수 있다.
[수학식 8]
Figure pat00012
[수학식 9]
Figure pat00013
여기에서,
Figure pat00014
는 시간 t-n 단계로부터 반복 하이웨이 경로이고,
Figure pat00015
는 대응하는 게이트 네트워크이다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 입력 게이트 i t l +1 를 고차 하이웨이 경로에 대한 게이트 네트워크로 재사용할 수 있다. 각 파라미터 행렬 W hn L +1 은 대응하는 하이웨이 경로를 스케일링(scaling)하는데 이용될 수 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 각 하이웨이 경로에 대해 분리된 게이트 네트워크를 제공할 수 있다. 각 게이트 네트워크는 다른 게이트 네트워크와 동일하게 훈련된다. 복잡도의 관점에서, 다양한 파라미터 행렬들이 각 게이트 네트워크를 위해 요구되기 때문에, 본 발명의 HOLSTM 네트워크는 조금 더 많은 파라미터들의 훈련을 요구할 수 있다. 그러나, 구조적 관점으로부터, 본 발명의 HOLSTM 네트워크는 모든 하이웨이 경로가 게이트 네트워크로 동일하게 취급되기 때문에, 상대적으로 일관된 아키텍처(architecture)를 제공할 수 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 하이브리드 피드포워드-반복 딥 뉴럴 네트워크(hybrid feedforward-recurrent deep neural netowrk) 구조로부터 고차 커넥션을 확장할 수 있다. 하이웨이 경로 아이디어의 핵심 아이디어는, 게이트가 새로운 정보 소스(information source)로부터 얼마나 많은 정보를 추가할지 제어하는 것이다. 만약 하이웨이 게이트가 실행된다면, 이전 시간 n* 로부터의 시간 하이웨이 게이트(time highway gate)가 정의될 필요가 있다. 시간 하이웨이 게이트는 특정 시간에서의 하이웨이 게이트를 의미한다. 본 발명의 몇몇 실시예들에 따르면, 본 발명의 HOLSTM 네트워크는 수학식 10에서
Figure pat00016
를 정의함으로써, 다른 먼 공간 입력으로부터 대신, 두번째 하이웨이 게이트 m이 시간 t-n* 으로부터 오도록, 하이브리드 LSTM 네트워크 아키텍처를 하이웨이 커넥션 네트워크로 수정할 수 있다.
[수학식 10]
Figure pat00017
하이브리드 피드포워드-반복 딥 뉴럴 네트워크 구조는 U.S. Patent Application No. 15/343,882의 "System and Method for Information Highways in a Hybrid Feedforward-Recurrent Deep network"에 설명되어 있다. 나머지 하이브리드 피드포워드-반복 딥 뉴럴 네트워크 구조 식은 동일하게 유지된다. 여기에서, m t 는 이전 상태와 시간 t-n* 에서의 상태 사이의 상태 보간(interpolation of a state)이다. 그리고, m t 는 x t 및 셀 컨텐츠(cell contents) c t-1 와 함께, 시간 하이웨이 게이트 y t 를 계산하는데 이용된다. 이 방법에서, 하이브리드 피드포워드-반복 딥 뉴럴 네트워크 구조는 두개의 하이웨이 게이트를 제공할 수 있고, 수학식 11내지 20에서 정의되는 바와 같이, 하나는 공간 하이웨이 게이트(spatial highway gate)이고, 다른 하나는 시간 하이웨이 게이트(temporal highway gate)이다.
[수학식 11]
input
Figure pat00018
[수학식 12]
input gate
Figure pat00019
[수학식 13]
forget gate
Figure pat00020
[수학식 14]
new input register
Figure pat00021
[수학식 15]
cell output activation register
Figure pat00022
[수학식 16]
highway gate
Figure pat00023
[수학식 17]
interpolation of state
Figure pat00024
[수학식 18]
highway gate for a distant signal
Figure pat00025
[수학식 19]
cell activation register
Figure pat00026
[수학식 20]
output gate
Figure pat00027
상기 수학식 10은 먼 입력(distant input)이, 시간 t-n* 에서 출력 대신, 시간 t-n* 에서의 셀 컨텐츠(cell contents)로부터 오도록 변경될 수 있다.
Figure pat00028
는 수학식 21로 변경될 수 있다.
[수학식 21]
Figure pat00029
2개의 다른 시간에서의 셀 컨텐츠로부터 먼 입력이 오는 두가지 경우 모두, 공간 하이웨이 커넥션(spatial highway connection)이 필요하지 않고 시간 하이웨이 게이트만 유지된다면, 공간 게이트
Figure pat00030
를 낮추어 HOLSTM만 사용하도록 변경시킬 수 있다.
Figure pat00031
또는
Figure pat00032
는 먼 시간 하이웨이 경로(distant temporal highway path)로 사용될 수 있다.
본 발명의 HORNN 네트워크 및 HOLSTM 네트워크는 각각 2 차원의 고차 RNN(2-dimensional higher-order RNN: 2D HORNN) 및 2차원의 고차 LSTM(2-dimensional higher-order LSTM: 2D HOLSTM)으로 확장될 수 있다. 이 확장은 고차 공간 영역(higher-order spatial domain)을 추가함으로써 만들어진다. 그러므로, 본 발명의 HOLSTM 네트워크는 공간 영역과 시간 영역에 고차 커넥션을 제공함으로써 2D HOLSTM 네트워크로 더 일반화될 수 있다. 2D 하이웨이 경로는 서브-샘플링되어 상기 수학식 1의 파라미터의 개수를 감소시킬 수 있다. 공간 및 시간 고차 커넥션은 별개의 변수로 분리될 수도 있고, 공통 변수로 합쳐질 수도 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 2D 메모리 셀 HOLSTM 네트워크는 공간 영역 및 시간 영역에 대한 내부 메모리 셀을 재사용할 수 있다. 그러므로 상기 수학식 8의 반복적인 업데이트는 수학식 22에 나타나는 바와 같이 시간 영역과 공간 영역에 대한 이중 합계(double summation)로 변경될 수 있다.
[수학식 22]
Figure pat00033
여기에서, n 은 시간 영역에 대한 인덱스이고, k 는 공간 영역에 대한 인덱스이다. 구체적으로, k 는 네트워크의 k 번째 계층을 나타낸다. 또한, 게이트 네트워크는 수학식 23에서 보여지는 바와 같이 공간 영역에 대해 확장되는 것이 필요하다.
[수학식 23]
Figure pat00034
여기에서, 수학식 22를 풀지 않으면 셀프-루프(self-loop)가 불가능하기 때문에,
Figure pat00035
는 항상 0이다. 게다가 앞서 설명한바와 같이, n 과 k 는 미리 결정된(pre-determined) 값들의 서브-세트(sub-set)로부터 선택될 수 있을 것이다.
나머지 업데이트된 식들은 수학식 24 내지 수학식 28에서 보여진다.
[수학식 24]
Figure pat00036
[수학식 25]
Figure pat00037
[수학식 26]
Figure pat00038
[수학식 27]
Figure pat00039
[수학식 28]
Figure pat00040
본 발명의 2D 메모리 셀 HOLSTM은 시간 영역과 공간 영역에 대한 내부 메모리 셀을 재사용할 수 있다. 메모리 셀의 싱글 인스턴스(single instance)가 시간 영역과 공간 영역의 기울기 소실/폭발(vanishing/exploding gradients)을 모두 다루어야 하기 때문에, 네트워크 훈련은 고차 LSTM에 대해 더욱 어려울 수 있다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 축적된 2D HOLSTM 네트워크는 네트워크 훈련을 향상시킬 수 있는 서로 다른 업데이트 변수들을 사용하여 시간 영역과 공간 영역의 반복적 업데이트를 분리시킬 수 있다. 축적된 2D HOLSTM에 대한 반복적인 업데이트는 수학식 29 및 수학식 30에서 보여진다.
[수학식 29]
Figure pat00041
[수학식 30]
Figure pat00042
수학식 29는 시간 영역에서의 고차 축적(higher-order accumulation)이 메모리 셀 c t l +1 에서 수행되는 것을 보여준다. 공간 영역 하이웨이 커넥션을 위해, h t l +1 는 수학식 30에 따라, 모든 이전 시간과 계층 하이웨이 경로를 축적한다. 나머지 업데이트된 식은 수학식 31 내지 수학식 34에서 보여진다.
[수학식 31]
Figure pat00043
[수학식 32]
Figure pat00044
[수학식 33]
Figure pat00045
[수학식 34]
Figure pat00046
도 2는 본 발명의 몇몇 실시예들에 따른 축적된/비축적된 2D HOLSTM 네트워크의 예시적인 도면이다.
도 2를 참조하면, 축적된/비축적된 2D HOLSTM 네트워크는 계층(layer) l+1 (202), 계층 l (208), 시간 영역 하이웨이 커넥션(temporal domain highway connection, 238), 공간 영역 하이웨이 커넥션(spatial domain highway connection, 240), 시간 t-2 에서 계층 l+ 1 로부터의 출력
Figure pat00047
(216), 시간 t-1 에서 계층 l+ 1 로부터의 출력
Figure pat00048
(220), 시간 t 에서 계층 l+ 1 로부터의 출력
Figure pat00049
(224), 시간 t-2 에서 계층 l 로부터의 출력
Figure pat00050
(228), 시간 t-1 에서 계층 l 로부터의 출력
Figure pat00051
(232), 시간 t 에서 계층 l 로부터의 출력
Figure pat00052
(236), 시간 t-2 에서 계층 l+ 1 의 메모리 셀
Figure pat00053
(214), 시간 t-1 에서 계층 l+ 1 의 메모리 셀
Figure pat00054
(218), 시간 t 에서 계층 l+ 1 의 메모리 셀
Figure pat00055
(222), 시간 t-2 에서 계층 l 의 메모리 셀
Figure pat00056
(226), 시간 t-1 에서 계층 l 의 메모리 셀
Figure pat00057
(230), 시간 t 에서 계층 l 의 메모리 셀
Figure pat00058
(234)를 포함할 수 있다.
본 발명의 몇몇 실시예들에 따르면, 출력
Figure pat00059
(224)는 공간 영역 하이웨이 커넥션(240)을 이용해서, 이전 계층 l (previous layer l , 208)로부터의 출력
Figure pat00060
(236), 이전 계층 l (208)로부터의 출력
Figure pat00061
(232), 그리고 이전 계층 l (208)로부터의 출력
Figure pat00062
(228)을 축적한다. 출력
Figure pat00063
(220)는 공간 영역 하이웨이 커넥션 (240)을 이용해서, 이전 계층 l (208)로부터의 출력
Figure pat00064
(232)와 이전 계층 l (208)로부터의 출력
Figure pat00065
(228)을 축적한다. 출력
Figure pat00066
(216)은 공간 영역 하이웨이 커넥션(240)을 이용하여 이전 계층 l (208)로부터의 출력
Figure pat00067
(228)을 축적한다.
본 발명의 몇몇 실시예들에 따르면, 메모리 셀
Figure pat00068
(222)는 시간 영역 하이웨이 커넥션 (238)을 이용하여, 이전 시간 t- 1 로부터의 메모리 셀
Figure pat00069
(218)과 이전 시간 t- 2 로부터의 메모리 셀
Figure pat00070
(214)를 축적한다. 메모리 셀
Figure pat00071
(218)은 시간 영역 하이웨이 커넥션 (238)을 이용하여, 이전 시간 t- 2 로부터의 메모리 셀
Figure pat00072
(214)를 축적한다. 메모리 셀
Figure pat00073
(234)는 시간 영역 하이웨이 커넥션 (238)을 이용하여, 이전 시간 t- 1 로부터의 메모리 셀
Figure pat00074
(230)과 이전 시간 t- 2 로부터의 메모리 셀
Figure pat00075
(226)을 축적한다. 메모리 셀
Figure pat00076
(230)은 시간 영역 하이웨이 커넥션 (238)을 이용하여, 이전 시간 t-2 로부터의 메모리 셀
Figure pat00077
(226)을 축적한다.
본 발명의 몇몇 실시예들에 따르면, 본 발명의 비축적된(non-accumulated) 2D HOLSTM 네트워크는 본 발명의 축적된 2D HOLSTM 네트워크와는 다른 LSTM 입력에서 공간 영역 추가를 제공한다. 그러나, 본 발명의 비축적된 2D HOLSTM 네트워크 아키텍처는 또한 공간 영역과 시간 영역 하이웨이 커넥션을 위해 내부 메모리 셀을 재사용할 수 있다. 이는 2D 메모리 셀 HOLSTM과 유사한 훈련 과제(training challenge)일 수 있다. 반복 식(recurrent equation)은 수학식 35 와 수학식 36에서 설명될 수 있다.
[수학식 35]
Figure pat00078
[수학식 36]
Figure pat00079
수학식 35에서,
Figure pat00080
는
Figure pat00081
으로부터의 시간 하이웨이 경로와
Figure pat00082
의 쌍곡 탄젠트(hyperbolic tangent)로부터의 공간 하이웨이 경로를 갖는다.
도 3은 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크의 예시적인 순서도이다.
도 3을 참조하면, 본 발명의 2D HOLSTM 은 복수의 장단기메모리 네트워크를 구성하되, 각각의 복수의 LSTM 네트워크는 서로 다른 네트워크 계층에 존재할 수 있다(301). 본 발명의 2D HOLSTM은 복수의 LSTM 네트워크의 공간 영역에서 복수의 메모리 셀을 구성할 수 있다(302). 본 발명의 2D HOLSTM 네트워크는 복수의 LSTM 네트워크의 시간 영역에서 복수의 메모리 셀을 구성할 수 있다(303). 본 발명의 2D HOLSTM은 복수의 LSTM 네트워크의 적어도 하나의 이전 계층과 복수의 LSTM 네트워크의 적어도 하나의 이전 시간으로부터의 출력에 관한 하이웨이 커넥션에 기초하여, 각각의 복수의 LSTM 네트워크의 출력을 제어할 수 있다(304). 본 발명의 2D HOLSTM은 적어도 하나의 이전 시간으로부터의 메모리 셀에 관한 하이웨이 커넥션에 기초하여 복수의 메모리 셀을 제어할 수 있다(305).
도 4는 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크를 구현하는 프로세서를 테스트하는 방법에 관한 순서도이다. 프로세서는 하드웨어 또는 소프트웨어로 프로그램된 하드웨어로 구현될 수 있다.
도 4를 참조하면, 적어도 하나의 다른 프로세서를 포함하는 웨이퍼 혹은 패키지의 일부로서 프로세서를 형성한다(401). 상기 프로세서는 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어한다.
프로세서를 검사한다(403). 프로세서를 검사하는 것은, 하나 이상의 전기-광 컨버터(electrical to optical converters), 하나의 광 신호를 둘 이상의 광 신호로 나누는 하나 이상의 분광기(optical splitters), 및 하나 이상의 광-전기 컨버터(optical to electrical converters)를 이용하여 검사한다.
도 5는 본 발명의 몇몇 실시예들에 따른 2D HOLSTM 네트워크를 구현하는 프로세서를 제조하는 방법에 대한 순서도이다.
도 5를 참조하면, 집적 회로(integrated circuit; IC)의 계층(layer)에 관한 특징들의 세트(set of features)에 관한 마스크 레이아웃(mask layout)을 생성한다(501). 마스크 레이아웃은 프로세서를 포함하는 하나 이상의 회로 특징들에 관한 표준 셀 라이브러리(standard cell library) 매크로(macro)들을 포함한다. 프로세서는 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어한다.
마스크 레이아웃을 생성하는 동안 레이아웃 디자인 룰을 준수하는지에 관한 매크로들의 상대적인 위치는 무시한다(502).
마스크 레이아웃을 생성한 후, 레이아웃 디자인 규칙들을 준수하는지 매크로의 상대적 위치를 확인한다(503).
어떤 매크로들에 의해 레이아웃 디자인 규칙들을 준수하지 않는 것이 검출된 경우, 각각의 레이아웃 디자인 규칙들을 준수하지 않는 매크로들을, 레이아웃 디자인 규칙들을 준수하도록 수정함으로써, 마스크 레이아웃을 수정하고, 집적회로의 계층에 관한 특징들의 세트(set of features)를 갖는 수정된 마스크 레이아웃에 따라, 마스크를 생성하고, 마스크에 따라 집적회로의 계층을를 제조한다(504).
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 전자 장치
110: 통신 블록

Claims (20)

  1. 각각의 장단기메모리 네트워크(long short term memory: LSTM)가 서로 다른 네트워크 계층(layer)에 존재하는 복수의 장단기메모리 네트워크를 구성하고,
    상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서, 복수의 메모리 셀(memory cell)을 구성하고,
    상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고,
    상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고,
    상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하는 고차 장단기메모리 네트워크 방법.
  2. 제 1항에 있어서,
    분리된 변수(separate variables)를 이용하여 상기 공간 영역에서 상기 복수의 메모리 셀을 구성하고 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것을 더 포함하는 고차 장단기메모리 네트워크 방법.
  3. 제 2항에 있어서,
    상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록(function block)
    Figure pat00083
    에 기초하되,
    Figure pat00084
    은 게이트 네트워크(gate network)이고,
    Figure pat00085
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 이전 시간의 셀 액티베이션(cell activation)이고,
    Figure pat00086
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트(input gate)이고,
    Figure pat00087
    Figure pat00088
    를 만족하되, n 은 상기 시간 영역에 대한 인덱스(index)이고,
    Figure pat00089
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제1 가중치 행렬(weight matrix)이고,
    Figure pat00090
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00091
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제2 가중치 행렬이고,
    Figure pat00092
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트(output gate)이고,
    Figure pat00093
    은 상기 복수의 장단기메모리 네트워크 중 하나의 학습가능한 바이어스 값(learnable bias value)인 고차 장단기메모리 네트워크 방법.
  4. 제 2항에 있어서,
    상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00094
    에 기초하되,
    n 은 상기 시간 영역의 인덱스이고,
    Figure pat00095
    은 게이트 네트워크이고,
    Figure pat00096
    는 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 셀 엑티베이션(cell activation)이고,
    Figure pat00097
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트(input gate)이고,
    Figure pat00098
    는 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00099
    는 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00100
    는 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된(pre-determined) 바이어스 값인 고차 장단기메모리 네트워크 방법.
  5. 제 2항에 있어서,
    상기 공간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00101
    에 기초하되,
    Figure pat00102
    은 셀 출력 엑티베이션(cell output activation)이고,
    Figure pat00103
    은 이전 상태(previous state)와 시간 t-n 에서의 상태간의 상태 보간(interpolation of a state)이고, n 은 상기 시간 영역에 대한 인덱스이고, k 는 상기 공간 영역에 대한 인덱스이고,
    Figure pat00104
    은 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬(weight matrix)이고,
    Figure pat00105
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전시간의 출력 게이트(output gate)인 고차 장단기메모리 네트워크 방법.
  6. 제 2항에 있어서,
    상기 공간 영역에서 상기 복수의 메모리 셀을 구성하는 것은, 함수 블록
    Figure pat00106
    에 기초하되,
    Figure pat00107
    은 게이트 네트워크이고,
    Figure pat00108
    은 셀 출력 엑티베이션이고, n 은 상기 시간 영역에 대한 인덱스이고, k 는 상기 공간 영역에 대한 인덱스이고,
    Figure pat00109
    는 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00110
    는 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트이고,
    Figure pat00111
    은 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된 바이어스 값인 고차 장단기메모리 네트워크 방법.
  7. 제 1항에 있어서,
    상기 공간 영역 및 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하기 위해 변수를 조합하는 것을 더 포함하되,
    상기 공간 영역 및 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00112
    에 기초하되,
    Figure pat00113
    은 게이트 네트워크이고,
    Figure pat00114
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 셀 엑티베이션이고,
    Figure pat00115
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트이고,
    Figure pat00116
    은 상기 복수의 장단기 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00117
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00118
    은 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된 바이어스 값인 고차 장단기메모리 네트워크 방법.
  8. 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 있는 복수의 장단기메모리 네트워크를 구성하고,
    상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고,
    상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고,
    상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하되,
    각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하는 고차 장단기메모리 네트워크 방법.
  9. 제 8항에 있어서,
    입력 게이트
    Figure pat00119
    는 상기 적어도 하나의 고차 피드백 경로에 대한 게이트 네트워크로서 사용되고, 상기 적어도 하나의 고차 피드백 경로는 내부의 셀 메모리(internal cell memory) 함수 블록
    Figure pat00120
    로부터 오고, 상기 적어도 하나의 고차 피드백 경로는 공간 영역 게이트(spatial domain gate) 함수 블록
    Figure pat00121
    로부터 오고,
    Figure pat00122
    는 상태 보간(interpolation of a state)
    Figure pat00123
    이고,
    Figure pat00124
    를 만족하되,
    t 는 현재 시간 인덱스이고, l 은 각각의 상기 복수의 장단기메모리 네트워크에 대한 인덱스이고, n 은 이전 시간에 대한 인덱스이고, h 는 시간 t-n* 에서의 상기 복수의 장단기메모리 네트워크의 계층 L+ 1 로부터의 출력 게이트이고,
    Figure pat00125
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제1 가중치 행렬(weight matrix)이고,
    Figure pat00126
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제2 가중치 행렬이고,
    Figure pat00127
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트이고,
    Figure pat00128
    은 상기 복수의 장단기메모리 네트워크 중 하나의 학습가능한 바이어스 값인 고차 장단기메모리 네트워크 방법.
  10. 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 존재하는 복수의 장단기메모리 네트워크를 포함하되,
    복수의 메모리 셀(memory cell)은 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서 구성되고,
    상기 복수의 메모리 셀(memory cell)은 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서 구성되고,
    각각의 상기 복수의 장단기메모리 네트워크의 출력은 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 제어되고,
    상기 복수의 메모리 셀은 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 제어되는 고차 장단기메모리 네트워크 장치.
  11. 제 10항에 있어서,
    분리된 변수를 이용하여 상기 공간 영역에서 상기 복수의 메모리 셀을 구성하고 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것을 더 포함하는 고차 장단기메모리 네트워크 장치.
  12. 제 11항에 있어서,
    상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록(function block)
    Figure pat00129
    에 기초하되,
    Figure pat00130
    은 게이트 네트워크(gate network)이고,
    Figure pat00131
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 이전 시간의 셀 액티베이션(cell activation)이고,
    Figure pat00132
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트(input gate)이고,
    Figure pat00133
    Figure pat00134
    를 만족하되, n 은 상기 시간 영역에 대한 인덱스(index)이고,
    Figure pat00135
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제1 가중치 행렬(weight matrix)이고,
    Figure pat00136
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00137
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제2 가중치 행렬이고,
    Figure pat00138
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트(output gate)이고,
    Figure pat00139
    은 상기 복수의 장단기메모리 네트워크 중 하나의 학습가능한 바이어스 값(learnable bias value)인 고차 장단기메모리 네트워크 장치.
  13. 제 11항에 있어서,
    상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00140
    에 기초하되,
    n 은 상기 시간 영역의 인덱스이고,
    Figure pat00141
    은 게이트 네트워크이고,
    Figure pat00142
    는 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 셀 엑티베이션(cell activation)이고,
    Figure pat00143
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트(input gate)이고,
    Figure pat00144
    는 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00145
    는 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00146
    는 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된(pre-determined) 바이어스 값인 고차 장단기메모리 네트워크 장치.
  14. 제 11항에 있어서,
    상기 공간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00147
    에 기초하되,
    Figure pat00148
    은 셀 출력 엑티베이션(cell output activation)이고,
    Figure pat00149
    은 이전 상태(previous state)와 시간 t-n 에서의 상태간의 상태 보간(interpolation of a state)이고, n 은 상기 시간 영역에 대한 인덱스이고, k 는 상기 공간 영역에 대한 인덱스이고,
    Figure pat00150
    은 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬(weight matrix)이고,
    Figure pat00151
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전시간의 출력 게이트(output gate)인 고차 장단기메모리 네트워크 장치.
  15. 제 11항에 있어서,
    상기 공간 영역에서 상기 복수의 메모리 셀을 구성하는 것은, 함수 블록
    Figure pat00152
    에 기초하되,
    Figure pat00153
    은 게이트 네트워크이고,
    Figure pat00154
    은 셀 출력 엑티베이션이고, n 은 상기 시간 영역에 대한 인덱스이고, k 는 상기 공간 영역에 대한 인덱스이고,
    Figure pat00155
    는 상기 복수의 장단기메모리 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00156
    는 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트이고,
    Figure pat00157
    은 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된 바이어스 값인 고차 장단기메모리 네트워크 장치.
  16. 제 10항에 있어서,
    상기 공간 영역 및 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하기 위해 변수를 조합하는 것을 더 포함하되,
    상기 공간 영역 및 상기 시간 영역에서 상기 복수의 메모리 셀을 구성하는 것은 함수 블록
    Figure pat00158
    에 기초하되,
    Figure pat00159
    은 게이트 네트워크이고,
    Figure pat00160
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 셀 엑티베이션이고,
    Figure pat00161
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력 게이트이고,
    Figure pat00162
    은 상기 복수의 장단기 네트워크 중 하나의 가중치 행렬이고,
    Figure pat00163
    은 상기 복수의 장단기메모리 네트워크 중 하나의 입력이고,
    Figure pat00164
    은 상기 복수의 장단기메모리 네트워크 중 하나의 미리 결정된 바이어스 값인 고차 장단기메모리 네트워크 장치.
  17. 각각의 장단기메모리(long short term memory: LSTM) 네트워크가 서로 다른 네트워크 계층(layer)에 있는 복수의 장단기메모리 네트워크를 포함하되,
    상기 복수의 장단기메모리 네트워크를 구성하고,
    상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고,
    각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고,
    상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고,
    상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 고차 장단기메모리 네트워크 장치.
  18. 제 17항에 있어서,
    입력 게이트
    Figure pat00165
    는 상기 적어도 하나의 고차 피드백 경로에 대한 게이트 네트워크로서 사용되고, 상기 적어도 하나의 고차 피드백 경로는 내부의 셀 메모리(internal cell memory) 함수 블록
    Figure pat00166
    로부터 오고, 상기 적어도 하나의 고차 피드백 경로는 공간 영역 게이트(spatial domain gate) 함수 블록
    Figure pat00167
    로부터 오고,
    Figure pat00168
    는 상태 보간(interpolation of a state)
    Figure pat00169
    이고,
    Figure pat00170
    를 만족하되,
    t 는 현재 시간 인덱스이고, l 은 각각의 상기 복수의 장단기메모리 네트워크에 대한 인덱스이고, n 은 이전 시간에 대한 인덱스이고, h 는 시간 t-n* 에서의 상기 복수의 장단기메모리 네트워크의 계층 L+ 1 로부터의 출력 게이트이고,
    Figure pat00171
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제1 가중치 행렬(weight matrix)이고,
    Figure pat00172
    은 상기 복수의 장단기메모리 네트워크 중 하나의 제2 가중치 행렬이고,
    Figure pat00173
    은 상기 복수의 장단기메모리 네트워크 중 하나의 상기 적어도 하나의 이전 시간의 출력 게이트이고,
    Figure pat00174
    은 상기 복수의 장단기메모리 네트워크 중 하나의 학습가능한 바이어스 값인 고차 장단기메모리 네트워크 장치.
  19. 적어도 하나의 다른 프로세서를 포함하는 웨이퍼 혹은 패키지의 일부로서 프로세서를 형성하고,
    상기 프로세서를 검사하는 것을 포함하되,
    상기 프로세서는 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 각각의 상기 복수의 장단기메모리 네트워크는 메모리 셀 반복 입력(recurrent input)에 대한 적어도 하나의 고차 피드백 경로(higher-order feedback path)를 포함하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하고,
    상기 프로세서를 검사하는 것은, 하나 이상의 전기-광 컨버터(electrical to optical converters), 하나의 광 신호를 둘 이상의 광 신호로 나누는 하나 이상의 분광기(optical splitters), 및 하나 이상의 광-전기 컨버터(optical to electrical converters)를 이용하여 검사하는 것을 포함하는 프로세서를 제조하는 방법.
  20. 집적 회로(integrated circuit; IC)의 계층(layer)에 관한 특징들의 세트(set of features)에 관한 마스크 레이아웃(mask layout)을 생성하는 것을 포함하되,
    상기 마스크 레이아웃은 복수의 장단기메모리(long short term memory: LSTM) 네트워크를 구성하는 프로세서(processor)를 포함하는 하나 이상의 회로 특징들에 관한 표준 셀 라이브러리(standard cell library) 매크로(macro)들을 포함하고, 각각의 상기 복수의 장단기메모리 네트워크는 서로 다른 네트워크 계층에 있고, 상기 복수의 장단기메모리 네트워크의 공간 영역(spatial domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 시간 영역(temporal domain)에서, 상기 복수의 메모리 셀(memory cell)을 구성하고, 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 계층(previous layer)과 상기 복수의 장단기메모리 네트워크의 적어도 하나의 이전 시간(previous time)으로부터의 출력의 하이웨이 커넥션(highway connection)에 기초하여 각각의 상기 복수의 장단기메모리 네트워크의 출력을 제어하고, 상기 적어도 하나의 이전 시간으로부터의 메모리 셀의 하이웨이 커넥션에 기초하여 상기 복수의 메모리 셀을 제어하는 것을 포함하는 집적 회로를 구성하는 방법.
KR1020170067827A 2017-01-12 2017-05-31 고차 장단기메모리 네트워크 시스템 및 방법 KR102269694B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762445330P 2017-01-12 2017-01-12
US62/445,330 2017-01-12
US15/480,086 US10241684B2 (en) 2017-01-12 2017-04-05 System and method for higher order long short-term memory (LSTM) network
US15/480,086 2017-04-05

Publications (2)

Publication Number Publication Date
KR20180083238A true KR20180083238A (ko) 2018-07-20
KR102269694B1 KR102269694B1 (ko) 2021-06-28

Family

ID=62783036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067827A KR102269694B1 (ko) 2017-01-12 2017-05-31 고차 장단기메모리 네트워크 시스템 및 방법

Country Status (3)

Country Link
US (1) US10241684B2 (ko)
KR (1) KR102269694B1 (ko)
CN (1) CN108304914B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047272A (ko) * 2018-10-25 2020-05-07 펄스나인 주식회사 변분 순환 오토인코딩 방식의 자동 색인 시스템 및 방법
CN116222997A (zh) * 2023-03-07 2023-06-06 华北电力大学（保定） 基于波束形成及时空网络的托辊故障声源距离估计方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832439B (zh) * 2017-11-16 2019-03-08 百度在线网络技术（北京）有限公司 多轮状态追踪的方法、系统及终端设备
US11150663B2 (en) * 2018-01-26 2021-10-19 Nvidia Corporation Detection of hazardous driving using machine learning
CN111241232B (zh) * 2018-11-29 2024-03-08 北京京东尚科信息技术有限公司 业务服务的处理方法、装置、服务平台及存储介质
US20200293882A1 (en) * 2019-03-15 2020-09-17 Samsung Electronics Co., Ltd. Near-infrared spectroscopy (nir) based glucose prediction using deep learning
CN110390386B (zh) * 2019-06-28 2022-07-29 南京信息工程大学 基于输入变化微分的灵敏长短期记忆方法
CN112183715A (zh) * 2019-07-03 2021-01-05 本田技研工业株式会社 传感器融合
CN111476022B (zh) * 2020-05-15 2023-07-07 湖南工商大学 实体特征的字符嵌入及混合lstm实体识别方法、系统及介质
CN111830848A (zh) * 2020-07-31 2020-10-27 中国人民解放军国防科技大学 一种无人机超机动飞行性能仿真训练系统及方法
CN113112819B (zh) * 2021-03-26 2022-10-25 华南理工大学 一种基于改进lstm的图卷积交通速度预测方法
CN113311715B (zh) * 2021-07-30 2021-12-07 中国人民解放军海军工程大学 一种复杂机电设备的故障辨识与溯源方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
US20160358072A1 (en) * 2015-06-05 2016-12-08 Google Inc. Reading comprehension neural networks

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN103195301B (zh) * 2012-01-06 2015-06-10 亚旭电子科技(江苏)有限公司 电子锁控制装置
US9620108B2 (en) * 2013-12-10 2017-04-11 Google Inc. Processing acoustic sequences using long short-term memory (LSTM) neural networks that include recurrent projection layers
US9728185B2 (en) * 2014-05-22 2017-08-08 Google Inc. Recognizing speech using neural networks
US20160035344A1 (en) * 2014-08-04 2016-02-04 Google Inc. Identifying the language of a spoken utterance
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
WO2016057480A1 (en) * 2014-10-07 2016-04-14 Google Inc. Training neural networks on partitioned training data
US9858524B2 (en) * 2014-11-14 2018-01-02 Google Inc. Generating natural language descriptions of images
US9508340B2 (en) * 2014-12-22 2016-11-29 Google Inc. User specified keyword spotting using long short term memory neural network feature extractor
CN106471525A (zh) * 2014-12-24 2017-03-01 谷歌公司 增强神经网络以生成附加输出
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
US11080587B2 (en) * 2015-02-06 2021-08-03 Deepmind Technologies Limited Recurrent neural networks for data item generation
KR102449837B1 (ko) * 2015-02-23 2022-09-30 삼성전자주식회사 신경망 학습 방법 및 장치, 및 인식 방법 및 장치
CA2882968C (en) * 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
CN104700828B (zh) * 2015-03-19 2018-01-12 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
US10403269B2 (en) * 2015-03-27 2019-09-03 Google Llc Processing audio waveforms
US9697826B2 (en) * 2015-03-27 2017-07-04 Google Inc. Processing multi-channel audio waveforms
JP6313730B2 (ja) * 2015-04-10 2018-04-18 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
US9678664B2 (en) * 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
US10909329B2 (en) 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US20160350652A1 (en) * 2015-05-29 2016-12-01 North Carolina State University Determining edit operations for normalizing electronic communications using a neural network
US20160350653A1 (en) * 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US9336482B1 (en) * 2015-07-27 2016-05-10 Google Inc. Predicting likelihoods of conditions being satisfied using recurrent neural networks
US10229700B2 (en) * 2015-09-24 2019-03-12 Google Llc Voice activity detection
US9792900B1 (en) * 2016-04-13 2017-10-17 Malaspina Labs (Barbados), Inc. Generation of phoneme-experts for speech recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034812A1 (en) * 2014-07-31 2016-02-04 Qualcomm Incorporated Long short-term memory using a spiking neural network
US20160358072A1 (en) * 2015-06-05 2016-12-08 Google Inc. Reading comprehension neural networks

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200047272A (ko) * 2018-10-25 2020-05-07 펄스나인 주식회사 변분 순환 오토인코딩 방식의 자동 색인 시스템 및 방법
CN116222997A (zh) * 2023-03-07 2023-06-06 华北电力大学（保定） 基于波束形成及时空网络的托辊故障声源距离估计方法
CN116222997B (zh) * 2023-03-07 2024-04-05 华北电力大学（保定） 基于波束形成及时空网络的托辊故障声源距离估计方法

Also Published As

Publication number Publication date
CN108304914B (zh) 2023-12-05
US10241684B2 (en) 2019-03-26
CN108304914A (zh) 2018-07-20
US20180196599A1 (en) 2018-07-12
KR102269694B1 (ko) 2021-06-28

Similar Documents

Publication Publication Date Title
KR102269694B1 (ko) 고차 장단기메모리 네트워크 시스템 및 방법
US20140156574A1 (en) Rate stabilization through plasticity in spiking neuron network
Hu et al. MetaSensing: Intelligent metasurface assisted RF 3D sensing by deep reinforcement learning
CN111797983A (zh) 一种神经网络构建方法以及装置
WO2022062243A1 (zh) 目标重识别方法、装置、设备、存储介质及程序产品
CN110533105B (zh) 一种目标检测方法及装置、电子设备和存储介质
CN116011511A (zh) 用于功率感知硬件的机器学习模型缩放系统
CN112084344A (zh) 知识图谱推理方法、装置及存储介质
US20220164666A1 (en) Efficient mixed-precision search for quantizers in artificial neural networks
Chen et al. Reinforcement learning path planning algorithm based on obstacle area expansion strategy
McManus et al. On the source-to-target gap of robust double deep Q-learning in digital twin-enabled wireless networks
CN112329551A (zh) 无人机自主降落方法及模型训练方法
US20210383258A1 (en) Systems and Methods for Dynamically Configuring Multidimensional Data Processing Pipelines in Software-controlled Hardware-Software Embedded Systems
US20220414458A1 (en) Deep learning network device, memory access method and non-volatile storage medium
CN115114927A (zh) 一种模型训练方法和相关装置
CN114510911A (zh) 文本处理方法、装置、计算机设备及存储介质
Han et al. Three‐dimensional obstacle avoidance for UAV based on reinforcement learning and RealSense
KR102618100B1 (ko) 무인 이동체 제어 장치, 무인 이동체들간의 충돌 회피 경로 생성 방법 및 컴퓨팅 장치
CN111898727A (zh) 基于短时访问机制的强化学习方法、装置及存储介质
Gupta et al. Machine learning based tandem network approach for antenna design
Anilkumar et al. A low power Artificial Intelligence Processor for Autonomous Mobile Robots
US20240137074A1 (en) Method and apparatus for determining signal detection network
US20220391685A1 (en) System, devices and/or processes for augmenting artificial intelligence agent and computing devices
US20240104375A1 (en) Method and system for lightweighting artificial neural network model, and non-transitory computer-readable recording medium
Yang et al. EvGNN: An Event-driven Graph Neural Network Accelerator for Edge Vision

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant