KR20200030082A

KR20200030082A - 신경 네트워크를 위한 시스템 및 방법

Info

Publication number: KR20200030082A
Application number: KR1020207003764A
Authority: KR
Inventors: 두안두안 양; 시앙 순
Original assignee: 삼성전자주식회사
Priority date: 2017-08-08
Filing date: 2018-08-08
Publication date: 2020-03-19
Also published as: EP3642763A4; US11531859B2; EP3642763A1; EP3642763C0; CN110998607A; EP3642763B1; CN110998607B; WO2019031839A1; US20190050709A1

Abstract

신경 네트워크를 위한 방법은 입력들의 벡터로부터 입력을 수신하는 과정, 상기 입력을 기반으로 테이블 인덱스(table index)를 결정하는 과정, 다수의 해쉬(hash) 테이블들로부터 해쉬 테이블을 검색하는 과정을 포함하며, 여기서 상기 해쉬 테이블은 상기 테이블 인덱스에 상응한다. 상기 방법은 또한 인덱스 매트릭스(matrix)를 기반으로 상기 해쉬 테이블의 엔트리(entry) 인덱스를 결정하는 과정, 여기서 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하고, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 해쉬 테이블에 포함되어 있는 벡터(vector)에 상응하며, 및 상기 엔트리 인덱스에 상응하게 상기 해쉬 테이블에 포함되어 있는 엔트리 값을 결정하는 과정을 포함한다. 상기 방법은 또한 값 인덱스를 결정하는 과정, 여기서 상기 해쉬 테이블에 포함되어 있는 벡터는 하나 혹은 그 이상의 엔트리 값들을 포함하며, 상기 값 인덱스는 상기 벡터에 포함되어 있는 하나 혹은 그 이상의 엔트리 값들 중 하나에 상응하며, 및 계층 응답을 결정하는 과정을 포함한다.

Description

신경 네트워크를 위한 시스템 및 방법

본 개시는 일반적으로 신경 네트워크들에 관한 것이다. 특히, 본 개시는 신경 네트워크에서 코드북(codebook) 및 해쉬 테이블(hash table)들을 사용하여 계층 응답을 근사화하는 시스템 및 방법에 관한 것이다.

신경 네트워크들이 이미지 인식, 데이터 분석, 자연어 프로세싱, 의도 분류, 혹은 다른 프로세스들과 같은 다양한 프로세스들을 수행하기 위해 점점 더 많이 사용되고 있다. 하지만, 신경 네트워크들은 특히, 상기 신경 네트워크에 더 많은 계층들이 포함됨에 따라, 종종 저장 능력 혹은 프로세싱 전력과 같은 컴퓨팅 자원들의 심각한 사용을 요구하게 된다.

본 개시는 신경 네트워크들을 위한 시스템 및 방법을 제공한다.

일 실시 예에서, 신경 네트워크를 위한 방법이 제공된다. 상기 방법은 상기 신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하는 과정을 포함한다. 상기 방법은 또한 상기 코드북으로부터 인덱스(index) 매트릭스를 생성하는 과정을 포함하며, 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하며, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 코드북에서의 위치에 상응한다. 상기 방법은 또한 다수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하는 과정을 포함한다.

일 실시 예에서, 전자 디바이스가 제공된다. 상기 전자 디바이스는 통신 인터페이스와 메모리를 포함한다. 상기 전자 디바이스는 또한 상기 통신 인터페이스 및 메모리에 연결되는 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 상기 신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하도록 구성된다. 상기 적어도 하나의 프로세서는 또한 상기 코드북으로부터 인덱스(index) 매트릭스를 생성하도록 구성되며, 여기서 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하며, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 코드북에서의 위치에 상응한다. 상기 적어도 하나의 프로세서는 또한 다수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하도록 구성된다.

일 실시 예에서, 컴퓨터 프로그램을 구현하는 비-일시적 컴퓨터 리드 가능 매체(non-transitory computer readable medium)가 제공된다. 상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가 상기 신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하고, 상기 코드북으로부터 인덱스(index) 매트릭스를 생성하고, 여기서 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하며, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 코드북에서의 위치에 상응하며, 및 다수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하도록 하는 컴퓨터 리드 가능 프로그램 코드를 포함한다.

일 실시 예에서, 신경 네트워크를 위한 방법이 제공된다. 상기 방법은 입력들의 벡터로부터 입력을 수신하는 과정을 포함한다. 상기 방법은 또한 상기 입력을 기반으로 테이블 인덱스(table index)를 결정하는 과정을 포함한다. 상기 방법은 또한 다수의 해쉬(hash) 테이블들로부터 해쉬 테이블을 검색하는 과정을 포함하며, 여기서 상기 해쉬 테이블은 상기 테이블 인덱스에 상응한다.

일 실시 예에서, 전자 디바이스가 제공된다. 상기 전자 디바이스는 통신 인터페이스와 메모리를 포함한다. 상기 전자 디바이스는 또한 상기 통신 인터페이스 및 메모리에 연결되는 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는 입력들의 벡터로부터 입력을 수신하도록 구성된다. 상기 적어도 하나의 프로세서는 또한 상기 입력을 기반으로 테이블 인덱스(table index)를 결정하도록 구성된다. 상기 적어도 하나의 프로세서는 또한 다수의 해쉬(hash) 테이블들로부터 해쉬 테이블을 검색하도록 구성되며, 상기 해쉬 테이블은 상기 테이블 인덱스에 상응한다.

일 실시 예에서, 컴퓨터 프로그램을 구현하는 비-일시적 컴퓨터 리드 가능 매체가 제공된다. 상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가 입력들의 벡터로부터 입력을 수신하고, 상기 입력을 기반으로 테이블 인덱스(table index)를 결정하고, 다수의 해쉬(hash) 테이블들로부터 해쉬 테이블을 검색하도록 하는 컴퓨터 리드 가능 프로그램 코드를 포함하며, 상기 해쉬 테이블은 상기 테이블 인덱스에 상응한다.

다른 기술적 특징들은 하기의 도면들, 설명들 및 청구항들로부터 당업자에게 쉽게 명백할 수 있을 것이다.

하기에서 상세한 설명을 설명하기에 앞서, 이 특허 문서 전체에 걸쳐 사용되는 특정 단어들과 구문들의 정의를 설명하는 것이 바람직할 수 있다. 용어 "연결한다(couple)"와 그 파생어들은 두 개 혹은 그 이상의 엘리먼트들이 서로 물리적 접촉 상태에 있는지 그렇지 않든지, 상기 엘리먼트들 간의 어떤 직접적이거나 간접적인 통신을 나타낸다. "송신한다(transmit)", "수신한다(receive)", 그리고 "통신한다(communicate)" 라는 용어들뿐 아니라 그 파생어들은 직접 및 간접 통신 둘 다를 포함한다. "포함하다(include)" 및 "구비한다(comprise)"는 용어들 및 그 파생어들은 제한 없는 포함을 의미한다. "또는(or)"이라는 용어는 및/또는(and/or)을 의미하는 포괄적인 용어이다. "~와 연관된다(associated with)" 및 그 파생어들은 포함한다(include), ~ 내에 포함된다(be included within), ~와 상호 연결한다(interconnect with), 포함한다(contain), ~내에 포함된다(be contained within), ~로/와 연결한다(connect to or with), ~로/와 연결한다(couple to or with), ~와 통신할 수 있다(be communicable with), ~와 협력한다(cooperate with), 인터리브한다(interleave), 나란히 놓는다(juxtapose), ~에 근사하다(be proximate to), ~에/와 속박된다(be bound to or with), 가진다(have), ~의 특성을 가진다(have a property of), ~에 대한/와 관계를 가진다(have a relationship to or with)는 등의 의미이다. "제어기(controller)"라는 용어는 적어도 한 동작을 제어하는 임의의 디바이스, 시스템, 또는 그 일부를 의미한다. 상기 제어기는 하드웨어나 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 임의의 특정 제어기와 관련된 기능은 국지적이든 원격으로든 중앙 집중되거나 분산될 수 있다. "적어도 하나의(at least one of)"라는 구문은 아이템들의 리스트와 함께 사용될 때, 나열된 아이템들 중 하나 혹은 그 이상의 서로 다른 조합들이 사용될 수 있고, 그 리스트 내 오직 한 아이템만이 필요로 될 수 있다는 것을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 다음과 같은 조합들 중 어느 하나를 포함한다: A, B, C, A 및 B, A 및 C, B 및 C, 및 A와 B와 C.

또한, 하기에서 설명되는 다양한 기능들은 하나 혹은 그 이상의 컴퓨터 프로그램들에 의해 구현되거나 지원될 수 있으며, 그 프로그램들 각각은 컴퓨터 리드 가능 프로그램 코드로 구성되고 컴퓨터 리드 가능 매체에서 실시된다. "어플리케이션" 및 "프로그램"이라는 용어는 하나 혹은 그 이상의 컴퓨터 프로그램들, 소프트웨어 컴포넌트들, 명령(instruction)들의 집합들, 절차들, 함수들, 오브젝트들, 클래스들, 인스턴스들, 관련 데이터, 또는 적합한 컴퓨터 리드 가능 프로그램 코드에서의 구현에 적합한 그 일부를 나타낸다. "컴퓨터 리드 가능 프로그램 코드"라는 구문은 소스 코드, 오브젝트 코드, 및 실행 코드를 포함하는 모든 타입의 컴퓨터 코드를 포함한다. "컴퓨터 리드 가능 매체"라는 구문은 리드 온니 메모리(read only memory: ROM), 랜덤 억세스 메모리(random access memory: RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc: CD), 디지털 비디오 디스크(digital video disc: DVD), 또는 어떤 다른 유형의 메모리와 같이, 컴퓨터에 의해 억세스될 수 있는 모든 유형의 매체를 포함한다. "비일시적(non-transitory)" 컴퓨터 리드 가능 매체는 일시적인 전기 또는 기타 신호들을 전송하는 유선, 무선, 광학, 또는 기타 통신 링크들을 배제한다. 비일시적 컴퓨터 리드 가능 매체는 데이터가 영구적으로 저장될 수 있는 매체, 및 재기록 가능 광학 디스크나 삭제 가능 메모리 디바이스와 같이 데이터가 저장되고 나중에 덮어씌어질 수 있는 매체를 포함한다.

다른 특정 단어들 및 구문들에 대한 정의가 이 특허 문서 전체에 걸쳐 제공된다. 당업자는 대부분의 경우들은 아니어도 많은 경우, 그러한 정의들이 정의된 단어들 및 구문들의 이전 및 미래의 사용에 적용된다는 것을 이해해야만 할 것이다.

본 개시 및 그 이점들에 대한 보다 완전한 이해를 위해서, 이제 첨부 도면들을 참조하여 다음과 같은 설명이 이루어질 것이다:
도 1은 본 개시의 실시 예들에 따른 예제 통신 시스템을 도시하고 있다;
도 2는 본 개시의 실시 예들에 따른 예제 전자 디바이스 서버를 도시하고 있다;
도 3은 본 개시의 실시 예들에 따른 예제 전자 디바이스를 도시하고 있다;
도 4는 본 개시의 실시 예들에 따른 신경 네트워크 계층 결과 가속 프로세스의 블록 다이아그램을 도시하고 있다;
도 5는 본 개시의 실시 예들에 따른 코드북 및 인덱스 매트릭스 생성 프로세스의 플로우차트를 도시하고 있다;
도 6은 본 개시의 실시 예들에 따른 코드북 및 인덱스 매트릭스 생성 프로세스의 블록 다이아그램을 도시하고 있다;
도 7은 본 개시의 실시 예들에 따른, 예제 웨이팅 매트릭스, 코드북, 인덱스 매트릭스를 도시하고 있는, 코드북 및 인덱스 매트릭스 생성 프로세스의 예제를 도시하고 있다;
도 8은 본 개시의 실시 예들에 따른, 해쉬 테이블 생성 프로세스의 블록 다이아그램을 도시하고 있다;
도 9는 본 개시의 실시 예들에 따른, 코드북 및 해쉬 테이블들을 사용하는 신경 네트워크 계층 응답 프로세스의 플로우차트를 도시하고 있다; 및
도 10은 본 개시의 실시 예들에 따른, 엔트리 값 검색 프로세스(entry value retrieval process)의 일 예의 블록 다이아그램을 도시하고 있다.

하기에서 설명되는 도 1 내지 도 10과 이 특허 문서에서 본 개시의 원칙들을 설명하기 위해 사용되는 실시 예들은 오직 예시만을 위한 것이며, 본 개시의 범위를 제한하는 방식으로 이해되어서는 안 된다. 해당 기술 분야의 당업자들은 본 개시의 원칙들이 적합하게 배열된 무선 통신 시스템에서 구현될 수 있다는 것을 이해할 것이다.

본 개시의 실시 예들에 따르면, 상기 신경 네트워크들의 효율성을 개선하기 위한 다양한 방법들이 제공된다. 딥 신경 네트워크(deep neural network)들은 이미지 인식, 데이터 분석, 자연어 프로세싱(natural language processing), 의도 분류(intent classification), 혹은 다른 기능들과 같은 다양한 기능들을 수행할 수 있다. 사용자로부터 음성 데이터를 수신하고, 상기 사용자에 의해 구두로 요청되는 웹 탐색을 수행하는 것과 같은, 상기 음성 데이터를 기반으로 프로그램 기능을 활성화하는 가상 어시스턴트(virtual assistant)들은 또한 신경 네트워크를 사용하여 상기 음성 데이터를 프로세스할 수 있다. 상기 가상 어시스턴트는 신경 네트워크를 사용하여 상기 발언(utterance)이 지시하는 사용자 디바이스 상의 어플리케이션을 결정할 수 있다. 상기 가상 어시스턴트는 그리고 나서 신경 네트워크를 사용하여 기능 혹은 상기 발언이 지시하는 어플리케이션을 결정할 수 있다. 그리고 나서 상기 어플리케이션 내의 기능이 트리거(trigger)될 수 있다. 이는 하지만 딥 신경 네트워크들이 어떻게 사용될 수 있는지에 대한 하나의 예제이다.

신경 네트워크들은 입력들의 웨이트된(weighted) 합을 기반으로 출력을 생성할 수 있고, 이는 그리고 나서 활성화 기능을 통해 패스된다. 상기 활성화 기능은 상기 웨이트(weight)들로 곱해진 입력들을 합산한 후 출력을 결정할 수 있다. 해당 기술 분야의 당업자들은 다양한 활성화 기능들이 상기 신경 네트워크의 구성 및 상기 신경 네트워크에 의해 성취될 결과에 의존하여 사용될 수 있다는 것을 이해할 수 있을 것이다.

상기 입력들, 웨이트들, 및 출력들은 다중계층 퍼셉트론(multilayer perceptron: MLP) 내에서 구성될 수 있으며, 여기서는 입력 계층, 하나 혹은 그 이상의 히든 계층(hidden layer)들 및 출력 계층이 존재한다. 다수의 입력들, 혹은 입력 벡터는 상기 입력 계층, 상기 히든 계층 혹은 계층들에 존재하는 다수의 히든 계층 뉴런(neuron)들을 구성하며, 하나 혹은 그 이상의 출력들이 상기 출력 계층에 대해 생성될 수 있다. 상기 신경 네트워크는 입력들이 상기 입력 계층으로부터 히든 계층으로 패스되는 피드포워드 네트워크(feedforward network)가 될 수 있다. 상기 입력들은 상기 신경 네트워크가 다수의 히든 계층을 가지고 있을 경우, 히든 계층으로부터 히든 계층으로, 상기 마지막 히든 계층이 마지막 출력들을 상기 출력 계층으로 패스할 때까지, 새로운 입력들을 다음 히든 계층으로 제공하기 위해 활성화 혹은 전달 기능을 통해 프로세싱될 수 있다. 웨이팅 매트릭스(weighting matrix)는 신경 네트워크에서 임의의 인접 계층들간에 존재할 수 있다. 웨이팅 매트릭스들은 상기 신경 네트워크로 제공되는 상기 입력들에 대해 웨이트들을 적용하기 위해 사용된다. 신경 네트워크가 훈련되면, 상기 웨이트들은 상기 신경 네트워크의 정확도를 증가시키기 위해 계산된 에러 레이트(error rate)들을 기반으로 조정될 수 있다. 상기 피드포워드 신경 네트워크들은 신경 네트워크의 한 타입이지만, 본 개시는 피드포워드 네트워크들에만 한정되는 것은 아니라는 것이 인식될 것이다.

도 1은 본 개시에 따른 예제 시스템(100)을 도시하고 있다. 도 1에 도시되어 있는 상기 시스템(100)의 실시 예는 오직 예시만을 위한 것이다. 상기 시스템(100)의 다른 실시 예들은 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.

상기 시스템(100)은 네트워크(102)를 포함하며, 상기 네트워크(102)는 상기 시스템(100)에 포함되어 있는 다양한 컴포넌트(component)들간의 통신을 가능하게 한다. 일 예로, 상기 네트워크(102)는 네트워크 어드레스(address)들간에 인터넷 프로토콜(Internet Protocol: IP) 패킷들, 프레임 릴레이 프레임(frame relay frame)들, 비동기 전달 모드(Asynchronous Transfer Mode: ATM) 셀들, 혹은 다른 정보를 통신할 수 있다. 상기 네트워크(102)는 하나 혹은 그 이상의 근거리 통신 네트워크(local area network: LAN)들, 도시 지역 통신 네트워크(metropolitan area network: MAN)들, 광역 네트워크(wide area network: WAN)들, 혹은 상기 인터넷과 같은 전세계 네트워크의 전부 혹은 일부, 혹은 다른 통신 시스템, 혹은 하나 혹은 그 이상의 위치들에서의 시스템들을 포함한다.

상기 네트워크(102)는 다양한 서버(들)(104)와 다양한 클라이언트 디바이스들(106-114) 간의 통신들을 가능하게 한다. 서버(104)는 하나 혹은 그 이상의 서버들을 나타낼 수 있다. 각 서버(104)는 하나 혹은 그 이상의 클라이언트 디바이스(client device)들에 대한 컴퓨팅 서비스들을 제공할 수 있는 적합한 컴퓨팅 혹은 프로세싱 디바이스를 포함한다. 각 서버(104)는 일 예로, 하나 혹은 그 이상의 프로세싱 디바이스들, 명령어(instruction)들 및 데이터를 저장하는 하나 혹은 그 이상의 메모리들, 상기 네트워크(102)를 통한 통신을 가능하게 하는 하나 혹은 그 이상의 네트워크 인터페이스들을 포함할 수 있다.

각 클라이언트 디바이스(106-114)는 상기 네트워크(102)를 통해 적어도 한 개의 서버 혹은 다른 컴퓨팅 디바이스(들)과 상호 작용하는 임의의 적합한 컴퓨팅 혹은 프로세싱 디바이스를 나타낸다. 이 예제에서, 상기 클라이언트 디바이스들(106-114)은 데스크탑 컴퓨터(106)와, (스마트 폰과 같은) 이동 전화기 혹은 이동 디바이스들(108)과, 개인용 휴대 정보 단말기(personal digital assistant: PDA)(110)와, 랩탑 컴퓨터(112)와, 태블릿 컴퓨터(114)를 포함한다. 하지만, 임의의 다른 혹은 추가적인 클라이언트 디바이스들이 상기 시스템(100)에서 사용될 수 있다.

이 예제에서, 몇몇 클라이언트 디바이스들(108-114)은 간접적으로 상기 네트워크(102)와 통신한다. 일 예로, 상기 클라이언트 디바이스들(108, 110)(각각은 이동 디바이스들(108) 및 PDA(110))은 셀룰라 기지국들 혹은 이노드비(eNodeB: eNB)들과 같은 하나 혹은 그 이상의 기지국들(116)을 통해 통신한다. 이동 디바이스들(108)은 스마트 폰들 및 피쳐 폰(feature phone)들 둘 다를 포함한다. 스마트 폰들은 이동 운영 시스템 및 음성과, 단문 메시지 서비스(short message service: SMS) 및 인터넷 데이터 통신을 위한 통합 이동 광대역 셀룰라 네트워크 연결을 가지는 휴대용 디바이스인 이동 디바이스들(108)의 클래스를 나타낸다. 피쳐 폰들은 기본 전화기와 스마트 폰간의 중간 포인트인 이동 디바이스들(108)의 클래스를 나타낸다. 피쳐 폰들은 일반적으로 기본 멀티미디어 및 인터넷 능력들에 추가적으로 음성 호 및 텍스트 메시징 기능을 가진다. 또한, 상기 클라이언트 디바이스들(112, 114)(각각은 랩탑 컴퓨터 및 태블릿 컴퓨터)은 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers: IEEE) 802.11 무선 억세스 포인트(access point)들과 같은 하나 혹은 그 이상의 무선 억세스 포인트들(118)을 통해 통신한다. 이들은 모두 오직 예시만을 위한 것이며, 각 클라이언트 디바이스는 상기 네트워크(102)와 직접 통신할 수 있거나 혹은 임의의 적합한 중개 디바이스(들) 혹은 네트워크(들)을 통해 상기 네트워크(102)와 간접적으로 통신할 수 있다는 것에 유의하여야만 할 것이다.

특정 실시 예들에서, 상기 이동 디바이스(108)(혹은 임의의 다른 클라이언트 디바이스(106-114))는 일 예로, 상기 서버(104)와 같은 다른 디바이스로 정보를 안전하고 효율적으로 송신할 수 있다. 상기 이동 디바이스(108)(혹은 임의의 다른 클라이언트 디바이스(106-114))는 신경 네트워크에 대한 입력(들)으로 프로세싱될 정보를 수신할 수 있다. 상기 정보는 이미지 데이터, 음성/오디오 데이터, 지오로케이션(geolocation) 데이터, 사용자 정보, 혹은 상기 이동 디바이스(108)에 의해 수신되거나, 혹은 상기 이동 디바이스(108)에 저장되어 있는 다른 데이터를 포함할 수 있다. 상기 이동 디바이스(108)(혹은 임의의 다른 클라이언트 디바이스(106-114))는 상기 이동 디바이스(108)(혹은 임의의 다른 클라이언트 디바이스(106-114)) 자신과 서버(104)간의 상기 정보 송신을 트리거할 수 있다. 상기 이동 디바이스(108)(혹은 임의의 다른 클라이언트 디바이스(106-114))는 신경 네트워크에 의해 생성되는 실시간 결과를 제공할 수 있다.

도 1이 시스템(100)의 일 예를 도시하고 있다고 할지라도, 다양한 변경들이 도 1에 대해서 이루어질 수 있다. 일 예로, 상기 시스템(100)은 임의의 적합한 배열로 임의의 개수의 각 컴포넌트를 포함할 수 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 다양한 구성(configuration)들로 구현되며, 도 1은 본 개시의 범위를 임의의 특정한 구성으로 제한하는 것은 아니다. 도 1이 이 특허 문서에 개시된 바와 같은 다양한 기능들이 사용될 수 있는 하나의 동작 가능 환경을 도시하고 있을 지라도, 이런 기능들은 임의의 다른 적합한 시스템에서 사용될 수 있다.

본 개시에서 제공되는 상기 프로세스들 및 시스템들은 신경 네트워크에 의해 프로세싱되는 결과를 제공하는 클라이언트 디바이스 혹은 서버를 고려한다. 특정 실시 예들에서, 클라이언트 디바이스(클라이언트 디바이스(106-114))는 상기 신경 네트워크 결과를 결정할 수 있다. 특정 실시 예들에서, 클라이언트 디바이스(클라이언트 디바이스(106-114))는 신경 네트워크에 대한 입력들로서 포함될 상기 데이터를 수신하고, 상기 데이터를 상기 네트워크(102)를 통해 상기 신경 네트워크를 사용하여 상기 출력(들)을 결정하는 상기 서버(104)로 송신한다.

도 2 및 도 3은 본 개시의 실시 예들에 따른 컴퓨팅 시스템에서 예제 디바이스들을 도시하고 있다. 특히, 도 2는 예제 서버(200)를 도시하고 있으며, 도 3은 전자 디바아스(300)를 도시하고 있다. 상기 서버(200)는 도 1의 상기 서버(104)를 나타낼 수 있으며, 상기 전자 디바이스(300)는 도 1의 상기 하나 혹은 그 이상의 클라이언트 디바이스들(106-114)을 나타낼 수 있다.

서버(200)는 하나 혹은 그 이상의 로컬 서버들, 혹은 훈련된 신경 네트워크를 통해 수신된 입력들을 프로세싱하는, 하나 혹은 그 이상의 신경 네트워크 서버들을 나타낼 수 있다. 도 2에 도시되어 있는 바와 같이, 상기 서버(200)는 적어도 하나의 프로세서(들)(210), 적어도 하나의 저장 디바이스(들)(215), 적어도 하나의 통신 인터페이스(220), 적어도 하나의 입/출력(input/output: I/O) 유닛(225)간의 통신을 지원하는 버스 시스템(bus system)(205)을 포함한다.

상기 프로세서(210)는 메모리(230)에 저장될 수 있는 명령어들을 실행시킨다. 상기 프로세서(210)는 임의의 적합한 개수(들) 및 타입(들)의 프로세서들 혹은 다른 디바이스들을 임의의 적합한 배열로 포함할 수 있다. 예제 타입들의 프로세서(들)(210)은 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서들, 필드 프로그램가능 게이트 어레이(field programmable gate array)들, 주문형 반도체(application specific integrated circuit)들, 이산 회로(discrete circuitry)를 포함한다.

상기 메모리(230)와 영구 저장 장치(235)는 저장 디바이스들(215)의 예제들이며, 정보(일시 혹은 영구 기반의 데이터, 프로그램 코드, 신경 네트워크 입력들 및 다른 데이터, 혹은 다른 적합한 정보와 같은)를 저장하고, 상기 정보의 검색을 가능하게 할 수 있는 임의의 구조(들)을 나타낸다. 상기 메모리(230)는 랜덤 억세스 메모리 혹은 임의의 다른 적합한 휘발성 혹은 비-휘발성 저장 디바이스(들)를 나타낼 수 있다. 상기 영구 저장 장치(235)는 읽기 전용 메모리(read only memory), 하드 드라이브, 플래쉬 메모리, 혹은 광 디스크와 같은 데이터의 더 긴 기간의 저장을 지원하는 하나 혹은 그 이상의 컴포넌트들 혹은 디바이스들을 포함할 수 있다.

상기 통신 인터페이스(220)는 다른 시스템들 혹은 디바이스들과의 통신을 지원한다. 일 예로, 상기 통신 인터페이스(220)는 상기 네트워크(102)를 통한 통신들을 가능하게 하는 네트워크 인터페이스 카드 혹은 무선 송수신기를 포함할 수 있다. 상기 통신 인터페이스(220)는 임의의 적합한 물리 혹은 무선 통신 링크(들)를 통해 통신들을 지원할 수 있다.

상기 I/O 유닛(225)은 데이터의 입력 및 출력을 고려한다. 일 예로, 상기 I/O 유닛(225)은 키보드, 마우스, 키패드, 터치스크린, 혹은 다른 적합한 입력 디바이스를 통한 사용자 입력을 위한 연결을 제공할 수 있다. 상기 I/O 유닛(225)은 또한 디스플레이, 프린터, 혹은 다른 적합한 출력 디바이스로 출력을 송신할 수 있다.

도 2가 도 1의 상기 서버(104)를 참조하여 설명하고 있다고 할지라도, 동일하거나 유사한 구조가 상기 하나 혹은 그 이상의 다양한 클라이언트 디바이스들(106-114)에서 사용될 수 있다. 일 예로, 데스크탑 컴퓨터(106) 혹은 랩탑 컴퓨터(112)는 도 2에 도시되어 있는 바와 동일한 혹은 유사한 구조를 가질 수 있다.

도 3은 본 개시의 일 실시 예에 따른 전자 디바이스(300)를 도시하고 있다. 도 3에 도시되어 있는 상기 전자 디바이스(300)의 실시 예는 오직 예시만을 위한 것이며, 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다. 상기 전자 디바이스(300)는 매우 다양한 구성들로 제공되고, 도 3은 본 개시의 범위를 전자 디바이스의 어떤 특정한 구현으로도 제한하지 않는다. 특정 실시 예들에서, 도 1의 상기 하나 혹은 그 이상의 디바이스들(104-114)은 전자 디바이스(300)와 동일하거나 혹은 유사한 구성을 포함할 수 있다.

특정 실시 예들에서, 전자 디바이스(300)는 신경 네트워크 입력들을 제공하거나, 혹은 신경 네트워크 결과 혹은 출력을 기반으로 기능을 활성화하는 것과 같은 데이터 전달 어플리케이션(application)들과 사용 가능하다. 일 예로, 상기 전자 디바이스(300)는 음성 데이터와 같은 정보를 입력하고, 상기 데이터를 상기 서버(200)로 전달하고, 상기 서버(200)로부터 신경 네트워크를 통해 상기 정보를 프로세싱한 것의 결과를 지시하는 응답을 수신하고, 상기 결과에 따라 상기 전자 디바이스(300) 상에서 기능을 활성화시킬 수 있다. 상기 전자 디바이스(300)는 일 예로, 무선 단말기, (도 1의 데스크탑 컴퓨터(106)와 유사한) 데스크탑 컴퓨터와, (도 1의 이동 디바이스(108)와 유사한) 이동 디바이스, (도 1의 PDA(110)와 유사한) PDA와, (도 1의 랩탑 컴퓨터(112)와 유사한) 랩탑, (태블릿 컴퓨터(114)와 유사한) 태블릿, 등과 같은 이동 통신 디바이스가 될 수 있다.

도 3에 도시되어 있는 바와 같이, 상기 전자 디바이스(300)는 안테나(305)와, 통신 유닛(310)과, 송신(transmit: TX) 프로세싱 회로(315)와, 마이크로폰(microphone)(320) 및 수신(receive: RX) 프로세싱 회로(325)를 포함한다. 상기 통신 유닛(310)은 일 예로, RF 송수신기와, 블루투스 송수신기와, WI-FI 송수신기와, 지그비(ZIGBEE), 적외선 등을 포함할 수 있다. 상기 전자 디바이스(300)는 또한 스피커(330)와, 프로세서(processor)(340)와, I/O 인터페이스(345)와, 입력 장치(350)와, 디스플레이(display)(355)와, 메모리(360)와, 센서(들)(365) 및 바이오메트릭(biometric) 스캐너(370)를 포함한다. 상기 메모리(360)는 운영 시스템(operating system: OS)(361)과, 어플리케이션(application)들(362)과, 사용자 데이터(363)를 포함한다.

상기 통신 유닛(310)은 상기 안테나(305)로부터, (Wi-Fi와, 블루투스와, 셀룰러와, 5세대(5th generation: 5G)와, 롱 텀 에볼루션(long term evolution: LTE)과, LTE-어드밴스드(LTE-advanced: LTE-A)와, 와이맥스(WiMAX), 혹은 임의의 다른 타입의 무선 네트워크와 같은) 상기 네트워크(102)의 (기지국과, Wi-Fi 라우터와, 블루투스 디바이스와 같은) 억세스 포인트(access point)로부터 BLUETOOTH 혹은 WI-FI 신호와 같은 입력되는 RF 신호를 수신할 수 있다. 상기 통신 유닛(310)은 상기 입력되는 RF 신호를 하향-변환하여(down-convert) 중간 주파수 혹은 기저대역 신호를 생성할 수 있다. 상기 중간 주파수 혹은 기저 대역 신호는 상기 RX 프로세싱 회로(325)로 송신되고, 상기 RX 프로세싱 회로(325)는 상기 기저대역 혹은 중간 주파수 신호, 혹은 그 조합을 필터링, 디코딩, 혹은 디지털화함으로써 프로세싱된 기저대역 신호를 생성한다. 상기 RX 프로세싱 회로(325)는 추가적인 프로세싱을 위해 상기 프로세싱된 기저대역 신호를 (음성 데이터를 위해서와 같이) 상기 스피커(330) 혹은 (웹 브라우징 데이터(web browsing data) 및 송금(remittance)을 위해서와 같이) 상기 프로세서(340) 로 송신한다.

상기 TX 프로세싱 회로(315)는 상기 마이크로폰(320)으로부터의 아날로그 혹은 디지털 음성 데이터 혹은 상기 프로세서(340)로부터의 다른 출력 기저 데이터를 수신한다. 상기 출력 기저 데이터는 웹 데이터, 이-메일, 혹은 양방향 비디오 게임 데이터(interactive video game data)를 포함할 수 있다. 상기 TX 프로세싱 회로(315)는 상기 출력 기저 대역 데이터를 인코딩, 멀티플렉싱, 디지털화, 혹은 그 조합을 수행하여 프로세싱된 기저대역 혹은 중간 주파수 신호를 생성한다. 상기 통신 유닛(310)은 상기 TX 프로세싱 회로(315)로부터 상기 프로세싱된 출력 기저대역 혹은 중간 주파수 신호를 수신하고, 상기 기저대역 혹은 중간 주파수 신호를 상기 안테나(305)를 통해 송신되는 RF 신호로 상향-변환한다(up-convert).

상기 프로세서(340)는 하나 혹은 그 이상의 프로세서들 혹은 다른 프로세싱 디바이스들을 포함할 수 있으며, 상기 전자 디바이스(300)의 전반적인 동작을 제어하기 위해 상기 메모리(360)에 저장되어 있는 상기 OS(361)를 실행할 수 있다. 일 예로, 상기 프로세서(340)는 공지의 원칙들에 따라 상기 통신 유닛(310), 상기 RX 프로세싱 회로(325) 및 상기 TX 프로세싱 회로(315)에 의한 순방향 채널 신호들의 수신 및 역방향 채널 신호들의 송신을 제어할 수 있다. 상기 프로세서(340)는 또한 송금, 사기 검출 등을 위한 하나 혹은 그 이상의 어플리케이션들과 같은 상기 메모리(360)에 상주하는 다른 어플리케이션들(362)을 실행할 수 있다.

상기 프로세서(340)는 메모리(360)에 저장되어 있는 명령어(instruction)들을 실행할 수 있다. 상기 프로세서(340)는 임의의 적합한 배열로 임의의 적합한 개수(들) 및 타입(들)의 프로세서들 혹은 다른 디바이스들을 포함할 수 있다. 일 예로, 몇몇 실시 예들에서, 상기 프로세서(340)는 적어도 하나의 마이크로프로세서 혹은 마이크로제어기를 포함한다. 예제 타입들의 프로세서(340)는 마이크로프로세서들, 마이크로제어기들, 디지털 신호 프로세서들, 필드 프로그램 가능 게이트 어레이(field programmable gate array)들, 어플리케이션 특정 집적 회로들, 및 이산 회로(discrete circuitry)를 포함한다.

상기 프로세서(340)는 또한 이미지 캡쳐링(image capturing) 및 프로세싱을 제공함으로써 수신, 저장 및 적시에 지시되는 동작들과 같은, 상기 메모리(360)에 상주하는 다른 프로세스들 및 프로그램들을 실행할 수 있다. 상기 프로세서(340)는 데이터를 실행중인 프로세스에 의해 요구될 때 상기 메모리(360)의 내부로 혹은 상기 메모리(360) 외부로 이동시킬 수 있다. 몇몇 실시 예들에서, 상기 프로세서(340)는 상기 OS(361)를 기반으로 혹은 이엔비(eNB)들 혹은 운영자로부터 수신되는 신호들에 응답하여 다수의 어플리케이션들(362)을 실행하도록 구성된다. 또한, 상기 프로세서(340)는 상기 전자 디바이스(300)에게 클라이언트 디바이스들(106-114)과 같은 다른 디바이스들로 연결하는 능력을 제공하는 상기 I/O 인터페이스(345)에 연결된다. 상기 I/O 인터페이스(345)는 이들 악세사리들과 상기 프로세서(340)간의 통신 경로이다.

상기 프로세서(340)는 또한 상기 입력 장치(350) 및 디스플레이(355)에 연결된다. 상기 전자 디바이스(300)의 운영자는 상기 입력 장치(350)를 사용하여 상기 전자 디바이스(300)로 데이터 혹은 입력들을 입력시킬 수 있다. 입력 장치(350)는 키보드, 터치 스크린, 마우스, 트랙 볼(track ball), 음성 입력, 혹은 사용자가 전자 디바이스(300)와 상호 작용하는 것을 허락하는 사용자 인터페이스로 작용할 수 있는 다른 디바이스가 될 수 있다. 일 예로, 상기 입력 장치(350)는 음성 인식 프로세싱을 포함할 수 있으며, 따라서 사용자가 마이크로폰(320)을 통해 음성 명령(command)을 입력하는 것을 허락하게 된다. 다른 예로, 상기 입력 장치(350)는 터치 패널, (디지털) 펜 센서, 키, 혹은 초음파 입력 디바이스를 포함할 수 있다. 상기 터치 패널은 일 예로, 정전 용량 방식, 압력 감지 방식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 입력 장치(350)는 추가적인 입력을 프로세서(340)로 제공함으로써 센서(들)(365) 및/혹은 카메라와 연관될 수 있다. 특정 실시 예들에서, 센서(365)는 (가속도계들, 자이로스코프, 및 자력계와 같은) 관성 센서들과, 광 센서들과, 모션 센서들과, 카메라들과, 압력 센서들과, 맥박수 센서들과, 고도계와, (마이크로폰(320)과 같은) 호흡 센서들, 등을 포함한다. 상기 입력 장치(350)는 또한 제어 회로를 포함할 수 있다. 상기 정전 용량 방식에서, 상기 입력 장치(350)는 터치 혹은 근접성을 인식할 수 있다. 상기 디스플레이(355)는 액정 크리스탈 디스플레이(liquid crystal display: LCD), 발광 다이오드(light-emitting diode: LED) 디스플레이, 광 LED (optical LED: OLED), 액티브 매트릭스 OLED (active matrix OLED: AMOLED), 혹은 웹 사이트(website)들, 비디오들, 게임들, 이미지들, 등으로부터와 같은 텍스트 및/혹은 그래픽들을 렌더링(rendering)할 수 있는 다른 디스플레이가 될 수 있다.

상기 메모리(360)는 상기 프로세서(340)에 연결된다. 상기 메모리(360)의 일부는 랜덤 억세스 메모리(random access memory: RAM)를 포함할 수 있으며, 상기 메모리(360)의 나머지는 부분은 플래시 메모리 혹은 다른 리드 온니 메모리(read-only memory: ROM)를 포함할 수 있다.

상기 메모리(360)는 (일시 혹은 영구 기반의 데이터, 프로그램 코드, 및/혹은 다른 적합한 정보와 같은) 정보를 저장 및 검색하는 것을 가능하게 할 수 있는 임의의 구조(들)를 나타내는 영구 저장 장치 (도시되어 있지 않음)를 포함할 수 있다. 상기 메모리(360)는 읽기 전용 메모리(read only memory), 하드 드라이브, 플래쉬 메모리, 혹은 광 디스크와 같은 데이터의 더 긴 기간의 저장을 지원하는 하나 혹은 그 이상의 컴포넌트들 혹은 디바이스들을 포함할 수 있다. 상기 메모리(360)는 또한 프로필(profile) 데이터 및 사용자 히스토리(history) 데이터를 포함하는 사용자 데이터(363)를 포함할 수 있다. 사용자 데이터(363)는 또한 센서(365)로부터 수신된 데이터를 포함할 수 있다. 사용자 데이터(363)는 바이오그래피칼(biographical) 및 바이오메트릭 데이터를 포함할 수 있다.

전자 디바이스(300)는 또한 물리적인 양을 계측하거나 혹은 상기 전자 디바이스(300)의 활성화 상태를 검출할 수 있고 상기 계측된 혹은 검출된 정보를 전기 신호로 변환할 수 있는 하나 혹은 그 이상의 센서(들)(365)를 포함한다. 특정 실시 예들에서, 센서(365)는 (가속도계들, 자이로스코프, 및 자력계들과 같은) 관성 센서들과, 광 센서들과, 모션 센서들과, 카메라들과, 압력 센서들과, 맥박수 센서들과, 고도계와, (마이크로폰(320)과 같은) 호흡 센서들, 등을 포함한다. 일 예로, 센서(365)는 상기 전자 디바이스(300)의 헤드셋, 카메라, 제스쳐 센서, 자이로스코프 혹은 자이로 센서, 공기 압력 센서, 자기 센서 혹은 자력계, 가속 센서 혹은 가속계, 그립 센서, 근접성 센서, 컬러 센서, 바이오-피지컬 센서, 온도/습도 센서, 조도 센서, 자외선(ultraviolet: UV) 센서, 근전도 검사(electromyography: EMG) 센서, 뇌파(electroencephalogram: EEG) 센서, 심전도(electrocardiogram: ECG) 센서, 적외선(infrared : IR) 센서, 초음파 센서, 홍체 센서, 지문 센서 등 상에서와 같은 터치 입력을 위한 하나 혹은 그 이상의 버튼들을 포함할 수 있다. 상기 센서(365)는 추가적으로 그에 포함되어 있는 센서들 중 적어도 하나를 제어하는 제어 회로를 포함할 수 있다. 상기 센서(들)(365)는 상기 전자 디바이스(300)의 지형적 위치 뿐만 아니라, 방향 및 대면 방향을 결정하는데 사용될 수 있다. 이들 센서(들)(365) 중 어느 하나는 상기 전자 디바이스(300) 혹은 상기 전자 디바이스(300)와 통신하고 있는 다른 전자 디바이스 내에 위치될 수 있다.

도 2 및 도 3이 컴퓨팅 시스템에서의 디바이스들의 예제들을 설명하고 있을 지라도, 다양한 변경들이 도 2 및 도 3에 대해서 이루어질 수 있다. 일 예로, 도 2 및 도 3에서의 다양한 컴포넌트들은 조합되거나, 추가적으로 더 분할 되거나, 혹은 생략될 수 있으며, 추가적인 컴포넌트들이 특별한 필요들에 따라서 추가될 수 있다. 또한, 특별한 예로서, 상기 프로세서(340)는 하나 혹은 그 이상의 중앙 프로세싱 유닛(central processing unit: CPU)들 및 하나 혹은 그 이상의 그래픽들 프로세싱 유닛(graphics processing unit: GPU)들과 같은 다수의 프로세서들로 분할될 수 있다. 추가적으로, 컴퓨팅 및 통신 네트워크들과 함께, 전자 디바이스들 및 서버들은 매우 다양한 구성들로 제공될 수 있고, 도 2 및 도 3은 본 개시를 임의의 특정 전자 디바이스 혹은 서버로 제한하지는 않는다.

도 4는 본 개시의 실시 예들에 따른 신경 네트워크 계층 결과 가속 프로세스(400)의 예제 블록 다이아그램을 도시하고 있다. 상기 서버(200)의 프로세서(210) 혹은 상기 전자 디바이스(300)의 프로세서(340)는 상기 프로세스(400)를 수행할 수 있다. 입력 벡터(input vector)(402)는 신경 네트워크에서 프로세싱을 위해 수신될 수 있다. 상기 입력 벡터(402)는 이미지 데이터와, 음성 데이터, 혹은 다른 데이터와 같은 상기 신경 네트워크에 의해 프로세싱될 수 있는 임의의 종류의 데이터로부터 생성될 수 있다. 상기 프로세서는 다수의 웨이트 값(weight value)들을 포함하는 웨이팅 매트릭스(weighting matrix)(404)를 여기에서 설명되는 바와 같은, 상기 웨이팅 매트릭스(404)보다 작은 차원(dimension)들을 가지는 압축된 매트릭스 혹은 코드북(406)으로 압축한다. 상기 코드북(406)은 다수의 서브-벡터(sub-vector)들(408)을 가질 수 있으며, 각 서브-벡터(408)는 하나 혹은 그 이상의 웨이트들을 포함한다.

다른 신경 네트워크 구성들에서, 상기 입력 벡터(402)에 포함되어 있는 입력들은 출력 벡터를 획득하기 위해 상기 웨이팅 매트릭스에 적용될 것이다. 다른 신경 네트워크 구성들에서, 상기 원래의 매트릭스 W는 m*n의 사이즈를 가진다. 상기 입력 벡터, x는

에 포함되어 있는 모든 값들을 포함할 수 있는 n-차원 벡터이다. 임의의 값 범위가 상기 입력 벡터의 범위로 스케일(scale)될 수 있다는 것이 이해될 것이다. 상기 출력 벡터, y는

에 의해 계산될 수 있는 m-차원 벡터이다.

는 수학식 (1)을 사용하여 계산될 수 있다:

...... (1)

수학식 (1)은 상기 원래의 웨이팅 매트릭스(404)를 사용하여 상기 출력 벡터를 어떻게 획득하는 지를 보여준다. 상기 원래의 웨이팅 매트릭스(404)를 상기 코드북(406)으로 압축한 후, 상기 프로세서는 상기 코드북 및 인덱스들을 사용하여 상기 원래의 웨이팅 매트릭스(404) , W를 근사화하고, 상기 프로세서는 또한 상기 코드북 및 인덱스들을 사용하여 상기 출력 벡터 y 를 계산할 수 있고, 따라서 정확도를 희생하지 않고도, 저장 요구 사항들을 감소시키고 상기 신경 네트워크의 속도를 증가시키게 된다.

상기 원래의 웨이팅 매트릭스(404)를 근사화하기 위해서, 상기 프로세서는 상기 입력 벡터(402)를 서브-벡터들(410)로 분할한다. 상기 프로세서는 그리고 나서 각 서브-벡터(410)를 상기 코드북(406)의 서브-벡터들(408) 중 하나와 곱해서 다수의 곱(product)들(412)을 생성한다. 본 개시에 설명되어 있는 바와 같이, 모든 가능한 입력들과 상기 코드북의 곱셈은 미리 사전 계산되어 모든 가능한 값들을 저장하고 있는 일련의 해쉬 테이블들을 생성할 수 있다. 상기 프로세서는 그리고 나서 상기 해쉬 테이블들로부터 상기 저장된 값들을 검색하여 상기 신경 네트워크의 속도 및 효율성을 추가적으로 증가시킬 수 있다. 상기 다수의 곱들(412)이 계산된 후, 상기 프로세서는 상기 다수의 곱들(412) 중 특정 곱들을 합산하여 상기 입력 벡터(402)와 상기 원래의 웨이팅 매트릭스(404)의 행(row)의 내적(dot product)의 값을 근사화한다. 이 근사화된 값은 그리고 나서 계층 응답(416)에 포함되어 있는 다수의 값들(414) 중 하나를 위해 사용될 수 있다. 몇몇 실시 예들에서, 상기 프로세서는 상기 근사화된 값을 활성화 함수(activation function)에 입력하여 상기 계층 응답(416)에 대한 다수의 값들(414)의 값들 중 하나를 생성한다.

도 5는 본 개시의 실시 예들에 따른 코드북 및 인덱스 매트릭스 생성 프로세스(500)의 플로우차트를 도시하고 있다. 도 5는 본 개시의 범위를 어떤 특정 실시 예들로도 한정하지 않는다. 프로세스(500)가 일련의 연속적인 단계들로 도시되어 있다고 할지라도, 명시적으로 언급되지 않는 한, 특정 순서의 성능, 동시에 혹은 오버랩 방식에서 보다는 순차적인 단계들 혹은 그 일부들의 성능, 혹은 개입 혹은 중개 단계들의 발생이 없이 배타적으로 도시되는 단계들의 성능에 관해서는 상기 시퀀스로부터 어떤 추론도 도출되어서는 안 된다. 설명의 편의성을 위해, 상기 코드북 및 인덱스 매트릭스를 생성하는 방법이 도 2의 프로세서(210)과, 서버(200) 및 도 3의 프로세서(340)과, 전자 디바이스(300)에 관해서 설명된다. 하지만, 상기 프로세스(500)는 임의의 다른 적합한 시스템과 사용될 수 있다.

블록 502에서, 상기 프로세서는 상기 원래의 웨이팅 매트릭스를 획득한다. 상기 원래의 웨이팅 매트릭스는 임의의 개수의 행들을 가질 수 있으며, 각 행은 웨이트들의 벡터를 포함한다. 블록 504에서, 상기 프로세서는 상기 원래의 웨이팅 매트릭스의 각 행을 잘라냄(chop)으로써 다수의 서브-벡터들을 생성한다. 몇몇 실시 예들에서, 각 행은 상기 웨이팅 매트릭스로부터 잘라내질 수 있고, 여기서 각 행은 서브-벡터이다. 특정 실시 예들에서, 상기 웨이팅 매트릭스의 각 행은 서브-벡터들로 잘라내질 수 있고, 각 서브-벡터는 상기 웨이팅 매트릭스의 특정 행으로부터의 특정 개수의 웨이트들을 포함한다. 블록 506에서, 상기 프로세서는 상기 다수의 서브-벡터들에 대해 클러스터링 알고리즘(clustering algorithm)을 수행하여 유사한 웨이트 값들을 가지는 다른 서브-벡터들과 상기 서브-벡터들을 그룹화한다. K-평균(mean) 클러스터링 또는 다른 방법들과 같은, 다양한 클러스터링 알고리즘(clustering algorithm)들이 상기 서브-벡터들을 클러스터하기 위해 사용될 수 있다. 블록 508에서, 상기 프로세서는 서브-벡터들의 각 그룹에 대한 하나 혹은 그 이상의 중심(centroid)들을 결정한다. 블록 510에서, 상기 프로세서는 상기 코드북(406)과 같은, 코드북 내에 상기 하나 혹은 그 이상의 중심들을 배열 및 저장한다.

블록 512에서, 상기 프로세서는 인덱스 매트릭스를 생성한다. 상기 인덱스 매트릭스는 상기 코드북의 인덱스에 상응하는 인덱스 값들을 포함한다. 각 코드북 인덱스는 상기 서브-벡터들의 그룹들 중 하나에 대한 하나 혹은 그 이상의 중심들 각각을 포함할 수 있다. 상기 프로세서는 상기 각 인덱스 값의 위치가 상기 원래의 웨이팅 매트릭스에 포함되어 있는 하나 혹은 그 이상의 값들, 혹은 상기 원래의 웨이팅 매트릭스로부터 생성되는 서브-벡터들 중 하나의 위치에 상응하도록 상기 인덱스 매트릭스의 차원들을 구성한다. 일 예로, 상기 원래의 웨이팅 매트릭스의 행들이 2개의 값 서브-벡터들로 잘라내질 경우, 상기 코드북의 각 인덱스는 상기 원래의 웨이팅 매트릭스로부터 2-중심 서브-벡터들의 클러스터링 결과인 2개의 중심들을 포함할 수 있다.

일 예로, 상기 원래의 웨이팅 매트릭스의 첫 번째 행의 처음 2개의 값들이 0.35 및 0.21일 경우, 이들 2개의 값들은 유사한 웨이트 값들을 가지는 다른 2-값 서브-벡터들과 클러스터되는 1개의 서브-벡터를 생성할 수 있다. 2개의 중심들은 2-값 서브-벡터들의 각 클러스터(cluster)로부터 생성될 수 있다. 0.35와 0.21이 상기 원래의 웨이팅 매트릭스의 첫 번째 행의 처음 2개의 값들일 경우, 상기 인덱스 매트릭스의 첫 번째 행의 첫 번째 값은 상기 코드북의 인덱스를 지시할 수 있고, 상기 코드북에는 0.35, 0.21, 및 이들 값들과 클러스터되는 다른 값들로부터 생성되는 중심들이 저장된다. 이 예제에서, 상기 인덱스 매트릭스의 첫 번째 행의 첫 번째 값이 9일 경우, 상기 0.35, 0.21, 및 상기 다른 클러스터된 값들로부터 생성되는 중심들은 상기 코드북에서 인덱스 9 (상기 코드북의 10번째 행)에 위치된다.

상기 인덱스 매트릭스는 상기 원래의 웨이팅 매트릭스와 동일한 개수의 행들을 가질 수 있지만, 상기 인덱스 매트릭스의 각 행에 포함되어 있는 인덱스 값들의 개수는 상기 원래의 웨이팅 매트릭스의 각 행에 포함되어 있는 웨이트들의 개수보다 작을 수 있다. 일 예로, 행 별로 1024개의 값들을 포함하는 웨이팅 매트릭스가 2-값 서브-벡터들로 분할되었을 경우, 상기 인덱스 매트릭스의 각 행은 512개의 인덱스 값들을 포함할 수 있고, 각 값은 각 2-값 서브-벡터를 위한 것이다.

도 5가 본 개시의 실시 예들에 따른 코드북 및 인덱스 매트릭스 생성 프로세스를 도시하고 있을 지라도, 다양한 변경들이 도 5에 대해 이루어질 수 있다. 일 예로, 일련의 단계들로 도시되어 있을 지라도, 도 5의 다양한 단계들은 오버랩되거나, 병렬로 발생하거나, 다른 순서로 발생하거나, 혹은 다수 번 발생할 수 있다.

도 6은 본 개시의 실시 예들에 따른 코드북 및 인덱스 매트릭스 생성 프로세스(600)의 블록 다이아그램을 도시하고 있다. 상기 서버(200)의 프로세서(210) 혹은 상기 전자 디바이스(300)의 프로세서(340)가 상기 프로세스(600)를 수행할 수 있다. 상기 코드북 및 인덱스 매트릭스 생성 프로세스(600)의 실시 예는 오직 예시만을 위한 것이며, 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다.

상기 코드북 및 인덱스 매트릭스 생성 프로세스(600)는 다수의 웨이팅 값들을 포함하는 웨이팅 매트릭스(602)를 포함한다. 상기 프로세서는 상기 웨이팅 매트릭스를 하나 혹은 그 이상의 서브-벡터들(604)로 잘라내거나 혹은 분할한다. 상기 프로세서는 상기 다수의 서브-벡터들에 대해 클러스터링 알고리즘을 수행하여 유사한 웨이트 값들을 가지는 다른 서브-벡터들과 상기 서브-벡터들을 그룹화하고, 상기 프로세서는 상기 클러스터들로부터 하나 혹은 그 이상의 중심들을 결정한다. K-평균 클러스터링 혹은 다른 방법들과 같은, 다양한 클러스터링 알고리즘들이 상기 서브-벡터들을 클러스터하기 위해 사용될 수 있다는 것이 이해될 수 있을 것이다. 상기 프로세서는 상기 하나 혹은 그 이상의 중심들을 코드북(606) 내에 배열 및 저장한다.

상기 프로세서는 또한 인덱스 매트릭스(608)를 생성하여 상기 서브-벡터들을 상기 코드북(606)에서 해당 인덱스로 라벨(label)링하고, 상기 코드북(600)에서는 상기 서브-벡터와 연관되는 하나 혹은 그 이상의 중심들이 검출될 수 있다.

도 7은 본 개시의 실시 예들에 따른, 예제 웨이팅 매트릭스(702), 코드북(704), 인덱스 매트릭스(706)를 도시하고 있는, 코드북 및 인덱스 매트릭스 생성 프로세스(700)의 예제를 도시하고 있다. 상기 서버(200)의 프로세서(210) 혹은 상기 전자 디바이스(300)의 프로세서(340)가 상기 프로세스(700)를 수행할 수 있다. 도 7에 도시되어 있는 실시 예는 오직 예시만을 위한 것이다. 상기 프로세스(700)의 다른 실시 예들이 본 개시의 범위로부터 벗어남이 없이 사용될 수 있다. 일 예로, 상기 웨이팅 매트릭스(702), 코드북(704), 인덱스 매트릭스(706)는 도 7에 도시되어 있는 값들과 다른 값들을 포함할 수 있으며, 임의의 다른 차원 혹은 사이즈가 될 수 있다.

상기 웨이팅 매트릭스(702)는 다수의 웨이트 값들을 포함한다. 상기 웨이팅 매트릭스(702)는 상기 서버(200), 상기 전자 디바이스(300) 상에서, 혹은 다른 시스템 혹은 디바이스에서 다양한 양들의 저장 공간을 필요로 하는, 다양한 차원들 혹은 사이즈들이 될 수 있다. 일 예로, 상기 웨이팅 매트릭스(702)는 플로트 형식(float format)으로 웨이트 값들을 포함하는 1024 Υ 1024 매트릭스가 될 수 있다. 상기와 같은 경우에서, 상기 웨이팅 매트릭스(702)는 4백만 바이트 이상의 저장 장치(1024 * 1024 * 4)를 사용할 것이다.

상기 프로세서는 서브-벡터들을 클러스터하기 위해 상기 웨이팅 매트릭스를 상기 서브-벡터들로 분할하여 상기 코드북(704)을 위해 사용될 중심들을 결정할 수 있다. 도 7에 도시되어 있는 바와 같이, 상기 프로세서는 상기 웨이팅 매트릭스(702)를 각각 2개의 웨이트 값들을 가지는 서브-벡터들로 분할한다. 상기 프로세서는 그리고 나서 상기 서브-벡터들을 클러스터하고, 상기 클러스터된 서브-벡터들로부터 하나 혹은 그 이상의 중심들을 결정하고, 상기 하나 혹은 그 이상의 중심들을 상기 코드북(704)의 각 행에 저장한다. 도 7에 도시되어 있는 바와 같은 예제에서, 상기 코드북(704)의 첫 번째 행은 0.21와 0.54의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 서브-벡터(708)와 0.24와 0.65의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 적어도 또 다른 서브-벡터(710)로부터 생성된 2개의 중심들을 포함한다. 이 예제에서, 상기 프로세서는 적어도 상기 서브-벡터들(708, 710)을 클러스터하고, 2개의 중심들을 결정하고, 상기 2개의 중심들을 상기 코드북(704)의 첫 번째 행에 저장하고, 상기 2개의 중심들은 0.23 및 0.61의 값들을 가진다.

상기 인덱스 매트릭스(706)는 상기 코드북(704)의 특정 인덱스로 상기 중심들을 생성하기 위해 사용되는 상기 웨이팅 매트릭스(702)의 서브-벡터들 각각에 대해 중심들이 저장되어 있는 코드북(704)의 인덱스를 기록한다. 일 예로, 적어도 상기 서브-벡터(708) 및 서브-벡터(710)로부터 생성되는 중심들을 가지는 상기 코드북(704)의 첫 번째 행에 대해서, 상기 프로세서는 상기 서브-벡터들(708, 710)의 위치들에 상응하는, 상기 인덱스 매트릭스에 포함되어 있는 위치들에 0의 인덱스 값들(상기 코드북(704)의 첫 번째 행을 지시하는)을 저장한다. 도 7에 도시되어 이는 바와 같이, 서브-벡터(708)는 상기 웨이팅 매트릭스(702)의 두 번째 행에 포함되어 있는 마지막에서 두 번째의 서브-벡터로서 위치되고, 서브-벡터(710)는 상기 웨이팅 매트릭스(702)의 두 번째 행에 포함되어 있는 마지막 서브-벡터이다. 따라서, 상기 프로세서는 상기 인덱스 매트릭스(706)의 두 번째 행의 마지막에서 두 번째 인덱스 및 상기 두 번째 행의 마지막 인덱스에서 상기 인덱스 매트릭스(706)에 상기 0의 인덱스 값들을 저장하여 상기 웨이팅 매트릭스(702)에 서브-벡터들(708, 710)의 위치들을 매치(match)한다.

도 7에 도시되어 있는 예제에서, 상기 프로세서는 0.67 및 0.83의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 서브-벡터(712)와 0.65 및 0.84의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 적어도 또 다른 서브-벡터(714)로부터 생성된 2개의 중심들로 상기 코드북(704)의 두 번째 행을 채운다. 상기 프로세서는 적어도 상기 서브-벡터들(712, 714)을 클러스터하고, 상기 클러스터된 서브-벡터들로부터 2개의 중심들을 결정하고, 상기 2개의 중심들을 상기 코드북(704)의 두 번째 행에 저장하고, 상기 2개의 중심들은 0.66 및 0.83의 값들을 가진다.

상기 인덱스 매트릭스(706)는 상기 서브-벡터들(712, 714)과 연관되는 중심들에 대한 인덱스들을 기록한다. 상기 프로세서는 1의 인덱스 값들(상기 코드북(704)의 두 번째 행을 지시하는)을 상기 서브-벡터들(712, 714)의 위치들에 상응하는, 상기 인덱스 매트릭스의 위치들에 저장한다. 도 7에 도시되어 있는 바와 같이, 서브-벡터(712)는 상기 웨이팅 매트릭스(702)의 두 번째 행에서 첫 번째 서브-벡터이고, 서브-벡터(714)는 상기 웨이팅 매트릭스(702)의 마지막 행의 마지막 서브-벡터이다. 따라서, 상기 프로세서는 상기 인덱스 매트릭스(706)의 두 번째 행의 첫 번째 인덱스 및 상기 마지막 행의 마지막 인덱스에서 상기 인덱스 매트릭스(706)에 상기 1의 인덱스 값들을 저장하여 상기 웨이팅 매트릭스(702)에 서브-벡터들(712, 714)의 위치들을 매치한다.

도 7에 도시되어 있는 바와 같은 예제에서, 상기 프로세서는 상기 코드북(704)의 세 번째 행을 0.65와 0.74의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 서브-벡터(716)와 0.65와 0.72의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 적어도 또 다른 서브-벡터(718)로부터 생성된 2개의 중심들로 채운다. 상기 프로세서는 적어도 상기 서브-벡터들(716, 718)을 클러스터하고, 상기 클러스터된 서브-벡터들로부터 2개의 중심들을 결정하고, 상기 2개의 중심들을 상기 코드북(704)의 세 번째 행에 저장하고, 상기 2개의 중심들은 0.65 및 0.73의 값들을 가진다.

상기 인덱스 매트릭스(706)는 상기 서브-벡터들(716, 718)과 연관되는 중심들에 대한 인덱스들을 기록한다. 상기 프로세서는 2의 인덱스 값들(상기 코드북(704)의 세 번째 행을 지시하는)을 상기 서브-벡터들(716, 718)의 위치들에 상응하는, 상기 인덱스 매트릭스의 위치들에 저장한다. 도 7에 도시되어 있는 바와 같이, 서브-벡터(716)는 상기 웨이팅 매트릭스(702)의 첫 번째 행에서 마지막에서 두 번째 서브-벡터이고, 서브-벡터(718)는 상기 웨이팅 매트릭스(702)의 마지막 행의 마지막에서 두 번째 서브-벡터이다. 따라서, 상기 프로세서는 상기 인덱스 매트릭스(706)의 첫 번째 행의 마지막에서 두 번째 인덱스 및 상기 마지막 행의 마지막에서 두 번째 인덱스에서 상기 인덱스 매트릭스(706)에 상기 2의 인덱스 값들을 저장하여 상기 웨이팅 매트릭스(702)에 서브-벡터들(716, 718)의 위치들을 매치한다.

도 7에 도시되어 있는 바와 같은 예제에서, 상기 프로세서는 상기 코드북(704)의 마지막 행을 0.95와 0.97의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 서브-벡터(720)와 0.84와 0.94의 웨이트 값들을 포함하는 상기 웨이팅 매트릭스(702)의 적어도 또 다른 서브-벡터(722)로부터 생성된 2개의 중심들로 채운다. 상기 프로세서는 적어도 상기 서브-벡터들(720, 722)을 클러스터하고, 상기 클러스터된 서브-벡터들로부터 2개의 중심들을 결정하고, 상기 2개의 중심들을 상기 코드북(704)의 마지막 행에 저장하고, 상기 2개의 중심들은 0.90 및 0.95의 값들을 가진다.

상기 인덱스 매트릭스(706)는 상기 서브-벡터들(720, 722)과 연관되는 중심들에 대한 인덱스들을 기록한다. 상기 프로세서는 255의 인덱스 값들(상기 코드북(704)의 마지막(256번째) 행을 지시하는)을 상기 서브-벡터들(720, 722)의 위치들에 상응하는, 상기 인덱스 매트릭스의 위치들에 저장한다. 도 7에 도시되어 있는 바와 같이, 서브-벡터(720)는 상기 웨이팅 매트릭스(702)의 네 번째 행에서 첫 번째 서브-벡터이고, 서브-벡터(722)는 상기 웨이팅 매트릭스(702)의 첫 번째 행의 마지막 서브-벡터이다. 따라서, 상기 프로세서는 상기 인덱스 매트릭스(706)의 네 번째 행의 첫 번째 인덱스 및 상기 첫 번째 행의 마지막 인덱스에서 상기 인덱스 매트릭스(706)에 상기 255의 인덱스 값들을 저장하여 상기 웨이팅 매트릭스(702)에 서브-벡터들(720, 722)의 위치들을 매치한다. 상기 웨이팅 매트릭스(702)로부터 2개를 초과하는 서브-벡터들이 상기 코드북(704)에 저장되어 있는 중심들을 생성하기 위해 클러스터될 수 있다는 것이 이해될 수 있을 것이다. 도 7은 상기 인덱스 매트릭스(706)의 세 번째 행의 마지막에서 두 번째 인덱스가 255의 값을 포함함에 따라, 웨이트 값들 0.94 및 0.94를 포함하는 상기 웨이팅 매트릭스(702)의 서브-벡터가 상기 코드북(704)의 마지막 행에서 상기 중심들을 계산하기 위해 상기 서브-벡터들(720, 722)과 클러스터되었음을 지시한다.

상기 인덱스 매트릭스(706)가 상기 웨이팅 매트릭스(702)의 하나를 초과하는 값에 상응할 수 있는 인덱스 값들을 기록하고 있기 때문에, 또한 상기 프로세서가 상기 웨이팅 매트릭스(702)에 의해 사용되는 플로트 형식 보다는 바이트 수 형식(byte number format)으로 상기 인덱스 값들을 저장할 수 있기 때문에, 상기 인덱스 매트릭스(706)는 상기 웨이팅 매트릭스(702)보다 훨씬 더 작은 사이즈가 될 수 있다. 일 예로, 도 7에 도시되어 있는 웨이팅 매트릭스(702)가 플로트 값(float value)들을 저장하고 있는 1024 Υ 1024 매트릭스일 경우, 상기 인덱스 매트릭스(706)는 상기 인덱스 매트릭스(706)에서 각 인덱스 값이 상기 웨이팅 매트릭스(702)의 2개의 웨이트 값들에 상응하기 때문에 상기 웨이팅 매트릭스 (702)보다 행 별로 절반의 값들을 포함할 수 있다. 이 예제에서, 상기 인덱스 매트릭스(706)는 1024 Υ 512 매트릭스가 될 수 있다. 상기 인덱스 값들은 오직 1 바이트 사이즈가 될 수 있기 때문에, 상기 인덱스 매트릭스(706)는 상기 1024 Υ 1024 웨이팅 매트릭스에 대한 4백만 바이트들과 비교하여, 그 사이즈가 50만 바이트를 약간 초과할 수 있다(1024*512*1).

상기 코드북은 또한 상기 웨이팅 매트릭스(702)와 비교하여 그 사이즈가 훨씬 더 작을 수 있다. 일 예로, 도 7에 도시되어 있는 상기 코드북(704)은 오직 2048 바이트의 저장 장치를 사용하여 (256*2*4) 행 별로 2개의 플로트 값들에서 256개의 행들을 가질 수 있다. 따라서, 상기 코드북(704)에 의해 사용되는 저장 공간 및 상기 인덱스 매트릭스(706)는 상기 웨이팅 매트릭스보다 작다. 0과 1 사이의 입력 값들과 같은, 각 가능한 입력 값으로 곱해지는 각 코드북인 해쉬 테이블들을 저장할 때에도, 상기 모든 해쉬 테이블들에 의해, 그리고 상기 인덱스 매트릭스에 의해 사용되는 저장 장치는 상기 웨이팅 매트릭스에 의해 사용되는 저장 장치에 비해 여전히 훨씬 더 작을 것이다.

도 7이 프로세스(700)의 한 예제를 도시하고 있을 지라도, 다양한 변경들이 도 7에 대해 이루어질 수 있다. 일 예로, 상기 프로세스(700)는 다양한 차원들 및 사이즈들의 웨이팅 매트릭스들, 코드북들, 인덱스 매트릭스들을 포함할 수 있고, 각각은 다양한 웨이트 값들, 중심 값들, 및 인덱스 값들을 포함한다. 일반적으로, 웨이팅 매트릭스들, 및 코드북들 및 그들로부터 생성된 인덱스 매트릭스들은 상기 사용된 신경 네트워크 구성들에 따라 매우 다양한 구성들로 제공될 수 있으며, 도 7은 본 개시의 범위를 어떤 특정 구성으로도 제한하지 않는다.

도 8은 본 개시의 실시 예들에 따른, 해쉬 테이블 생성 프로세스(800)의 블록 다이아그램을 도시하고 있다. 상기 서버(200)의 프로세서(210) 혹은 상기 전자 디바이스(300)의 프로세서(340)가 상기 프로세스(800)를 수행할 수 있다. 본 개시에 의해 제공되는 보다 효율적인 저장 뿐만 아니라 신경 네트워크에 대한 보다 증가된 속도를 제공하기 위해서, 상기 프로세서는 상기 코드북에 의해 곱해지는 모든 가능한 입력을 포함하는 해쉬 테이블들을 생성하여 메모리에 저장할 수 있다. 이는 각 입력 값에 대한 해쉬 테이블을 탐색(look up)하고, 상기 적합한 웨이트에 의해 곱해지는 입력의 값을 검색하는 능력을 고려하고, 이는 상기 내적 동작의 곱셈 단계가 상기 계층 출력을 생성하기 위해 수행될 필요가 없을 것이기 때문에 상기 신경 네트워크가 상기 입력들을 프로세스하기 위해 사용되는 시간을 감소시킨다.

상기 입력 벡터, x는 상기 신경 네트워크에 대한 입력 값들, 일 예로,

에 포함되어 있는 모든 값들을 포함하는 n-차원 벡터가 될 수 있다. 상기 해쉬 테이블들은 상기 모든 입력 값들에 대해 미리 생성될 수 있다. 상기 신경 네트워크에 의한 프로세싱을 위한 새로운 입력 벡터가 수신될 때, 상기 입력 벡터에 포함되어 있는 입력들은 상기 입력 값들이 상기 생성된 해쉬 테이블들과 매치되도록 이 [0,1) 범위로 스케일(scale)될 수 있다. 상기 신경 네트워크에 의해 생성되는, 상기 출력 벡터, y는

로 나타내지는 n개의 값들로 구성된다. 상기 원래의 웨이팅 매트릭스에서 일 예로 yi 를 사용할 경우, yi 는 상기 입력 벡터 x 와 W에서의 i 번째 행, 일 예로 wi 간의 내적을 계산함으로써 획득된다. 본 개시의 실시 예들에 따르면, wi 는 일련의 해쉬 테이블들을 사전-계산함으로써 상기 인덱스 매트릭스와 코드북을 사용하여 근사화될 수 있다. 각 해쉬 테이블은 상기 범위 (0,1)에서의 값을 상기 코드북에서의 각 중심과 곱함으로써 생성되는 곱들을 포함할 수 있다. 따라서, 상기 입력 벡터가 무엇이던지 간에, 상기 x 와 임의의 코드북 엔트리간의 곱셈은 실행 시간(runtime)에 사기 입력들에 대한 각 곱셈 단계를 수행할 필요 없이 상기 해쉬 테이블들을 탐색함으로써 획득될 수 있다.

도 8에 도시되어 있는 바와 같이, 코드북(802)은 상기 프로세서가 각 해쉬 테이블을 생성하기 위해 사용될 수 있다. 상기 프로세서는 상기 코드북(802)과 상기 [0,1)의 범위와 같은, 0과 1간의 각 가능한 입력 값을 곱함으로써 상기 해쉬 테이블들을 생성한다. 상기 프로세서는 0.01 내지 0.99의 각 값에 대한 해쉬 테이블들을 생성할 수 있다. 이는 상기 코드북에 저장되어 있는 매 웨이트 값 (중심)에 의해 곱해지는 상기 입력들 중 하나와 동일한 값들을 포함하는 해쉬 테이블들을 초래한다. 도 8에 도시되어 있는 바와 같이, 상기 프로세서는 상기 코드북(802)과 0.01을 곱하여 첫 번째 해쉬 테이블 (804)을 생성한다. 상기 프로세서는 상기 코드북(802)과 0.02를 곱하여 두 번째 해쉬 테이블 (806)을 생성한다. 상기 프로세서는, 총 99개의 생성된 해쉬 테이블들을 위해, 상기 프로세서가 코드북(802)과 0.99를 곱하여 99번째 해쉬 테이블(808)을 생성할 때까지 지속한다.

도 9는 본 개시의 실시 예들에 따른, 코드북 및 해쉬 테이블들을 사용하는 계층 응답 프로세스(900)의 플로우차트를 도시하고 있다. 도 9는 본 개시의 범위를 어떤 특정 실시 예들로도 한정하지 않는다. 프로세스(900)가 일련의 연속적인 단계들로 도시되어 있다고 할지라도, 명시적으로 언급되지 않는 한, 특정 순서의 성능, 동시에 혹은 오버랩 방식에서 보다는 순차적인 단계들 혹은 그 일부들의 성능, 혹은 개입 혹은 중개 단계들의 발생이 없이 배타적으로 도시되는 단계들의 성능에 관해서는 상기 시퀀스로부터 어떤 추론도 도출되어서는 안 된다. 설명의 편의성을 위해, 상기 프로세스(900)는 도 2의 서버(200)의 프로세서(210)와, 도 3의 전자 디바이스(300)의 프로세서(340)에 관해서 설명된다. 하지만, 상기 프로세스(900)는 임의의 다른 적합한 시스템과 사용될 수 있다.

블록 902에서, 상기 프로세서는 입력 벡터로부터 입력을 수신한다. 상기 입력 벡터는 임의의 개수의 값들을 포함하는 n-차원 벡터가 될 수 있다. 몇몇 실시 예들에서, 상기 입력 벡터의 값들은 [0,1)의 범위로 스케일된다. 여기에서 설명되는 바와 같이, 상기 원래의 웨이팅 매트릭스에서, yi는 상기 입력 벡터 x 와 W에서의 i 번째 행, 일 예로 wi 간의 내적을 계산함으로써 획득된다. 여기에서 설명되는 바와 같이, wi 는 일련의 인덱스들과 상기 코드북을 사용하여 근사화될 수 있다. 일련의 해쉬 테이블들은 사전-계산될 수 있으며, 이들은 총 99개의 해쉬 테이블들에 대해, 상기 범위 (0,1)의 임의의 값과 상기 코드북간의 모든 곱들을 포함한다. wi 는 본 개시의 실시 예들에 따라 웨이팅 매트릭스를 코드북으로 압축한 후 일련의 인덱스들

로 대체된다. 상기 코드북에서 각 엔트리는 sd-차원 벡터가 될 수 있으며, 여기서

이다. 일 예로, 상기 코드북은 3-차원 벡터가 될 수 있으며, 여기서 상기 코드북의 각 엔트리는 3개의 중심들을 포함한다.

본 개시의 수학식 (1)은 상기 원래의 웨이팅 매트릭스의 클러스터된 웨이트들로부터 생성되는 중심들을 포함하는 상기 코드북에 의해 이미 곱해진 각 가능한 입력을 포함하는 해쉬 테이블들에 저장되어 있는 값들을 검색함으로써 상기 신경 네트워크의 정확도에서의 감소없이 근사화될 수 있다. 상기 해쉬 테이블들은 xjwij와 유사한 근사화된 값을 획득하기 위해 탐색될 수 있으며, 여기서

이다.

블록 904에서, 상기 프로세서는 상기 블록 902에서 수신된 입력으로부터 해쉬 테이블 인덱스, 혹은 테이블 인덱스를 결정한다. 상기 테이블 인덱스는 상기 해쉬 테이블들 중 어떤 해쉬 테이블이 상기 신경 네트워크에 따른 적합한 웨이트에 의해 곱해지는 상기 수신 입력의 값을 포함하는지 지시한다. 일 예로, 상기 수신된 입력이 상기 입력 벡터에서의 첫 번째 입력일 경우, 상기 값은 상기 수신된 입력과 상기 원래의 웨이팅 매트릭스의 w11의 곱셈의 근사치가 될 수 있다. 상기 테이블 인덱스,

는 수학식 (2)에 의해 결정될 수 있다:

...... (2)

일 예로, 상기 수신된 입력 값이 0.45일 경우,

= 0.45 * 100이다. 따라서, 상기 예제에서, 상기 테이블 인덱스는 45이다. 블록 906에서, 상기 프로세서는 상기 해쉬 테이블 인덱스에 상응하는 해쉬 테이블을 검색한다. 본 개시의 몇몇 실시 예들에서, 상기 해쉬 테이블들은 상기 해쉬 테이블을 생성하기 위해 상기 코드북에 의해 곱해지는 입력 값에 관해 정렬될 수 있다. 따라서,

를 사용하여, 상기 프로세서는 상기 블록 902에서 수신되는 입력 값에 상응하는 해쉬 테이블을 검색할 수 있다. 상기 입력이 0.45인 예제를 사용할 경우, 해쉬 테이블은 상기 코드북과 0.45를 곱함으로써 이전에 생성되어 있었을 것이다. 이 해쉬 테이블은 해쉬 테이블 45로 라벨링되었을 수 있고, 상기 프로세서는 블록 906에서 상기 해쉬 테이블 45를 검색한다.

블록 908에서, 상기 프로세서는 인덱스 매트릭스를 사용하여 상기 입력에 대한 엔트리 인덱스를 결정한다. 상기 인덱스 매트릭스는 본 개시의 실시 예들에 따른다. 상기 엔트리 인덱스는 상기 적합한 웨이트에 의해 곱해지는, 상기 블록 902에서 수신된 입력에 대한 값이 저장되어 있는 해쉬 테이블의 인덱스이다. 상기 엔트리 인덱스

는 상기 위치 j에 대해

중 하나이다. 잘라내는 위치(chopping position)를 결정하는 것은 수학식 (3)에 의해 나타내진다:

...... (3)

수학식 (3)에서, j 는 상기 입력 벡터의 인덱스이며, sd 는 상기 코드북의 차원들의 개수이고, 여기서 sd 는 상기 코드북의 각 엔트리 인덱스로 얼마나 많은 값들이 저장되어 있는지를 지시할 수 있다. 상기 블록 902에서 수신된 입력 값이 0.45인 예제를 사용할 경우, 0.45는 상기 입력 벡터에서의 28번째 입력이고 (입력 벡터 인덱스 27), sd = 3라고 가정하기로 한다. 이 예제에서, u = 27 / 3이고, 따라서 u = 9이다. 상기 프로세서가 u 와 상기 엔트리 인덱스,

를 결정하면, 상기 프로세서는 수학식 (4)로 상기 인덱스를 결정할 수 있다:

...... (4)

따라서,

는 테이블

에서 u 번째 엔트리이다. 여기에서 개시되는 바와 같이,

는 또한 상기 코드북 및 해쉬 테이블들이 생성되었을 때 생성된 인덱스 매트릭스의 인덱스를 지시한다. 따라서, 상기 프로세서는 상기 u 와 동일한 인덱스에서의 상기 인덱스 매트릭스의 인덱스 값을 검색함으로써

를 획득할 수 있다. 상기 u = 9인 예제를 사용할 경우, 상기 인덱스 매트릭스의 9번째 인덱스에 50의 값이 저장되어 있을 경우, 이는 상기 계층 응답을 근사화시킬 때 사용될 값이 45번째 해쉬 테이블의 엔트리 인덱스 50 (혹은 51번째 행)에 저장되어 있다는 것을 지시한다.

블록 910에서, 상기 프로세서는 상기 해쉬 테이블의 차원들 (또한 상기 코드북의 차원들)을 기반으로 상기 입력에 대한 값 인덱스를 결정한다. 상기 해쉬 테이블에서 각 엔트리 인덱스에 상응하는 각 엔트리는 sd-차원 벡터이고, 따라서 상기 해쉬 테이블에서의 각 엔트리는 상기 엔트리에 저장되어 있는 한 개를 초과하는 값을 가질 수 있다. 상기 엔트리 인덱스,

를 결정하는 것은 상기 사용될 값이 검출될 수 있는 해쉬 테이블에 엔트리를 제공하지만, 다수의 값들이 상기 엔트리에 저장되어 있을 때, 상기 프로세서는 값 인덱스,

를 사용하여 상기 엔트리의 어떤 값이 상기 적합한 값인지 결정할 수 있다. 상기 프로세서는 수학식 (5)로

를 결정할 수 있다:

...... (5)

수학식 (5)에서, '%'는 모듈로 연산자(modulo operator)를 나타낸다. 상기 프로세서가 상기 3개의 인덱스들을 결정한 후, 상기 프로세서는 상기 테이블

에서

번째 엔트리의

번째 값을 사용하여 xjwij를 근사화시킬 수 있다. 상기 입력 값이 0.45이고,

= 50이고, j = 27이고, sd = 3인 예제를 사용할 경우,

= 27 % 3이고, 따라서

= 0이다. 상기 해쉬 테이블에서 각 엔트리가 3-차원 벡터인 이 예제에서, 상기 계층 응답을 근사화하는데 사용될 엔트리 값은 해쉬 테이블 45의 엔트리 인덱스 50에 저장되어 있는 3개의 값들 중 첫 번째 값이다. 1-차원 벡터들이 사용되는 시나리오들에서, sd 는 매 엔트리 인덱스가 상기와 같은 시나리오들에서 1개의 값만을 가질 것이기 때문에 상기 수학식들 혹은 수학식 (5)로부터 제거될 수 있다.

상기 프로세스(900)의 블록 912에서, 상기 프로세서는 상기 엔트리 인덱스 및 값 인덱스에 상응하는 엔트리 값을 상기 해쉬 테이블로부터 검색한다. 상기 프로세서는 상기 검색된 엔트리 값을 엔트리 값들의 벡터에 추가한다. 결정 블록 914에서, 상기 프로세서는 상기 입력 벡터에 포함되어 있는 모든 입력들이 특정 계층 응답 값에 대해 프로세스되어 있는지 여부를 결정한다. 그렇지 않을 경우, 상기 프로세스(900)는 블록 902로 되돌아가서 상기 입력 벡터로부터의 다른 입력을 프로세스한다. 결정 블록 914에서, 상기 프로세서가 상기 입력 벡터에 포함되어 있는 모든 입력들과 상기 해쉬 테이블들로부터 검색된 상응하는 엔트리 값들이 프로세스되어 있다고 결정할 경우, 상기 프로세스(900)는 블록 916로 진행한다. 블록 916에서, 상기 프로세서는 계층 응답을 결정하기 위해 상기 프로세스(900) 동안 검색된 각 엔트리 값에 대해 합산 동작을 수행한다. 몇몇 실시 예들에서, 상기 합산 동작의 결과는 상기 계층 응답의 값을 결정하기 위해 활성화 함수에 적용될 수 있다.

도 9가 본 개시의 실시 예들에 따른 코드북 및 해쉬 테이블들을 사용하는 계층 응답 프로세스를 도시하고 있을 지라도, 다양한 변경들이 도 9에 대해 이루어질 수 있다. 일 예로, 일련의 단계들로 도시되어 있을 지라도, 도 9의 다양한 단계들은 오버랩되거나, 병렬로 발생하거나, 다른 순서로 발생하거나, 혹은 다수 번 발생할 수 있다.

도 10은 본 개시의 실시 예들에 따른, 엔트리 값 검색 프로세스(entry value retrieval process)(1000)의 일 예의 블록 다이아그램을 도시하고 있다. 상기 서버(200)의 프로세서(210), 혹은 상기 전자 디바이스(300)의 프로세서(340)는 상기 프로세스(1000)를 수행할 수 있다. 도 10에 도시되어 있는 상기 예제에서, 512개의 입력 값들을 포함하는 입력 벡터(1002)가 신경 네트워크를 통해 프로세스될 것이다. 도 10에서, 상기 프로세서는 원래의 웨이팅 매트릭스를 코드북(1004)으로 이미 압축하였고, 상기 프로세서는 인덱스 매트릭스(1006)를 이미 생성하였다. 도 10에서의 상기 예제는 상기 인덱스 매트릭스(1006)의 1개의 행을 도시하고 있다. 상기 프로세서는 상기 코드북(1004)을 상기 [0.01,0.99] 범위의 모든 값들과 곱합으로써 99개의 해쉬 테이블들을 생성하여 일련의 해쉬 테이블들(1008)을 이미 생성하였다.

상기 계층 응답을 결정하기 위해, 상기 프로세서는 상기 해쉬 테이블들로부터 상기 입력 벡터(1002)에서의 각 입력에 상응하는 상기 해쉬 테이블들에서의 엔트리 값을 검색하고, 상기 프로세서는 합 벡터(1010)에 상기 엔트리 값을 포함시킨다. 상기 입력 벡터(1002)에서의 각 입력이 프로세스된 후, 상기 프로세서는 도 9를 참조하여 본 개시에서 설명한 바와 같이, 상기 합 벡터(1010)에 포함되어 있는 모든 값들에 대해 합산 동작을 수행한다. 이 프로세스는 전체 계층 응답을 생성하기 위해, 상기 인덱스 매트릭스의 각 새로운 행에 대해 동일한 입력 벡터(1002)를 사용하여 상기 인덱스 매트릭스의 각 행에 대해 반복될 수 있다.

도 10에 도시되어 있는 상기 예제에서, 상기 입력 벡터(1002)에서의 첫 번째 입력 값은 0.14이다. 이 예제에서, 상기 첫 번째 입력에 대해서, j = 0 이고 xj = 0.14이다. 상기 프로세서는 수학식 (2),

를 사용하여 상기 합 벡터(1010)에 추가될 엔트리 값을 포함하는 해쉬 테이블을 검출할 수 있다. j = 0에 대해서,

이고, 따라서

= 14이며, 이는 해쉬 테이블 14는 상기 엔트리 값이 저장되어 있는 장소라는 것을 지시한다. 단계 1012에서, 상기 프로세서는 해쉬 테이블 14를 검색한다. 이 예제에서, 상기 코드북 및 해쉬 테이블들은 2-차원 서브-벡터들을 포함하고, 따라서 sd = 2이다. 상기 해쉬 테이블 14에 대해 엔트리 인덱스,

를 결정하기 위해서, 상기 프로세서는 단계 1014에서 수학식 (3), u=j/sd 을 사용하여 상기 입력을 상기 인덱스 매트릭스(1006)에 매핑한다. j = 0이고, sd = 2이기 때문에, u = 0 / 2이다. 따라서, u =0이고, 이는 상기 인덱스 매트릭스의 인덱스 0은 상기 엔트리 인덱스를 포함한다는 것을 지시한다.

단계 1016에서, 상기 프로세서는 수학식 (4),

를 사용하여 상기 엔트리 인덱스를 결정하고, 따라서

이다. 이 예제에서, 상기 인덱스 매트릭스의 인덱스 0,

는 1의 값을 포함한다. 따라서,

= 1이고, 이는 상기 j = 0에 대한 엔트리 값이 상기 해쉬 테이블 14의 엔트리 인덱스 1 (행 2)에 포함되어 있다는 것을 지시한다. 상기 해쉬 테이블 14의 엔트리 인덱스 1는 상기 코드북(1004)의 엔트리 인덱스 1에서의 값들과 0.14를 곱한 곱들: 0.092 (0.14*0.66) 및 0.116 (0.14*0.83)을 포함한다. 단계 1018에서, 상기 프로세서는 값 인덱스를 결정한다. 상기 프로세서는 상기 해쉬 테이블 14에서의 엔트리 인덱스 및 값 인덱스에 상응하는 엔트리 값을 상기 합 벡터(1010)에서의 첫 번째 값으로 저장한다. 상기 프로세서는 수학식 (5),

= j % sd 에 따라 상기 값 인덱스를 결정한다. 이 예제에서,

= 0 % 2 이고, 따라서

= 0이다.

= 0이기 때문에, 상기 프로세서는 상기 해쉬 테이블 14의 엔트리 인덱스 1에서의 첫 번째 엔트리 값(0.092)을 검출하고, 상기 프로세서는 상기 첫 번째 엔트리 값을 상기 합 벡터(1010)에 첫 번째 값으로 포함시킨다.

도 10을 참조하여 설명되는 이 프로세스는 상기 입력 벡터(1002)에 포함되어 있는 각 입력 값에 대해 반복된다. 상기 프로세서가 상기 입력 벡터(1002)에 포함되어 있는 각 입력 값에 대해 상기 해쉬 테이블들에서 엔트리 값을 검출하고, 각 엔트리 값을 상기 합 멕터(1010)에 저장하면, 상기 프로세서는 상기 합 벡터(1010)에 포함되어 있는 모든 값들에 대해 합산 동작을 수행한다. 몇몇 실시 예들에서, 상기 프로세서는 활성화 함수를 상기 합산 동작의 결과에 적용하여 상기 신경 네트워크의 다음 히든 계층(hidden layer)에 포함되어 있는 (노드 혹은 유닛으로도 알려져 있는) 뉴런(neuron)으로 패스될, 혹은 상기 출력 계층에서의 출력으로 사용될 계층 결과를 생성한다. 도 10을 참조하여 설명되는 상기 프로세스는 상기 인덱스 매트릭스의 각 행에 대해 반복되어 상기 신경 네트워크의 다음 계층으로 패스될 다수의 계층 응답들을 생성할 수 있다.

본 개시는 신경 네트워크 사이즈에서의 감소 및 신경 네트워크 프로세싱 속도에서의 상당한 증가를 가능하게 한다. 한 예제에서, 음성 데이터에 대해 의도 분류를 수행하기 위해 사용되는 원래의 모델은 1,250 만 바이트의 사이즈를 가진다. 한 번의 의도 분류를 위해 소요되는 시간은 9.48 밀리 초이며, 99.68%의 인식률을 가진다. 이 원래의 모델로부터 생성된 첫 번째 컴팩트(compact) 모델은 1차원 서브-벡터들을 포함하고, 3.01 백만 바이트의 모델 사이즈를 가지며, 상기 원래의 모델로부터 75%의 사이즈 감소를 가진다. 상기 첫 번째 컴팩트 모델을 사용하는 한 의도 분류에 대해 소요되는 시간은 2.97 밀리 초이며, 상기 원래의 모델로부터 219%의 속도 증가를 가진다. 상기 첫 번째 컴팩트 모델은 여전히 99.68%의 인식률을 가진다.

다른 예로서, 상기 원래의 모델로부터 생성된 2차원 서브-벡터들을 포함하는 두 번째 컴팩트 모델은 140 만 바이트의 모델 사이즈를 가지며, 상기 원래의 모델로부터 88%의 사이즈 감소를 가진다. 상기 두 번째 컴팩트 모델을 사용하는 한번의 의도 분류에 소요되는 시간은 7.18 밀리 초이며, 상기 원래의 모델로부터 32%의 속도 증가를 가진다. 상기 두 번째 컴팩트 모델은 여전히 99.68%의 인식률을 가진다. 본 개시는 따라서 정확도를 유지하면서도, 신경 네트워크를 실행하는데 사용되는 메모리의 양을 감소시키고 상기 신경 네트워크의 증가된 속도를 제공함으로써 상기 서버(200) 혹은 상기 전자 디바이스(300), 혹은 상기 신경 네트워크를 실행하는 다른 시스템들의 기능에 대한 개선을 제공한다.

본 개시의 일 실시 예에 따르면, 컴퓨터 프로그램을 구현하는 비-일시적 컴퓨터 리드 가능 매체(non-transitory computer readable medium)가 제공된다. 상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하고; 상기 코드북으로부터 인덱스(index) 매트릭스를 생성하고, 여기서 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하며, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 코드북에서의 위치에 상응하며; 및 다수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하도록 하는 컴퓨터 리드 가능 프로그램 코드를 포함한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 상기 해쉬 테이블을 생성하기 위해 상기 다수의 입력들 중 하나와 상기 코드북을 곱하도록 하는 프로그램 코드를 더 포함한다.

상기 해쉬 테이블은 엔트리(entry) 인덱스에 상응하는 하나 혹은 그 이상의 엔트리 값들을 포함한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 상기 웨이팅 매트릭스의 각 행(row)을 잘라냄(chop)으로써 다수의 서브-벡터들을 생성하고; 상기 다수의 서브-벡터들 각각에 대해 클러스터링(clustering) 동작을 수행하고; 및 상기 다수의 서브-벡터들 각각에 대해 수행된 클러스터링 동작으로부터 하나 혹은 그 이상의 중심(centroid)들을 결정하도록 하는 프로그램 코드를 더 포함한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 상기 해쉬 테이블을 생성하기 위해 상기 다수의 입력들 중 하나와 상기 코드북의 하나 혹은 그 이상의 중심들 각각을 곱하도록 하는 프로그램 코드를 더 포함한다.

여기서, 상기 해쉬 테이블은 엔트리(entry) 인덱스에 상응하는 하나 혹은 그 이상의 엔트리 값들을 포함한다.

본 개시의 일 실시 예에 따르면, 컴퓨터 프로그램을 구현하는 비-일시적 컴퓨터 리드 가능 매체가 제공된다. 상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가 입력들의 벡터로부터 입력을 수신하고, 상기 입력을 기반으로 테이블 인덱스(table index)를 결정하고, 다수의 해쉬(hash) 테이블들로부터 해쉬 테이블을 검색하도록 하는 컴퓨터 리드 가능 프로그램 코드를 포함하며, 상기 해쉬 테이블은 상기 테이블 인덱스에 상응한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 인덱스 매트릭스(matrix)를 기반으로 상기 해쉬 테이블의 엔트리(entry) 인덱스를 결정하고, 여기서 상기 인덱스 매트릭스는 하나 혹은 그 이상의 인덱스 값들을 포함하고, 상기 하나 혹은 그 이상의 인덱스 값들 각각은 상기 해쉬 테이블에 포함되어 있는 벡터(vector)에 상응하며; 및 상기 엔트리 인덱스에 상응하게 상기 해쉬 테이블에 포함되어 있는 엔트리 값을 결정하도록 하는 프로그램 코드를 더 포함한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가: 상기 엔트리 값을 결정하기 위해, 상기 해쉬 테이블의 차원(dimension)들을 기반으로 값 인덱스를 결정하도록 하는 프로그램 코드를 더 포함하며, 여기서 상기 해쉬 테이블에 포함되어 있는 벡터는 하나 혹은 그 이상의 엔트리 값들을 포함하며, 상기 값 인덱스는 상기 해쉬 테이블에 포함되어 있는 벡터에 포함되어 있는 하나 혹은 그 이상의 엔트리 값들 중 하나에 상응한다.

여기서, 상기 비-일시적 컴퓨터 리드 가능 매체는 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 적어도 하나의 프로세서서가 상기 엔트리 값과 하나 혹은 그 이상의 다른 엔트리 값들의 합을 수행함으로써 계층 응답을 결정하도록 하는 프로그램 코드를 더 포함한다.

상기 도면들의 도시된 영역들은 단지 예들일 뿐이라는 것에 유의하여야만 할 것이다. 또한, 상기 도면들이 2 차원으로 도시되어 있다고 할지라도, 상기 존들은 종종 3 차원이라는 것에 유의하여야만 할 것이다. 또한, 설명의 명료성 및 편의성을 위해 상기 도면들은 반드시 스케일(scale)되어야만 하는 것은 아니라는 것에 유의하여야만 할 것이다.

상기 도면들이 사용자 단말기의 다른 예제들을 도시하고 있을 지라도, 다양한 변경들이 상기 도면들에 대해 이루어질 수 있다. 일 예로, 상기 사용자 단말기는 임의의 적합한 배열로 임의의 개수의 각 컴포넌트를 포함할 수 있다. 일반적으로, 상기 도면들은 본 개시의 범위를 어떤 특정한 구성(들)으로도 한정하지 않는다. 또한, 도면들이 본 특허 문서에 개시되어 있는 다양한 사용자 단말기 특징들이 사용될 수 있는 동작 환경들을 도시하고 있을 지라도, 이런 특징들은 임의의 다른 적합한 시스템에서 사용될 수 있다.

이 출원의 상세한 설명 중 어느 것도 어떤 특정한 엘리먼트, 과정, 혹은 기능이 청구항들 범위에 포함되어야만 하는 필수적인 엘리먼트라고 의미하는 것으로 읽혀져서는 안될 것이다.

본 개시가 예제 실시 예를 참조하여 설명되었다고 할지라도, 다양한 변경들 및 수정들이 해당 기술 분야의 당업자에게 제안될 수 있다. 본 개시는 첨부되는 청구항들의 범위 내에 존재하는 변경들 및 수정들을 포함하는 의도를 가진다.

Claims

신경 네트워크를 위한 방법에 있어서,
상기 신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하는 과정;
상기 코드북으로부터 인덱스(index) 매트릭스를 생성하는 과정 - 상기 인덱스 매트릭스는 하나 이상의 인덱스 값을 포함하며, 상기 하나 이상의 인덱스 값 각각은 상기 코드북에서의 위치에 상응함 -; 및
복수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하는 과정을 포함하는 신경 네트워크를 위한 방법.
제1항에 있어서,
상기 해쉬 테이블을 생성하는 과정은 상기 복수의 입력들 중 하나와 상기 코드북을 곱하는 과정을 포함하는 신경 네트워크를 위한 방법.
제2항에 있어서,
상기 해쉬 테이블은 엔트리(entry) 인덱스에 상응하는 하나 이상의 엔트리 값을 포함하는 신경 네트워크를 위한 방법.
제1항에 있어서,
상기 코드북을 생성하는 과정은:
상기 웨이팅 매트릭스의 각 행(row)을 잘라냄(chop)으로써 복수의 서브-벡터들을 생성하는 과정;
상기 복수의 서브-벡터들 각각에 대해 클러스터링(clustering) 동작을 수행하는 과정; 및
상기 복수의 서브-벡터들 각각에 대해 수행된 상기 클러스터링 동작으로부터 하나 이상의 중심(centroid)을 결정하는 과정을 포함하는 신경 네트워크를 위한 방법.
제4항에 있어서,
상기 복수의 입력들의 각 입력에 대한 해쉬 테이블을 생성하는 과정은 상기 복수의 입력들 중 하나와 상기 코드북의 하나 이상의 중심 각각을 곱하는 과정을 포함하는 신경 네트워크를 위한 방법.
제5항에 있어서,
상기 해쉬 테이블은 엔트리(entry) 인덱스에 상응하는 하나 이상의 엔트리 값들을 포함하는 신경 네트워크를 위한 방법.
전자 디바이스에 있어서,
통신 인터페이스;
메모리; 및
상기 통신 인터페이스 및 메모리에 연결되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는:
신경 네트워크의 웨이팅 매트릭스(weighting matrix)로부터 코드북(codebook)을 생성하고;
상기 코드북으로부터 인덱스(index) 매트릭스를 생성하고 - 상기 인덱스 매트릭스는 하나 이상의 인덱스 값을 포함하며, 상기 하나 이상의 인덱스 값 각각은 상기 코드북에서의 위치에 상응함 -; 및
복수의 입력들의 각 입력에 대한 해쉬 테이블(hash table)을 생성하도록 구성되는 전자 디바이스.
제7항에 있어서,
상기 적어도 하나의 프로세서는:
상기 해쉬 테이블을 생성하기 위해 상기 복수의 입력들 중 하나와 상기 코드북을 곱하도록 더 구성되는 전자 디바이스.
제8항에 있어서,
상기 해쉬 테이블은 엔트리(entry) 인덱스에 상응하는 하나 이상의 엔트리 값을 포함하는 전자 디바이스.
청구항 4 내지 청구항 6의 방법들 중 하나를 수행하도록 구성되는 전자 디바이스.
신경 네트워크를 위한 방법에 있어서,
입력들의 벡터로부터 입력을 수신하는 과정;
상기 입력에 기초하여 테이블 인덱스(table index)를 결정하는 과정; 및
복수의 해쉬(hash) 테이블들로부터 상기 테이블 인덱스에 상응하는 해쉬 테이블을 검색하는 과정을 포함하는 신경 네트워크를 위한 방법.
제11항에 있어서,
인덱스 매트릭스(matrix)에 기초하여 상기 해쉬 테이블의 엔트리(entry) 인덱스를 결정하는 과정 - 상기 인덱스 매트릭스는 하나 이상의 인덱스 값을 포함하고, 상기 하나 이상의 인덱스 값 각각은 상기 해쉬 테이블 내의 벡터(vector)에 상응함 -; 및
상기 엔트리 인덱스에 상응하는 상기 해쉬 테이블 내의 엔트리 값을 결정하는 과정을 더 포함하는 신경 네트워크를 위한 방법.
제12항에 있어서,
상기 엔트리 값을 결정하는 과정은 상기 해쉬 테이블의 차원(dimension)들에 기초하여 값 인덱스를 결정하는 과정을 더 포함하고,
상기 해쉬 테이블 내의 벡터는 하나 이상의 엔트리 값들을 포함하고, 상기 값 인덱스는 상기 해쉬 테이블 내의 상기 벡터 내의 상기 하나 이상의 엔트리 값들 중 하나에 상응하는 신경 네트워크를 위한 방법.
제12항에 있어서,
상기 엔트리 값과 하나 이상의 다른 엔트리 값의 합을 수행하는 과정을 포함하는 계층 응답을 결정하는 과정을 더 포함하는 신경 네트워크를 위한 방법.
청구항 11 내지 청구항 14의 방법들 중 하나를 수행하도록 구성되는 전자 디바이스.