KR20220110293A - 순환 신경 네트워크로부터의 출력 - Google Patents

순환 신경 네트워크로부터의 출력 Download PDF

Info

Publication number
KR20220110293A
KR20220110293A KR1020227023755A KR20227023755A KR20220110293A KR 20220110293 A KR20220110293 A KR 20220110293A KR 1020227023755 A KR1020227023755 A KR 1020227023755A KR 20227023755 A KR20227023755 A KR 20227023755A KR 20220110293 A KR20220110293 A KR 20220110293A
Authority
KR
South Korea
Prior art keywords
application
neural network
data
activity
region
Prior art date
Application number
KR1020227023755A
Other languages
English (en)
Inventor
헨리 마크램
펠릭스 쉬르만
파비앙 조나단 델라론드르
다니엘 밀란 뤼트게헤트만
존 라몬
Original Assignee
이나이트 에스아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이나이트 에스아 filed Critical 이나이트 에스아
Publication of KR20220110293A publication Critical patent/KR20220110293A/ko

Links

Images

Classifications

    • G06N3/0445—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G06N3/0472—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

순환 인공 신경 네트워크로부터의 출력을 다양한 상이한 애플리케이션들에 적용하는 방법. 방법은 순환 인공 신경 네트워크에서 활동의 토폴로지 패턴들을 식별하는 단계, 숫자들의 컬렉션을 출력하는 단계, 그리고 상기 컬렉션의 제1 숫자를 제1 목적을 충족시키도록 설계된 제1 애플리케이션에 그리고 제2 목적을 충족시키도록 설계된 제2 애플리케이션에 입력하는 단계를 포함하며, 여기에서 상기 제1 목적은 상기 제2 목적과 상이하다. 상기 토폴로지 패턴들은 상기 순환 인공 신경 네트워크로의 데이터 입력에 응답하고 각 토폴로지 패턴은 상기 입력 데이터의 특성을 추상화한다. 각 숫자는 상기 활동의 토폴로지 패턴들 중 하나가 상기 인공 신경 네트워크에서 식별되었는지 여부를 나타낸다.

Description

순환 신경 네트워크로부터의 출력
본 발명은 인공 신경 네트워크에 관한 것으로, 특히 순환 인공 신경 네트워크로부터의 출력을 다양한 애플리케이션들에 적용하는 것에 관한 것이다.
인공 신경 네트워크는 생물학적 뉴런들 네트워크들의 구조와 기능적 측면에서 영감을 받은 디바이스이다. 특히, 인공 신경 네트워크는 노드라고 불리는 상호 연결된 구성의 시스템을 사용하여 생물학적 뉴런들 네트워크의 정보 인코딩 및 다른 처리 기능들을 모방한다. 인공 신경 네트워크에서 노드들 간 연결의 배열과 강도는 그 인공 신경 네트워크에 의한 정보 처리나 정보 저장의 결과를 결정한다.
신경 네트워크는 그 네트워크 내에서 원하는 신호 흐름을 생성하고 원하는 정보 처리 또는 정보 저장 결과를 달성하도록 훈련될 수 있다. 일반적으로, 신경 네트워크을 훈련하면 학습 단계에서 노드들 간 연결의 배열 및/또는 강도가 변할 것이다. 주어진 입력 집합에 대해 신경 네트워크에 의해 충분히 적절한 처리 결과를 얻을 때 신경 네트워크는 훈련된 것으로 간주될 수 있다.
훈련은 신경 네트워크에 의해 수행된 처리의 기본이기 때문에, 신경 네트워크에서 수행되는 처리의 출력은 신경 네트워크가 훈련된 작업에 특정된다. 예를 들어, 신경 네트워크 이미지 분류기로부터의 출력은 입력 이미지의 예/아니오 분류일 수 있다. 또 다른 예로, 자동차를 조종하도록 훈련된 신경 네트워크는 자동차를 조종하는 데 적합한 설정 신호들일 것이다.
신경 네트워크가 수행하는 처리를 일반화하려는 시도는 추가 훈련 데이터를 사용하여 신경 네트워크를 추가 작업으로 훈련시킴으로써 이루어졌다. 예를 들어, 이진의 (binary) 예/아니오 분류 대신, 신경 네트워크 이미지 분류기는 입력 이미지를 여러 클래스들로 분류할 수 있다. 유사하게, 신경 네트워크가 자동차를 조종할 수 있는 조건들의 집합은 그 자동차를 다른 조건으로 훈련함으로써 확장될 수 있다. 수행할 수 있는 작업이 증가했지만, 출력의 특성은 네트워크가 훈련된 작업에 특정되어 유지된다.
신경 네트워크에 의해 수행되는 처리를 일반화하려는 다른 시도는 제1 스티에지가 특정 작업을 수행하도록 훈련되고 이러한 작업들의 결과가 상이한 다운스트림 스테이지들로 입력되는 다중 스테이지 구조에 의존했다. 예시적인 다중 스테이지 구조는 https://github.com/yunjey/pytorch-tutorial/tree/master/tutorials/03-advanced/image_captioning에서 이용 가능하고 도 1에 예시되어 있다. 다중 스테이지 구조(1)에서, 입력 이미지(5)는 이미지로부터 특징을 추출하도록 훈련된 컨볼루션 신경 네트워크(10)에 입력된다. 특징의 존재 또는 부재는 특징 벡터(15)에 표시되며, 이는 선형 변환기(20)에서 LSTM(long short-term memory) 디코더 네트워크의 입력 차원과 동일한 차원을 갖도록 변환된다. LSTM 디코더 네트워크는 상기 변환된 특징 벡터(15)를 함께 포착하는 모듈들(25)의 컬렉션을 포함한다. 상기 컨볼루션 신경 네트워크(10)와 LSTM 디코더 네트워크가 훈련되었던 작업들은 상이하지만, 그 작업들은 비록 다수의 타겟 작업들을 구비하지만, 여전히 역-전파(back-propagation)에 의해 훈련된다. 상기 출력의 특성은 신경 네트워크의 특정 훈련에 본질적으로 남는다.
순환 인공 신경 네트워크로부터의 출력을 다양한 상이한 애플리케이션들에 적용하는 방법이 설명된다.
일 구현에서, 방법은 순환 인공 신경 네트워크에서 활동의 토폴로지 패턴들을 식별하는 단계, 숫자들의 컬렉션을 출력하는 단계, 그리고 상기 컬렉션의 제1 숫자를 제1 목적을 충족시키도록 설계된 제1 애플리케이션에 그리고 제2 목적을 충족시키도록 설계된 제2 애플리케이션에 입력하는 단계를 포함하며, 여기에서 상기 제1 목적은 상기 제2 목적과 상이하다. 상기 토폴로지 패턴들은 상기 순환 인공 신경 네트워크로의 데이터 입력에 응답하고 각 토폴로지 패턴은 상기 입력 데이터의 특성을 추상화한다. 각 숫자는 상기 활동의 토폴로지 패턴들 중 하나가 상기 인공 신경 네트워크에서 식별되었는지 여부를 나타낸다.
다른 구현에서, 인공 신경 네트워크 시스템을 구축하는 방법은, 순환 인공 신경 네트워크를 제공하는 단계로, 상기 순환 인공 신경 네트워크는 상기 순환 인공 신경 네트워크로 데이터를 입력하도록 구성된 입력부 및 상기 입력 데이터에 응답하여 상기 순환 인공 신경 네트워크에서 활동의 토폴로지 패턴들이 발생했는지 여부에 대한 표현들을 출력하도록 구성된 출력부를 포함하는, 제공 단계, 제1 애플리케이션으로의 입력을 위한 표현들의 제1 진부분집합을 선택하는 단계, 그리고 제2 애플리케이션으로의 입력을 위해 표현들의 제2 진부분집합을 선택하는 단계를 포함한다.
다른 구현에서, 신경 네트워크 시스템은 순환 신경 네트워크 및 제1 애플리케이션을 포함한다. 상기 순환 신경 네트워크는 제1 데이터를 수신하도록 구성된 제1 영역, 제2 데이터를 수신하도록 구성된 제2 영역, 및 상기 제1 영역 및 제2 영역 모두에 의한 처리 결과를 수신하도록 구성된 제3 영역을 포함한다. 상기 제1 영역 및 제2 영역 둘 모두가 동시에 교란되더라도 상기 제1 영역은 상기 제1 데이터에 의해 1차로 교란되고 상기 제2 영역은 상기 제2 데이터에 의해 1차로 교란된다. 상기 제3 영역은 상기 제1 영역 및 상기 제2 영역에 의한 처리의 결과들에 응답하여 활동의 토폴로지 패턴들의 존재에 대한 표시들을 출력하도록 구성된다. 제1 애플리케이션은 활동의 토폴로지 패턴들의 존재에 대한 상기 표시들의 적어도 일부를 수신하도록 결합된다.
다른 구현에서, 신경 네트워크 시스템은 순환 신경 네트워크, 제1 애플리케이션, 및 제2 애플리케이션을 포함한다. 상기 순환 신경 네트워크는, 제1 데이터를 수신하고 제1 영역에 의한 처리 결과들에 응답하는 활동의 토폴로지 패턴들의 존재의 표시들을 출력하도록 구성된 제1 영역 그리고 제2 데이터를 수신하고 상기 제1 영역 및 제2 영역에 의한 처리 결과들에 응답하는 활동의 토폴로지 패턴들의 존재 표시들을 출력하도록 구성된 제2 영역을 포함한다. 상기 제1 영역 및 제2 영역 둘 모두가 동시에 교란되더라도 상기 제1 영역은 상기 제1 데이터에 의해 1차로 교란되고 상기 제2 영역은 상기 제2 데이터에 의해 1차로 교란된다.
제1 애플리케이션은 활동의 토폴로지 패턴들의 존재에 대한 상기 표시들의 적어도 일부를 수신하도록 결합된다. 제2 애플리케이션은 활동의 토폴로지 패턴들의 존재에 대한 상기 표시들의 적어도 일부를 수신하도록 결합된다. 상기 제1 애플리케이션은 제1 목적을 충족시키도록 설계된다. 상기 제2 애플리케이션은 제2 목적을 충족시키도록 설계된다. 상기 제1 목적은 상기 제2 목적과 상이하다.
이러한 구현 및 기타 구현은 다음 특징들 중 하나 이상을 포함할 수 있다. 상기 애플리케이션들은 예를 들어 클러스터링 애플리케이션, 캡셔닝 애플리케이션, 제어 시스템 애플리케이션, 예측 애플리케이션, 의사 결정 애플리케이션, 돌출 예측 애플리케이션, 축소 인코딩의 재구성을 위한 애플리케이션, 언어 번역 애플리케이션, 암호화 애플리케이션 및 해독 애플리케이션일 수 있다. 제1 숫자는 제1 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것일 수 있다. 제2 숫자는 제2 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것일 수 있다. 제1 클래스의 데이터는 시간에 따라 상대적으로 빠르게 변화하는 데이터일 수 있으며 그리고 제2 클래스는 시간에 따라 상대적으로 느리게 변화하거나 전혀 변화하지 않는 데이터일 수 있다. 상기 제1 클래스의 데이터는 제1 센서에서 시작되고 상기 제2 클래스는 제2 센서에서 시작될 수 있다. 상기 활동의 토폴로지 패턴들은 소집단 (clique) 패턴들일 수 있다. 상기 활동의 소집단 패턴들은 공동들을 둘러쌀 수 있다. 상기 인공 신경 네트워크의 활동이, 상기 인공 신경 네트워크로의 데이터의 입력에 응답하는 복수의 시간 윈도우들 내에서 활동의 토폴로지 패턴들의 신원을 나타내는 숫자들이 출력될 수 있다. 상기 활동의 토폴로지 패턴들은 상기 복수의 시간 윈도우들 각각에서 식별될 수 있다. 상기 제1 진부분집합 내 표현들 중 적어도 일부는 상기 제2의 진부분집합에 포함될 수 있다. 기계 학습을 사용하여 상기 제1 진부분집합이 선택될 수 있다. 상기 제2 애플리케이션의 출력은 상기 제1 애플리케이션에 입력될 수 있다. 상기 제1 애플리케이션의 출력은 제3 애플리케이션으로의 입력을 위해 선택될 수 있다. 상기 제2 애플리케이션의 출력은 상기 제3 애플리케이션으로의 입력을 위해 선택될 수 있다. 상기 표현들 내 제2 진부분집합 또한 상기 제3 애플리케이션으로의 입력을 위해 선택될 수 있다. 상기 제1 진부분집합은 제1 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것일 수 있다. 상기 제2 진부분집합은 제2 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것일 수 있다. 상기 제1 애플리케이션에 의해 수신된 표시들 중 적어도 일부는 상기 제2 애플리케이션에 의해 수신된 표시들 중 적어도 일부와 동일하다. 상기 제2 애플리케이션은 신경 네트워크 시스템에 포함될 수 있고 활동의 토폴로지 패턴들의 존재 표시들 중 적어도 일부를 수신하도록 결합될 수 있다. 상기 제1 애플리케이션은 제1 목적을 충족시키도록 설계될 수 있고 상기 제2 애플리케이션은 제2 목적을 충족시키도록 설계될 수 있다. 상기 제1 목적은 상기 제2 목적과 다를 수 있다. 상기 제1 애플리케이션에 의해 수신된 표시들 중 적어도 일부는 상기 제2 애플리케이션에 의해 수신된 표시들 중 적어도 일부와 동일할 수 있다.
하나 이상의 구현들의 세부 사항들은 첨부 도면들 및 아래의 설명에서 제시된다. 다른 특징들 및 이점들은 상기 설명과 도면들, 그리고 청구범위로부터 명백할 것이다.
도 1은 제1 스테이지가 특정 작업을 수행하도록 훈련되고 이러한 작업들의 결과들이 상이한 다운스트림 스테이지들로 입력되는 다중 스테이지 구조를 개략적으로 도시한다.
도 2는 순환 인공 신경 네트워크로부터의 출력이 다른 애플리케이션에 적용되는 인공 신경 네트워크 시스템의 구현을 개략적으로 나타낸 것이다.
도 3과 도 4는 신경 네트워크로부터 숫자들의 컬렉션을 생성하기 위해 식별되고 "판독될" 수 있는 활동 패턴들의 표현들이다.
도 5는 패턴의 발생들을 시간의 함수로서 나타내는 그래프이다.
도 6은 상이한 센서로부터 비롯하는 데이터를 순환 신경 네트워크에 입력하기 위한 다른 접근 방식의 개략도이다.
도 7은 순환 인공 신경 네트워크로부터의 출력을 다른 애플리케이션에 적용하는 개략도이다.
다양한 도면들에서 유사한 참조 기호들은 유사한 요소들을 나타낸다.
도 2는 순환 인공 신경 네트워크로부터의 출력이 다른 애플리케이션에 적용되는 인공 신경 네트워크 시스템(100)의 구현을 개략적으로 나타낸 것이다. 신경 네트워크 시스템(100)은 네트워크 입력부들(105)의 컬렉션, 순환 신경 네트워크(110), 네트워크 출력부들(115)의 컬렉션, 및 상이한 애플리케이션들(155, 160, 165, 170)의 컬렉션(150)을 포함한다. 일부 경우에, 신경 네트워크 입력부들(105)은 예를 들어 상이한 물리적 속성들을 데이터로 변환하는 트랜스듀서 또는 예를 들어, 문서 또는 데이터 스트림의 내용을 감지하는 디바이스처럼 특정 유형의 데이터만을 감지하는 디바이스들과 같은 여러 다양한 센서들로부터 유래하는 데이터를 수신한다. 순환 신경 네트워크(110)는 이러한 다양한 입력 데이터라도, 출력부들(115)을 통해 출력되고 다수의 다양한 애플리케이션들(155, 160, 165, 170)로의 입력에 적합한 공통 표현(120)으로 처리하고 추상화한다. 여기에서, 순환 신경 네트워크(110)는, 다양한 입력 데이터(예: 시각, 소리, 냄새)도 "보편적 표현"으로 추상화되어 상이한 다양한 애플리케이션들에 적용되고 예를 들어 움직임, 언어 및/또는 추가 추상화를 위해 사용된다는 점에서 생물학적 뇌와 유사하다.
네트워크 입력부들 (105)
더 상세하게는, 예시된 구현에서, 입력부들(105)은 각각이 입력을 신경 네트워크(110) 내 하나 이상의 위치로 수동적으로 중계하는 잘 정의된 노드들의 입력 계층으로서 개략적으로 표현된다. 그러나, 반드시 그렇지는 않다. 예를 들어, 일부 구현에서, 입력부들(105) 중 하나 이상은 데이터가 신경 네트워크(110)로 운반되기 전에 입력 데이터의 일부 또는 전부를 스케일링, 지연, 위상 편이 또는 처리할 수 있다. 다른 예로서, 데이터는 신경 네트워크(110) 전체에 걸쳐, 즉 그러한 형식적 입력 계층 없이 상이한 계층들 및/또는 에지들이나 노드에 주입될 수 있다. 예를 들어, 사용자는 데이터가 네트워크(110) 전체에 걸쳐서 분산된 특정 노드 또는 링크에 주입되도록 지정할 수 있다. 다른 예로서, 신경 네트워크(110)는 공지된 사전 정의된 방식(예를 들어, 항상 제1 노드에 제1 비트를 주입하고, 제2 노드에 제2 비트를 주입하는 등)으로 입력을 수신하도록 제한될 필요는 없다. 대신, 사용자는 상기 데이터 내 특정 비트들이 노드가 아닌 에지에 주입되도록 지정할 수 있으며, 주입 순서는 상기 비트들이 나타나는 순서 또는 이 파라미터들과 다른 파라미터들의 조합을 따를 필요는 없다고 규정할 수 있다. 그럼에도 불구하고, 편의상, 입력 계층으로서의 입력부들(105)의 표현은 여기에서 유지될 것이다.
일부 구현에서, 신경 네트워크(110)는 입력부들(105)을 통해 다수의 상이한 센서로부터 유래하는 데이터를 수신할 수 있다. 상기 센서는 상이한 물리적 속성들을 데이터로 변환하는 트랜스듀서 또는 예를 들어 문서 또는 데이터 스트림의 내용을 감지하는 디바이스와 같이 데이터만을 감지하는 디바이스일 수 있다. 상기 데이터는 상이한 센서에서 비롯될 뿐만 아니라 다른 형식 및/또는 특성을 가질 수도 있다. 예를 들어, 데이터의 특정 클래스(예: 비디오 또는 오디오 데이터)는 시간 또는 "스트림"에서 상대적으로 빠르게 변경될 수 있는 반면, 데이터의 다른 클래스(예: 정지 이미지 또는 온도)는 상대적으로 느리게 변경되거나 전혀 변경되지 않을 수 있다.
예를 들어, 입력 데이터는 예를 들어, 마이크에서 비롯된 사운드 데이터, 예를 들어, 스틸 카메라에서 비롯된 정지 이미지 데이터, 예를 들어, 비디오 카메라에서 비롯된 비디오 데이터 및 예를 들어 온도 센서에서 비롯된 온도 데이터 중 하나 이상을 포함할 수 있다. 이것은 설명만을 위한 것이다. 상기 입력 데이터는 예를 들어 압력 데이터, 화학 조성 데이터, 가속도 데이터, 전기 데이터, 위치 데이터 등을 포함하는 다양한 다른 상이한 유형의 데이터 중 하나 이상을 포함할 수 있다. 일부 구현에서, 상기 입력 데이터는 신경 네트워크(110)에 입력하기 전에 하나 이상의 처리 동작을 겪을 수 있다. 이러한 처리 동작의 예는 예를 들어 인공 신경 네트워크 디바이스에서의 비선형 처리를 포함한다.
순환 신경 네트워크 (110)
순환 신경 네트워크에서, 노드들 간의 연결은 시간 순서를 따라 지향성 (directed) 그래프를 형성하고 상기 네트워크는 시간적 동적인 동작을 나타낸다. 일부 구현에서, 순환 신경 네트워크(110)는 생물학적 시스템에 대해 모델링되는 비교적 복잡한 신경 네트워크이다. 다시 말해서, 순환 신경 네트워크(110)는 그 자체로 생물학적 시스템의 형태학적, 화학적 및 기타 특성의 정도를 모델링할 수 있다. 일반적으로, 생물학적 시스템에 관해 모델링된 순환 신경 네트워크(110)는 비교적 높은 수준의 계산 성능을 갖는 하나 이상의 컴퓨팅 디바이스에서 구현된다.
예컨데, 전통적인 피드포워드 신경 네트워크와 대조적으로, 생물학적 시스템에 관해 모델링된 순환 신경 네트워크(110)는 입력 데이터에 응답하지 않는 배경 또는 다른 활동을 디스플레이할 수 있다. 실제로, 입력 데이터가 없는 경우에도 그러한 신경 네트워크(110)에 활동이 존재할 수 있다. 그러나, 데이터 입력 시, 순환 신경 네트워크(110)는 교란될 것이다. 교란에 대한 이러한 신경 네트워크(110)의 응답이 데이터가 입력되는 시점의 신경 네트워크(110)의 상태에 부분적으로 종속할 수 있기 때문에, 데이터 입력에 대한 이러한 신경 네트워크(110)의 응답은 신경 네트워크(110)에 이미 존재하는 배경 또는 다른 활동에 또한 종속할 수 있다. 그럼에도 불구하고, 신경 네트워크에서의 이러한 활동은 데이터 입력에만 반응하는 것이 아니라 입력 데이터에 응답한다.
입력 데이터에 대한 신경 네트워크(110)의 응답은 토폴로지 패턴들의 컬렉션으로서 읽혀질 수 있다. 특히, 데이터 입력 시, 신경 네트워크(110)는 특정 활동으로 응답할 것이다. 그 활동은 다음의 것들을 포함한다:
- 정의된 토폴로지 패턴과 일치하지 않는 활동, 및
- 정의된 토폴로지 패턴과 일치하는 활동.
정의된 토폴로지 패턴과 일치하지 않는 신경 네트워크(110)에서의 활동은 일부 경우에 입력 데이터의 특성에 대한 부정확하거나 불완전한 추상화, 또는 입력 데이터에 대한 다른 작업일 수 있다. 토폴로지 패턴과 일치하는 신경 네트워크(110)에서의 활동은 입력 데이터의 상이한 특성을 추상화할 수 있다. 추상화된 각 특성은 애플리케이션에 따라 다소 유용할 수 있다. 특정 토폴로지 패턴의 표현으로 표현(120)을 제한함으로써, 부정확하거나 불완전한 추상화 및 특정 애플리케이션과 관련이 없는 특성의 추상화가 표현(120)에서 "필터링되어 제거"되고 제외될 수 있다.
때때로, 신경 네트워크(110)는 다른 토폴로지 패턴이 상이할지라도 동일한 하나 이상의 토폴로지 패턴으로 다른 센서로부터 유래한 데이터 입력에 응답할 것이다. 예를 들어, 신경 네트워크(110)는 다른 토폴로지 패턴이 각 입력에 대한 응답의 일부일지라도 "뜨거움"의 정성적 평가를 나타내는 토폴로지 패턴으로 온도 판독 또는 사막의 정지 이미지에 응답할 수 있다. 유사하게, 신경 네트워크(110)는 다른 토폴로지 패턴이 각 입력에 대해서도 응답의 일부인 경우에도 "완료"의 정성적 평가를 나타내는 토폴로지 패턴으로 부스러기가 있는 접시의 정지 이미지 또는 음악 작곡의 결론에 응답할 수 있다. 그래서, 때때로 상이한 출처와 상이한 형식을 가진 데이터로부터 동일한 특성이 추상화될 수 있다.
때때로, 신경 네트워크(110)는 상이한 센서들로부터 유래하는 데이터의 입력에, 그 센서들로부터의 데이터 특성의 합성 또는 융합을 나타내는 하나 이상의 토폴로지 패턴으로 응답할 것이다. 즉, 그런 단일 패턴은 사이한 유형의 데이터에 존재하는 동일한 특성의 추상화를 나타낼 수 있다. 일반적으로, 상이한 센서들로부터의 데이터를 융합하거나 합성하면 그런 패턴들이 발생하게 하거나 그런 패턴들의 활동 강도가 증가하도록 작용할 것이다. 즉, 상이한 센서들로부터의 데이터는 다양한 입력 데이터에 동일한 특성이 존재한다는 "확증 증거" 역할을 할 수 있다.
몇몇 경우에, 상이한 센서들로부터의 데이터 특성들의 합성 또는 융합을 나타내는 토폴로지 패턴들은 특정 특성들이 상이한 센서들로부터의 데이터에 존재하는 경우에만 발생할 것이다. 신경 네트워크(110)는 실제로 AND 게이트로 작용할 수 있으며 그리고 활동의 특정 패턴의 활동이 발생하기 위해 상이한 센서들로부터의 데이터 내 특정 특성들을 필요로 할 수 있다. 그러나, 그럴 필요는 없다. 대신, 패턴을 형성하는 활동의 크기가 증가하거나 또는 활동의 타이밍이 상이한 센서로부터의 데이터에 응답하여 짧아질 수 있다. 실제로, 활동의 토폴로지 패턴과 표현(120)에서의 그 패턴들의 표현은 매우 풍부한 상태 공간에서 입력 데이터 특성의 추상화를 나타낸다. 다시 말해서, 활동의 토폴로지 패턴들과 그 패턴들의 표현은, 예를 들어, 예/아니오 분류가 분류자에 의해 산출된 미리 정의된 결과이며, 관련 입력들의 집합이 클러스터링 디바이스에 의해 생성된 미리 정의된 결과이며, 또는 예측이 예측 모델에 의해 생성된 미리 정의된 결과라는 의미에서, 입력 데이터의 미리 정의된 "결과들"이 반드시 필요하지는 않다. 오히려, 상기 토폴로지 패턴들은 입력 데이터의 특성을 추상화한 것이다. 비록 그 상태 공간이 때로는 예/아니오 분류와 같은 추상화를 포함할 수 있지만, 상기 상태 공간은 그 사전 정의된 결과에만 제한되지 않는다.
또한, 상기 토폴로지 패턴들은 그 입력 데이터의 전체가 아니라 그 입력 데이터의 일부(예: 이미지의 특정 영역 또는 비디오 또는 오디오 스트림 내 특정 순간 또는 픽셀과 같은 상기 입력의 특정 세부 사항)의 특성만을 추상화할 수 있다. 그래서, 추상화의 상태 공간은 미리 정의된 유형의 결과(예: 분류, 클러스터 또는 예측)나 전체 입력 데이터의 추상화로 제한되지 않는다. 오히려, 상기 토폴로지 패턴들은 고차원, 비선형, 순환 동적 시스템(즉, 신경 네트워크(110))에 의한 처리가 판독될 수 있게 하는 도구이다. 상기 토폴로지 패턴들은 데이터를 보다 완전한 "전체"로 융합하는 상관 관계를 포함하여 신경 네트워크(110)에서 발생하는 입력 데이터의 상관 관계를 추출한다. 또한, 신경 네트워크의 순환적인 특성으로 인해, 시간이 지남에 따라 융합이 발생한다. 초기 작업 또는 추상화가 완료되면, 이러한 초기 작업 또는 추상화의 결과는, 동시에 또는 심지어는 나중에 완료되는 다른 작업 또는 추상화와 융합될 수 있다. 그래서 상기 융합은 초기 작업이나 추상화와 상이한 늦은 시간에 발생한다.
상이한 기원 및 형식에도 불구하고, 신경 네트워크(110)는 여전히 데이터로부터 특성들을 추상화할 수 있다. 예를 들어, 신경 네트워크(110)는 다음의 것들을 추상화할 수 있다:
- 신체적 특성들 (예: 색상, 모양, 방위, 속도),
- 카테고리(예: 자동차, 고양이, 개) 및/또는
- 추상적 정성적 특성 (예: "살아 있는" 대 "죽음", "부드러운" 대 "거친", "생물" 대 "무생물", "뜨거운" 대 "차가운", "열린" 대 "닫힌").
입력 데이터를 소수의 센서로부터 발생하도록 제한하는 경우, 신경 네트워크(110)가 특정 방식으로 그 센서로부터의 데이터를 추상화할 가능성은 거의 없을 수 있다. 예를 들어, 신경 네트워크(110)가 그 자체로 온도 데이터를 형태 또는 방위와 같은 공간적 특성에 대응하는 활동 패턴으로 추상화할 가능성은 거의 없을 수 있다. 그러나, 상이한 센서들로부터의 데이터가 신경 네트워크(110)에 입력됨에 따라, 다양한 입력 데이터에 의해 유발된 교란들이 서로 만나 신경 네트워크(110)에서의 활동에 집합적으로 영향을 미칠 수 있다. 그 결과, 신경 네트워크(110)는 입력 데이터를 상이한 또는 보다 특정한 활동 패턴으로 추상화할 수 있다.
예를 들어, 패턴의 존재 또는 부재와 연관된 어느 정도의 불확실성이 있을 수 있다. 입력 데이터가 다양한 범위의 센서로부터의 데이터를 포함하는 경우, 상이한 센서로부터 유래하는 데이터가 신경 네트워크(110) 내에서 합성되거나 융합됨에 따라 패턴의 다양성 및 패턴의 확실성 둘 모두가 증가할 수 있다. 비유하자면, 기차역에서 기차에 앉아 있는 승객은 창 밖을 내다보면 움직이는 것처럼 보이는 인접한 기차를 볼 수 있다. 동일한 승객은 또한 예를 들어 좌석에서 전방 압력을 느낄 수 있다. 이 정보의 융합 또는 합성은 승객의 열차가 인접한 열차가 아니라 움직이고 있다는 승객의 확신의 정도를 높인다. 신경 네트워크가 다양한 입력 데이터를 수신할 때에, 그 데이터에 의해 유발된 교란은 서로 상이하거나 더 특정한 활동 패턴으로 집합적으로 추상화될 수 있다.
다양한 센서로부터의 입력 데이터를 처리하기 위한신경 네트워크(110)의 능력은 그 데이터의 추상화에 대한 어느 정도의 강건함을 또한 제공한다. 예를 들어, 그룹 중의 한 센서는 부정확하거나 심지어 작동하지 않을 수 있지만 신경 네트워크(110)는 계속해서 다른 센서로부터 데이터를 추상화할 수 있다. 종종, 신경 네트워크(110)는 다른 센서들로부터의 데이터를, 모든 센서들이 설계된 대로 기능했다면 발생했을 활동의 동일한 패턴들로 추상화할 것이다. 그러나, 어떤 경우, 그 추상화의 확실성이 떨어질 수 있다. 그럼에도 불구하고, 이러한 문제가 발생하더라도 추상화는 계속될 수 있다.
네트워크 출력부들 (115) 및 표현 (120)
신경 네트워크(110)에 의한 데이터의 추상화는, 예를 들어 입력 데이터에 응답하여 신경 네트워크(110)에서의 활동의 각자의 토폴로지 패턴의 존재 또는 부재를 각각 나타내는 (일반적으로 이진) 숫자의 컬렉션으로서 출력부들(115)로부터 판독될 수 있다. 몇몇 경우에, 표현(120) 내 각 숫자는 신경 네트워크(110)에서 각자의 활동 패턴의 존재 또는 부재를 나타낸다. 표현(120)은 단지 개략적으로 예시되며 그리고 표현(120)은 예를 들어, 숫자들의 1차원 벡터, 숫자들의 2차원 행렬, 또는 숫자들의 다른 컬렉션일 수 있다. 일반적으로, 표현(120) 내 숫자들은 이진수이며 활동 패턴이 존재하는지 여부를 예/아니오 방식으로 표시한다. 그러나, 반드시 그렇지는 않다. 대신, 일부 구현에서, 표현(120) 내 숫자들은 다중 값일 것이다. 상기 값들은 신경 네트워크(110) 내 각자의 활동 패턴의 존재 또는 부재의 특성들을 나타낼 수 있다. 예를 들어, 상기 값들은 활동의 강도 또는 활동의 특정 패턴이 실제로 존재하는 통계적 확률을 표시할 수 있다. 예를 들어, 규모가 비교적 크거나 비교적 짧은 시간 윈도우 내에 발생하는 활동은 특정 작업이 수행되었거나 수행되었을 가능성이 있음을 나타내는 것으로 간주될 수 있다. 대조적으로, 규모가 상대적으로 작거나 상대적으로 더 오랜 시간에 걸쳐 발생하는 활동은 특정 작업이 수행되었음을 나타낼 가능성이 적은 것으로 간주될 수 있다.
어떤 경우든, 활동의 반응 패턴은 입력 데이터에 대해 신경 네트워크(110)에 의해 수행된 특정 작업을 나타낸다. 상기 작업은 임의적으로 복잡할 수 있다. 그래서 단일 숫자는 임의의 복잡한 연산을 인코딩할 수 있고 숫자들의 집합은 각각이 임의 수준의 복잡성을 갖는 동작들의 집합을 운반할 수 있다.
또한, 활동의 토폴로지 패턴들 (및 표현(120)에서의 그 패턴들의 표현)은 신경 네트워크에 입력되는 데이터의 출처나 표현(129)이 적용되는 애플리케이션에 종속하지 않는다는 점에서 "보편적"일 수 있다. 오히려, 활동의 토폴로지 패턴들은 데이터의 출처에 관계없이 신경 네트워크(110)에 입력되는 데이터의 추상적인 특성들을 표현한다.
일반적으로, 활동의 여러 토폴로지 패턴들은 단일 입력에 응답하여, 그 입력이 이산(예: 정지 사진 또는 물리적 파라미터를 측정하는 트랜스듀서의 단일 판독)이든 연속적(예: 비디오 또는 오디오 스트림)이든간에 생길 것이다. 그래서 출력 표현(120)은 생물학적 시스템에 관하여 모델링된 비교적 복잡한 순환 신경 네트워크에서도 입력 데이터에 응답하는 활동 패턴들에서 발생하는 위상 구조의 존재 또는 부재를 나타낼 수 있다.
예시된 구현에서, 출력부들(115)은 다중 노드 출력 계층으로서 개략적으로 표현된다. 그러나, 출력부들(115)은 다중 노드 출력 계층일 필요는 없다. 예를 들어, 출력 노드들(115)은 신경 네트워크(110) 내 노드들의 특정 컬렉션에서 특정 활동 패턴의 발생을 식별하고 그래서 신경 네트워크(110)의 출력을 읽는 개별 "리더기(reader) 노드들"일 수 있다. 상기 리더기 노드들은 특정 노드 컬렉션에서의 활동이 타이밍(및 가능한 규모 또는 기타) 기준을 충족하면 그리고 충족하는 경우에만 작동할 수 있다. 예를 들어, 출력 노드들(115)은 신경 네트워크(110) 내의 노드들의 컬렉션에 연결될 수 있으며 그리고, 예를 들어, 각각의 임계 활성화 수준을 통과하는 각각의 개별 노드의 활동 수준, 임계값 활성화 수준을 통과하는 그 노드들의 활동 수준들의 가중치 부여된 합, 또는 임계값 활성화 수준을 통고하는 그 노드들의 활동 수준들의 비선형 조합에 기초하여 토폴로지 구조들의 존재 또는 부재를 표시할 수 있다.
표현(120) 내 정보는 단일 숫자의 값에 관한 정보가 상기 표현(120) 내 다른 숫자들의 값들에 걸쳐 분포된다는 의미에서 홀로그래픽으로 표현된다. 다시 말해서, 표현(120) 내 숫자들의 무작위 부분집합들은 표현(120) 내 모든 숫자들이 존재했다면 존재했을 것보다 낮은 해상도로 입력하기 위해 신경 네트워크(110)에 의해 수행된 동작들에 관한 정보를 또한 포함한다. 아래에서 추가로 논의되는 바와 같이, 상이한 토폴로지 패턴들은 상이한 정도의 복잡성을 갖는다. 상대적으로 더 복잡한 일부 패턴은 상대적으로 덜 복잡한 패턴을 포함할 수 있다. 또한, 단순한 패턴들은 더 복잡한 패턴들로 조합될 수 있다. 그래서 일부 토폴로지 패턴들의 발생에 관한 정보는 본질적으로 다른 토폴로지 패턴들의 발생에 관한 일부 정보를 포함한다.
편의상, 상기 애플리케이션의 나머지 부분은 상기 표현(120)을 이진 비트들의 컬렉션 및 도면들을 참조할 것이며 상기 도면들은 그 이진 비트들을 그렇게 설명할 것이다. 그러나, 모든 경우에 표현(120)의 숫자들이 네트워크에 의해 수행되는 동작들의 다양한 측면을 인코딩하기 위해 또한 다중값이 될 수 있다는 것이 이해되어야 한다.
애플리케이션 컬렉션 (150)
신경 네트워크(110)에서 출력되는 데이터의 추상화는 직접적으로 또는 추가 처리 후에 매우 다양한 애플리케이션들(155, 160, 165, 170)에 입력될 수 있다. 예시된 구현에서, 애플리케이션(155)은 클러스터링 애플리케이션이고, 애플리케이션(160)은 캡셔닝 애플리케이션이고, 애플리케이션(165)은 제어 시스템 애플리케이션이고, 애플리케이션(170)은 예측 애플리케이션이다. 다른 구현에서, 신경 네트워크(110)로부터 출력되는 데이터의 추상화는 추가 애플리케이션에 입력되고, 애플리케이션들(155, 160, 165, 170) 중 하나는 생략될 수 있으며, 그리고/또는 신경 네트워크(110)로부터 출력된 데이터의 추상화는 같은 유형의 다른 애플리케이션에 입력될 수 있다. 다른 애플리케이션의 예는 예컨데 의사 결정, 돌출 (salience) 예측, 축소 인코딩의 재구성, 언어 번역, 암호화 및 해독을 포함한다.
상기 애플리케이션들의 정확한 특성에 관계없이, 순환 신경 네트워크(110)는 입력 데이터가 "보편적 표현"으로 추상화되어 상이한 다양한 애플리케이션들에 적용되고 예를 들어 움직임, 언어 및/또는 추가 추상화를 위해 사용된다는 점에서 생물학적 뇌와 비슷하다.
도 3은 신경 네트워크(110)(도 2)로부터 컬렉션(120)을 생성하기 위해 식별되고 "판독"될 수 있는 활동의 패턴(400)의 표현이다.
패턴들(400)은 순환 인공 신경 네트워크 내에서의 활동을 나타낸다. 패턴들(400)을 판독하기 위해, 기능적 그래프는 노드들을 포인트들로 구비한 토폴로지 공간으로 취급된다. 패턴(400)과 일치하는 노드들 및 링크들에서의 활동은 그 활동에 참여하는 특정 노드들 및/또는 링크들의 신원에 관계없이 정렬된 것으로 인식될 수 있다. 예시된 구현에서, 패턴들(400)은 모두 방향성 소집단(clique)들 또는 방향성 심플렉스(simplex)들이다. 이러한 패턴들에서, 활동은 패턴 내 모든 다른 노드에 신호들을 전송하는 소스 노드로부터 비롯된다. 패턴들(400)에서, 그런 소스 노드는 포인트 0으로 지정되는 반면 다른 노드들은 포인트 1, 2, …로 지정된다. 또한, 방향성 소집단들 또는 심플렉스들에서, 상기 노드들 중 하나는 싱크 (sink) 역할을 하고 그 패턴 내 다른 모든 노드로부터 전송된 신호들을 수신한다. 패턴들(400)에서, 그런 싱크 노드들은 그 패턴에서 가장 높은 번호의 포인트로 지정된다. 예를 들어, 패턴 405에서 상기 싱크 노드는 포인트 2로 지정된다. 패턴 410에서, 상기 싱크 노드는 포인트 3으로 지정된다. 패턴 415에서, 상기 싱크 노드는 포인트 3으로 지정되며, 기타 같은 방식이다. 그래서 패턴(400)에 의해 표현되는 활동은 구별가능한 방식으로 정렬된다.
패턴들(400) 각각은 상이한 개수의 포인트들을 가지며 상이한 개수의 노드들에서 정렬된 활동을 반영한다. 예를 들어, 패턴 405는 2D-심플렉스이고 3개의 노드에서의 활동들을 반영하고, 패턴 410은 3D-심플렉스이고 4개 노드에서의 활동을 반영하며, 기타 같은 방식이다. 패턴 내 포인트들의 개수가 증가함에 따라, 순서의 정도와 활동의 복잡성도 증가한다. 예를 들어, 윈도우 내에서 특정 레벨의 랜덤한 활동을 구비한 노드들의 대규모 컬렉션에 대해, 그 활동 중 일부는 우연한 패턴 405와 일치할 수 있다. 그러나, 랜덤한 활동이 패턴들 410, 415, 420… 각자와 일치할 가능성은 계속해서 더 낮아진다. 그래서 패턴 430과 일치하는 활동의 존재는 패턴 405와 일치하는 활동의 존재보다 활동에서 상대적으로 더 높은 정도의 정렬 및 복잡성을 나타낸다.
활동의 복잡성에 대한 상이한 결정을 위해 상이한 지속시간 윈도우들이 정의될 수 있다. 예를 들어, 패턴 430과 일치하는 활동이 식별되어야 할 때에, 패턴 405과 일치하는 활동이 식별되어야 할 때보다 더 긴 지속시간 윈도우들이 사용될 수 있다.
도 4는 신경 네트워크(110)(도 2)로부터 이진 숫자 컬렉션(120)을 생성하기 위해 식별되고 "판독"될 수 있는 활동의 패턴(300)의 표현이다.
패턴들(300)은 개별 소집단들 또는 심플렉스들보다 더 많은 포인트들을 포함하는 패턴들을 정의하는 동일한 차원(즉, 동일한 수의 포인트들을 가짐)의 방향성 클리크들 또는 방향성 심플렉스들의 그룹들이며 방향성 심플렉스들의 그룹 내에 공동(cavity)들을 둘러싸고 있다.
예로서, 패턴 305는 차수 2의 상동성 클래스를 함께 정의하는 6개의 상이한 3 포인트 2차원 패턴들 405를 포함하는 반면, 패턴 310은 차수 2의 제2 상동성 클래스를 함께 정의하는 8개의 상이한 3 포인트 2차원 패턴들 405를 포함한다. 패턴들 305, 310 내의 3 포인트 2차원 패턴들 405 각각은 각자의 공동을 둘러싸는 것으로 생각될 수 있다. 방향성 그래프와 연관된 n번째 베티 (Betti) 수는 토폴로지 표현 내에서 그런 상동성 클래스의 카운트를 제공한다.
패턴들(300)과 같은 패턴으로 표현되는 활동은 랜덤한 우연에 의해 발생할 가능성이 없는 네트워크 내 활동의 비교적 높은 정도의 정렬을 나타낸다. 패턴들(300)은 그 활동의 복잡성을 특성화하는 데 사용될 수 있다.
일부 구현에서, 활동의 일부 패턴들만이 식별되고 그리고/또는 식별된 활동의 패턴들의 일부는 폐기되거나 그렇지 않으면 무시된다. 예를 들어, 도 3을 참조하면. 5 포인트 4차원 심플렉스 패턴(415)과 일치하는 활동은 4 포인트 3차원 및 3 포인트 2차원 심플렉스 패턴들(410, 405)과 일치하는 활동을 본질적으로 포함한다. 예를 들어, 도 2의 4차원 심플렉스 패턴(415) 내 포인트들 0, 2, 3, 4 및 포인트들 1, 2, 3, 4 모두는 3차원 심플렉스 패턴(410)과 일치한다. 일부 구현에서, 더 적은 수의 포인트를 포함하는 패턴들 (따라서 더 낮은 차원의 패턴들)은 폐기되거나 무시될 수 있다. 다른 예로, 일부 활동 패턴들만 식별될 필요가 있다. 예를 들어, 일부 구현에서는 홀수 포인트들(3, 5, 7, …) 또는 짝수 차원들(2, 4, 6, …)의 패턴들만이 식별된다. 일부 패턴의 식별에도 불구하고, 신경 네트워크 내 활동에 관한 정보는 그럼에도 불구하고 홀로그래픽으로 표시될 수 있으며, 즉, 모든 패턴이 식별되며 그리고/또는 출력에서 표현되는 낮은 해상도에서 홀로그래픽으로 표시될 수 있다.
위에서 논의된 바와 같이, 입력 데이터에 응답하는 활동의 패턴들은 그 입력 데이터에 관해 신경 네트워크(110)에 의해 수행되는 임의의 복잡성의 특정 동작을 나타낸다. 일부 구현에서는, 상기 동작의 복잡성이 토폴로지 패턴의 복잡성에 반영될 것이다. 예를 들어, 5 포인트 4 차원 심플렉스 패턴(415)으로 표현되는 동작 또는 추상화는 4 포인트 3차원 및 3 포인트 2차원 심플렉스 패턴들(410, 405)로 표현되는 동작 또는 추상화보다 더 복잡할 수 있다. 그러한 경우에, 활동의 존재를 나타내는 숫자들은 세트 동작들 또는 추상화가 신경 네트워크(110)에서 수행된다는 것을 전달하며, 여기에서 이러한 동작들 또는 추상화 각각은 임의 레벨의 복잡성을 갖는다.
도 5는 구별가능한 복잡성을 갖는 활동 패턴들의 타이밍을 결정하는 개략적인 표현이다. 도 5에 나타낸 결정은 신경 네트워크(110)(도 2)으로부터 숫자 컬렉션(120)을 생성하기 위한 활동의 패턴들의 신원증명 또는 "판독"의 일부로서 수행될 수 있다.
도 5는 그래프(605) 및 그래프(610)를 포함한다. 그래프(605)는 x-축을 따른 시간의 함수로서 패턴들의 발생을 나타낸다. 특히, 개별 발생들은 수직선들 (606, 607, 608, 609)로 개략적으로 표현된다. 발생들의 각 행 (row)은 활동이 각자의 패턴 또는 패턴 클래스와 부합하는 경우들일 수 있다. 예를 들어, 발생의 맨 위 행은 활동이 패턴 405(도 3)와 일치하는 경우들일 수 있고, 발생의 두 번째 행은 활동이 패턴 410(도 3)과 일치하는 경우들일 수 있으며, 발생의 세 번째 행은 활동이 패턴 415(도 3)와 일치하는 경우들일 수 있으며, 이하 마찬가지다.
그래프(605)는 활동 패턴들이 구별 가능한 복잡성을 가질 때에 상이한 시간 윈두우들을 개략적으로 표시하는 점선 직사각형들(615, 620, 625)을 또한 포함한다. 도시된 바와 같이, 순환 인공 신경 네트워크 내 활동이 복잡성을 나타내는 패턴과 부합할 가능성은 그러한 윈도우 외부보다 상기 점선 직사각형들(615, 620, 625)에 의해 표시된 윈도우들 동안에 더 높다.
그래프(610)는 x-축을 따른 시간의 함수로서 이러한 발생들과 연관된 복잡성을 나타낸다. 그래프(610)는 점선 직사각형(615)으로 표시된 윈도우와 일치하는 복잡성인 제1 피크(630) 및 점선 직사각형들(620, 625)로 표시된 윈도우와 일치하는 복잡성인 제2 피크(635)를 포함한다. 보이는 바와 같이, 피크들(630, 635)에 의해 표현되는 복잡성은 복잡성의 베이스라인 레벨(640)로 간주될 수 있는 것과는 구별될 수 있다.
일부 구현에서, 순환 인공 신경 네트워크의 출력이 판독되어야 하는 시점들은 구별가능한 복잡성을 갖는 활동 패턴들의 발생과 일치한다. 예를 들어, 도 5의 예시적인 맥락에서, 순환 인공 신경 네트워크의 출력은 피크들(630, 635)에서, 즉 점선 직사각형들(615, 620, 625)로 표시된 윈도우들 동안 판독될 수 있다.
일부 구현에서, 식별 가능한 복잡성을 갖는 활동 패턴의 내용뿐만 아니라 타이밍도 상기 순환 인공 신경 네트워크로부터 출력될 수 있다. 특히, 활동 패턴들과 일치하는 활동에 참여하는 노드들의 신원 및 활동뿐만이 아니라 상기 활동 패턴들의 타이밍도 상기 순환 인공 신경 네트워크의 출력으로 간주될 수 있다. 그래서, 상기 식별된 활동 패턴과 이 결정이 판독되어야 하는 타이밍은 신경 네트워크에 의한 처리 결과를 나타낼 수 있다.
도 6은 상이한 센서로부터 비롯하는 데이터를 신경 네트워크(110)에 입력하기 위한 접근 방식의 개략도이다. 예시된 구현에서, 네트워크 입력부(105)의 상이한 부분집합들(105', 105'', 105''')은 상이한 유형의 입력 데이터를 수신하기 위한 전용이다. 예를 들어, 제1 부분집합(105')은 제1 클래스의 입력 데이터(예를 들어, 제1 센서로부터 발생하는 데이터)를 수신하는 데 전용될 수 있는 반면, 제2 부분집합(105'')은 제2 클래스의 입력 데이터(예: 제2 센서에서 발생하는 데이터)를 수신하는 데 전용될 수 있다.
일부 구현에서, 신경 네트워크(110)의 대응하는 "영역들"(655, 660)은 네트워크 입력부(105)의 상이한 부분집합들(105', 105'', 105''')로부터 상이한 클래스의 입력 데이터를 수신한다. 예를 들어, 상기 개략도에서, 영역들(655, 660)은 각 영역 사이의 노드 간 연결이 비교적 적은 노드들 및 에지들의 공간적으로 이산적인 컬렉션들로 도시된다. 반드시 그렇지는 않다. 오히려, 각 영역(655, 660)의 노드들 및 에지들은 신경 네트워크(110) 내에서 공간적으로 분포될 수 있지만 특정 클래스의 입력 데이터를 수신할 수 있다.
각 영역(655, 660) 내 노드 분포에 관계없이, 각 영역(655, 660)에서의 처리는 1차로 - 반드시 배타적이지는 않지만 - 입력 데이터의 각각 수신된 클래스에 의해 교란된다. 교란의 정도는 입력 데이터의 각자의 클래스가 존재하거나 존재하지 않는 영역에서 발생하는 활동을 기반으로 측정될 수 있다. 예를 들어, 입력 데이터의 제1 클래스에 의해 1차로 교란되는 영역은 다른 클래스의 입력 데이터가 네트워크(110)를 동시에 교란하는지 여부에 관계없이 일반적으로 동일한 방식으로 입력 데이터의 제1 클래스에 응답할 수 있다. 각 영역(655, 660)에 의해 수행되는 처리 및 추상화는 수신된 입력 데이터 클래스에 의해 1차로 영향을 받는다. 그럼에도 불구하고, 각 영역(655, 660)에서 발생하는 활동의 토폴로지 패턴은 숫자 컬렉션(120)으로 읽혀질 수 있다. 순환 신경 네트워크(110)의 다른 영역들에 대해서도 마찬가지이다.
이것은 네트워크 출력부(115)의 상이한 부분집합들(115', 115'', 115''')을 별도로 지정함으로써 신경 네트워크 시스템(650)에서 개략적으로 표현된다. 특히, 부분집합(115')은 신경 네트워크(110)의 영역(655)에서 발생하는 활동의 토폴로지 패턴을 나타내는 숫자들을 출력하는 데 전용될 수 있는 반면, 부분집합(115''')은 신경 네트워크(110)의 영역(660)에서 발생하는 활동의 토폴로지 패턴을 나타내는 숫자들을 출력하는 데 전용될 수 있다. 그러나, 부분집합(115'')은 영역들 (655, 660) 중 어느 하나에서 찾을 수 없는 숫자들을 출력한다. 실제로, 부분집합(115'')에서 출력되는 숫자는 영역들(655, 660)에서 발생하는 추상 표현 및 처리 결과의 융합 또는 추가 추상화를 더 높은 수준의 복잡성으로 나타낼 수 있다.
예를 들어, 부분집합(115'') 내 주어진 숫자는 부분집합(115'') 내 하나 이상의 숫자들 및 부분집합(115''') 내 하나 이상의 숫자가 특정 값을 갖는다면 그리고 그런 값을 갖는 경우에만 발생할 수 있다. 그래서 부분집합 (115'') 내 숫자는 임의로 더 높은 수준의 추상화 - 영역들(655, 660)에서 생성된 추상들 및 상기 입력 데이터 자체 둘 모두 -를 나타낼 수 있다.
상이한 영역들이 단일 클래스의 입력 데이터에 의해 1차로 교란되면, 그 영역들 내 처리는 입력 데이터의 특성에 맞게 재단될 수 있다. 예를 들어, 연결 깊이와 네트워크 루프의 토폴로지는 입력 데이터에 맞게 재단될 수 있다. 생물학적 시스템에 관해 모델링된 순환 신경 네트워크에서, 신경 역학 및 시냅스 가소성은 입력 데이터에 맞게 재단될 수도 있다. 상기 재단은 예를 들어 다른 시간 스케일들을 포착한다. 예를 들어, 상대적으로 빠르게 변하는 입력 데이터(예: 비디오 또는 오디오 데이터)의 처리 클래스들에 맞게 재단된 영역에서의 처리는 상대적으로 천천히 변경되거나 또는 전혀 변경되지 않는 입력 데이터의 처리 클래스에 맞게 재단된 영역에서의 처리보다 빠를 수 있다.
또한, 순환 신경 네트워크의 상이한 영역들이 1차적으로 단일 클래스의 입력 데이터에 의해 교란될 대에, 순환 신경 네트워크에서 발생하는 표현들이 특별한 입력 데이터로 인한 것이라고 보는 것이 더 쉽다. 특정 영역에서 발생하는 표현들은 1차적으로 그 영역을 교란하는 입력 데이터의 클래스에 기인할 수 있다. 일단 특정 영역에서 발생하는 표현들이 원인이라고 여겨지면, 특정 영역 내 표현들에 대한 응답으로 발생하는 더 높은 수준의 더 복잡한 추상화도 더 쉽게 이해될 수 있다.
또한, 훈련은 단일 클래스의 입력 데이터에 의해 1차적으로 교란되지 않는 순환 신경 네트워크의 부분들을 대상으로 할 수 있으며, 즉, 단일 클래스의 입력 데이터에 의해 1차적으로 교란된 영역들의 처리 결과를 융합하는 순환 신경 네트워크의 부분들을 대상으로 할 수 있다. 실제로, 단일 클래스의 입력 데이터에 의해 1차적으로 교란되는 영역들은 순환 신경 네트워크로부터의 출력뿐만 아니라 순환 신경 네트워크를 사용한 추가 추상화 및 기타 작업을 위한 보편적인 입력 데이터의 표현들을 생성할 것이다.
도 7은 순환 인공 신경 네트워크으로부터의 출력을 상이한 애플리케이션들(155, 160, 165, 170)에 적용하는 개략도이다. 순환 신경 네트워크(110)는 입력 데이터를 처리하고 표현(120)으로 추상화했다. 상기 표현(120)은 숫자들의 상이한 그룹들(705, 710, 715, 720)을 포함할 수 있다. 일부 구현에서, 상기 숫자들의 상이한 그룹들(705, 710, 715, 720) 각각은, 영역들(605, 610)(도 6)과 같은 입력 데이터의 특정 클래스에 의해 1차적으로 교란되는 순환 신경 네트워크의 각자 영역에서 발생하는 활동을 나타낼 수 있다. 일부 구현에서,상기 숫자들의 상이한 그룹들(705, 710, 715, 720) 중 하나 이상은 특정 클래스의 입력 데이터에 의해 1차적으로 교란되는 영역들에서 발생하는 추상 표현 및 처리 결과의 융합 또는 추가 추상화를 나타내는 활동을 나타낼 수 있다. 예를 들어, 숫자들의 상이한 그룹들(705, 710, 715, 720) 중 하나 이상은 네트워크 출력의 부분집합(115'')(도 6)을 통해 출력될 수 있다. 또한, 일부 구현에서, 일부 숫자 그룹들은 다른 영역들에서 발생하는 활동을 나타내는 숫자들을, 그 영역들이 특정 클래스의 입력 데이터에 의해 1차적으로 교란되거나 또는 입력 데이터의 특정 클래스에 의해 1차적으로 교란되는 영역들에서 발생하는 표현들 및 처리 결과들의 융합 또는 추가 추상화의 여부에 관계없이, 포함할 수 있다.
그룹들(705, 710, 715, 720)이 분리된 것으로 개략적으로 도시되어 있지만 (즉, 각 숫자가 하나의 그룹에 그리고 하나의 그룹에만 속함), 반드시 그런 것은 아니다. 오히려, 일부 구현에서, 숫자들은 다수의 그룹들(705, 710, 715, 720)에 속할 수 있다. 또한, 그룹들(705, 710, 715, 720)이 표현(120) 내 모든 숫자를 포함하는 것으로 개략적으로 도시되어 있지만, 반드시 그런 것은 아니다. 오히려, 일부 구현에서, 일부 숫자들은 그룹들(705, 710, 715, 720) 중 어느 것에도 속할 필요가 없다.
예시된 구현에서, 숫자들의 그룹(705)은 애플리케이션(160, 165)에 입력된다. 그룹 710은 애플리케이션 (155, 170)에 입력된다. 그룹 715는 애플리케이션 (155, 160, 165, 170)에 입력된다. 그룹 720은 애플리케이션(170)에 입력된다. 또한, 애플리케이션(155) 처리 그룹(710, 715)의 결과(725)는 애플리케이션(160)에 입력된다.
일부 구현에서, 표현(120)의 콘텐츠는 수행될 특정 애플리케이션에 맞춰진다. 예를 들어, 예시된 구현에서, 애플리케이션(170)이 더 이상 수행되지 않는다면, 숫자들의 그룹(720)은 표현(120)에서 생략되거나 삭제될 수 있다. 또한, 새로운 애플리케이션이 수행될 것이라면, 예를 들어 단순히 새로운 숫자들을 기존 표현(120)에 연결함으로써 새로운 숫자들 또는 숫자들의 그룹들이 표현(120)에 추가될 수 있다.
일부 구현에서, 순환 인공 신경 네트워크의 출력은 학습하는 애플리케이션에 적용될 것이다. 예를 들어, 애플리케이션(155, 160, 165, 170) 중 하나 이상은 인공 신경 네트워크일 수도 있다. 이러한 경우, 학습 프로세스는 상기 애플리케이션에 입력될 숫자를 식별할 수 있다. 예를 들어, 지도 학습 전략을 사용하여 비용 함수를 최소화하는 숫자들을 식별할 수 있다. 상기 숫자들은 기존 표현(120) 내 숫자 중에서 식별될 수 있으며 또는 활동의 추가 패턴을 나타내기 위해 기존 표현(120)에 추가될 수 있다.
때때로, 새로운 애플리케이션(도시되지 않음)으로 순환 인공 신경 네트워크로부터의 출력을 처리하는 것이 바람직할 것이다. 상기 새로운 애플리케이션은 다양한 상이한 방식으로 인공 신경 네트워크 시스템에 "추가될" 수 있다. 예를 들어, 어떤 경우에는, 표현(120) 내 기존 숫자들로부터 가져온 숫자들의 그룹을 입력으로 사용하여 상기 새로운 애플리케이션이 훈련될 수 있다. 또 다른 예로서, 어떤 경우에는, 표현(120) 내 기존 숫자들 및 표현(120)에 추가된 새로운 숫자들로부터 가져온 숫자들을 포함하는 숫자들의 그룹을 입력으로 사용하여 상기 새로운 애플리케이션이 훈련될 수 있다. 또 다른 예로서, 일부 예에서, 상기 새로운 애플리케이션은 기존 애플리케이션(155, 160, 165, 170)의 출력뿐만 아니라 기존 숫자들 또는 새로운 숫자들 중 어느 하나 또는 둘 모두를 입력으로 사용하여 훈련될 수 있다. 예를 들어, 도 7의 맥락에서, 애플리케이션(160)은 애플리케이션(155)으로부터 출력된 결과(725)를 사용하여 훈련될 수 있다. (예를 들어, 다수의 기존 애플리케이션으로부터의 입력 또는 제2의 기존 애플리케이션의 출력을 자체적으로 입력하는 기존 애플리케이션으로부터의 입력과 같은) 다른 접근법들이 또한 사용될 수 있다. 예를 들어, 애플리케이션의 다중 티어 (multi-tiered) 계층이 조립될 수 있으며, 표현(120)은 애플리케이션들의 제1 티어에 입력되는 추상화의 기본 집합을 제공한다. 상기 제1 티어의 처리 결과는 단독으로 또는 표현(120)으로부터의 숫자들과 조합하여 하나 이상의 추가 티어들에 입력될 수 있다.
사실상, 순환 신경 네트워크(110)는 많은 상이한 애플리케이션에 폭넓게 적용할 수 있는 표현(120)을 생성하는 전처리 스테이지의 역할을 할 수 있다. 또한, 순환 신경 네트워크(110)에서 출력되는 표현(120) 내 숫자들 - 그리고 애플리케이션에 입력되는 표현(120)으로부터의 특정 숫자들- 은 기존 애플리케이션(예: 애플리케이션 155, 160, 165, 170) 및 시간이 지남에 따라 추가되는 새로운 애플리케이션 둘 모두에서의 처리 결과들을 향상시키기 위해 점진적으로 적용될 수 있다.
그래서 새 애플리케이션이 추가될 시점에 그 새 애플리케이션에 대한 관련 토폴로지 패턴들의 정확한 특성을 알 필요는 없다. 오히려, 위에서 논의한 바와 같이, 상기 토폴로지 패턴들은 입력 데이터를 보다 완전한 "전체"로 융합하는 상관 관계를 추출할 수 있다. 그래서 상기 토폴로지 패턴들의 발생을 나타내는 표현(120) 내 숫자들은 관련 토폴로지 패턴들의 정확한 특성이 알려져 있지 않더라도 새로운 애플리케이션과 관련된 정보를 포함할 수 있다.
보다 상세하게, 첫 번째 예로서, 새로운 애플리케이션에 대한 가장 적절한 추상화 또는 처리 결과는 표시(120) 내 숫자들에 의해 존재 또는 부재가 이미 표시되는 토폴로지 패턴들의 새로운 융합일 수 있다. 이 경우, 상기 이미-표시된 추상화를 새로운 추상화로 융합하는 토폴로지 패턴을 생성하도록 순환 신경 네트워크(110)에게 알려주기 위해 학습 프로세스가 사용될 수 있다. 몇몇 경우, 관련 토폴로지 패턴의 발생 또는 부재가 표현(120) 내 추가 숫자들에서 표현될 수 있다.
다른 예로서, 새로운 애플리케이션에 대한 가장 관련성이 높은 추상화 또는 처리 결과는, 그 발생 또는 부재가 표현(120) 내 숫자들에 의해 독립적으로 표현되지 않고 오히려 새 애플리케이션에 대한 가장 관련성이 높은 추상화 또는 처리 결과를 다른 추상화 또는 처리 결과와 함께 융합하는 하나 이상의 토폴로지 패턴에서 표현되는 토폴로지 패턴일 수 있다. 다시 말해, 표현(120) 내 숫자는, 새로운 애플리케이션에 대한 가장 적절한 추상화 또는 처리 결과가 다른 토폴로지 패턴과 함께 존재할 때만 발생하는 토폴로지 패턴의 발생을 나타낼 수 있다. 다른 예로서, 표현(120) 내 숫자는 새로운 애플리케이션에 대한 가장 적절한 추상화 또는 처리 결과가 없는 경우에만 발생하는 토폴로지 패턴의 발생을 나타낼 수 있다.
이러한 상황 및 기타 상황에서, 토폴로지 패턴의 발생을 나타내는 표현(120) 내 숫자들은 관련 토폴로지 패턴의 정확한 특성이 알려져 있지 않더라도 새로운 애플리케이션과 관련된 정보를 포함한다. 표시 내 숫자들은 기존 애플리케이션(예: 애플리케이션 155, 160, 165, 170)과 새 애플리케이션 둘 모두에서의 처리 결과를 개선하기 위해 점진적으로 적용될 수 있다.
본 명세서에 기술된 주제 및 동작들의 실시예는 본 명세서에 개시된 구조들 및 이들의 구조적 등가물들을 포함하는 디지털 전자 회로에서, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서, 또는 그것들의 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 기술된 주제의 실시예들은 하나 이상의 컴퓨터 프로그램, 즉, 데이터 처리 장치에 의한 실행을 위해 또는 데이터 처리 디바이스의 동작을 제어하기 위해 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안으로 또는 추가로, 상기 프로그램 명령어들은, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치로의 전송을 위한 정보를 인코딩하도록 생성된 인공적으로 생성된 전파된 신호, 예를 들어 기계-생성 전기, 광학 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 저장 디바이스, 컴퓨터 판독 가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수 있거나 이에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체가 전파되는 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파된 신호에서 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지가 될 수 있다. 상기 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 컴포넌트들 또는 매체(예: 다수의 CD들, 디스크들 또는 기타 저장 디바이스들)일 수 있거나 이에 포함될 수 있다.
본 명세서에서 설명된 동작들은 컴퓨터 판독 가능한 하나 이상의 저장 디바이스들에 저장되거나 다른 소스로부터 수신된 데이터에 관해 데이터 처리 장치가 수행하는 동작들로서 구현될 수 있다.
"데이터 처리 장치"라는 용어는 데이터를 처리하기 위한 모든 종류의 장치들, 디바이스들 및 기계들을 포함하며, 예를 들어 프로그래밍 가능한 프로세서, 컴퓨터, 시스템 온 칩, 또는 전술한 것들의 다수의 석들이나 조합을 포함한다. 상기 장치는 FPGA (field programmable gate array) 또는 ASIC (application specific integrated circuit)과 같은 특수 목적 논리 회로를 포함할 수 있다. 상기 장치는 하드웨어에 추가하여 해당 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 플랫폼 간 런타임 환경, 가상 머신, 또는 이들 중 하나 이상의 조합을 구축하는 코드를 또한 포함할 수 있다. 상기 장치 및 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 상이한 컴퓨팅 모델 인프라를 실현할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은 컴파일된 또는 인터프리트된 언어, 선언적 또는 절차적 언어를 비롯한 임의 형태의 프로그래밍 언어로 작성될 수 있으며, 그리고 그것은 독립 실행형 프로그램 또는 모듈, 컴포넌트, 서브루틴, 객체 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛을 포함하는 임의 형식으로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템 내 파일에 대응할 수 있지만 반드시 그럴 필요는 없다. 프로그램은 다른 프로그램이나 데이터(예: 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일 내에, 해당 프로그램 전용인 단일 파일 내에 또는 다수의 조정돤 파일들 (예: 하나 이상의 모듈, 서브 프로그램 또는 코드 일부를 저장하는 파일) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트에 있거나 여러 사이트들에 걸쳐서 분산되어 있으며 통신 네트워크에 의해 상호 연결된 여러 컴퓨터들에서 실행되도록 배치될 수 있다.
본 명세서에 설명된 프로세스들 및 논리 흐름들은 입력 데이터에 대해 작동하고 출력을 생성함으로써 행동들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래밍 가능한 프로세서들에 의해 수행될 수 있다. 상기 프로세스들 및 논리 흐름들은 특수 목적 논리 회로, 예를 들어 FPGA (field programmable gate array) 또는 ASIC (application specific integrated circuit)에 의해 또한 수행될 수 있고 장치들 또한 상기 특수 목적 논리 회로로서 또한 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 마이크로프로세서 및 특수 목적 마이크로프로세서 모두, 그리고 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들과 데이터를 수신할 것이다. 컴퓨터의 필수적인 요소들은 명령에 따라 행동들을 수행하기 위한 프로세서 그리고 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 또한 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 모두를 하기 위해 작동 가능하게 연결되거나 또는 이들을 포함할 것이다. 그러나, 컴퓨터는 그런 디바이스들을 구비하는 것이 필요하지 않다. 더욱이, 컴퓨터는 다른 디바이스, 예를 들어, 몇 가지만 예를 들면, 이동 전화기, 개인 휴대 정보 단말기 (PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS (Global Positioning System) 수신기 또는 휴대용 저장 디바이스 (예: USB (Universal Serial Bus) 플래시 드라이브)에 내장될 수 있다. 컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 장치는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함하며, 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치; 자기 디스크, 예를 들어 내부 하드 디스크 또는 이동식 디스크; 자기 광 디스크; 및 CD ROM 및 DVD-ROM 디스크를 포함한다. 상기 프로세서와 상기 메모리는 특수 목적 논리 회로에 의해 보완되거나 특수 목적 논리 회로에 통합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에 설명된 주제의 실시예는 컴퓨터에서 구현될 수 있으며, 그 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예를 들어 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 그리고 상기 컴퓨터에 사용자가 입력을 제공할 수 있는 키보드 및 포인팅 디바이스, 예를 들면, 마우스나 트랙볼을 구비한다. 다른 종류의 디바이스들을 사용하여 사용자와의 상호 작용도 제공할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의 유형의 시각적 피드백, 예를 들면, 청각적 피드백 또는 촉각적 피드백과 같은 임의의 형태의 감각적 피드백일 수 있으며; 그리고 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함한 임의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자가 사용하는 디바이스로 문서를 보내고 그 디바이스로부터 문서를 수신하여 사용자와 상호 작용할 수 있다; 예를 들어, 웹 브라우저로부터 수신된 요청에 응답하여 사용자의 클라이언트 디바이스 상의 웹 브라우저에게 웹 페이지를 전송한다.
본 명세서는 많은 특정한 구현 세부사항들을 포함하지만, 이것들은 임의의 발명 또는 청구될 수 있는 것의 범위에 대한 제한으로 해석되어서는 안 되며, 오히려 특정한 발명의 특정한 실시예에 특정한 특징들에 대한 설명으로 해석되어야 한다. 별도의 실시예의 맥락에서 본 명세서에 설명된 특정 특징들은 단일 실시예에서 조합하여 구현될 수도 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 하위 조합으로 다중 실시예에서 구현될 수 있다. 더욱이, 특징들이 특정 조합에서 작용하는 것으로 위에서 설명될 수 있고 심지어 초기에 그렇게 청구될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징들이 일부 경우에는 그 조합에서 제거될 수 있으며, 그 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다.
유사하게, 동작들이 도면에 특정 순서로 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작들이 보이는 특정 순서로 또는 순차적인 순서로 수행되거나 예시된 모든 동작들이 수행될 것을 요구하는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹과 병렬 처리가 유리할 수 있다. 더욱이, 위에서 설명된 실시예에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예에서 그러한 분리를 요구하는 것으로 이해되어서는 안 되며, 그것은 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 여러 소프트웨어 제품들로 패키킹될 될 수 있음을 이해되어야 한다.
그래서, 주제의 특정 구현들이 설명되었다. 다른 구현들은 다음의 청구 범위 내에 존재한다. 어떤 경우에는, 청구범위에 인용된 행동들이 상이한 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 추가로, 첨부된 도면에 도시된 프로세스들은 바람직한 결과를 달성하기 위해, 보이는 특정 순서 또는 순차적인 순서를 반드시 필요로 하는 것은 아니다. 특정 구현들에서는, 멀티태스킹과 병렬 처리가 유리할 수 있다.
여러 구현들이 설명되었다. 그럼에도 불구하고 다양한 변형들이 이루어질 수 있음이 이해될 것이다. 따라서, 다른 구현들은 다음 청구항의 범위 내에 있다.

Claims (24)

  1. 방법으로서, 상기 방법은:
    순환 인공 신경 네트워크에서 활동의 토폴로지 패턴들을 식별하는 단계로, 상기 토폴로지 패턴들은 상기 순환 인공 신경 네트워크로의 데이터 입력에 응답하고 각 토폴로지 패턴은 상기 입력 데이터의 특성을 추상화하는, 식별 단계;
    숫자들의 컬렉션을 출력하는 단계로, 각 숫자는 상기 활동의 토폴로지 패턴들 중 하나가 상기 인공 신경 네트워크에서 식별되었는지 여부를 나타내는, 출력 단계; 그리고
    상기 컬렉션의 제1 숫자를 제1 목적을 충족시키도록 설계된 제1 애플리케이션에 그리고 제2 목적을 충족시키도록 설계된 제2 애플리케이션에 입력하는 단계를 포함하며, 여기에서 상기 제1 목적은 상기 제2 목적과 상이한, 방법.
  2. 제1항에 있어서,
    상기 제1 애플리케이션은 다음의 애플리케이션들 중 제1 애플리케이션이고, 상기 제2 애플리케이션은 다음의 애플리케이션들과 상이하며, 상기 다음의 애플리케이션들은 클러스터링 애플리케이션, 캡셔닝 애플리케이션, 제어 시스템 애플리케이션, 예측 애플리케이션, 의사 결정 애플리케이션, 돌출 예측 애플리케이션, 축소 인코딩 재구성 애플리케이션, 언어 번역 애플리케이션, 암호화 애플리케이션 및 해독 애플리케이션인, 방법.
  3. 제1항에 있어서,
    상기 제1 숫자는 제1 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것이며; 그리고
    상기 제2 숫자는 제2 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것인, 방법.
  4. 제3항에 있어서,
    상기 제1 클래스의 데이터는 시간에 있어서 상대적으로 빠르게 변화하고, 상기 제2 클래스는 시간에 있어서 상대적으로 느리게 변화하거나 전혀 변화하지 않는, 방법.
  5. 제3항에 있어서,
    상기 제1 클래스의 데이터는 제1 센서로부터 발생하고 상기 제2 클래스는 제2 센서로부터 발생하는, 방법.
  6. 제1항에 있어서,
    상기 활동의 토폴로지 패턴들은 소집단 (clique) 패턴들인, 방법.
  7. 제6항에 있어서,
    상기 활동의 소집단 패턴들은 공동(cavity)들을 둘러싼, 방법.
  8. 제1항에 있어서,
    상기 숫자들의 컬렉션을 출력하는 단계는 상기 인공 신경 네트워크의 활동이, 상기 인공 신경 네트워크로의 데이터의 입력에 응답하는 복수의 시간 윈도우들 내에서 활동의 토폴로지 패턴들의 신원을 나타내는 숫자들을 출력하는 단계를 포함하며, 상기 활동의 토폴로지 패턴들은 상기 복수의 시간 윈도우들 각각에서 식별되는, 방법.
  9. 인공 신경 네트워크 시스템을 구축하는 방법으로서, 상기 방법은:
    순환 인공 신경 네트워크를 제공하는 단계로,
    상기 순환 인공 신경 네트워크는
    상기 순환 인공 신경 네트워크로 데이터를 입력하도록 구성된 입력부 및
    상기 입력 데이터에 응답하여 상기 순환 인공 신경 네트워크에서 활동의 토폴로지 패턴들이 발생했는지 여부에 대한 표현들을 출력하도록 구성된 출력부를 포함하는, 제공 단계;
    제1 애플리케이션으로의 입력을 위한 표현들의 제1 진부분집합을 선택하는 단계; 그리고
    제2 애플리케이션으로의 입력을 위해 표현들의 제2 진부분집합을 선택하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 제1 진부분집합 내 표현들 중 적어도 일부는 상기 제2 진부분집합에 포함되는, 방법.
  11. 제9항에 있어서,
    상기 제1 진부분집합을 선택하는 단계는 기계 학습을 사용하여 상기 제1 진부분집합을 선택하는 것을 포함하는, 방법.
  12. 제9항에 있어서, 상기 방법은:
    상기 제2 애플리케이션의 출력을 상기 제1 애플리케이션에 입력하는 단계를 더 포함하는, 방법.
  13. 제9항에 있어서, 상기 방법은:
    제3 애플리케이션으로의 입력을 위해 상기 제1 애플리케이션의 출력을 선택하는 단계;
    상기 제3 애플리케이션으로의 입력을 위해 상기 제2 애플리케이션의 출력을 선택하는 단계; 그리고
    상기 제3 애플리케이션으로의 입력을 위한 표현들의 제3 진부분집합을 선택하는 단계를 더 포함하는, 방법.
  14. 제9항에 있어서,
    상기 제1 진부분집합은 제1 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것이며; 그리고
    상기 제2 진부분집합은 제2 클래스의 입력 데이터에 의해 1차로 교란되는 상기 순환 인공 신경 네트워크의 영역에서 가져온 것인, 방법.
  15. 제9항에 있어서,
    상기 활동의 토폴로지 패턴들은 소집단 패턴들인, 방법.
  16. 제9항에 있어서,
    상기 제1 애플리케이션은 다음의 애플리케이션들 중 제1 애플리케이션이고, 상기 제2 애플리케이션은 다음의 애플리케이션들과 상이하며, 상기 다음의 애플리케이션들은 클러스터링 애플리케이션, 캡셔닝 애플리케이션, 제어 시스템 애플리케이션, 예측 애플리케이션, 의사 결정 애플리케이션, 돌출 예측 애플리케이션, 축소 인코딩 재구성 애플리케이션, 언어 번역 애플리케이션, 암호화 애플리케이션 및 해독 애플리케이션인, 방법.
  17. 신경 네트워크 시스템으로, 상기 신경 네트워크 시스템은:
    순환 신경 네트워크로서, 상기 순환 신경 네트워크는,
    제1 데이터를 수신하도록 구성된 제1 영역,
    제2 데이터를 수신하도록 구성된 제2 영역으로서, 상기 제1 영역 및 제2 영역 둘 모두가 동시에 교란되더라도 상기 제1 영역은 상기 제1 데이터에 의해 1차로 교란되고 상기 제2 영역은 상기 제2 데이터에 의해 1차로 교란되는, 제2 영역, 그리고
    상기 제1 영역 및 상기 제2 영역 둘 모두에 의한 처리 결과들을 수신하도록 구성된 제3 영역으로, 상기 제3 영역은 상기 제1 영역 및 상기 제2 영역에 의한 처리의 결과들에 응답하여 활동의 토폴로지 패턴들의 존재에 대한 표시들을 출력하도록 구성된, 제3 영역을 포함하는, 순환 신경 네트워크; 그리고
    활동의 토폴로지 패턴들의 존재에 대한 상기 표시들의 적어도 일부를 수신하도록 결합된 제1 애플리케이션을 포함하는, 신경 네트워크 시스템.
  18. 제17항에 있어서,
    상기 활동의 토폴로지 패턴들의 존재에 대한 상기 표시들 중 적어도 일부를 수신하도록 결합된 제2 애플리케이션을 더 포함하고, 상기 제1 애플리케이션은 제1 목적을 충족시키도록 설계되며 상기 제2 애플리케이션은 제2 목적을 충족시키도록 설계되며, 상기 제1 목적은 상기 제2 목적과 상이하며, 상기 제1 애플리케이션에 의해 수신된 표시들 중 적어도 일부는 상기 제2 애플리케이션에 의해 수신된 표시들 중 적어도 일부와 동일한, 신경 네트워크 시스템.
  19. 제17항에 있어서,
    상기 제1 애플리케이션은 다음의 애플리케이션들 중 제1 애플리케이션이고, 상기 제2 애플리케이션은 다음의 애플리케이션들과 상이하며, 상기 다음의 애플리케이션들은 클러스터링 애플리케이션, 캡셔닝 애플리케이션, 제어 시스템 애플리케이션, 예측 애플리케이션, 의사 결정 애플리케이션, 돌출 예측 애플리케이션, 축소 인코딩 재구성 애플리케이션, 언어 번역 애플리케이션, 암호화 애플리케이션 및 해독 애플리케이션인, 신경 네트워크 시스템.
  20. 제17항에 있어서,
    상기 제1 영역 및 상기 제2 영역 각각은, 상기 제1 영역과 상기 제2 영역 사이의 노드 간 연결들이 상대적으로 적은 노드들 및 에지들의 식별 가능하게 이산된 컬렉션인, 신경 네트워크 시스템.
  21. 제17항에 있어서,
    상기 제1 데이터는 제1 센서로부터 발생하는 데이터이며; 그리고
    상기 제2 데이터는 상기 제1 센서로부터 발생하는 데이터이며, 여기에서 상기 제1 센서는 상기 제2 센서와 상이한, 신경 네트워크 시스템.
  22. 제17항에 있어서,
    상기 제1 데이터는 데이터의 스트림이며; 그리고
    상기 제2 데이터는, 느리게 변하거나 정적인 출력 데이터인, 신경 네트워크 시스템.
  23. 제17항에 있어서,
    상기 활동의 토폴로지 패턴들은 소집단 패턴들인, 신경 네트워크 시스템.
  24. 제22항에 있어서,
    상기 활동의 소집단 패턴은 공동들을 둘러싸는, 신경 네트워크 시스템.
KR1020227023755A 2019-12-11 2020-12-09 순환 신경 네트워크로부터의 출력 KR20220110293A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/710,205 US11816553B2 (en) 2019-12-11 2019-12-11 Output from a recurrent neural network
US16/710,205 2019-12-11
PCT/EP2020/085169 WO2021116140A1 (en) 2019-12-11 2020-12-09 Output from a recurrent neural network

Publications (1)

Publication Number Publication Date
KR20220110293A true KR20220110293A (ko) 2022-08-05

Family

ID=73834491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227023755A KR20220110293A (ko) 2019-12-11 2020-12-09 순환 신경 네트워크로부터의 출력

Country Status (6)

Country Link
US (2) US11816553B2 (ko)
EP (1) EP4073708A1 (ko)
KR (1) KR20220110293A (ko)
CN (1) CN115053233A (ko)
TW (1) TWI786483B (ko)
WO (1) WO2021116140A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
CN118633090A (zh) * 2022-01-26 2024-09-10 康斯坦茨大学 训练神经网络以执行机器学习任务

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822742A (en) 1989-05-17 1998-10-13 The United States Of America As Represented By The Secretary Of Health & Human Services Dynamically stable associative learning neural network system
DE60142582D1 (de) 2000-10-13 2010-08-26 Fraunhofer Ges Forschung Verfahren zum überwachten trainieren eines iterativen künstlichen neuronalen netzwerks
DE10139682B4 (de) 2001-08-11 2004-08-05 Deneg Gmbh Verfahren zum Generieren von neuronalen Netzen
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US20060112028A1 (en) 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
JP4639784B2 (ja) 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
US8655801B2 (en) 2005-10-26 2014-02-18 Cortica, Ltd. Computing device, a system and a method for parallel processing of data streams
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US8224759B2 (en) 2007-05-01 2012-07-17 Evolved Machines, Inc. Regulating activation threshold levels in a simulated neural circuit
US8818923B1 (en) 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching
WO2011095342A1 (en) 2010-02-05 2011-08-11 Ecole Polytechnique Federale De Lausanne Epfl-Sri Organizing neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
EP2831797B1 (en) 2012-03-30 2018-05-02 Irdeto B.V. Securing accessible systems using dynamic data mangling
TWI546759B (zh) 2013-03-28 2016-08-21 國立臺灣大學 遠距環境資料分類系統及其方法
US9292554B2 (en) 2013-08-20 2016-03-22 Pivotal Software, Inc. Thin database indexing
AR097974A1 (es) 2013-10-11 2016-04-20 Element Inc Sistema y método para autenticación biométrica en conexión con dispositivos equipados con cámara
US9558442B2 (en) 2014-01-23 2017-01-31 Qualcomm Incorporated Monitoring neural networks with shadow networks
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
US9425952B2 (en) 2014-03-27 2016-08-23 Samsung Israel Research Corporation Algebraic manipulation detection codes from algebraic curves
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US10019506B1 (en) * 2014-06-26 2018-07-10 Google Llc Identifying objects in images
CN104318304A (zh) 2014-10-20 2015-01-28 上海电机学院 一种用于模式识别的基于样本学习的bp网络结构设计方法
US9946970B2 (en) 2014-11-07 2018-04-17 Microsoft Technology Licensing, Llc Neural networks for encrypted data
US10333696B2 (en) 2015-01-12 2019-06-25 X-Prime, Inc. Systems and methods for implementing an efficient, scalable homomorphic transformation of encrypted data with minimal data expansion and improved processing efficiency
US10650047B2 (en) 2015-03-12 2020-05-12 International Business Machines Corporation Dense subgraph identification
KR102130162B1 (ko) 2015-03-20 2020-07-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인공 신경망들에 대한 관련성 스코어 할당
WO2016206765A1 (en) 2015-06-26 2016-12-29 Sentiance Nv Deriving movement behaviour from sensor data
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
US12008751B2 (en) 2015-08-14 2024-06-11 Elucid Bioimaging Inc. Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively
CN106650923B (zh) 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 具有神经存储器与神经处理单元与定序器的神经网络单元
WO2017075346A1 (en) 2015-10-28 2017-05-04 Google Inc. Modifying computational graphs
EP3705994B1 (en) 2015-10-28 2023-10-04 Google LLC Processing computational graphs
EP4202782A1 (en) 2015-11-09 2023-06-28 Google LLC Training neural networks represented as computational graphs
US20170139759A1 (en) 2015-11-13 2017-05-18 Ca, Inc. Pattern analytics for real-time detection of known significant pattern signatures
TWI745321B (zh) 2016-01-08 2021-11-11 馬來西亞商雲頂圖爾斯診斷中心有限公司 決定網路連結之方法及系統
US10733532B2 (en) 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
US10157629B2 (en) 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US10204286B2 (en) 2016-02-29 2019-02-12 Emersys, Inc. Self-organizing discrete recurrent network digital image codec
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
WO2017197375A1 (en) 2016-05-13 2017-11-16 Princeton University System and methods for facilitating pattern recognition
US20220269346A1 (en) 2016-07-25 2022-08-25 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
WO2018027050A1 (en) 2016-08-04 2018-02-08 Google Llc Encoding and reconstructing inputs using neural networks
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US10157045B2 (en) 2016-11-17 2018-12-18 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
KR101997975B1 (ko) 2016-12-01 2019-07-08 한국과학기술원 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US11429854B2 (en) 2016-12-04 2022-08-30 Technion Research & Development Foundation Limited Method and device for a computerized mechanical device
US10515302B2 (en) 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
CN106778856A (zh) * 2016-12-08 2017-05-31 深圳大学 一种物体识别方法及装置
US10885425B2 (en) 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11625569B2 (en) 2017-03-23 2023-04-11 Chicago Mercantile Exchange Inc. Deep learning for credit controls
US9785886B1 (en) 2017-04-17 2017-10-10 SparkCognition, Inc. Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US11501139B2 (en) 2017-05-03 2022-11-15 Intel Corporation Scaling half-precision floating point tensors for training deep neural networks
US12014257B2 (en) 2017-05-19 2024-06-18 Salesforce, Inc. Domain specific language for generation of recurrent neural network architectures
CN110692066B (zh) 2017-06-05 2023-06-02 渊慧科技有限公司 使用多模态输入选择动作
US11049018B2 (en) 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11987272B2 (en) 2017-07-05 2024-05-21 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
EP3642835A4 (en) 2017-08-03 2021-01-06 Telepathy Labs, Inc. PROACTIVE, INTELLIGENT AND OMNICANAL VIRTUAL AGENT
US11321320B2 (en) 2017-08-14 2022-05-03 Sisense Ltd. System and method for approximating query results using neural networks
US20190122140A1 (en) 2017-10-20 2019-04-25 STATGRAF Research LLP. Data analysis and rendering
US10410111B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Automated evaluation of neural networks using trained classifier
US10628486B2 (en) 2017-11-15 2020-04-21 Google Llc Partitioning videos
US20200367810A1 (en) 2017-12-22 2020-11-26 Resmed Sensor Technologies Limited Apparatus, system, and method for health and medical sensing
TWI640933B (zh) 2017-12-26 2018-11-11 中華電信股份有限公司 基於類神經網路之兩段式特徵抽取系統及其方法
WO2019147329A1 (en) 2018-01-23 2019-08-01 Hrl Laboratories, Llc A method and system for distributed coding and learning in neuromorphic networks for pattern recognition
US11278413B1 (en) 2018-02-06 2022-03-22 Philipp K. Lang Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence
US20190251447A1 (en) 2018-02-09 2019-08-15 Htc Corporation Device and Method of Training a Fully-Connected Neural Network
CN111615705A (zh) 2018-03-13 2020-09-01 赫尔实验室有限公司 用于对象识别的稀疏联想记忆
US20190354832A1 (en) 2018-05-17 2019-11-21 Università della Svizzera italiana Method and system for learning on geometric domains using local operators
WO2019191777A1 (en) 2018-03-30 2019-10-03 Board Of Trustees Of Michigan State University Systems and methods for drug design and discovery comprising applications of machine learning with differential geometric modeling
US10771488B2 (en) 2018-04-10 2020-09-08 Cisco Technology, Inc. Spatio-temporal anomaly detection in computer networks using graph convolutional recurrent neural networks (GCRNNs)
DE102018109392A1 (de) 2018-04-19 2019-10-24 Beckhoff Automation Gmbh Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens
US11403530B1 (en) 2018-04-20 2022-08-02 Perceive Corporation Using quinary weights with neural network inference circuit designed for ternary weights
EP3561727A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
US20190335192A1 (en) 2018-04-27 2019-10-31 Neulion, Inc. Systems and Methods for Learning Video Encoders
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US20190378007A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
KR102497238B1 (ko) 2018-06-11 2023-02-07 이나이트 에스아 순환 인공 신경 네트워크 내 활동 특성화 그리고 정보 인코딩 및 디코딩
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US20190378000A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US10417558B1 (en) 2018-09-28 2019-09-17 Deep Insight Solutions, Inc. Methods and systems for artificial neural network optimistic event processing
US11823038B2 (en) 2018-06-22 2023-11-21 International Business Machines Corporation Managing datasets of a cognitive storage system with a spiking neural network
US11218498B2 (en) 2018-09-05 2022-01-04 Oracle International Corporation Context-aware feature embedding and anomaly detection of sequential log data using deep recurrent neural networks
US11068942B2 (en) 2018-10-19 2021-07-20 Cerebri AI Inc. Customer journey management engine
US20220005332A1 (en) 2018-10-29 2022-01-06 Hexagon Technology Center Gmbh Facility surveillance systems and methods
CA3060811A1 (en) 2018-10-31 2020-04-30 Royal Bank Of Canada System and method for cross-domain transferable neural coherence model
US20210398621A1 (en) 2018-11-07 2021-12-23 Kuano Ltd. A quantum circuit based system configured to model physical or chemical systems
US11120111B2 (en) 2018-12-11 2021-09-14 Advanced New Technologies Co., Ltd. Authentication based on correlation of multiple pulse signals
US20190370647A1 (en) 2019-01-24 2019-12-05 Intel Corporation Artificial intelligence analysis and explanation utilizing hardware measures of attention
CN113473936A (zh) 2019-02-05 2021-10-01 史密夫和内修有限公司 机器人手术数据用于长期护理期
US11544535B2 (en) 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11783917B2 (en) 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US10996664B2 (en) 2019-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. Predictive classification of future operations
EP3948402B1 (en) 2019-04-01 2023-12-06 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US20200380335A1 (en) 2019-05-30 2020-12-03 AVAST Software s.r.o. Anomaly detection in business intelligence time series
US20200402497A1 (en) 2019-06-24 2020-12-24 Replicant Solutions, Inc. Systems and Methods for Speech Generation
US11583134B2 (en) 2019-07-15 2023-02-21 Lg Electronics Inc. Artificial intelligence cooking device
US11763155B2 (en) 2019-08-12 2023-09-19 Advanced Micro Devices, Inc. Using sub-networks created from neural networks for processing color images
US11064108B2 (en) * 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
US20210097578A1 (en) 2019-10-01 2021-04-01 JJG Development, LLC, DBA Smart Pickle Marketing automation platform
US20220187847A1 (en) 2019-11-05 2022-06-16 Strong Force Vcn Portfolio 2019, Llc Robot Fleet Management for Value Chain Networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US20210182655A1 (en) 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
EP4073710A1 (en) 2019-12-11 2022-10-19 Inait SA Constructing and operating an artificial recurrent neural network
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US10885020B1 (en) 2020-01-03 2021-01-05 Sas Institute Inc. Splitting incorrectly resolved entities using minimum cut
US20220157436A1 (en) 2020-08-10 2022-05-19 Zeriscope, Inc. Method and system for distributed management of transdiagnostic behavior therapy
EP4264518A1 (en) 2020-12-18 2023-10-25 Strong Force VCN Portfolio 2019, LLC Robot fleet management and additive manufacturing for value chain networks
US20220261593A1 (en) 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision
US20230085384A1 (en) 2021-09-13 2023-03-16 Inait Sa Characterizing and improving of image processing

Also Published As

Publication number Publication date
US20240111994A1 (en) 2024-04-04
CN115053233A (zh) 2022-09-13
TW202137070A (zh) 2021-10-01
TWI786483B (zh) 2022-12-11
US11816553B2 (en) 2023-11-14
US20210182653A1 (en) 2021-06-17
WO2021116140A1 (en) 2021-06-17
EP4073708A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
KR20220110293A (ko) 순환 신경 네트워크로부터의 출력
Hagras Toward human-understandable, explainable AI
US11593631B2 (en) Explainable transducer transformers
KR20220106840A (ko) 강건한 순환 인공 신경 네트워크들
US20240046077A1 (en) Input into a neural network
KR20220110296A (ko) 순환 신경망 처리 결과의 해석 및 개선
KR20220107302A (ko) 순환 신경망에서의 거리 메트릭 및 클러스터링
JP2022529863A (ja) アイデンティティ検証方法、アイデンティティ検証装置、コンピュータ機器、及びコンピュータプログラム
Malik et al. Architecture, generative model, and deep reinforcement learning for IoT applications: Deep learning perspective
Terziyan et al. Causality-aware convolutional neural networks for advanced image classification and generation
Leventi-Peetz et al. Scope and sense of explainability for ai-systems
Phua et al. Learning logic programs from noisy state transition data
Fallas-Moya et al. Object recognition using hierarchical temporal memory
Ram et al. Enhanced Human Action Recognition with Ensembled DTW Loss Function in CNN LSTM Architecture
Lübbering et al. From open set recognition towards robust multi-class classification
US20240362480A1 (en) Interpreting and improving the processing results of recurrent neural networks
Mahalle et al. Intelligent Approaches
Barrow et al. Deep dropout artificial neural networks for recognising digits and characters in natural images
Palvadi Explaining the Challenges of Accountability in Machine Learning Systems Beyond Technical Obstacles
Du et al. IGCE: A Compositional Energy Concept Based Deep Image Generation Neural Network