KR20220110296A - 순환 신경망 처리 결과의 해석 및 개선 - Google Patents

순환 신경망 처리 결과의 해석 및 개선 Download PDF

Info

Publication number
KR20220110296A
KR20220110296A KR1020227023788A KR20227023788A KR20220110296A KR 20220110296 A KR20220110296 A KR 20220110296A KR 1020227023788 A KR1020227023788 A KR 1020227023788A KR 20227023788 A KR20227023788 A KR 20227023788A KR 20220110296 A KR20220110296 A KR 20220110296A
Authority
KR
South Korea
Prior art keywords
activity
neural network
pattern
topological
recurrent neural
Prior art date
Application number
KR1020227023788A
Other languages
English (en)
Inventor
헨리 마크램
펠릭스 쉬르만
존 라몬
다니엘 밀란 뤼트게헤트만
콘스탄틴 코스민 아타나소아에이
Original Assignee
이나이트 에스아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이나이트 에스아 filed Critical 이나이트 에스아
Publication of KR20220110296A publication Critical patent/KR20220110296A/ko

Links

Images

Classifications

    • G06N3/0445—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G06N3/0472—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measurement Of Resistance Or Impedance (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

방법은, 순환 인공 신경망 내 복수의 서로 다른 시간 윈도우를 정의하는 단계 - 상기 서로 다른 시간 윈도우 각각은, 서로 다른 지속 시간을 지니는 것, 서로 다른 시작 시간을 지니는 것, 및 서로 다른 지속 시간 및 서로 다른 시작 시간 양자 모두를 지니는 것 중의 하나를 포함함 -; 상기 서로 다른 시간 윈도우에서 상기 순환 인공 신경망 내 활동의 토폴로지 패턴의 발생을 식별하는 단계; 상기 서로 다른 윈도우에서 활동의 토폴로지 패턴의 발생을 비교하는 단계; 및 상기 비교의 결과에 기초하여, 상기 서로 다른 시간 윈도우 중 제1 시간 윈도우에서 발생하게 되는 활동의 제1 토폴로지 패턴에 의해 표현되는 제1 결정을, 상기 서로 다른 시간 윈도우 중 제2 시간 윈도에서 발생하게 되는 활동의 제2 토폴로지 패턴에 의해 표현되는 제2 결정보다 더 견고한 것으로 분류하는 단계;를 포함한다.

Description

순환 신경망 처리 결과의 해석 및 개선
본 발명은 순환 신경망에 관한 것이며, 더 구체적으로는 순환 신경망에서의 의사 결정 견고성을 해석 및/또는 개선하는 것에 관한 것이다.
인공 신경망은 생물학적 뉴런 네트워크의 구조와 기능적 실시형태에 의해 영감을 받은 장치이다. 특히 인공 신경망은 노드라고 불리는 상호연결된 구성의 시스템을 사용하여 생물학적 뉴런 네트워크의 정보 인코딩 및 기타 처리 기능을 모방한 것이다. 인공 신경망 내 노드 간 연결의 배치와 강도는 인공 신경망에 의한 정보 처리나 정보 저장의 결과를 결정한다.
신경망은 망 내에서 원하는 신호 흐름을 생성하고 원하는 정보 처리 또는 정보 저장 결과를 달성하도록 트레이닝될 수 있다. 일반적으로 신경망을 트레이닝하면 학습 단계 동안 노드 간 연결의 배치 및/또는 강도가 변경되게 된다. 상기 트레이닝은 특정 처리 결과를 달성하는 방향으로 진행되게 된다. 상기 처리 결과는 한 세트의 예, 다시 말하면 트레이닝 세트와 일치하여야 한다. 신경망은 주어진 입력 세트에 대해 신경망에 의해 충분히 적절한 처리 결과가 이루어지게 될 때 트레이닝된 것으로 간주할 수 있다.
트레이닝이 신경망에서 수행되는 처리의 기본을 이루기 때문에 신경망은 일반적으로 트레이닝 세트의 데이터와는 형태이나 유형이 다른 데이터를 처리할 수 없다. 실제로 동일한 유형의 콘텐츠가 존재하는 경우라도 - 적어도 인간의 관점에서 보면 - 사소해 보이는 섭동(攝動)이 극적으로 서로 다른 처리 결과에 이르게 할 수 있다.
일 예로 이미지 분류에서는 소위 "적대적 사례(adversarial examples)"가 있다. 많은 이미지 분류기는 입력 데이터의 (다시 한 번, 인간 관찰자의 관점에서 보면) 작은 비-무작위 섭동에 민감하다. 비록 이미지 분류기가 하나의 이미지를 올바르게 분류할 수 있지만, 동일한 이미지의 작은 섭동으로 인해 이미지 분류기가 섭동된 이미지를 잘못 분류할 수 있다. 다시 말하면, 이미지 공간에서 클래스는 비록 다른 부분에서 잘 정의된 경우라고 하더라도 적대적인 사례의 영역에서 교차하는 것처럼 보인다.
본 방법 및 장치는 순환 신경망에서의 의사 결정을 해석하고 순환 신경망에서의 의사 결정 견고성을 향상시키는 것이다. 간단히 말하면, 순환 신경망은 본질적으로 단기적 동적 행위(temporal dynamic behavior)를 나타낸다. 입력에 응답하는 순환 신경망 내 활동은 시간 경과에 따라 발생한다. 예를 들어, 정보 처리 결과는 다른 처리 작업을 수행한 노드로 피드백될 수 있다. 다른 일 예로서, 망을 통한 순방향 전파는 정보의 도달을 조정하는 지연을 포함할 수 있다.
이러한 단기적 동적 행위로 인해 주어진 입력에 대한 순환 신경망의 응답은 망에 대한 이전의 입력을 반영할 수 있다. 예를 들어, 정지 상태인 순환 신경망은 이전의 입력에 여전히 응답하는 경우와는 서로 다르게 주어진 입력에 응답할 수 있다.
본 방법 및 장치는 개선된 정보 처리 및 더 견고한 출력 - 및 그러한 출력의 해석을 제공하기 위해 순환 신경망의 단기적 동적 행위를 이용한다. 순환 신경망의 단기적 동적 행위는 관련 처리 결과가 점진적으로 강화되거나 심지어 증폭되고 관련 없는 처리 결과가 점진적으로 감쇠되거나 심지어 폐기되는 프로세스로 해석된다. 강화 및/또는 감쇠는,
- (예컨대, 비디오 또는 오디오 스트림의 더 긴 샘플과 같은) 시간 경과에 따라 변화되는 입력의 더 큰 샘플,
- 변화되지 않은 입력의 반복 입력,
- 입력 데이터(예컨대, 오디오, 비디오, 이미지, 물리적 매개변수)의 서로 다른 클래스, 및
- 순환 신경망에서 전문화되지 않거나 보편적인 처리 활동으로부터의 결과들의 앙상블
에 기초하여 내려진 결정을 반영할 수 있다.
순환 신경망 내에서 이러한 특징을 구현하면 순환 신경망에서의 의사 결정 견고성을 향상시킬 수 있을 뿐만 아니라 순환 신경망의 출력을 해석하는 데 도움이 될 수 있다. 순환 신경망에서의 정보 처리는 시간 경과에 따라 점진적으로 강화될 수 있다. 입력 데이터의 서로 다른 클래스와 더 긴 입력 데이터에 대한 의존은 한 클래스의 노이즈, 실패 또는 심지어는 적대적 섭동이 망에 의한 정보 처리를 과도하게 섭동하는 것을 방지한다. 전문화되지 않은 처리 활동을 통해 의사 결정에 컨텍스트(context)가 사용될 수 있다.
일 실시형태에서, 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램을 비롯한 방법, 시스템 및 장치가 설명된다. 예를 들어, 방법은 순환 인공 신경망에서 복수의 서로 다른 시간 윈도우를 정의하는 단계 - 상기 서로 다른 윈도우 각각은 서로 다른 지속 시간을 지닐 수도 있고 서로 다른 시작 시간을 지닐 수도 있으며 서로 다른 지속 시간 및 서로 다른 시작 시간을 지닐 수도 있음 -; 상기 서로 다른 시간 윈도우에서 상기 순환 인공 신경망 내 활동의 토폴로지 패턴의 발생을 식별하는 단계; 상기 서로 다른 윈도우에서 활동의 토폴로지 패턴의 발생을 비교하는 단계; 및 상기 비교의 결과에 기초하여 상기 서로 다른 시간 윈도우 중 제1 시간 윈도우에서 발생하게 되는 활동의 제1 토폴로지 패턴에 의해 표현되는 제1 결정을, 상기 서로 다른 시간 윈도우 중 제2 시간 윈도우에서 발생하게 되는 제2 토폴로지 패턴에 의해 표현되는 제2 결정보다는 덜 견고한 것으로 분류하는 단계;를 포함한다.
다른 한 실시형태에서, 컴퓨터 저장 매체 상에 인코딩된 컴퓨터 프로그램을 비롯한 방법, 시스템 및 기기가 설명된다. 예를 들어, 방법은 순환 인공 신경망에서 제1 시간 윈도우 및 제2 시간 윈도우를 정의하는 단계 - 상기 제1 시간 윈도우는 제2 시간 윈도우 이전에 시작됨 -; 상기 제1 시간 윈도우에서는 발생하게 되지만 상기 제2 시간 윈도우에서는 발생하게 되지 않는 순환 인공 신경망 내 활동의 토폴로지 패턴을 식별하는 단계; 및 상기 제1 시간 윈도우 내 토폴로지 패턴의 발생을 약화시키거나 제거하기 위해 상기 순환 인공 신경망의 하나 이상의 특성을 조정하는 단계를 포함한다.
이러한 실시형태와 다른 실시형태는 이하의 특징 중 하나 이상의 특징을 포함할 수 있다. 상기 제1 윈도우는 상기 제2 윈도우 이전에 시작될 수 있다. 데이터는 상기 순환 인공 신경망에 연속적으로 입력될 수 있고 상기 토폴로지 패턴의 발생은 상기 데이터의 연속 입력에 대해 정의된 서로 다른 시간 윈도우에서 연속적으로 식별될 수 있다. 서로 다른 시간 윈도우 각각은 복수의 시작 시간을 정의할 수도 있고, 복수의 지속 시간을 정의할 수도 있으며, 토폴로지 패턴의 식별을 위해 복수의 시작 시간 및 복수의 지속 시간 양자 모두를 정의할 수도 있다. 서로 다른 시간 윈도우 각각은 적어도 2개의 지속 시간, 활동의 더 복잡한 토폴로지 패턴을 식별하기 위해 정의된 지속 시간 중 상대적으로 긴 지속 시간과 활동의 덜 복잡한 토폴로지 패턴을 식별하기 위해 정의된 지속 시간 중 상대적으로 짧은 지속 시간으로 정의할 수 있다. 서로 다른 시간 윈도우 각각은 적어도 2개의 시작 시간을, 단일 클래스의 입력 데이터에 의해 주로 섭동되는 순환 신경망 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의된 시작 시간 중 상대적으로 빠른 시작 시간 및 입력 데이터의 클래스를 융합하는 순환 신경망의 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의된 시작 시간 중 상대적으로 늦은 시작 시간으로 정의할 수 있다. 상기 순환 인공 신경망의 하나 이상의 특성은 제1 윈도우에서 발생하게 되는 활동의 제1 토폴로지 패턴에 의해 표현되는 제1 결정을 약화시키거나 제거하도록 조정될 수 있다. 활동의 토폴로지 패턴의 발생은 2진 자리수의 제2 모음으로부터 2진 디지트의 제1 모음을 감산함으로써 비교될 수 있으며, 여기서 각각의 2진 디지트는 대응하는 토폴로지 패턴이 발생했는 지의 여부를 나타낸다. 활동의 토폴로지 패턴의 발생은 활동의 심플렉스(simplex) 패턴의 발생을 식별함으로써 식별될 수 있다. 예를 들어, 상기 심플렉스 패턴은 공동(cavity)을 에워쌀 수 있다. 활동의 토폴로지 패턴은 상기 제1 시간 윈도우에서 발생하게 되는 활동의 토폴로지 패턴의 모음을 상기 제2 시간 윈도우에서 발생하게 되는 활동의 토폴로지 패턴의 모음과 비교함으로써 식별될 수 있다. 활동의 토폴로지 패턴의 모음은 2진 디지트의 제2 모음으로부터 2진 디지트의 제1 모음을 감산함으로써 비교될 수 있으며, 여기서 각각의 2진 디지트는 대응하는 토폴로지 패턴이 발생했는 지의 여부를 나타낸다. 상기 순환 인공 신경망이 상기 제1 시간 윈도우 동안 제1 데이터에 의해 섭동되도록 한 번에 상기 제1 데이터가 상기 순환 인공 신경망에 입력될 수 있다. 상기 순환 인공 신경망이 상기 제2 시간 윈도우 동안 제2 데이터에 의해 섭동되도록 한 번에 상기 제2 데이터가 상기 순환 인공 신경망에 입력될 수 있다. 상기 제1 데이터와 상기 제2 데이터는 동일한 주제를 특징으로 하는 제1 및 제2 이미지일 수도 있고 텍스처 특성을 공유하는 제1 및 제2 텍스트 스니펫(text snippet)일 수도 있다. 상기 제1 시간 윈도우 및 상기 제2 시간 윈도우 각각은 활동의 상대적으로 복잡한 토폴로지 패턴을 식별하기 위한 상대적으로 긴 지속 시간 및 활동의 상대적으로 덜 복잡한 토폴로지 패턴을 식별하기 위한 상대적으로 짧은 지속 시간을 정의할 수 있다. 상기 제1 시간 윈도우는 주로 단일 클래스의 입력 데이터에 의해 섭동되는 순환 신경망의 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의될 수 있다. 상기 제2 시간 윈도우는 입력 데이터의 클래스를 융합하는 순환 신경망의 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의될 수 있다. 활동의 토폴로지 패턴의 발생은 활동의 심플렉스 패턴의 발생을 식별함으로써 식별될 수 있다. 상기 심플렉스 패턴은 공동을 에워쌀 수 있다.
본 발명의 하나 이상의 실시 예의 세부사항은 첨부도면 및 이하의 설명에 제시되어 있다. 본 발명의 다른 특징, 목적 및 이점은 이하의 설명 및 도면, 그리고 청구범위로부터 자명해질 것이다.
도 1은 다수의 서로 다른 센서로부터 발생하게 되는 데이터를 추상화 및 클러스터링하는 인공 신경망 시스템의 한 구현 예를 보여주는 개략도이다.
도 2 및 도 3은 신경망으로부터 디지트의 모음을 생성하기 위해 식별 및 "판독"될 수 있는 활동의 패턴을 보여주는 도면들이다.
도 4는 패턴의 발생을 시간의 함수로서 나타낸 그래프를 보여주는 도면이다.
도 5는 서로 다른 센서로부터 발생하게 되는 데이터를 신경망에 입력하기 위한 수법을 개략적으로 보여주는 도면이다.
도 6은 윈도우 정의 유닛에 의해 정의된 윈도우가 다양한 컨텍스트에서 어떻게 사용될 수 있는지를 개략적으로 보여주는 도면이다.
도 7은 적대적 공격을 식별하기 위해 윈도우 정의 유닛에 의해 정의된 윈도우가 적대적 공격에 대한 망의 저항을 개선하기 위해 어떻게 사용될 수 있는지를 개략적으로 보여주는 도면이다.
다양한 도면에서 유사한 참조기호들은 유사한 요소들을 나타낸다.
순환 인공 신경망은 시간 경과에 따라 망을 정보를 전달하는 다양한 여러 연결을 구현하도록 구성될 수 있다. 상기 연결은 망 내에서 정보를 포워드 또는 백워드로 공급할 수 있으며 다양한 여러 레벨과 시간 스케일로 구현될 수 있다. 예를 들어, 연결은 한 유형의 입력 데이터에 의해 주로 섭동되는 영역 또는 다른 모음 또는 노드의 레벨 상에서 구현될 수 있다. 다른 일 예로서, 서로 다른 유형의 입력 데이터에 의해 주로 섭동되는 서로 다른 영역 간에 연결이 구현될 수 있다. 이러한 다양한 상황 하에서 정보 전송을 위한 시간 스케일이 또한 다를 수 있다.
이 점을 염두에 두고, 일부 구현 예에서는 입력에 대한 순환 신경망의 응답이 점진적 확실성의 프로세스로 보일 수 있다. 한 유형의 입력 데이터에 응답하는 순간 섭동은 다른 유형의 입력 데이터에 응답하는 섭동과 융합 또는 조합될 뿐만 아니라 서로 다른 시간에 발생하는 동일한 유형의 입력 데이터에 응답하는 섭동과 융합 또는 조합된다. 융합 또는 조합은 관련 섭동을 점진적으로 증폭하고 그리고/또는 관련 없는 섭동을 점진적으로 약화시킬 수 있다. 상기 순환 신경망 내 관련 서브망이 활성화될 수 있다. 충분한 입력이 수신되면 심지어 가능성이 적은 결론에 이를 수 있다. 또한, 결론은 견고하고 노이즈, 결함 또는 적대적 공격에 민감하지 않다.
도 1은 다수의 서로 다른 센서로부터 발생하게 되는 데이터(50)를 추상화 및 클러스터링하는 인공 신경망 시스템(100)의 한 구현 예를 개략적으로 보여주는 도면이다. 신경망 시스템(100)은 입력 모음(105), 순환 신경망(110), 출력 모음(115), 및 윈도우 정의 유닛(125)을 포함한다. 윈도우 정의 유닛(130)은 특정 결정이 다른 결정만큼 견고하지 않고, 예컨대 잡음, 결함 또는 심지어 적대적 공격의 결과일 수 있음을 결정하는 데 사용될 수 있다. 일부 구현 예에서, 윈도우 정의 유닛(130)은 이하에서 추가로 논의되겠지만 순환 신경망(110)의 견고성을 개선하기 위해 사용될 수 있다.
데이터(50)
일부 구현 예에서, 순환 신경망(110)은 다수의 서로 다른 센서로부터 발생하게 되는 데이터(50)를 수신하도록 결합될 수 있다. 센서는 예컨대 서로 다른 물리적 속성을 데이터로 변환하는 트랜스듀서 또는 문서 또는 데이터 스트림의 내용을 감지하는 장치와 같은, 데이터만을 감지하는 장치일 수 있다. 데이터(50)는 서로 다른 포맷 또는 다른 특성을 지닐 수 있다. 예를 들어, 데이터(50)의 특정 클래스(예컨대, 비디오 또는 오디오 데이터)는 시간적인 면에서 비교적 신속하게 변화될 수 있는 반면, 데이터(50)의 다른 클래스(예컨대, 정지 이미지 또는 온도)는 비교적 느리게 변화되거나 전혀 변화되지 않을 수 있다.
예시된 구현 예에서, 데이터(50)는, 예컨대 마이크로폰으로부터 발생하게 되는 사운드 데이터(60), 예컨대 정지 이미지 카메라로부터 발생하게 되는 정지 이미지 데이터(62), 예컨대, 비디오 카메라로부터 발생하게 되는 비디오 데이터(64), 및 예컨대, 온도 센서로부터 발생하게 되는 온도 데이터(66) 중의 하나 이상을 포함한다. 이는 예시를 목적으로 한 것뿐이다. 데이터(50)는 사운드 데이터(60), 정지 이미지 데이터(62), 비디오 데이터(64), 온도 데이터(66) 중의 하나 이상을 포함할 필요는 없다. 또한, 데이터(50)는 예컨대 압력 데이터, 화학 조성 데이터, 가속도 데이터, 전기 데이터, 위치 데이터 등을 포함하는 다양한 다른 여러 유형의 데이터 중의 하나 이상을 포함할 수 있다. 센서로부터 발생하게 되는 데이터(50)는 신경망(110)에 입력되기 전에 하나 이상의 처리 동작을 받을 수 있다. 이러한 처리 동작의 예에는 예컨대 인공 신경망 장치에서의 비-선형 처리, 시간 또는 위상 시프팅, 시간 코딩, 및/또는 진폭 스케일링이 포함된다.
다른 구현 예에서는 단일 유형의 입력 데이터만 수신된다.
네트워크 입력(105)
예시된 구현 예에서, 입력(105)은 각각이 입력을 신경망(110) 내 하나 이상의 위치에 수동적으로 릴레이하는 잘 정의된 노드의 입력 레이어로서 개략적으로 표현된다. 그러나 반드시 그런 것은 아니다. 예를 들어, 일부 구현 예에서, 입력(105) 중의 하나 이상은 데이터가 신경망(110)에 전달되기 전에 입력 데이터 중의 일부 또는 전부를 스케일링, 지연, 위상 시프트 또는 이와는 달리 처리할 수 있다. 다른 일 예로서, 데이터는 신경망(110) 전체에 걸쳐, 다시 말하면 그와 같은 형식 입력 레이어 없이 서로 다른 레이어 및/또는 에지 또는 노드에 주입될 수 있다. 예를 들어, 사용자는 데이터가 신경망(110) 전체에 분산되는 특정한 노드 또는 링크에 주입되도록 지정할 수 있다. 다른 일 예로서, 신경망(110)은 공지된, 이전에 정의된 방식(예컨대, 항상 제1 노드에 제1 비트를 주입하고, 제2 노드에 제2 비트를 주입하는 등)으로 입력을 수신하도록 제한될 필요는 없다. 대신에, 사용자는 데이터를 이루는 특정 비트가 노드 대신에 에지에 주입되도록 지정할 수도 있으며 주입 순서는 상기 비트가 나타나는 순서를 따를 필요가 없을 수도 있고 이러한 매개변수 및 다른 매개변수의 조합을 지정할 수도 있다. 그럼에도 불구하고, 편의상, 입력 레이어로서의 입력(105)의 표현은 여기에서 유지되게 된다.
순환 신경망(110)
순환 신경망에서, 노드 간 연결은 시간 시퀀스를 따라 방향성 그래프를 형성하고 상기 순환 신경망은 단기적 동적 행위를 나타낸다. 일부 구현 예에서, 순환 신경망(110)은 생물학적 시스템상에서 모델링되는 비교적 복잡한 신경망이다. 다시 말하면, 재생 신경망(110)은 그 자체로 생물학적 시스템의 어느 정도의 형태학적, 화학적 및 기타 특성을 모델링할 수 있다. 일반적으로, 생물학적 시스템상에서 모델링되는 순환 신경망(110)은 비교적 높은 레벨의 계산 성능을 갖는 하나 이상의 컴퓨팅 장치상에서 구현된다.
예컨대, 전통적인 피드포워드 신경망과는 대조적으로, 생물학적 시스템상에서 모델링되는 순환 신경망(110)은 입력 데이터(50)에 응답하지 않는 배경 또는 다른 활동을 디스플레이할 수 있다. 실제로, 입력 데이터(50)가 없는 경우에도 그러한 신경망(110)에 활동이 존재할 수 있다. 그러나 데이터의 입력 시, 순환 신경망(110)은 섭동되게 된다. 섭동에 대한 이러한 신경망(110)의 응답은 데이터가 입력되는 시점에서의 신경망(110)의 상태에 부분적으로 의존할 수 있기 때문에 데이터의 입력에 대한 이러한 신경망(110)의 응답은 또한 신경망(110)에 이미 존재하는 배경 또는 기타 활동에 의존할 수 있다. 그럼에도 불구하고, 비록 신경망에서의 그러한 활동이 데이터의 입력에만 응답하는 것은 아니지만, 이는 입력 데이터에 응답한다.
입력 데이터에 대한 신경망(110)의 응답은 토폴로지 패턴의 모음으로서 판독될 수 있다. 특히, 데이터의 입력 시, 신경망(110)은 특정 활동으로 응답하게 된다. 그러한 활동에는 다음이 포함되게 된다.
- 정의된 토폴로지 패턴과 일치하지 않는 활동, 및
- 정의된 토폴로지 패턴과 일치하는 활동.
정의된 토폴로지 패턴과 일치하지 않는 신경망(110)에서의 활동은 일부 경우에 입력 데이터의 특성에 대한 부정확하거나 불완전한 추상화일 수도 있고 입력 ㄷ데이터에 대한 다른 작용일 수도 있다. 토폴로지 패턴과 일치하는 신경망(110)에서의 활동은 입력 데이터의 서로 다른 특성을 추상화할 수 있다. 추상화된 특성 각각은 애플리케이션에 따라 다소 유용할 수 있다. 표현(120)을 특정한 토폴로지 패턴의 표현에 제한함으로써, 부정확하거나 불완전한 추상화와 특정한 애플리케이션과는 관련이 없는 특성의 추상화 양자 모두가 "필터링되어 제거"되고 표현(120)으로부터 배제될 수 있다.
때로는, 신경망(110)은 비록 다른 토폴로지 패턴이 서로 다르다 하더라도 동일한 하나 이상의 토폴로지 패턴을 지니는 서로 다른 센서로부터 발생하게 되는 데이터의 입력에 응답하게 된다. 예를 들어, 신경망(110)은 비록 다른 토폴로지 패턴이 또한 각각의 입력에 대한 응답의 일부이다 하더라도 "뜨거움(hot)"의 정성적 평가를 표현하는 토폴로지 패턴으로 온도 판독 또는 사막(desert)의 정지 이미지에 응답할 수 있다. 마찬가지로, 신경망(110)은 비록 다른 토폴로지 패턴이 또한 각각의 입력에 대한 응답의 일부이다 하더라도 "이행됨(done)"의 정성적 평가를 표현하는 토폴로지 패턴으로 부스러기가 있는 접시(plate with crumbs)의 정지 이미지 또는 음악 작곡의 결론에 응답할 수 있다. 따라서 때로는 서로 다른 출처와 서로 다른 포맷을 지니는 데이터로부터 동일한 특성이 추상화될 수 있다.
때로는, 신경망(110)은 하나 이상의 토폴로지 패턴으로 서로 다른 센서로부터 발생하게 되는 데이터(50)의 입력에 응답하게 되며 상기 하나 이상의 토폴로지 패턴은 이러한 센서로부터의 데이터 특성의 합성 또는 융합을 나타낸다. 다시 말하면, 이러한 단일의 패턴은 서로 다른 유형의 데이터에 존재하는 동일한 특성의 추상화를 나타낼 수 있다. 일반적으로, 서로 다른 센서로부터의 데이터를 융합하거나 합성하면 이러한 패턴이 발생하게 되거나 이러한 패턴의 활동 강도가 증가하게 된다. 다시 말하면, 서로 다른 센서로부터의 데이터는 다양한 입력 데이터에 동일한 특성이 존재한다는 "확증적 증거(corroborative evidence)"로서 작용할 수 있다.
경우에 따라서는, 서로 다른 센서로부터의 데이터 특성의 합성 또는 융합을 나타내는 토폴로지 패턴은 특정한 특성이 서로 다른 센서로부터의 데이터에 있는 경우에만 발생하게 된다. 신경망(110)은 사실상 AND 게이트로서 작용할 수 있고 활동의 특정 패턴이 발생하게 되기 위해 서로 다른 센서로부터의 데이터의 특정 특성을 요구할 수 있다. 그러나 그럴 필요는 없다. 대신에, 패턴을 형성하는 활동의 크기가 증가할 수도 있고 활동의 타이밍이 서로 다른 센서의 데이터에 응답하여 짧아질 수도 있다. 실제로, 활동의 토폴로지 패턴 - 및 표현(120)로의 활동의 토폴로지 패턴의 표현 - 은 매우 풍부한 상태 공간에서 입력 데이터의 특성에 대한 추상화를 나타낸다. 다시 말하면, 활동의 토폴로지 패턴 및 활동의 토폴로지 패턴의 표현은 예컨대 예/아니오(yes/no) 분류가 분류기에 의해 산출된 사전에 정의된 결과일 수도 있고 한 세트의 관련된 입력이 클러스터링 장치에 의해 산출된 사전에 정의된 결과일 수도 있으며 예측이 예측 모델에 의해 산출된 사전에 정의된 결과일 수도 있다는 의미에서 입력 데이터 처리의 사전 정의된 "결과"가 반드시 필요한 것은 아니다. 오히려, 상기 토폴로지 패턴은 입력 데이터의 특성을 추상화한 것이다. 비록 그 상태 공간이 때로는 예/아니오 분류와 같은 추상화를 포함할 수 있지만, 상기 상태 공간은 단지 그러한 사전에 정의된 결과에만 국한되지 않는다.
또한, 상기 토폴로지 패턴은 입력 데이터의 전체보다는 오히려, 입력 데이터의 단지 일부만(예컨대, 이미지의 특정 영역 또는 비디오 또는 오디오 스트림의 특정 모멘트 또는 픽셀과 같은 입력의 특정 세부사항)의 특성을 추상화할 수 있다. 따라서, 추상화의 상태 공간은 미리 정의된 유형의 결과(예컨대, 분류, 클러스터 또는 예측)나 입력 데이터 전체의 추상화에 국한되지 않는다. 오히려, 상기 토폴로지 패턴은 고차원, 비-선형, 순환 동적 시스템(다시 말하면, 신경망(110))에 의한 처리가 판독될 수 있게 하는 도구이다. 상기 토폴로지 패턴은 데이터를 보다 완전한 "전체"로 융합하는 상관 관계를 포함하여 신경망(110)에서 발생하게 되는 입력 데이터의 상관 관계를 추출한다. 또한, 상기 신경망의 재생 특성으로 인해, 시간 경과에 따라 융합이 이루어진다. 초기 작업 또는 추상화가 완료됨에 따라, 이러한 초기 작업 또는 추상화의 결과가 동시에 또는 늦게 완료되는 다른 작업 또는 추상화와 융합될 수 있다. 따라서, 융합은 초기 작업이나 추상화와는 서로 다른 늦은 시간에 이루어진다.
서로 다른 출처 및 포맷에도 불구하고, 신경망(110)은 여전히 상기 데이터로부터의 특성을 추상화할 수 있다. 예를 들어, 신경망(110)은 다음을 추상화할 수 있다:
-물리적 특성(예컨대, 컬러, 형상, 배향, 속도),
-카테고리(예컨대, 자동차, 고양이, 개), 및/또는
-추상적인 질적 특성(예컨대, "살아있는" 대 "죽은", "부드러운" 대 "거친", "생명이 있는" 대 "생명이 없는", "뜨거운" 대 "차가운", "열린" 대 "닫힌").
입력 데이터를 소수의 센서로부터 발생하게 하도록 제한하는 경우에는 신경망(110)이 특정한 방식으로 그러한 센서로부터의 데이터를 추상화할 가능성이 낮을 수 있다. 예를 들어, 신경망(110)이 그 자체로 온도 데이터를 형상 또는 배향과 같은 공간적 특성에 상응하는 활동 패턴으로 추상화할 가능성이 낮을 수 있다. 그러나 서로 다른 센서로부터의 데이터가 신경망(110)에 입력됨에 따라, 다양한 입력 데이터에 의해 유발된 섭동이 서로 만나 신경망(110)에서의 활동에 총체적으로 영향을 미칠 수 있다. 그 결과로서, 상기 신경망(110)은 입력 데이터를 서로 다르거나 또는 특정한 활동 패턴으로 추상화할 수 있다.
예를 들어, 패턴의 존재 또는 부재에 연관된 불확실성이 어느 정도 있을 수 있다. 입력 데이터가 다양한 범위의 센서로부터의 데이터를 포함하는 경우, 서로 다른 센서로부터 발생하게 되는 데이터가 신경망(110) 내에서 합성 또는 융합됨에 따라 패턴의 다양성 및 패턴의 확실성이 증가할 수 있다. 비유해보면, 열차역에서의 열차에 앉아 있는 승객은 창 밖을 내다보면 움직이는 것처럼 보이는 인접한 열차를 볼 수 있다. 그러한 동일 승객은 또한 예컨대 좌석으로부터의 전방 압력을 느낄 수 있다. 이러한 정보의 융합 또는 합성은 승객의 열차가 인접한 열차 대신에 움직이고 있다는 승객의 확신 정도를 높인다. 신경망이 다양한 입력 데이터를 수신할 때, 그러한 데이터에 의해 유발된 섭동은 서로 다르거나 또는 특정한 활동 패턴으로 총체적으로 추상화될 수 있다.
다양한 센서로부터의 입력 데이터를 처리할 수 있는 순환 신경망(110)의 능력은 또한 그러한 데이터의 추상화에 대한 어느 정도의 견고성(robustness)을 제공한다. 예를 들어, 한 그룹의 하나의 센서는 부정확하거나 심지어 작동하지 않게 될 수 있지만 신경망(110)은 계속해서 다른 센서로부터 데이터를 추상화할 수 있다. 종종, 순환 신경망(110)은 다른 센서로부터의 데이터를 센서 모두가 설계된 대로 기능 했더라면 발생하게 됐었을 동일한 활동 패턴으로 추상화하게 된다. 그러나 어떤 경우에는 이러한 추상화의 확실성이 감소할 수 있다. 그럼에도 불구하고 이러한 문제가 발생하게 된다 하더라도 추상화는 계속될 수 있다.
또한, 순환 신경망의 견고성을 향상시킬 수 있는 순환 신경망(110)을 형성하는 링크 및 노드의 특성이 몇 가지 있다. 한 가지 대표적인 특성은 노드에 연결된 링크의 상대적으로 큰 팬아웃(fan-out) 및/또는 큰 팬인(fan-in)이다. 이러한 맥락에서, 팬아웃은 노드 또는 링크의 단일 출력으로부터 입력을 수신하는 노드 또는 링크의 개수이다. 팬인은 노드 또는 링크가 수신하는 입력의 개수이다. 큰 팬인 및 팬아웃은 위에서 논의한 점선 링크에 의해 개략적으로 예시되어 있다.
일부 구현 예에서, 단일 노드는 10 내지 10^6개의 다른 노드들, 예를 들어 10^3 내지 10^5개의 다른 노드에 신호를 출력할 수 있다. 일부 구현 예에서, 단일 노드는 10 내지 10^6개의 다른 노드, 예를 들어 10^3 내지 10^5개의 다른 노드로부터 신호를 수신할 수 있다. 이러한 상대적으로 큰 팬아웃은 각각의 노드에 의한 처리 결과의 매우 극적인 분포로 이어진다. 또한, 이러한 비교적 큰 팬인은 각각의 노드가 다수의 서로 다른 노드로부터 발생하게 되는 입력에 기초한 처리를 허용한다. 임의의 특정 결함 - 순환 신경망 자체 내 노드 및 링크 또는 입력 데이터 내 그러한 임의의 특정 결함이 있다면 - 치명적인 실패로 이어질 가능성이 낮다.
순환 신경망의 견고성을 향상시킬 수 있는 또 다른 일 예는 상기 신경망 내 정보의 비-선형 전송이다. 예를 들어, 순환 신경망(110) 내 링크는 예컨대 주어진 시간 내 스파이크의 개수에 기초하여 정보를 반송(搬送)하는 스파이크형 전송일 수 있다. 다른 일 예로서, 순환 신경망(110) 내 노드 및 링크는 생물학적 뉴런의 활성화 기능과 유사한 활성화 기능을 비롯한 비-선형 활성화 기능을 가질 수 있다.
순환 신경망의 견고성을 향상시킬 수 있는 다른 한 대표적인 특성은 개별 노드 간 다중 링크 연결이다. 어떤 경우에는, 그러한 다중 링크가 순전히 중복될 수 있으며 정확히 동일한 방식으로 연결된 노드 간에 정확히 동일한 정보를 전달할 수 있다. 그러나 일반적으로 여러 링크는 정확히 동일한 정보를 정확히 동일한 방식으로 전달하지 않게 된다. 예를 들어, 서로 다른 처리 결과는 서로 다른 링크에 의해 전달될 수 있다. 다른 일 예로서, 다중 링크는 결과가 서로 다른 시간에 목적지에 도달하고 그리고/또는 결과가 서로 다른 결론을 가지고 수신 노드에 도달하도록 동일한 결과를 전달할 수 있다.
일부 구현 예에서, 순환 신경망 내 링크는 억제적인 것일 수도 있고 흥분적인 것일 수도 있다. 억제적인 링크는 수신 노드가 특정 신호를 출력할 가능성을 낮추는 반면에 흥분적인 링크는 수신 노드가 특정 신호를 출력할 가능성을 높인다. 일부 구현 예에서, 노드는 다수의 흥분적인 링크(예컨대, 2 내지 20개의 링크 또는 3 내지 10개의 링크)에 의해 연결될 수 있다. 일부 구현 예에서, 노드는 다수의 억제적인 링크(예컨대, 5 내지 40개의 링크 또는 10 내지 30개의 링크)에 의해 연결될 수 있다.
다중 링크 연결 양자 모두는 노드 간에 견고한 연결을 제공하고 완전히 결정적인 처리를 방지하는 데 도움이 된다. 이하에서 추가로 논의되겠지만, 견고성에 기여할 수 있는 또 다른 특성은 노드 간 정보의 비-결정적 전송이다. 임의의 특정 결함 - 순환 신경망 자체 내 노드 및 링크 또는 입력 데이터 내 그러한 임의의 특정 결함이 있다면 - 다중 링크 연결을 통한 비-결정적인 정보의 분산 전송으로 인해 치명적인 실패로 이어질 가능성이 낮다.
순환 신경망의 견고성을 향상시킬 수 있는 다른 한 대표적인 특성은 개별 노드 간 비-결정적 전송이다. 결정적 시스템은 임의성(randomness) 없이 미래 상태를 전개시키는 시스템이다. 주어진 입력에 대해, 결정적 시스템은 항상 동일한 출력을 생성하게 된다. 현재 상황에서, 노드 간 비-결정적 전송은 주어진 세트 입력 데이터에 대해 다른 노드로 출력되는 신호(또는 심지어는 순환 신경망으로부터의 출력)에서 어느 정도의 임의성을 허용한다. 입력 데이터는 순환 신경망 전체에 입력되는 데이터일 뿐만아니라 순환 신경망 내 개별 노드에 의해 수신된 신호도 포함한다.
이러한 임의성은 다양한 방식으로 신호 전송에 도입될 수 있다. 예를 들어, 일부 구현 예에서 노드의 행위는 비-결정적일 수 있다. 주어진 노드가 항상 동일한 입력 신호에 동일하게 응답하지 않게 하기 위해 결정 임계값, 시간 상수 및 기타 매개변수가 임의로 변경될 수 있다. 다른 일 예로서, 링크 자체가 비-결정적일 수 있다. 예를 들어, 주어진 링크가 항상 동일한 입력 신호를 전달하지 않게 하기 위해 전송 시간과 진폭 감쇠를 임의로 변경될 수 있다.
또 다른 한 예로서, 순환 신경망 전체의 행위는 비-결정적일 수 있으며 이러한 행위는 노드 간 신호 전송에 영향을 미칠 수 있다. 예를 들어, 순환 신경망은 예컨대 심지어 입력 데이터가 없는 경우에도 존재하는 입력 데이터에 의존하지 않는 배경 또는 기타 활동을 디스플레이할 수 있다. 이러한 활동의 배경 레벨은 비록 노드와 링크 자체가 결정적으로 정의되더라도 개별 노드 간 비-결정적 전송으로 이어질 수 있다.
신호 전송에 어느 정도의 가변성을 도입함으로써, 순환 신경망 내 처리는 본질적으로 사소한 편차를 허용한다. 특히, 순환 신경망 내 신호 전송에서의 일정 정도의 변동성에도 불구하고 의미 있는 결과를 생성할 수 있는 순환 신경망은 입력 데이터 또는 순환 신경망 자체 내 노드 및 링크 중 어느 하나 내에 - 결함이 있는 경우에도 의미 있는 결과를 생성할 수 있게 된다. 순환 신경망의 성능은 치명적이 아니라 점진적으로 저하하게 된다.
완전성을 위해, 단일의 순환 신경망(110)은 개선된 견고성을 갖기 위해 이러한 특성 모두를 동시에 가질 필요는 없다. 오히려 이러한 특성의 조합 또는 심지어는 이러한 특성의 개별 특성이 견고성을 어느 정도 향상시킬 수 있다.
네트워크 출력(115) 및 표현(120)
신경망(110)에 의한 데이터의 추상화는 예컨대 입력 데이터에 응답하여 신경망(110) 내 활동의 대응하는 토폴로지 패턴의 존재 또는 부재를 각각 나타내는 (일반적으로 2진) 디지트의 모음으로서 출력(115)으로부터 판독될 수 있다. 어떤 경우에, 표현(120)으로의 각각의 디지트는 신경망(110) 내 활동의 대응하는 패턴의 존재 또는 부재를 나타낸다. 표현(120)은 단지 개략적으로 예시되어 있고, 표현(120)은 예컨대, 디지트의 1차원 벡터, 디지트의 2차원 행렬, 또는 디지트의 다른 모음일 수 있다. 일반적으로, 표현(120)으로의 디지트는 2진수이며 활동의 패턴이 존재하는 지의 여부를 예/아니오의 방식으로 나타내게 된다. 그러나 반드시 그런 것은 아니다. 대신에, 일부 구현 예에서 표현(120)으로의 디지트는 다중 값이 되게 된다. 값은 신경망(110) 내 활동의 대응하는 패턴의 존재 또는 부재의 특성을 나타낼 수 있다. 예를 들어, 값은 활동의 강도 또는 특정 활동 패턴이 실제로 존재하는 통계적 확률을 나타낼 수 있다. 예를 들어, 규모가 비교적 크거나 비교적 짧은 시간 윈도우 내에 발생하게 되는 활동은 특정 결정에 도달했거나 도달했을 가능성이 있음을 나타내는 것으로 간주 될 수 있다. 이와는 대조적으로, 규모가 상대적으로 작거나 상대적으로 더 오랜 시간에 걸쳐 발생하게 되는 활동은 특정 결정에 도달했음을 나타낼 가능성이 적은 것으로 간주 될 수 있다.
어떤 경우든, 활동의 응답 패턴은 입력 데이터에 대해 신경망(110)에 의해 수행된 특정 작업을 나타낸다. 작업은 임의로 복잡할 수 있다. 따라서 단일의 디지트는 임의의 복잡한 작업을 인코딩할 수 있고 한 세트의 디지트는 각각의 작업이 임의의 복잡도 레벨을 갖는 한 세트의 작업을 전달할 수 있다.
또한, 활동의 토폴로지 패턴 - 및 표현(120)으로의 활동의 토폴로지 패턴의 표현 - 은 활동의 토폴로지 패턴이 신경망에 입력되는 데이터의 출처에 의존하지 않거나 표현(129)이 적용되는 애플리케이션에 의존하지 않는다는 점에서 "보편적"일 수 있다. 오히려, 활동의 토폴로지 패턴은 데이터의 출처에 관계없이 신경망(110)에 입력되는 데이터의 추상적인 특성을 표현한다.
일반적으로, 활동의 여러 토폴로지 패턴은 입력이 이산적(예컨대, 정지 사진 또는 물리적 매개변수를 측정하는 트랜스듀서로부터의 단일의 판독)이든 연속적(예컨대, 비디오 또는 오디오 스트림)이든 단일의 입력에 응답하여 발생하게 된다. 따라서 출력 표현(120)은 심지어 생물학적 시스템상에 모델링되는 비교적 복잡한 순환 신경망에서도 입력 데이터에 응답하는 활동 패턴에서 발생하게 되는 토폴로지 구조의 존재 또는 부재를 나타낼 수 있다.
예시된 구현 예에서, 출력(115)은 다중 노드 출력 레이어로서 개략적으로 표현된다. 그러나 출력(115)은 다중 노드 출력 레이어일 필요는 없다. 예를 들어, 출력 노드(115)는 신경망(110) 내 특정 노드 모음에서 특정 활동 패턴의 발생을 식별하고 결과적으로는 신경망(110)의 출력을 판독하는 개별 "판독기 노드"일 수 있다. 판독기 노드는 특정 노드 모음에서의 활동이 타이밍(및 가능한 규모 또는 기타) 기준을 충족하는 경우 및 그 경우에만 실행될 수 있다. 예를 들어, 출력 노드(115)는 신경망(110) 내 노드 모음에 연결될 수 있고, 예컨대 대응하는 임계값 활성화 레벨을 넘는 각각의 개별 노드의 활동 레벨, 임계값 활성화 레벨을 넘는 그러한 노드의 활동 레벨의 가중합, 또는 임계값 활성화 레벨을 넘는 그러한 노드의 활동 레벨의 비-선형 조합에 기초하여 토폴로지 구조의 존재 또는 부재를 나타낼 수 있다.
표현(120)의 정보는 단일 자리수의 값에 대한 정보가 표현(120)의 다른 자리수 값에 걸쳐 분포된다는 의미에서 홀로그램으로 표현된다. 다시 말하면, 표현(120) 내 자리수의 임의 서브세트는 또한 표현(120) 내 자리수 모두가 존재하는 경우에 존재하는 것보다 낮은 해상도로만 입력에 대해 상기 신경망(110)에 의해 수행된 작업에 대한 정보를 또한 포함한다. 이하에서 더 논의되겠지만, 서로 다른 토폴로지 패턴은 서로 다른 정도의 복잡도를 지닌다. 일부 비교적 더 복잡한 패턴은 비교적 덜 복잡한 패턴을 포함할 수 있다. 또한, 단순한 패턴은 더 복잡한 패턴으로 조립될 수 있다. 더욱이, 일부 디지트에 의해 표현되는 상대적으로 높은 레벨의 추상화는 다른 디지트에 의해 표현되는 다른 추상화와는 어느 정도 상관될 수 있다. 예를 들어, "살아있는"과 같은 추상적인 정성적 특성의 발생을 나타내는 디지트는 "생명이 있는"과 같은 정성적 특성을 나타내는 자리수와 상관될 수 있다. 따라서 일부 토폴로지 패턴의 발생에 대한 정보는 본질적으로 다른 토폴로지 패턴의 발생에 대한 일부 정보를 포함한다.
편의상, 본원의 나머지 부분은 상기 표현(120)을 2진 비트의 모음으로서 언급하게 되고 이러한 표현(120)이 도면들에서 그대로 예시되게 된다. 그러나 여기서 이해하여야 할 점은 모든 경우에 표현(120)의 디지트가 또한 상기 신경망에 의해 수행되는 작업의 다양한 실시형태를 인코딩하기 위해 다중 값을 지닐 수 있다는 것이다.
윈도우 정의 유닛(125)
위에서 논의한 바와 같이, 입력에 대한 순환 신경망의 응답은 순간 입력에 응답하는 섭동이 이전 입력에 응답하는 섭동과 조합되거나 융합되는 점진적 확실성의 프로세스로서 보일 수 있다. 섭동은 표현(120)의 디지트에 의해 표현되는 활동의 토폴로지 패턴을 발생시킨다.
윈도우 정의 유닛(125)은 표현(120) 내 활동의 토폴로지 패턴 및 그에 상응하는 표현의 검출을 위한 서로 다른 시간 윈도우를 정의하도록 구성된 장치이다. 일반적으로, 윈도우 정의 유닛(125)은 윈도우의 지속 시간 및 윈도우의 타이밍 양자 모두를 정의할 수 있다.
한편으로는, 인공 순환 신경망 장치에서 시간은 인공적이며 수학적 구성을 사용하여 표현된다. 예를 들어, 신호가 노드로부터 노드로 전송하기 위해 실제 시간 경과를 요구하는 대신에, 이러한 신호는 - 컴퓨터 클록 사이클 등으로 측정되는 바와 같이 - 일반적으로 실제 시간 경과와 관련이 없는 인공 단위로 표현될 수 있다. 그럼에도 불구하고 인공 순환 신경망 장치의 상태는 이러한 인공 단위에 대해 변화된다는 점에서 "동적"으로서 설명될 수 있다. 편의상 이러한 인공 단위는 여기서 "시간"으로서 언급된다. 그럼에도 불구하고, 여기서 이해하여야 할 점은 이러한 단위가 - 심지어 상기 단위들이 생물학적 시스템상에 밀접하게 모델링되는 순환 신경망에서 실제 시간으로 스케일링되는 경우에도 - 인공적이며 일반적으로 실제 시간의 경과와 일치하지 않는다는 것이다.
또한, 여기에서 사용된, 활동의 토폴로지 패턴의 검출을 위한 "윈도우"는 시간의 단일의 지속 시간으로 제한될 필요가 없다. 아래에서 더 논의되겠지만, 순환 신경망 내 활동의 토폴로지 패턴의 타이밍에 영향을 줄 수 있는 다양한 요인이 있다. 이러한 요인에는 예컨대 토폴로지 패턴의 복잡도와 활동의 토폴로지 패턴이 식별되는 영역이 포함된다. 이러한 요소를 염두에 두고, 단일의 "윈도우"는 서로 다른 패턴의 식별을 위해 서로 다른 지속 시간 및/또는 서로 다른 시작 시간을 갖도록 정의될 수 있다. 예를 들어, 단일의 "윈도우"는 활동의 상대적으로 단순한 토폴로지 패턴의 식별을 위한 상대적으로 짧은 지속 시간을 가지지만 활동의 상대적으로 복잡한 토폴로지 패턴의 식별을 위한 상대적으로 긴 지속 시간을 갖도록 정의될 수 있다. 지속 시간은 예컨대, 순환 신경망의 다양한 매개변수에 연관된 전송 지연, 응답 시간 및 감쇠 시간과 같은 인자에 기초하여 정의될 수 있다. 다른 일 예로서, 단일의 "윈도우"는 신경망의 서로 다른 영역에서 활동의 서로 다른 패턴을 식별하기 위해 다양한 여러 시작 시간을 갖도록 정의될 수 있다. 예를 들어, 단지 단일 클래스의 입력 데이터만에 의해 주로 섭동되는 영역에 대한 단일 윈도우의 시작 시간(들)은 여러 클래스의 입력 데이터를 융합하는 영역에 대해 동일한 단일 윈도우의 시작 시간보다 이전인 것일 수 있다. 다시 한번, 상기 시작 시간은 예컨대 순환 신경망의 다양한 매개변수에 연관된 전송 지연, 응답 시간 및 감쇠 시간과 같은 인자에 기초하여 정의될 수 있다.
윈도우 정의 유닛(125)을 다시 참조하면, 서로 다른 시간 윈도우는 다수의 서로 다른 목적을 달성하도록 조정될 수 있다. 예를 들어:
Inter-pattern Window Definition: 이하에서 더 논의되겠지만, 활동의 서로 다른 토폴로지 패턴은 서로 다른 복잡도를 가질 수 있다. 일부 구현 예에서, 윈도우 정의 유닛(125)은 서로 다른 패턴의 서로 다른 복잡도를 수용하기 위해 서로 다른 지속 시간 윈도우를 정의할 수 있다. 예를 들어, 상대적으로 복잡한 토폴로지 패턴과 일치하는 활동이 식별되어야 할 때, 윈도우 정의 유닛(125)은 상대적으로 단순한 토폴로지 패턴과 일치하는 활동이 식별되어야 할 때보다 긴 지속 시간 윈도우를 정의할 수 있다.
입력 지속 시간에 대한 응답을 위한 윈도우 정의: 일부 유형의 입력(예컨대, 비디오 또는 오디오 스트림)은 본질적으로 비교적 긴 지속 시간에 걸쳐 발생하게 되지만, 다른 유형의 입력(예컨대, 정지 이미지 또는 단일 데이터 포인트)은 본질적으로 상대적으로 짧은 지속 시간에 걸쳐 발생하게 된다. 서로 다른 입력에 응답하여 발생하게 되는 활동의 토폴로지 패턴은 입력의 지속 시간과 입력의 발생 타이밍에 따라 시간적인 면에서 스케일링 및 시프트될 수 있다. 일부 구현 예에서, 상대적으로 긴 지속 시간 입력에 응답하는 활동이 식별되어야 할 때, 윈도우 정의 유닛(125)은 상대적으로 짧은 지속 시간 입력에 응답하는 활동이 식별되어야 할 때보다 긴 지속기간 윈도우 및/또는 시간적인 면에서 늦게 발생하게 되는 윈도우를 정의할 수 있다.
융합된 입력의 추상화를 캡처하기 위한 윈도우 정의: 일부 구현 예에서, 서로 다른 센서로부터 발생하게 되는 입력 데이터의 추상화는 서로 다른 센서로부터 발생하게 되는 입력 데이터의 추상화보다 시간적인 면에서 늦게 이루어질 수 있으며 상대적으로 긴 기간에 걸쳐 이루어질 수 있다. 예를 들어, 하기 도 5에 도시되어 있는 바와 같이, 순환 신경망의 서로 다른 영역은 주로 단일 클래스의 입력 데이터에 의해 섭동될 수 있다. 서로 다른 클래스의 입력 데이터를 융합하는 결정 및 추상화는 시간적인 면에서 늦게 이루어질 수 있으며 단일 클래스의 입력 데이터에 기초하여 이루어지는 결정 및 추상화보다 상대적으로 긴 기간이 필요하다. 서로 다른 센서로부터 발생하게 되는 데이터에 응답하는 활동이 식별되어야 할 때, 윈도우 정의 유닛(125)은 단일 센서에 응답하는 활동이 식별되어야 할 때보다 긴 지속 시간 윈도우 및/또는 시간적인 면에서 늦게 발생하게 되는 윈도우를 정의할 수 있다.
확실성 척도를 위한 윈도우 정의: 일부 구현 예에서는, 결정의 확실성에서의 변화를 모니터링하기 위해 윈도우가 정의될 수 있다. 특히, 입력 데이터의 초기 추상화는 불완전하거나 부정확할 수 있다. 순환 신경망이 피드백 루프와 노드 및/또는 링크 상태에서의 장기적인 변화를 통해 시간 경과에 따라 정보를 처리하기 때문에 관련 처리 결과가 점진적으로 강화되거나 심지어 증폭될 수도 있으며 관련이 없는 처리 결과가 점진적으로 감쇠되거나 폐기될 수도 있다. 높은 확실성 결과를 나타내는 활동이 식별되어야 할 때, 윈도우 정의 유닛(125)은 덜 확실한 활동이 식별되어야 할 때보다 긴 기간의 윈도우 및 /또는 시간적인 면에서 늦게 발생하게 되는 윈도우를 정의할 수 있다.
적대적 공격의 식별을 위한 윈도우 정의: 일부 구현 예에서는, 망에 대한 적대적 공격을 식별하기 위해 윈도우가 정의될 수 있다. 이미지 분류기 및 기타 신경망은 입력 데이터의 작고 임의적이지 않은 섭동에 민감할 수 있다. 이러한 작고 임의적이지 않은 섭동의 영향은 짧은 시간 스케일에서, 다시 말하면 관련 처리 결과가 점진적으로 강화될 수 있기 전에, 관련이 없는 처리 결과가 점진적으로 감쇠될 수 있기 전에, 상대적으로 긴 기간에 걸쳐 발생하게 되는 입력이 전체적으로 입력되기 전에 그리고/또는 서로 다른 센서로부터 발생하게 되는 입력 데이터가 융합될 수 있기 전에 가장 크게 된다. 입력 직후에나 또는 짧은 지속 시간 스케일에 걸쳐 발생하게 되는 활동이 식별될 때, 윈도우 정의 유닛(125)은 순환 신경망에 대한 (시도된) 적대적 공격의 식별을 용이하게 할 수 있다.
도 2는 신경망(110)(도 1)으로부터 모음(120)을 생성하기 위해 식별 및 "판독"될 수 있는 활동의 패턴(400)을 보여준다.
패턴(400)은 순환 인공 신경망 내 활동의 표현이다. 패턴(400)을 판독하기 위해, 기능적인 그래프는 노드를 포인트로서 지니는 토폴로지 공간으로 취급된다. 패턴(400)과 일치하는 노드 및 링크에서의 활동은 상기 활동에 참여하는 특정한 노드 및/또는 링크의 ID와는 관계없이 순서화된 것으로 인식될 수 있다. 예시된 구현 예에서, 패턴(400)은 모든 방향성 클리크(directed clique) 또는 방향성 심플렉스(directed simplex)이다. 이러한 패턴에서, 활동은 패턴 내 다른 모든 노드에 신호를 전송하는 소스 노드로부터 발생하게 된다. 패턴(400)에서, 이러한 소스 노드는 포인트 0으로서 지정되는 반면에 다른 노드들은 포인트 1, 2, …로 지정된다. 또한, 방향성 클리크 또는 심플렉스에서, 노드 중의 하나는 싱크(sink)의 역할을 하고 패턴 내 다른 모든 노드로부터 전송된 신호를 수신한다. 패턴(400)에서, 이러한 싱크 노드는 패턴 내 가장 높은 번호를 갖는 포인트로 지정된다. 예를 들어, 패턴(405)에서, 싱크 노드는 포인트 2로 지정된다. 패턴(410)에서, 싱크 노드는 포인트 3으로 지정된다. 패턴(415)에서, 싱크 노드는 포인트 3으로 지정되고 이하 마찬가지이다. 따라서 패턴(400)에 의해 표현되는 활동은 구별 가능한 방식으로 순서화된다.
패턴(400) 각각은 서로 다른 개수의 포인트를 지니고 서로 다른 개수의 노드에서 순서화된 활동을 반영한다. 예를 들어, 패턴(405)은 2D-심플렉스이고 3개의 노드에서 활동을 반영하고, 패턴(410)은 3D-심플렉스이고 4개의 노드에서 활동을 반영하며 이하 마찬가지이다. 패턴 내 포인트의 개수가 증가함에 따라 순서화의 정도와 활동의 복잡도도 증가한다. 예를 들어, 윈도우 내 특정 레벨의 임의 활동을 갖는 대규모 노드 모음의 경우, 그러한 활동 중의 일부는 우연하지 않은 패턴(405)과 일치될 수 있다. 그러나 임의 활동이 대응하는 패턴(410, 415, 420…)과 일치하게 될 가능성이 점차로 작아진다. 따라서 패턴(430)과 일치하는 활동의 존재는 패턴(405)과 일치하는 활동의 존재보다는 활동에서 비교적 높은 정도의 순서화 및 복잡도를 나타낸다.
활동의 복잡도에 대한 다양한 결정을 위해 서로 다른 기간 윈도우가 정의될 수 있다. 예를 들어, 패턴(430)과 일치하는 활동이 식별되어야 할 때, 패턴(405)과 일치하는 활동이 식별되어야 할 때보다 긴 기간 윈도우가 사용될 수 있다.
도 3은 신경망(110)(도 1)으로부터 2진 디지트 모음(120)을 생성하기 위해 식별 및 "판독"될 수 있는 활동의 패턴(300)을 보여준다.
패턴(300)은 개별 클리크 또는 심플렉스보다 많은 포인트를 포함하는 패턴을 정의하는 동일한 차원(다시 말하면, 동일한 개수의 포인트를 지님)의 방향성 클리크 또는 방향성 심플렉스의 그룹이고 방향성 심플렉스의 그룹 내 공동을 에워싸고 있다.
예를 들어, 패턴(305)은 차수 2의 상동성(homology) 클래스를 함께 정의하는 6개의 서로 다른 3포인트, 2차원 패턴(405)을 포함하는 반면에, 패턴(310)은 차수 2의 제2 상동성 클래스를 함께 정의하는 8개의 서로 다른 3포인트, 2차원 패턴(405)을 포함한다. 패턴(305, 310) 내 3포인트 2차원 패턴(405) 각각은 대응하는 공동을 에워싸는 것으로 생각될 수 있다. 방향성 그래프에 연관된 n번째 베티수(Betti number)는 토폴로지 표현 내 이러한 상동성 클래스의 카운트를 제공한다.
패턴(300)과 같은 패턴에 의해 표현되는 활동은 임의의 우연에 의해 발생하게 될 가능성이 낮은 망 내 활동의 비교적 높은 정도의 순서화를 나타낸다. 패턴(300)은 그러한 활동의 복잡도를 특성화하는 데 사용될 수 있다.
일부 구현 예에서, 활동의 일부 패턴만이 식별되고 그리고/또는 식별된 활동 패턴의 일부가 폐기되거나 그렇지 않으면 무시된다. 예를 들어, 도 2를 참조하면, 5포인트 4차원 심플렉스 패턴(415)과 일치하는 활동은 본질적으로 4포인트 3차원 및 3포인트 2차원 심플렉스 패턴(410, 405)과 일치하는 활동을 포함한다. 예를 들어, 도 2의 4차원 심플렉스 패턴(415) 내 포인트 0, 2, 3, 4 및 포인트 1, 2, 3, 4 양자 모두가 3차원 심플렉스 패턴(410)과 일치한다. 일부 구현 예에서, 더 적은 개수의 포인트를 포함하는, 결과적으로는 낮은 차원을 지니는 패턴은 폐기되거나 이와는 달리 무시될 수 있다. 다른 일 예로서, 활동의 일부 패턴만이 식별되어야 한다. 예를 들어, 일부 구현 예에서는 홀수 개수의 포인트(3, 5, 7, …) 또는 짝수 개수의 차원(2, 4, 6, …)을 갖는 패턴만이 식별된다. 단지 일부 패턴의 식별에도 불구하고, 신경망에서의 활동에 대한 정보는 그럼에도 불구하고 홀로그램으로, 다시 말하면 모든 패턴이 출력으로 식별 및/또는 표현되는 경우 낮은 해상도로 표현될 수 있다.
위에서 검토한 바와 같이, 입력 데이터(50)에 응답하는 활동 패턴은 그러한 입력 데이터(50)에 대해 상기 신경망(110)에 의해 수행되는 임의의 복잡도의 특정 작업을 나타낸다. 일부 구현 예에서, 작업의 복잡도는 토폴로지 패턴의 복잡도에 반영되게 된다. 예를 들어, 5포인트 4차원 심플렉스 패턴(415)에 의해 표현되는 작업 또는 추상화는 4포인트 3차원 및 3포인트 2차원 심플렉스 패턴(410, 405)에 의해 표현되는 작업 또는 추상화보다 더 복잡할 수 있다. 그러한 경우에, 활동의 존재를 나타내는 디지트는 한 세트의 작업 또는 추상화가 신경망(110)에서 수행됨을 전달하며, 이러한 작업 또는 추상화 각각은 임의 레벨의 복잡도를 갖는다.
도 4는 구별 가능한 복잡도를 갖는 활동 패턴의 타이밍 결정을 개략적으로 보여준다. 도 4에 도시된 결정은 신경망(110)(도 1)으로부터 2진 디지트 모음(120)을 생성하기 위해 활동 패턴의 식별 또는 "판독"의 일부로서 수행될 수 있다.
도 4는 그래프(605) 및 그래프(610)를 포함한다. 그래프(605)는 x-축을 따른 시간의 함수로서 패턴의 발생을 나타낸다. 특히, 개별 발생은 수직 라인(606, 607, 608, 609)으로서 개략적으로 표현된다. 발생의 각각의 행(row)은 활동이 대응하는 패턴 또는 패턴 클래스와 매치되는 인스턴스(instance)일 수 있다. 예를 들어, 발생의 상단 행은 활동이 패턴(405)(도 2)과 매치되는 인스턴스일 수 있고, 발생의 두 번째 행은 활동이 패턴(410)(도 2)과 매치되는 인스턴스일 수 있으며, 발생의 세 번째 행은 활동이 패턴(415)(도 2)과 매치되는 인스턴스일 수 있고 이하 마찬가지이다.
그래프(605)는 또한 활동 패턴이 구별 가능한 복잡도를 지닐 경우 서로 다른 시간 윈도우을 개략적으로 묘사하는 점선의 직사각형(615, 620, 625)을 포함한다. 도시된 바와 같이, 순환 인공 신경망 내 활동이 복잡도를 나타내는 패턴과 매치될 가능성은 이러한 윈도우 외부보다 점선의 직사각형(615, 620, 625)으로 묘사된 윈도우 동안 높아진다.
그래프(610)는 x-축을 따른 시간의 함수로서 이러한 발생에 연관된 복잡도를 나타낸다. 그래프(610)는 점선의 직사각형(615)으로 묘사된 윈도우와 일치하는 복잡도의 제1 피크(630) 및 점선의 직사각형(620, 625)으로 묘사된 윈도우와 일치하는 복잡도의 제2 피크(635)를 포함한다. 도시된 바와 같이, 피크(630, 635)에 의해 표현된 복잡도는 복잡도의 베이스라인 레벨(640)로 간주될 수 있는 것과 구별될 수 있다.
일부 구현 예에서, 순환 인공 신경망의 출력이 판독되어야 하는 시간은 식별 가능한 복잡도를 갖는 활동 패턴의 발생과 일치한다. 예를 들어, 도 4의 예시적인 맥락에서, 순환 인공 신경망의 출력은 피크(630, 635)에서, 다시 말하면 점선의 직사각형(615, 620, 625)으로 묘사된 윈도우 동안 판독될 수 있다.
일부 구현 예에서, 순환 인공 신경망으로부터 식별 가능한 복잡도를 갖는 활동 패턴의 내용뿐만 아니라 타이밍도 출력될 수 있다. 특히, 활동 패턴과 일치하는 활동에 참여하는 노드의 신원과 활동뿐만 아니라 활동 패턴의 타이밍도 순환 인공 신경망의 출력이라고 간주될 수 있다. 따라서 식별된 활동 패턴과 이러한 결정이 판독되어야 하는 타이밍은 신경망에 의한 처리 결과를 나타낼 수 있다.
도 5는 신경망(110)에 서로 다른 센서로부터 발생하게 되는 데이터(50)를 입력하기 위한 수법을 개략적으로 보여준다. 예시된 구현 예에서, 망 입력(105)의 상이한 서브세트(105', 105'', 105''')는 서로 다른 유형의 입력 데이터를 수신하는 데 전용된다. 예를 들어, 제1 서브세트(105')는 제1 클래스의 입력 데이터(예컨대, 제1 센서로부터 발생하게 되는 데이터)를 수신하는 데 전용될 수 있는 반면에, 제2 서브세트(105'')는 제2 클래스의 입력 데이터(예컨대, 제2 센서로부터 발생하게 되는 데이터)를 수신하는데 전용될 수 있다.
일부 구현 예에서, 신경망(110)의 상응하는 "영역"(505, 510)은 망 입력(105)의 서로 다른 서브세트(105', 105'', 105''')로부터 서로 다른 클래스의 입력 데이터를 수신한다. 예를 들어, 개략적인 예시에서 영역(505, 510)은 각각의 영역 사이에서의 노드 간 연결이 비교적 적은 공간적으로 분리된 노드 및 에지의 모음으로 도시되어 있다. 반드시 그런 것은 아니다. 대신에, 각각의 영역(505, 510)의 노드 및 에지는 신경망(110) 내에서 공간적으로 분포될 수 있지만 여전히 특정 클래스의 입력 데이터를 수신할 수 있다.
각각의 영역(505, 510) 내 노드의 분포에 관계없이, 각각의 영역(505, 510) 내 처리는 주로 대응하게 수신된 클래스의 입력 데이터에 의해 섭동된다 - 그러나 반드시 이에 국한되지 않음 -. 섭동의 정도는 대응하는 클래스의 입력 데이터가 존재하거나 존재하지 않은 영역에서 발생하게 되는 활동에 기초하여 측정될 수 있다. 예를 들어, 제1 클래스의 입력 데이터에 의해 주로 섭동되는 영역은 다른 클래스의 입력 데이터가 신경망(110)을 동시에 섭동하는 지의 여부에 관계없이 일반적으로 동일한 방식으로 제1 클래스의 입력 데이터에 응답할 수 있다. 각각의 영역(505, 510)에 의해 수행되는 처리 및 추상화는 주로 수신된 입력 데이터 클래스에 의해 영향을 받는다. 그럼에도 불구하고, 각각의 영역(505, 510)에서 발생하게 되는 활동의 토폴로지 패턴은 디지트 모음(120)으로서 판독될 수 있다. 순환 신경망(110)의 다른 영역에 대해서도 마찬가지이다.
이는 망 출력(115)의 서로 다른 서브세트(115', 115'', 115''')를 별도로 지정함으로써 신경망 시스템(700)에서 개략적으로 나타나게 된다. 특히, 서브세트(115')는 신경망(110)의 영역(705)에서 발생하게 되는 활동의 토폴로지 패턴을 나타내는 디지트를 출력하는 데 전용될 수 있는 반면에, 서브세트(115''')는 신경망(110)의 영역(5100)에서 발생하게 되는 활동의 토폴로지 패턴을 나타내는 디지트를 출력하는 데 전용될 수 있다. 그러나 서브세트(115'')는 영역(505, 510) 중의 어느 영역에서도 찾을 수 없는 디지트를 출력한다. 실제로, 서브세트(115'')에서 출력되는 디지트는 더 높은 레벨의 복잡도로 영역(505, 510)에서 발생하게 되는 추상 표현 및 처리 결과의 융합 또는 추가 추상화를 나타낼 수 있다.
예를 들어, 서브세트(115'') 내 주어진 디지트는 서브세트(115') 내 하나 이상의 디지트와 서브세트(115''') 내 하나 이상의 디지트 양자 모두가 특정한 값을 갖는 경우나 그 경우에만 발생하게 될 수 있다. 따라서 서브세트(115'') 내 디지트는 임의로 높은 레벨의 추상화 - 영역(505, 510)에서 생성되는 추상화뿐 아니라 입력 데이터 자체의 추상화 양자 모두 - 를 나타낼 수 있다.
서로 다른 영역이 단일 클래스의 입력 데이터에 의해 주로 섭동되는 경우 그러한 영역 내 처리는 입력 데이터의 특성에 맞게 조정될 수 있다. 예를 들어, 망 루프의 토폴로지 및 연결 심도는 입력 데이터에 맞게 조정될 수 있다. 생물학적 시스템상에 모델링되는 순환 신경망에서, 신경 역학 및 시냅스 가소성(synaptic plasticity)은 또한 입력 데이터에 맞게 조정될 수 있다. 맞춤 조정은 예컨대 서로 다른 시간 스케일을 캡처한다. 예를 들어, 비교적 빠르게 변화되는 처리 클래스의 입력 데이터(예컨대, 비디오 또는 오디오 데이터)에 맞게 조정된 영역 내 처리는 비교적 느리게 변화되거나 전혀 변화되지 않는 처리 클래스의 입력 데이터에 맞게 조정되는 영역 내 처리보다 빠를 수 있다.
또한, 순환 신경망의 서로 다른 영역이 단일 클래스의 입력 데이터에 의해 주로 섭동되는 경우, 사람은 순환 신경망에서 발생하게 되는 표현을 특정 입력 데이터에 기인(起因)하는 것이 더 쉽다. 특정 영역에서 발생하게 되는 표현은 주로 그러한 영역을 섭동시키는 클래스의 입력 데이터에 기인하게 될 수 있다. 일단 특정 영역에서 발생하게 되는 표현이 기인하게 되면 특정 영역 내 표현에 응답하여 발생하게 되는 높은 레벨 및 복잡한 추상화도 더 쉽게 이해될 수 있다.
또한, 트레이닝은 단일 클래스의 입력 데이터에 의해 주로 섭동되지 않는 순환 신경망의 부분을 타깃으로 할 수 있는데, 다시 말하면 단일 클래스의 입력 데이터에 의해 주로 섭동되는 영역의 처리 결과를 융합하는 순환 신경망의 부분을 타깃으로 할 수 있다. 실제로 단일 클래스의 입력 데이터에 의해 주로 섭동되는 영역은 순환 신경망으로부터의 출력에 대해서뿐만 아니라 순환 신경망을 통한 추가 추상화 및 기타 작업에 대해서도 보편적인 입력 데이터 표현을 생성하게 된다.
도 6은 윈도우 정의 유닛(125)에 의해 정의된 윈도우가 서로 다른 지속 시간의 입력에 응답하는 활동의 식별, 융합된 입력 추상화의 캡처, 확실성의 측정 및 적대적 공격의 식별과 같은 다양한 상황에서 사용될 수 있는 방법을 개략적으로 보여준다. 시스템(100)의 예시된 구현 예는 복수의 데이터 버퍼(605, 610) 및 비교기(615)를 포함한다. 데이터 버퍼(605, 610)는 다수의 서로 다른 데이터 저장 장치 중 어느 하나로서 구현될 수 있다. 비교기(615)는 2진수 또는 다른 디지트의 모음을 비교하고 그리고/또는 그 사이의 차이를 결정하도록 구성된 장치이다. 비교기(615)는 하드웨어 및/또는 소프트웨어로서 구현될 수 있다. 2개의 데이터 버퍼(605, 610)만이 예시되어 있지만, 일부 상황에서는 2개 이상의 데이터 버퍼가 사용될 수 있다.
동작시에, 윈도우 정의 유닛(125)은 토폴로지 패턴의 서로 다른 표현(120)의 출력을 위한 서로 다른 윈도우의 지속 시간 및/또는 타이밍을 정의한다. 서로 다른 표현(120)은, 예컨대 동일한 지속 시간을 갖지만 서로 다른 시간에서 발생하게 되는 윈도우, 중첩되는 시간에서 발생하게 되지만 서로 다른 지속 시간을 갖는 윈도우, 또는 서로 다른 시간 및 서로 다른 지속 시간에서 발생하게 되는 윈도우 내에서 발생하게 되는 토폴로지 패턴을 나타낼 수 있다. 데이터 버퍼(605)는 토폴로지 패턴의 표현(120)의 제1 세트를 저장하도록 연결된다. 데이터 버퍼(610)는 토폴로지 패턴의 표현(120)의 제2 세트를 저장하도록 연결된다. 예시된 구현 예에서, 저장된 표현(120)은 2진 디지트의 2차원 매트릭스로서 개략적으로 예시되어 있다. 다른 구현 예에서, 표현(120)은 예컨대, 1차원 벡터 및/또는 다중 값 디지트들로서 저장될 수 있다.
비교기(615)는 데이터 버퍼(605, 610)에 저장된 표현(120)의 세트를 수신하고, 이들을 비교하고, 비교 결과를 출력하도록 연결된다. 비교는 애플리케이션 상황에 따라 다수의 서로 다른 형태를 취할 수 있다. 상기 비교의 결과는 여러 형태를 취할 수도 있지만 일반적으로 특정한 기준을 충족하는 토폴로지 패턴을 나타내는 디지트 모음이다. 따라서, 비록 비교기(615)가 단일 출력(620)을 갖는 것으로 예시되어 있지만, 비교기(615)는 또한 병렬로 다중 디지트를 출력하기 위해 여러 출력을 포함할 수 있다.
예를 들어, 비교적 긴 지속 시간의 입력에 응답하는 활동이 식별되어야 하는 구현 예에서, 비교기(615)는 입력의 지속 시간 동안 서로 다른 시간에서 발생하게 되는 표현(120)으로의 디지트를 식별할 수 있다. 예를 들어, 서로 다른 특징 행렬 또는 벡터에 공통인 디지트는 비교기(615)에 의해 식별될 수 있다. 공통 디지트는 예컨대 직렬 또는 병렬로 출력될 수 있다.
다른 일 예로서, 비교적 짧은 지속 시간의 입력에 응답하는 활동이 식별되어야 하는 구현 예에서, 비교기(615)는 짧은 지속 시간 입력의 입력 직후에 발생하게 되지만 다른 시간에서 발생하게 되는 다른 표현(120)에 존재하지 않은 표현(120)으로의 디지트를 식별할 수 있다. 예를 들어, 비교기는 입력 직후에 발생하게 되는 표현을 포함하는 특징 행렬 또는 벡터로부터 짧은 지속 시간 입력의 입력 직전에 발생하게 되는 표현을 포함하는 특징 행렬 또는 벡터를 감산할 수 있다.
다른 일 예로서, 융합된 입력의 추상화가 식별되어야 하는 구현 예에서, 비교기(615)는 데이터의 입력 후 특정 시간에 발생하게 되는 표현(120)으로의 디지트를 식별하는 데 사용될 수 있다. 예를 들어, 나머지 디지트(다시 말하면, 입력 후 비교적 짧은 시간에 발생하게 되는 디지트를 입력 후 비교적 긴 시간에 발생하게 되는 디지트를 감산한 후에 남아 있는 디지트)의 모음은 서로 다른 센서로부터의 입력을 융합함으로부터 초래되는 추상화로서 식별될 수 있다.
다른 일 예로서, 결정 또는 추상화의 확실성이 측정되어야 하는 구현 예에서, 비교기(615)는 서로 다른 표현(120)에서 재발하게 되거나 심지어는 강화하게 된 디지트를 식별하기 위해 사용될 수 있다. 재발하게 되거나 강화하게 된 디지트는 예컨대, 동일한 주제를 특징으로 하는 일련의 이미지, 텍스처 특성을 공유하는 일련의 텍스트 스니펫(예컨대, 주제, 테마, 시제) 등과 같은 비교적 느리게 변화되는 데이터의 연속적인 입력 후에 식별될 수 있다. 일부 구현 예에서, 디지트의 강화는 비-2진 디지트의 값에 기초하여 식별될 수 있으며, 여기서 값은 예컨대 토폴로지 패턴을 형성하는 활동의 레벨 및/또는 상기 토폴로지 패턴의 지속 시간을 반영한다.
다른 일 예로서, 적대적 공격이 식별되어야 하는 구현 예에서, 비교기(615)는 입력 직후에 발생하게 되고 후속 표현(120)으로 점진적으로 감쇠 되는 디지트를 식별하는 데 사용될 수 있다. 감쇠 된 디지트는 예컨대 동일한 주제, 일련의 텍스트 스니펫 등을 특징으로 할 수도 있고 그렇지 않을 수도 있는 일련의 이미지와 같이 비교적 느리게 변화하는 데이터의 연속적인 입력 후에 식별될 수 있다. 일부 구현 예에서, 디지트의 감쇠는 비-2진 디지트의 값에 기초하여 식별될 수 있으며, 여기서 값은 예컨대 토폴로지 패턴을 형성하는 활동의 레벨 및/또는 상기 토폴로지 패턴의 지속 시간을 반영한다.
도 7은 적대적 공격을 식별하기 위해 윈도우 정의 유닛(125)에 의해 정의된 윈도우가 적대적 공격에 대한 망(110)의 저항을 개선하기 위해 사용될 수 있는 방법을 개략적으로 보여준다. 데이터 버퍼(605, 610) 및 비교기(615)에 추가하여, 시스템(100)의 예시된 구현 예는 트레이닝 유닛(705)을 포함한다.
트레이닝 유닛(705)은 신경망(110)에서 덜 견고한 결정 또는 추상화를 나타내도록 결정된 디지트에 기초하여 순환 신경망(110)의 하나 이상의 속성을 반복적으로 변경하도록 구성된 장치이다. 예를 들어, 입력 직후에 발생하게 되는 토폴로지 패턴은 후속 표현(120)으로 점진적으로 약화 되거나 심지어는 제거될 수 있다. 다른 일 예로서, 예컨대 동일한 주제를 특징으로 하는 일련의 이미지, 텍스처 특성을 공유하는 일련의 텍스트 스니펫의 연속 입력 후에 재발하지 않게 되는 토폴로지 패턴은 후속 표현(120)으로부터 점진적으로 약화 되거나 심지어는 제거될 수 있다.
결정 또는 추상화를 약화시키거나 제거하기 위해, 트레이닝 유닛(705)은 신경망(110)으로부터 노드 또는 링크를 추가 또는 제거할 수도 있고, 링크의 가중치를 변화시킬 수도 있으며, 디지트 모음(120)으로 표현되는 토폴로지 패턴을 변화시킬 수 있고, 이와는 달리 순환 신경망(120)을 수정할 수도 있다. 순환 신경망(110)이 생물학적 시스템상에 모델링되는 비교적 복잡한 신경망인 구현 예에서, 트레이닝 유닛(705)은 예컨대 모델의 형태학적, 화학적 또는 다른 특성을 변경할 수 있다.
예컨대 적대적 공격에 저항하는 더 견고한 디지트(120)의 모음을 생성하기 위한 순환 신경망(110)의 트레이닝은 (시도된) 적대적 공격의 단순한 식별을 넘어 확장되는 방식으로 유익할 수 있다. 예를 들어, 위에서 논의한 바와 같이 이미지 분류에 사용되는 순환 신경망에서는 적대적 공격에 대한 취약성이 적대적 사례의 영역에서 클래스가 교차하는 신호로서 간주 될 수 있다. 적대적 사례에 저항하도록 순환 신경망(110)을 트레이닝함으로써, 상기 클래스는 더 잘 정의될 수 있다.
트레이닝은 또한 예컨대 신경망(110)이 잡음에 충분히 민감하지 않고 그리고/또는 입력 데이터의 내용에 충분히 민감하거나 민감하지 않게 하기 위해 심지어는 적대적 공격이 없는 경우에도 유용할 수 있다.
본원 명세서에서 설명한 주제 및 작업의 실시 예는 본원 명세서에서 개시한 구조 및 이의 구조적 등가물을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서나, 또는 그들 중의 하나 이상의 조합에서 구현될 수 있다. 본원 명세서에서 설명한 주제의 실시 예는 데이터 처리 기기에 의한 실행을 위해서나, 또는 데이터 처리 기기의 작업을 제어하기 위해 컴퓨터 저장 매체상에 인코딩된 하나 이상의 컴퓨터 프로그램, 다시 말하면 컴퓨터 프로그램 명령어의 하나 이상의 모듈로서 구현될 수 있다. 대안으로 또는 추가로, 프로그램 명령어는 데이터 처리 기기에 의한 실행을 위해 적절한 수신기 기기로의 전송을 위한 정보를 인코딩하도록 생성되는 인공적으로 생성된 전파 신호, 예컨대 기계 생성된 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 장치, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 장치, 또는 이들 중 하나 이상의 조합일 수도 있고 이에 포함될 수도 있다. 더욱이, 컴퓨터 저장 매체는 전파 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호에 인코딩된 컴퓨터 프로그램 명령어의 발신지 또는 목적지 컴퓨터 저장 매체일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 구성요소 또는 매체(예컨대, 다중 CD, 디스크 또는 기타 저장 장치)일 수도 있고 이에 포함될 수도 있다.
본원 명세서에서 설명한 작업은 하나 이상의 컴퓨터 판독가능 저장 장치상에 저장되거나 다른 소스로부터 수신된 데이터에 대해 데이터 처리 기기에 의해 수행되는 작업으로서 구현될 수 있다.
"데이터 처리 기기"라는 용어는 예를 들어 프로그램 가능한 프로세서, 컴퓨터, 칩 상의 시스템, 이의 다수 또는 조합을 포함하여 데이터를 처리하기 위한 모든 종류의 기기, 장치 및 기계를 포함한다. 상기 기기는 특수 목적 논리 회로, 예컨대 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 상기 기기는 또한 하드웨어 외에, 해당 컴퓨터 프로그램에 대한 실행환경을 생성하는 코드, 예컨대 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 플랫폼 간 런타임 환경, 가상 기계 또는 이들 중의 하나 이상의 조합을 포함할 수 있다. 상기 기기 및 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 기반구조와 같은 다양한 여러 컴퓨팅 모델 기반구조를 실현할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 알려짐)은 컴파일 또는 인터프리트된 언어, 선언적 또는 절차적 언어를 비롯한 임의 형태의 프로그래밍 언어로 기록될 수 있으며 독립 실행형 프로그램으로서 또는 모듈로서, 구성요소, 서브루틴, 객체 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 유닛을 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템 내 파일에 상응할 수 있지만 반드시 그런 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예컨대, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 유지하는 파일의 일부에, 해당 프로그램에 전용되는 단일의 파일에 또는 여러 조정 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 또는 코드 부분을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터상에서나 또는 한 사이트에 위치하거나 여러 사이트에 걸쳐 분산되어 있고 통신망에 의해 상호 연결된 여러 컴퓨터상에서 실행되도록 배포될 수 있다.
본원 명세서에서 설명한 프로세스 및 논리 흐름은 입력 데이터에 대해 작용하고 출력을 생성함으로써 동작을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능한 프로세서에 의해 수행될 수 있다. 프로세스 및 논리 흐름은 또한 특수 목적 논리 회로, 예컨대 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)에 의해 수행될 수 있고 기기는 또한 특수 목적 논리 회로, 예컨대 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)으로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 일반 및 특수 목적 마이크로프로세서, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서 양자 모두를 포함한다. 일반적으로 프로세서는 판독 전용 메모리나 랜덤 액세스 메모리 또는 양자 모두로부터 명령어와 데이터를 수신하게 된다. 컴퓨터의 필수 요소는 명령어에 따라 동작을 수행하기 위한 프로세서와 명령어 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예컨대 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하는 동작, 이들로 데이터를 송신하는 동작 또는 데이터 수신 및 송신 동작 양자 모두를 포함하게 되거나 그러한 동작들을 수행하도록 동작 가능하게 연결되게 된다. 그러나 컴퓨터에는 그러한 장치가 필요하지 않다. 또한, 컴퓨터는 다른 한 장치, 예컨대 몇 가지만 말하면 이동 전화, 개인 휴대 정보 단말기(PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(Global Positioning System) 수신기 또는 휴대용 저장 장치(예컨대, USB(universal serial bus) 플래시 드라이브)에 내장될 수 있다. 컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 장치는 예를 들어 반도체 메모리 장치, 예컨대 EPROM, EEPROM 및 플래시 메모리 장치; 자기 디스크, 예컨대 내부 하드 디스크 또는 착탈식 디스크; 광자기 디스크; 및 CD ROM 및 DVD-ROM 디스크를 비롯한 모든 형태의 비-휘발성 메모리, 매체 및 메모리 장치를 포함한다. 상기 프로세서와 상기 메모리는 특수 목적 논리 회로에 의해 보완되거나 특수 목적 논리 회로에 통합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본원 명세서에서 설명한 주제의 실시 예는 사용자에게 정보를 디스플레이하는 디스플레이 장치, 예컨대 CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 장치, 예컨대 마우스 또는 트랙볼을 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 장치는 또한 사용자와의 상호작용을 제공하는 데 사용될 수 있는데, 예를 들어, 사용자에게 제공되는 피드백은 임의 형태의 감각적 피드백, 예컨대 시각적 피드백, 청각적 피드백 또는 촉각적 피드백일 수 있으며; 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함한 모든 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 사용되는 장치로 문서를 송신하고 상기 장치로부터 문서를 수신함으로써, 예를 들어 사용자의 클라이언트 장치상의 웹 브라우저로부터 수신된 요청에 응답하여 사용자의 클라이언트 장치상의 웹 브라우저로 웹 페이지를 송신함으로써 사용자와 상호작용할 수 있다.
본원 명세서에는 많은 특정 구현 예의 세부사항이 포함되어 있지만, 이러한 세부사항은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로 해석되어서는 아니 되며, 대신에 특정 발명의 특정 실시 예에 특정한 특징의 설명으로 해석되어야 한다. 별도의 실시 예와 관련하여 본원 명세서에서 설명한 특정한 특징은 또한 단일의 실시 예에서 조합하여 구현될 수 있다. 이와는 반대로, 단일 실시 예의 맥락에서 설명한 다양한 특징은 또한 개별적으로 또는 임의의 적절한 하위 조합으로 다중 실시 예에서 구현될 수 있다. 더욱이, 비록 특징이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 처음에 그렇게 청구될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징이 일부 경우에 그러한 조합으로부터 제거될 수 있고 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관련될 수 있다.
마찬가지로, 작업이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 작업이 도시된 특정 순서 또는 순차적인 순서로 수행되거나 도시된 모든 작업이 수행될 것을 요구하는 것으로 이해되어서는 아니 된다. 특정 상황에서는 멀티태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 위에서 설명한 실시 예에서의 다양한 시스템 구성요소의 분리는 모든 실시 예에서 그러한 분리를 요구하는 것으로 이해되어서는 아니 되며, 여기서 이해하여야 할 점은 설명한 프로그램 구성요소 및 시스템이 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품으로 패키지될 수 있다는 것이다.
따라서, 주제의 특정 구현 예가 지금까지 설명되었다. 다른 구현 예는 이하의 청구범위 내에 있다. 어떤 경우에는 청구범위에서 인용된 동작이 다른 순서로 수행될 수 있으며 여전히 바람직한 결과를 얻을 수 있다. 또한, 첨부도면에 도시된 프로세스는 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차적인 순서를 반드시 필요로 하는 것은 아니다. 특정 구현 예에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다.
여러 구현 예가 설명되었다. 그럼에도 불구하고 여기서 이해할 점은 다양한 변형 예가 이루어질 수 있다는 것이다. 따라서, 다른 구현 예는 이하의 청구범위 내에 있다.

Claims (19)

  1. 방법에 있어서,
    상기 방법은,
    순환 인공 신경망 내 복수의 서로 다른 시간 윈도우를 정의하는 단계 - 상기 서로 다른 시간 윈도우 각각은, 서로 다른 지속 시간을 지니는 것, 서로 다른 시작 시간을 지니는 것, 및 서로 다른 지속 시간 및 서로 다른 시작 시간 양자 모두를 지니는 것 중의 하나를 포함함 -;
    상기 서로 다른 시간 윈도우에서 상기 순환 인공 신경망 내 활동의 토폴로지 패턴의 발생을 식별하는 단계;
    상기 서로 다른 윈도우에서 활동의 토폴로지 패턴의 발생을 비교하는 단계; 및
    상기 비교의 결과에 기초하여,
    상기 서로 다른 시간 윈도우 중 제1 시간 윈도우에서 발생하게 되는 활동의 제1 토폴로지 패턴에 의해 표현되는 제1 결정을,
    상기 서로 다른 시간 윈도우 중 제2 시간 윈도에서 발생하게 되는 활동의 제2 토폴로지 패턴에 의해 표현되는 제2 결정보다 더 견고한 것으로
    분류하는 단계;
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제1 시간 윈도는 상기 제2 시간 윈도우보다 먼저 시작되는, 방법.
  3. 제1항에 있어서,
    상기 방법은,
    상기 순환 인공 신경망에 데이터를 연속적으로 입력하는 단계 및 상기 데이터의 연속적인 입력에 대해 정의되는 서로 다른 시간 윈도우에서 상기 토폴로지 패턴의 발생을 연속적으로 식별하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 서로 다른 시간 윈도우 각각은, 토폴로지 패턴의 식별을 위해 복수의 시작 시간을 정의하는 것, 복수의 지속 기간을 정의하는 것, 복수의 시작 시간 및 복수의 지속 기간 양자 모두를 정의하는 것 중의 하나를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 서로 다른 시간 윈도우 각각은 적어도 2개의 지속 시간을 정의하며, 상기 2개의 지속 시간은 활동의 복잡한 토폴로지 패턴의 식별을 위해 정의된 지속 시간 중 긴 지속 시간 및 활동의 덜 복잡한 토폴로지 패턴의 식별을 위해 정의된 지속 시간 중 짧은 지속 시간을 포함하는, 방법.
  6. 제4항에 있어서,
    상기 서로 다른 시간 윈도우 각각은 적어도 2개의 시작 시간을 정의하고, 상기 2개의 시작 시간은 단일 클래스의 입력 데이터에 의해 주로 섭동되는 순환 인공 신경망 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의된 시작 시간 중 빠른 시작 시간 및 입력 데이터의 클래스를 융합하는 순환 인공 신경망 영역 내 활동의 토폴로지 패턴을 식별하기 위해 정의된 시작 시간 중 늦은 시작 시간을 포함하는, 방법.
  7. 제1항에 있어서,
    상기 방법은,
    제1 윈도우에서 발생하게 되는 활동의 제1 토폴로지 패턴에 의해 표현되는 제1 결정을 약화시키거나 또는 제거하기 위해 순환 인공 신경망의 하나 이상의 특성을 조정하는 단계;
    더 를 포함하는, 방법.
  8. 제1항에 있어서,
    활동의 토폴로지 패턴의 발생을 비교하는 단계는 2진 디지트의 제1 모음을 2진 디지트의 제2 모음으로부터 감산하는 단계를 포함하며, 각각의 2진 디지트는 대응하는 토폴로지 패턴이 발생하게 되었는 지를 나타내는, 방법.
  9. 제1항에 있어서,
    활동의 토폴로지 패턴의 발생을 식별하는 단계는 활동의 심플렉스 패턴 발생을 식별하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 심플렉스 패턴은 공동(cavity)을 에워싸는, 방법.
  11. 방법에 있어서,
    상기 방법은,
    순환 인공 신경망 내 제1 시간 윈도우 및 제2 시간 윈도우를 정의하는 단계 - 상기 제1 시간 윈도우는 상기 제2 시간 윈도우보다 먼저 시작됨 -;
    상기 제1 시간 윈도우에서는 발생하게 되지만 상기 제2 시간 윈도우에서는 발생하게 되지 않는 순환 인공 신경망 내 활동의 토폴로지 패턴을 식별하는 단계; 및
    상기 제1 시간 윈도우에서 상기 토폴로지 패턴의 발생을 약화시키거나 또는 제거하기 위해 순환 인공 신경망의 하나 이상의 특성을 조정하는 단계;
    를 포함하는, 방법.
  12. 제11항에 있어서,
    활동의 토폴로지 패턴을 식별하는 단계는 상기 제1 시간 윈도우에서 발생하게 되는 활동의 토폴로지 패턴의 모음을 상기 제2 시간 윈도우에서 발생하게 되는 활동의 토폴로지 패턴의 모음과 비교하는 단계를 포함하는, 방법.
  13. 제12항에 있어서,
    활동의 토폴로지 패턴의 모음을 비교하는 단계는 2진 디지트의 제1 모음을 2진 디지트의 제2 모음으로부터 감산하는 단계를 포함하며, 각각의 2진 디지트는 대응하는 토포로지 패턴이 발생하게 되었는 지를 나타내는, 방법.
  14. 제11항에 있어서,
    상기 방법은,
    상기 순환 인공 신경망이 상기 제1 시간 윈도우 동안 제1 데이터에 의해 섭동되도록 한 번에 제1 데이터를 상기 순환 인공 신경망에 입력하는 단계; 및
    상기 순환 인공 신경망이 상기 제2 시간 윈도우 동안 제2 데이터에 의해 섭동되는 한 번에 제2 데이터를 상기 순환 인공 신경망에 입력하는 단계;
    를 더 포함하는, 방법.
  15. 제14항에 있어서,
    상기 제1 데이터 및 상기 제2 데이터는 동일한 주제를 특징으로 하는 제1 및 제2 이미지 또는 텍스처 특성을 공유하는 제1 및 제2 텍스트 스니펫인, 방법.
  16. 제11항에 있어서,
    상기 제1 시간 윈도우 및 상기 제2 시간 윈도우 각각은 활동의 복잡한 토폴로지 패턴의 식별을 위한 긴 지속 시간 및 활동의 덜 복잡한 토폴로지 패턴의 식별을 위한 짧은 지속 시간을 정의하는, 방법.
  17. 제11항에 있어서,
    상기 제1 시간 윈도우는 단일 클래스의 입력 데이터에 의해 주로 섭동되는 순환 인공 신경망 영역 내 활동의 토폴로지 패턴의 식별을 위해 정의되고, 상기 제2 시간 윈도우는 입력 데이터의 클래스를 융합하는 순환 인공 신경망 영역 내 활동의 토폴로지 패턴의 식별을 위해 정의되는, 방법.
  18. 제11항에 있어서,
    활동의 토폴로지 패턴의 발생을 식별하는 단계는 활동의 심플렉스 패턴의 발생을 식별하는 단계를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 심플렉스 패턴은 공동(cavity)을 에워싸는, 방법.
KR1020227023788A 2019-12-11 2020-12-09 순환 신경망 처리 결과의 해석 및 개선 KR20220110296A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/710,080 US11651210B2 (en) 2019-12-11 2019-12-11 Interpreting and improving the processing results of recurrent neural networks
US16/710,080 2019-12-11
PCT/EP2020/085200 WO2021116147A1 (en) 2019-12-11 2020-12-09 Interpreting and improving the processing results of recurrent neural networks

Publications (1)

Publication Number Publication Date
KR20220110296A true KR20220110296A (ko) 2022-08-05

Family

ID=74095775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227023788A KR20220110296A (ko) 2019-12-11 2020-12-09 순환 신경망 처리 결과의 해석 및 개선

Country Status (6)

Country Link
US (2) US11651210B2 (ko)
EP (1) EP4073712A1 (ko)
KR (1) KR20220110296A (ko)
CN (1) CN115066688A (ko)
TW (1) TWI768584B (ko)
WO (1) WO2021116147A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
CN114419376B (zh) * 2022-03-09 2022-12-23 深圳市城图科技有限公司 一种多模态渐进式联邦学习的图像识别方法

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822742A (en) 1989-05-17 1998-10-13 The United States Of America As Represented By The Secretary Of Health & Human Services Dynamically stable associative learning neural network system
AU2001295591A1 (en) 2000-10-13 2002-04-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. A method for supervised teaching of a recurrent artificial neural network
DE10139682B4 (de) 2001-08-11 2004-08-05 Deneg Gmbh Verfahren zum Generieren von neuronalen Netzen
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US20060112028A1 (en) 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
JP4639784B2 (ja) 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
US8655801B2 (en) 2005-10-26 2014-02-18 Cortica, Ltd. Computing device, a system and a method for parallel processing of data streams
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US8224759B2 (en) 2007-05-01 2012-07-17 Evolved Machines, Inc. Regulating activation threshold levels in a simulated neural circuit
US8818923B1 (en) 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching
KR101816329B1 (ko) 2010-02-05 2018-01-08 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 신경망의 조직화
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9336239B1 (en) 2011-06-27 2016-05-10 Hrl Laboratories, Llc System and method for deep packet inspection and intrusion detection
EP2831797B1 (en) 2012-03-30 2018-05-02 Irdeto B.V. Securing accessible systems using dynamic data mangling
TWI546759B (zh) 2013-03-28 2016-08-21 國立臺灣大學 遠距環境資料分類系統及其方法
US9292554B2 (en) 2013-08-20 2016-03-22 Pivotal Software, Inc. Thin database indexing
AR097974A1 (es) 2013-10-11 2016-04-20 Element Inc Sistema y método para autenticación biométrica en conexión con dispositivos equipados con cámara
US9558442B2 (en) 2014-01-23 2017-01-31 Qualcomm Incorporated Monitoring neural networks with shadow networks
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
US9425952B2 (en) 2014-03-27 2016-08-23 Samsung Israel Research Corporation Algebraic manipulation detection codes from algebraic curves
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US10019506B1 (en) 2014-06-26 2018-07-10 Google Llc Identifying objects in images
CN104318304A (zh) 2014-10-20 2015-01-28 上海电机学院 一种用于模式识别的基于样本学习的bp网络结构设计方法
US9946970B2 (en) 2014-11-07 2018-04-17 Microsoft Technology Licensing, Llc Neural networks for encrypted data
US10333696B2 (en) 2015-01-12 2019-06-25 X-Prime, Inc. Systems and methods for implementing an efficient, scalable homomorphic transformation of encrypted data with minimal data expansion and improved processing efficiency
US10650047B2 (en) 2015-03-12 2020-05-12 International Business Machines Corporation Dense subgraph identification
US10153806B1 (en) 2015-03-19 2018-12-11 Hrl Laboratories, Llc Cognitive architecture for wideband, low-power, real-time signal denoising
JP6725547B2 (ja) * 2015-03-20 2020-07-22 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 人工ニューラルネットワークの関連性スコア割当て
WO2016206765A1 (en) 2015-06-26 2016-12-29 Sentiance Nv Deriving movement behaviour from sensor data
US12008751B2 (en) 2015-08-14 2024-06-11 Elucid Bioimaging Inc. Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
CN106599992B (zh) 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 以处理单元群组作为时间递归神经网络长短期记忆胞进行运作的神经网络单元
CN108351983A (zh) 2015-10-28 2018-07-31 谷歌有限责任公司 修改计算图
KR102628902B1 (ko) 2015-10-28 2024-01-24 구글 엘엘씨 계산 그래프들 프로세싱
EP4202782A1 (en) 2015-11-09 2023-06-28 Google LLC Training neural networks represented as computational graphs
US20170139759A1 (en) 2015-11-13 2017-05-18 Ca, Inc. Pattern analytics for real-time detection of known significant pattern signatures
TWI745321B (zh) 2016-01-08 2021-11-11 馬來西亞商雲頂圖爾斯診斷中心有限公司 決定網路連結之方法及系統
US10803401B2 (en) 2016-01-27 2020-10-13 Microsoft Technology Licensing, Llc Artificial intelligence engine having multiple independent processes on a cloud based platform configured to scale
US10157629B2 (en) 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US10204286B2 (en) 2016-02-29 2019-02-12 Emersys, Inc. Self-organizing discrete recurrent network digital image codec
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11468337B2 (en) 2016-05-13 2022-10-11 The Trustees Of Princeton University System and methods for facilitating pattern recognition
US20220269346A1 (en) 2016-07-25 2022-08-25 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
WO2018027050A1 (en) 2016-08-04 2018-02-08 Google Llc Encoding and reconstructing inputs using neural networks
US11120353B2 (en) 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US10157045B2 (en) 2016-11-17 2018-12-18 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
KR101997975B1 (ko) 2016-12-01 2019-07-08 한국과학기술원 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US11429854B2 (en) 2016-12-04 2022-08-30 Technion Research & Development Foundation Limited Method and device for a computerized mechanical device
CN106778856A (zh) 2016-12-08 2017-05-31 深圳大学 一种物体识别方法及装置
US10515302B2 (en) 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
US10885425B2 (en) 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11625569B2 (en) 2017-03-23 2023-04-11 Chicago Mercantile Exchange Inc. Deep learning for credit controls
US9785886B1 (en) 2017-04-17 2017-10-10 SparkCognition, Inc. Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US11501139B2 (en) 2017-05-03 2022-11-15 Intel Corporation Scaling half-precision floating point tensors for training deep neural networks
US12014257B2 (en) 2017-05-19 2024-06-18 Salesforce, Inc. Domain specific language for generation of recurrent neural network architectures
CN110692066B (zh) 2017-06-05 2023-06-02 渊慧科技有限公司 使用多模态输入选择动作
US11049018B2 (en) 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US11987272B2 (en) 2017-07-05 2024-05-21 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
SG11202000712YA (en) 2017-08-03 2020-02-27 Telepathy Labs Inc Omnichannel, intelligent, proactive virtual agent
US20190050725A1 (en) 2017-08-14 2019-02-14 Sisense Ltd. System and method for approximating query results using local and remote neural networks
US20190122140A1 (en) 2017-10-20 2019-04-25 STATGRAF Research LLP. Data analysis and rendering
US10410111B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Automated evaluation of neural networks using trained classifier
US10628486B2 (en) 2017-11-15 2020-04-21 Google Llc Partitioning videos
EP3727134B8 (en) 2017-12-22 2023-03-08 ResMed Sensor Technologies Limited Processor readable medium and corresponding method for health and medical sensing
TWI640933B (zh) 2017-12-26 2018-11-11 中華電信股份有限公司 基於類神經網路之兩段式特徵抽取系統及其方法
US10706355B2 (en) 2018-01-23 2020-07-07 Hrl Laboratories, Llc Method and system for distributed coding and learning in neuromorphic networks for pattern recognition
US11278413B1 (en) 2018-02-06 2022-03-22 Philipp K. Lang Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence
US20190251447A1 (en) 2018-02-09 2019-08-15 Htc Corporation Device and Method of Training a Fully-Connected Neural Network
US20190266246A1 (en) 2018-02-23 2019-08-29 Microsoft Technology Licensing, Llc Sequence modeling via segmentations
WO2019177907A1 (en) 2018-03-13 2019-09-19 Hrl Laboratories, Llc Sparse associative memory for identification of objects
US20190354832A1 (en) 2018-05-17 2019-11-21 Università della Svizzera italiana Method and system for learning on geometric domains using local operators
US20210027862A1 (en) 2018-03-30 2021-01-28 Board Of Trustees Of Michigan State University Systems and methods for drug design and discovery comprising applications of machine learning with differential geometric modeling
US10771488B2 (en) 2018-04-10 2020-09-08 Cisco Technology, Inc. Spatio-temporal anomaly detection in computer networks using graph convolutional recurrent neural networks (GCRNNs)
DE102018109392A1 (de) 2018-04-19 2019-10-24 Beckhoff Automation Gmbh Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens
US11295200B1 (en) 2018-04-20 2022-04-05 Perceive Corporation Time-multiplexed dot products for neural network inference circuit
EP3561727A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
US20190335192A1 (en) 2018-04-27 2019-10-31 Neulion, Inc. Systems and Methods for Learning Video Encoders
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US20190378000A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
EP3803699A1 (en) 2018-06-11 2021-04-14 Inait SA Characterizing activity in a recurrent artificial neural network and encoding and decoding information
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US20190378007A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US10417558B1 (en) 2018-09-28 2019-09-17 Deep Insight Solutions, Inc. Methods and systems for artificial neural network optimistic event processing
US11823038B2 (en) 2018-06-22 2023-11-21 International Business Machines Corporation Managing datasets of a cognitive storage system with a spiking neural network
US11218498B2 (en) 2018-09-05 2022-01-04 Oracle International Corporation Context-aware feature embedding and anomaly detection of sequential log data using deep recurrent neural networks
US11068942B2 (en) 2018-10-19 2021-07-20 Cerebri AI Inc. Customer journey management engine
WO2020088739A1 (en) 2018-10-29 2020-05-07 Hexagon Technology Center Gmbh Facility surveillance systems and methods
CA3060811A1 (en) 2018-10-31 2020-04-30 Royal Bank Of Canada System and method for cross-domain transferable neural coherence model
WO2020095051A2 (en) 2018-11-07 2020-05-14 Gtn Ltd A quantum circuit based system configured to model physical or chemical systems
US11120111B2 (en) 2018-12-11 2021-09-14 Advanced New Technologies Co., Ltd. Authentication based on correlation of multiple pulse signals
US11301718B2 (en) 2018-12-28 2022-04-12 Vizit Labs, Inc. Systems, methods, and storage media for training a machine learning model
US20190370647A1 (en) 2019-01-24 2019-12-05 Intel Corporation Artificial intelligence analysis and explanation utilizing hardware measures of attention
US11727243B2 (en) 2019-01-30 2023-08-15 Baidu Usa Llc Knowledge-graph-embedding-based question answering
WO2020163316A1 (en) 2019-02-05 2020-08-13 Smith & Nephew, Inc. Augmented reality in arthroplasty surgery
US11544535B2 (en) 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11783917B2 (en) 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US10996664B2 (en) 2019-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. Predictive classification of future operations
WO2020201999A2 (en) 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US20200380335A1 (en) * 2019-05-30 2020-12-03 AVAST Software s.r.o. Anomaly detection in business intelligence time series
US20200402497A1 (en) 2019-06-24 2020-12-24 Replicant Solutions, Inc. Systems and Methods for Speech Generation
WO2021010509A1 (ko) 2019-07-15 2021-01-21 엘지전자 주식회사 인공지능 조리 기기
US11763155B2 (en) 2019-08-12 2023-09-19 Advanced Micro Devices, Inc. Using sub-networks created from neural networks for processing color images
US11064108B2 (en) 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
US20210097578A1 (en) 2019-10-01 2021-04-01 JJG Development, LLC, DBA Smart Pickle Marketing automation platform
US20220187847A1 (en) 2019-11-05 2022-06-16 Strong Force Vcn Portfolio 2019, Llc Robot Fleet Management for Value Chain Networks
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11580401B2 (en) 2019-12-11 2023-02-14 Inait Sa Distance metrics and clustering in recurrent neural networks
US20210182655A1 (en) 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
CN115066696A (zh) 2019-12-11 2022-09-16 英艾特股份公司 构造和操作人工循环神经网络
US10885020B1 (en) 2020-01-03 2021-01-05 Sas Institute Inc. Splitting incorrectly resolved entities using minimum cut
US20220157436A1 (en) 2020-08-10 2022-05-19 Zeriscope, Inc. Method and system for distributed management of transdiagnostic behavior therapy
KR20230135069A (ko) 2020-12-18 2023-09-22 스트롱 포스 브이씨엔 포트폴리오 2019, 엘엘씨 밸류 체인 네트워크를 위한 로봇 플릿 관리 및 적층제조
US20220261593A1 (en) 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision
US20230085384A1 (en) 2021-09-13 2023-03-16 Inait Sa Characterizing and improving of image processing

Also Published As

Publication number Publication date
US11651210B2 (en) 2023-05-16
US12020157B2 (en) 2024-06-25
US20230316077A1 (en) 2023-10-05
CN115066688A (zh) 2022-09-16
WO2021116147A1 (en) 2021-06-17
US20210182657A1 (en) 2021-06-17
TW202137071A (zh) 2021-10-01
TWI768584B (zh) 2022-06-21
EP4073712A1 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
KR20220110296A (ko) 순환 신경망 처리 결과의 해석 및 개선
TWI789654B (zh) 循環人工神經網路系統
US11816553B2 (en) Output from a recurrent neural network
Hasegawa et al. Trojan-feature extraction at gate-level netlists and its application to hardware-Trojan detection using random forest classifier
KR20220107302A (ko) 순환 신경망에서의 거리 메트릭 및 클러스터링
TWI776309B (zh) 循環人工神經網路、由一循環人工神經網路系統執行的方法及神經網路裝置
JP2022529863A (ja) アイデンティティ検証方法、アイデンティティ検証装置、コンピュータ機器、及びコンピュータプログラム
US20210271591A1 (en) Mock data generator using generative adversarial networks
Jadhav et al. Highly accurate and efficient two phase-intrusion detection system (TP-IDS) using distributed processing of HADOOP and machine learning techniques
Tambwekar et al. Estimation and applications of quantiles in deep binary classification
Basterrech et al. A Continual Learning System with Self Domain Shift Adaptation for Fake News Detection
Zeng et al. Detection of adversarial examples based on the neurons distribution
Peeperkorn et al. Supervised conformance checking using recurrent neural network classifiers
Winkelholz et al. Validating Cognitive Human Models for Multiple Target Search Tasks with Variable Length Markov''Chains