KR20210011361A - 시불변 분류 - Google Patents

Abstract

오토인코더를 동작시키고 훈련시키기 위한 방법(들) 및 장치가 제공된다. 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력한다. 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함한다. 스타일 벡터(z)는 입력 데이터와 연관되는 라벨 벡터들(y)의 세트에서 시불변성을 초래하기 위한 훈련 동안 정규화된다. 오토인코더의 최적화를 제어하기 위한 방법(들) 및 장치가 더 제공된다. 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력한다. 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함한다. 스타일 벡터(z)의 정규화는 라벨 벡터들(y)의 시불변성을 증가시키거나 감소시키도록 제어된다. 오토인코더는 분류 동안 입력 데이터와 연관되는 라벨 벡터들(y)의 세트에서 시불변성을 초래하기 위해 스타일 벡터(z)를 정규화한 상기 언급된 훈련된 오토인코더에 기초하여 구성된다.

Description

시불변 분류

본 출원은 시불변 분류를 위한 시스템, 장치 및 방법(들)에 관한 것이다.

배경기술

시스템들이 시변 입력 데이터 신호(들)의 분류를 수행하기 위해 머신 러닝(machine learning; ML) 기술들을 사용할 때, 입력 신호(들)를 신뢰가능하게 분류하는 강건한(robust) 시스템에는 일반적으로 잘 라벨링된 훈련 데이터가 요구된다. 대부분의 응용들에서, 잘 라벨링된 훈련 데이터세트들은 사전에 이용할 수 없고 생성해야하므로, 시간이 많이 걸리는 프로세스일 수 있다. 준지도(Semi-supervised) 및/또는 자율(unsupervised) ML 기술(들)은 시변 입력 데이터 신호(들)를 분류하기 위한 잘 라벨링된 데이터 및/또는 신뢰가능한 분류 시스템을 생성할 시의 어려움의 일부를 경감시키기 위해 이용될 수 있다.

고주파, 시변 입력 데이터 신호(들)(예를 들어 신경학적 신호(들))의 경우, 준지도 및/또는 자율ML 기술(들)조차도 그러한 신호(들)의 분류를 신뢰 가능하게 수행하기 위해 어려움을 겪을 수 있다. 이는 고주파 시변 입력 데이터 신호(들)에 포함되는, 전부는 아니더라도, 대부분의 정보가 유지되기 위해 고주파 시변 입력 데이터 신호(들)를 샘플링함으로써 발생하는 다량의 순차 데이터로 인한 것이다. 또한, 그러한 고주파 시변 입력 데이터 신호(들)는 일반적으로 무엇이 각각의 라벨링 인스턴스에서 정확하게 발생하고 있는지를 결정할 시에 요구되는 높은 충실도(fidelty)로 인해 불완전하게(poorly) 라벨링되거나 심지어 라벨링되지 않는다.

그러한 고주파 시변 입력 데이터 신호(들)를 라벨링하는 것은 피험자 또는 객체에 대해 훈련되고 입력 데이터 신호(들)에 대해 복수의 실제 상태(true state) 또는 클래스 라벨들 또는 기반 진실(ground truth) 상태들/클래스들을 설정할 시에 사용하기 위해 동일한 속도로 센서 데이터를 출력할 수 있는 적어도 하나 이상의 센서(들)를 요구할 수 있다. 게다가, 고주파 시변 입력 데이터 신호(들)에 대한 실제 상태 또는 클래스 라벨은 일반적으로 고가이고/이거나 정확하게 캡처하기 어렵고 일반적으로 별도의 시스템의 도움으로 생성된다. 예를 들어, 피험자의 이동과 관련하여 신경학적 신호(들)를 분석할 때, 피험자의 자세는, 예이지만 이에 제한되지 않는, 비콘(RTM) 모션 캡처 시스템 또는 키네틱(RTM)과 같은 모션 또는 골격 추적 시스템들을 사용하여 분석될 수 있다.

도 1a 내지 도 1c는 고주파 시변 입력 데이터 신호(들)를 분류하기 위해 시도하는 ML 기술(들)에 의해 직면할 수 있는 일부 공통 문제(들)를 예시한다. 도 1a는 이러한 예에서 하나 이상의 신경학적 신호(들)일 수 있는, 고주파 시변 입력 데이터 신호(들)(102)에 대한 분류 및/또는 태스크/클래스 라벨링(100)을 예시하는 개략도이다. "?"로 마킹된 상태들은 상태 라벨이 미공지된 것을 나타내므로, 이들은 태스크/클래스 라벨링이 필요할 수 있다. 고주파 시변 입력 데이터 신호(들)(102)가 하나 이상의 신경학적 신호(들)로서 본원에 설명되지만, 이는 단지 예이고 이러한 유형의 신호에 제한되지 않지만, 본원의 설명은 임의의 유형의 고주파 시변 입력 데이터 신호(들)(102)에 적용될 수 있다는 것이 당업자에 의해 이해되어야 한다.

도 1a에서, 하나 이상의 신경학적 신호(들)(102)는 복수의 연속적인 시간 간격들로 시간에서 분할되며, 여기서 신경학적 신호(들)(102)는 복수의 연속적인 신경 샘플 데이터 시퀀스들(104a 내지 104l)을 생성하기 위해 연속적인 시간 간격들 각각에서 샘플링된다. 연속 시간 간격들 중 하나에 대응하는 각각의 시퀀스(104a-104l). 신경학적 신호(들)(102)의 연속적인 시간 간격들 각각은 그러한 시간 간격 동안 신경학적 신호(들)의 정보 콘텐츠(또는 관심 정보)의 일부를 설명할 수 있는 하나 이상의 실제 상태(들) 또는 클래스 라벨(들)(S₁-S_n)(또한, 기반 진실 상태들/클래스들/태스크 라벨들로서 공지됨)에 대응할 수 있다. 예를 들어, 상태(S₁)는 신경학적 신호(들)가 피험자(106)가 깡충 뛰고 있는 것을 나타내는 경우에 대응하고, 상태(S₂)는 신경학적 신호(들)가 피험자(106)가 "다운워드 도그(downward dog)" 요가 포즈를 수행하고 있는 것을 나타내는 경우에 대응하고, 상태(S₃)는 신경학적 신호(들)가 피험자(106)가 도약 동작을 수행하고 있는 것을 나타내는 경우에 대응하는 것 등이다.

더욱이, 공지된 상태들(S₁-S_n)의 수는 신뢰할 수 없거나 희박할 수 있으며, 즉 그것들은 미리 잘 공지되어 있지 않거나 정의되지 않을 수 있다. 또한, 각각의 시간 간격에서 신경학적 신호(들)(102)와 하나 이상의 특정 상태들(S₁ 내지 S_n) 및 또한 하나 이상의 미공지된 상태들사이에 미공지된 그러나 가능한 예측 관계가 있을 수 있다. ML 기술들은 이러한 미공지된 관계를 학습하고 신경학적 신호(들)(102)를 각각의 상태(S₁ 내지 S_n)로 분류할 뿐만 아니라 더 신뢰할 수 있고 밀집한(dense) 상태들 또는 실제 상태 라벨들을 생성하기 위한 추가적인 미공지된 상태들을 발견하는 것을 돕기 위해 사용될 수 있다.

도 1a에 예시된 바와 같이, 각각의 신경 샘플 데이터 시퀀스(104a-104l)는 연속적인 시간 간격들 중 하나에 대응한다. 복수의 연속적인 신경 샘플 데이터 시퀀스들(104a 내지 104l)은 하나 이상의 차원들의 신경 샘플 데이터 시퀀스들의 시계열(time series)을 형성한다. 예를 들어, 하나 이상의 신경학적 신호(들)(102)가 M 채널들을 갖는 다채널(multi-channel) 신경학적 신호에 대응하는 경우, 이때, 복수의 연속적인 신경 샘플 데이터 시퀀스들(104a 내지 104l)은 차원M의 신경 데이터 샘플들의 시계열일 것이다. 복수의 연속적인 신경 샘플 데이터 시퀀스들(104a 내지 104l)과 특정 상태(S₁ 내지 S_n) 사이에 미공지된 그러나 가능한 예측 관계가 있다고 고려해 볼 때, 이들은 분류를 위한 ML 기술에 입력될 수 있다.

그 결과, ML 기술은 차원 N의 잠복 공간(latent space)에서 대응하는 복수의 시간-의존 상태 추정 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)을 출력할 수 있으며, 여기서 N은 신경 샘플 데이터 시퀀스들(104a 내지 104l)을 분류하기 위해 사용되는 상태들 또는 클래스들의 수(number)에 의존할 수 있는 임의의 수이다. 상이한 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)은 동일한 실제 상태(S₁-S_n)에 속할 수 있다. 예를 들어, 도 1a에서, 라벨 벡터(γ ₁)는 실제 상태(S₃)에 속하고, 라벨 벡터들(γ ₂, γ ₃, γ ₈ 및γ ₁₁)(여기서, γ _n 은 반드시 γ _n+x와 동일할 필요는 없지만, γ _n 및 γ _n+1은 시간에서 인접함)은 동일한 실제 상태(S₁)에 속하고, 라벨 벡터(γ ₇)는 실제 상태(S₃)에 속하는 반면, 다른 라벨 벡터들(γ ₄,..., γ ₆ 및 γ ₉, γ ₁₀, 및 γ ₁₂)은 미공지된 실제 상태들을 갖는다.

ML 기술로부터 출력되는 라벨 벡터들을 분류하는 하나의 방법은 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)의 클러스터들을 식별하는 것일 수 있고 클러스터 내의 것들은 동일한 상태로 할당될 수 있다. 이는 말하기는 쉬워도 행하기는 어렵다. 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)의 벡터 공간 내의 하나 이상의 영역들 또는 경계들이 정의되고 하나 이상의 상태들(S₁-S_n)이 할당될 수 있다. 그 다음, ML 기술은 영역 또는 경계 내에서 클러스터링하는 그들 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)이 그러한 영역 또는 경계에 할당된 상태에 속한다고 가정할 수 있다. 그러나, 영역들 및 경계들은 상이한 상태들에 속하는 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)이 환경들에 따라 함께 클러스터링하도록 불완전하게 정의될수도 있다. 이로 인해 모호성이 생겨 그러한 라벨들을 분류하기가 어렵다.

대안적으로, 불완전하게 라벨링되거나 비라벨링된 데이터로, 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)이 적어도 클러스터링하는지 여부 및 그들 클러스터링된 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)이 동일한 실제 상태와 연관되는지 여부를 판단하는 것이 필요할 수 있다. 그렇지 않으면, 그 다음, 임의의 ML 기술은 동일한 영역에서 클러스터링할 수 있지만 실제로 상이한 상태들에 속하는 라벨 벡터들(γ ₁, γ ₂,..., γ ₁₂)을 분류하는 데 곤란을 겪거나 이들을 분류하는 데 오류를 범할 것이다. 이는 또한 진행중인 문제이다.

이들 문제들 또는 모호성들 중 일부는 준지도 또는 자율ML 기술(들)에 대해 발생할 수 있고, 설계 또는 오용으로 인해, 부주의하게 고주파 시변 입력 데이터 신호(들)의 최근/이전의 근접한 또는 인접한 시간 간격들에 대해 너무 많은 가중치를 가할 수 있다. 그 다음, 이것은 인접한 신경 샘플 데이터 시퀀스들(104a 내지 104l)이 더 심하게 가중될 수 있으며 따라서 상이한 상태들에 속하는 인접한 벡터 라벨들(γ ₁, γ ₂,..., γ ₁₂)이 상관될 수 있다는 것을 의미할 수 있다. 이것은 고주파 시변 입력 데이터 신호(102)의 각각의 시간 간격의 분류에 심각하고 불리하게 영향을 미칠 수 있다.

도 1b는 2개의 무작위 시간 윈도우들(106a 및 106b)(예를 들어, TW_N 및 TW_N+1)이 있는 도 1a의 예시적 분류(100)를 예시한다. 도 1c는 시간 윈도우들(106a 및 106b)에 대한 클러스터 영역들(112, 114, 및 116)에서 벡터 라벨들(γ ₁, γ ₂,..., γ ₁₂)의 클러스터링을 도시하는 예시적 클러스터 다이어그램(110)을 예시하는 개략도이다. 두 시간 윈도우들(106a 및 106b)에서, 상이한 실제 상태들에 속하는 벡터 라벨들은 함께 클러스터링되었다.

시간 윈도우(106a)에서, 벡터 라벨들(γ ₂, γ ₃ 및 γ ₄)은 벡터 라벨들(γ ₂ 및 γ ₄)이 실제 상태(S₁)에 속하고 벡터 라벨(γ ₃)이 실제 상태(S₂)에 속하는 클러스터 영역(112)에서 함께 클러스터링되었다. 클러스터 영역(112)은 실제 상태들(S₁ 및 S₂)을 혼합하였으므로, 분류기는 벡터 라벨들의 분류를 부정확하게 만들 것이다. 시간 윈도우(106b)에서, 벡터 라벨들(γ ₇, γ ₈ 및 γ ₉)은 벡터 라벨들(γ ₇ 및 γ ₉)이 실제 상태(S₂)에 속하고 벡터 라벨(γ ₈)이 실제 상태(S₁)에 속하는 클러스터 영역(114)에서 함께 클러스터링되었다. 클러스터 영역(114)은 또한 실제 상태들(S₁ 및 S₂)을 혼합하였으므로, 분류기는 이러한 시간 인스턴스에서 벡터 라벨들의 분류를 더 부정확하게 만들 것이다.

또한, 시간 윈도우(106a)에서 실제 상태(S₁)에 속하는 벡터 라벨들(γ ₂ 및 γ ₄)은 또한 실제 상태(S₁)에 속하는 시간 윈도우(106b)에서 벡터 라벨(γ ₈)과 비교하여 매우 상이한 위치에 있다는 것이 주목할 만 하다. 유사하게, 시간 윈도우(106a)에서 실제 상태(S₂)에 속하는 벡터 라벨(γ ₃)은 실제 상태(S₂)에 속하는 시간 윈도우(106b)에서 벡터 라벨들(γ ₇ 및 γ ₉)과 비교하여 매우 상이한 위치에 있다. 이상적으로, 동일한 상태에 속하는 벡터 라벨들은 다수의 시간 윈도우들에 걸쳐 동일한 클러스터 영역 내에서 클러스터링되어야 한다.

도1a 내지 도 1c는 ML 기술이 함께 클러스터링되지만 상이한 상태들에 속하는 벡터 라벨들을 출력하는 시나리오를 예시한다. 이것은 인접한 신경 샘플 데이터 시퀀스들(104a 내지 104l) 사이의 일시적 상관(temporal correction)에 의해 야기될 수 있으며, 이는 신경 샘플 데이터 시퀀스들(104a 내지 104l) 내에서 "일시적 패턴(temporal pattern)"의 발생을 나타내는 ML 기술에 의해 야기될 수 있다. 클러스터 영역들(112 또는 114)이 동일한 상태에 속하는 벡터 라벨들만을 포함하도록 분할될 수도 있지만, 이것은 또한 ML 기술의 과적합(overfitting) 및 고주파 시변 입력 데이터 신호(들)(102)에서 변화들에 매우 민감한 덜 강건한 분류기(classifier) 또는 분류기를 초래한다. 간단히 말해서, 시간에서 인접한 상이한 상태들은 상이한 클러스터 영역들에 매핑되어야 한다. 유사하게, 상이한 클러스터 영역들에 함께 있는 상이한 벡터 라벨들은 상이한 상태들에 매핑되어야 한다.

불완전하게 라벨링되거나 비라벨링된 데이터세트들로부터 개선된 라벨링된 데이터세트들의 생성에서 ML 기술(들)을 보조하고, 고주파 시변 입력 데이터 신호(들)(102)의 인접한 시간 간격들 사이의 일시적 상관을 통한 분류기 에러를 감소시키고 ML 분류 기술들의 강건성을 개선하기 위한 메커니즘에 대한 요구가 존재한다.

아래에 설명되는 실시예들은 상술한 공지된 접근법들의 임의의 또는 모든 단점을 해결하는 구현들에 제한되지 않는다.

요약

본 요약은 상세한 설명에서 아래에 더 설명되는 개념들의 선택을 단순화된 형태로 소개하기 위해 제공된다. 본 요약은 청구된 발명 대상의 중요한 특징들 또는 본질적인 특징들을 식별하도록 의도되지 않으며, 그것은 청구된 발명 대상의 범위를 결정하기 위해 사용되도록 의도되지 않는다.

본 개시는 입력 데이터를 분류할 시에 잠복 벡터 공간으로부터 잠복 벡터를 사용하는 머신 러닝 기술에 대한 방법 및 장치를 제공하며, 여기서 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며 여기서 스타일 벡터(z)의 적어도 일부가 정규화되어 머신 러닝기술이 스타일 벡터(z)를 정규화하지 않은 때와 비교하여 머신 러닝 기술이 실질적으로 시불변이거나, 시불변이거나, 더 시불변인 라벨 벡터들(y)을 출력하게 한다.

제1 양태에서, 본 개시는 오토인코더를 훈련시키기 위한 컴퓨터 구현 방법을 제공하며, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 방법은 상기 입력 데이터와 연관되는 라벨 벡터들(y)의 세트에서 시불변성을 초래하기 위한 훈련 동안 스타일 벡터(z)를 정규화하는 단계를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 정규화하는 단계는 선택된 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )에 기초하며, 스타일 벡터(z)는 하나 이상의 벡터(들)(A _i )를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 정규화하는 단계는 스타일 벡터(z)의 적어도 일부에 대해 선택된 확률 분포를 시행하기 위해 입력 훈련 데이터로 오토인코더의 인코더 네트워크를 훈련시키는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 정규화하는 단계는 훈련 동안 라벨 벡터들(y)의 세트의 시불변성(time invariance)을 증가시킨다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 정규화하는 단계는, 오토인코더를 훈련시키는 단계 전에: 스타일 벡터(z)를 분할하기 위한 하나 이상의 벡터(들)(A _i )의 수를 선택하는 단계; 선택된 벡터(들)(A _i )에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))의 수를 선택하는 단계를 더 포함하고; 스타일 벡터(z)를 정규화하는 단계는 대응하는 선택된 확률 분포(P(A _i ))에 기초하여 선택된 벡터(들)(A _i ) 각각을 정규화하는 단계를 더 포함하며, 여기서, 스타일 벡터(z)는 선택된 벡터(들)(A _i )로 분할된다.

바람직하게는, 컴퓨터 구현 방법에 있어서, z를 정규화하는 단계는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하는 하이퍼파라미터들의 세트를 검색하는 단계를 더 포함하며, 상기 하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 선택된 벡터(들)(A _i )에 기초하여 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 훈련 동안 스타일 벡터(z)를 정규화하는 단계는 입력 데이터와 연관되는 라벨 벡터들(y)이 다수의 또는 2개 이상의 라벨 벡터들(y)의 클러스터들을 형성하게 하며, 여기서, 각각은 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고, 라벨 벡터들(y)의 세트는 실질적으로 시불변이다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 라벨 벡터들(y)의 서브그룹은 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 동일한 클러스터의 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사하며, 여기서, 클러스터는 실제(true) 상태 또는 클래스 라벨과 관련된다.

바람직하게는, 컴퓨터 구현 방법은: 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및 라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 훈련된 오토인코더에 의한 사용을 위한 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 입력 데이터는 하나 이상의 고주파 시변 입력 신호(들)에 기초한 입력 데이터를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 입력 데이터는 하나 이상의 신경학적 신호(들)와 연관되는 신경 샘플 데이터를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는: 잠복 공간의 스타일 벡터(z)를 출력시키기 위한 잠복 표현 계층 - 스타일 벡터(z)는 하나 이상의 선택된 벡터(들)(A _i )를 포함함 - ; 및 하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L_GAi)를 출력하고/하거나 평가하기 위한 출력 계층을 포함하되, 입력 계층은 스타일 벡터(z)의 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결됨 - 을 더 포함하며; 방법은: 정규화 네트워크(들) 각각에 대해: 잠복 벡터(z)의 대응하는 벡터(A _i ) 및 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구별하기 위해 상기 각각의 정규화 네트워크를 훈련시키는 단계 - 샘플 벡터는 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 -; 및 잠복 벡터(z)의 벡터(A _i )에 대해 확률 분포(P(A _i ))를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 오토인코더에 의한 사용을 위한 생성자 손실 함수 값(L_GAi)을 출력하는 단계를 더 포함하는, 잠복 벡터(z)를 정규화하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는: 잠복 공간의 라벨 벡터(y)를 출력하는 잠복 표현 계층; 및 입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L_GY)를 출력하고/하거나 평가하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크를 더 포함하되, 여기서, 적대적 네트워크의 입력 계층은 라벨 벡터(y)에 연결되며; 방법은: 잠복 표현 계층에 의해 생성되는 라벨 벡터들(y) 및 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 적대적 네트워크를 훈련시키는 단계; 및 라벨 벡터(y)에 대해 범주형 분포를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 오토인코더에 의한 사용을 위한 라벨 벡터(y)와 연관되는 생성자 손실 함수 값(L_GY)을 출력하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는 잠복 표현 계층에 결합되는 디코딩 네트워크를 더 포함하며, 여기서, 입력 데이터의 훈련 세트는 신경학적 샘플 벡터 시퀀스들(

의 훈련 세트를 포함하되, 여기서 1≤i≤L _k 및1≤k≤T 이며, 여기서 L_k는 k-번째 신경학적 샘플 벡터 시퀀스의 길이이고 T는 훈련 신경학적 샘플 벡터 시퀀스들의 수이며, 오토인코더를 통해 통과되는 k-번째 신경 활동에 대응하는 각각의 k-번째 신경학적 샘플 벡터 시퀀스에 대해, 방법은: 하나 이상의 정규화 네트워크들 및/또는 적대적 네트워크의 출력, 디코딩 네트워크로부터 출력되는

로서 표현되는 k-번째 신경학적 샘플 벡터 시퀀스의 추정치, 원래 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )에 기초하여 손실 또는 비용 함수를 생성하는 단계; 및 비용 함수의 생성된 손실에 기초하여 인코딩 네트워크 및/또는 디코딩 네트워크의 은닉 계층(들)의 가중치들을 갱신하는 단계를 더 포함한다.

제2 양태에서, 본 개시는 오토인코더를 최적화하기 위한 컴퓨터 구현 방법을 제공하며, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 방법은 라벨 벡터들(y)의 시불변성을 증가시키거나 감소시키기 위해 스타일 벡터(z)의 정규화를 제어하는 단계를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)의 정규화를 제어하는 단계는: 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )를 선택하는 단계 - 스타일 벡터(z)는 하나 이상의 벡터(들)(A _i )를 포함함 -, 및 선택된 확률 분포(들)에 기초하여 스타일 벡터(z)를 정규화하는 단계를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 정규화하는 단계는 스타일 벡터(z)의 적어도 일부에 대해 선택된 확률 분포를 시행하기 위해 입력 훈련 데이터로 오토인코더의 인코더 네트워크를 훈련시키는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법은 정규화 없이 오토인코더로부터 출력되는 대응하는 라벨 벡터들(y)의 세트와 비교하여 라벨 벡터들(y)의 세트의 시불변성을 증가시키기 위해 스타일 벡터(z)의 정규화를 제어하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)의 정규화를 제어하는 단계는: 스타일 벡터(z)를 분할하기 위한 하나 이상의 벡터(들)(A _i )의 수를 선택하는 단계; 선택된 벡터(들)(A _i )에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))의 수를 선택하는 단계를 더 포함하고; 선택된 벡터(들)(A _i ) 및 선택된 확률 분포(들)(P(A _i ))에 기초하여 스타일 벡터(z)를 정규화하는 단계는 대응하는 선택된 확률 분포(P(A _i ))에 기초하여 선택된 벡터(들)(A _i ) 각각을 정규화하는 단계를 더 포함하며, 여기서, 스타일 벡터(z)는 선택된 하나 이상의 벡터들(A _i )의 연결(concatenation)이다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)를 분할하도록 선택되는 다수의 벡터들(A _i ), 또는 복수의 벡터들(A _i )이 있다.

바람직하게는, 컴퓨터 구현 방법에 있어서, z의 정규화는 오토인코더의 복수의 훈련 사이클들에 걸쳐 제어된다.

바람직하게는, 컴퓨터 구현 방법에 있어서, z의 정규화를 제어하는 단계는: 복수의 하이퍼파라미터들의 세트들을 생성하는 단계 - 각각의 하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하며, 여기서, 상기 각각의 하이퍼파라미터들의 세트는 오토인코더 구조를 정의함 -; 복수의 하이퍼파라미터들의 세트들 중 각각의 하이퍼파라미터들의 세트에 대해, 오토인코더의 라벨 벡터(y)의 클러스터링 및 시불변성 성능을: 하이퍼파라미터들의 세트에 기초하여 오토인코더를 구성하고; 입력 데이터에 대해 구성된 오토인코더를 훈련시킴으로써 하이퍼파라미터들의 세트에 기초하여 스타일 벡터(z)를 정규화하고; 훈련된 오토인코더 및 입력 데이터에 기초하여 라벨 벡터들(y)의 세트를 생성하고; 다수의 또는 2개 이상의 라벨 벡터들(y)의 클러스터들을 결정하고; 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는지 여부를 검출하고; 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 라벨 벡터들(y)의 세트가 실질적으로 시불변인지 여부를 검출하고; 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하고 라벨 벡터들(y)의 세트가 실질적으로 시불변이라고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 선택된 하이퍼파라미터들의 세트를 저장함으로써 결정하는 단계를 더 포함하며, 여기서, 최적화된 하이퍼파라미터 데이터세트의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 라벨 벡터들(y)의 서브그룹은 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 동일한 클러스터의 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사하다.

바람직하게는, 컴퓨터 구현 방법은: 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및 라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 하이퍼파라미터들의 세트에 의해 정의되는 오토인코더에 의한 사용을 위한 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법은: 최적화된 오토인코더 구성 데이터세트에 오토인코더 구성 데이터의 세트를 저장하는 단계를 더 포함하며, 오토인코더 구성 데이터의 세트는 하기: 즉, 최적화된 하이퍼파라미터 데이터세트에 저장되는 하이퍼파라미터들의 세트를 나타내는 데이터; 라벨 벡터들(y)의 클러스터들을 나타내는 데이터; 클래스 또는 상태 라벨들(S)에 대한 라벨 벡터들(y)의 클러스터들 각각의 매핑을 나타내는 데이터; 및 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 가중치들 및/또는 파라미터들을 나타내는 데이터의 그룹으로부터 하나 이상을 나타내는 데이터를 포함한다.

바람직하게는, 컴퓨터 구현 방법은: 최적화된 오토인코더 구성 데이터세트로부터 오토인코더 구성 데이터의 세트를 선택하는 단계; 오토인코더 구성 데이터의 세트에 기초하여 오토인코더를 구성하는 단계를 더 포함하며, 여기서, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 여기서, 오토인코더는 오토인코더 구성 데이터의 세트의 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 가중치들 및/또는 파라미터들을 나타내는 데이터에 기초하여 구성되며, 여기서, 훈련된 오토인코더는 스타일 벡터(z)를 정규화하고 실질적으로 시불변 라벨 벡터(들)(y)를 출력한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 하이퍼파라미터들의 세트는 하기: 즉, 오토인코더 크기 -오토인코더 크기는 인코더 상태의 길이를 포함함 -; 초기 학습률 또는 감쇠(decay); 배치(batch) 크기 - 배치 크기는 샘플들의 수를 포함하고 오토인코더 신경 네트워크 또는 은닉 계층(들)의 가중치들 또는 파라미터들의 갱신을 정의함 -; 라벨 벡터(y)의 크기; 라벨 벡터(y)와 연관되는 클래스들 또는 상태들의 수; 은닉 계층(들), 신경 네트워크 셀들, 및/또는 롱 쇼트 텀 메모리 셀(long short term memory cell)들의 수; 피드(feed) 크기 - 피드 크기는 데이터 포인트 또는 배치 당 시간 단계들의 수를 포함함 -; 손실 가중 계수 - 손실 가중 계수는 오토인코더가 판별기 및/또는 생성자 신경 네트워크 컴포넌트들을 사용할 때 생성 및 식별 손실들에 부여하기 위한 상대적 가중치를 포함함 -; 오토인코더 신경 네트워크 구조(들)의 가중치들을 최적화하기 위한 최적화 함수; 오토인코더 신경 네트워크 구조(들)의 가중치들의 가중치 갱신 알고리즘 또는 절차의 유형; 학습률 감쇠 인자(factor) - 학습률 감쇠 인자는 오토인코더의 손실 비용 함수와 연관되는 손실이 안전 상태에 이르거나 침체될 때 학습률을 조정하기 위해 사용됨 -; 및 얼마나 자주 학습률이 조정될 것인지를 결정하기 위한 하나 이상의 성능 체크포인트(들)의 그룹으로부터 하나 이상을 더 포함한다.

바람직하게는, 컴퓨터 구현 방법은: 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초한 스타일 벡터(z)의 정규화가 스타일 벡터(z)가 훈련 동안 정규화되지 않을 때와 비교하여 라벨 벡터(y)의 시불변성을 증가시키는 선택된 하나 이상의 확률 분포들 및 선택된 하나 이상의 벡터(들)(A _i )를 검색하는 단계; 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 제2 오토인코더의 정규화 컴포넌트를 구성하는 단계; 제2 오토인코더를 훈련시키고 라벨 벡터들(y)의 세트를 생성하기 위한 입력 데이터세트에 기초하여 잠복 벡터(z)를 정규화하는 단계 - 라벨 벡터들(y)의 세트는 입력 데이터와 연관되는 상태들 또는 클래스 라벨의 세트에 매핑됨 -; 추가 데이터를 훈련된 제2 오토인코더에 입력하고 출력 라벨 벡터들(y)을 상태들 또는 클래스 라벨들의 세트에 매핑시킴으로써 추가 데이터를 분류하는 단계 - 출력 라벨 벡터들(y)은 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 실질적으로 시불변임 - 를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 입력 데이터는 하나 이상의 고주파 시변 입력 신호(들)에 기초한 입력 데이터를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 입력 데이터는 하나 이상의 신경학적 신호(들)와 연관되는 신경 샘플 데이터를 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는: 잠복 공간의 스타일 벡터(z)를 출력시키기 위한 잠복 표현 계층 - 스타일 벡터(z)는 상기 하나 이상의 선택된 벡터(들)(A _i )를 포함함 -; 및 하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L_GAi)를 출력하고/하거나 평가하기 위한 출력 계층을 포함하되, 입력 계층은 스타일 벡터(z)의 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결됨 - 을 더 포함하며; 방법은: 정규화 네트워크(들) 각각에 대해: 잠복 벡터(z)의 대응하는 벡터(A _i ) 및 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구별하기 위해 각각의 정규화 네트워크를 훈련시키는 단계 - 샘플 벡터는 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 -; 잠복 벡터(z)의 벡터(A _i )에 대해 확률 분포(P(A _i ))를 시행하기 위해 인코터 네트워크를 훈련 시킬 시에 오토인코더에 의한 사용을 위한 생성자 손실 함수 값(L_GAi)을 출력하는 단계를 더 포함하는, 잠복 벡터(z)를 정규화하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는: 잠복 공간의 라벨 벡터(y)를 출력하는 잠복 표현 계층; 및 입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L_GY)를 출력하고/하거나 평가하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크를 더 포함하되, 여기서, 적대적 네트워크의 입력 계층은 라벨 벡터(y)에 연결되며; 방법은: 잠복 표현 계층에 의해 생성되는 라벨 벡터들(y) 및 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 적대적 네트워크를 훈련시키는 단계; 및 라벨 벡터(y)에 대해 범주형 분포를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 오토인코더에 의한 사용을 위한 라벨 벡터(y)와 연관되는 생성자 손실 함수 값(L_GY)을 출력하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더는 잠복 표현 계층에 결합되는 디코딩 네트워크를 더 포함하며, 입력 데이터의 훈련 세트는 신경학적 샘플 벡터 시퀀스들(

)의 훈련 세트를 포함하되, 여기서 1≤i≤L _k 및1≤k≤T 이며, 여기서 L_k는 k-번째 신경학적 샘플 벡터 시퀀스의 길이이고 T는 훈련 신경학적 샘플 벡터 시퀀스들의 수이며, 오토인코더를 통해 통과되는 k-번째 신경 활동에 대응하는 각각의 k-번째 신경학적 샘플 벡터 시퀀스에 대해, 방법은: 하나 이상의 정규화 네트워크들 및/또는 적대적 네트워크의 출력, 디코딩 네트워크로부터 출력되는

로서 표현되는 k-번째 신경학적 샘플 벡터 시퀀스의 추정치, 원래 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )에 기초하여 손실 또는 비용 함수를 생성하는 단계; 및 비용 함수의 생성된 손실에 기초하여 인코딩 네트워크 및/또는 디코딩 네트워크의 은닉 계층(들)의 가중치들을 갱신하는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 선택된 하나 이상의 확률 분포들 중 각각의 확률 분포는 하기: 즉, 라플라시안; 감마; 정규 분포; 가우스 분포; 로그-정규 분포; 바이모달 분포; 균일 분포; 멀티모달 분포; 다항 분포; 다변량 분포; 전술한 분포들 중 2개 이상의 순열들; 평균 및/또는 분산과 같은 상이한 특성들을 갖는 전술한 분포들 중 2개 이상의 순열들; 및 입력 데이터와 연관되는 라벨 벡터(들)(y)의 시불변성에 기여하는 임의의 다른 확률 분포의 그룹으로부터 하나 이상의 확률 분포들 또는 그들의 조합들을 포함한다.

제3 양태에서, 본 개시는 오토인코더용 컴퓨터 구현 방법을 제공하며, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 방법은: 스타일 벡터(z)가 훈련 동안 정규화되어 하나 이상의 라벨 벡터(들)(y)가 실질적으로 시불변인 것을 보장하는 훈련된 오토인코더 구조를 나타내는 데이터를 검색하는 단계; 검색된 오토인코더 구조에 기초하여 오토인코더를 구성하는 단계; 검색된 오토인코더 구조에 기초하여 오토인코더를 구성하는 단계; 및 입력 데이터와 연관되는 하나 이상의 라벨 벡터(들)(y)를 분류하는 단계를 포함하며, 여기서, 하나 이상의 라벨 벡터(들)(y)는 실질적으로 시불변이다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더 구조는 본원에 설명되고/되거나 제1 양태를 참조하여 설명되는 바와 같은 방법에 따라 훈련되는 오토인코더에 기초한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 오토인코더 구조는 본원에 설명되고/되거나 제2 양태를 참조하여 설명되는 바와 같은 방법에 따라 최적화되고/되거나 훈련되는 오토인코더에 기초한다.

제4 양태에 있어서, 본 개시는 장치를 제공하며, 장치는: 통신 인터페이스; 메모리 유닛; 프로세서 유닛을 포함하되, 프로세서 유닛은 통신 인터페이스 및 메모리 유닛에 연결되며, 프로세서 유닛, 저장 유닛, 통신 인터페이스는 본원에 설명되고/되거나 제1 양태를 참조하여 설명되는 바와 같은 방법을 수행하도록 구성된다.

제5 양태에서, 본 개시는 장치를 제공하며, 장치는: 통신 인터페이스; 메모리 유닛; 프로세서 유닛을 포함하되, 프로세서 유닛은 통신 인터페이스 및 메모리 유닛에 연결되며, 프로세서 유닛, 저장 유닛, 통신 인터페이스는 본원에 설명되고/되거나 제2 양태를 참조하여 설명되는 바와 같은 방법을 수행하도록 구성된다.

제6 양태에서, 본 개시는 장치를 제공하며, 장치는: 통신 인터페이스; 메모리 유닛; 프로세서 유닛을 포함하되, 프로세서 유닛은 통신 인터페이스 및 메모리 유닛에 연결되며, 프로세서 유닛, 저장 유닛, 통신 인터페이스는 본원에 설명되고/되거나 제3 양태를 참조하여 설명되는 바와 같은 방법을 수행하도록 구성된다.

제7 양태에서, 본 개시는 그 상에 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 제공하며, 이는 프로세서 상에서 실행될 때, 프로세서가 본원에 설명되고/되거나 제1 양태를 참조하여 설명되는 바와 같은 방법을 수행하게 한다.

제7 양태에서, 본 개시는 그 상에 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 제공하며, 이는 프로세서 상에서 실행될 때, 프로세서가 본원에 설명되고/되거나 제2 양태를 참조하여 설명되는 바와 같은 방법을 수행하게 한다.

제8 양태에서, 본 개시는 그 상에 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 제공하며, 이는 프로세서 상에서 실행될 때, 프로세서가 본원에 설명되고/되거나 제3 양태를 참조하여 설명되는 바와 같은 방법을 수행하게 한다.

제9 양태에서, 본 개시는 장치를 제공하며, 장치는: 인코딩 네트워크; 디코딩 네트워크; 잠복 공간의 스타일 벡터(z) 및 출력 라벨 벡터(y)를 출력하기 위한 잠복 표현 계층 - 스타일 벡터(z)는 하나 이상의 선택된 확률 분포(들)와 부합하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하고 인코딩 네트워크의 출력은 잠복 표현 계층에 연결되고, 잠복 표현 계층은 디코딩 네트워크의 입력에 연결됨 -; 및 잠복 표현 계층에 연결되는 정규화 컴포넌트 - 정규화 컴포넌트는 장치의 훈련 동안 스타일 벡터(z)를 정규화하고 장치가 입력 데이터를 분류할 때 실질적으로 시불변 출력 라벨 벡터(y)를 초래하도록 구성됨 - 를 포함한다.

바람직하게는, 장치에 있어서, 정규화 컴포넌트는: 하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L_GAi)를 출력하기 위한 출력 계층을 포함함 - 을 더 포함하되, 여기서, 입력 계층은 스타일 벡터(z)의 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결되며; 여기서: 정규화 네트워크(들) 각각은, 훈련 동안, 하기: 즉, 잠복 벡터(z)의 대응하는 벡터(A _i ) 및 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터 - 샘플 벡터는 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 - 를 구분하기 위해 판별기 네트워크를 훈련시키고; 잠복 벡터(z)의 벡터(A _i )에 대해 확률 분포(P(A _i ))를 시행하기 위해 인코더 네트워크를 훈련시키기 위한 생성자 손실 함수 값(L_GAi)을 출력하도록 구성된다.

바람직하게는, 장치에 있어서, 오토인코더는: 입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L _GY )를 출력하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크 - 적대적 네트워크의 입력 계층은 라벨 벡터(y)에 연결됨 - 를 더 포함하며; 적대적 네트워크는, 훈련 동안, 하기: 즉, 라벨 벡터들(y) 및 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 하나 이상의 은닉 계층(들)을 훈련시키고; 라벨 벡터(y)에 대해 범주형 분포를 시행하기 위해 인코더 네트워크를 훈련시키기 위한 라벨 벡터(y)와 연관되는 생성자 손실 함수 값(L _GY )을 출력하도록 구성된다.

제10 양태에서, 본 개시는 오토인코더용 컴퓨터 구현 방법을 제공하며, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터 - 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함함 - 를 출력하며, 방법은 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )를 선택함으로써 라벨 벡터들(y)의 시불변성을 증가시키거나 감소시키기 위해 스타일 벡터(z)의 정규화를 제어하는 단계 - 스타일 벡터(z)는 하나 이상의 벡터(들)(A _i )를 포함함 -, 및 선택된 확률 분포(들)에 기초하여 스타일 벡터(z)를 정규화하는 단계를 포함하며, 제어 방법은: 복수의 하이퍼파라미터들의 세트들을 생성하는 단계 - 각각의 하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하되, 상기 각각의 하이퍼파라미터들의 세트는 오토인코더 구조를 정의함 -; 복수의 하이퍼파라미터들의 세트들 중 각각의 하이퍼파라미터들의 세트에 대해, 오토인코더의 라벨 벡터(y)의 클러스터링 및 시불변성 성능을 하기: 즉, 하이퍼파라미터들의 세트에 기초하여 오토인코더를 구성하고; 입력 데이터에 대해 구성된 오토인코더를 훈련시킴으로써 하이퍼파라미터들의 세트에 기초하여 스타일 벡터(z)를 정규화하고; 훈련된 오토인코더 및 입력 데이터에 기초하여 라벨 벡터들(y)의 세트를 생성하고; 다수의 또는 2개 이상의 라벨 벡터들(y)의 클러스터들을 결정하고; 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는지 여부를 검출하고; 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 선택된 하이퍼파라미터들의 세트를 저장함으로써 결정하는 단계를 더 포함하며, 여기서, 최적화된 하이퍼파라미터 데이터세트에서의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의한다.

바람직하게는, 컴퓨터 구현 방법은: 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 라벨 벡터들(y)의 세트가 실질적으로 시불변인지 여부를 검출하는 단계; 및 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하고 라벨 벡터들(y)의 세트가 실질적으로 시불변이라고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 선택된 하이퍼파라미터들의 세트를 저장하는 단계를 더 포함하며, 여기서 최적화된 하이퍼파라미터 데이터세트에서의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의한다.

바람직하게는, 컴퓨터 구현 방법에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 라벨 벡터들(y)의 서브그룹은 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 동일한 클러스터의 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사하다.

바람직하게는, 컴퓨터 구현 방법은: 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및 라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 하이퍼파라미터들의 세트에 의해 정의되는 오토인코더에 의한 사용을 위한 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함한다.

바람직하게는, 컴퓨터 구현 방법은: 최적화된 오토인코더 구성 데이터세트에 오토인코더 구성 데이터의 세트를 저장하는 단계를 더 포함하며, 오토인코더 구성 데이터의 세트는 하기: 즉, 최적화된 하이퍼파라미터 데이터세트에 저장되는 하이퍼파라미터들의 세트를 나타내는 데이터; 라벨 벡터들(y)의 클러스터들을 나타내는 데이터; 클래스 또는 상태 라벨들(S)에 대한 라벨 벡터들(y)의 클러스터들 각각의 매핑을 나타내는 데이터; 및 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 가중치들 및/또는 파라미터들을 나타내는 데이터의 그룹으로부터 하나 이상을 나타내는 데이터를 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)를 정규화하는 단계는 스타일 벡터(z)의 일부를 정규화하는 단계를 더 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)를 정규화하는 단계는 스타일 벡터(z)의 섹션(section)을 정규화하는 단계를 더 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)를 정규화하는 단계는 스타일 벡터(z)의 서브벡터를 정규화하는 단계를 더 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)의 서브벡터는 선택된 벡터들(Ai)의 서브그룹을 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)의 서브벡터의 길이는 스타일 벡터(z)의 길이 미만이다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)는 부분적으로 정규화된다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)는 전적으로 정규화된다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 스타일 벡터(z)를 정규화하는 단계는: 선택된 벡터(들)(A _i ) 및 대응하는 선택된 확률 분포들(P(A _i )) 의 서브그룹을 선택하는 단계, 및 스타일 벡터(z)의 선택된 벡터(들)(A _i )의 서브그룹만 정규화하는 단계를 더 포함하며, 벡터(들)(A _i )의 서브그룹에서의 벡터(들)(A _i )의 수는 선택된 벡터(들)(A _i )의 수 미만이다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 라벨 벡터(y)가 적대적 네트워크에 의해 제한되거나 제약되지 않을 때, 여기서, 오토인코더는: 잠복 공간의 라벨 벡터(y)를 출력하는 잠복 표현 계층; 및 라벨 벡터(y)에 대해 동작하고 이를 분류하기 위해 라벨 벡터(y)에 결합되는 분류 컴포넌트 또는 기술을 더 포함한다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 라벨 벡터(y)는 소프트 벡터이다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 라벨 벡터(y)는 1-핫 유사 벡터(one-hot like vector)가 아니다.

바람직하게는, 양태들 중 임의의 양태의 컴퓨터 구현 방법 또는 장치에 있어서, 라벨 벡터(y)는 밀집(dense) 소프트 벡터이다.

바람직하게는, 제1, 제2 또는 제3 양태의 컴퓨터 구현 방법에 있어서, 라벨 벡터(y)는 벡터, 텐서(tensor) 또는 기타(otherwise)를 포함하며, 벡터, 텐서 또는 기타는 하기: 즉, 하나의 핫 벡터; 엔트로피의 측정; L1 L2 또는 둘 다 또는 다른 표준들(norms)로 정규화되는 것; 이산 볼츠만 분포 벡터; 이전 클래스 상태의 표현; 공지된 특징 또는 구성 세트의 그룹으로부터 적어도 하나 이상을 포함한다.

바람직하게는, 제1, 제2 또는 제3 양태의 컴퓨터 구현 방법에 있어서, 스타일 벡터(z)는 벡터, 텐서 또는 기타를 포함하며, 벡터, 텐서 또는 기타는 하기: 즉, 확률 분포; L1 L2 또는 둘 다, 또는 다른 표준들; 장애(nuisance) 변수들; 및 에러 변수들의 그룹으로부터의 적어도 하나 이상에 의해 페널티화되거나 정규화된다.

본원에 설명되는 방법들은 프로그램이 컴퓨터 상에서 실행될 때 그리고 컴퓨터 프로그램이 컴퓨터 판독가능 매체 상에서 구현될 수 있는 경우 유형의 저장 매체 상에서 머신 판독가능 형태로 예를 들어, 본원에 설명되는 방법들 중 임의의 방법의 모든 단계들을 수행하도록 적응되는 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태로 소프트웨어에 의해 수행될 수 있다. 유형의(또는 비-일시적) 저장 매체의 예들은 디스크들, 썸(thumb) 드라이브들, 메모리 카드들 등을 포함하고 전파 신호들(propagated signals)을 포함하지 않는다. 소프트웨어는 방법 단계들이 임의의 적합한 순서로, 또는 동시에 수행될 수 있도록 병렬 프로세서 또는 직렬 프로세서 상에서 실행하기에 적합할 수 있다.

본 출원은 펌웨어 및 소프트웨어가 유용한, 별도로 거래가능한 상품들일 수 있다는 것을 인정한다. 그것은 원하는 기능들을 수행하기 위해, "덤(dumb)"또는 표준 하드웨어 상에서 실행되거나 이를 제어하는, 소프트웨어를 망라하도록 의도된다. 그것은 또한 원하는 기능들을 수행하기 위해, 실리콘 칩들을 설계하거나, 범용 프로그램가능 칩들을 구성하기 위해 사용되는 바와 같이, HDL(hardware description language) 소프트웨어와 같은, 하드웨어의 구성을 "설명"하거나 정의하는 소프트웨어를 망라하도록 의도된다.

바람직한 특징들은 당업자에게 명백한 바와 같이, 적절한 것으로서 결합될 수 있고, 본 발명의 양태들 중 임의의 양태와 결합될 수 있다.

본 발명의 실시예들은 다음 도면을 참조하여 예로서 설명될 것이며, 여기서:
도 1a는 고주파 시변 입력 데이터 신호(들)의 예시적 분류를 예시하는 개략도이고;
도 1b는 도 1a에 따른 고주파 시변 입력 데이터 신호(들)의 예시적 분류를 예시하는 개략도이고;
도 1c는 도 1a 및 도 1b에 따른 고주파 시변 입력 데이터 신호(들)의 벡터 라벨들의 예시적 클러스터링을 예시하는 계략도이고;
도 2a는 본 발명에 따른 예시적 ML 기술을 예시하는 개략도이고;
도 2b는 본 발명에 따른 도 2b의 ML 기술과 함께 사용하기 위한 예시적 판별기(discriminator)를 예시하는 개략도이고;
도 2c는 본 발명에 따른 도 2b의 ML 기술과 함께 사용하기 위한 예시적 정규화 네트워크를 예시하는 개략도이고;
도 2d는 본 발명에 따른 다른 예시적 ML 기술을 예시하는 개략도이고;
도 2e는 본 발명에 따른 도 2b의 ML 기술과 함께 사용하기 위한 다른 예시적 정규화 네트워크를 예시하는 개략도이고;
도 3은 벡터 라벨들의 이상적인 클러스터링을 예시하는 개략도이고;
도 4a는 본 발명에 따른 ML 기술(들)에 대한 하이퍼파라미터들을 선택하기 위한 예시적 최적화 방법을 예시하는 흐름도이고;
도 4b는 본 발명에 따른 ML 기술에 대한 벡터 라벨들의 예시적 t-SNE 플롯을 예시하는 그래프이고;
도 4c는 도 4b의 벡터 라벨들의 시분산의 예시적 t-SNE 플롯을 예시하는 그래프이고;
도 4d는 스타일 벡터(z)의 정규화 없이 훈련되는 오토인코더에 대한 벡터 라벨들 및 벡터 라벨들의 시분산의 예시적 t-SNE 플롯을 예시하는 그래프이고;
도 5a는 본 발명에 따른 ML 기술(들)과 함께 사용하기 위한 예시적 컴퓨팅 디바이스를 예시하는 개략도이고;
도 5b는 본 발명에 따른 ML 기술(들)과 함께 사용하기 위한 예시적 장치 또는 디바이스를 예시하는 개략도이다.
공통 참조 번호들은 유사한 특징들을 표시하기 위해 도면들에 걸쳐 사용된다.

본 발명의 실시들은 예로서만 아래에 설명된다. 이들 예들은 출원인에게 현재 공지된 본 발명을 실시하기 위한 최선의 방법들을 나타내지만 그것들은 이것이 달성될 수 있는 유일한 방법들은 아니다. 설명은 예시의 기능들 및 예시를 구성하고 동작시키기 위한 단계들의 시퀀스를 제시한다. 그러나, 동일한 또는 등가의 기능들 및 시퀀스들은 상이한 예들에 의해 달성될 수 있다.

발명자들은 입력 데이터를 분류하기 위한 머신 러닝 기술(들)이 입력 데이터를 분류할 때 잠복 벡터 공간으로부터의 잠복 벡터(들)를 사용하고/하거나, 적절하게(judiciously) 동작시키고/시키거나 처리함으로써 보다 강건하게 이루어질 수 있다는 것을 유리하게 발견하였다. 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함할 수 있으며, 여기서, 라벨 벡터(y)는 입력 데이터의 분류를 위해 사용되고, 여기서, 스타일 벡터(z)의 적어도 일부는 정규화될 수 있거나 스타일 벡터(z)는 전적으로 정규화될 수 있어서 머신 러닝 기술이 스타일 벡터(z)를 정규화하지 않을 때와 비교하여 머신 러닝기술이 실질적으로 시불변이거나, 시불변이거나, 더 시불변인 라벨 벡터들(y)를 출력하게 한다. 이것은 실질적으로 대응하는 머신 러닝기술(들)의 고주파 시변 입력 데이터에 대한 분류 정확도, 강건성 및 성능을 향상시킨다.

도 2a는 본 발명에 따른 입력 데이터 샘플들(201a)을 분류할 시에 사용하기 위한 예시적ML 기술(200)을 예시하는 개략도이다. 이러한 예에서, ML 기술(200)은 오토인코더이다. 오토인코더(200)는 인코딩 네트워크(202a), 디코딩 네트워크(202b), 및 입력 데이터 샘플들을 분류할 시에 사용하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하는 잠복 공간 표현 계층(204)을 포함한다. 인코딩 네트워크(202a) 및 디코딩 네트워크(202b)는 잠복 공간 표현 계층(204)에 결합된다. 인코딩 네트워크(202a)는 잠복 표현 계층(204)으로 출력한다. 잠복 표현 계층(204)은 라벨 벡터(y)(206) 및 스타일 벡터(z)(208)를 포함하는 잠복 벡터로 구성된다. 디코더 네트워크(202b)는 잠복 표현 계층(204)으로부터 잠복 벡터를 수신하고 재구성된 입력 데이터 샘플들(201b)의 형태로 입력 데이터 샘플들(201a)의 추정치를 출력한다. 오토인코더(200)는 라벨 벡터(y)(208)가 1-핫 이상 및 라벨-유사이도록 시행할 시에 사용하기 위한 적대적 네트워크(210)를 포함한다. 오토인코더(200)는 잠복 표현 계층(204)의 스타일 벡터(z)(208)에 연결되는 정규화 네트워크 또는 컴포넌트(212)를 포함하며, 정규화 네트워크(212)는 오토인코더의 훈련 동안 스타일 벡터(z)를 정규화하고 훈련된 오토인코더가 입력 데이터 샘플들(201a)을 분류할 때에 대해 실질적 시불변 출력 라벨 벡터(y)를 초래하도록 구성된다.

특히, 도 2b에 언급되는 오토인코더의 적대적 네트워크(210)는 입력 계층(210a), 하나 이상의 은닉 계층(들)(210c 및 210d), 및 라벨 벡터(y)(206)와 연관되는 라벨 벡터 생성자 손실 함수 값(L_GY)을 평가하기 위해 사용되는 출력 계층(210e)을 포함할 수 있다. 적대적 네트워크(210)의 입력 계층(210a)은 라벨 벡터(y)(206) 및 라벨 벡터(y)(206)와 동일한 차원의 1-핫 벡터들(210a)의 세트의 범주형 분포(categorical distribution)에 연결된다. 적대적 네트워크(210)는, 훈련 동안, 라벨 벡터들(y)(206)과 라벨 벡터(y)(206)와 동일한 차원의 1-핫 벡터들(210a)의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 하나 이상의 은닉 계층(들)(210c 및 210d)을 훈련시키도록 구성될 수 있다. 라벨 벡터 생성자 손실 함수 값(L _GY )은 라벨 벡터(y)(206)와 연관되고 라벨 벡터(y)(206) 상으로 1-핫 벡터들(210a)의 세트의 범주형 분포를 시행하기 위해 인코더 네트워크(202a)를 훈련 시에 사용하기 위한 것이다. 라벨 벡터(y)(206)의 크기는 입력 데이터 샘플들(201a)로부터 분류될 클래스들, 카테고리들 및/또는 상태들의 수에 기초할 수 있다.

더욱이, 오토인코더(200)의 정규화 네트워크(212)는 잠복 표현 계층(204)에 연결된다. 특히, 정규화 네트워크(212)는 스타일 벡터(z)(208)에 연결되고 오토인코더(200)의 훈련 동안 스타일 벡터(z)(208)를 정규화하고 훈련된 오토인코더(200)가 입력 데이터를 분류할 때 실질적으로 시불변 출력 라벨 벡터(y)(206)를 초래하도록 구성된다. 도 2c에 언급되는 정규화 네트워크(212)는 입력 계층(213a) 및 하나 이상의 은닉 계층(들)(213b 및 213c)을 포함하는 판별기 네트워크 및 스타일 벡터 생성자 손실 함수 값(L _GZ )을 출력하기 위한 출력 계층(213d)을 포함하며, 여기서 입력 계층(213a)은 스타일 벡터(z)(208) 및 선택된 확률 분포(P(z))(214)에 연결된다. 정규화 네트워크(212)는, 오토인코더(200)의 훈련 동안, 대응하는 스타일 벡터(z)(208)와 대응하는 선택된 확률 분포(P(z))(214)로부터 생성되는 샘플 벡터를 구별하기 위해 판별기 네트워크를 훈련시키도록 구성되며, 여기서 샘플 벡터는 스타일 벡터(z)(208)와 동일한 차원을 갖는다. 출력 스타일 벡터 생성자 손실 함수 값(L _GZ )은 잠복 벡터의 스타일 벡터(z)에 대해 확률 분포(P(z))를 시행하도록 인코더 네트워크(202a)를 훈련시키기 위해 사용된다.

확률 분포(P(z))(214)는 하기: 즉, 라플라시안 분포; 감마 분포; 가우스 분포; 및 입력 데이터와 연관되는 라벨 벡터(들)(y)(206)의 시불변성을 개선하는 것으로 간주되는 분산 및 임의의 다른 확률 분포와 같은 상이한 특성들을 갖는 전술한 분포들의 순열들의 그룹으로부터의 하나 이상의 확률 분포들 또는 그 조합으로부터 선택될 수 있다.

오토인코더(200)는, 예이지만 이에 제한되지 않는, 생성자 손실, 도 2a의 예에서 라벨 벡터 생성자 손실 함수 값(L _GY ) 및 스타일 벡터 생성자 손실 함수 값(L _GZ )의 조합, 디코딩 네트워크(202b)로부터의 출력(201b)에 기초한 재구성 손실 및 인코더 네트워크(202a)에 입력되는 원래 입력 데이터 샘플들(201a)에 기초하여, 216으로 표현되는, 손실 또는 비용 함수를 사용하여 입력 데이터 샘플들(201a)에 대해 훈련될 수 있다. 인코딩 네트워크(202a) 및/또는 디코딩 네트워크(202b)의 은닉 계층(들)의 가중치들은 비용 모듈(216)의 비용 함수의 생성된 손실에 기초하여 갱신된다.

고주파 시변 입력 데이터 신호의 예는, 예이지만 이에 제한되지 않는, 피험자의 하나 이상의 신경 파퓰레이션들(populations)의 신경 활동과 연관되는 신경학적 신호일 수 있다. 신경 수신기 또는 신경 센서는 피험자의 신경 파퓰레이션의 하나 이상의 뉴런들(neurons)의 신경 활동을 검출하고 측정하고 신경 활동을 나타내는 신경학적 신호(x _i (t) 또는 x _j (t))를 출력할 수 있는 임의의 장치, 메커니즘 또는 디바이스를 포함하거나 나타낼 수 있다. 본질적으로, 신경 활동은 하나 이상의 뉴런들(또는 신경 파퓰레이션)에 존재하는 임의의 전기적, 기계적, 화학적 및/또는 일시적 활동을 포함하거나 나타낼 수 있으며, 이는 종종 신경 조직의 하나 이상의 신경들(nerves) 또는 섹션(들)을 구성한다. 신경 활동은, 예이지만 이에 제한되지 않는, 피험자의 신체와 연관되는 정보 및/또는 피험자의 신체에 영향을 미치는 환경에 대한 정보를 전달할 수 있다. 신경 활동에 의해 전달되는 정보는 신경 데이터, 신경 정보, 신경 의도(intent), 말단 효과, 조직 상태, 신체 상태, 신경 상태 또는 신체의 상태를 나타내는 데이터, 및/또는 신경 활동에서 전달되거나 포함되고 피험자의 신체에 대한 뉴런들 또는 신경 파퓰레이션들에 의해 해석하고/하거나 패싱되는 정보를 나타내는 임의의 다른 데이터, 변수 또는 정보를 포함할 수 있다. 예를 들어, 신경 데이터는 하나 이상의 뉴런들 또는 신경 파퓰레이션의 신경 활동에 의해 포함되거나 전달되는 정보 또는 데이터를 나타내는 임의의 데이터를 포함할 수 있다. 신경 데이터는, 단지 예로서 그러나 이에 제한되지 않는, 대응하는 신경 활동과 연관되는 하나 이상의 신체 변수(들)의 추정치들을 나타내는 데이터, 또는 신경 활동에 의해 운반되거나 포함되거나 전달되는 정보를 나타내는 임의의 다른 데이터, 변수 또는 정보를 포함할 수 있다.

이러한 정보는 정보 이론적 관점에서 신체와 연관되는 하나 이상의 변수들로서 표현될 수 있으며, 이는 본원에서 신체 변수(들)로서 언급된다. 신체 변수는 그 자체가 이러한 정보의 역할 또는 기능 및 신체, CNS 또는 부착된 디바이스에 의한 그것의 사용에 기초하여 감각, 제어 또는 다른 변수로서 분류될 수 있는 중추 신경계(central nervous system; CNS)로 전송되거나 이로부터 전송되는 원하는 말단 효과(end effect) 또는 조직 상태를 포함하거나 나타낸다. 하나 이상의 신경 위치들에서 신경 활동의 하나 이상의 인스턴스들(instances)은 하나 이상의 신체 변수들의 인코딩이라고 할 수 있다. 예를 들어, 신경(들) 중 하나 이상의 뉴런들의 신경 활동은 신체의 다른 부분들에 의한 수용을 위해 하나 이상의 신체 변수들을 인코딩하기 위해 신체의 부분에 의해 생성되거나 수정될 수 있으며, 이는 신체 변수에 접근하기 위해 신경 활동을 디코딩한다. 신체 변수들의 인코딩 및 디코딩 둘 다는 CNS 및/또는 신체 조직들에 의해 수행될 수 있으며 따라서 피험자의 신체 주위의 정보의 전송을 용이하게 한다.

다른 예에서, 체신경계(somatic nervous system; SoNS)에서, CNS에 의해 생성되는 하나 이상의 신체 변수(들)는 말초 신경계(peripheral nervous system; PNS)를 통해 하나 이상의 모션의 인스턴스들과 연관되는(예를 들어, 각각의 신체 변수는 사지(limb)의 상이한 모션 또는 움직임과 연관될 수 있음) 원심성 신경 활동으로서 전송될 수 있다. 다른 예에서, 자율 신경계(autonomic nervous system; ANS)에서, 신체 변수의 각각의 인스턴스는 수정된 장기 기능, 장기 기능을 수정하는 것, 또는 신체 기능을 수정하는 것과 연관될 수 있다(예를 들어, 하나 이상의 신체 변수(들)는 다소간의 인슐린을 생성하는 것과 연관될 수 있거나; 혈압 측정들과 연관될 수 있는 것 등임). CNS는 또한 감각 신경 정보에 대응하는 신체 변수(예를 들어, 감각 신체 변수)를 인코딩하는 구심성 신경 활동을 수신할 수 있으며, 여기서 이러한 경우 감각 신체 변수는 사지의 상태 또는 사지, 장기 또는 조직 등과 연관되는 하나 이상의 뉴런(들) 또는 하나 이상의 신경 파퓰레이션(들)에 의해 생성되는 장기 또는 조직의 상태에 대한 감각 정보의 인코팅을 나타낸다. CNS는 구심성 신경 활동을 수신하고 그 다음 감각 신체 변수(들)를 이해하고 적절하게 응답하기 위해 이러한 신경 활동을 해독하거나 디코딩한다.

신체 변수들의 수 개의 예들이 설명되었지만, 이것은 단순화 및 단지 예를 위한 것이며, 본 개시가 그렇게 제한되지 않고 피험자의 신체에 의해 생성될 수 있고 신경 활동으로서 신체의 부분들 사이 또는 신체의 주위에서 송신될 수 있는 복수의 신체 변수들이 있다는 것이 당업자에 의해 이해될 수 있다.

오토인코더(200)의 일 예는, 단지 예이지만 이에 제한되지 않는, 피험자에 결합되는 대응하는 복수의 신경 수신기(들) 또는 센서(들)로부터 출력되는 다채널 신경학적 신호들(x ₁(t), ..., x _i (t), x _j (t), ..., x _M (t))과 같은 고주파 시변 입력 데이터 신호(들)를 분류하기 위해 사용될 수 있다. 신경학적 신호들(x ₁(t), ..., x _n (t))은 신경 활동으로서 인코딩되는 신체 변수들의 정보 풍부 데이터 표현으로서 라벨 벡터(들)(y)(206)의 세트를 추정하고, 라벨 벡터들(y)(206)의 세트를 적절하게 분류하기 위해 훈련되는 하나 이상의 ML 기술(들)을 사용하여 처리된다. x _i (t) 또는 x _j (t)로 표시되는 신경학적 신호는 피험자의 CNS에 의해 생성되는 신체 변수에 응답하여 하나 이상의 신경 수신기들 또는 센서들에 국부적으로 검출되고/되거나 측정되는 바와 같은 신경 파퓰레이션에서 전기적 공간 및 일시적 활동과 연관되는 시간 도메인 신호를 포함하거나 나타낼 수 있다. 피험자의 CNS는 신체 변수를 신경 활동으로서 인코딩하며, 이는 신경 파퓰레이션과 연관되는 하나 이상의 신경들을 따라 전달된다.

오토인코더(200)는 1≤i≤L _k 및 k≥1에 대해 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )(201a)의 형태로 하나 이상의 신체 변수(들)를 인코딩하는 k-번째 신경 활동을 나타내는 데이터로서 다채널 신경학적 신호들(x ₁(t), ..., x _i (t), x _j (t), ..., x _M (t))을 수신하도록 구성될 수 있으며, 여기서 x _i 는 다채널 신경학적 신호(x ₁(t), ..., x _i (t), x _j (t), ..., x _M (t))의 i-번째 샘플 벡터이며, 이는 x _i =[x ₁(t _i ),...,x _m (t _i ),...,x _M (t _i )] ^T 의 각각의 요소가 1≤i≤L _k 에 대해 샘플링 시간 단계i에서 취해지는 1≤m≤M에 대해 대응하는 m-번째 채널로부터의 샘플을 나타내는 M-차원 벡터이며, M은 채널들의 수이고 L _k 는 샘플 시퀀스의 길이 또는 하나 이상의 신체 변수(들)를 인코딩하는 k-번째 신경 활동을 캡처하기에 충분한 샘플들의 수이다. 따라서, 하나 이상의 신체 변수(들)를 인코딩하는 k-번째 신경 활동을 나타내는 데이터는 L _k ×M 샘플들로 구성될 수 있다.

디코딩 네트워크(202b)는 1≤i≤L _k 및 k≥1에 대해 k-번째 신경학적 샘플 벡터 시퀀스(

)(201b)의 추정치를 출력하기 위한 디코딩 출력 계층에 연결되는 하나 이상의 추가 은닉 계층들에 연결되는 잠복 공간 표현 계층(204)을 포함하며, 이는 1≤i≤L _k 및 k≥1에 대해 입력 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )(201a)의 재구성이다. k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )(201a)에 대해, 인코더 네트워크(202a)의 잠복 공간 표현 계층(204)은 라벨 벡터(y _k)(206) 및 연속적인 잠복 변수 벡터(z _k)(208)를 포함하는 잠복 벡터를 형성하도록 구성된다. y _k(206)의 요소들의 수는 분류될 고유한 신체 변수 라벨들의 수에 대응할 수 있다. 대안적으로, y _k(206)의 요소들의 수는 또한 비라벨링된 신체 변수 훈련 데이터세트를 사용할 때 발견될 수 있는 신체 변수 라벨들의 예상된 수에 대응할 수 있다. 대안적으로, y _k(206)의 요소들의 수는 비라벨링된 신체 변수 훈련 데이터세트에 있는 비상관된 또는 고유한 신경학적 샘플 벡터 시퀀스들의 수에 대응할 수 있다. y _k의 요소들의 수는 대안적으로 오토인코더(200)가 동일한 비라벨링된 신체 변수 훈련 데이터세트에 대해 훈련됨에 따라 고유한 신체 변수 벡터의 수가 어떻게 변화들을 추정하는지를 관찰함으로써 시행착오를 통해 결정될 수 있다.

오토인코더(200)는 적대적 네트워크(210)가 피험자의 신경계의 일부에서 대응하는 하나 이상의 신경 파퓰레이션(들)에 위치되는 하나 이상의 신경 수신기(들)에 의해 수신되는 신경학적 신호들로부터 피험자(미도시)의 행동들을 추론할 시에 사용하기 위한 WGAN(Wasserstein Generative Adversarial Network)(210)인 시퀀스 대 시퀀스 순환 신경 네트워크 모델에 기초할 수 있다. 예를 들어, 신경학적 신호들은, 단지 예이지만 이에 제한되지 않는, 원심성 신경의 하나 이상의 신경 파퓰레이션들로부터 신경 수신기(들)에 의해 수신될 수 있다. WGAN(262)은 시퀀스 대 시퀀스 네트워크(260)의 잠복 표현들을 라벨-유사(label-like)가 되도록 제한하기 위해 사용되며, 이는 하나 이상의 신체 변수들 또는 그 조합들을 인코딩하는 신경 활동과 관련하여 잠복 표현들의 분류/라벨링을 허용한다. 예를 들어, 라벨링은 신체 변수가 검출되었을 때 피험자와 연관되는 센서 데이터와 신체 변수(들)와 연관되는 수신된 신경학적 신호(들)의 부분들을 매칭시킴으로써 달성될 수 있으며; 이는 신체 변수(들)를 인코딩하는 연관된 신경 활동을 분류하는 잠복 표현의 라벨링을 허용하기 위해 신체 변수(들)가 매칭된 센서 데이터에 기초하여 식별되고 신체 변수 라벨들이 할당되는 것을 허용한다.

이전에 설명된 바와 같이, 다채널 신경학적 신호들(x ₁(t), ..., x _i (t), x _j (t), ..., x _M (t))은 i≥1에 대해 다채널 신경학적 신호 샘플들(x _i )을 형성하기 위해 다수의 M 신경 수신기들로부터 수신될 수 있으며, 여기서 x _i 는 x _i 의 각각의 요소가 1≤m≤M에 대해 대응하는 m-번째 채널로부터 i-번째 샘플을 나타내는 다채널 신경학적 신호의 M-차원 벡터 공간의 i-번째 샘플 벡터이다. 신경 활동(예를 들어, 신경 임펄스(들)의 세트)을 나타내는 다채널 신경학적 신호(x ₁(t), ..., x _i (t), x _j (t), ..., x _M (t))의 각각의 k-번째 섹션은 1≤i≤L _k 및 k≥1에 대해 샘플 벡터 시퀀스((x _i ) ^k )(201a)로서 샘플링되고 저장될 수 있으며, 여기서, L _k 는 k-번째 샘플 시퀀스의 길이 또는 하나 이상의 신체 변수(들) 또는 그 조합들을 인코딩하는 k-번째 신경 활동을 캡처하는 k-번째 섹션으로부터 취해지는 샘플들의 수이다. 하나 이상의 신체 변수들 또는 그 조합들을 인코딩하는 k-번째 신경 활동을 나타내는 데이터는 L _k ×M 샘플들로 구성될 수 있다. 따라서, 신경학적 샘플 벡터 시퀀스들의 세트가 수집되고 {(x _i ) ^k }로서 표현될 수 있다.

신경학적 샘플 벡터 시퀀스들의 훈련 세트는 수집된 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })의 세트로부터 생성되고

로서 표현될 수 있으며, 여기서, T는 훈련 세트에서 신경학적 샘플 벡터 시퀀스들의 수이다. 훈련 세트(

)는 신경 활동들의 수를 식별하는 이전에 기록되거나 저장된 다채널 신경학적 신호들로부터 생성될 수 있으며, 여기서 각각의 식별된 신경 활동은 하나 이상의 신체 변수(들) 또는 그 조합들을 인코딩한다. 이러한 훈련 세트(

)는 다채널 신경학적 신호들이 기록/저장/샘플링 및 수집됨과 동시에 기록/저장/수집된 대응하는 센서 데이터(예를 들어, 비디오, 오디오, 모션 추적, 혈액, 심장 박동 등)로 (예를 들어, 이전에 설명된 바와 같이 자동으로 분석되는) 식별된 신경 활동들 각각을 분석하고 비교함으로써 {(x _i ) ^k }로부터 생성될 수 있다. 이러한 비교는 피험자의 행동(들)을 식별하고 따라서 1≤k≤T에 대해 각각의 k-번째 신경 활동을 식별하기 위해 사용될 수 있으며, 이는 신경 활동과 관련하여 오토인코더(200)로부터 출력되는 라벨 벡터(y)(206)를 분류하기 위해 사용될 수 있다.

대안적으로, 훈련 세트(

)는 입력 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k }) (201a) 각각에 대한 라벨 벡터(y)(206)(예를 들어, 이것은 소프트 벡터일 수 있음)를, 인코더 네트워크(202a)로부터, 출력하는 분류기로서 오토인코더(200)를 사용하여 수집된 비라벨링된 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })의 세트로부터 생성될 수 있다. 이것은 신경 활동에서 인코딩되는 신체 변수들과 연관되는 복수의 실제 상태들 또는 클래스들에 매핑될 수 있는 라벨 벡터들(y)의 세트를 생성할 수 있다. 예를 들어, 라벨 벡터들(y)(206)의 세트는 라벨 벡터들(y)(206)의 세트가 클러스터 영역들을 형성하는지 여부를 관찰함으로써 신체 변수 라벨들(예를 들어, 실제 상태 또는 클래스들)을 결정하기 위해 사용될 수 있으며, 여기서 각각의 클러스터 영역은 신체 변수 라벨로 라벨링될 수 있다. 각각의 클러스터 영역에 대한 신체 변수 라벨은 먼저, 클러스터 영역 내에 라벨 벡터들(y)(206)을 생성하는 (예를 들어, 자동으로 분석되는) ({(x _i ) ^k })의 신경 활동들 각각을 다채널 신경학적 신호 샘플 벡터 시퀀스들({(x _i ) ^k })이 기록/저장/샘플링 및 수집됨과 동시에 기록/저장/수집되는 대응하는 센서 데이터(예를 들어, 비디오, 오디오, 모션 추적, 혈액, 심장 박동 등)와 비교함으로써 식별될 수 있다. 이것은 신경 활동 및 상기 클러스터 영역과 연관되는 대응하는 센서 데이터를 분석하고 분석된 신경 활동 및 대응하는 센서 데이터에 기초하여 신체 변수 라벨을 결정하기 위해 사용된다. 따라서, 클러스터 영역으로부터 신체 변수 라벨 또는 실제 상태/클래스들로의 매핑은 신체 변수 라벨들 또는 실제 상태들/클래스들 등에 따라 라벨 벡터들(y)을 분류하기 위해 생성되고 사용될 수 있다. T 고유의 신체 변수 라벨들(예를 들어, 실제 상태들/클래스들)의 세트 및 그들의 연관된 신경학적 신호 샘플 벡터 시퀀스들({(x _i ) ^k })은 라벨링되었던 신체 변수 훈련 데이터세트(

)로서 생성되고 저장될 수 있다. 이것은 하나 이상의 ML 기술(들)을 더 훈련시키기 위해 사용될 수 있다.

수집된 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })의 세트가 매우 크고 수동적인 인간 분석에 대해 너무 미묘한 특징들을 포함한다는 것을 고려해 볼 때, 오토인코더(200)와 같은 ML 기술들은 피험자의 신체 기능들을 관리하기 위해 하나 이상의 디바이스(들)로 출력하기에 적합한 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })의 표현들을 분석하고, 학습하고 라벨링하는 것을 도울 수 있다. 이러한 예에서, 오토인코더(200)는 준지도(semi-supervised) 시퀀스 대 시퀀스 모델에 기초한다. 오토인코더(200)는 1≤i≤L _k 및 k≥1에 대해 주어진 신경학적 샘플 벡터 시퀀스((x _i ) ^k )(201a)를 고정된-크기의 연속적인 벡터 표현 또는 잠복 벡터 표현으로 인코딩하는 시퀀스 대 시퀀스 모델이다. 오토인코더(200)는 인코더 네트워크(202a) 및 디코더 네트워크(202b)를 포함하며, 둘 다는, 예이지만 이에 제한되지 않는, 롱 쇼트-텀 메모리(long short-term memory; LSTM) 순환 신경 네트워크들(recurrent neural networks; RNNs)이다. 설명된 바와 같이, 오토인코더는 인코더 네트워크(202a)에 의해 생성되는 라벨 벡터들(y)(206)과 범주형 분포(210a)로부터의 샘플들(예를 들어, 1-핫 벡터 샘플들)을 구별하기 위해 훈련되는 적대적 판별기(210)로 증강된다. 이러한 증강은 인코더 네트워크(202a)가 하나 이상의 신체 변수(들)를 인코딩하는 대응하는 신경 활동을 식별하도록 라벨링될 수 있는 비라벨링된 수집된 다채널 신경학적 신호 샘플 벡터 시퀀스들({(x _i ) ^k })로부터 유익한(informative) 라벨-유사 잠복 벡터(y)(206)를 학습하도록 훈련될 수 있게 한다. 수신되는 다채널 신경학적 신호 샘플 벡터 시퀀스들({(x _i ) ^k })은 그 다음, 실제 상태들/클래스들의 신체 변수 라벨들에 기초하여 분류될 수 있다.

오토인코더(200)는 또한, 예이지만 이에 제한되지 않는, 제2 WGAN 적대적 판별기 네트워크(213b-213d)에 기초한 정규화 네트워크(212)를 포함하며, 이는 스타일 벡터(z)(208) 표현이 더 가우스 분포되도록 장려하기 위해 이용된다. 가우스 분포 또는 정규 분포가 설명되지만, 이것은 단지 예이고 본 발명은 그렇게 제한되지 않고, 당업자는, 예이지만 이에 제한되지 않는, 임의의 다른 확률 분포 등, 또는 네트워크들(202a, 202b)의 수렴을 더 개선하고/하거나, 잠복 벡터의 잠복 공간 또는 표현을 개선하고/하거나, 라벨 벡터(y)(206)의 시불변성을 개선하고/하거나 라벨링/분류 및 본 발명의 임의의 다른 양태들을 개선하는 임의의 다른 확률 분포를 사용할 수 있다는 것이 이해되어야 한다.

제2 적대적 판별기 네트워크(213b 내지 213d)는 인코더 네트워크(202a)에 의해 생성되는 잠복 벡터의 스타일 벡터(z)(208)와 확률 분포(P(z))로부터의 샘플들을 구별하도록 훈련되며, 이는 이러한 경우에서 가우스 분포(N(z|0,I))(214)이다. 인코더 네트워크(202a)에 의해 생성되는 스타일 벡터(z)(208) 및 가우스 샘플은 제2 적대적 판별기의 은닉 계층(들)(213b 및 213c)에 입력된다. 출력 계층(213d)은 스타일 벡터(z)(208)의 인코더 네트워크(202a)의 추정치를 그것이 가우스 샘플/분포에 얼마나 근접하여 있는지를 등급화함으로써 더 가우스되도록 개선하기 위해 사용되는 선형 가우스 결과 또는 스타일 벡터 생성자 손실 함수 값(L_{G Z} )을 출력한다. 예를 들어, 비용 모듈(216)은 스타일 벡터(z)(208)의 잠복 공간 표현이 가우스 분포 벡터에 더 근접하게 추정되도록 더 개선하기 위해 이러한 가우스 결과 또는 스타일 벡터 생성자 손실 함수 값(L_{G Z} )을 사용할 수 있다. 제2 적대적 신경 네트워크는 제1 적대적 신경 네트워크에 대해 설명된 것과 유사한 방식으로 훈련된다. 이것은 인코더 네트워크(202a)로부터 출력되는 라벨 벡터들(y)(206)의 시불변성을 개선한다. 스타일 벡터 z(208)를 정규화하는 것은 인코더 네트워크(202a) 및 디코더 네트워크(202b)가 입력 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })(201a) 내에서 "일시적 패턴"의 발생을 지나치게 표현하도록 훈련되는 가능성을 감소시킨다. 이것은 z(208) 상의 추가 제약이 그것이 이전에 했던 것 보다 더 많이 잠복 공간을 통한 정보의 흐름을 제한함에 따라 인접한 입력 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })(201a) 사이의 상관의 감소 및/또는 최소화를 야기한다. 따라서, y는 동일한 재구성들 및 따라서 라벨 벡터들(y)(206)의 시불변성의 증가를 허용하기 위해 더 양호한 것이여야 하거나, 라벨 벡터(들)(y)(206)가 실질적으로 시불변이어야 하며, 그것은 입력 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })(201a)에 응답하여 오토인코더(200)로부터 출력된다. 더욱이, 동일한 신체 변수 라벨 또는 실제 상태/클래스 라벨과 연관되는 라벨 벡터(들)(y)(206)의 세트는 함께 클러스터링될 가능성이 더 높고, 따라서 신체 변수 라벨(또는 실제 상태/클래스 라벨)에 매핑되는 클러스터링 영역이 정의될 수 있다. 즉, 오토인코더(200)가 함께 클러스터링되지만 상이한 신체 변수 라벨들 또는 상태들에 속하는 신체 변수 벡터 라벨들(y)(206)을 출력하는 시나리오에서 실질적인 감소가 있다. 따라서, 스타일 벡터(z)(208)를 정규화하는 것은 결과로 초래된 분류기의 강건성을 증대시키고, 입력 신경학적 샘플 벡터 시퀀스들({(x _i ) ^k })(201a)의 변화에 대한 분류기의 민감도를 감소시킨다.

게다가, 이것은 특정 y 표현인

를 선택하고, 가우스 분포로부터

를 샘플링하고 디코더 네트워크(202b)에 대한 입력으로서 z =

및 y =

의 연결을 사용함으로써 임의의 카테고리들에 대한 신호들의 생성을 가능하게 한다. 추가적으로, 이것은 y에서 혼합된 카테고리들의 생성을 허용한다. 따라서, 인코더 네트워크(202a)는 2개의 고정된 크기의 잠복 벡터 표현 잠복 벡터(

) 및 또한 라벨 벡터(

)를 생성하며, 이는 신체 변수 추정치로서 사용되고 적절하게 라벨링될 수 있다.

가우스 분포 변수들 또는 가우스 분포 및/또는 정규 분포가 설명되지만, 이것은 단지 예이고 본 발명은 그렇게 제한되지 않고, 당업자는, 예이지만 이에 제한되지 않는, 임의의 다른 확률 분포 등, 또는 네트워크들(202a, 202b)의 수렴을 더 개선하고/하거나, 잠복 벡터의 잠복 공간 또는 표현을 개선하고/하거나, 라벨 벡터(y)(206)의 시불변성을 증가시키고/시키거나 라벨링/분류 및 본 발명의 임의의 다른 양태들을 개선하는 임의의 다른 확률 분포를 사용할 수 있다는 것이 이해되어야 한다.

이러한 예에서, 오토인코더(200)는, 단지 예로서 그러나 이에 제한되지 않는, 인코더 네트워크(202a) 및 디코더 네트워크(202b)로서 단일 계층 LSTM을 사용한다. 하나보다 많은 계층이 LSTM에서 사용될 수 있지만, 단순화를 위해 단일 계층 LSTM이 단순화를 위해 설명된다. 인코더 네트워크(202a)는 q( z , y | x _i )로서 표시되는, 1≤i≤L _k 및 k≥1에 대해 임의의 길이의(또는 본원에서 이전에 설명된 바와 같은) 신경학적 벡터 샘플 시퀀스(x _i =(x _i ) ^k )(201a)에 대한 2개의 고정된 크기 잠복 표현들, 스타일 벡터(z)(208) 및 라벨 벡터(y)(206)를 생성한다. 그 다음, 디코더 네트워크(202b)는 1≤i≤L _k 및 k≥1에 대해 원래 입력 신경학적 벡터 샘플 시퀀스((x _i ) ^k )(201a)를 재구성하기 위해 스타일 벡터(z)(208) 및 라벨 벡터(y)(206) 표현들 둘 다를 사용한다. 디코더 네트워크(202b)의 각각의 시간 단계 i 또는 t _i 에서, 상태 메모리의 y-섹션은 원래 y로 대체되며, 여기서 벡터의 나머지는 시간에 걸쳐 변하도록 남겨진다. 이것은 각각의 시간 단계에서 사용할 디코더 네트워크(202b)에 대한 유익한 y 표현을 생성하는 것에 더 중점을 둔다. LSTM에서 이전 시간 단계로부터의 출력 또는 실제 입력(x _i = (x _i ) ^k ) 사이의 각각의 훈련 반복에서 디코더 네트워크(202b)에 대한 입력을 교호하는 것은 훈련을 안정화시켰고 오토인코더(200)를 보다 강건하게 만들었다. 게다가, 디코딩할 때 출력을 반전시키는 것은 오토인코더(200)가 저-범위 상관들로 시동하는 것을 허용함으로써 훈련을 더 쉽고 더 빠르게 만들 수 있었다.

대안적으로, L _k 다채널 신경학적 샘플 벡터들((x_i)^k)(201a)(1≤i≤L_k)의 k-번째 시퀀스는 1≤n≤N에 대해 다채널 신경학적 샘플 벡터들의 N<L _k 데이터 포인트들 또는 서브그룹들/서브시퀀스들로 그룹화될 수 있으며, 여기서 L _k /N는 정수이고 각각의 데이터 포인트 또는 서브그룹은 1≤i≤L_k인 L _k 다채널 신경학적 샘플 벡터들((x_i)^k)의 k-번째 세트 또는 k-번째 시퀀스로부터 근접하여 선택되는 N 다채널 신경학적 샘플 벡터들로부터 구성되는 N 다채널 신경학적 샘플 벡터들(예를 들어, 각각의 다채널 신경학적 샘플 벡터는M-차원 벡터임)의 N×M 매트릭스로서 X _n (201a)으로 표시될 수 있다. 따라서, L _k 다채널 신경학적 샘플 벡터들((x_i)^k)(1≤i≤L _k )의 각각의 k-번째 시퀀스를 인코딩하기 위해 사용될 수 있는 1≤n≤N에 대해 총 N 시간 단계들; 및 L _k 다채널 신경학적 샘플 벡터들((x _i )^k)(1≤i≤L_k)의 입력 k-번째 시퀀스를 디코딩하거나 재구성하기 위해 사용될 수 있는 1≤n≤N에 대해 N 시간 단계들이 있을 수 있다. 1≤n≤N에 대해 각각의 시간 단계 n 또는 t _n 에서, 다채널 신경학적 샘플 벡터들의 데이터 포인트 또는 서브그룹(X _n )은 1≤i≤L_k에 대해 임의의 길이의 신경학적 벡터 샘플 시퀀스(x_i=(x_i)^k)의 2개의 고정된 크기 잠복 표현들, 스타일 벡터(z)(208) 및 라벨 벡터(y)(206)를, 시간 단계 N에 의해, 생성할 시에 사용하기 위해 인코더 네트워크(202a)에 입력되고 q(z,y|x _i )로서 표시될 수 있다. 따라서, N 시간 단계들 후에, 인코더 네트워크(202a)는 2개의 고정된 크기 잠복 표현들, 스타일 벡터(z)(208) 및 라벨 벡터(y)(206)를 생성하였다. 디코더 네트워크(202b)에서, 반전은 상태 메모리의 y -섹션이 원래 y 로 대체되는 경우 필연적으로 발생하며, 여기서 벡터의 나머지는 시간에 걸쳐 변하도록 남겨진다. 이것은 각각의 시간 단계 n에서 사용할 디코더 네트워크(202b)에 대한 유익한 y 표현을 생성하는 것에 더 중점을 둔다. LSTM에서 이전 시간 단계로부터의 출력 또는 실제 입력(x = (x_i)^k) 사이의 각각의 훈련 반복에서 디코더 네트워크(202b)에 대한 입력을 교호하는 것은 훈련을 안정화시켰고 오토인코더(200)를 보다 강건하게 만들었다. 게다가, 디코딩할 때 출력을 반전시키는 것은 오토인코더(200)가 저-범위 상관들로 시동하는 것을 허용함으로써 훈련을 더 쉽고 더 빠르게 만들 수 있었다.

라벨 벡터(y)(206) 표현이 라벨-유사인 것을 보장하기 위해, 판별기 네트워크(210)는 비용 함수에서 추가적인 손실 텀(loss term)으로서 사용된다. 오토인코더의 적대적 컴포넌트(210)는 자율 방식으로 데이터의 클러스터링을 허용한다. 판별기 네트워크(210)는 생성자가 인코더 순환 신경 네트워크(202a)이고 판별기 네트워크(210)가 범주형 분포(210a)(예를 들어, 랜덤1-핫 벡터들)로부터의 샘플들과 인코더 네트워크(202a)에 의해 생성되는 라벨 벡터(y)(206) 표현을 구별하도록 학습하는 생성 적대적 네트워크 접근법을 따른다. 이것은 라벨 벡터(y)(206) 표현이 입력 신경학적 벡터 샘플 시퀀스((x _i ) ^k )와 연관되는 액션들(actions)이 추론될 수 있는 퇴화 분포(degenerate distribution)를 향하여 수렴되도록 장려하는 한편, 연속 공간에 걸쳐 분포를 유지시킨다. y에서의 모드 붕괴를 방지하고 훈련을 안정화시키기 위해, 판별기 네트워크(210)는 배치 정규화 및 미니배치 식별이 사용된 와세르스테인 생성 적대적 네트워크(Wasserstein generative adversarial network)에 기초하였다.

이러한 예에서, 판별기 네트워크(210)의 제1 은닉 계층(210c)은 제2 은닉 계층(210d)(예를 들어, 20 유닛들)보다 더 큰 수의 은닉 유닛들(예를 들어, 50 유닛들)을 갖도록 구성될 수 있다. 이어서, 라벨 벡터 생성 손실 함수 값(L _GY )으로서 스칼라 값으로 선형적으로 변환되고 인코더 네트워크(202a) 및 디코더 네트워크(202b)를 훈련시키는 것과 연관되는 비용 함수 모듈(216)로 입력되기 전에 미니배치 식별이 이어졌다. 배치 정규화는 판별기의 제1 활성화된 은닉 계층들 및 입력에 적용될 수 있다.

오토인코더(200)는 3개의 개별 스테이지들에서 훈련될 수 있다. 먼저, 인코더 네트워크(202a) 및 디코더 네트워크(202b)를 포함하는 오토인코더(200)는 재구성 에러에 대해 훈련된다. 예를 들어, L _k /N이 정수이고 각각의 데이터 포인트 또는 서브그룹이 1≤i≤L _k 샘플들인 L _k 다채널 신경학적 샘플 벡터들((x_i)^k)의 k-번째 세트 또는 k-번째 시퀀스로부터 근접하여 선택되는 N 다채널 신경학적 샘플 벡터들로부터 구성되는 N 다채널 신경학적 샘플 벡터들(예를 들어, 각각의 다채널 신경학적 샘플 벡터는M-차원 벡터임)의 N×M 매트릭스로서 X _n 으로 표시될 수 있는 N<L _k 인 경우, k-번째 다채널 신경학적 샘플 벡터 시퀀스에 대한 데이터 포인트들은 X _n 의 N×M 샘플들이 n-번째 시간 단계에서 입력으로서 표시되고 재구성된 입력이 n-번째 시간 단계에서

로서 표시되는 ( X _n ) ^k 으로서 표현될 수 있다. 단순화를 위해 그리고 단지 예로서, n-번째 시간 단계에서의 입력은 x _n 으로 표시되고 재구성된 입력은 n-번째 시간 단계에서

으로 표시되며 여기서 오토인코더(200)의 손실 비용 함수(L_AE)는 다음과 같이 정의될 수 있다:

제2 스테이지에서, 판별기 함수(f)는 다음의 손실 함수(L_{D Y} )에 의해 생성자 함수(g( x _n ))로부터 생성되는 라벨 벡터들(y)(206)과 범주 샘플들(y') 사이의 구별을 학습하며:

여기서, 각각의 y' _n 은 범주형 분포(210a)로부터 무작위로 샘플링된다. 효과적으로, 판별기 네트워크(210)는 입력이 생성될 때 네거티브 값을 생성하고 입력이 범주형 분포(210a)로부터 샘플링될 때 포지티브 값들을 생성하도록 훈련된다.

제3 스테이지에서, 인코더 네트워크(202a)(예를 들어, 생성자)는 판별기 네트워크(210)를 "풀잉(fooling)"함으로써 1-핫-유사인 라벨 벡터(y)(206) 표현을 생성하도록 훈련된다. 다음의 손실 함수(L_{G Y} )는 현재 고정된 판별기 함수(f)가 포지티브 값들을 산출하도록 라벨 벡터(y)(206)를 생성하기 위해 인코더 네트워크(202a)를 장려하거나 훈련/적응시킨다.

판별기 네트워크(210)는 인코더 네트워크(202a)(예를 들어, 생성자)의 모든 갱신에 대해 여러 번(예를 들어, 3 번) 갱신될 수 있다. 이것은 판별기 네트워크(210)가 인코더 네트워크(202a)의 갱신 단계들 각각에서 정확한 방향으로 인코더 네트워크(202a)(예를 들어, 생성자)를 지향시키거나 가리키는 것을 보장한다.

특히, 제2 스테이지에서, 추가적인 판별기 함수(f)는 또한 다음의 손실 함수(L_{D Z} )에 의해 생성자 함수(g( x _n ))로부터 생성되는 스타일 벡터들(z)(208)과 가우스 분포(214)로부터의 샘플들(z') 사이의 차이를 학습한다:

여기서, 각각의 z' _n 은 가우스 분포(214)로부터 무작위로 샘플링된다. 효과적으로, 판별기 네트워크(210)는 입력이 생성될 때 네거티브 값을 생성하고 입력이 범주형 분포(210a)로부터 샘플링될 때 포지티브 값들을 생성하도록 훈련된다.

제3 스테이지에서, 인코더 네트워크(202a)(예를 들어, 생성자)는 판별기 네트워크(212)를 "풀잉(fooling)"함으로써 가우스-유사인 스타일 벡터(z)(208) 표현을 생성하도록 훈련된다. 다음의 손실 함수(L_{G Z} )는 현재 고정된 판별기 함수(f())가 포지티브 값들을 산출하도록 스타일 벡터(z)(208)를 생성하기 위해 인코더 네트워크(202a)를 장려하거나 훈련/적응시킨다.

판별기 네트워크(212)는 인코더 네트워크(202a)(예를 들어, 생성자)의 모든 갱신에 대해 여러 번(예를 들어, 3 번) 갱신될 수 있다. 이것은 판별기 네트워크(212)가 인코더 네트워크(202a)의 갱신 단계들 각각에서 정확한 방향으로 인코더 네트워크(202a)(예를 들어, 생성자)를 지향시키거나 가리키는 것을 보장한다.

z 표현에 대한 정규화 네트워크(212) 판별기 및 생성자 훈련 갱신들은 범주형 y를 가우스 분포(214)로부터의 샘플들 z로 대체하는 것을 제외하고, 라벨 벡터(y)에 대해 상술한 것들과 동일하다. 모델의 모든 네트워크들은 훈련 동안 동일한 주파수에서 갱신된다.

오토인코더(200)의 예시적 시도(trial)로서, 4시간의 15 채널 신경학적 신호 샘플 데이터(예를 들어, M=15)가 피험자의 왼쪽 앞다리로부터 수집되었다. 신경학적 신호 샘플 데이터는, 단지 예이지만 이에 제한되지 않는, 30 kHz에서 샘플링되었고 신경학적 신호 샘플 데이터에서 신체 변수(들)를 인코딩하는 신경 활동을 나타내는 스파이크들(spikes)은, 단지 예이지만 이에 제한되지 않는, 26 mV의 전압 임계값을 사용하여 검출되었다. 다른 전압 임계 레벨들이 요구되는 민감도에 따라 사용될 수 있다는 것이 당업자에 의해 이해되어야 한다. 2개의 데이터세트들은 오토인코더(200)가 얼마나 잘 수행하였는지를 결정하기 위해 사용되었다. 단지 예이지만 이에 제한되지 않는, 스파이크(예를 들어, 신경 활동) 후 50 시간 단계들 동안 모든 15 채널로부터의 원시 신경학적 신호들로 구성된 제1 데이터세트가 임의의 채널들 상에서 검출되었다. 이 경우, 총 250,911 스파이크들의 신경 활동이 기록된 기간 동안 검출되었다. 제2 데이터세트는, 단지 예이지만 이에 제한되지 않는, 0.01s 빈(bin) 내의 각각의 채널 상의 스파이크들의 수로 구성되었다. 두 세트들은 0에서 1까지의 범위로 정규화되고 그 다음 50 연속 카운트들의 세그먼트로 슬라이싱되어 총 6,840 데이터 포인트들을 야기한다. 이러한 데이터의 변화는 원시 데이터에 존재하는 잡음 중 일부를 감소시키고, 피험자의 액션들이 실행되는 데 걸릴 수 있는 더 긴 기간들을 고려한다. 이러한 예에서, 두 데이터세트들에 대해, 단일 데이터 포인트는 50 시간 단계들 및 15 변수들을 갖는다.

센서 데이터는 또한 15 채널 신경학적 신호 샘플 데이터가 수집되는 동안 수집되었다. 이러한 시도에서, 센서 데이터는 24분의 기간 동안 수집된 피험자의 비디오 영상(video footage)이었다. 피험자의 비디오 영상은 분석되었고 피험자에 의해 수행된5개의 별개의 액션들, 따라서 5개의 별개의 신경 활동들이 식별되었으며, 그 각각은 하나 이상의 신체 변수(들) 또는 그 조합들의 상이한 세트의 인코딩을 나타내었다. 이들 액션들은: 앞으로 걷기, 기립, 셔플링(shuffling), 반전(reversing), 및 회전이었다. 비디오 영상이 기록된 신경학적 신호 샘플 데이터에 동기화된 때, 시계열의 신경학적 신호 샘플 벡터 시퀀스들 또는 세그먼트들은 0.1s의 입도로 식별된 액션들에 따라 라벨링되었다. 원시 스파이크 데이터 및 카운터 데이터에서 데이터 포인트들의 총 수 중에서, 3003개 및 74개가 각각 라벨링되었다. 이들 라벨링된 데이터 포인트들은 이들 데이터 포인트들을 프록시(proxy)로서 분류할 시에 정확도를 사용함으로써 생성된 라벨 벡터(y)(206) 표현들이 얼마나 양호한지를 결정할 수 있게 하였다. 라벨링된 데이터는 데이터세트들로부터 제거되었고 훈련 동안 사용되지 않았다.

오토인코더(200)가 예상된 바와 같이 동작했는지 여부를 규명하기 위해, 그것은 2개의 다른 데이터세트들에 대해 평가되었다. 첫 번째는 4개의 클래스들(사인파, 코사인파, 톱니파, 및 방형파)을 갖는 합성 데이터세트이다. 여기서, 1,000,000 샘플들이 단위 진폭들 및 4 내지 30 시간 단계 사이의 무작위 기간들로 생성되었다. 모든 파형들은 50 시간 단계들의 길이를 가졌다. 200,000 데이터 포인트들이 시험을 위해 유지되었다. 제2 데이터세트는 MNIST(Modified National Institute of Standards and Technology database)로부터의 이미지들의 저-해상도(low-resolution) 버전들이었다. 이러한 경우, MNIST 이미지들은 28x28 픽셀들의 크기로부터 7x7로 크기가 조절되었다. 이미지들은 스캔라인 순서로 처리되었고 시퀀스들이 짧을수록 모델에 대한 학습이 더 쉬워졌다.

각각의 데이터세트에 대해, 검증 세트는 80:20(훈련:검증) 비율로 훈련 데이터를 무작위로 분할함으로써 구성되었다. 최선의 모델은 훈련의 과정에 걸쳐 달성되는 최저 재구성 에러에 기초하여 선택되었다. 더 작은 카운트 및 합성 데이터세트들에 대한 과적합을 방지하기 위해, 라벨 벡터(y)(206)의 크기는 20으로 설정되었고 스타일 벡터(z)(208)의 크기는 44로 설정되었다. 원시 스파이크 및 MNIST 데이터의 경우, 라벨 벡터(y)(206)의 크기는 30으로 설정되었고 스타일 벡터(z)(208)의 크기는 98로 설정되었다. 더 큰 y -표현들이 선택되었고 더 정확한 분류들을 야기하였다.

오토인코더(200)가 각각의 데이터세트에 대해 달성한 분류 정확도를 규명하기 위해, 다음의 평가 프로토콜이 적용되었다: 라벨 벡터(y)(206)에서 각각의 차원 i에 대해, 이러한 차원(q( y _i |x))에서 최대 확률을 갖는 x에서 데이터 포인트들의 세트의 확률들이 발견되었다. 그 다음, 실제 클래스 라벨은 이들 확률들에 의해 가중되고 선택된 샘플들의 세트에 대해 최대 평균을 갖는 클래스가 해시맵에 의해 y _i 에 할당된다. 그 다음, 정확도는 각각의 데이터 포인트에 할당되는 라벨들에 기초하여 컴퓨팅된다.

4개의 데이터세트들에 대해 획득되는 분류 정확도들이 아래 표 1에 도시된다.

보고된 정확도들은 10회의 독립 실행들에 대한 평균이다. 테스트 세트들 상에서 달성된 제곱 손실은 오토인코더(200)에 의해 달성되는 데이터 재구성의 효과(efficacy)를 보여주기 위해 계산되었다. 높은 정확도들은 합성 및 MNIST 데이터세트들 둘 다에 대해 달성되었으며, 이는 오토인코더(200)가 예상된 바와 같이 동작한다는 것을 확인시킨다. MNIST 데이터의 경우, MNIST 이미지들의 낮은 해상도 버전이 사용되었기 때문에 정확도들이 보통보다 더 낮았으며, 이는 일부 숫자들(digits)을 구별하기 힘들게 만들었다. 더 높은 분류 정확도는 원시 스파이크 데이터세트와 비교하여 카운트 데이터세트 상에서 달성되었다. 이것은 더 긴 기간들에 걸쳐 액션들을 관찰하는 카운트 데이터세트로 인한 가능성이 가장 높으며, 이는 더 유익한 정보 및 아마도 잡음 강건성을 제공한다. 오토인코더(200)는 피험자의 액션들을 나타내는 라벨 벡터(y)(206)의 연속 벡터 공간을 갖는 것이 이산 접근법들과 비교하여 모델링 관점으로부터 실질적인 이익을 제공한다는 것을 보여주었다. 게다가, 신체 변수(들) 또는 그 조합들의 추정치들을 나타내는 라벨 벡터(y)(206)의 연속 벡터 공간은 피험자의 신체 기능들 또는 하나 이상의 신체 부분들을 관리하거나 동작시키기 위한 하나 이상의 디바이스(들)에 의해 사용될 수 있는 데이터 친화적인 표현이다.

오토인코더(200)에 대한 수정들은 오토인코더(200)의 대부분을 특정 피험자에게 애그노스틱(agnostic)하게 만들기 위해 상이한 피험자들로부터 수집되는 데이터 세트들을 함께 스티칭하는 것을 포함할 수 있다. 오토인코더(200)는 LSTM들 대신에 콘볼루션 신경 네트워크들에 기초하고/하거나 웨이브넷(WaveNet) 생성 모델에 기초하여 더 수정될 수 있다. 웨이브넷(WaveNet) 생성 모델은 완전 콘볼루션 신경 네트워크를 포함하며, 여기서, 콘볼루션 계층들은 그것의 수용 필드(receptive field)가 깊이에 따라 기하급수적으로 성장하고 수천의 시간 단계들을 커버하는 것을 허용하는 다양한 확장 인자들을 가지며, 이는 신경학적 시계열의 분석을 향상시킬 수 있다.

도 2d는 본 발명에 따른 입력 데이터 샘플들(201a)을 분류할 시에 사용하기 위한 다른 예시적 ML 기술(220)을 예시하는 개략도이다. 이러한 예에서, ML 기술(220)은 하나 이상 또는 다수의 정규화 네트워크들(212a-212n)을 포함함으로써 도 2a 내지 도 2c의 오토인코더(200)를 수정한다. 오토인코더(220)는 인코딩 네트워크(202a), 디코딩 네트워크(202b), 및 입력 데이터 샘플들을 분류할 시에 사용하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하는 잠복 공간 표현 계층(204)을 포함한다. 인코딩 네트워크(202a) 및 디코딩 네트워크(202b)는 잠복 공간 표현 계층(204)에 결합된다. 인코딩 네트워크(202a)는 잠복 표현 계층(204)으로 출력한다. 잠복 표현 계층(204)은 라벨 벡터(y)(206) 및 스타일 벡터(z)(208)를 포함하는 잠복 벡터를 출력한다.

오토인코더(220)는 스타일 벡터(z)(208)를 하나 이상의 벡터(들)(A _i )(208a-208n)의 수 또는 다수의 벡터(들)(A _i )(208a-208n)로 분할함으로써 더 수정된다. 하나의 벡터(A _i )(208a)만이 있을 때, 이때, 벡터(A _i )(208a)는 도 2a와 관련하여 설명된 바와 같은, 스타일 벡터(z)(208)라는 점이 주목된다. 그러나, 하나보다 많은 벡터들(A _i )(208a-208n)이 있을 때, 이때, 스타일 벡터(z)(208)는 별도의 벡터들(A _i )(208a-208n)로 분할된다. 벡터들(A _i )(208a-208n)은 스타일 벡터(z)(208)를 형성하기 위해 연결된다. 그 다음, 스타일 벡터(z)(208)의 정규화는 대응하는 선택된 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n)에 기초하여 벡터들(A _i )(208a-208n) 각각에 대해 수행된다. 따라서, 각각의 벡터(A _i )(208a)는 스타일 벡터(z)(208)의 상기 각각의 벡터(A _i )(208a)에 대해 대응하는 선택된 확률 분포(P(A _i ))(214a)를 시행하기 위해 개별적으로 정규화된다.

디코더 네트워크(202b)는 잠복 표현 계층(204)으로부터 잠복 벡터를 수신하고 재구성된 입력 데이터 샘플들(201b)의 형태로 입력 데이터 샘플들(201a)의 추정치를 출력한다. 오토인코더(220)는 라벨 벡터(y)(208)를 1-핫 또는 라벨-유사이도록 시행할 시에 사용하기 위한 적대적 네트워크(210)를 포함한다. 오토인코더(220)는 잠복 표현 계층(204)의 스타일 벡터(z)(208)에 연결되는 정규화 네트워크 또는 컴포넌트(212)를 포함하며, 정규화 네트워크(212)는 오토인코더의 훈련 동안 스타일 벡터(z)를 정규화하고 훈련된 오토인코더가 입력 데이터 샘플들(201a)을 분류하는 경우에 대해 실질적 시불변 출력 라벨 벡터(y)를 초래하도록 구성된다.

특히, 도 2b에 언급되는 오토인코더의 적대적 네트워크(210)는 입력 계층(210a), 하나 이상의 은닉 계층(들)(210c 및 210d), 및 라벨 벡터(y)(206)와 연관되는 라벨 벡터 생성자 손실 함수 값(L _GY )을 평가하기 위한 출력 계층(210e)을 포함할 수 있다. 적대적 네트워크(210)의 입력 계층(210a)은 라벨 벡터(y)(206) 및 라벨 벡터(y)(206)와 동일한 차원의 1-핫 벡터들(210a)의 세트의 범주형 분포에 연결된다. 적대적 네트워크(210)는, 훈련 동안, 라벨 벡터들(y)(206)과 라벨 벡터(y)(206)와 동일한 차원의 1-핫 벡터들(210a)의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 하나 이상의 은닉 계층(들)(210c 및 210d)을 훈련시키도록 구성될 수 있다. 라벨 벡터 생성자 손실 함수 값(L _GY )은 라벨 벡터(y)(206)와 연관되고 라벨 벡터(y)(206) 상으로 1-핫 벡터들(210a)의 세트의 범주형 분포를 시행하기 위해 인코더 네트워크(202a)를 훈련 시에 사용하기 위한 것이다. 라벨 벡터(y)(206)의 크기는 입력 데이터 샘플들(201a)로부터 분류될 클래스들, 카테고리들 및/또는 상태들의 수에 기초할 수 있다.

더욱이, 오토인코더(220)의 하나 이상의 정규화 네트워크(들)(212a-212n)는 잠복 표현 계층(204)의 대응하는 하나 이상의 벡터(들)(A _i )(208a-208n)에 연결된다. 특히, 각각의 정규화 네트워크(212a)는 스타일 벡터(z)(208)의 대응하는 선택된 벡터(A _i )(208a)에 연결되고 오토인코더(220)의 훈련 동안 스타일 벡터(z)(208)의 그러한 벡터(A _i )(208a)만을 정규화하도록 구성된다. 따라서, 복수의 벡터들(A _i )(208a-208n)은 개별적으로 정규화될 수 있다. 이것은 훈련된 오토인코더(220)가 입력 데이터를 분류할 때 실질적으로 시불변 출력 라벨 벡터(y)(206)에 영향을 미친다. 도 2e에 언급한 정규화 네트워크(들)(212a-212n) 각각은 입력 계층(213a) 및 하나 이상의 은닉 계층(들)(213b 및 213c)을 포함하는 판별기 네트워크 및 스타일 벡터 생성자 손실 함수 값(L _GAi )을 평가하기 위한 출력 계층(213d)을 포함하며, 여기서, 입력 계층(213a)은 스타일 벡터(z)(208)의 벡터들(A _i )(208a-208n) 중 대응하는 하나 및 선택된 확률 분포(들)(P(A _i ))(214a-214n) 중 대응하는 하나에 연결된다.

각각의 정규화 네트워크(212a)는, 오토인코더(220)의 훈련 동안, 스타일 벡터(z)(208)의 대응하는 벡터(A _i )(208a)와 대응하는 선택된 확률 분포(P(A _i ))(214a)로부터 생성되는 샘플 벡터를 구별하기 위해 판별기 네트워크를 훈련시키도록 구성되며, 여기서, 샘플 벡터는 스타일 벡터(z)(208)의 대응하는 벡터(A _i )(208a)와 동일한 차원이다. 따라서, 벡터들(A _i )(208a-208n)에 대응하는 복수의 출력 스타일 벡터 생성자 손실 함수 값들(L _GA1 , L _GA2 , ..., L _GAi , ..., L _GAn )은 잠복 벡터의 스타일 벡터(z)(208)의 대응하는 벡터들(A _i )(208a-208n)에 대해 선택된 확률 분포(들)(P(A _i )) 각각을 시행하도록 인코더 네트워크(202a)를 훈련시키기 위해 사용된다.

정규화 네트워크(들)(212a-212n)는 입력 데이터와 연관되는 라벨 벡터들(y)의 세트에 시불변성을 초래하기 위해 훈련 동안 스타일 벡터(z)의 벡터들(A _i )(208a-208n) 각각을 정규화하기 위해 사용된다. 이러한 경우, 스타일 벡터(z)(208)를 정규화하는 것은 선택된 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n) 및 대응하는 하나 이상의 벡터(들)(A _i )(208a-208n)에 기초하며, 여기서, 스타일 벡터(z)(208)는 하나 이상의 벡터(들)(A _i )(208a-208n)를 포함한다. 스타일 벡터(z)(208)를 정규화하는 것은 스타일 벡터(z)(208)의 대응하는 부분들에 대해 각각의 선택된 확률 분포(P(A _i ))(214a-214n)를 시행하기 위해 입력 훈련 데이터 또는 입력 데이터 샘플들(201a)로 오토인코더(220)의 인코더 네트워크(202a)를 훈련시키는 것을 더 포함한다. 스타일 벡터(z)(208)를 정규화하는 것은 훈련 동안 라벨 벡터들(y)의 세트의 시불변성을 증가시킨다.

오토인코더(220)를 훈련시키기 전에, 스타일 벡터(z)(208)를 분할할 수 있는 하나 이상의 벡터(들)(A _i )(208a-208n)의 수가 선택되거나 특정된다. 또한, 하나 이상의 벡터(들)(A _i )(208a-208n) 각각에 대한 벡터 크기(들)가 또한 선택되거나 특정된다. 하나 이상의 벡터(들)(A _i )(208a-208n) 각각에 대한 벡터 크기(들)가 선택되지 않으면, 그 다음, 스타일 벡터(z)(208)는 하나 이상의 벡터(들)(A _i )(208a-208n)의 선택된 수에 걸쳐 균일하게 분할된다고 가정될 수 있다. 스타일 벡터(z)(208)를 분할하도록 선택되는 벡터(들)(A _i )(208a-208n)의 수는 정규화가 스타일 벡터(z)(208) 또는 z(208)를 분할하는 벡터(들)(A _i )(208a-208n) 각각에 대해 수행되지 않을 때와 비교하여 라벨 벡터(y)(206)의 시불변성을 증가시키거나 적어도 개선하도록 선택될 수 있다.

더욱이, 벡터(들)(A _i )(208a-208n)의 선택된 수에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n)의 수가 또한 선택된다. 스타일 벡터(z)(208)를 정규화하는 것은 선택된 벡터(들)(A _i )(208a-208n) 및 선택된 확률 분포(들)(P(A _i ))(214a-214n)에 기초하며, 여기서, 스타일 벡터(z)(208)는 선택된 벡터(들)(A _i )(208a-208n)로 분할된다. 선택된 벡터(들)(A _i )(208a-208n) 및 선택된 확률 분포(들)(P(A _i ))(214a-214n)에 기초하여 스타일 벡터(z)(208)를 정규화하는 것은 대응하는 선택된 확률 분포(P(A _i ))(214a-214n)에 기초하여 선택된 벡터(들)(A _i )(208a-208n) 각각을 정규화하는 것을 더 포함할 수 있다.

하나 이상의 벡터들(A _i )(208a-208n)에 대응하는 선택된 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n) 각각은 상이할 수 있다. 대안적으로, 선택된 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n)는 동일할 수 있다. 대안적으로, 선택된 확률 분포(들)(P(A _i ))(214a-214n) 및 대응하는 벡터들(A _i )은 선택된 확률 분포들(214a-214n) 및 대응하는 벡터들(A _i )의 하나 이상의 그룹들로 분할되며, 여기서, 각각의 그룹 내의 선택된 확률 분포(들)(P(A _i ))(214a-214n)는 동일하다. 선택된 확률 분포(들)(A _i )(214a-214n)는 라벨 벡터(y)(206)의 시분산을 증가시키거나 적어도 개선하는 하나 이상의 확률 분포들로부터 선택된다.

하나 이상의 확률 분포들(P(A _i ))(214a-214n)은 하기: 즉, 라플라시안 분포; 감마 분포; 가우스 분포; 및 분산과 같은 상이한 특성들을 갖는 전술한 분포들의 순열들의 그룹으로부터의 하나 이상의 확률 분포들 또는 그 조합들; 및 입력 데이터와 연관되는 라벨 벡터(들)(y)(206)의 시불변성을 개선하는 것으로 간주되는 임의의 다른 확률 분포로부터 선택되며; 정규화가 스타일 벡터(z)(208)에 대해 수행되지 않을 때 입력 데이터와 연관되는 라벨 벡터(들)(y)(206)와 비교될 수 있다.

오토인코더(220)는, 단지 예이지만 이에 제한되지 않는, 라벨 벡터 생성자 손실 함수 값(L _GY ), 스타일 벡터 생성자 손실 함수 값(들)(L _GA1 , L _GA2 , ..., L _GAi , ..., L _GAn ) 중 하나 이상, 디코딩 네트워크(202b)로부터의 입력 데이터 샘플들 출력(201b)의 재구성 추정치, 및 인코더 네트워크(202a)에 입력되는 원래 입력 데이터 샘플들(201a)에 기초하여, 216으로 표현되는, 손실 또는 비용 함수를 사용하여 입력 데이터 샘플들(201a)에 대해 훈련될 수 있다. 인코딩 네트워크(202a) 및/또는 디코딩 네트워크(202b)의 은닉 계층(들)의 가중치들은 비용 모듈(216)의 비용 함수의 생성된 손실에 기초하여 갱신된다.

오토인코더(220)는 또한 3개의 별도의 스테이지들에서 훈련될 수 있다. 먼저, 인코더 네트워크(202a) 및 디코더 네트워크(202b)를 포함하는 오토인코더(220)는 재구성 에러에 대해 훈련된다. 예를 들어, L _k /N이 정수이고 각각의 데이터 포인트 또는 서브그룹이 1≤i≤L _k 샘플들인 L _k 다채널 신경학적 샘플 벡터들((x_i)^k)의 k-번째 세트 또는 k-번째 시퀀스로부터 근접하여 선택되는 N 다채널 신경학적 샘플 벡터들로부터 구성되는 N 다채널 신경학적 샘플 벡터들(예를 들어, 각각의 다채널 신경학적 샘플 벡터는M-차원 벡터임)의 N×M 매트릭스로서 X _n 으로 표시될 수 있는 N<L _k 인 경우, k-번째 다채널 신경학적 샘플 벡터 시퀀스에 대한 데이터 포인트들은 X _n 의 N×M 샘플들이 n-번째 시간 단계에서 입력으로서 표시되고 재구성된 입력이 n-번째 시간 단계에서

로서 표시되는 ( X _n ) ^k 으로서 표현될 수 있다. 단순화를 위해 그리고 단지 예로서, n-번째 시간 단계에서의 입력은 x _n 으로 표시되고 재구성된 입력은 n-번째 시간 단계에서

으로 표시되며 여기서 오토인코더(220)의 손실 비용 함수(L_AE)는 다음과 같이 정의될 수 있다:

제2 스테이지에서, 판별기 함수(f())는 다음의 손실 함수(L_{D Y} )에 의해 생성자 함수(g( X _n ))로부터 생성되는 라벨 벡터들(y)(206)과 범주 샘플들(y') 사이의 차이를 학습한다:

여기서, 각각의 y' _n 은 범주형 분포(210a)로부터 무작위로 샘플링된다. 효과적으로, 판별기 네트워크(210)는 입력이 생성될 때 네거티브 값을 생성하고 입력이 범주형 분포(210a)로부터 샘플링될 때 포지티브 값들을 생성하도록 훈련된다.

제3 스테이지에서, 인코더 네트워크(202a)(예를 들어, 생성자)는 판별기 네트워크(210)를 "풀잉(fooling)"함으로써 1-핫-유사인 라벨 벡터(y)(206) 표현을 생성하도록 훈련된다. 다음의 손실 함수(L_{G Y} )는 현재 고정된 판별기 함수(f)가 포지티브 값들을 산출하도록 라벨 벡터(y)(206)를 생성하기 위해 인코더 네트워크(202a)를 장려하거나 훈련/적응시킨다.

판별기 네트워크(210)는 인코더 네트워크(202a)(예를 들어, 생성자)의 모든 갱신에 대해 여러 번(예를 들어, 3 번) 갱신될 수 있다. 이것은 판별기 네트워크(210)가 인코더 네트워크(202a)의 갱신 단계들 각각에서 정확한 방향으로 인코더 네트워크(202a)(예를 들어, 생성자)를 지향시키거나 가리키는 것을 보장한다.

특히, 제2 스테이지에서, 스타일 벡터(z)(208)의 하나 이상의 선택된 벡터(들)(A _i )(208a-208n)에 대응하는 하나 이상의 판별기 함수들 (f())이 있다. 판별기 함수들(f()) 각각은 다음의 손실 함수(L_{D Ai} )에 의해 생성자 함수(g( X _n ))로부터 생성되는 스타일 벡터(z)(208)의 대응하는 선택된 벡터(A _i )(208a)와 대응하는 확률 분포(214a)로부터의 샘플들(Ai') 사이의 차이를 학습한다:

여기서, 각각의 Ai' _n 은 확률 분포(P(A _i ))(214a)로부터 무작위로 샘플링된다. 효과적으로, 판별기 네트워크(212a)는 입력이 생성될 때 네거티브 값을 생성하고 입력이 확률 분포(P(A _i ))(214a)로부터 샘플링될 때 포지티브 값들을 생성하도록 훈련된다. 이것은 하나 이상의 벡터들(A _i )(208a-208n) 각각에 대해 수행된다.

제3 스테이지에서, 인코더 네트워크(202a)(예를 들어, 생성자)는 판별기 네트워크(213a-213e)를 '풀링'함으로써 대응하는 확률 분포(P(A _i ))(214a)에 근사하거나 수렴하는 스타일 벡터(z)(208)의 하나 이상의 벡터들(A _i )(208a-208n) 각각의 표현을 생성하도록 훈련된다. 벡터들(A _i )(208a-208n)에 대응하는 다음의 손실 함수 값들(L _GA1 , L _GA2 , ..., L _GAi , ..., L _GAn )은 잠복 벡터의 스타일 벡터(z)(208)의 대응하는 벡터들(A _i )(208a-208n)에 대해 선택된 확률 분포(들)(P(A _i ))(214a-214n) 각각을 시행하도록 인코더 네트워크(202a)를 훈련시키기 위해 사용된다. 따라서, 이들 손실 함수 값들(L _GA1 , L _GA2 , ..., L _GAi , ..., L _GAn )은 새롭게 고정된 판별기 함수(f())가 포지티브 값들을 산출하도록 스타일 벡터(z)(208)의 하나 이상의 벡터들(A _i )(208a-208n)을 생성하기 위해 인코더 네트워크(202a)를 격려하거나 훈련/적응시키며, 여기서 각각의 손실 함수 값(L _GAi )은 하기와 같다.

판별기 네트워크들(212a-212n) 각각은 인코더 네트워크(202a)(예를 들어, 생성자)의 모든 갱신에 대해 여러 번(예를 들어, 3 번) 갱신될 수 있다. 이것은 판별기 네트워크들(212a-212n)이 인코더 네트워크(202a)의 갱신 단계들 각각에서 정확한 방향으로 인코더 네트워크(202a)(예를 들어, 생성자)를 지향시키거나 가리키는 것을 보장한다.

z 표현에 대한 갱신들을 훈련시키는 정규화 네트워크(들)(212a-212n) 판별기(들) 및 생성자(들)는 범주형 y를 가우스 분포(214)로부터의 샘플들 z로 대체하는 것을 제외하고, 라벨 벡터(y)에 대해 위에서 상세히 설명된 것들과 동일하다. 모델의 모든 네트워크들은 훈련 동안 동일한 주파수에서 갱신된다.

도 2a 내지 도 2e는 적대적 네트워크(210)를 갖는 오토인코더들(200 및 220)를 설명하였지만, 이것은 단지 예이고 오토인코더들(200 및 220)은 그렇게 제한되지 않으며, 라벨 벡터(y)를 더 시불변이도록 할 수 있기 위해 z를 정규화하는 오토인코더는 라벨 벡터(y)가 제한되거나, 범주형 분포에 합치하도록 강제되거나, 적대적 네트워크(210)에 의해 제한되도록 요구하지 않을 수 있으며, 그 대신 하나 이상의 또는 임의의 다른 분류 기술(들)이 적대적 네트워크(210) 대신에 사용되도록 적응가능하게 될 수 있다는 것이 당업자에 의해 이해되어야 한다. 따라서, 적대적 네트워크(210)는 스타일 벡터(z)가 정규화되지 않은 때와 비교하여 라벨 벡터(y)가 실질적으로 시불변 또는 시불변이도록 스타일 벡터(z)를 여전히 정규화하면서 하나 이상의 다른 분류 기술(들)에 의해 대체되고/되거나 하나 이상의 다른 분류 기술(들)에 기초하여 수정될 수 도 있다.

추가 수정들은 적대적 네트워크(210)를 제거하고 라벨 벡터(y)에 대해 동작하기 위한 임의의 적합한 분류 기술로 대체함으로써 오토인코더(200 또는 220)에 대해 이루어질 수 있다. 스타일 벡터(z)를 정규화하는 장점들은 라벨 벡터(y)가 1-핫 유사 벡터가 되도록 요구하지 않는 것이라는 점이 이해되어야 한다. 예를 들어, 수정된 오토인코더(200 또는 220)는 라벨 벡터(y)가 적대적 네트워크에 의해 제한되거나 제약되지 않도록 적대적 네트워크(210)를 제거함으로써 구성될 수 있고, 여기서, 오토인코더는 잠복 공간의 라벨 벡터(y)를 출력하는 잠복 표현 계층을 더 포함할 수 있으며, 여기서 라벨 벡터(y)에 결합되는 분류 컴포넌트(component) 또는 기술은 라벨 벡터(y) 상에서 동작하고/하거나 이를 분류한다. 라벨 벡터(y)가 1-핫 라벨 유사 벡터에 제약되고 있지 않은 경우들에서, 라벨 벡터(y)는, 단지 예이지만 이에 제한되지 않는, 소프트 벡터, 1-핫 유사 벡터가 아닌 임의의 다른 표현, 1-핫 유사 벡터이지만 적대적 네트워크(210)에 기초하여 생성되지 않는 임의의 다른 표현일 수 있거나, 여기서 라벨 벡터(y)는 밀집 소프트 벡터, 또는 적절한 분류 기술에 대해 적합할 수 있는 라벨 벡터(y)의 임의의 다른 데이터 표현이다.

도 2a 내지 도 2e는 스타일 벡터(z)가 정규화되거나 하나 이상의 선택된 벡터(들)(A _i )가 정규화되는 것을 설명하지만, 이것은 단지 예이고 오토인코더(200 또는 220)는 이에 제한되지 않지만, 스타일 벡터(z)를 정규화하는 것은, 단지 예이지만 이에 제한되지 않는, 스타일 벡터(z)의 일부를 정규화하고, 스타일 벡터(z)의 섹션을 정규화하고, 스타일 벡터(z)의 서브벡터를 정규화하는 것을 더 포함할 수 있으며, 여기서 스타일 벡터(z)의 서브벡터는 선택된 벡터들(A _i ) 서브그룹이고/이거나 스타일 벡터(z)의 서브벡터의 길이는 스타일 벡터(z)의 길이 미만이라는 것이 당업자에 의해 이해되어야 한다. 대안적으로 또는 추가적으로, 스타일 벡터(z)를 정규화하는 것은 선택된 벡터(들)(A _i ) 및 대응하는 선택된 확률 분포들(P(A _i ))의 서브그룹을 선택하고, 스타일 벡터(z)의 선택된 벡터(들)(A _i )의 서브그룹만 정규화하는 것을 더 포함할 수 있으며, 여기서 벡터(들)(A _i )의 서브그룹에서의 벡터(들)(A _i )의 수는 선택된 벡터(들)(A _i )의 수 미만이다 _. 대안적으로, 스타일 벡터(z)는 부분적으로 정규화될 수 있거나 스타일 벡터(z)는 전적으로 정규화될 수 있다.

도2a 내지 도 2e의 오토인코더(들)(200 및 220)는 라벨 벡터들(y)의 시불변성을 증가시키거나 또는 감소시키기 위해 스타일 벡터(z)의 정규화를 제어함으로써 최적화될 수 있다. z(208)의 정규화는 오토인코더(200 또는 220)의 복수의 훈련 사이클에 걸쳐 제어될 수 있다. 하기를 포함할 수 있는 스타일 벡터(z)의 정규화를 제어하기 위해 조정될 수 있는 오토인코더(들)(200 및 220)의 다수의 양태들이 있다: 스타일 벡터(z)가 하나 이상의 벡터(들)(A _i )(208a-208n)를 포함하는 하나 이상의 벡터(들)(A _i )(208a-208n)에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n)를 선택하고 선택된 확률 분포(들)(214a-214n)에 기초하여 스타일 벡터(z)(208)를 정규화하는 것. 벡터(들)(A _i )(208a-208n) 및 확률 분포(들)(214a-214n)는 스타일 벡터(z)(208)를 정규화하는 것이 스타일 벡터(z)(208)의 적어도 일부에 대해 선택된 확률 분포(214a-214n)를 시행하기 위해 입력 훈련 데이터로 오토인코더(들)(200 또는 220)의 인코더 네트워크(202a)를 훈련시키는 것을 더 포함하는 것을 보장하도록 선택된다. 벡터(들)(A _i )(208a-208n) 및 확률 분포(들)(214a-214n)는 스타일 벡터(z)(208)의 정규화가 정규화 없이 오토인코더(200 또는 220)로부터 출력되는 라벨 벡터들(y)(206)의 대응하는 세트와 비교하여 라벨 벡터들(y)(206)의 세트의 시불변성을 증가시킨다는 것을 보장하도록 선택된다.

오토인코더(200 또는 220)를 훈련시키기 전에, 스타일 벡터(z)(208)를 분할하기 위한 하나 이상의 벡터(들)(A _i )(208a-208n)의 수가 선택되고/되거나 하나 이상의 벡터(들)(A _i )(208a-208n) 각각의 크기(들)와 함께 선택될 수 있다. 다수의 확률 분포들 또는 복수의 확률 분포들로부터 선택하여, 선택된 벡터(들)(A _i )(208a-208n)에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n)가 또한 선택될 수 있다. 스타일 벡터(z)(208)는 선택된 벡터(들)(A _i )(208a-208n) 및 선택된 확률 분포(들)(P(A _i ))(214a-214n)에 의해 정규화될 수 있으며, 여기서, 스타일 벡터(z)(208)는 선택된 벡터(들)(A _i )(208a-208n)로 분할되거나 선택된 벡터(들)(A _i )(208a-208n)의 연결이다.

도 2a 내지 도 2e에 대해 이전에 설명된 바와 같이, 스타일 벡터(z)(208)를 분할하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n) 및 대응하는 하나 이상의 벡터(들)(A _i )(208a-208n)가 선택될 수 있으며 여기서 스타일 벡터(z)(208)의 정규화는 라벨 벡터(들)(y)(206)의 시불변성을 개선시키거나 증가시키고/시키거나 라벨 벡터(들)(y)(206)가 실질적으로 시불변 또는 심지어 시불변인 것을 보장한다. 이들 선택들은 그들이 오토인코더(200 또는 220)의 구성을 변경하거나 이를 구성하기 때문에 오토인코더(200 또는 220)의 하이퍼파라미터들로서 생각될 수 있다. 따라서, 스타일 벡터(z)를 분할하는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 선택된 벡터(들)(A _i )는 하이퍼파라미터들의 세트의 일부일 수 있다.

추가 수정들로서, 라벨 벡터(y)(206)는, 단지 예로서만 그러나 이에 제한되지 않는, 벡터, 텐서(tensor) 또는 기타를 포함할 수 있으며, 벡터, 텐서 또는 기타는, 단지 예로서만 그러나 이에 제한되지 않는, 하기: 즉, 1 핫 벡터; 엔트로피의 측정; L1 L2 또는 둘 다, 또는 다른 표준들로 정규화되는 것; 이산 볼츠만 분포 벡터; 이전 클래스 상태의 표현; 공지된 특징 또는 구성 세트의 그룹으로부터 적어도 하나 이상을 포함한다. 대안적으로 또는 추가적으로, 스타일 벡터(z)(208)는, 단지 예로서만 그러나 이에 제한되지 않는, 벡터, 텐서 또는 기타를 포함할 수 있으며, 여기서, 벡터, 텐서 또는 기타는, 단지 예로서만 그러나 이에 제한되지 않는, 하기: 즉, 확률 분포; L1 L2 또는 둘 다, 또는 다른 표준들; 장애 변수들; 및 에러 변수들의 그룹으로부터 적어도 하나 이상에 의해 페널티화 또는 정규화된다. L1 및 L2는 벡터에서 모든 요소들의 총 값의 잘 공지된 "거리" 측정들 또는 측정이다. 이러한 측정을 사용하여 페널티화하거나 정규화하는 것은 이러한 측정을 최소화한다.

도 3은 잠복 벡터(z)가 이상적인 또는 최적의 하이퍼파라미터들의 세트를 사용하는 ML 기술에 대해 정규화된 라벨 벡터(들)(y)(206)의 세트의 예시적 클러스터링(300)을 예시하는 개략도이다. 이러한 예는 클러스터 영역(302)에 함께 클러스터링되었던 ML 기술에 의해 출력되는 모든 벡터 라벨들이 실제 상태(S₁)에 속하고, 클러스터 영역(304)에 함께 클러스터링되었던 모든 벡터 라벨들이 실제 상태(S₂)에 속하고, 클러스터 영역(306)에 함께 클러스터링되었던 모든 벡터 라벨들이 실제 상태(S₃)에 속하는 이상화된 시나리오를 예시한다. 이러한 경우, ML 기술이 함께 클러스터링되고 동일한 상태들에 속하는 벡터 라벨들을 출력한다고 고려해 볼 때, 이것은 일시적 상관이 인접한 입력 데이터 샘플들(예를 들어, 신경 샘플 데이터 시퀀스들) 사이에서 최소화되었거나 심지어 제거되었다는 표시일 수 있다. 따라서, ML 기술은 입력 데이터 샘플들 내에서 "일시적 패턴"의 발생을 지나치게 표현하지 않도록 훈련되었다. 따라서, 이것은 ML 기술 및 연관된 분류기가 매우 강건하고 고주파 시변 입력 데이터 신호(들)에서 일시적 변화들을 대처할 수 있다는 것을 표시한다. 간단히 말해서, 시간에서 인접한 상이한 상태들은 상이한 클러스터 영역들에 매핑되어야 한다. 유사하게, 상이한 클러스터 영역들에 함께 있는 상이한 벡터 라벨들은 상이한 상태들에 매핑되어야 한다. 따라서, 하이퍼파라미터들의 세트, 특히 스타일 벡터(z)(208)를 분할하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n) 및 대응하는 하나 이상의 벡터(들)(A _i )(208a-208n)의 선택은 스타일 벡터(z)(208) 상의 정규화가 수행될 때 라벨 벡터들(y)(206)의 클러스터링 및 시불변성에 영향을 미칠 것이다.

도 4a는 스타일 벡터(z)의 정규화를 제어하고 따라서 본 발명에 따른 도 2a 내지 도 2e의 예시적 ML 기술(들)(200 또는 220)과 함께 사용하기 위한 적합한 하이퍼파라미터들을 선택하기 위한 예시적 최적화 방법(400)을 예시하는 흐름도이다. 도 2a 내지 도 2e에 대해 이전에 설명된 바와 같이, 스타일 벡터(z)(208)를 분할하는 하나 이상의 확률 분포(들)(P(A _i ))(214a-214n) 및 대응하는 하나 이상의 벡터(들)(A _i )(208a-208n)가 선택될 수 있으며 여기서 스타일 벡터(z)(208)의 정규화는 라벨 벡터(들)(y)(206)의 시불변성을 개선시키거나 증가시키고/시키거나 라벨 벡터(들)(y)(206)가 실질적으로 시불변 또는 심지어 시불변인 것을 보장한다. 이들 선택들은 그들이 오토인코더(200 또는 220)의 구성을 변경하거나 이를 구성하기 때문에 오토인코더(200 또는 220)의 하이퍼파라미터들로서 생각될 수 있다. 따라서, 스타일 벡터(z)를 분할하는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 선택된 벡터(들)(A _i )는 하이퍼파라미터들의 세트의 일부일 수 있다. 다음의 최적화 방법은, 단지 예이지만 이에 제한되지 않는, 하기 단계들을 포함한다:

단계(402)에서, 복수의 하이퍼파라미터들의 세트들이 생성되며, 여기서 하이퍼파라미터들의 각각의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i ))(214a-214n) 및 (예를 들어, 벡터들의 수, 크기(들) 또는 벡터들 등) 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )(208a-208n)를 나타내는 데이터를 포함하며, 여기서 각각의 하이퍼파라미터들의 세트는 오토인코더 구조를 정의한다. 각각의 하이퍼파라미터들의 세트는 검색이 라벨 벡터(y)(206)의 시불변성을 증가시키거나 라벨 벡터(y)(206)가 시불변 또는 실질적으로 시불변이라고 보장하는 그러한 하이퍼파라미터들의 세트를 발견하기 위해 하이퍼파라미터 공간에 걸쳐 수행되게 할 수 있는 하이퍼파라미터들의 세트와 연관되는 범위들, 스텝 크기들, 및 다른 인자들로부터 자동으로 및/또는 수동으로 선택될 수 있다. 일단 생성되면, 방법은 단계(404)로 진행한다.

단계(404)에서, 복수의 하이퍼파라미터들의 세트들 중 각각의 하이퍼파라미터의 세트에 대해, 하이퍼파라미터들의 세트는 복수의 하이퍼파라미터들의 세트들로부터 선택된다. 그 다음, 방법(400)은 하이퍼파라미터들의 세트에 의해 구성되는 오토인코더의 라벨 벡터(들)(y)(206)의 세트의 클러스터링 및 시불변성 성능을 결정하기 위해 진행된다.

단계(406)에서, 오토인코더(200 또는 220)는 선택된 하이퍼파라미터들의 세트에 기초하여 구성될 수 있다. 일단 구성되면, 단계(408)에서, 스타일 벡터(z)는 입력 데이터세트(예를 들어, 고주파 시변 입력 데이터 샘플들 또는 신경학적 신호(들) 등)에 대해 구성된 오토인코더(200 또는 220)를 훈련시킴으로써 하이퍼파라미터들의 세트에 기초하여 정규화된다. 단계(410)에서, 라벨 벡터들(y)의 세트는 훈련된 오토인코더(200 또는 220) 및 입력 데이터세트에 기초하여 생성된다.

단계(412)에서, 다수의 클러스터들(또는 2개 이상의 클러스터들)은 라벨 벡터들(y)(206)의 출력 세트에 기초하여 결정될 수 있다. 이것은 클러스터들 각각이 실질적으로 동일하거나 유사한 라벨 벡터들(y)(206)의 서브그룹을 포함하는지 여부를 검출하는 단계를 포함할 수 있다. 각각의 클러스터는 영역 또는 경계에 의해 정의될 수 있고 각각의 클러스터에 대한 라벨 벡터들(y)(206)의 서브그룹은 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)(206)은 그들이 동일한 클러스터의 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사하다. 라벨 벡터들(y)(206)의 세트가 클러스터링되는 것으로 간주되는 경우(예를 들어, 'Y'), 그 다음, 방법(400)은 단계(414)로 진행되며, 그렇지 않으면(예를 들어, 'N') 그것은 다른 하이퍼파라미터들의 세트를 선택하기 위해 단계(404)로 진행된다.

단계(414)에서, 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)(206)의 서브그룹을 포함한다고 검출하는 것에 응답하여, 방법은 라벨 벡터들(y)(206)의 세트가 실질적으로 시불변인지 여부를 검출하기 위해 진행된다. 이것은 벡터들(y)(206)이, 단지 예이지만 이에 제한되지 않는, 시불변, 시간 의존, 또는 실질적 시불변인지 여부를 결정하기 위해 시간 도메인에서 벡터들(y)(206)의 분포를 분석하는 단계를 포함할 수 있다. 라벨 벡터들(y)의 세트는 동일한 입력 데이터세트 상에서 생성되지만 상이한 하이퍼파라미터들의 세트들을 갖는 이전 라벨 벡터들(y)의 세트들과 비교될 수 있다. 이전 라벨 벡터들(y)의 세트들은 상이한 정도의 시불변성을 가질 수 있고 따라서 라벨 벡터들(y)의 출력 세트를 스코어링하기 위해 사용될 수도 있을 것이다. 대안적으로, 타이밍 정보와 결합되는, 오토인코더의 잠복 공간을 시각화하는, t-SNE(t-distributed Stochastic Neighbour Embedding) 플롯들은 분석되고 라벨 벡터들(y)이 최적화 방법(400)의 다른 반복들과 비교하여 시불변에서 증가하였는지 여부를 결정할 수 있다. 라벨 벡터들(y)(206)의 세트가 증가된 시불변성을 갖거나 실질적으로 시불변이라고 간주되면(예를 들어, 'Y'), 그 다음, 방법(400)은 단계(416)로 진행하며, 그렇지 않으면 (예를 들어, 'N') 방법은 다른 하이퍼파라미터들의 세트를 선택하기 위해 단계(404)로 진행한다.

단계(416)에서, 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)(206)의 서브그룹을 포함하는 것을 검출하고 라벨 벡터들(y)(206)의 세트가 실질적으로 시불변인 것을 검출하는 것에 응답하여, 그 다음, 선택된 하이퍼파라미터들의 세트는 최적화된 하이퍼파라미터 데이터세트에 저장될 수 있는 하이퍼파라미터들의 세트로 간주된다. 최적화된 하이퍼파라미터 데이터세트 내의 각각의 하이퍼파라미터들의 세트는, 훈련 동안 스타일 벡터(z)(208)를 정규화함으로써, 실질적으로 시불변 라벨 벡터(들)(y)(206), 또는 증가된 시불변성을 갖는 라벨 벡터(들)(y)(206)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의한다.

따라서, 이러한 방법(400)은 훈련 동안 스타일 벡터(z)(208)를 정규화함으로써 어떤 하이퍼파라미터들의 세트들이 실질적으로 시불변 또는 시불변 라벨 벡터(들)(y)(206)로서 출력하는 오토인코더 구조를 야기하는지를 결정하기 위해 복수의 하이퍼파라미터들의 세트들 상에서 수행될 수 있다.

하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i ))(214a-214n) 및 (예를 들어, 벡터들의 수, 크기(들) 또는 벡터들 등) 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )(208a-208n)를 나타내는 데이터를 포함했지만, 하이퍼파라미터들의 세트는 하기의 그룹으로부터 하나 이상을 더 포함할 수 있다: 오토인코더 크기 - 오토인코더 크기는 인코더 상태의 길이를 포함함 -; 초기 학습률 또는 감쇠; 배치 크기 - 배치 크기는 샘플들의 수를 포함하고 오토인코더 신경 네트워크 또는 은닉 계층(들)의 가중치들 또는 파라미터들의 갱신을 정의함 -; 라벨 벡터(y)의 크기; 라벨 벡터(y)와 연관되는 클래스들 또는 상태들의 수; 은닉 계층(들), 신경 네트워크 셀들, 및/또는 롱 쇼트 텀 메모리 셀들의 수; 피드 크기 - 피드 크기는 데이터 포인트 또는 배치 당 시간 단계들의 수를 포함함 -; 손실 가중 계수 - 손실 가중 계수는 오토인코더가 판별기 및/또는 생성자 신경 네트워크 컴포넌트들을 사용할 때 생성 및 식별 손실들에 부여하는 상대 가중치를 포함함 -; 오토인코더 신경 네트워크 구조(들)의 가중치를 최적화하기 위한 최적화 함수(function); 오토인코더 신경 네트워크 구조(들)의 가중치들의 가중치 갱신 알고리즘 또는 절차의 유형; 학습률 감쇠 인자 - 학습률 감쇠 인자는 오토인코더의 손실 비용 함수와 연관되는 손실이 안전 상태에 이르거나 침체될 때 학습률을 조정하기 위해 사용됨 -; 및 학습률이 얼마나 자주 조정될지를 결정하기 위한 하나 이상의 성능 체크포인트(들).

하이퍼파라미터들의 세트는 하기 그룹으로부터 하나 이상을 더 포함할 수 있다: 오토인코더 크기 - 오토인코더 크기는 적용에 따라 20 내지 1500이하 또는 이상의 범위의 인코더 상태의 길이를 포함함 -; 적용에 따라 0.0001 내지 0.1이하 또는 이상의 범위의 초기 학습률 또는 감쇠; 배치 크기 - 배치 크기는 샘플들의 수를 포함하고 오토인코더 신경 네트워크 또는 은닉 계층(들)의 가중치들 또는 파라미터들을 정의하고 적용에 따라 64 내지 1028이하 또는 이상의 범위에 있을 수 있음 -; 적용에 따라 임의의 수일 수 있는, 라벨 벡터(y)와 연관되는 클래스들 또는 상태들의 라벨 벡터(y)의 크기; 은닉 계층(들), 신경 네트워크 셀들, 및/또는 롱 쇼트 텀 메모리 셀들의 수 - 이들은 응용에 따라 1 내지 3 이하 또는 이상의 범위에 있을 수 있음 -; 피드 크기 - 피드 크기는 데이터 포인트 또는 배치 당 시간 단계들의 수를 포함하고 적용에 따라 100 내지 500이하 또는 이상의 범위에 있을 수 있음 -; 손실 가중 계수 - 손실 가중 계수는 오토인코더가 판별기 및/또는 생성자 신경 네트워크 컴포넌트들을 사용할 때 생성 및 식별 손실들에 부여하는 상대 가중치를 포함하고 적용에 따라 0.1 내지 1 이하 또는 이상의 범위에 있을 수 있음 -; 오토인코더 신경 네트워크 구조(들)의 가중치를 최적화하기 위한 최적화 함수; 오토인코더 신경 네트워크 구조(들)의 가중치들의 가중치 갱신 알고리즘 또는 절차의 유형; 학습률 감쇠 인자 - 학습률 감쇠 인자는 오토인코더의 손실 비용 함수와 연관되는 손실이 안전 상태에 이르거나 침체될 때 학습률을 조정하기 위해 사용됨 -; 및 학습률이 얼마나 자주 조정될지를 결정하기 위한 하나 이상의 성능 체크포인트(들).

더욱이, 최적화 방법(400)은 하기 단계를 더 포함할 수 있다: 각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 다수의 클러스터들을 형성하기 위해 라벨 벡터들(y)의 세트를 클러스터링하는 단계, 라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 하이퍼파라미터들의 세트에 의해 정의되는 오토인코더에 의한 사용을 위해 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)로부터의 클래스 또는 상태 라벨에 매핑시키는 단계.

단지 예이지만 이에 제한되지 않는, 오토인코더 구성 데이터의 세트와 같은 오토인코더의 구조를 표현하는 추가 데이터는 오토인코더를 구성하기 위한 이후 검색을 위해 저장될 수 있다. 예를 들어, 오토인코더 구성 데이터의 세트는 최적화된 오토인코더 구성 데이터세트에 저장될 수 있으며, 오토인코더 구성 데이터의 세트는 하기의 그룹으로부터 하나 이상을 나타내는 데이터를 포함한다: 최적화된 하이퍼파라미터 데이터세트에 저장되는 하이퍼파라미터들의 세트를 나타내는 데이터; 라벨 벡터들(y)의 클러스터들을 나타내는 데이터; 클래스 또는 상태 라벨들(S)에 대한 라벨 벡터들(y)의 클러스터들 각각의 매핑을 나타내는 데이터; 및 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 가중치들 및/또는 파라미터들을 나타내는 데이터.

따라서, 오토인코더 구성 데이터의 세트는 최적화된 오토인코더 구성 데이터세트로부터 선택되고 오토인코더에 적용될 수 있다. 오토인코더는 오토인코더 구성 데이터의 세트에 기초하여 구성될 수 있으며, 여기서, 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y)(206) 및 스타일 벡터(z)(208)를 포함하며 여기서 오토인코더는 오토인코더 구성 데이터의 세트의 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 가중치들 및/또는 파라미터들을 나타내는 데이터에 기초하여 구성되며, 여기서 훈련된 오토인코더는 스타일 벡터(z)(208)를 정규화하였고 실질적 시불변 라벨 벡터(들)(y)(206)를 출력한다.

대안적으로 또는 추가적으로, 오토인코더 시스템 또는 사용자는 선택된 하나 이상의 확률 분포들 및 선택된 하나 이상의 벡터(들)(A _i )를 검색할 수 있으며 여기서 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초한 스타일 벡터(z)의 정규화는 스타일 벡터(z)가 훈련 동안 정규화되지 않을 때와 비교하여 라벨 벡터(y)의 시불변성을 증가시킨다. 검색된 분포들 및 벡터들은 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 오토인코더의 정규화 컴포넌트/네트워크(212 또는 212a-212n)를 구성하기 위해 사용될 수 있다. 오토인코더는 훈련될 수 있으며 여기서 잠복 벡터(z)를 정규화하는 것은 라벨 벡터들(y)의 세트를 생성하기 위한 입력 데이터세트에 기초하며, 여기서, 라벨 벡터들(y)의 세트는 입력 데이터와 연관되는 상태들 또는 클래스 라벨의 세트에 매핑된다. 추가 데이터를 훈련된 오토인코더에 입력함으로써 추가 데이터를 분류하는 단계 및 출력 라벨 벡터들(y)을 상태들 또는 클래스 라벨의 세트에 매핑시키는 단계로서, 여기서, 출력 라벨 벡터들(y)은 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 실질적으로 시불변이다.

본원에서 설명된 바와 같이, 입력 데이터는 하나 이상의 시변 입력 신호(들) 또는 하나 이상의 고주파 시변 입력 신호(들)에 기초한 임의의 입력 데이터를 포함할 수 있다. 예를 들어, 입력 데이터는, 단지 예이지만 이에 제한되지 않는, 하나 이상의 신경학적 신호(들)와 연관되는 신경 샘플 데이터를 포함할 수 있다. 따라서, 오토인코더는 신경 샘플 데이터의 훈련 데이터세트에 기초하여 훈련될 수 있다. 오토인코더는 신경 샘플 데이터의 훈련 데이터세트에 기초하여 훈련될 수 있으며, 신경 샘플 데이터는 신경 샘플 데이터의 상호 배타적 서브세트들로 분할되고, 여기서 신경 샘플 데이터의 각각의 서브세트는 본원에 포함되는 신경 샘플 데이터를 식별하는 상태 또는 클래스 라벨에 대응한다. 라벨 벡터(y)는 신경 샘플 데이터의 훈련 세트로부터 신경 샘플 데이터의 각각의 부분을 하나 이상의 신경 데이터 라벨들로 분류할 수 있는 신경 데이터 라벨 벡터에 대응한다.

따라서, 방법(400)은 대응하는 확률 분포들에 기초하여 스타일 벡터(z)의 하나 이상의 벡터(들)(A _i )를 정규화하는 것으로 인해 라벨 벡터(y)에서 시불변성의 증가를 보장하는 적절한 하나 이상의 확률 분포들 및 대응하는 하나 이상의 벡터(들)(A _i )를 포함하는 하이퍼파라미터들의 최적 세트들을 발견하기 위해 사용될 수 있다.

도 4b 및 도 4c는 실제 상태/클래스에 의해 컬러화되는 도 4b의 예시적 t-SNE 클러스터링 그래프(430) 및 도 2a 및 오토인코더(200)를 참조하여 설명되는 시도와 관련하여 기록의 시간에 의해 컬러화되는 도 4c의 예시적 t-SNE 시간 도메인 그래프(440)를 예시하는 그래픽 t-SNE(t-Distributed Stochastic Neighbour Embedding) 다이어그램들이다. t-SNE는 산란 플롯의 형태로, 라벨 벡터들(y)(206)의 세트와 같은, 고차원 데이터세트들의 시각화에 특히 매우 적합한 차원수 감소를 위한, 여러 기술들, 예를 들어, 이소맵(isomap) 또는 주성분 분석(Principal component analysis) 중 하나이다.

시도(trial)에서, 선택된 하이퍼파라미터들의 세트는 하나의 벡터(A ₁ )(예를 들어, 스타일 벡터 z = [A ₁ ])인 하나 이상의 벡터들(A _i ) 및 제로 및 단위 분산(예를 들어, P(A ₁ ) = N(A ₁ |0,I))과 동일한 평균을 갖는 표준 가우스 또는 정규 분포인 선택된 확률 분포의 수를 포함하였다. 시도에서, 고주파 시변 입력 데이터는 피험자로부터의 15개의 다채널 신경 샘플 신호(들)였으며 여기서 5개의 실제 상태들이 입력 다채널 신경 샘플 신호(들) 내에 포함되는 신경 활동을 분류하기 위해 정의되었다. 5개의 실제 상태들은 "기립", "걷기", "셔플", "반전" 및 "회전"이었다. 도 2a의 오토인코더(200)는 스타일 벡터(z)(208)가 정규 분포에 기초하여 정규화된 입력 신경학적 샘플 신호(들)에 대해 훈련되었다. 라벨 벡터들(y)(206)의 세트는 5개의 실제 상태들에 기초하여 결정되고 분류되었다.

도 4b는 훈련 후 오토인코더(200)로부터 출력되는 라벨 벡터들(y)의 세트의 t-SNE 클러스터링 그래프(430)이다. 볼 수 있는 바와 같이 여러 개의 클러스터들(432a, 432b 및 434)이 형성되었다. 클러스터들(432a 및 432b)은 실제 상태 "기립"과 주로 연관되는 것으로 식별되었고 클러스터(434)는 실제 상태 "셔플"과 주로 연관되는 것으로 식별되었다. 훈련 후 오토인코더(200)는 라벨 벡터들(y)의 여러 잘 형성된 클러스터들을 형성하는 데 성공했다. 입력 신경 샘플 신호(들)가 신경-원시 데이터세트의 고주파 시변 입력 데이터 샘플들이었다는 것을 고려해 볼 때, t-SNR 플롯들에서 일부 클래스 간 중첩이 있었다. 여기서, 각각의 데이터 포인트(예를 들어, 라벨 벡터(y))는 단지 0.00167s의 시간에 걸치고 따라서 그것이 다음과 같이 라벨링된 액션/클래스와 관련이 없는 여러 개의 데이터 포인트들이 있을 수도 있다. 더욱이, 각각의 포인트에 정확하게 실제 상태를 할당하는 것은 극도로 비실용적이고 부정확할 것이다. 그것은 또한 t-SNE 플롯들 내의 클러스터들이 반드시 각각의 라벨 벡터(y) 표현에서 최대 값들로부터 유도되는 라벨들의 궁극적인 클러스터들일 필요가 없다는 점이 주목되어야 한다.

도 4c는 t-SNE 시간 도메인 그래프(440)이며, 이는 데이터 포인트들(예를 들어, 라벨 벡터들(y))이 기록의 시간에 대해 단순히 클러스터링되지 않는 것을 보장하기 위해 사용되었다. t-SNE 시간 도메인 그래프(440)는 기록 시간의 컬러 바와 중첩되는 t-SNE 클러스터링 그래프(430)이다. 이러한 컬러 바로부터, 클러스터들이 시간에서 상이하고 다양한 포인트들로부터 데이터 포인트들을 포함하고 있다는 것은 자명하다. 이것은 라벨 벡터들(y)의 클러스트들이 시불변이고 스타일 벡터(z)의 정규화로 훈련 후 오토인코더(200)가 인접한 입력 신경학적 샘플 신호(들)의 일시적 상관의 양을 감소시키거나 최소화하였다는 것을 보여준다.

도 4d는 시간 도메인 그래프(450)가 스타일 벡터(z)의 정규화 없이 훈련 후 오토인코더(200)로부터 출력되는 라벨 벡터들(y)의 세트와 중첩되는 t-SNE 클러스터링 그래프이다. 그것은 이러한 플롯으로부터 상태/클래스 분리성이 t-SNE 공간 내의 균일 포인트 클라우드(cloud)에 의해 도시되지 않는다는 것이 자명하다. 더욱이, 플롯의 코너들은 오토인코더가 입력 신경학적 샘플 신호(들) 내의 "일시적 패턴"의 발생을 과도하게 표현하고 있다는 것을 나타내는 동일한 레벨의 회색 강도를 도시한다. 도 4d는 라벨 벡터들(y)이 시간 의존적이고 오토인코더(200)가 도 4b 및 도 4c에서와 같이 스타일 벡터(z)의 정규화로 훈련된 때와 비교하여 스타일 벡터(z)의 정규화 없이 훈련 후 오토인코더(200)가 인접한 입력 신경학적 샘플 신호(들)의 일시적 상관의 양을 증가시켰다는 것을 예시하였다.

도 5a는 본 발명에 따른 스타일 벡터(z)의 정규화로 ML 기술(들)의 하나 이상의 양태들을 구현하기 위해 사용될 수 있고/있거나 도 1a 내지 도 4c를 참조하여 설명된 바와 같은 방법들 및/또는 오토인코더(들)/시스템(들) 및 장치를 포함하는 예시적 컴퓨팅 디바이스(500)를 예시하는 개략도이다. 컴퓨팅 디바이스(500)는 하나 이상의 프로세서 유닛(들)(502), 메모리 유닛(504) 및 통신 인터페이스(506)를 포함하며 여기서 하나 이상의 프로세서 유닛(들)(502)은 메모리 유닛(504) 및 통신 인터페이스(506)에 연결된다. 통신 인터페이스(506)는 컴퓨팅 디바이스(500)를 피험자, 하나 이상의 디바이스(들), 하나 이상의 센서(들), 외부 또는 클라우드 스토리지 또는 처리 시스템(들)과 연결시킬 수 있다. 메모리 유닛(504)은 단지 예이지만 이에 제한되지 않는, 컴퓨팅 디바이스(502)를 동작시키기 위한 운영 체계(504a) 및 하나 이상의 오토인코더(들), 최적화 방법(들), 라벨링 및/또는 훈련 데이터세트(들) 생성, 오토인코더(들)의 방법(들) 및/또는 프로세스(들) 중 하나 이상 및/또는 도 1a 내지 도 4c 중 적어도 하나를 참조하여 설명되는 바와 같은 최적화 시스템(들)/플랫폼들과 연관되는 기능성 및/또는 하나 이상의 기능(들) 또는 기능성을 구현하는 것과 연관되는 추가 데이터 및/또는 추가 프로그램 명령어들, 코드 및/또는 컴포넌트들을 저장하기 위한 데이터 저장소(504b)와 같은 하나 이상의 프로그램 명령어들, 코드 또는 컴포넌트들을 저장할 수 있다.

컴퓨팅 디바이스(500)는 오토인코더를 구현하도록 구성될 수 있으며, 여기서 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 여기서, 통신 인터페이스(506)는 (예를 들어, 하나 이상의 외부 시스템들 또는 클라우드 스토리지 또는 처리 시스템들로부터) 훈련된 오토인코더 구조를 나타내는 데이터를 검색하도록 구성될 수 있으며 여기서 스타일 벡터(z)는 훈련 동안 정규화되어 하나 이상의 라벨 벡터(들)(y)가 실질적으로 시불변인 것을 보장한다. 컴퓨터 디바이스(500)는 검색된 오토인코더 구조에 기초하여 오토인코더를 구성하고; 입력 데이터와 연관되는 하나 이상의 라벨 벡터(들)(y)를 분류할 수 있으며, 여기서, 하나 이상의 라벨 벡터(들)(y)는 실질적으로 시불변이다.

오토인코더 구조를 나타내는 데이터는 도 1a 내지 도 4c를 참조하여 설명되는 바와 같은 방법(들) 및/또는 프로세스(들)에 따라 훈련된 오토인코더에 기초한다.

도 5b는 본 발명에 따른 스타일 벡터(z)의 정규화로 ML 기술(들)의 하나 이상의 양태들을 구현하기 위해 사용될 수 있고/있거나 도 1a 내지 도 4c를 참조하여 설명되는 방법들 및/또는 오토인코더(들)/시스템(들) 및 장치를 포함하는 예시적 장치 또는 디바이스(510)를 예시하는 개략도이다. 장치(510)는 하나 이상의 프로세서 유닛(들), 하나 이상의 메모리 유닛(들), 및/또는 통신 인터페이스를 포함할 수 있으며 여기서 하나 이상의 프로세서 유닛(들)은 메모리 유닛 및/또는 통신 인터페이스에 연결된다. 장치 또는 디바이스(500)는 인코딩 네트워크(512), 디코딩 네트워크(514), 잠복 공간의 스타일 벡터(z) 및 출력 라벨 벡터(y)를 출력하기 위한 잠복 표현 계층(516)을 포함할 수 있다. 스타일 벡터(z)는 하나 이상의 선택된 확률 분포(들)와 부합하는 하나 이상의 선택된 벡터(들)(A _i )를 포함할 수 있다. 인코딩 네트워크(512)의 출력은 잠복 표현 계층(516)에 연결되고, 잠복 표현 계층(516)은 디코딩 네트워크(514)의 입력에 연결된다. 장치 또는 디바이스(500)는 잠복 표현 계층(516)에 연결되는 정규화 컴포넌트/네트워크(518)를 더 포함하며, 여기서 정규화 컴포넌트/네트워크(518)는 입력 데이터 샘플들 상에서 장치 또는 디바이스(510)의 훈련 동안 스타일 벡터(z)를 정규화하도록 구성되며, 이는 장치(510)가 훈련 동안 및 그 후에, 또는 실시간 동작으로 입력 데이터 샘플들을 분류할 때 실질적으로 시불변 출력 라벨 벡터(y)를 보장하거나 초래한다.

장치(500)의 정규화 컴포넌트/네트워크(518)는 하나 이상의 정규화 네트워크(들)를 더 포함할 수 있으며, 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L _GAi )를 출력하기 위한 출력 계층을 포함하며, 여기서, 입력 계층은 스타일 벡터(z)의 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결된다. 정규화 네트워크(들) 각각은, 훈련 동안, 잠복 벡터(z)의 대응하는 벡터(A _i )와 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구별하기 위해 그들의 판별기 네트워크를 훈련시키도록 구성된다. 샘플 벡터는 잠복 벡터(z)의 벡터(A _i )와 동일한 차원이다. 각각의 정규화 네트워크는 스타일 벡터(z)의 대응하는 벡터(A _i )에 대해 확률 분포(P(A _i ))를 시행하도록 인코더 네트워크를 훈련시키기 위해 생성자 손실 함수 값(L _GAi )을 출력한다.

장치(510)는 라벨 벡터(y)에 결합되는 적대적 네트워크(520)를 더 포함할 수 있다. 적대적 네트워크(520)는 입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L _GY )를 출력하기 위한 출력 계층을 포함할 수 있다. 적대적 네트워크(520)의 입력 계층은 라벨 벡터(y)에 연결되며, 여기서, 적대적 네트워크(520)는, 훈련 동안, 라벨 벡터들(y)과 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 하나 이상의 은닉 계층(들)을 훈련시키도록 구성된다. 적대적 네트워크는 라벨 벡터(y)에 대해 범주형 분포를 시행하도록 인코더 네트워크를 훈련시키기 위해 라벨 벡터(y)와 연관되는 생성자 손실 함수 값(L _GY )을 출력한다.

장치(500)는 예이지만 이에 제한되지 않는, 생성자 손실, 라벨 벡터 생성자 손실 함수 값의 조합, 및 스타일 벡터 생성자 손실 함수 값, 디코딩 네트워크(516)로부터의 출력에 기초한 재구성 손실 및 인코더 네트워크(512)에 입력되는 원래 입력 데이터 샘플들에 기초하여, 522로 표현되는, 손실 또는 비용 함수를 사용하여 입력 데이터 샘플들에 대해 훈련될 수 있다. 인코딩 네트워크(512) 및/또는 디코딩 네트워크(516)의 은닉 계층(들)의 가중치들은 비용 모듈(522)의 비용 함수의 생성된 손실에 기초하여 갱신될 수 있다.

도 5b는 적대적 네트워크(520)를 갖는 장치(500)를 설명하지만, 이것은 단지 예이고 장치(500)는 그렇게 제한되지 않으며, 장치(500)는 라벨 벡터(y)를 더 시불변으로 만들기 위해 z를 정규화하는 동안 적대적 네트워크(520)를 반드시 요구할 할 필요가 없다는 것이 당업자에 의해 이해되어야 한다. 따라서, 장치(500)는 라벨 벡터(y)가 적대적 네트워크(520)에 의해 제한되거나, 범주형 분포에 합치되도록 강제되거나, 제약되도록 요구하지 않을 수 있다. 그 대신, 적대적 네트워크(520)는 적대적 네트워크(520) 대신에 또는 이와 조합으로 사용되도록 적용가능할 수 있는 하나 이상의 또는 임의의 다른 분류 기술(들)에 의해 대체되거나 이와 조합될 수 있다. 따라서, 적대적 네트워크(520)는 스타일 벡터(z)가 정규화되지 않을 때와 비교하여 라벨 벡터(y)가 실질적으로 시불변 또는 시불변이도록 장치(500)가 스타일 벡터(z)를 여전히 정규화할 수 있는 동안 하나 이상의 다른 분류 기술(들)에 의해 대체되고/되거나 하나 이상의 다른 분류 기술(들)에 기초하여 수정될 수도 있다.

추가 수정들은 적대적 네트워크(210)를 제거하고 라벨 벡터(y)에 대해 동작하기 위한 임의의 적합한 분류 기술로 대체함으로써 오토인코더(200 또는 220)에 대해 이루어질 수 있다. 스타일 벡터(z)를 정규화하는 장점들은 라벨 벡터(y)가 1-핫 유사 벡터가 되도록 요구하지 않는 것이라는 점이 이해되어야 한다. 예를 들어, 수정된 오토인코더(200 또는 220)는 라벨 벡터(y)가 적대적 네트워크에 의해 제한되거나 제약되지 않도록 적대적 네트워크(210)를 제거함으로써 구성될 수 있고, 여기서 오토인코더는 잠복 공간의 라벨 벡터(y)를 출력하는 잠복 표현 계층을 더 포함할 수 있으며, 여기서 라벨 벡터(y)에 결합되는 분류 컴포넌트 또는 기술은 라벨 벡터(y) 상에서 동작하고/하거나 이를 분류한다. 라벨 벡터(y)가 1-핫 라벨 유사 벡터에 제약되고 있지 않은 경우들에서, 라벨 벡터(y)는, 단지 예이지만 이에 제한되지 않는, 소프트 벡터, 1-핫 유사 벡터가 아닌 임의의 다른 표현, 1-핫 유사 벡터이지만 적대적 네트워크(210)에 기초하여 생성되지 않는 임의의 다른 표현일 수 있거나, 여기서 라벨 벡터(y)는 밀집 소프트 벡터, 또는 적절한 분류 기술에 대해 적합할 수 있는 라벨 벡터(y)의 임의의 다른 데이터 표현이다.

도 2a 내지 도 2e는 스타일 벡터(z)가 정규화되거나 하나 이상의 선택된 벡터(들)(A _i )가 정규화되는 것을 설명하지만, 이것은 단지 예이고 오토인코더(200 또는 220)는 이에 제한되지 않지만, 스타일 벡터(z)를 정규화하는 것은, 단지 예이지만 이에 제한되지 않는, 스타일 벡터(z)의 일부를 정규화하고, 스타일 벡터(z)의 섹션을 정규화하고, 스타일 벡터(z)의 서브벡터를 정규화하는 것을 더 포함할 수 있으며, 여기서 스타일 벡터(z)의 서브벡터는 선택된 벡터들(A _i ) 서브그룹이고/이거나 스타일 벡터(z)의 서브벡터의 길이는 스타일 벡터(z)의 길이 미만이라는 것이 당업자에 의해 이해되어야 한다. 스타일 벡터(z)의 서브벡터는 2개 이상의 선택된 벡터들(A _i )의 연결일 수 있으며, 여기서 서브벡터의 길이는 스타일 벡터(z) 미만이다. 대안적으로 또는 추가적으로, 스타일 벡터(z)를 정규화하는 것은 선택된 벡터(들)(A _i ) 및 대응하는 선택된 확률 분포들(P(A _i ))의 서브그룹을 선택하고, 스타일 벡터(z)의 선택된 벡터(들)(A _i )의 서브그룹만 정규화하는 것을 더 포함할 수 있으며, 여기서 벡터(들)(A _i )의 서브그룹에서의 벡터(들)(A _i )의 수는 선택된 벡터(들)(A _i )의 수 미만이다.

본 발명의 추가 양태는 통신 인터페이스, 메모리 유닛, 프로세서 유닛을 포함하는 하나 이상의 장치 및/또는 디바이스들을 포함할 수 있으며, 프로세서 유닛은 통신 인터페이스 및 메모리 유닛에 연결되며, 프로세서 유닛, 저장 유닛, 통신 인터페이스는 도 1a 내지 도 5b를 참조하여 본원에 설명되는 바와 같은 오토인코더(들), 방법(들) 및/또는 프로세스(들) 또는 그 조합들을 수행하도록 구성된다.

상술한 실시예에서, 서버는 단일 서버 또는 서버들의 네트워크를 포함할 수 있다. 일부 예들에서, 서버의 기능성은 서버들의 전 세계 분산 네트워크와 같은, 지리적 영역에 걸쳐 분포되는 서버들의 네트워크에 의해 제공될 수 있고, 사용자는 사용자의 위치에 기초하여 서버들의 네트워크 중 적합한 하나에 연결될 수 있다.

상기 설명은 명료성을 위해 단일 사용자를 참조하여 본 발명의 실시예들을 논의한다. 실제로 시스템은 복수의 사용자들에 의해, 그리고 아마도 매우 많은 수의 사용자들에 의해 동시에 공유될 수 있다는 것이 이해될 것이다.

상술한 실시예들은 완전 자동이다. 일부 실시예들에서, 시스템의 사용자 또는 운영자는 방법의 일부 단계들이 수행되도록 수동으로 명령할 수 있다.

본 발명의 설명된 실시예들에서, 시스템은 컴퓨팅 및/또는 전자 디바이스의 임의의 형태로서 구현될 수 있다. 그러한 디바이스는 라우팅 정보를 수집하고 기록하기 위해 디바이스의 동작을 제어하는 컴퓨터 실행가능 명령어들을 처리하기 위한 마이크로프로세서들, 컨트롤러들 또는 임의의 다른 적합한 유형의 프로세서들일 수 있는 하나 이상의 프로세서들을 포함할 수 있다. 일부 예들에서, 예를 들어 시스템 온 칩 아키텍처가 사용되는 경우, 프로세서들은 (소프트웨어 또는 펌웨어 보다는) 하드웨어로 방법의 일부를 구현하는 (또한 가속기들로서 언급되는) 하나 이상의 고정 기능 블록들을 포함할 수 있다. 운영 시스템 또는 임의의 다른 적합한 플랫폼 소프트웨어를 포함하는 플랫폼 소프트웨어는 응용 소프트웨어가 디바이스 상에서 실행될 수 있게 하기 위해 컴퓨터-기반 디바이스에 제공될 수 있다.

본원에 설명되는 다양한 기능들은 하드웨어, 소프트웨어, 또는 그 임의의 조합에 의해 구현될 수 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령어들 또는 코드로서 저장되거나 전송될 수 있다. 컴퓨터-판독가능 매체는 예를 들어, 컴퓨터-판독가능 저장 매체를 포함할 수 있다. 컴퓨터-판독가능 저장 매체는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 또는 비-휘발성, 제거가능 또는 비-제거가능 매체를 포함할 수 있다. 컴퓨터-판독가능 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능 저장매체일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 디바이스들, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 반송하거나 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본원에 사용되는 바와 같은 디스크(Disc) 및 디스크(disk)는 콤팩트 디스크(CD), 레이저 디스크, 광디스크, 디지털 다기능 디스크(DVD), 플로피 디스크, 및 블루-레이 디스크(BD)를 포함한다. 또한, 전파 신호는 컴퓨터-판독가능 저장 매체의 범위 내에 포함되지 않는다. 컴퓨터-판독가능 매체는 또한 한 장소로부터 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함한다. 연결은, 예를 들어, 통신 매체일 수 있다. 예를 들어, 소프트웨어가 웹사이트로부터 전송되는 경우, 동축 케이블, 광섬유 케이블, 트위스트 페어, DSL을 사용하는 서버, 또는 다른 원격 소스, 또는 적외선, 라디오, 및 마이크로웨이브와 같은 무선 기술들은 통신 매체의 정의에 포함된다. 위의 조합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.

대안적으로, 또는 추가적으로, 본원에 설명되는 기능성은 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 그리고 제한 없이, 사용될 수 있는 하드웨어 로직 컴포넌트들은 FPGAs(Field-programmable Gate Arrays), ASICs(Program-specific Integrated Circuits), ASSPs(Program-specific Standard Products), SOCs(System-on-a-chip systems)를 포함할 수 있다. 복합 프로그램가능 로직 디바이스들(CPLDs) 등.

단일 시스템으로 예시되지만, 본원에 설명되는 컴퓨팅 디바이스, 장치 또는 임의의 기능성은 단지 예이지만 이에 제한되지 않는 하나 이상의 서버(들), 하나 이상의 클라우드 컴퓨팅 시스템(들)과 같은 분산 컴퓨팅 시스템 상에서 수행될 수 있다는 것이 이해되어야 한다. 따라서, 예를 들어, 수 개의 디바이스들은 네트워크 연결을 통해 통신할 수 있고 컴퓨팅 디바이스에 의해 수행되는 바와 같이 설명되는 태스크들(tasks)을 집합적으로 수행할 수 있다.

로컬 디바이스로서 예시되지만 컴퓨팅 디바이스는 원격으로 위치되고 네트워크 또는 다른 통신 링크를 통해(예를 들어, 통신 인터페이스를 사용하여) 액세스될 수 있다는 것이 이해될 것이다.

용어 '컴퓨터'는 그것이 명령어들을 실행할 수 있도록 처리 능력을 갖는 임의의 디바이스를 언급하기 위해 본원에서 사용된다. 당업자는 그러한 처리 능력들이 많은 상이한 디바이스들에 통합되고 따라서 용어 '컴퓨터'는 PC들, 서버들, 휴대폰들, 개인 정보 단말기들 및 많은 다른 디바이스들을 포함한다는 것을 인식할 것이다.

당업자는 프로그램 명령어들을 저장하기 위해 사용되는 저장 디바이스들이 네트워크에 걸쳐 분포될 수 있다는 것을 인식할 것이다. 예를 들어, 원격 컴퓨터는 소프트웨어로서 설명되는 프로세스의 일 예를 저장할 수 있다. 로컬 또는 단말 컴퓨터는 원격 컴퓨터에 액세스하고 프로그램을 실행시키기 위해 소프트웨어의 일부 또는 전부를 다운로드할 수 있다. 대안적으로, 로컬 컴퓨터는 필요한 경우 소프트웨어의 피스들(pieces)을 다운로드하거나, 일부 소프트웨어 명령들을 로컬 단말에서 그리고 일부를 원격 컴퓨터(또는 컴퓨터 네트워크)에서 실행시킬 수 있다. 당업자는 또한 당업자에게 공지된 종래의 기술들을 이용함으로써, 소프트웨어 명령어들의 전부 또는 일부가 전용 회로, 예컨대 DSP, 프로그램가능 로직 어레이 등에 의해 수행될 수 있다는 것을 인식할 것이다.

상술한 이익들 및 장점들은 하나의 실시예와 관련될 수 있거나 수 개의 실시예들과 관련될 수 있다는 것이 이해될 것이다. 실시예들은 진술된 문제들의 어느 것 또는 전부를 해결하는 것들 또는 진술된 이익들 및 장점들의 어느 것 또는 전부를 갖는 것들에 제한되지 않는다.

'하나의(an)' 항목에 대한 임의의 참조는 그러한 항목들 중 하나 이상을 언급한다. 용어 '포함하는(comprising)'은 식별되는 방법 단계들 또는 요소들을 포함하는 것을 의미하기 위해 본원에 사용되지만, 그러한 단계들 또는 요소들은 독점적 목록을 포함하지 않고 방법 또는 장치는 추가적인 단계들 또는 요소들을 포함할 수 있다.

본원에서 사용되는 바와 같이, 용어들 "컴포넌트(component)" 및 "시스템"은 특정 기능들이 프로세서에 의해 실행될 때 수행되게 하는 컴퓨터-판독가능 명령어들로 구성되는 컴퓨터-판독가능 데이터 스토리지를 망라하도록 의도된다. 컴퓨터-실행가능 명령어들은 루틴, 함수 등을 포함할 수 있다. 그것은 또한 컴포넌트 또는 시스템이 단일 디바이스 상에 국소화되거나 수 개의 디바이스에 걸쳐 분산될 수 있다는 것이 이해되어야 한다.

또한, 본원에서 사용되는 바와 같이, 용어 "예시적(exemplary)"은 " 어느 것의 예시 또는 예로서 역할을 한다"는 것을 의미하도록 의도된다.

또한, 용어 "포함하다(includes)"가 상세한 설명 또는 청구항에서 사용되는 한, 그러한 용어는 "포함하는(comprising)"이 청구항에서 전이어(transitional word)로서 이용될 때 해석되는 바와 같이 용어 "포함하는(comprising)"과 유사한 방식으로 포괄적이도록 의도된다.

도면은 예시적 방법들을 예시한다. 방법들이 특정 시퀀스로 수행되는 일련의 행동들(acts)인 것으로 도시되고 설명되지만, 방법들은 시퀀스의 순서에 의해 제한되지 않는다는 것이 이해되고 인식되어야 한다. 예를 들어, 일부 행동들은 본원에 설명되는 것과 상이한 순서로 발생할 수 있다. 게다가, 행동은 다른 행동과 동시에 발생할 수 있다. 또한, 일부 경우들에서, 모든 행동들이 본원에 설명되는 방법을 구현하기 위해 요구되지 않을 수 있다.

더욱이, 본원에 설명되는 행동들은 하나 이상의 프로세서들에 의해 수행되고/되거나 컴퓨터-판독가능 매체 또는 매체들에 저장될 수 있는 컴퓨터-실행가능 명령어들을 포함할 수 있다. 컴퓨터-실행가능 명령어들은 루틴들, 서브-루틴들, 프로그램들, 실행 스레드들(threads of execution), 및/또는 등등을 포함할 수 있다. 더 추가적으로, 방법들의 행동들의 결과들은 컴퓨터-판독가능 매체에 저장되고 디스플레이 디바이스 상에서 표시될 수 있는 등등일 수 있다.

본원에 설명되는 방법들의 단계들의 순서는 예시적이지만, 단계들은 임의의 적합한 순서로, 또는 적절한 경우 동시에 수행될 수 있다. 추가적으로, 단계들은 추가 또는 대체될 수 있거나, 개별 단계들은 본원에 설명되는 발명 대상의 범위로부터 벗어나는 것 없이 방법들 중 어느 것으로부터 삭제될 수 있다. 상술한 예들 중 임의의 예의 양태들은 추구되는 효과를 손실하는 것 없이 추가 예들을 형성하기 위해 설명된 다른 예들의 임의의 예의 양태들과 결합될 수 있다.

바람직한 실시예의 위의 설명은 단지 예로서 주어지고 다양한 수정들이 당업자에 의해 이루어질 수 있다는 것이 이해될 것이다. 상술한 것들은 하나 이상의 실시예들의 예들을 포함한다. 물론, 전술한 양태들을 설명하기 위해 위의 디바이스들 또는 방법들의 모든 가능한 수정 및 변경을 설명하는 것은 불가능하지만, 당업자는 다양한 양태들의 많은 추가 수정들 및 순열들이 가능하다는 점을 인식할 수 있다. 따라서, 설명된 양태들은 첨부된 특허청구범위의 범위 내에 있는 모든 그러한 변경들, 수정들, 및 변형들을 내포하도록 의도된다.

Claims (65)

1. 오토인코더를 훈련시키기 위한 컴퓨터 구현 방법에 있어서, 상기 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 상기 방법은 상기 입력 데이터와 연관되는 라벨 벡터들(y)의 세트에서 시불변성을 초래하기 위해 훈련 동안 상기 스타일 벡터(z)를 정규화하는 단계를 포함하는, 컴퓨터 구현 방법.
2. 제1항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 선택된 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )에 기초하며, 상기 스타일 벡터(z)는 상기 하나 이상의 벡터(들)(A _i )를 포함하는, 컴퓨터 구현 방법.
3. 제1항 또는 제2항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 상기 스타일 벡터(z)의 적어도 일부에 대해 선택된 확률 분포를 실행하기 위해 입력 훈련 데이터로 상기 오토인코더의 인코더 네트워크를 훈련하는 단계를 더 포함하는, 컴퓨터 구현 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 훈련 동안 상기 라벨 벡터들(y)의 세트의 상기 시불변성을 증가시키는, 컴퓨터 구현 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는, 상기 오토인코더를 훈련시키는 단계 전에:
   상기 스타일 벡터(z)를 분할하기 위한 하나 이상의 벡터(들)(A _i )의 수를 선택하는 단계; 상기 선택된 벡터(들)(A _i )에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))의 수를 선택하는 단계를 더 포함하고;
   상기 스타일 벡터(z)를 정규화하는 단계는 상기 대응하는 선택된 확률 분포(P(A _i ))에 기초하여 상기 선택된 벡터(들)(A _i ) 각각을 정규화하는 단계를 더 포함하며, 상기 스타일 벡터(z)는 상기 선택된 벡터(들)(A _i )로 분할되는, 컴퓨터 구현 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, z를 정규화하는 단계는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 상기 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하는 하이퍼파라미터들의 세트를 검색하는 단계를 더 포함하며, 상기 하이퍼파라미터들의 세트는 상기 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 선택된 벡터(들)(A _i )에 기초한 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의하는, 컴퓨터 구현 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 훈련 동안 상기 스타일 벡터(z)를 정규화하는 단계는 입력 데이터와 연관되는 상기 라벨 벡터들(y)이 다수의 또는 2개 이상의 라벨 벡터들(y)의 클러스터들을 형성하게 하되, 각각은 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고, 상기 라벨 벡터들(y)의 세트는 실질적으로 시불변인, 컴퓨터 구현 방법.
8. 제7항에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 라벨 벡터들(y)의 상기 서브그룹은 상기 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 상기 동일한 클러스터의 상기 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사하며, 상기 클러스터는 실제(true) 상태 또는 클래스 라벨에 관련되는, 컴퓨터 구현 방법.
9. 제7항 또는 제8항에 있어서,
   각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 상기 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및
   라벨 벡터들(y)의 상기 클러스터들 각각을 입력 데이터를 분류할 시에 상기 훈련된 오토인코더에 의한 사용을 위한 상기 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함하는, 컴퓨터 구현 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 입력 데이터는 하나 이상의 고주파 시변 입력 신호(들)에 기초한 입력 데이터를 포함하는, 컴퓨터 구현 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 입력 데이터는 하나 이상의 신경학적 신호(들)와 연관되는 신경 샘플 데이터를 포함하는, 컴퓨터 구현 방법.
12. 제2항 내지 제11항 중 어느 한 항에 있어서, 상기 오토인코더는:
    상기 잠복 공간의 스타일 벡터(z)를 출력시키기 위한 잠복 표현 계층 - 상기 스타일 벡터(z)는 상기 하나 이상의 선택된 벡터(들)(A _i )를 포함함 -; 및
    하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L _GAi )를 평가하기 위한 출력 계층을 포함하되, 상기 입력 계층은 스타일 벡터(z)의 상기 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결됨 - 을 더 포함하며; 상기 방법은:
    상기 정규화 네트워크(들) 각각에 대해:
    잠복 벡터(z)의 상기 대응하는 벡터(A _i )와 상기 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구별하기 위해 상기 각각의 정규화 네트워크를 훈련시키는 단계 - 상기 샘플 벡터는 상기 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 -;
    상기 잠복 벡터(z)의 상기 벡터(A _i )에 대해 상기 확률 분포(P(A _i ))를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 상기 오토인코더에 의한 사용을 위한 상기 생성자 손실 함수 값(L _GAi )을 출력하는 단계를 더 포함하는, 상기 잠복 벡터(z)를 정규화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
13. 제2항 내지 제12항 중 어느 한 항에 있어서, 상기 오토인코더는:
    상기 잠복 공간의 상기 라벨 벡터(y)를 출력하는 상기 잠복 표현 계층; 및
    입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L _GY )를 평가하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크 - 상기 적대적 네트워크의 상기 입력 계층은 상기 라벨 벡터(y)에 연결됨 - 를 더 포함하며; 상기 방법은:
    상기 잠복 표현 계층에 의해 생성되는 라벨 벡터들(y)과 상기 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 상기 적대적 네트워크를 훈련시키는 단계; 및
    상기 라벨 벡터(y)에 대해 상기 범주형 분포를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 상기 오토인코더에 의한 사용을 위한 라벨 벡터(y)와 연관되는 상기 생성자 손실 함수 값(L _GY )을 출력하는 단계를 더 포함하는, 컴퓨터 구현 방법.
14. 제12항 또는 제13항에 있어서, 상기 오토인코더는 상기 잠복 표현 계층에 결합되는 디코딩 네트워크를 더 포함하며, 입력 데이터의 상기 훈련 세트는 신경학적 샘플 벡터 시퀀스들(

    

    )의 훈련 세트를 포함하되, 1≤i≤L _k 및1≤k≤T 이며, 여기서 L _k 는 k-번째 신경학적 샘플 벡터 시퀀스의 길이이고 T는 훈련 신경학적 샘플 벡터 시퀀스들의 수이며, 상기 오토인코더를 통해 통과되는 k-번째 신경 활동에 대응하는 각각의 k-번째 신경학적 샘플 벡터 시퀀스에 대해, 상기 방법은:
    상기 하나 이상의 정규화 네트워크들 및/또는 상기 적대적 네트워크의 출력, 상기 디코딩 네트워크로부터 출력되는

    

    로서 표현되는 k-번째 신경학적 샘플 벡터 시퀀스의 추정치, 상기 원래 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )에 기초하여 손실 또는 비용 함수를 생성하는 단계; 및
    비용 함수의 상기 생성된 손실에 기초하여 상기 인코딩 네트워크 및/또는 디코딩 네트워크의 상기 은닉 계층(들)의 상기 가중치들을 갱신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
15. 오토인코더를 최적화하기 위한 컴퓨터 구현 방법에 있어서, 상기 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 상기 방법은 상기 라벨 벡터들(y)의 시불변성을 증가시키거나 감소시키기 위해 스타일 벡터(z)의 정규화를 제어하는 단계를 포함하는, 컴퓨터 구현 방법.
16. 제15항에 있어서, 상기 스타일 벡터(z)의 정규화를 제어하는 단계는: 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )를 선택하는 단계 - 상기 스타일 벡터(z)는 상기 하나 이상의 벡터(들)(A _i )를 포함함 -, 및 상기 선택된 확률 분포(들)에 기초하여 스타일 벡터(z)를 정규화하는 단계를 포함하는, 컴퓨터 구현 방법.
17. 제15항 또는 제16항에 있어서, 스타일 벡터(z)를 정규화하는 단계는 상기 스타일 벡터(z)의 적어도 일부에 대해 선택된 확률 분포를 시행하기 위해 입력 훈련 데이터로 상기 오토인코더의 인코더 네트워크를 훈련시키는 단계를 더 포함하는, 컴퓨터 구현 방법.
18. 제15항 내지 제17항 중 어느 한 항에 있어서, 정규화 없이 오토인코더로부터 출력되는 라벨 벡터들(y)의 대응하는 세트와 비교하여 상기 라벨 벡터들(y)의 세트의 상기 시불변성을 증가시키기 위해 상기 스타일 벡터(z)의 정규화를 제어하는 단계를 포함하는, 컴퓨터 구현 방법.
19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)의 정규화를 제어하는 단계는:
    상기 스타일 벡터(z)를 분할하기 위한 하나 이상의 벡터(들)(A _i )의 수를 선택하는 단계; 상기 선택된 벡터(들)(A _i )에 대응하는 하나 이상의 확률 분포(들)(P(A _i ))의 수를 선택하는 단계를 더 포함하고;
    상기 선택된 벡터(들)(A _i ) 및 선택된 확률 분포(들)(P(A _i ))에 기초하여 상기 스타일 벡터(z)를 정규화하는 단계는 상기 대응하는 선택된 확률 분포(P(A _i ))에 기초하여 상기 선택된 벡터(들)(A _i ) 각각을 정규화하는 단계를 더 포함하며, 상기 스타일 벡터(z)는 상기 선택된 하나 이상의 벡터들(A _i )의 연결(concatenation)인, 컴퓨터 구현 방법.
20. 제16항 내지 제19항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 분할하도록 선택되는 다수의 벡터들(A _i ), 또는 복수의 벡터들(A _i )이 존재하는, 컴퓨터 구현 방법.
21. 제15 내지 제20항 중 어느 한 항에 있어서, 상기 z의 정규화는 상기 오토인코더의 복수의 훈련 사이클들에 걸쳐 제어되는, 컴퓨터 구현 방법.
22. 제15항 내지 제21항 중 어느 한 항에 있어서, 상기 z의 정규화를 제어하는 단계는:
    복수의 하이퍼파라미터들의 세트들을 생성하는 단계 - 각각의 하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 상기 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하되, 상기 각각의 하이퍼파라미터들의 세트는 오토인코더 구조를 정의함 -;
    상기 복수의 하이퍼파라미터들의 세트들 중 각각의 하이퍼파라미터들의 세트에 대해, 상기 오토인코더의 상기 라벨 벡터(y)의 상기 클러스터링 및 시불변성 성능을 하기: 즉,
    상기 하이퍼파라미터들의 세트에 기초하여 상기 오토인코더를 구성하고;
    입력 데이터에 대해 상기 구성된 오토인코더를 훈련시킴으로써 상기 하이퍼파라미터들의 세트에 기초하여 상기 스타일 벡터(z)를 정규화하고;
    상기 훈련된 오토인코더 및 입력 데이터에 기초하여 라벨 벡터들(y)의 세트를 생성하고;
    다수의 또는 2개 이상의 상기 라벨 벡터들(y)의 클러스터들을 결정하고;
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는지 여부를 검출하고;
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 상기 라벨 벡터들(y)의 세트가 실질적으로 시불변인지 여부를 검출하고;
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하고 상기 라벨 벡터들(y)의 세트가 실질적으로 시불변이라고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 상기 선택된 하이퍼파라미터들의 세트를 저장함으로써 결정하는 단계를 더 포함하며, 상기 최적화된 하이퍼파라미터 데이터세트의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의하는, 컴퓨터 구현 방법.
23. 제22항에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 상기 라벨 벡터들(y)의 서브그룹은 상기 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 상기 동일한 클러스터의 상기 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사한, 컴퓨터 구현 방법.
24. 제22항 또는 제23항에 있어서,
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 상기 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및
    라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 상기 하이퍼파라미터들의 세트에 의해 정의되는 오토인코더에 의한 사용을 위한 상기 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함하는, 컴퓨터 구현 방법.
25. 제22항 내지 제24항 중 어느 한 항에 있어서,
    최적화된 오토인코더 구성 데이터세트에 오토인코더 구성 데이터의 세트를 저장하는 단계를 더 포함하며, 상기 오토인코더 구성 데이터의 세트는 하기: 즉,
    상기 최적화된 하이퍼파라미터 데이터세트에 저장되는 상기 하이퍼파라미터들의 세트를 나타내는 데이터;
    라벨 벡터들(y)의 상기 클러스터들을 나타내는 데이터;
    클래스 또는 상태 라벨들(S)에 대한 라벨 벡터들(y)의 상기 클러스터들 각각의 매핑을 나타내는 데이터; 및
    상기 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 상기 가중치들 및/또는 파라미터들을 나타내는 데이터의 그룹으로부터 하나 이상을 나타내는 데이터를 포함하는, 컴퓨터 구현 방법.
26. 제25항에 있어서,
    상기 최적화된 오토인코더 구성 데이터세트로부터 오토인코더 구성 데이터의 세트를 선택하는 단계;
    상기 오토인코더 구성 데이터의 세트에 기초하여 오토인코더를 구성하는 단계를 더 포함하며, 상기 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하고, 상기 오토인코더는 상기 오토인코더 구성 데이터의 세트의 상기 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 상기 가중치들 및/또는 파라미터들을 나타내는 데이터에 기초하여 구성되고, 상기 훈련된 오토인코더는 상기 스타일 벡터(z)를 정규화하고 실질적으로 시불변 라벨 벡터(들)(y)를 출력하는, 컴퓨터 구현 방법.
27. 제6항 또는 제22항 내지 제26항 중 어느 한 항에 있어서, 상기 하이퍼파라미터들의 세트는 하기: 즉,
    오토인코더 크기 - 상기 오토인코더 크기는 상기 인코더 상태의 길이를 포함함 -;
    초기 학습률 또는 감쇠;
    배치 크기 - 상기 배치 크기는 상기 샘플들의 수를 포함하고 상기 오토인코더 신경 네트워크 또는 은닉 계층(들)의 가중치들 또는 파라미터들의 상기 갱신을 정의함 -;
    상기 라벨 벡터(y)의 크기;
    상기 라벨 벡터(y)와 연관되는 클래스들 또는 상태들의 수;
    은닉 계층(들), 신경 네트워크 셀들, 및/또는 롱 쇼트 텀 메모리 셀(long short term memory cell)들의 수;
    피드 크기 - 상기 피드 크기는 데이터 포인트 또는 배치 당 상기 시간 단계들의 수를 포함함 -;
    손실 가중 계수 - 상기 손실 가중 계수는 상기 오토인코더가 판별기 및/또는 생성자 신경 네트워크 컴포넌트들을 사용할 때 생성 및 식별 손실들에 부여하는 상대적 가중치를 포함함 -;
    상기 오토인코더 신경 네트워크 구조(들)의 상기 가중치들을 최적화하기 위한 최적화 함수;
    상기 오토인코더 신경 네트워크 구조(들)의 상기 가중치들의 가중치 갱신 알고리즘 또는 절차의 유형;
    학습률 감쇠 인자 - 상기 학습률 감쇠 인자는 상기 오토인코더의 손실 비용 함수와 연관되는 상기 손실이 안전 상태에 이르거나 침체될 때 학습률을 조정하기 위해 사용됨 -; 및
    얼마나 자주 학습률이 조정될 것인지를 결정하기 위한 하나 이상의 성능 체크포인트(들)의 상기 그룹으로부터 하나 이상을 더 포함하는, 컴퓨터 구현 방법.
28. 제16항 내지 제 27항 중 어느 한 항에 있어서, 선택된 하나 이상의 확률 분포들 및 선택된 하나 이상의 벡터(들)(A _i )를 검색하는 단계 - 상기 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초한 스타일 벡터(z)의 상기 정규화는 스타일 벡터(z)가 훈련 동안 정규화되지 않을 때와 비교하여 상기 라벨 벡터(y)의 시불변성을 증가시킴 -;
    상기 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 상기 제2 오토인코더의 정규화 컴포넌트를 구성하는 단계;
    상기 제2 오토인코더를 훈련시키고 라벨 벡터들(y)의 세트를 생성하기 위해 입력 데이터세트에 기초하여 잠복 벡터(z)를 정규화하는 단계 - 상기 라벨 벡터들(y)의 세트는 상기 입력 데이터와 연관되는 상태들 또는 클래스 라벨의 세트에 매핑됨 -;
    추가 데이터를 훈련된 제2 오토인코더에 입력하고 출력 라벨 벡터들(y)을 상기 상태들 또는 클래스 라벨의 세트에 매핑시킴으로써 상기 추가 데이터를 분류하는 단계를 더 포함하며, 상기 출력 라벨 벡터들(y)은 상기 검색된 확률 분포(들) 및 대응하는 벡터(들)(A _i )에 기초하여 실질적으로 시불변인, 컴퓨터 구현 방법.
29. 제15항 내지 제28항 중 어느 한 항에 있어서, 상기 입력 데이터는 하나 이상의 고주파 시변 입력 신호(들)에 기초한 입력 데이터를 포함하는, 컴퓨터 구현 방법.
30. 제15항 내지 제28항 중 어느 한 항에 있어서, 상기 입력 데이터는 하나 이상의 신경학적 신호(들)와 연관되는 신경 샘플 데이터를 포함하는, 컴퓨터 구현 방법.
31. 제15항 내지 제30항 중 어느 한 항에 있어서, 상기 오토인코더는:
    상기 잠복 공간의 스타일 벡터(z)를 출력시키기 위한 잠복 표현 계층 - 상기 스타일 벡터(z)는 상기 하나 이상의 선택된 벡터(들)(A _i )를 포함함 -; 및
    하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L _GAi )를 평가하기 위한 출력 계층을 포함하되, 상기 입력 계층은 스타일 벡터(z)의 상기 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결됨 - 을 더 포함하며; 상기 방법은:
    상기 정규화 네트워크(들) 각각에 대해:
    잠복 벡터(z)의 상기 대응하는 벡터(A _i ) 및 상기 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구별하기 위해 상기 각각의 정규화 네트워크를 훈련시키는 단계 - 상기 샘플 벡터는 상기 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 -;
    상기 잠복 벡터(z)의 상기 벡터(A _i )에 대해 상기 확률 분포(P(A _i ))를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 상기 오토인코더에 의한 사용을 위한 상기 생성자 손실 함수 값(L _GAi )을 출력하는 단계를 더 포함하는, 상기 잠복 벡터(z)를 정규화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
32. 제31항에 있어서, 상기 오토인코더는:
    상기 잠복 공간의 상기 라벨 벡터(y)를 출력하는 상기 잠복 표현 계층; 및
    입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L _GY )를 평가하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크를 더 포함하되, 상기 적대적 네트워크의 상기 입력 계층은 상기 라벨 벡터인 y에 연결되며; 상기 방법은:
    상기 잠복 표현 계층에 의해 생성되는 라벨 벡터들(y)과 상기 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 상기 적대적 네트워크를 훈련시키는 단계; 및
    상기 라벨 벡터(y)에 대해 상기 범주형 분포를 시행하기 위해 인코더 네트워크를 훈련시킬 시에 상기 오토인코더에 의한 사용을 위한 라벨 벡터(y)와 연관되는 상기 생성자 손실 함수 값(L _GY )을 출력하는 단계를 더 포함하는, 컴퓨터 구현 방법.
33. 제31항 또는 제32항에 있어서, 상기 오토인코더는 상기 잠복 표현 계층에 결합되는 디코딩 네트워크를 더 포함하며, 입력 데이터의 상기 훈련 세트는 신경학적 샘플 벡터 시퀀스들(

    

    )의 훈련 세트를 포함하되, 1≤i≤L _k 및1≤k≤T 이며, 여기서 L _k 는 k-번째 신경학적 샘플 벡터 시퀀스의 길이이고 T는 훈련 신경학적 샘플 벡터 시퀀스들의 수이며, 상기 오토인코더를 통해 통과되는 k-번째 신경 활동에 대응하는 각각의 k-번째 신경학적 샘플 벡터 시퀀스에 대해, 상기 방법은:
    상기 하나 이상의 정규화 네트워크들 및/또는 상기 적대적 네트워크의 출력, 상기 디코딩 네트워크로부터 출력되는

    

    로서 표현되는 k-번째 신경학적 샘플 벡터 시퀀스의 추정치, 상기 원래 k-번째 신경학적 샘플 벡터 시퀀스((x _i ) ^k )에 기초하여 손실 또는 비용 함수를 생성하는 단계; 및
    비용 함수의 상기 생성된 손실에 기초하여 상기 인코딩 네트워크 및/또는 디코딩 네트워크의 상기 은닉 계층(들)의 상기 가중치들을 갱신하는 단계를 더 포함하는, 컴퓨터 구현 방법.
34. 제15항 내지 제33항 중 어느 한 항에 있어서, 상기 선택된 하나 이상의 확률 분포들 중 각각의 확률 분포는 하기: 즉,
    정규 분포;
    가우스 분포;
    라플라시안;
    감마;
    상기 분포들의 하나 이상의 순열들;
    분산 또는 평균과 같은 상이한 특성들을 갖는 상기 분포들의 하나 이상의 순열들; 및
    상기 입력 데이터와 연관되는 상기 라벨 벡터(들)(y)의 상기 시불변성에 기여하는 임의의 다른 확률 분포의 그룹으로부터 하나 이상의 확률 분포 또는 그들의 조합들을 포함하는, 컴퓨터 구현 방법.
35. 오토인코더용 컴퓨터 구현 방법에 있어서, 상기 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터를 출력하되, 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함하며, 상기 방법은:
    상기 스타일 벡터(z)가 하나 이상의 라벨 벡터(들)(y)가 실질적으로 시불변인 것을 보장하는 훈련 동안 정규화되는 훈련된 오토인코더 구조를 나타내는 데이터를 검색하는 단계;
    상기 검색된 오토인코더 구조에 기초하여 상기 오토인코더를 구성하는 단계; 및
    상기 입력 데이터와 연관되는 하나 이상의 라벨 벡터(들)(y)를 분류하는 단계를 포함하며, 상기 하나 이상의 라벨 벡터(들)(y)는 실질적으로 시불변인, 컴퓨터 구현 방법.
36. 제35항에 있어서, 상기 오토인코더 구조는 제1항 내지 제14, 제34항 및 제47항 내지 제65항 중 어느 한 항의 방법에 따라 훈련되는 오토인코더에 기초하는, 컴퓨터 구현 방법.
37. 제35항 또는 제36항에 있어서, 상기 오토인코더 구조는 제15항 내지 제34항 및 제47항 내지 제65항 중 어느 한 항의 방법에 따라 최적화되고/되거나 훈련되는 오토 인코더에 기초하는, 컴퓨터 구현 방법.
38. 장치에 있어서,
    통신 인터페이스;
    메모리 유닛; 및
    프로세서 유닛 - 상기 프로세서 유닛은 상기 통신 인터페이스 및 상기 메모리 유닛에 연결됨 - 을 포함하며, 상기 프로세서 유닛, 저장 유닛, 통신 인터페이스는 제1항 내지 제14항, 제34항 및 제47항 내지 제65항 중 어느 한 항에 청구된 바와 같은 상기 방법을 수행하도록 구성되는, 장치.
39. 장치에 있어서,
    통신 인터페이스;
    메모리 유닛; 및
    프로세서 유닛 - 상기 프로세서 유닛은 상기 통신 인터페이스 및 상기 메모리 유닛에 연결됨 - 을 포함하며, 상기 프로세서 유닛, 저장 유닛, 통신 인터페이스는 제15항 내지 제34항 및 제47항 내지 제65항 중 어느 한 항에 청구된 바와 같은 상기 방법을 수행하도록 구성되는, 장치.
40. 장치에 있어서,
    통신 인터페이스;
    메모리 유닛; 및
    프로세서 유닛 - 상기 프로세서 유닛은 상기 통신 인터페이스 및 상기 메모리 유닛에 연결됨 - 을 포함하며, 상기 프로세서 유닛, 저장 유닛, 통신 인터페이스는 제35항 내지 제37항 및 제47항 내지 제65항 중 어느 한 항에 청구된 바와 같은 상기 방법을 수행하도록 구성되는, 장치.
41. 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체에 있어서, 프로세서 상에서 실행될 때, 상기 프로세서가 제1항 내지 제14항, 제34항 및 제47항 내지 제65항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터 판독가능 매체.
42. 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체에 있어서, 프로세서 상에서 실행될 때, 상기 프로세서가 제15항 내지 제34항 및 제47항 내지 제65항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터 판독가능 매체.
43. 저장된 프로그램 코드를 포함하는 컴퓨터 판독가능 매체에 있어서, 프로세서 상에서 실행될 때, 상기 프로세서가 제35항 내지 제37항 및 제47항 내지 제65항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터 판독가능 매체.
44. 장치에 있어서,
    인코딩 네트워크;
    디코딩 네트워크;
    잠복 공간의 스타일 벡터(z) 및 출력 라벨 벡터(y)를 출력하기 위한 잠복 표현 계층 - 상기 스타일 벡터(z)는 하나 이상의 선택된 확률 분포(들)와 부합하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하고 상기 인코딩 네트워크의 출력은 상기 잠복 표현 계층에 연결되고, 상기 잠복 표현 계층은 상기 디코딩 네트워크의 입력에 연결됨 -; 및
    상기 잠복 표현 계층에 연결되는 정규화 컴포넌트 - 상기 정규화 컴포넌트는 상기 장치의 훈련 동안 상기 스타일 벡터(z)를 정규화하고 상기 장치가 입력 데이터를 분류할 때 실질적으로 시불변 출력 라벨 벡터(y)를 초래하도록 구성됨 - 를 포함하는, 장치.
45. 제44항에 있어서, 상기 정규화 컴포넌트는:
    하나 이상의 정규화 네트워크(들) - 각각의 정규화 네트워크는 입력 계층 및 하나 이상의 은닉 계층(들)을 포함하는 판별기 네트워크 및 생성자 손실 함수(L _GAi )를 평가하기 위한 출력 계층을 포함함 - 을 더 포함하되, 상기 입력 계층은 스타일 벡터(z)의 상기 하나 이상의 선택된 벡터(들)(A _i ) 중 대응하는 하나에 연결되며; 여기서:
    상기 정규화 네트워크(들) 각각은, 훈련 동안, 하기: 즉,
    잠복 벡터(z)의 상기 대응하는 벡터(A _i )와 상기 대응하는 선택된 확률 분포(P(A _i ))로부터 생성되는 샘플 벡터를 구분하기 위해 상기 판별기 네트워크를 훈련시키고 - 상기 샘플 벡터는 상기 잠복 벡터(z)의 벡터(A _i )와 동일한 차원임 -;
    상기 잠복 벡터(z)의 상기 벡터(A _i )에 대해 상기 확률 분포(P(A _i ))를 시행하기 위해 상기 인코더 네트워크를 훈련시키기 위한 상기 생성자 손실 함수 값(L _GAi )을 출력하도록 구성되는, 장치.
46. 제45항에 있어서, 상기 오토인코더는:
    입력 계층, 하나 이상의 은닉 계층(들), 및 라벨 벡터(y)와 연관되는 생성자 손실 함수(L _GY )를 평가하기 위한 출력 계층을 포함하는 결합된 적대적 네트워크 - 상기 적대적 네트워크의 상기 입력 계층은 상기 라벨 벡터(y)에 연결됨 - 를 더 포함하며; 상기 적대적 네트워크는, 훈련 동안, 하기: 즉,
    라벨 벡터들(y), 및 상기 라벨 벡터(y)와 동일한 차원의 하나의 핫 벡터들의 세트의 범주형 분포로부터의 샘플 벡터들을 구별하기 위해 상기 하나 이상의 은닉 계층(들)을 훈련시키고;
    상기 라벨 벡터(y)에 대해 상기 범주형 분포를 시행하기 위해 상기 인코더 네트워크를 훈련시키기 위한 라벨 벡터(y)와 연관되는 생성자 손실 함수 값(L _GY )을 출력하도록 구성되는, 장치.
47. 오토인코더용 컴퓨터 구현 방법에 있어서, 상기 오토인코더는 입력 데이터를 분류하기 위한 N-차원 잠복 공간의 잠복 벡터 - 상기 잠복 벡터는 라벨 벡터(y) 및 스타일 벡터(z)를 포함함 - 를 출력하며, 상기 방법은 하나 이상의 확률 분포(들)(P(A _i )) 및 대응하는 하나 이상의 벡터(들)(A _i )를 선택함으로써 상기 라벨 벡터들(y)의 상기 시불변성을 증가시키거나 감소시키기 위해 스타일 벡터(z) - 상기 스타일 벡터(z)는 하나 이상의 벡터(들)(A _i )를 포함함 - 의 상기 정규화를 제어하는 단계, 및 상기 선택된 확률 분포(들)에 기초하여 스타일 벡터(z)를 정규화하는 단계를 포함하며, 상기 제어 방법은:
    복수의 하이퍼파라미터들의 세트들을 생성하는 단계 - 각각의 하이퍼파라미터들의 세트는 하나 이상의 선택된 확률 분포(들)(P(A _i )) 및 상기 스타일 벡터(z)를 분할하는 대응하는 하나 이상의 선택된 벡터(들)(A _i )를 포함하되, 상기 각각의 하이퍼파라미터들의 세트는 오토인코더 구조를 정의함 -;
    상기 복수의 하이퍼파라미터들의 세트들 중 각각의 하이퍼파라미터들의 세트에 대해, 상기 오토인코더의 상기 라벨 벡터(y)의 상기 클러스터링 및 시불변성 성능을 하기: 즉,
    상기 하이퍼파라미터들의 세트에 기초하여 상기 오토인코더를 구성하고;
    입력 데이터에 대해 상기 구성된 오토인코더를 훈련시킴으로써 상기 하이퍼파라미터들의 세트에 기초하여 상기 스타일 벡터(z)를 정규화하고;
    상기 훈련된 오토인코더 및 입력 데이터에 기초하여 라벨 벡터들(y)의 세트를 생성하고;
    다수의 또는 2개 이상의 상기 라벨 벡터들(y)의 클러스터들을 결정하고;
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는지 여부를 검출하고;
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 상기 선택된 하이퍼파라미터들의 세트를 저장함으로써 결정하는 단계를 더 포함하며, 상기 최적화된 하이퍼파라미터 데이터세트 내의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의하는, 컴퓨터 구현 방법.
48. 오토인코더용 컴퓨터 구현 방법에 있어서, 상기 방법은:
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하는 것에 응답하여, 상기 라벨 벡터들(y)의 세트가 실질적으로 시불변인지 여부를 검출하는 단계; 및
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하고 있다고 검출하고 상기 라벨 벡터들(y)의 세트가 실질적으로 시불변이라고 검출하는 것에 응답하여, 최적화된 하이퍼파라미터 데이터세트에 상기 선택된 하이퍼파라미터들의 세트를 저장하는 단계를 더 포함하며, 상기 최적화된 하이퍼파라미터 데이터세트의 상기 각각의 하이퍼파라미터들의 세트는 훈련 동안 스타일 벡터(z)를 정규화함으로써 실질적으로 시불변 라벨 벡터(들)(y)를 출력하도록 훈련될 수 있는 오토인코더 구조를 정의하는, 컴퓨터 구현 방법.
49. 제47항 또는 제48항에 있어서, 각각의 클러스터는 영역 또는 경계에 의해 정의되고 각각의 클러스터에 대한 라벨 벡터들(y)의 상기 서브그룹은 상기 정의된 영역 또는 경계 내에 포함되고, 라벨 벡터들(y)은 그들이 상기 동일한 클러스터의 상기 영역 또는 경계 내에 포함될 때 실질적으로 동일하거나 유사한, 컴퓨터 구현 방법.
50. 제47항 내지 제49 중 어느 한 항에 있어서,
    각각의 클러스터가 실질적으로 동일하거나 유사한 라벨 벡터들(y)의 서브그룹을 포함하는 다수의 라벨 벡터들(y)의 클러스터들을 형성하기 위해 상기 라벨 벡터들(y)의 세트를 클러스터링하는 단계; 및
    라벨 벡터들(y)의 클러스터들 각각을 입력 데이터를 분류할 시에 상기 하이퍼파라미터들의 세트에 의해 정의되는 오토인코더에 의한 사용을 위한 상기 입력 데이터와 연관되는 클래스 또는 상태 라벨들(S)의 세트로부터의 클래스 또는 상태 라벨에 매핑시키는 단계를 더 포함하는, 컴퓨터 구현 방법.
51. 제47항 내지 제50항 중 어느 한 항에 있어서,
    최적화된 오토인코더 구성 데이터세트에 오토인코더 구성 데이터의 세트를 저장하는 단계를 더 포함하며, 상기 오토인코더 구성 데이터의 세트는 하기: 즉,
    상기 최적화된 하이퍼파라미터 데이터세트에 저장되는 상기 하이퍼파라미터들의 세트를 나타내는 데이터;
    라벨 벡터들(y)의 상기 클러스터들을 나타내는 데이터;
    클래스 또는 상태 라벨들(S)에 대한 라벨 벡터들(y)의 상기 클러스터들 각각의 매핑을 나타내는 데이터; 및
    상기 훈련된 오토인코더와 연관되는 하나 이상의 신경 네트워크(들) 및/또는 은닉 계층(들)의 상기 가중치들 및/또는 파라미터들을 나타내는 데이터의 그룹으로부터 하나 이상을 나타내는 데이터를 포함하는, 컴퓨터 구현 방법.
52. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항, 또는 제47항 내지 제51항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 상기 스타일 벡터(z)의 일부를 정규화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
53. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항, 또는 제47항 내지 제52항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 상기 스타일 벡터(z)의 섹션(section)을 정규화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
54. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항, 또는 제47항 내지 제53항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는 상기 스타일 벡터(z)의 서브벡터를 정규화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
55. 제54항에 있어서, 상기 스타일 벡터(z)의 상기 서브벡터는 상기 선택된 벡터들(A _i )의 서브그룹을 포함하는, 컴퓨터 구현 방법.
56. 제55항에 있어서, 상기 스타일 벡터(z)의 상기 서브벡터의 상기 길이는 상기 스타일 벡터(z)의 상기 길이 미만인, 컴퓨터 구현 방법.
57. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항, 또는 제47항 내지 제53항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)를 정규화하는 단계는: 상기 선택된 벡터(들)(A _i )의 서브그룹 및 대응하는 선택된 확률 분포들(P(A _i ))을 선택하는 단계, 및 상기 스타일 벡터(z)의 상기 선택된 벡터(들)(A _i )의 상기 서브그룹만 정규화하는 단계를 더 포함하며, 벡터(들)(A _i )의 상기 서브그룹에서의 상기 벡터(들)(A _i )의 수는 상기 선택된 벡터(들)(A _i )의 수 미만인, 컴퓨터 구현 방법 _.
58. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항, 또는 제47항 내지 제57항 중 어느 한 항에 있어서, 상기 라벨 벡터(y)가 적대적 네트워크에 의해 제한되거나 제약되지 않을 때, 상기 오토인코더는:
    상기 잠복 공간의 상기 라벨 벡터(y)를 출력하는 상기 잠복 표현 계층; 및
    상기 라벨 벡터(y)에 대해 동작하고 이를 분류하기 위해 상기 라벨 벡터(y)에 결합되는 분류 컴포넌트를 더 포함하는, 컴퓨터 구현 방법.
59. 제58항에 있어서, 상기 라벨 벡터(y)는 소프트 벡터인, 컴퓨터 구현 방법.
60. 제58항 또는 제59항에 있어서, 상기 라벨 벡터(y)는 1-핫 유사 벡터가 아닌, 컴퓨터 구현 방법.
61. 제58항 내지 제60항 중 어느 한 항에 있어서, 상기 라벨 벡터(y)는 밀집 소프트 벡터인, 컴퓨터 구현 방법.
62. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)는 부분적으로 정규화되는, 컴퓨터 구현 방법.
63. 제1항 내지 제14항, 제15항 내지 제34항, 제35항 내지 제37항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)는 전적으로 정규화되는, 컴퓨터 구현 방법.
64. 제1항, 제15항, 제35항, 제44항, 제47항, 및 제48항 중 어느 한 항에 있어서, 상기 라벨 벡터(y)는 벡터, 텐서(tensor) 또는 기타를 포함하며, 상기 벡터, 텐서 또는 기타는 하기: 즉,
    하나의 핫 벡터;
    엔트로피의 측정;
    L1 L2 또는 둘 다로 정규화되는 것;
    이산 볼츠만 분포 벡터;
    이전 클래스 상태의 표현;
    공지된 특징 또는 구성 세트의 그룹으로부터 적어도 하나 이상을 포함하는, 컴퓨터 구현 방법.
65. 제1항, 제15항, 제35항, 제44항, 제47항, 제48항 및 제64항 중 어느 한 항에 있어서, 상기 스타일 벡터(z)는 벡터, 텐서 또는 기타를 포함하며, 상기 벡터, 텐서 또는 기타는 하기: 즉,
    확률 분포;
    L1 L2 또는 다른 표준들;
    장애 변수들; 및
    에러 변수들의 그룹으로부터의 적어도 하나 이상에 의해 페널티화되거나 정규화되는, 컴퓨터 구현 방법.

Images