KR20240071315A - 하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법 - Google Patents

하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법 Download PDF

Info

Publication number
KR20240071315A
KR20240071315A KR1020230152617A KR20230152617A KR20240071315A KR 20240071315 A KR20240071315 A KR 20240071315A KR 1020230152617 A KR1020230152617 A KR 1020230152617A KR 20230152617 A KR20230152617 A KR 20230152617A KR 20240071315 A KR20240071315 A KR 20240071315A
Authority
KR
South Korea
Prior art keywords
parameters
quantum
machine learning
output
differential
Prior art date
Application number
KR1020230152617A
Other languages
English (en)
Inventor
모함마드 코르드장가네
다리아 코시취키나
알렉세이 멜니코브
Original Assignee
테라 퀀텀 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테라 퀀텀 아게 filed Critical 테라 퀀텀 아게
Publication of KR20240071315A publication Critical patent/KR20240071315A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/60—Quantum algorithms, e.g. based on quantum optimisation, quantum Fourier or Hadamard transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/20—Models of quantum computing, e.g. quantum circuits or universal quantum computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y10/00—Nanotechnology for information processing, storage or transmission, e.g. quantum computing or single electron logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/40—Physical realisations or architectures of quantum processors or components for manipulating qubits, e.g. qubit coupling or qubit control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Mathematical Analysis (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

입력 피처 벡터에 대한 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템을 훈련하기 위한 방법으로서, 시스템은 변분 양자 회로, 머신 러닝 모델, 및 변분 양자 회로에 의해 생성된 제1 출력 및 머신 러닝 모델에 의해 생성된 제2 출력을 수신하고 출력 라벨을 생성하도록 구성된 라벨링 모듈을 포함하고, 방법은 샘플 데이터세트의 입력 피처 벡터를 변분 양자 회로 및 머신 러닝 모델에 제공하는 단계, 제1 출력 및 제2 출력을 라벨링 모듈에 제공하는 단계, 및 입력 피처 벡터에 대한 출력 라벨에 대한 비용 함수의 값에 기초하여 변분 파라미터들, 머신 러닝 파라미터들, 및 훈련가능한 조합 파라미터들의 파라미터 업데이트를 결정하는 단계를 포함하는 반복 프로세스를 포함한다.

Description

하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법 {METHOD FOR SOLVING MACHINE LEARNING PROBLEMS WITH HYBRID CLASSICAL-QUANTUM SOLVERS}
본 발명은 양자 컴퓨팅 분야에 관한 것이다. 더 정확하게는, 본 발명은 훈련가능한 근사기의 일부로서의 하이브리드 양자-고전적 계산 시스템에 관한 것이다.
양자 컴퓨터들은 계산을 수행하기 위해 그 상태 및 상호작용이 제어될 수 있는 제어가능한 양자 기계 시스템들의 플랫폼을 제공한다. 계산은 제어가능한 양자 기계 시스템들, 예를 들어, 고전적인 비트들의 양자 아날로그들로서의 큐비트들의 결정론적 진화에 의해 실현되고, 양자 기계 시스템들의 상태는 계산의 결과를 결정하기 위해 측정될 수 있다.
이러한 큐비트들에 대한 제어 동작들은 양자 게이트들로 지칭된다. 양자 게이트들은 단일 큐비트(소위 단일-큐비트 게이트들)의 상태의 변화들을 유도하기 위해 그리고 다수의 큐비트들(소위 다중-큐비트 게이트들)에 작용하기 위해, 예를 들어, 다수의 큐비트들의 상태들을 얽히게 하기 위해, 그리고 이들의 임의의 조합을 위해 큐비트들에 일관되게 작용할 수 있다. 예를 들어, 단일-큐비트 게이트는 선택가능한 값, 예를 들어 π/2만큼 전자의 스핀 상태의 회전을 유도할 수 있다. 다중-큐비트 게이트는 2개의 큐비트의 상태에 대한 결맞음 CNOT 동작과 같이, 2개 이상의 큐비트에 일관되게 작용할 수 있다. 복수의 양자 게이트는 계산을 수행하기 위해 양자 컴퓨터의 큐비트들에 병렬로 또는 순차적으로 적용될 수 있다. 마지막으로, 큐비트들의 상태는 계산의 각각의 가능한 결과에 대한 확률들을 결정하기 위해 양자 게이트들의 시퀀스를 적용한 후에 반복적으로 측정될 수 있다.
고전적인 컴퓨터들에서 다루기 어려운 것으로 고려되는 문제들에 대한 솔루션을 계산하기 위해, 양자 컴퓨터는 양자 기계적 상태들의 특수한 속성들, 특히 상이한 양자 상태들의 중첩 및 얽힘을 활용하여 비교적 적은 수의 계산 단계들로 솔루션을 찾을 수 있다.
그러나, 양자 기계 시스템들의 중첩/얽힘 상태들은 본질적으로 휘발성이고(예를 들어, 결어긋남(decoherence)의 문제가 있음) 이러한 시스템들의 제어 및 측정에는 충실도 마진들(fidelity margins)적용되며, 따라서, 최신 양자 컴퓨터들은 제어가능한 양자 기계 시스템들(큐비트들)의 수뿐만 아니라 연속적으로 수행되는 제어 작용들(양자 게이트들)의 수 둘 모두에서 현재 제한적이다.
이러한 단점들에도 불구하고, 가까운 기간에 이용가능한 양자 프로세서들에 대한 유망한 응용들, 즉, 변분 양자 알고리즘들과 같은 노이즈가 있는 중간-스케일 양자(NISQ) 디바이스들이 존재한다. 변분 양자 알고리즘들에서, 양자 게이트들의 작용은 변분 파라미터들의 관점에서 파라미터화되고, 변분 파라미터들은 머신 러닝과 유사한 방식으로 고전적인 컴퓨팅 리소스의 도움으로 체계적으로 변화될 수 있다. 최적 솔루션에 관하여 변분 양자 회로의 출력에 비용을 속성화하는 비용 함수를 극단화하기 위해 변분 파라미터들을 변화시킴으로써, 변분 양자 회로의 출력은 보지 못했던 문제에 대한 최적 솔루션을 제공하도록 "훈련"될 수 있다. 상이한 큐비트들 사이의 얽힘은 "양자 이점"을 제공하기 위해 큰 내부 상태 공간에 대한 액세스를 제공할 수 있다.
예를 들어, Caro 등("Generalization in quantum machine learning from few training data")은 훈련 데이터 세트에 대해 파라미터화된 양자 회로를 변분적으로 최적화하는 것을 수반하고, 후속하여 테스트 데이터 세트에 대해 예측들을 행하는(즉, 일반화하는) 양자 머신 러닝(QML) 방법들을 연구한다. QML에서의 일반화 성능은 제한된 수(N)의 훈련 데이터 포인트들에 대한 훈련 후에 연구되고, 변분 QML에서의 일반화 오류에 대한 일반적인 이론적 경계들이 제공되며, 이는 충분히 큰 훈련 데이터 세트에 대한 양호한 성능이, 높은 확률로, 이전에 보지 못했던 데이터 포인트들에 대한 양호한 성능을 암시하는 것을 보장한다.
그러나, 양자 디바이스들은 여전히 널리 이용가능하지 않고, 실제 구현들에서 큐비트들의 수뿐만 아니라 회로 깊이 둘 모두에서 제한될 수 있으며, 이는 또한 변분 양자 회로들의 일부로서의 NISQ 디바이스들의 적용을 제한한다.
이러한 최신 기술을 고려하여, 본 발명의 목적은 근사화 작업들을 위해 비교적 작고 실현가능한 양자 디바이스들을 효율적으로 이용할 수 있는 양자 회로 기반 아키텍처들, 예를 들어, 양자 신경망들을 포함하는 개선된 분류기를 제공하는 것이다.
이 목적은 독립 청구항들에 따른 하이브리드 양자-고전적 근사화 시스템을 훈련하기 위한 방법, 대응하는 디바이스, 및 컴퓨터 프로그램에 의해 해결된다. 종속항들은 바람직한 실시예들에 관한 것이다.
제1 양태에 따르면, 본 발명은 입력 피처 벡터에 대한 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템을 훈련하기 위한 방법에 관한 것이다. 시스템은 변분 양자 회로, 머신 러닝 모델, 및 라벨링 모듈을 포함한다. 변분 양자 회로는 큐비트 레지스터의 큐비트들에 작용하는 복수의 양자 게이트들을 포함하고, 복수의 양자 게이트들은 변분 양자 게이트들- 큐비트 레지스터의 큐비트들에 대한 변분 양자 게이트들의 파라미터화된 작용들은 연관된 변분 파라미터들에 의해 파라미터화됨 - 및 입력 피처 벡터에 따라 큐비트 레지스터의 큐비트들의 상태를 수정하기 위해 적어도 하나의 인코딩 게이트를 포함한다. 머신 러닝 모델은 고전적인 처리 시스템 상에서 구현되고, 파라미터화된 전달 함수에 따라 입력 피처 벡터를 처리하도록 구성되고, 파라미터화된 전달 함수는 머신 러닝 파라미터들에 의해 파라미터화된다. 라벨링 모듈은 고전적인 처리 시스템 상에서 구현되고, 변분 양자 회로에 의해 생성된 제1 출력 및 머신 러닝 모델에 의해 생성된 제2 출력을 수신하고, 제1 출력과 제2 출력의 조합에 기초하여 출력 라벨을 생성하도록 구성되고, 조합은 복수의 훈련가능한 조합 파라미터들에 기초한다. 방법은 샘플 데이터세트의 입력 피처 벡터를 변분 양자 회로 및 머신 러닝 모델에 제공하는 단계, 제1 출력 및 제2 출력을 라벨링 모듈에 제공하는 단계, 및 입력 피처 벡터에 대한 출력 라벨에 대한 비용 함수의 값에 기초하여 변분 파라미터들, 머신 러닝 파라미터들, 및 훈련가능한 조합 파라미터들의 파라미터 업데이트를 결정하는 단계를 포함하는 반복 프로세스를 포함한다.
하이브리드 양자-고전적 계산 시스템에서, 변분 양자 회로 및 머신 러닝 모델은 입력 피처 벡터를 병렬로 처리할 수 있고, 변분 양자 회로 및 머신 러닝 모델의 각각의 출력들은 라벨에 대한 근사화를 획득하기 위해 조합될 수 있다. 조합은 제1 출력과 제2 출력의 선형 조합일 수 있으며, 따라서 출력 피처는 각각의 조합 파라미터들에 의해 정의된 비율에 따라 제1 출력 및 제2 출력에 소정 정도로 기초할 수 있다.
머신 러닝 모델을 정의하는 단일 중간 신경 계층을 갖는 완전-연결 네트워크는 직사각형 파들의 중첩을 피팅함으로써 임의의 함수를 근사화할 수 있다(Michael A. Nielsen. "Neural networks and deep learning"). 반대로, Schuld 등("Effect of data encoding on the expressive power of variational quantum-machine-learning models")은 변분 양자 회로들이 샘플들에 걸쳐 절단 푸리에 급수(truncated Fourier series)를 피팅함으로써 범용 근사기들이 될 수 있다는 것을 보여주었다. 본 발명자들은 주기적 및 비하모닉/고주파 특징들의 혼합을 갖는 문제들에 대해, 데이터를 병렬로 처리하는 변분 양자 회로 및 머신 러닝 모델의 조합이 비하모닉 및 하모닉 특징들을 각각 효율적으로 근사화할 수 있다는 것을 발견하였다. 특히, 그러한 조합된 디바이스는 제한된 수의 샘플들로부터 알려지지 않은 함수의 하모닉 성분들을 일반화하기 위해 NISQ 디바이스에서 구현되는 변분 양자 회로의 능력을 활용할 수 있는 반면, 비하모닉 성분들은 머신 러닝 모델을 사용하여 효율적으로 피팅될 수 있다.
원칙적으로, 임의의 라벨링 함수가 하이브리드 양자-고전적 계산 시스템을 사용하여 근사화될 수 있지만, 시스템은 바람직하게는 하모닉 및 비하모닉(고주파) 성분들의 혼합을 포함하는 라벨링 함수에 적용된다. 입력 피처 벡터는 단일 값일 수 있지만, 일반적으로 대응하는 출력 라벨은 변분 양자 회로 및 머신 러닝 모델을 사용하여 근사화되어야 하는 복수의 값을 포함할 것이다.
변분 양자 회로는 일반적으로 복수의 큐비트를 포함할 수 있으며, 큐비트들의 양자 상태들은 단일 큐비트들 및/또는 다수의 큐비트들에 순차적으로 또는 병렬로 적용되는 양자 게이트들의 적용에 의해 조작될 수 있다.
큐비트들은 각각의 큐비트의 기저 상태와 같은 초기 상태로 초기화될 수 있다. 일부 실시예들에서, 큐비트들을 그들의 그라운드 상태들로 초기화한 후에, 큐비트 레지스터 내의 각각의 큐비트의 중첩 상태들이, 예를 들어, 하다마드 게이트들의 적용을 통해 준비된다.
후속하여, 복수의 양자 게이트가 큐비트들에 적용되어 그들의 상태를 출력 상태를 향해 변환할 수 있다. 변분 양자 회로들에서, 변분 양자 네트워크에서의 양자 게이트들 중 적어도 일부의 작용은 파라미터화되어, 측정된 출력은 (변분) 양자 게이트들의 가변 작용들을 파라미터화하는 변분 파라미터들의 함수가 된다. (적어도 부분적으로 파라미터화된) 양자 게이트들의 조합된 작용은, 동작 원리가 신경망의 동작과 유사할 수 있기 때문에, 변분 양자 네트워크라고 지칭될 수 있다.
또한, 변분 양자 회로에서, 적어도 하나의 양자 게이트가 인코딩 게이트로서 사용되고, 인코딩 게이트의 작용은 입력 피처 벡터에 기초한다. 예를 들어, 입력 피처 벡터의 값은 단일 큐비트 회전을 통해 입력 피처 벡터의 값에 비례하는 하나의 큐비트의 상태를 회전시킴으로써 큐비트로 인코딩될 수 있다.
2- 또는 다중-큐비트 게이트들은 예컨대, 양자 하드웨어에 의해 제공되는 "양자 이점"을 활용하도록 큐비트들 사이에 중첩 상태들을 생성할 수 있다. 예를 들어, 변분 양자 회로가 포획된 이온 시스템에 기초하여 양자 디바이스에서 구현될 때, 포획된 이온 시스템에서의 상이한 이온들의 상태들은, 예를 들어, Mølmer-Sørensen 상호작용을 통해 매개되는 공동 여기를 통해 결합될 수 있다. 다른 예로서, 큐비트 레지스터 내의 큐비트들의 쌍들은 CNOT 게이트와 같은 2-큐비트 게이트를 구현하기 위해, 양자 입자의 (튜닝가능한) 최근접 이웃 상호작용 또는 교환을 통해 얽힐 수 있다.
일부 실시예들에서, 변분 양자 네트워크는 큐비트 레지스터 내의 큐비트들을 링크하기 위해 큐비트들에 작용할 수 있는 양자 게이트들의 계층들의 관점에서 정의될 수 있다.
양자 게이트들의 계층은 큐비트 레지스터 내의 큐비트들의 상태에 대한 복수의 결맞음 연산들의 누적 작용을 포함할 수 있다. 하나의 계층에서의 결맞음 연산들의 누적 작용은 일반적으로 계산에 수반되는 큐비트 레지스터의 모든 큐비트들에 작용해야 하거나, 또는 즉, 양자 게이트들의 계층은 큐비트 레지스터 내의 모든 큐비트들의 상태에 직접 영향을 주어야 한다. 각각의 계층은 적어도 하나의 다중-큐비트 게이트 및 적어도 하나의 변분 양자 게이트(원칙적으로 동일한 게이트들일 수 있음)를 포함해야 한다.
변분 양자 회로는 일반적으로 예를 들어, 파울리 회전 게이트들로 구성된, 인코딩 게이트들과 인터레이스된, 단일- 및 2-큐비트 양자 게이트들(파울리 회전 게이트들(RX,RY,RZ), 하다마드, CNOT, 및 항등 연산자(I)가 적합한 양자 회로를 구성하기에 충분할 수 있지만, 다른 양자 게이트들이 동등하게 이용될 수 있음)을 포함하는 일련의 훈련가능한 계층들로 구성될 수 있다.
통상의 기술자는 계층 내의 복수의 양자 게이트가 큐비트들에 병렬로 적용되어 계층 내의 큐비트들의 상태에 대한 결맞음 연산들의 시퀀스를 단축시킬 수 있다는 것을 이해할 것이다. 큐비트들에 대한 양자 게이트들의 복수의 계층의 후속 적용은 이어서 변분 양자 네트워크를 형성할 수 있으며, 변분 양자 네트워크는 각각의 계층에 대한 변분 파라미터들에 의해 파라미터화된다.
계층들은 동일한 타입들의 양자 게이트들을 포함할 수 있고 큐비트 레지스터에 순차적으로 적용될 수 있다. 예를 들어, 각각의 계층은 양자 게이트들의 동일한 아키텍처를 특징으로 할 수 있는 반면, 변분 파라미터들의 상이한 엘리먼트들이 계층의 변분 게이트들에 적용될 수 있다. 즉, 계층들은 동일한 양자 게이트 아키텍처를 특징으로 할 수 있지만, 각각의 계층 내의 큐비트들에 대한 양자 게이트들의 작용은 변분 파라미터들에 기초하여 상이할 수 있다.
양자 게이트들의 계층들이 큐비트들에 작용한 후에, 큐비트들은 알려진 초기 상태에 대한 변분 양자 회로의 특성 결과를 획득하기 위해 측정될 수 있다. 양자 기계적 계산의 결과는 큐비트들의 계산 기저 상태들을 통해 문제의 고전적인 솔루션들에 링크될 수 있다. 계산 기저 상태들은 각각의 큐비트의 기저 상태들의 텐서 곱에 의해 스패닝되는 힐버트 공간의 직교 기저 상태들일 수 있다.
변분 양자 게이트들에 대한 초기 변분 파라미터들은 초기 (랜덤) 추측을 인코딩할 수 있고, 변분 파라미터들을 갖는 변분 양자 회로의 평가의 결과는 대응하는 라벨을 결정하기 위해 (반복적으로) 측정될 수 있다. 라벨에 기초하여, 비용 함수는 라벨에 대한 비용을 속성화하도록 고전적으로 평가될 수 있고, 또는 달리 말해서, 라벨이 얼마나 양호한지에 대한 척도가 계산된다.
시스템을 훈련시킴으로써, 변분 양자 회로가 출력 라벨의 적어도 일부에 근사하도록, 변분 파라미터들이 반복적인 방식으로 체계적으로 변화될 수 있다.
머신 러닝 모델은 훈련가능한 머신 러닝 파라미터들에 기초한 전달 함수에 의한 입력 피처 벡터의 처리에 기초하여 제2 출력을 도출할 수 있다. 예를 들어, 머신 러닝 모델은 입력 계층, 적어도 하나의 은닉 계층, 및 출력 계층의 관점에서 배열될 수 있는 복수의 인공 뉴런들을 포함할 수 있으며, 인공 뉴런들은 고전적인 처리 시스템에서 구현될 수 있고 훈련가능한 파라미터화된 전달 함수 또는 그 일부를 제공할 수 있다. 인공 뉴런들은 그들의 입력에서 하나 이상의 피처를 수신할 수 있고, 활성화 함수에 따라 대응하는 출력 피처를 반환할 수 있다. 예를 들어, 입력 피처들은 가중 인자들과 내부적으로 곱해지고 바이어스들과 합산될 수 있고, 내부 가중 및 바이어싱의 결과는 비선형 활성화 함수, 예를 들어, 시그모이드, 로지스틱 또는 ReLU 타입 함수에 공급되어, 적어도 하나의 입력 피처 벡터에 기초하여 출력 피처를 반환할 수 있다.
예로서, 머신 러닝 모델은 다층 퍼셉트론(MLP)일 수 있다. 입력 피처 벡터의 값들은 머신 러닝 모델의 입력 계층에서 수신되고, 완전 연결 계층의 일부로서, 은닉 계층의 각각의 인공 뉴런에 전달될 수 있다. 은닉 계층의 출력 피처들은 후속하여 출력 라벨의 구조를 모방하는 복수의 인공 뉴런들을 포함할 수 있는 출력 계층에 전달될 수 있다. 예를 들어, 라벨이 미리 결정된 간격에서 단일 수이면, 출력 계층은 선행 은닉 계층의 모든 인공 뉴런들에 연결될 수 있는 단일 인공 뉴런을 포함할 수 있다.
인공 뉴런 네트워크의 가변 가중 인자들 및/또는 바이어스들과 같은 머신 러닝 모델의 훈련가능한 파라미터들은 머신 러닝 파라미터들을 형성할 수 있으며, 이는 파라미터화된 전달 함수에 따라 주어진 입력 피처 벡터에 대한 머신 러닝 모델의 출력을 결정할 수 있다.
라벨링 모듈은 변분 양자 회로 및 머신 러닝 모델에 의해 각각 생성된 제1 출력 및 제2 출력을 수신하고, 제1 출력 및 제2 출력 둘 다에 기초하여 출력 라벨을 도출할 수 있다. 라벨링 모듈은 원칙적으로 머신 러닝 모델, 예를 들어, 다층 퍼셉트론일 수 있고/있거나, 예를 들어, 변분 양자 회로로부터 제1 출력을 수신하는 인공 뉴런들의 계층들의 후반부 및 입력 피처 벡터를 처리하는 인공 뉴런들의 계층들의 전반부로부터 제2 출력을 수신하는 인공 뉴런들의 계층들의 후반부의 일부로서, 제2 출력을 결정하기 위해 사용되는 머신 러닝 모델의 일부를 형성할 수 있다.
일부 예들에서, 출력 라벨은 조합 파라미터들에 기초한 제1 출력 및 제2 출력의 선형 조합이며, 이는 출력 라벨에 대한 제1 출력 및 제2 출력의 피처들의 각각의 기여를 결정할 수 있다.
시스템은 반복적인 방식으로 훈련될 수 있고, 여기서, 변분 파라미터들, 머신 러닝 파라미터들, 및 조합 파라미터들은, 이하에서 공동으로 훈련가능한 파라미터들이라고도 지칭되며, 출력 라벨이 동일한 입력 피처 벡터에 대한 샘플 데이터세트의 라벨에 접근하도록, 반복 프로세스의 각각의 단계에서 공동으로 최적화될 수 있다.
반복 프로세스는 고전적인 머신 러닝 모델들의 훈련을 모방할 수 있고, 출력 라벨은 비용 함수에 기초한 비용 값과 연관된다. 예를 들어, 훈련은 라벨들의 샘플 데이터세트 및 대응하는 샘플 입력 피처 벡터들에 기초할 수 있고, 비용 함수는 출력 라벨에 기초하고 동일한 입력 피처 벡터에 대한 샘플 데이터세트의 샘플 라벨에 기초하는 손실 함수일 수 있다. 비용 함수는 동일한 입력 피처 벡터에 대한 출력 라벨과 샘플 라벨 사이의 평균 제곱 오차일 수 있다. 통상의 기술자는, 예를 들어, 입력 피처들 및 대응하는 라벨을 포함하는 샘플 데이터세트의 데이터 포인트를 획득하고, 후속하여 데이터 포인트에 기초하여 하이브리드 양자-고전적 계산 시스템을 훈련함으로써, 하이브리드 양자-고전적 계산 시스템이 훈련됨에 따라 샘플 데이터 세트가 구성될 수 있다는 것을 이해할 것이다.
다른 예들에서, 최적 라벨은 알려지지 않을 수 있지만, 비용은 문제 진술, 예를 들어, 예시적인 예로서 이동 판매원 문제에 대한 이동 시간에 기초한 후보 솔루션에 기인할 수 있고, 훈련가능한 파라미터들은 비용이 극단화(최대화 또는 최소화)되도록 변경될 수 있다.
훈련가능한 파라미터들은 구배 기반 최적화 알고리즘들, 예를 들어 확률적 구배 하강 또는 적응적 모멘트 추정, 또는 시뮬레이션된 어닐링과 같은 비구배 기반 최적화와 같은 고전적인 머신 러닝에서 이용되는 공지된 기술들로 업데이트될 수 있다. 바람직하게는, 최적화 알고리즘은 구배 기반이고, 방법은 비용 함수에 의해 출력 라벨에 기인하는 비용에 대해 훈련가능한 파라미터들의 구배를 결정하는 단계를 포함할 수 있다.
바람직한 실시예들에서, 파라미터 업데이트를 결정하는 단계는 파라미터 업데이트 구배의 일부로서 변분 파라미터들에 대한 미분들의 벡터를 결정하는 단계를 포함한다.
훈련가능한 파라미터들은 파라미터 업데이트 구배에 기초하여 업데이트될 수 있고, 훈련가능한 파라미터들의 서브세트 또는 전부는 구배의 값 및 업데이트 단계의 크기를 정량화하는 학습률에 대한 값에 기초하여 수정될 수 있다.
바람직한 실시예들에서, 파라미터 업데이트를 결정하는 것은 비용 함수의 구배 및 학습률에 기초하고, 특히 확률적 구배 하강에 기초하고/하거나 특히 비용 함수의 이전에 결정된 구배에 기초한 운동량 계수를 포함한다.
변분 파라미터들에 대한 비용 함수의 구배는 파라미터 시프트 규칙을 통해 액세스 가능할 수 있으며, 여기서 변분 양자 회로는 시프트된 변분 파라미터들에 대한 비용 함수의 편미분들을 결정하기 위해 시프트된 변분 파라미터들로 평가된다.
바람직한 실시예들에서, 변분 파라미터들에 대한 미분들의 벡터를 결정하는 것은 반복 프로세스의 각각의 반복에서 변분 게이트들의 서브세트 또는 모두에 파라미터 시프트 규칙을 적용하는 것을 포함한다.
구체적으로, 고유값들 ±½을 갖는 양자 게이트들, 예를 들어, ½ {σx, σy, σz} 내의 1-큐비트 회전 생성기들에 대해, 변분 파라미터 에 대한 함수 f의 편미분은 에 따라 결정될 수 있다.
머신 러닝 파라미터들에 대한 비용 함수의 편미분들은 공지된 방법들로 결정될 수 있다. 따라서, 하이브리드 양자-고전적 계산 시스템의 상이한 부분들은 변분 양자 회로 및 머신 러닝 모델 둘 다의 훈련가능한 파라미터들에 대한 비용 함수의 편미분들로 구성된 구배에 기초하여 공동으로 최적화될 수 있다. 예를 들어, 양자 기계적 네트워크는 변분 파라미터들에 대한 양자 게이트들의 계층들의 편미분들을 결정하기 위해 반복적으로 평가될 수 있고, 구배는 머신 러닝 파라미터들의 고전적으로 계산된 미분들뿐만 아니라 측정된 편미분들로부터 고전적으로 계산될 수 있다.
그러나, 통상의 기술자는, 예를 들어, COBYLA(Constrained Optimization By Linear Approximation) 알고리즘 또는 유사한 알고리즘들에서와 같이, 비용 함수를 (랜덤하게) 샘플링함으로써, 미분들에 대한 액세스 없이 최적화 알고리즘에서 변분 파라미터들이 동등하게 최적화될 수 있고, 구배는 비용 함수의 에너지 랜드스케이프의 추정치에 기초한 추정된 구배일 수 있다는 것을 이해할 것이다.
그 다음, 비용 함수는, 예를 들어, 적응적 모멘트 기반 업데이트 함수로, 훈련가능한 파라미터들에 대한 비용 함수의 결정된/추정된 구배에 따라 훈련가능한 파라미터들을 반복적으로 업데이트함으로써 최소화/최대화될 수 있다.
바람직한 실시예들에서, 파라미터 업데이트를 결정하는 것은 비용 함수의 구배에 걸친 이동 평균 및 비용 함수의 제곱 구배에 걸친 이동 평균의 업데이트 함수에 기초한다.
적응적 모멘트 기반 업데이트 함수는 비용 함수의 구배에 걸친 이동 평균 및 비용 함수의 구배에 걸친 이동 평균의 (엘리먼트) 제곱에 의존하기 때문에, 변분 파라미터들의 업데이트는 구배의 1차 및 2차 모멘트들에 의해 평활화될 수 있어, "노이즈" 양자 시스템에 대해서도 최적화된 솔루션을 향한 하강을 가능하게 한다.
바람직한 실시예들에서, 변분 파라미터들 및 머신 러닝 파라미터들을 업데이트하기 위한 학습률은 상이하다.
본 발명자들은 하이브리드 양자-고전적 계산 시스템의 최적의 성능은 훈련이 변분 양자 회로 및 머신 러닝 모델 둘 다가 출력 라벨에 최적으로 기여하는 훈련가능한 파라미터들의 세트를 향해 수렴하도록 훈련 동안 변분 파라미터들 및 머신 러닝 파라미터들이 업데이트되는 상대 속도의 튜닝을 요구할 수 있다는 것을 발견하였다. 예를 들어, 변분 양자 회로 및 머신 러닝 모델은 상이한 레이트들에서 개별 최적 솔루션을 향해 수렴할 수 있다. 학습률들이 올바르게 튜닝되지 않으면, 훈련 동안, 시스템은 변분 양자 회로 및 머신 러닝 모델 중 하나가 최적으로 구성된 하이브리드 양자-고전적 계산 시스템에서보다 출력 라벨에 덜 기여하는 로컬 최소값으로 고착될 수 있다.
일부 실시예들에서, 변분 파라미터들의 학습률은, 예를 들어, 변분 양자 회로와 하모닉 성분들의 피팅을 촉진하기 위해, 머신 러닝 파라미터들의 학습률보다 크다.
바람직한 실시예들에서, 방법은 변분 파라미터들, 머신 러닝 파라미터들, 및 훈련가능한 조합 파라미터들에 대한 업데이트 벡터를 결정하고, 파라미터 업데이트를 결정하는 단계는 업데이트 벡터를, 변분 파라미터들 및 머신 러닝 파라미터들에 대한 상이한 학습률 인자들을 포함하는 학습률 벡터와 곱하는 단계를 포함한다.
업데이트 벡터는 구배에 기초할 수 있고, 머신 러닝 파라미터들 및 학습률 벡터의 변분 파라미터들에 대한 각각의 엔트리들은 예컨대 변분 양자 회로 및 머신 러닝 모델의 고유 학습률의 차이를 보상하고/하거나 변분 양자 회로를 먼저 사용하여 하모닉 성분들을 피팅하기 위한 바이어스를 도입하기 위해 상이할 수 있다.
바람직한 실시예들에서, 업데이트 벡터는 비용 함수에 대한 변분 파라미터들, 머신 러닝 파라미터들, 및 훈련가능한 조합 파라미터들의 구배이다.
대안적으로, 학습률들은 무구배 최적화 알고리즘, 예를 들어, 어닐링 알고리즘에 대한 상이한 감쇠 레이트들에 대응할 수 있다.
상이한 학습률들은 머신 러닝 모델 및 변분 파라미터들에 대한 개별 수렴 레이트들에 기초하여 추정될 수 있거나, 이력 최적화 결과들에 기초할 수 있거나, 하이브리드 양자-고전적 계산 시스템에 대해, 예를 들어, 입력 피처 벡터들 및 대응하는 라벨들의 샘플 데이터세트에 대해 경험적으로 결정될 수 있다.
바람직한 실시예들에서, 방법은 라벨링 함수에 대해 변분 파라미터들 및 머신 러닝 파라미터들을 업데이트하기 위한 학습률들의 최적의 비율을 결정하기 위해 변분 파라미터들 및 머신 러닝 파라미터들을 업데이트하기 위한 상이한 비율의 학습률로 하이브리드 양자-고전 계산 시스템을 훈련시키는 단계를 포함한다.
예를 들어, 하이브리드 양자-고전적 계산 시스템은 매번 훈련가능한 파라미터들에 대한 동일한, 예를 들어, 랜덤하게 결정된 시작 값들을 포함하는 고정된 초기화 포인트에서 초기화될 수 있고, 훈련은 훈련 동안 사용되지 않는(예를 들어, 훈련 데이터세트의 일부가 아닌) 입력 피처 벡터들에 대한 비용 함수에 대한 최종 결과들을 기록하면서 머신 러닝 모델 및 변분 양자 회로에 대한 학습률들의 상이한 값들로 고정된 초기화 포인트로부터 반복될 수 있다. 실제로, 하나의 학습률, 예를 들어, 변분 파라미터들과 연관된 학습률이 고정될 수 있고, 다른 학습률(들), 예를 들어, 머신 러닝 파라미터들 및 조합 파라미터들의 학습률이 변경될 수 있으며, 이는 일부 실시예들에서 동일하거나 상이한 학습률들일 수 있다.
비용 함수의 결과 값들에 기초하여, 최적의 학습률들이 선택될 수 있고, 하이브리드 양자-고전적 계산 시스템은 이전에 결정된 최적의 학습률들 또는 그들의 비율에 기초하여 후속하여 구현되거나 추가로 훈련될 수 있다.
변분 양자 회로는 푸리에 급수를 라벨링 함수에 피팅할 수 있어, 변분 양자 회로는 라벨링 함수의 주기 부분을 근사화하도록 훈련될 수 있다. 일부 실시예들에서, 입력 피처 벡터는 변분 양자 회로에서의 인코딩 이전에 인코딩 인자에 따라 스케일링된다.
바람직한 실시예들에서, 방법은 입력 피처 벡터를 인코딩 인자 벡터와 곱하여 스케일링된 입력 피처 벡터를 획득하는 단계 및 변분 양자 회로에서 스케일링된 입력 피처 벡터에 기초하여 적어도 하나의 인코딩 게이트로 입력 피처 벡터를 인코딩하는 단계를 포함하고, 인코딩 인자 벡터는 특히 반복 프로세스의 일부로서 업데이트되는 훈련가능한 벡터이다.
예를 들어, 인코딩 피처 벡터는 방법의 일부로서 훈련되고, 라벨링 함수의 주기성에 따라 입력 피처 벡터 또는 그의 부분들을 재스케일링할 수 있는 스케일링 인자들의 벡터일 수 있다.
바람직한 실시예들에서, 적어도 하나의 인코딩 게이트는 입력 피처 벡터의 값에 비례하는 단일 큐비트 회전들을 포함한다.
인코딩 게이트는 값을 회전 각도로서, 예를 들어, (RX, RY, RZ와 같은) 파울리 회전 게이트로서 인코딩할 수 있으며, 이는 입력 피처 벡터가 적절하게 스케일링되는 경우 라벨링 함수의 주기성을 캡처할 수 있다.
바람직한 실시예들에서, 적어도 하나의 인코딩 게이트는 변분 양자 회로의 일부로서 k회 적용되고, 여기서 k는 2보다 큰 정수 값이고, 변분 양자 회로는 적어도 2k개의 변분 파라미터에 의해 파라미터화된다.
인코딩 게이트를 여러 번 적용하는 것은, 변분 양자 회로가 고차 푸리에 급수를 라벨링 함수에 피팅할 수 있도록, 변분 양자 회로에 대한 입력 피처 벡터의 재-업로딩을 구현할 수 있다. 구체적으로, 입력 피처를 k번 인코딩함으로써, 변분 양자 회로는 k번째 차수의 푸리에 급수를 라벨링 함수에 피팅하기에 적합할 수 있다. 원칙적으로, K + 1 복소 푸리에 계수들을 피팅하기 위해, 적어도 M ≥ 2K + 1 자유도들(변분 파라미터들)이 요구될 수 있다. 따라서, 변분 양자 회로에서의 2k(또는 2k-1)개의 변분 파라미터는 k번째 차수의 푸리에 급수를 피팅하는 것을 허용할 수 있다. 인코딩 게이트는 복수의 적용을 구현하기 위해 복수의 큐비트에 병렬로 적용될 수 있거나, 예를 들어, 변분 양자 회로의 계층에서의 인코딩 동작의 일부로서, 동일하거나 상이한 큐비트들에 직렬로 적용될 수 있다.
제2 양태에 따르면, 본 발명은 라벨들의 샘플 데이터세트 및 대응하는 입력 피처 벡터들에 기초하여 입력 피처 벡터에 대한 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템에 관한 것이다. 시스템은 변분 양자 회로, 머신 러닝 모델, 및 라벨링 모듈을 포함한다. 변분 양자 회로는 큐비트 레지스터의 큐비트들에 작용하는 복수의 양자 게이트들을 포함하고, 복수의 양자 게이트들은 변분 양자 게이트들- 큐비트 레지스터의 큐비트들에 대한 변분 양자 게이트들의 파라미터화된 작용들은 연관된 변분 파라미터들에 의해 파라미터화됨 -, 및 입력 피처 벡터에 따라 큐비트 레지스터의 큐비트들의 상태를 수정하기 위해 적어도 하나의 인코딩 게이트를 포함한다. 머신 러닝 모델은 파라미터화된 전달 함수에 따라 입력 피처 벡터를 처리하도록 구성되고, 파라미터화된 전달 함수는 머신 러닝 파라미터들에 의해 파라미터화된다. 라벨링 모듈은 변분 양자 회로에 의해 생성된 제1 출력 및 머신 러닝 모델에 의해 생성된 제2 출력을 수신하고 조합 파라미터들에 따라 제1 출력과 제2 출력의 조합에 기초하여 출력 라벨을 생성하도록 구성된다. 변분 파라미터, 머신 러닝 파라미터, 및 조합 파라미터는 공통 훈련 알고리즘을 기초로 획득되고, 변분 파라미터, 머신 러닝 파라미터들, 및 조합 파라미터들은 출력 라벨의 비용 함수를 극단화하기 위해 반복적인 방식으로 공동으로 업데이트된다.
하이브리드 양자-고전적 계산 시스템은 제1 양태에 따른 방법을 사용하여 시스템을 훈련시킴으로써 획득될 수 있다. 훈련가능한 파라미터들은 변분 파라미터들 및 머신 러닝 파라미터들에 대해 상이한 학습률들로 시스템을 훈련시킴으로써 획득될 수 있다.
바람직한 실시예들에서, 조합 파라미터들은 출력 라벨에 대한 제1 출력 및 제2 출력의 상대적 기여의 비율을 결정하고, 비율은 0.01보다 크다.
비율은, 예를 들어, 제1 및 제2 출력들이 선형으로 조합될 때, 제2 출력의 적어도 하나의 엘리먼트와 제1 출력의 대응하는 엘리먼트의 비율로서 정의될 수 있다.
바람직한 실시예들에서, 적어도 하나의 인코딩 게이트는 변분 양자 회로의 일부로서 k회 적용되고, 여기서 k는 2보다 큰 정수 값이고, 변분 양자 회로는 적어도 2k개의 변분 파라미터에 의해 파라미터화된다.
바람직한 실시예들에서, 시스템은 훈련된 머신 러닝 모델을 구현하도록 구성된 고전적인 처리 시스템 및/또는 AI 처리 하드웨어를 포함하고, AI 처리 하드웨어는 특히 GPU, 신경 처리 유닛, 아날로그 메모리 기반 하드웨어, 또는 뉴로모픽 하드웨어를 포함한다.
처리 시스템은 단일 처리 유닛을 포함할 수 있거나, 기능적으로 연결될 수 있는 복수의 처리 유닛을 포함할 수 있다. 처리 유닛들은 마이크로컨트롤러, ASIC, PLA(CPLA), FPGA, 또는 전술한 AI 처리 하드웨어와 같은 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 조합에 기초하여 동작하는 처리 디바이스들을 포함하는 다른 처리 디바이스를 포함할 수 있다. 처리 디바이스들은 통합 메모리를 포함하거나, 외부 메모리와 통신하거나, 또는 둘 다를 할 수 있고, 센서들, 디바이스들, 기기들, 집적 로직 회로들, 다른 제어기들 등에 연결하기 위한 인터페이스들을 더 포함할 수 있고, 인터페이스들은 전기 신호들, 광학 신호들, 무선 신호들, 음향 신호들 등과 같은 신호들을 수신 또는 송신하도록 구성될 수 있다.
제3 양태에 따르면, 본 발명은, 컴퓨터 프로그램이 처리 시스템에 의해 실행될 때, 처리 시스템으로 하여금 제1 또는 제2 양태들의 임의의 실시예에 따른 방법을 구현하게 하고/하거나 제3 양태의 임의의 실시예에 따른 시스템을 구현하게 하는 머신 판독가능 명령어들을 포함하는 컴퓨터 프로그램에 관한 것이다.
컴퓨터 프로그램은, 컴퓨터 프로그램이 처리 시스템에 의해 실행될 때, 처리 시스템으로 하여금 제1 양태의 임의의 실시예에 따른 방법을 구현하게 하고/하거나 제2 양태의 임의의 실시예에 따른 시스템을 구현하게 하는 머신 판독가능 명령어들로서 비일시적 매체 상에 저장될 수 있다.
컴퓨터 프로그램은 하이브리드 양자-고전적 계산 시스템의 훈련을 조정할 수 있고, 그리고/또는 이전에 획득된 훈련가능한 파라미터들에 기초하여 주어진 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템을 구현할 수 있다.
본 발명에 따른 방법 및 시스템의 특징들 및 다수의 이점들은 첨부 도면들을 참조하여 바람직한 실시예들의 상세한 설명으로부터 가장 잘 이해할 수 있을 것이다.
도 1은 하이브리드 양자-고전적 계산 시스템의 예를 개략적으로 예시한다.
도 2는 다른 하이브리드 양자-고전적 계산 시스템을 개략적으로 예시한다.
도 3은 예에 따른 하이브리드 양자-고전적 계산 시스템을 훈련하기 위한 방법의 흐름도를 예시한다.
도 4는 예에 따른 하이브리드 양자-고전적 계산 시스템을 구성하기 위한 단계들을 예시한다.
도 5는 하이브리드 양자-고전적 계산 시스템을 훈련하기 위한 다른 흐름도를 예시한다.
도 6a는 하이브리드 양자-고전적 계산 시스템으로 근사화될 단일 입력 피처를 갖는 라벨링 함수의 예를 도시한다.
도 6b는 도 6a에 도시된 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템의 개략적인 예를 도시한다.
도 7a 및 도 7b는, 도 6a의 라벨링 함수를 예측하기 위해 도 6b의 하이브리드 양자-고전적 계산 시스템을 훈련하는 예에 대해, 머신 러닝 파라미터들의 학습률의 함수로서의 머신 러닝 모델 및 변분 양자 회로의 기여 비율과 변분 파라미터들의 학습률이 고정된 동안 손실들의 함수로서의 비율을 도시한다.
도 8은 예에 따른 도 6a의 라벨링 함수를 예측하기 위한 도 6b의 하이브리드 양자-고전적 계산 시스템 및 그 구성요소들의 훈련 동안의 손실들의 진화를 예시한다.
도 9a 내지 도 9d는 일 예에 따른 도 6b의 하이브리드 양자-고전적 계산 시스템 및 그 구성요소들에 의한 도 6a의 라벨링 함수 및 라벨링 함수의 최적 예측들을 예시한다.
도 10a 및 도 10b는 도 6a의 라벨링 함수를 예측하기 위해 도 6b의 하이브리드 양자-고전적 계산 시스템을 훈련시키는 예에 따른 훈련 동안의 에포크들의 함수로서의 손실 및 비율의 진화를 예시한다.
도 11은 2개의 입력 변수를 갖는 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템의 다른 개략적인 예를 도시한다.
도 12a 내지 도 12d는 일 예에 따른 하이브리드 양자-고전적 계산 시스템 및 그 구성요소들에 의한 등고선 플롯으로서의 예시적인 라벨링 함수 및 라벨링 함수의 최적 예측들을 예시한다.
도 13은 예에 따른 하이브리드 양자-고전적 계산 시스템 및 그 구성요소들의 훈련 동안 에포크들의 함수로서 손실들의 진화를 예시한다.
도 14는 예에 따른 라벨링 함수에 적합한 처리 하드웨어를 선택하는 방법의 흐름도를 예시한다.
도 1은 변분 양자 회로(12) 및 머신 러닝 모델(14)을 포함하는 하이브리드 양자-고전적 계산 시스템(10)의 예를 개략적으로 예시한다. 시스템(10)은 입력에서 입력 피처 벡터(16)를 수신하며, 이는 단일 값 또는 임의의 적절한 포맷으로 인코딩된 복수의 값의 형태를 취할 수 있다. 예를 들어, 입력 피처 벡터(16)는 처리 시스템에서 비트 스트링으로서 인코딩된 단일 실제 값일 수 있다. 입력 피처 벡터(16)는 변분 양자 회로(12) 및 머신 러닝 모델(14)에 병렬적으로 전달되어 처리된다. 그러나, 통상의 기술자는 변분 양자 회로(12) 및 머신 러닝 모델(14)에서 입력 피처 벡터(16)를 동시에 처리할 필요가 없다는 것을 이해할 것이다.
변분 양자 회로(12)는 적어도 부분적으로 양자 디바이스 상에서 구현될 수 있고, 여기서 입력 피처 벡터(16) 또는 그로부터 도출된 피처 벡터는 양자 디바이스의 양자 상태로 인코딩된다. 양자 디바이스의 양자 상태는 변분 양자 게이트들의 구성에 기초하여 조작될 수 있으며, 변분 양자 게이트들의 작용은 변분 파라미터들에 의해 파라미터화될 수 있다. 양자 디바이스의 출력 상태는 (반복적으로) 측정될 수 있고, 측정된 출력 상태에 기초하여 제1 출력이 생성될 수 있다.
머신 러닝 모델(14)은 GPU 및/또는 AI 처리 디바이스를 포함할 수 있는 고전적인 처리 시스템에서 구현될 수 있고, 각각의 인공 뉴런에 대한 훈련가능한 가중치들 및/또는 바이어스들에 의해 파라미터화될 수 있는 활성화 함수에 기초하여 입력들을 처리하는 인공 뉴런들의 계층들을 갖는 내부 다층 퍼셉트론(MLP)에 따라 입력 피처 벡터(16)를 처리할 수 있다. 머신 러닝 모델(14)의 제2 출력은 이어서 다층 퍼셉트론의 출력 계층에서의 인공 뉴런들의 활성화들에 기초하여 생성될 수 있다.
처리 후에, 제1 출력 및 제2 출력은 라벨링 모듈(18)에 제공될 수 있다. 라벨링 모듈(18)은 조합 파라미터들에 따라 제1 출력 및 제2 출력에 기초하여 출력(20)을 생성할 수 있다. 라벨링 모듈은 다층 퍼셉트론과 같은 머신 러닝 모델일 수 있거나, 고전적인 처리 시스템에서 제1 출력 및 제2 출력의 선형 조합과 같은 조합 함수를 구현할 수 있다. 예를 들어, 제1 출력 및 제2 출력은 선형 조합 함수에 따라 조합될 수 있다.
(1)
여기서, 는 각각 변분 양자 회로 및 머신 러닝 모델의 제1 및 제2 출력 벡터들이고, 는 n 엘리먼트들을 갖는 출력 피처 벡터의 i번째 엘리먼트에 대한 조합 파라미터들이고, 및 은 각각 제1 및 제2 출력 벡터의 i번째 엘리먼트들이다. 예로서, 는 일 수 있다.
조합 파라미터들, 머신 러닝 파라미터들, 및 변분 파라미터들은, 예를 들어, 확률적 구배 하강 또는 그 변형에 기초하여 공동으로 훈련될 수 있어서, 라벨링 모듈(18)에 의해 생성된 출력(20)은 입력 피처 벡터(16)를 출력 라벨에 매핑하는 일반적으로 알려지지 않은 라벨링 함수를 근사화하는 라벨로서 사용될 수 있다.
도 2는 일 예에 따른, 변분 양자 회로(variational quantum circuit)(12)(VQC) 및 다층 퍼셉트론(multilayer perceptron)(MLP)으로서 구현된 머신 러닝 모델(14)을 포함하는 다른 하이브리드 양자-고전적 계산 시스템(10)을 개략적으로 예시한다. 입력 피처 벡터(16)에 인코딩된 입력 데이터는 머신 러닝 모델(14) 및 변분 양자 회로(12)로 병렬로 흐르고, 그 후 조합되어 출력(20)으로서 사용되며, 출력들의 조합은 라벨링 모듈(18)을 구현한다. 조합은 최종 출력(20)에 대한 변분 양자 회로(12) 및 머신 러닝 모델(14)의 기여를 결정할 수 있는, 훈련가능한 가중치들을 사용한 가중 선형 가산일 수 있다.
예시된 예에서 사용되는 변분 양자 회로(12)는 일반화된 데이터 재-업로딩 변분 양자 회로(12)이며, 여기서 K 큐비트들(22)은 상태 에서 초기화되고, 그 후 유니터리들 에 의해 설명되는 일련의 변분 게이트들(24)(계층들), 및 유니터리들 에 의해 주어지는 인코딩 게이트들(26)(계층들)이 교대로 적용된다. 인코딩 계층들 S는 입력 피처들 를 취하고, 이들을 유니터리 변환으로 인코딩하며, 이는 이어서 큐비트들(22)의 상태에 적용된다. 변분 계층들 U는 네트워크의 양자 상태에 적용될 수 있는 연산자로서 변분 양자 회로(12) 모델 파라미터들을 캡슐화하는 유니터리들이고, 변분 파라미터들 에 의해 파라미터화되며, 변분 파라미터들은 각각이 다수의 값들을 포함할 수 있고, 즉, 는 벡터일 수 있다. 마지막으로, 큐비트들(22)의 양자 상태가 적어도 하나의 검출기(28)에 의해 측정되며, 따라서, M 고전적 출력들로 붕괴되고, 이러한 고전적 출력들은 양자 정보는 회로의 기대값을 취함으로써 제1 출력 에 매핑될 수 있으며,
(2)
여기서, 는 측정 이전의 양자 회로의 상태를 나타내고, x는 입력 피처 벡터이고, θ는 변분 파라미터들이다.
출력 라벨(38)을 결정하기 위해 큐비트들(22) 중 일부를 측정하는 것으로 충분할 수 있으므로, 변분 양자 회로(12)의 고전적 출력들 의 수 M, 및 큐비트들(22)의 수 K는 동일할 필요가 없다.
병렬로, 완전 연결 MLP가 또한 입력 계층(32) 내의 N 피처들을 취하며, 그 출력들은 크기 F의 은닉 뉴런들(34)의 단일 계층에 전달될 수 있으며, 이는 입력 피처 벡터(16)에 크기 NxF의 가중치 행렬을 곱함으로써 구현될 수 있고, 가중치들 은 각각의 입력들 i에 작용하는 각각의 계층 k 내의 각각의 인공 뉴런 j와 연관된다. 그 후, 바이어스들 이 이러한 값들에 적용될 수 있고, 결과는, 예를 들어, 다음과 같은 활성화 함수를 사용하여 스케일링될 수 있고,
(3)
여기서 는 선행 계층의 활성화들이고, σ는 ReLU, 로지스틱, 시그모이드 또는 쌍곡선 탄젠트 함수, 또는 본 기술분야에 공지된 임의의 다른 비선형 활성화 함수와 같은 임의의 적절한 활성화 함수일 수 있다. 비선형 활성화 함수는 다른 선형 시스템에 대한 비선형성의 척도를 제공할 수 있다. 뉴런들(34)의 은닉 계층 내의 인공 뉴런들의 활성화들 은, 로 표시된 M 출력들을 획득하기 위해, 그들 자신의 가중치들, 바이어스들 및/또는 활성화 함수(상이한 활성화 함수일 수 있음)를 가질 수 있는 출력 계층(36)의 인공 뉴런들에 추가로 전파될 수 있다.
변분 양자 회로(12)의 출력들 은 제1 출력을 형성하고, 이는, 예를 들어, 2-대-1 선형 가중치 계층을 사용하여, 머신 러닝 모델(14)의 출력들 에 의해 형성된 제2 출력과 조합되어 출력들 을 출력 라벨(38)로서 형성할 수 있다. 예를 들어, 변분 양자 회로(12)의 제1 출력 및 머신 러닝 모델(14)의 제2 출력은 다음에 따라 조합될 수 있고: , 모든 M 출력들에 대해서 유사하며, 여기서 는 훈련가능한 조합 파라미터들이다.
도 3은 반복 훈련 프로세스의 단계들의 예에 따른 하이브리드 양자-고전적 계산 시스템(10)을 훈련하기 위한 방법의 흐름도를 예시한다. 방법은 샘플 데이터세트의 입력 피처 벡터(16)를 변분 양자 회로(12) 및 머신 러닝 모델(14)에 제공하는 단계(S10), 및 제1 출력 및 제2 출력을 라벨링 모듈(18)에 제공하는 단계(S12)를 포함한다. 방법은 입력 피처 벡터(16)에 대한 출력 라벨에 대한 비용 함수의 값에 기초하여 변분 파라미터들, 머신 러닝 파라미터들, 및 훈련가능한 조합 파라미터들의 파라미터 업데이트를 결정하는 단계(S14)를 더 포함한다.
하이브리드 양자-고전적 계산 시스템(10)은 복수의 샘플 입력 피처 벡터들(16) 및 대응하는 샘플 출력 라벨들(38)을 포함할 수 있는 샘플 데이터의 훈련 데이터세트에 기초하여 훈련될 수 있다. 초기에, 하이브리드 양자-고전적 계산 시스템(10)의 모든 훈련가능한 파라미터들, 즉, 변분 파라미터들, 머신 러닝 모델(14)의 머신 러닝 파라미터들(예를 들어, 다층 퍼셉트론의 가중치 및 바이어스들)뿐만 아니라 조합 파라미터들은, 예를 들어, 랜덤 값들로서 초기화될 수 있다. 또한, 출력 라벨(38)의 품질을 정량화하기 위해 비용 함수, 즉 MSE(mean squared error)와 같은 손실 함수가 선택될 수 있다.
후속하여, 샘플 입력 피처 벡터들(16)이 하이브리드 양자-고전적 계산 시스템(10)에 전달될 수 있고, 비용 함수의 구배는 하이브리드 양자-고전적 계산 시스템(10)에 의해 생성된 출력 라벨(38)과 샘플 출력 라벨 사이의 MSE에 기초하여 추적될 수 있다. 구배는 네트워크 내의 모든 파라미터들에 대해 결정될 수 있고, 모든 데이터 포인트들에 대한 평균 구배는, 예를 들어, Adam(adaptive moment estimation algorithm)과 같은 최적화 알고리즘에 기초하여, 훈련가능한 파라미터들을 업데이트하기 위해 사용될 수 있다. 반복 훈련 프로세스는 훈련 동안 임의의 포인트에서, 예를 들어, 비용 함수가 특정 값에 도달하거나, 플래토에 도달하거나, 또는 파라미터 공간에서의 포인트에 대한 루프로 고착되는 경우에 종료될 수 있다. 통상의 기술자는 각각의 반복 단계에서 비용 함수를 평가하는 것이 필요하지 않을 수 있으며, 훈련 동안 구배를 계산하는 것으로 충분할 수 있다는 것을 이해할 것이다.
변분 양자 회로(12)는 훈련 데이터세트의 샘플 데이터에 대해 푸리에 급수를 피팅할 수 있고,
(4)
여기서 푸리에 급수의 차수 L은 변분 양자 회로(12)의 일부로서 큐비트들(22)에 인코딩 게이트들(26)을 여러 번 적용함으로써 증가될 수 있다. 동시에, 머신 러닝 모델(14)은 일반적으로 알려지지 않은 라벨링 함수의 비하모닉 성분들을 피팅할 수 있어서, 조합된 훈련은 라벨링 함수를 효율적으로 근사화할 수 있다.
하이브리드 양자-고전적 계산 시스템(10)의 구성 및 훈련의 하이퍼-파라미터들은 라벨링 함수에 기초하여 선택될 수 있다.
도 4는 일 예에 따른 병렬적인 변분 양자 회로(12) 및 머신 러닝 모델(14)(병렬 하이브리드 회로, PHN)을 갖는 하이브리드 양자-고전적 계산 시스템(10)을 구성하기 위한 단계들을 예시한다.
단계들은 가중 인자들 에 대한 학습률들을 조합 파라미터들로서 선택하는 단계를 포함하며, 이는 머신 러닝 파라미터들 및/또는 변분 파라미터들에 대해 상이한 학습률들일 수 있다. 또한, 예시된 예시적인 단계들은 훈련 동안 훈련가능한 파라미터들을 최적화하기 위한 최적화 알고리즘을 선택하는 단계를 포함한다.
또한, 단계들은 변분 양자 회로(12)(VQC) 및 머신 러닝 모델(14)에 대한, 예를 들어, 단일 은닉 계층을 갖는 완전 연결 다층 퍼셉트론(MLP)에 대한 하이퍼-파라미터들을 선택하는 단계를 포함한다.
변분 양자 회로(12)에 대해, 적합한 하이퍼-파라미터들을 선택하기 위한 단계들은, 인코딩 루틴의 선택, 예컨대, 인코딩 게이트들(26)로서 단일 큐비트 회전들을 통한 각도 임베딩- 데이터 재-업로딩의 일부로서 병렬로 여러 번 반복되거나 수행될 수 있음 -, 및 예를 들어, 변분 계층들에 관하여, 변분 게이트들(24)의 배열 및 수의 설계를 포함한다. 더욱이, 측정 연산자, 예를 들어 큐비트 상태의 Z-축에 대한 투영이 선택되고, 변분 파라미터들에 대한 학습률이 선택될 수 있다.
머신 러닝 모델(14)에 대해, 적합한 하이퍼-파라미터들을 선택하기 위한 단계들은, 예를 들어, 훈련 데이터세트 및 라벨링 함수의 세부사항들에 기초하여, 적어도 하나의 은닉 계층(34)에서의 인공 뉴런들의 수를 선택하는 단계를 포함할 수 있다. 또한, 활성화 함수들은 다층 퍼셉트론의 상이한 계층들에 대해 선택될 수 있고- 예를 들어, 은닉 계층(34)에 대한 시그모이드 또는 로지스틱 활성화 함수 및 출력 계층(36)에 대한 ReLU 함수, 또는 그 반대일 수 있음 -, 머신 러닝 파라미터들에 대한 학습률이 선택될 수 있다.
변분 양자 회로(12)를 구현하는 것의 일부로서, 초기 회로 정의가 양자 회로 구현 디바이스에 전달될 수 있고, 이는 양자 하드웨어에 대해 변분 양자 회로(12)를 최적화하는 것과 같이, 양자 디바이스의 아키텍처에 기초하여 변분 양자 회로(12)를 적응시킬 수 있다. 예를 들어, 초기 변분 양자 회로(12)가 CNOT 연산을 지정할 때, 하드웨어 구현은 단일 큐비트 및 다중 큐비트 상태 회전들의 조합을 포함할 수 있다. 더욱이, 예컨대, 하드웨어 효율적인 양자 게이트들을 갖는 변분 양자 회로(12)를 구현하기 위해서, 다수의 게이트들이 양자 게이트들의 상이한 배열로 조합될 수 있다.
통상의 기술자는 단계들이 단지 예시 목적들을 위해 도시되고 단지 부분적으로만, 그리고, 상이한 순서로 수행될 수 있다는 것, 예를 들어, 학습률들 및/또는 최적화 알고리즘이 마지막 단계로서, 또는 변분 양자 회로(12)의 하드웨어 구현 이전에 선택될 수 있다는 것을 이해할 것이다. 하이브리드 양자-고전적 계산 시스템(10)의 구성 후에, 시스템(10)은 라벨링 함수를 근사화하도록 훈련될 수 있다.
도 5는 일 예에 따른, 다층 퍼셉트론으로서 구현된, 병렬 변분 양자 회로(12) 및 머신 러닝 모델(14)을 갖는 하이브리드 양자-고전적 계산 시스템(10)을 훈련하기 위한 흐름도를 예시한다.
흐름도는 변분 양자 회로(12)(VQC), 머신 러닝 모델(14), 및 변분 양자 회로(12) 및 머신 러닝 모델(14)의 출력들을 선형적으로 조합하기 위한 조합 파라미터들을 형성하는 훈련가능 가중 인자들의 파라미터들을 초기화하는 단계로 시작한다. 후속 단계는 하이브리드 양자-고전적 계산 시스템(10)에 의해 생성된 출력 라벨(38)을 MSE(mean squared error)와 같은 훈련 데이터세트의 샘플 라벨과 비교하기 위한 비교(비용) 함수의 선택을 포함한다.
그 다음, 훈련 알고리즘은 훈련 데이터세트의 입력 피처 벡터(16) "x" 및 대응하는 샘플 라벨 "y"를 포함하는 데이터 포인트를 반복적으로 선택하고 이를 변분 양자 회로(12) 및 머신 러닝 모델(14)에 병렬로 전달하며, 이는 데이터 포인트를 개별적으로 처리하고 각각의 출력들을 반환한다.
머신 러닝 모델(14)은 입력 피처 벡터(16)를 그의 입력 계층(32)에 전달하고 그의 출력 계층(36)으로부터 출력을 검색한다. 변분 양자 회로(12)는 선택된 인코딩 루틴을 사용하여 입력 피처 벡터(16)를 인코딩하고, Z-축 투영에 기초하여, 선택된 측정 연산자의 기대값, 예를 들어, "0" 또는 "1" 상태들에 있는 큐비트들(22)의 기대값을 측정한다.
훈련가능 가중치들에 따라 변분 양자 회로(12) 및 머신 러닝 모델(14)의 출력들을 선형으로 조합함으로써 출력 라벨(38)로서 예측이 획득되고, 예측된 출력 라벨(38)은 훈련 데이터세트의 샘플 라벨 "y"와 비교된다.
또한, 비교 값(비용)의 구배는 훈련가능한 파라미터들의 일부 또는 전부에 대해 결정될 수 있다. 후속하여, 다음 데이터 포인트는, 예를 들어, 훈련 데이터세트의 모든 데이터 포인트들이 통과될 때까지 처리될 수 있다.
계산된 구배들에 기초하여, 처리된 데이터 포인트들에 대한 평균 구배가 결정될 수 있고, 선택된 최적화 알고리즘 및 선택된 학습률들에 기초하여 훈련가능한 파라미터들을 업데이트하는 데 사용될 수 있으며, 이로써 훈련의 하나의 에포크를 종료할 수 있다.
훈련은, 예를 들어, 파라미터 업데이트가 더 이상 비교 값을 개선하지 않는다고 결정될 때까지, 미리 결정된 수의 에포크들까지, 또는 미리 결정된 비교 값에 도달할 때까지, 제1 데이터 포인트로 후속하여 재착수될 수 있다.
도 6a는 하이브리드 양자-고전적 계산 시스템(10)으로 근사화될 간단한 라벨링 함수의 예를 도시한다. 라벨링 함수는 고주파 섭동을 갖는 단일-주파수 정현파 함수이고, 여기서, 예는 함수 로 생성되고, 100개의 등간격 데이터 샘플(비어있는 원)이 하이브리드 양자-고전 계산 시스템(10)을 훈련하기 위한 훈련 데이터세트로서 이 분포로부터 취해졌다. 샘플들은 하이브리드 양자-고전 계산 시스템(10)의 입력 피처들로서 기능하기 위해 -1과 1 사이에 있도록 스케일링되고, 함수 값(Y)은 각각의 입력 피처 x에 대한 샘플 라벨로서 기록된다.
도 6b는 도 6a에 도시된 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전 계산 시스템(10)의 개략적인 예를 도시한다. 하이브리드 양자-고전적 계산 시스템(10)은 본 발명자들에 의해 시뮬레이션된 양자 디바이스에서 구현되는 변분 양자 네트워크(12), 및 고전적 처리 시스템에서 구현되는 머신 러닝 모델(14)을 포함한다.
변분 양자 회로(12)는 단일 큐비트(22)를 포함하고, 그 위에 변분 파라미터들 에 의해 파라미터화된 다수의 변분 게이트들(24), 및 각도 임베딩을 통해 입력 피처 x를 인코딩하는 인코딩 게이트(26)가 양자 상태가 하다마드 게이트를 통해 검출기(28)에 전달되어 제1 출력(30) 을 생성하기 전에 작용한다.
병렬로, 완전 연결 다층 퍼셉트론(MLP)으로서 구현된 머신 러닝 모델(14)은 또한 입력 계층(32)에서 입력 피처 x를 취하고, 그 출력 피처들은 은닉 뉴런들(34)의 단일 계층으로 전달되며, 여기서 입력 피처 x는 가중치들 로 곱해지고, 바이어스들 에 추가되고, 활성화 함수에 기초하여 수정되며, 활성화 함수는 본 예에서 ReLU 함수에 의해 구현된다. 은닉 뉴런들(34)의 결과적인 활성화들은 출력 계층(36)에서 제2 출력 을 생성하기 위해 조합되기 전에 가중치들 로 곱해진다.
출력들 , 은 입력 피처(x)에 기초하여 함수(Y)의 값을 나타내는 출력 라벨(38)을 획득하기 위해 조합 파라미터들 , 에 기초하여 후속하여 조합될 수 있다.
하이브리드 양자-고전 계산 시스템(10)의 개별 구성요소들은 변분 파라미터들() 및 머신 러닝 파라미터들(, , )에 대한 상이한 학습률들에 대해 후속하여 훈련되고, 최종 비율들 및 샘플 라벨과 출력 라벨(38) 사이의 평균 제곱 오차(손실)가 기록된다.
도 7a는 도 6a의 함수를 예측하기 위해 도 6b의 하이브리드 양자-고전적 계산 시스템(10)을 훈련할 때 획득된 머신 러닝 파라미터들의 학습률의 함수로서 최종 비율을 도시하며, 한편, 변분 파라미터들에 대한 학습률은 0.01로 고정된 채로 유지된다. 조합 파라미터들은 머신 러닝 파라미터들과 동일한 레이트로 학습되고, 즉, 동일한 업데이트 스텝 크기로 업데이트되고, 하이브리드 양자-고전 계산 시스템(10)의 훈련가능한 파라미터들의 일부를 형성한다. 도 7b는 최종 비율의 함수로서 손실들(평균 제곱 오차)을 도시한다.
도 7a로부터 알 수 있는 바와 같이, 최종 비율은 머신 러닝 파라미터들 및 조합 파라미터들에 대한 학습률의 선택에 의해 영향을 받고, 높은(0.01보다 큼) 및 낮은 훈련 레이트들(10-5보다 작음) 둘 다에 대해 낮다(대략 0.01보다 작음). 학습률의 중간 값들에서, 비율은 (0.01보다 크게) 증가되어, 변분 양자 회로(12) 및 머신 러닝 모델(14) 둘 모두가 최종 출력 라벨(38)에 기여한다.
도 7b에서 알 수 있는 바와 같이, 최저 손실들은 대략 0.07의 중간 비율들에 대해 획득되며, 이는 변분 양자 회로(12)와 머신 러닝 모델(14)의 최적의 조합이 (상대적인) 학습률들의 적합한 선택에 의해 발견될 수 있는 출력 라벨(38)에 대한 최상의 근사화를 생성할 수 있다는 것을 보여준다.
도 8은 변분 양자 회로(12)만(점선), 머신 러닝 모델(14)만(파선), 및 하이브리드 양자-고전 계산 시스템(10)(실선)을 훈련하는 동안의 손실들의 진화를 예시한다.
곡선들로부터 알 수 있는 바와 같이, 변분 양자 회로(12)의 평균 제곱 오차는 단지 훈련의 소수의 에포크(500 에포크보다 작음) 후에 플래토에 도달하는 반면, 머신 러닝 모델(14)의 평균 제곱 오차는 3000 에포크 후에만 플래토에 도달한다. 하이브리드 양자-고전적 계산 시스템(10)을 형성하는 조합된 변분 양자 회로(12) 및 머신 러닝 모델(14)은 약 500 에포크 후에 개별 구성요소들보다 더 낮은 평균 제곱 오차에 도달하지만, 시간 경과에 따라 계속 개선된다.
그 결과, 변분 양자 회로(12)의 빠른 수렴이, 개별적으로 훈련될 때, 훈련 동안 하이브리드 양자-고전적 계산 시스템(10)에 대한 전역 최소값의 검출을 방지하지 않도록, 상대적 학습률들을 균형화함으로써 최적의 훈련이 획득될 수 있다는 것이 추론될 수 있다.
도 9a 내지 도 9d는 도 6a의 기능을 예측하기 위해 도 6b의 하이브리드 양자-고전적 계산 시스템(10)을 훈련할 때 획득될 수 있는 하이브리드 양자-고전적 계산 시스템(10) 및 그 구성요소들에 의한 라벨링 함수의 최적 예측을 예시한다. 도 9a는 근사화될 원래의 라벨링 함수(굵은 선)를 재현한다. 도 9d는 최적의 학습률들로 훈련된 하이브리드 양자-고전적 계산 시스템(10)의 예측을 도시한다. 도 9b 및 도 9c는 훈련 데이터세트 내의 100개의 샘플에 기초하여 출력 라벨(38)을 근사화하도록 개별적으로 훈련될 때, 변분 양자 회로(12)(점선) 및 머신 러닝 모델(14)(파선)만을 각각 사용하여 획득가능한 최상의 근사화들을 도시한다.
변분 양자 회로(12)에 의해 생성된 출력 라벨(38)은 어떠한 고주파 섭동도 고려하지 않는 단일 주파수 사인 함수이다. 머신 러닝 모델(14)에 의해 생성된 출력 라벨(38)은 라벨링 함수의 대략적인 윤곽을 동등하게 근사화할 수 있지만, 가장 높은 유사성은 변분 양자 회로(12)와 머신 러닝 모델(14)을 조합하는 하이브리드 양자-고전적 계산 시스템(10)을 사용하여 획득된다.
도 10a 및 도 10b는 머신 러닝 파라미터들 및 조합 파라미터들의 최적 학습률이 0.007인 반면, 변분 파라미터들은 0.01의 학습률로 학습된 하이브리드 양자-고전 계산 시스템(10)의 훈련 동안 에포크들의 함수로서 비율 및 손실의 진화를 예시한다. 비율은 초기에 약 0.03으로부터 약 0.005로 감소되는 반면, 손실들은 신속하게 강하한다. 후속하여, 비율은 다시 증가하는 반면, 손실들은 계속 감소하며, 여기서 손실은 약 0.08의 최종 비율에서 최소이다.
도 11은 입력 피처 벡터(16)의 2개의 입력 피처 를 단일 출력 라벨(38)에 매핑하는 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템(10)의 다른 예를 도시한다. 하이브리드 양자-고전적 계산 시스템(10)은 도 6b의 하이브리드 양자-고전적 계산 시스템(10)과 유사하고, 대응하는 엘리먼트들은 동일한 참조 부호들로 표시되지만, 그들의 설명은 반복되지 않을 것이다.
변분 양자 회로(12)는 2개의 큐비트(22)를 포함하고, 복수의 변분 게이트(26) 및 인코딩 게이트(24)는 그들 각각의 양자 상태들에 작용한다. 큐비트들(22)은 CNOT 동작(40)에 의해 얽히고, 마지막으로 큐비트들(22) 중 하나의 상태는 변분 양자 회로(12)의 출력 을 결정하기 위해 여러 번 측정되며, 이는 출력 라벨 을 생성하기 위해 머신 러닝 모델(14)로서 단일 은닉 계층(34)을 갖는 완전 연결 다층 퍼셉트론(MLP)의 출력 과 조합된다. MLP에서 이용되는 활성화 함수들은 각각 제1 계층 및 제2 계층에 대해 ReLU 및 시그모이드로서 선택되었다.
하이브리드 양자-고전적 계산 시스템(10)은 라벨링 함수 를 예측하도록 훈련되었으며, 이는 거친 하모닉 구조(처음 4개의 항)뿐만 아니라 고주파 노이즈(마지막 3개의 항)를 포함하고, 여기서 0.01의 학습률이 변분 파라미터에 대해 사용되었고, 모든 다른 훈련가능한 파라미터에 대해 0.001이 사용되었다. 또한, 아담 최적화기는 모든 학습률에 모든 10 에포크마다 γ = 0.99를 곱한 학습률 스케줄러로 훈련 동안 사용되었다. 훈련 데이터세트는 라벨링 함수로부터의 100개의 등거리 포인트로부터 구성되었다.
도 12a는 라벨링 함수를 등고선 플롯으로서 예시하고, 도 12b는 자체적으로 라벨링 함수를 근사화하도록 훈련될 때 도 11에 도시된 변분 양자 회로(12)에 의해 생성된 입력 피처들 의 함수로서 출력 라벨(38)을 도시하고, 도 12c는 자체적으로 라벨링 함수를 근사화하도록 훈련될 때 도 11에 도시된 머신 러닝 모델(14)에 의해 생성된 결과를 도시하고, 도 12d는 도 11의 하이브리드 양자-고전 계산 시스템(10)에 의해 생성된 출력을 예시한다. 윤곽은 일정한 값을 갖는 선을 나타내고, 동심원은 함수의 증가된 강도를 나타내고, 점선은 음의 값을 나타내는 반면, 실선은 양의 영역을 나타낸다.
변분 양자 회로(12)의 예측은 수학식 4에 따라 평활하고 볼록한 반면, 머신 러닝 모델(14)은 라벨링 함수를 들쭉날쭉한 형상들로 근사화하지만, 그러나, 이는 라벨링 함수와 잘 일치하지 않는다. 양자 모두의 근사기들을 이용하여, 하이브리드 양자-고전적 계산 시스템(10)은 추가된 들쭉날쭉한 에지들을 갖는 하모닉 함수들의 혼합을 생성한다.
도 13은 변분 양자 회로(12)(점선) 자체, 머신 러닝 모델(14)(파선) 자체, 및 하이브리드 양자-고전 계산 시스템(10)(실선)의 훈련 동안 에포크들의 함수로서 손실들의 진화를 예시한다.
곡선들로부터 알 수 있는 바와 같이, 변분 양자 회로(12)는 단지 훈련의 소수의 에포크(500 에포크보다 작음) 후에 플래토에 도달하는 반면, 머신 러닝 모델(14)의 손실들은 3000 에포크 후에만 플래토에 도달하고, 손실들은 변분 양자 회로(12)(점선) 자체에 대한 것보다 상당히 더 높다.
하이브리드 양자-고전적 계산 시스템(10)을 형성하는 조합된 변분 양자 회로(12) 및 머신 러닝 모델(14)은 개별 구성요소들보다 더 낮은 손실들에 신속하게 도달하지만, 시간 경과에 따라 계속 개선되며, 이는 변분 양자 회로(12)가 라벨링 함수의 저주파수 성분들을 신속하게 근사화하는 반면, 머신 러닝 모델(14)은 후속하여 고주파 섭동들의 속성들을 학습하는 것으로 이해될 수 있다.
통상의 기술자는 하이브리드 양자-고전적 계산 시스템(10)이, 예를 들어, 큐비트들(22)이 증가함에 따라 가능한 내부 상태들의 기하급수적으로 증가하는 공간을 제공하는 변분 양자 회로(12)로 인해, 출력 라벨(38)이 많은 수의 입력 피처들에 의존할 수 있을 때, 및 문제의 기저에 있는 라벨링 함수가 하모닉 및 비하모닉 피처들의 혼합과 연관될 때와 같은, 특정 타입들의 문제들에 대해 최적으로 기능할 수 있다는 것을 이해할 것이다.
도 14는 입력 피처 벡터들(16), "x", 및 대응하는 출력 라벨들(38), "y"의 데이터세트로서 제공되는 라벨링 함수에 대한 특정 정도의 지식이 주어지면 적합한 처리 하드웨어를 선택하기 위한 방법의 흐름도를 예시한다. 훈련 데이터세트는 머신 러닝 모델(14) 및/또는 변분 양자 회로(12)에 대한 최적의 입력/출력 구조에 따라 정규화될 수 있고, 후속하여 머신 러닝 패러다임은 주기적/하모닉 피처들의 존재에 기초하여 선택될 수 있다.
데이터세트가 완전 하모닉인 경우, 순수 양자 머신 러닝 알고리즘은 데이터세트에 대한 양호한 라벨링 함수를 향해 신속하고 효율적으로 수렴할 수 있다. 데이터세트에 대해 특정 양자 아키텍처가 선택될 수 있고, 훈련된 변분 양자 회로(12)로 라벨링 함수를 근사화하기 위해 양자 최적화 루틴이 사용될 수 있다.
데이터세트가 대부분 또는 완전히 비하모닉인 경우, 라벨링 함수를 근사화하기 위해 고전적인 하드웨어가 이용될 수 있고, 머신 러닝 모델(14)이 훈련 후에 획득되도록 적합한 아키텍처 및 최적화 루틴이 선택될 수 있다.
라벨링 함수가 하모닉 및 비하모닉/고주파 피처들의 혼합을 포함하는 경우, 하이브리드 양자-고전적 계산 시스템(10)이, 예를 들어, 도 4에서와 같이 구성될 수 있고, 선행 예들에서와 같이, 라벨링 함수를 근사화하기 위한 조합된 훈련 프로세스에서 최적화될 수 있다.
통상의 기술자는 훈련 샘플들의 가용성 또는 입력 피처 벡터의 복잡성과 같은 다른 인자들이 결정 프로세스를 지배하거나 결정 프로세스에 영향을 미칠 수 있다는 것을 이해할 것이다.
바람직한 실시예들 및 도면들의 설명은 단지 본 발명 및 그와 연관된 유익한 효과들을 예시하는 역할을 할 뿐이며, 임의의 제한을 암시하는 것으로 이해되어서는 안 된다. 본 발명의 범위는 첨부된 청구항들에 의해서만 결정되어야 한다.
10 하이브리드 양자-고전적 계산 시스템
12 변분 양자 회로
14 머신 러닝 모델
16 입력 피처 벡터
18 라벨링 모듈
20 변분 양자 회로
22 큐비트들
24 변분 게이트들
26 인코딩 게이트들
28 검출기
30 제1 출력
32 입력 계층
34 은닉 계층
36 출력 계층
38 출력 라벨
40 CNOT 연산

Claims (15)

  1. 입력 피처 벡터에 대한 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템을 훈련하기 위한 방법으로서, 상기 시스템은
    큐비트 레지스터의 큐비트들에 작용하는 복수의 양자 게이트들을 포함하는 변분 양자 회로- 상기 복수의 양자 게이트들은 변분 양자 게이트들 및 적어도 하나의 인코딩 게이트를 포함하고, 상기 큐비트 레지스터의 큐비트들에 대한 상기 변분 양자 게이트들의 파라미터화된 작용들은 연관된 변분 파라미터들에 따라 파라미터화되고, 상기 적어도 하나의 인코딩 게이트는 상기 입력 피처 벡터에 따라 상기 큐비트 레지스터의 큐비트들의 상태를 수정하기 위한 것임 -;
    파라미터화된 전달 함수에 따라 상기 입력 피처 벡터를 처리하도록 구성된, 고전적인 처리 시스템 상에 구현된 머신 러닝 모델- 상기 파라미터화된 전달 함수는 머신 러닝 파라미터들에 의해 파라미터화됨 -; 및
    상기 변분 양자 회로에 의해 생성된 제1 출력 및 상기 머신 러닝 모델에 의해 생성된 제2 출력을 수신하고, 상기 제1 출력과 상기 제2 출력의 조합에 기초하여 출력 라벨을 생성하도록 구성되는, 고전적인 처리 시스템 상에서 구현되는 라벨링 모듈- 상기 조합은 복수의 훈련가능한 조합 파라미터들에 기초함 -을 포함하고;
    상기 방법은 반복 프로세스를 포함하고, 상기 반복 프로세스는
    - 상기 샘플 데이터세트의 입력 피처 벡터를 상기 변분 양자 회로 및 상기 머신 러닝 모델에 제공하는 단계,
    - 상기 제1 출력 및 상기 제2 출력을 상기 라벨링 모듈에 제공하는 단계, 및
    - 상기 입력 피처 벡터에 대한 상기 출력 라벨에 대한 비용 함수의 값에 기초하여 상기 변분 파라미터들, 상기 머신 러닝 파라미터들, 및 상기 훈련가능한 조합 파라미터들의 파라미터 업데이트를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 변분 파라미터들 및 상기 머신 러닝 파라미터들을 업데이트하기 위한 학습률이 서로 다른, 방법.
  3. 제2항에 있어서, 상기 방법은 상기 변분 파라미터들, 상기 머신 러닝 파라미터들, 및 상기 훈련가능한 조합 파라미터들에 대한 업데이트 벡터를 결정하고, 상기 파라미터 업데이트를 결정하는 단계는 업데이트 벡터를, 변분 파라미터들 및 머신 러닝 파라미터들에 대한 상이한 학습률 인자들을 포함하는 학습률 벡터와 곱하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 업데이트 벡터는 상기 비용 함수에 대한 상기 변분 파라미터들, 상기 머신 러닝 파라미터들, 및 상기 훈련가능한 조합 파라미터들의 구배인, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 파라미터 업데이트를 결정하는 단계는 상기 비용 함수의 구배 및 학습률에 기초하고, 특히 확률적 구배 하강에 기초하고/하거나, 특히, 상기 비용 함수의 이전에 결정된 구배에 기초한 운동량 계수를 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 파라미터 업데이트를 결정하는 단계는 상기 비용 함수의 구배에 걸친 이동 평균 및 상기 비용 함수의 제곱 구배에 걸친 이동 평균의 업데이트 함수에 기초하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 방법은 상기 라벨링 함수에 대해 상기 변분 파라미터들 및 상기 머신 러닝 파라미터들을 업데이트하기 위한 학습률들의 최적의 비율을 결정하기 위해 상기 변분 파라미터들 및 상기 머신 러닝 파라미터들을 업데이트하기 위한 학습률의 상이한 비율들로 상기 하이브리드 양자-고전적 계산 시스템을 훈련시키는 단계를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 파라미터 업데이트를 결정하는 단계는 파라미터 업데이트 구배의 일부로서 상기 변분 파라미터들에 대한 미분들의 벡터를 결정하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 상기 변분 파라미터들에 대한 미분들의 벡터를 결정하는 단계는 상기 반복 프로세스의 각각의 반복에서 상기 변분 게이트들의 서브세트 또는 전부에 파라미터 시프트 규칙을 적용하는 단계를 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 방법은 상기 입력 피처 벡터를 인코딩 인자 벡터와 곱하여 스케일링된 입력 피처 벡터를 획득하는 단계 및 상기 변분 양자 회로에서 상기 스케일링된 입력 피처 벡터에 기초하여 상기 입력 피처 벡터를 상기 적어도 하나의 인코딩 게이트로 인코딩하는 단계를 포함하고, 상기 인코딩 인자 벡터는 특히 반복 프로세스의 일부로서 업데이트되는 훈련가능한 벡터인, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 적어도 하나의 인코딩 게이트는 상기 입력 피처 벡터의 값에 비례하는 단일 큐비트 회전들을 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 적어도 하나의 인코딩 게이트는 상기 변분 양자 회로의 일부로서 k회 적용되고, 여기서 k는 2보다 큰 정수 값이고, 상기 변분 양자 회로는 적어도 2k개의 변분 파라미터에 의해 파라미터화되는, 방법.
  13. 라벨들의 샘플 데이터세트 및 대응하는 입력 피처 벡터들에 기초하여 입력 피처 벡터에 대한 라벨링 함수를 근사화하기 위한 하이브리드 양자-고전적 계산 시스템으로서, 상기 시스템은
    큐비트 레지스터의 큐비트들에 작용하는 복수의 양자 게이트들을 포함하는 변분 양자 회로- 상기 복수의 양자 게이트들은 변분 양자 게이트들 및 적어도 하나의 인코딩 게이트를 포함하고, 상기 큐비트 레지스터의 큐비트들에 대한 상기 변분 양자 게이트들의 파라미터화된 작용들은 연관된 변분 파라미터들에 따라 파라미터화되고, 상기 적어도 하나의 인코딩 게이트는 상기 입력 피처 벡터에 따라 상기 큐비트 레지스터의 큐비트들의 상태를 수정하기 위한 것임 -;
    파라미터화된 전달 함수에 따라 상기 입력 피처 벡터를 처리하도록 구성된 머신 러닝 모델- 상기 파라미터화된 전달 함수는 머신 러닝 파라미터들에 의해 파라미터화됨 -; 및
    상기 변분 양자 회로에 의해 생성된 제1 출력 및 상기 머신 러닝 모델에 의해 생성된 제2 출력을 수신하고, 조합 파라미터들에 따라 상기 제1 출력과 상기 제2 출력의 조합에 기초하여 출력 라벨을 생성하도록 구성된 라벨링 모듈을 포함하고,
    상기 변분 파라미터들, 상기 머신 러닝 파라미터들, 및 상기 조합 파라미터들은 공통 훈련 알고리즘에 기초하여 획득되고, 상기 변분 파라미터, 상기 머신 러닝 파라미터들, 및 상기 조합 파라미터들은 출력 라벨의 비용 함수를 극단화하기 위해 반복적인 방식으로 공동으로 업데이트되는, 하이브리드 양자-고전적 계산 시스템.
  14. 제13항에 있어서, 상기 조합 파라미터들은 상기 출력 라벨에 대한 상기 제1 출력 및 상기 제2 출력의 상대적 기여도의 비율을 결정하고, 상기 비율은 0.01보다 큰, 하이브리드 양자-고전적 계산 시스템.
  15. 머신 판독가능 명령어들을 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램이 처리 유닛에 의해 실행될 때, 상기 처리 유닛으로 하여금 제1항 내지 제13항 중 어느 한 항에 따른 방법을 구현하게 하고/하거나 제14항에 따른 시스템을 구현하게 하는, 컴퓨터 프로그램.
KR1020230152617A 2022-11-15 2023-11-07 하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법 KR20240071315A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22207380.1A EP4372622A1 (en) 2022-11-15 2022-11-15 Method for training a hybrid classical-quantum approximation system
EP22207380.1 2022-11-15

Publications (1)

Publication Number Publication Date
KR20240071315A true KR20240071315A (ko) 2024-05-22

Family

ID=84358082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230152617A KR20240071315A (ko) 2022-11-15 2023-11-07 하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법

Country Status (7)

Country Link
US (1) US20240160981A1 (ko)
EP (1) EP4372622A1 (ko)
JP (1) JP2024072259A (ko)
KR (1) KR20240071315A (ko)
CN (1) CN118052294A (ko)
AU (1) AU2023258363A1 (ko)
CA (1) CA3219411A1 (ko)

Also Published As

Publication number Publication date
CN118052294A (zh) 2024-05-17
US20240160981A1 (en) 2024-05-16
EP4372622A1 (en) 2024-05-22
JP2024072259A (ja) 2024-05-27
AU2023258363A1 (en) 2024-05-30
CA3219411A1 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
US20200410384A1 (en) Hybrid quantum-classical generative models for learning data distributions
Lu et al. NSGA-NET: A multi-objective genetic algorithm for neural architecture search
Moerland et al. A0c: Alpha zero in continuous action space
Zhao et al. Tuning the structure and parameters of a neural network using cooperative binary-real particle swarm optimization
WO2019055847A1 (en) QUANTUM ARTIFICIAL NEURONAL NETWORK
JP7340282B2 (ja) 二次制約なしバイナリ最適化問題を解くためのハイブリッド量子計算アーキテクチャ
He et al. Deep reinforcement learning for universal quantum state preparation via dynamic pulse control
Bharadi Qlattice environment and Feyn QGraph models—A new perspective toward deep learning
US20230059708A1 (en) Generation of Optimized Hyperparameter Values for Application to Machine Learning Tasks
Basterrech et al. Evolutionary Echo State Network: A neuroevolutionary framework for time series prediction
Ni et al. Efficient off-policy reinforcement learning via brain-inspired computing
KR20240071315A (ko) 하이브리드 고전-양자 솔버들을 사용하여 머신 러닝 문제들을 해결하기 위한 방법
Mahroo et al. Learning infused quantum-classical distributed optimization technique for power generation scheduling
Pei et al. Dynamics-inspired neuromorphic visual representation learning
Nikoloska et al. Quantum-aided meta-learning for bayesian binary neural networks via Born machines
Alam et al. Deepqmlp: A scalable quantum-classical hybrid deep neural network architecture for classification
JP7437058B2 (ja) 線形バイナリ関係のシステムを解くためのハイブリッド量子計算アーキテクチャ
Du et al. Boltzmann machines
Escovedo et al. Neuroevolutionary models based on quantum-inspired evolutionary algorithms
Basterrech et al. Re-visiting Reservoir Computing Architectures Optimized by Evolutionary Algorithms
KR20240007079A (ko) 하이브리드 고전 양자 솔버들로 qubo 문제들을 해결하기위한 방법 및 시스템
US20210357754A1 (en) Computer system and method
Nguyen NEURAL NETWORKS TRAINING ACCELERATION THROUGH WEIGHT PREDICTION
Schroeder NeuroEvo: A Cloud-based Platform for Automated Design and Training of Neural Networks using Evolutionary and Particle Swarm Algorithms
Agrawal et al. Trade-off between Noise and Banding in a Quantum Adder with Qudits