KR20230054675A - 광전자 심층 신경망들 - Google Patents

광전자 심층 신경망들 Download PDF

Info

Publication number
KR20230054675A
KR20230054675A KR1020237006109A KR20237006109A KR20230054675A KR 20230054675 A KR20230054675 A KR 20230054675A KR 1020237006109 A KR1020237006109 A KR 1020237006109A KR 20237006109 A KR20237006109 A KR 20237006109A KR 20230054675 A KR20230054675 A KR 20230054675A
Authority
KR
South Korea
Prior art keywords
data
neural network
photonic
input data
optical
Prior art date
Application number
KR1020237006109A
Other languages
English (en)
Inventor
피루즈 아프라토니
파르시드 아시티아니
Original Assignee
더 트러스티스 오브 더 유니버시티 오브 펜실바니아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 트러스티스 오브 더 유니버시티 오브 펜실바니아 filed Critical 더 트러스티스 오브 더 유니버시티 오브 펜실바니아
Publication of KR20230054675A publication Critical patent/KR20230054675A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
    • G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/21—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  by interference
    • G02F1/225—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  by interference in an optical waveguide structure
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/30—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating
    • G02F2201/302—Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating grating coupler

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

포토닉-전자 신경 네트워크 계산을 위한 시스템들 및 방법들이 제공된다. 일실시예에서, 입력 데이터의 어레이는 광학 도메인에서 처리되고 신경 네트워크와 같은 복수의 포토닉-전자 뉴런 레이어들을 통해 적용된다. 데이터는 하나 이상의 콘볼루션 셀, 훈련 레이어 및 분류 레이어를 통과하여 출력 정보를 생성할 수 있다. 실시예들에서, 오디오, 비디오, 음성, 아날로그, 디지털 등과 같은 다양한 유형의 입력 데이터가 광학 도메인에서 직접 처리되고 다양한 신경 네트워크 구성들에서 임의의 수의 레이어들 및 뉴런들에 적용될 수 있다. 이러한 시스템들 및 방법들은 또한 3D 이미저들, 광학 위상 어레이들, 포토닉 보조 마이크로웨이브 이미저들, 고속 데이터 속도 광자 링크들, 및 포토닉 신경 네트워크들을 포함하지만 이에 제한되지 않는 하나 이상의 광자 전자 시스템들과 통합될 수 있다.

Description

광전자 심층 신경망들
관련 출원들
본 출원은 미국 특허 출원 번호 63/054,692, "광전자 심층 망들"(2020년 7월 21일 출원)에 대한 우선권과 이익을 주장하며, 그것의 전체 내용은 임의의 및 모든 목적들을 위해 참조로 본원에 포함된다.
정부 권한들
본 발명은 해군 연구소에서 수여한 N00014-19-1-2248에 따라 정부 지원으로 이루어졌다. 정부는 본 발명에 대해 특정 권리들을 갖는다.
본 개시는 일반적으로 포토닉 디바이스들 및 신경 네트워크들 및 인공 지능 분야에 관한 것으로, 특히 신경 네트워크들의 광학 도메인에서 데이터를 완전히 또는 부분적으로 처리하기 위한 시스템들 및 방법들에 관한 것이다.
신경 네트워크들은 이미지, 비디오, 3D 객체들을 포함하는 데이터 분류에 종종 활용된다. 종래의 포토닉 신경 네트워크 구현들에서는, 광학, 이미지 및 기타 데이터를 포함할 수 있는 대규모 데이터 세트들을 분석할 때 상당한 계산상의 문제들이 있다. 예를 들어 원시 광학 데이터는 광검출 및 디지털화와 같은 방법들을 통해, 픽셀 어레이로서 기능하는 이미지 센서를 사용하여 종종 분석된다. 많은 수의 입력 픽셀들이 있는 데이터 세트들과 같은 더 큰 데이터 세트들은 데이터가 복수의 신경 네트워크 레이어들을 통과함에 따라 계산 부하가 빠르게 커지고 처리 시간들이 길어진다. 또한, 광학 파워는 이러한 프로세스들에서 레이어에서 레이어로 크게 떨어지며 다른 구현 어려움과 함께 비선형 함수들의 실현을 어렵게 한다. 따라서 계산, 파워 비용들 및 비선형 함수가 지나치게 부담이 되기 전에 제한된 수의 뉴런 레이어들만 구현할 수 있다. 따라서, 개선된 신경 네트워크들, 특히 상이한 유형들의 데이터를 처리할 수 있는 신경 네트워크들이 필요하다.
본 개시는 포토닉-전자 신경 네트워크 계산을 위한 시스템들 및 방법들을 제공한다. 실시예들은 원시 광학 데이터의 직접 처리 및/또는 다양한 유형들의 입력 데이터를 광학 도메인으로 변환하고 신경 네트워크들로의 적용을 제공한다. 광학 도메인에서 데이터를 직접 사용함으로써, 개시된 시스템들 및 방법들은 기존의 신경 네트워크 구현들에 비해 처리 시간과 계산 부하를 크게 줄일 수 있다. 다양한 예들에서, 처리 시간과 파워 소비는 모두 종래의 방법들보다 훨씬 적다.
실시예에서, 입력데이터의 어레이들은 광학 도메인에서 처리되어 신경 네트워크과 같은 복수의 포토닉-전자 뉴런 레이어들을 통해 적용된다. 데이터는 하나 이상의 콘볼루션 셀들, 훈련 레이어들,및 분류 레이어들을 통과하여 출력 정보를 생성할 수 있다. 오디오, 비디오, 음성, 아날로그, 디지털 등 다양한 유형들의 입력 데이터를 광학 도메인에서 직접 처리하여 다양한 신경 네트워크 구성들로 임의의 수의 레이어들과 뉴런들에 적용할 수 있다. 시스템들 및 방법들은 또한 3D 이미저들, 광학 위상 어레이들, 포토닉 보조 마이크로웨이브 이미저들, 고속 데이터 포토닉 링크들 및 포토닉 신경 네트워크들을 포함하지만 이에 제한되지 않는 하나 이상의 포토닉-전자 시스템들과 통합될 수 있다.
특허 및 출원 파일은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 이 특허 또는 특허 출원 공보의 사본들은 요청 및 필요한 수수료의 납부시 청에 의해 제공될 수 있다.
첨부 도면들은 예시일 뿐이고 반드시 일정한 비율로 그려지지 아니다. 도면들에서:
도 1a-1b는 컨벌루션 딥 러닝 네트워크의 일반적인 아키텍처(도 1a) 및 종래 뉴런의 개략도(도 1b)를 제공한다.
도 2는 6x5 픽셀 수기 숫자들의 샘플 이미지들을 제공한다.
도 3a-3c는 개시된 포토닉 딥 러닝 네트워크 클래스의 예시적인 구조(도 3a), 개시된 콘볼루션 셀의 예시적인 구조(도 3c), 및 순방향 전파를 위한 개시된 포토닉-전자 뉴런의 예시적인 개략도(도 3c)를 제공한다.
도 4a - 4e는 개시된 포토닉-전자 비선형 활성화 함수의 예시적인 블록 다이어그램(도 4a), IME 프로세스에 통합된 이전에 설계되고 제조된 p-n 링 변조기의 예시적인 구조(도 4b), 제조된 p-n 링 변조기의 예시적인 측정 성능, 예시적인 포토닉-전자 비선형 활성화 함수(도 4c), 예시적인 비선형 활성화 함수(도 4d), 및 광의 전기장의 진폭과 위상이 모두 처리되는 복소 신호 분석을 위한 예시적인 구조(도 4b)를 제공한다.
도 5는 직접 이미지 분류를 위해 설계되고 테이프 아웃된 mmWave-포토닉 딥 러닝 네트워크의 예의시적 레이아웃을 제공한다.
도 6은 도 3a의 시스템의 케이던스(Cadence) 시뮬레이션과 동등한 매트랩(Matlab) 시뮬레이션에 대한 분류 정확도 간의 비교를 제공한다.
도 7은 GF9WG 칩에 의해 실현된 시스템을 사용하여 훈련 및 분류를 수행하기 위한 실험 설정을 제공한다.
도 8은 즉각적인 훈련 및 분류를 가능하게 하는 순방향 및 역방향 광파 전파 모두를 지원하는 개시된 포토닉-전자 뉴런의 예시적인 구조를 제공한다.
도 9는 도 3a에 도시되지만 도 8에 도시된 포토닉-전자 뉴런들을 사용하여 구현되는 네트워크에 대한 출력 및 은닉 레이어들을 제공한다.
본 개시는 원하는 실시예들 및 그에 포함된 예들에 대한 다음의 상세한 설명을 참조하여 더 쉽게 이해될 수 있다.
달리 정의되지 않는 한, 여기에서 사용된 모든 기술 및 과학 용어들은 당업자가 일반적으로 이해하는 것과 동일한 의미를 갖는다. 충돌이 있는 경우 정의들을 포함하는 현재 문서가 우선한다. 여기에서 설명된 것과 유사하거나 동등한 방법들 및 재료들이 실제 또는 테스트에 사용될 수 있지만, 바람직한 방법들 및 재료들이 아래에 설명된다. 여기에 언급된 모든 간행물들, 특허 출원들, 특허들 및 기타 참고문헌들은 그 전체가 참조로 포함된다. 여기에 개시된 재료들, 방법들, 및 예들은 예시일 뿐이며 제한하려는 의도가 아니다.
단수형 "a", "an" 및 "the"는 문맥에서 달리 명시하지 않는 한 복수 지시 대상들을 포함한다.
명세서 및 청구범위에서 사용되는 용어 "포함하는"은 "구성된" 및 "본질적으로 구성된"을 포함할 수 있다. 여기에서 사용된 용어들 "포함하다", "구비하다", "갖는", "가지다", "할 수 있다", "함유하다" 및 이들의 변형어들은 명명된 성분들/단계들의 존재를 요구하고 다른 성분들/단계들의 존재를 허용하는 개방형 전환 문구들, 용어들 또는 단어들이 되도록 의도된다. 그러나, 그러한 설명은 또한 열거된 성분들/단계들로 "구성되는" 및 "본질적으로 구성되는" 조성물들 또는 프로세스들을 기술하는 것으로 해석되어야 하며, 이는 그로부터 유래할 수 있는 임의의 불순물들과 함께 명명된 성분들/단계들만이 존재하도록 허용하고, 다른 성분들/단계들을 제외한다.
본원에서 사용되는 바와 같이, 용어 "약" 및 "에서 또는 약"은 문제의 양 또는 값이 대략적으로 또는 거의 동일한 어떤 다른 값으로 지정된 값일 수 있음을 의미한다. 본 명세서에서 사용되는 바와 같이, 달리 나타내거나 추론하지 않는 한 ±10% 변화를 나타내는 공칭 값이라는 것이 일반적으로 이해된다. 이 용어는 유사한 값이 청구범위에 인용된 동등한 결과들 또는 효과들을 촉진한다는 것을 전달하기 위한 것이다. 즉, 양들, 크기들, 공식들, 파라미터들, 기타 수량들 및 특성들은 정확하지 않으며 정확할 필요도 없지만, 허용 오차들, 환산 계수들, 반올림, 측정 오류 등, 및 당업자에게 공지된 기타 요인을 반영하여 대략적이거나 더 크거나 작을 수 있음이 이해된다. 일반적으로 양, 크기, 제형, 파라미터 또는 기타 양 또는 특성은 명시적으로 언급되었는지 여부에 관계없이 "약" 또는 "대략"이다. 정량적 값 앞에 "약"이 사용되는 경우, 달리 구체적으로 언급되지 않는 한 파라미터는 특정 정량적 값 자체도 포함하는 것으로 이해된다.
달리 명시하지 않는 한, 수치들은 동일한 유효 숫자로 환산했을 때 동일한 수치들 및 값을 결정하기 위해 본 출원에 기재된 유형의 종래의 측정 기술의 실험 오차 미만으로, 기술된 수치와 다른 수치들을 포함하는 것으로 이해되어야 한다.
본원에 개시된 모든 범위들은 기재된 종점을 포함하고 종점들, 2그램 및 10그램, 및 모든 중간 값과는 독립적이다). 본 명세서에 개시된 범위들 및 임의의 값의 종점들은 정확한 범위 또는 값으로 제한되지 않으며; 이들은 이러한 범위들 및/또는 값들에 근접한 값들을 포함할 만큼 충분히 부정확한다.
본원에서 사용되는 바와 같이, 근사 언어는 관련된 기본 기능의 변화를 초래하지 않고 변할 수 있는 임의의 정량적 표현을 수정하기 위해 적용될 수 있다. 따라서, 용 또는 용어들 "약", "실질적으로"에 의해 수식되는 값은 일부 경우에는 명시된 정확한 값으로 한정되지 않을 수 있다. 적어도 일부 경우에 근사 언어는 값을 측정하기 위한 도구의 정밀도에 해당할 수 있다. 수식어 "약"은 또한 두 종점들의 절대값들로 정의된 범위를 공개하는 것으로 간주되어야 한다. 예를 들어, 표현 "약 2 내지 약 4"는 또한 "2 내지 4"의 범위를 개시한다. "용어 약"은 표시된 숫자의 플러스 또는 마이너스 10%를 가리킬 수 있다. 예를 들어, "약 10%"는 9% 내지 11%의 범위를 나타낼 수 있고, "약 1"은 0.9-1.1을 의미할 수 있다. "약"의 다른 의미는 반올림과 같이 문맥에서 명백할 수 있으므로, 예를 들어 "약 1"은 또한 0.5 내지 1.4를 의미할 수 있다. 또한, 용어 "포함하는"은 "구비하는"의 개방형 의미를 갖는 것으로 이해되어야 하지만, 용어 "구성되는"의 폐쇄적인 의미도 포함한다. 예를 들어, 성분 A 및 B를 포함하는 조성물은 A, B 및 기타 성분을 포함하는 조성물일 수 있지만, A 및 B만으로 이루어진 조성물일 수도 있다. 여기에 인용된 모든 문서들은 임의의 및 모든 목적들을 위해 그 전체가 참조로 포함된다.
3D 이미저들, 광학 위상 어레이들, 포토닉 보조 마이크로웨이브 이미저들, 고속 포토닉 링크들 및 포토닉 신경 네트워크들을 포함한 대규모 통합 전자-포토닉 시스템들에 대한 작업을 기반으로, 발명자들은 이미지, 비디오, 및 3D 객체 분류를 위한 다층 통합 포토닉-mmWave 딥 신경 네트워크들을 설계하고 구현해 왔다. 개시된 시스템에서, 이미지들은 픽셀들의 어레이를 사용하여 촬영되고 학습 및 분류 단계들 둘다 또는 어느 하나 동안 광학 도메인에서 직접 처리되고 처리의 일부(비선형 함수 포함)가 전기적(아날로그, 디지털, RF, 밀리미터파,...) 블록들에서 수행된다. 본 발명은 또한 오디오, 비디오, 음성, 및/또는 임의의 유형의 데이터의 아날로그 또는 디지털 표현을 포함하지만 이에 제한되지 않는 다른 유형의 입력 데이터의 처리를 포함한다.
최신 GPU 기반 시스템들과 비교할 때, 많은 상이한 구성들로 임의의 수의 레이어들 및 뉴런들에서 구현될 수 있는 개시된 아키텍처는 원시 광학 데이터 또는 업-컨버전 후 모든 유형의 데이터를 수십 배 더 빠른 처리 시간, 수십 배 더 낮은 파워 소비 및 복잡하고 실용적인 딥 네트워크들로의 확장성을 갖춘 광학 도메인으로(광검출/디지털화 없이) 직접 처리할 수 있다.
층별로 광파워가 크게 떨어지는 최근 포토닉 신경 네트워크들의 구현들과 달리(따라서 제한된 수의 뉴런 레이어들이 구현할 수 있음), 개시된 모놀리식 전자-포토닉 시스템 (1)은 여러 개의 뉴런 레이어들을 포함하고 실용적인 응용들에서 활용될 수 있고, (2) 강력하고 프로그래밍 가능하지만 초고속 mmWave 비선형 함수(non-linear function)를 활용하고, (3) 각 레이어에 동일한 광학 파워를 사용할 수 있으므로 많은 레이어들로 확장성이 뛰어나다.
발명자들은 이미 포토닉 mmWave 뉴런, 비선형 함수, 3D 이미저 프런트 엔드와 같은 이 시스템의 많은 블록을 설계하고 성공적으로 측정했으며 경쟁 과정에서 시연될 다층 딥 네트워크의 첫 번째 버전을 테이프 아웃했다. 칩 시뮬레이션들은 280ps 분류 시간(프레임당) 및 2ns 훈련 시간(반복당)을 보여준다.
본 발명자들은 이미지, 비디오 및 3D 객체 분류를 위한 통합 포토닉 딥 신경 네트워크들의 설계 및 구현을 개시한다. 공개된 통합 포토닉 아키텍처는 입력 픽셀들에서 수집된 원시 광학(이미지) 데이터를 직접 처리하여 입력 이미지 데이터의 광검출 및 디지털화를 제거하여 시스템 복잡성과 파워 소비를 크게 줄이지만, 광학 도메인으로의 업-컨버전 후 다른 데이터 유형들에 대해서도 사용될 수 있다. 도 1a는 컨벌루션 딥 러닝 네트워크의 일반적인 아키텍처의 일실시예를 도시한 것으로, 여기서 입력 이미지는 픽셀 어레이(image sensor) 상에 광검출되어 디지털화된다. 센서 어레이의 디지털 출력들은 가중치 행렬로 표현되는 슬라이딩 윈도우와의 이미지 상관관계를 계산하기 위해 행렬로 구성되고(예컨대, 에지 감지, 평균화 또는 기타 작업들 수행), 여기에서 윈도우 내의 픽셀들의 가중 합이 계산되고 상관 출력 행렬의 해당 요소로서 사용된다.
상관 출력 행렬의 요소들이 배열되어 신경 네트워크의 제 1 레이어(즉, 입력 레이어)에 있는 뉴런들에 공급된다. 입력 레이어 외에도, 일반적인 딥 네트워크 아키텍처는 출력 레이어와 중간 "은닉(hidden)" 레이어들로 구성된다. 많은 수의 입력 픽셀들이 있는 네트워크들의 경우, 계산 부하를 더 낮추기 위해 여러 콘볼루션 레이어들을 사용할 수 있다. 도 1b는 입력 신호들에 해당 가중치들을 곱하고 합산하고, 비선형 함수, 활성화 함수를 통과하여 뉴런 출력을 생성하는 입력 레이어의 일반적인 뉴런의 개략도를 보여준다. 각 뉴런 내의 가중치들은 감독 훈련 프로세스 중에 계산되며 분류 프로세스 중에 정의된 클래스들 중 하나에 입력 이미지를 할당하는 데 사용된다. 개시된 클록 없는 포토닉 딥 러닝 네트워크 구조에서는 일단 이미지가 입력 픽셀 어레이 위에 형성되면 광검출과 디지털화(전통적으로 이미지 센서에서 이루어짐) 대신 광학 도메인에서 바로 처리가 이루어진다. 개시된 이것의 제 1 단계로서, 발명자들은 6x5픽셀 수기 숫자의 분류를 위해 1550nm에서 3-레이어 포토닉 신경 네트워크를 테이프 아웃하였다. 제 2 단계는 28x28픽셀 이미지들 또는 더 큰 이미지들에 대한 포토닉 훈련 및 분류를 갖는 재구성 가능하고 확장 가능한 대형 포토닉-전자 딥 네트워크들의 구현을 포함한다. 제 3 단계에서, 발명자들은 3D 객체 감지([5] 참조) 및 분류를 수행하기 위해 주파수 처프 레이저와 함께 사용되는 광학 위상 어레이로 입력 픽셀 어레이를 전환한다.
(단계 1에 대한) 수기 숫자의 샘플 이미지들이 도 2에 도시되어 있다. 도 3a는 포토닉 딥 러닝 네트워크 구조의 일실시예를 도시하는 반면, 여기서는 6x5 어레이의 광격자 커플러들이 도시되어 있으며, 다른 수, 구성들, 유형, 크기, 및 재료가 사용되어 입력 픽셀들 역할을 하는 수신 요소들을 구현하여 광을 나노광도파관들로 결합할 수 있다.
중첩된 슬라이딩 윈도우들을 사용하여 콘볼루션 레이어를 구현하기 위해, 광도파관 네트워크는 픽셀들의 12개의 3x3 중첩 윈도우들에서 콘볼루션 셀들(CC)의 어레이로 광학 신호들을 라우팅하도록 설계된다. 다른 크기와 유형의 윈도우들이 사용될 수 있다. 각 3x3 도파관 어레이는 콘볼루션 셀의 입력들을 형성한다. 각 CC 내에서 입력 광학 신호와 사전 프로그래밍된 3x3 콘볼루션 매트릭스의 내적은 광자적으로 계산된다. 12개의 아이콘볼루션 셀들의 출력은 딥러닝 네트워크의 입력 표시를 형성하는 4개의 포토닉-전자 뉴런들(즉, 뉴런당 3개의 입력들)로 배열되고 라우팅된다. 각 포토닉-전자 뉴런 내에서 입력 광파들은 각 입력과 관련된 가중치에 따라 광파들의 진폭들이 조정된 후 결합된다. 비선형 활성화 함수는 전기광학 또는 전기적 도메인에서 구현되고 신호는 광학 도메인으로 다시 상향 변환되어 뉴런 출력을 형성한다. 각 뉴런 내의 추가 장치들 및 시스템들은 전자-포토닉 뉴런이 순방향 전파(분류 단계에서) 및 역방향 전파(훈련 단계에서) 모두에 사용될 수 있도록 구현된다. 제 2 레이어인 은익 레이어는 3개의 4-입력 포토닉-전자 뉴런들로 구성되고 두 개의 포토닉-전자 뉴런이 있는 출력 레이어가 뒤따른다. 이 포토닉 딥 신경 네트워크는 이미지들의 2등급 분류를 수행하는 데 사용될 것이다. 예를 들어, 시스템들은 두 자리 이미지들(예를 들어, "0" 및 "2")로 훈련될 수 있으며 이 두 자리 이미지들을 분류하는 데 사용할 수 있다. 도 3a의 아키텍처의 각 구성요소에 대한 세부 사항은 다음에 설명한다.
콘볼루션 셀
도 3b는 개시된 CC의 개략도의 일실시예를 도시하며, 여기서 전류 제어된 p-도핑-진성-n-도핑(PIN) 가변 광학 감쇠기들[8]의 어레이는 광학 신호들의 진폭을 조정하는 데 사용된다. 각 PIN 감쇠기의 측정된 삽입 손실은 1dB에서 32dB까지 조정할 수 있다. 각 PIN 감쇠기의 출력은 SiGe 광다이오드를 사용하여 광검출된다. 각 PIN 감쇠기의 출력은 SiGe 광다이오드를 사용하여 광검출되고 다른 유형의 광검출기들/광다이오드들도 사용될 수 있다. 12개의 광다이오드의 광전류가 결합되어(출력들을 하드 와이어링하여) PIN 감쇠기들의 전류에 의해 설정된 상관 가중치 매트릭스와 입력 광학 신호들의 내적을 효과적으로 실현한다. 이렇게 결합된 광전류는 전압으로 변환되고 트랜스 임피던스 증폭기(TIA)를 사용하여 증폭된다. 증폭된 광전류는 PIN 가변 감쇠기를 구동하는 데 사용된다. 이 경우, CC의 출력은 광학 도메인에 있게 된다. 각 CC에는 제 1 레이어의 뉴런에 대한 신호 대 잡음비를 개선하기 위해 별도의 바이어싱 광(biasing ligh: BL) 입력이 있음을 유의하라. 개별 포토닉 디바이스들의 성능은 나중에 논의된다.
전자-포토닉 뉴런
도 3c는 개시된 전자-포토닉 뉴런의 개념적 개략도의 일실시예를 도시한다. 전류 제어 PIN 가변 광학 감쇠기들의 어레이가 사용되어 인가된 가중치 벡터에 따라 광학 신호들의 진폭을 조정한다. 다른 유형들의 감쇠기들 또는 광 변조기들 또는 스위치들이 또한 사용될 수 있다. PIN 감쇠기들의 출력은 SiGe 광다이오드를 사용하여 광검출된다. 비선형 활성화 함수는 mm파 도메인에서 구현되고 신호는 광학 도메인으로 다시 상향 변환되어 뉴런 출력을 형성한다. 각 포토닉 뉴런은 별도의 바이어싱 광(BL) 입력을 가져 모든 뉴런 출력들이 동일한 신호 범위를 갖도록 하여 많은 수의 직렬 레이어들로 확장할 수 있다. 이상적으로, 비선형 활성화 함수는 계산 시간을 최소화하기 위해 광학 도메인에서 구현되어야 한다. 그러나, 반도체 광학 증폭기들은 실리콘 기반 프로세스로 구현될 수 없어, 광학 도메인에서 비선형 활성화 함수의 실현은 약한 비선형 효과를 가져오는 통상 작은 이용 가능한 온 칩 광학 파워로 인해 실용적이지 않다. 도 4a는 활성화 함수를 실현하는데 사용되는 전기-광학 회로의 일실시예의 개략도를 도시한다. 광전류들은 결합되어(이들 출력들을 하드-와이어링하여) 트랜스 임피던스 증폭기(TIA)의 입력에 라우팅된다. 뉴런 바이어스를 표현하는 조정 가능한 전압이 TIA 출력에 부가된다. 링 변조기 드라이버는 또한 TIA 출력을 증폭하고 p-n 변조기를 구동한다(도 4b). 다른 실시예에서, p-n 변조기는 다른 유형들의 변조기들 및 디바이스들 예컨대 디스크 변조기, 간섭계 기반 변조기들 또는 기타 공진 및 무공진 전기광학 디바이스들로 대체될 수 있다. 이 p-n 링 변조기에 대한 입력광인, 바이어싱 광(BL)은 시스템의 각 뉴런에 개별적으로 결합되고 모든 전자-포토닉 뉴런들에 대해 동일한 파워를 갖는다. 이 BL 신호는 별개의 격자 커플러를 통해 칩에 결합되는 레이저 출력(1550 nmf로 방출)을 균등하게 분할하여 생성된다. 딥 신경 네트워크 내 뉴런의 위치에 관계없이 모든 뉴런들의 출력이 동일한 범위의 값들을 갖도록 보장하기 때문에 뉴런별 별도의 바이어싱 광은 다층 네트워크들의 작동에 필수적이라는 점에 유의하라. 현재 결합기 출력이
Figure pct00001
인 경우를 고려하라. 이 경우에, 링 변조기 드라이버 출력 전류는
Figure pct00002
로서 기재되고, 여기서
Figure pct00003
및
Figure pct00004
는 각각 TIA의 이득이고 변조기 드라이버 이득이다. p-n 링 변조기(도 4c)의 측정된 응답으로부터, 9mA의 전류를 인가하면 20dB 이상의 진폭 변화를 제공하는 링을 튜닝한다. p-n 변조기 응답의 노치가 입력 파장과 정렬되는 경우, 링 변조기에 대한 출력 파워는
Figure pct00005
로 기재되고, 여기서
Figure pct00006
는 BL 파워(링 변조기에 대한 입력 파워로서)다. imod= 9 mA가 링 변조기에 인가되는 경우, 링 변조기 출력 파워는 가능한 최대 변조기 출력 파워인(레이어 파장이 또한 노치 외부에 있으므로)
Figure pct00007
로 증가되고, 더 큰 변조기 전류들에 대해서,
Figure pct00008
은 변하지 않는다. 결과적인 비선형 활성화 함수는 도 4d에 도시된다. 개시된 시스템의 뉴런들의 다른 실시예에서, 광학 비선형의 일부 형태들은 만약 광학 이득 재료가 이용 가능하면(실리콘 또는 다른 구현 플랫폼들과 하이브리드 통합됨) 구현될 수 있다. 이 개시의 뉴런의 다른 실시예에서, 뉴런들은 광의 전기장의 진폭 및 위상 모두가 처리되는 복잡한 신호 분석을 수행하는데 사용될 수 있다. 예가 도 4e에 도시된다.
본 발명의 뉴런의 또 다른 실시예에서, 뉴런들은 광의 전기장의 생성 및 발생이 모두 처리되는 복합 신호 분석을 수행하는 데 사용될 수 있다. 도 4e에 예가 나와 있다.
TIA에 대한 입력 전류인
Figure pct00009
이 충분히 작을 때(특정 임계치 미만), 출력 파워는
Figure pct00010
로 설정된다.
Figure pct00011
이 증가함에 따라 변조기 출력 파워는
Figure pct00012
로 거의 선형으로 증가하고, 여기서
Figure pct00013
은 mA이고
Figure pct00014
이다. 충분히 큰
Figure pct00015
에 대해, 전자-포토닉 뉴런 출력은
Figure pct00016
에서 포화된다. 활성화 함수의 형상은 TIA 이득, BL 파워
Figure pct00017
, 및 변조기 드라이버 출력의 DC 전류를 변경하여 조정될 수 있다는 것을 주의하라. 변조기 드라이버 전류의 DC 부분은 파장에 대한 노치의 상대 위치를 조정하는데 사용될 수 있다. 포화되지 않은 응답에 대응하는
Figure pct00018
에 대해, 활성화 함수는 신경 네트워크들에 대해 알려진 활성화 함수인 ReLU(rectified linear unit)에 의해 근사될 수 있다[12].
Figure pct00019
가 도 4d의 포화 영역을 포함하는 경우, 활성화 함수는 신경 네트워크들에서 일반적으로 사용되는 잘 알려진 활성화 함수인 편향된 시그오이드 함수와 유사하다[12]. 도 4a에 도시된 것과 같이, "Bias" 및 "K"(TIA 이득에 대응)를 설정하기 위한 2개의 제어 신호들, 입력 전류
Figure pct00020
, 및 판독 신호 PD2가 포토닉 신경 네트워크 훈련 단계(나중에 논의됨) 동안 사용된다.
발명자들은 또한 TIA 및 링 변조기 드라이버를 GlobalFoundries GF9WG CMOS SOI 프로세스에서 27GHz의 시뮬레이트된 대역폭 및 10A/A의 전류 이득을 갖는 하나의 블록으로 설계했다. 본 개시는 뉴런 내의 광다이오드들과 변조 디바이스 사이에 사용되는 다른 유형의 TIA 및 증폭을 포함한다.
분류 시간
도 3a의 딥 신경 네트워크의 경우, 각 포토닉-전자 뉴런의 계산 시간은 활성화 함수 내의 전자 회로의 대역폭에 의해 제한된다. 따라서 광다이오드와 링 변조기들뿐만 아니라 전자 블록들의 대역폭을 가능한 한 많이 증가시키는 것이 바람직하다. 본 발명자들은 각각 0.8A/W 및 32GHz의 측정된 응답성 및 대역폭을 갖는 GF9WG 프로세스에서 1550nm에서 SiGe 광다이오드들을 설계 및 제조하였다. 또한 GF9WG 프로세스에 구현된 p-n 링 변조기는 측정된 대역폭이 30GHz이다. 또한 시뮬레이션들은 GF9WG 프로세스가 약 200GHz의 fmax를 제공하여 30GHz를 초과하는 대역폭들로 신뢰할 수 있는 TIA 및 변조기 드라이버 설계들을 가능하게 함을 보여준다. 이러한 포토닉 구성요소들과 밀리미터파 설계 기술들을 사용하여, 67ps 미만의 뉴런당 계산 시간에 해당하는 15GHz보다 큰 전체 대역폭을 달성할 수 있다. 레이어의 모든 뉴런들에 대한 계산이 병렬로 이루어지고 입력 콘볼루션 셀들의 대역폭을 포함하여 mm파가 활성화된 기능들을 갖는 3 레이어 딥 포토닉 신경 네트워크에 대한 총 분류 시간은 레이어당 뉴런들의 수에 무관하게, 280ps 미만(즉, 레이어당 67ps 미만, 콘볼루션 레이어의 경우 약 67ps)으로 추정될 수 있다.
구현 플랫폼, 선행 작업들 및 시스템 통합
지난 몇 년 동안 발명자들은 GlobalFoundries GF9WG CMOS SOI 프로세스와 기타 포토닉 및 포토닉 인에이블 CMOS 프로세스들에서 많은 포토닉 디바이스들과 구성요소들을 설계, 구현 및 측정했으며 이들 측정되거나 시뮬레이션된 성능들을 기반으로 많은 포토닉 디바이스들을 위한 Verilog A 모델을 만들었다. 이 과정에서 케이던스 툴들(Cadence tools)을 사용하여 전자 및 포토닉 디바이스들과 블록들이 공동 시뮬레이션될 수 있다. 동일한 접근 방식을 사용하여 GlobalFoundries GF7SW CMOS SOI 프로세스 및 하이브리드 통합 전자-포토닉 시스템에서 모놀리식 공동 집적 전자-포토닉 시스템들 몇 개를 설계하고 성공적으로 시연했다. 발명자들은 포토닉 딥 러닝 네트워크들을 구현하기 위해 GF9WG 프로세스를 사용할 것이다. 제 1 단계(도 3a)에서 구현될 포토닉 딥 러닝 네트워크의 전체 설계를 검증하기 위해 발명자들은 GF9WG 프로세스에서 전체 시스템을 설계하고 테이프 아웃했다. 도 5는 모든 포토닉 및 전자/밀리미터파 구성요소들이 함께 통합된 설계 및 테이프 아웃된 포토닉 딥 러닝 네트워크의 레이아웃을 보여준다. 서로 다른 블록들과 하위 시스템들이 식별된다. 여기에서 어려운 태스크들 중 하나는 콘볼루션을 구현하기 위한 포토닉도파관 라우팅 네트워크의 설계이다. 최종 설계에서 경로 간 손실은 1.5dB 미만이다. 케이던스 툴들을 사용하여 시스템 성능을 완벽하게 시뮬레이션할 수 있다. 포토닉 디바이스들의 성능과 GlobalFoundries GF9WG CMOS-SOI 프로세스의 일부 특징들이 첨부된 표 1에 요약되어 있다. 본 개시의 다른 실시예들에서, 다른 전자-포토닉 또는 포토닉 제조 기술들(또는 사내 제조)이 시스템 구현을 위해 사용될 수 있다. 예들은 GlobalFoundries 45CLO 프로세스, iHP EPIC 프로세스, 타워 반도체 SiPho 프로세스, AMF 포토닉 프로세스 등을 포함하지만 이에 제한되지 않는다.
분류 단계: 정방향 전파
이 섹션에서는 6x5 픽셀 수기 숫자 분류의 예를 사용하여 테이프 아웃된 시스템에 대한 순방향 전파 프로세스의 작동 원리를 설명하고 시연한다. 대상 이미지가 입력 6x5 격자 커플러 어레이에 형성됨에 따라, 광파는 입력 도파관에 결합되어 라우팅 네트워크를 통과하여 108개의 광학 신호(12개의 중첩 3x3 하위 이미지에 해당)를 생성하고 콘볼루션을 계산하기 위해 사용되는 12개의 콘볼루션 셀에 도달한다. 콘볼루션 셀들의 출력들은 3개의 광학 신호들의 4개의 행들로 배열되고 입력 레이어의 4개 뉴런들의 입력으로 라우팅된다. 6x5 격자 커플러 어레이의 출력이 열 벡터,
Figure pct00021
(크기 30x1)로 재배열되면, 분포 네트워크(해당 광학 손실 포함)를 나타내는
Figure pct00022
내지
Figure pct00023
의 12개의 서로 다른 9x30 행렬이 정의되어 콘볼루션 셀들에서 광의 강도를 찾을 수 있다. 이 경우 i번째 콘볼루션 셀에 대한 입력은
Figure pct00024
로 기재되고, 여기서
Figure pct00025
는 9x1 벡터이다. 각 콘볼루션 셀 내에서, 입력 벡터와 1x9 콘볼루션 가중치 벡터의 내적인
Figure pct00026
는
Figure pct00027
와 같이 셀 출력으로 계산된다. 콘볼루션 가중치 벡터는 12개의 콘볼루션 셀 모두에 대해 동일하며 훈련 및 분류 단계들 동안 변경되지 않는다. 콘볼루션 셀들의 12개 출력들은 4개의 3x1 어레이들로 배열되며, 각각은 입력 레이어의
Figure pct00028
, 및
Figure pct00029
(여기서
Figure pct00030
, 및
Figure pct00031
는 입력 레이어에서 4개의 뉴런들에 대한 3x1 입력 벡터를 나타냄)로서, 4개 전자-포토닉 뉴런 중 하나에 대한 입력으로 사용된다. 각 뉴런의 출력은 비선형 활성화 함수를 통해 입력들의 가중 합을 전달하여 생성된다. 따라서 제 1 레이어에서 i번째 뉴런의 출력은
Figure pct00032
Figure pct00033
로 기재되고, 여기서
Figure pct00034
, 및
Figure pct00035
는 입력 레이어(i= 1, 2, 3)의 i번째 뉴런에 대한 3요소 가중치 벡터 및 활성화 함수를 각각 나타낸다. 유사하게, 은익 레이어(제 2 레이어)의 i번째 뉴런의 출력은
Figure pct00036
로 기재되고, 여기서
Figure pct00037
는 은익 레이어(i= 1, 2, 3)에서 i번째 뉴런의 4요소 가중치 벡터를 나타내고, T는 전치 연산을 나타낸다. 매트릭스 포맷에서,
Figure pct00038
Figure pct00039
, 및
Figure pct00040
이고, 이때
Figure pct00041
이며, 여기서
Figure pct00042
는 행들이
Figure pct00043
벡터인 i = 1, 2, 3에 대한 3 x 4 매트릭스라고 가정한다. 마지막으로, 레이어(제 3 레이어)의 출력들은
Figure pct00044
로서 계산되고, 여기서
Figure pct00045
는 출력 레이어에서 i번째 뉴런(i= 1, 2)의 3요소 가중치 벡터를 나타낸다. 매트릭스 포맷에서,
Figure pct00046
이고, 이때
Figure pct00047
이며, 여기서
Figure pct00048
는 행이
Figure pct00049
벡터인 i = 1, 2에 대한 2 x 3 매트릭스라고 가정한다. 제 3 레이어의 출력
Figure pct00050
및
Figure pct00051
가 사용되어 입력 이미지의 클래스를 결정한다. 분포 네트워크 매트릭스들(
Figure pct00052
내지
Figure pct00053
)은 분포 네트워크의 레이아웃에만 의존하고, 콘볼루션 가중치 벡터는 미리 정의되고 훈련 및 분류 동안 변하지 않지만, 모든 다른 레이어들에 대한 가중치 벡터들 (즉
Figure pct00054
, 및
Figure pct00055
)은 훈련 단계 동안 계산되고 광학 감쇠기들의 전류들을 설정하여 전자적으로 업데이트된다. 이 네트워크에서, 일반적인 CNN과 유사하게, 콘볼루션 레이어들의 콘볼루션 셀들의 가중치들은 동일한 값들로 설정되지만, 다른 실시예에서, 가중치들은 상이한 콘볼루션 셀들마다 상이할 수 있다.
훈련 단계: 역방향 전파
6x5 격자 커플러들의 어레이는 본 발명자들이 코히어런트 이미징[5]에 사용한 것과 유사할 수 있지만 더 큰 충전율을 가집니다. 이 경우에, 1550nm에서 50mW를 방출하는 증폭된 레이저를 0.5m 거리에서 좁은 빔 콜리메이터를 사용하여 조명에 사용하면, 일단 집속된 이미지가 형성되면 온칩 격자 커플러 어레이의 각 픽셀은 약 0.5㎼를 수신한다. 케이던스 툴을 사용하여 도 3a의 포토닉 신경 네트워크의 성능을 검사하기 위해 수기 숫자의 2500 그레이 스케일 6x5 이미지들(훈련에서 1800, 검증을 위해, 700)을 포함하는 파일을 먼저 격자 커플러당 0.5 ㎼의 수신 파워를 에뮬레이트하도록 크기 조정된 다음 케이던스로 가져와 개시된 포토닉 신경 네트워크에 대한 입력 신호들로서의 역할을 하고 입력 격자 커플러 직후에 광파들로 네트워크에 입력된다.
이미지들에 해당하는 레이블들도 케이던스 시뮬레이터에 로드되어 감독 훈련에 사용된다. 전체 시스템은 GF9WG 프로세스 PDK에서 인스턴스화되고 Cadence SpectreRF 툴을 사용하여 시뮬레이션된 전자 디바이스들 옆에 있는 포토닉 구성요소의 Verilog-A 모델들을 사용하여 케이던스에서 실현된다. 훈련 세트의 이미지들은 하나씩 시스템에 공급된다. 디지털 계산 및 가중치 설정은 오프칩 마이크로컨트롤러를 에뮬레이트하는 VerilogA 블록들을 사용하여 수행된다. 먼저 모든 뉴런에 대해 임의의 초기 가중치들(유효한 예상 범위 내)이 설정된다. 그런 다음 훈련 세트 내의 이미지들(1800개 이미지들)이 하나씩 시스템에 입력된다. 각 이미지에 대해, 순방향 전파가 완료된 후 네트워크의 출력들
Figure pct00056
, 및
Figure pct00057
가 계산되고 마이크로컨트롤러에 의해 판독된다(케이던스 시뮬레이션에서 VerilogA 블록들을 사용하여 에뮬레이션됨).
출력 에러 신호들 e0,1 및 e0는 목표 값들 Target1 및 Target2(VerilogA 코드로 하드 코딩됨)로부터 네트워크 출력들을 감산하여 계산되고, 즉,
Figure pct00058
이다. 이 시점에서 에러 신호들은 역방향으로 전파되어 다른 레이어 내의 포토닉-전자 뉴런들에 대한 가중치 벡터들을 업데이트하는 데 사용된다. 먼저 출력 에러 신호들은 해당 가중치들을 기반으로 은익 레이어에 참조되는 등가 에러 신호들을 찾는 데 사용된다[9]. 현재 가중치 벡터들은 마이크로컨트롤러에 저장된다(케이던스의 VerilogA 블록들에 의해 에뮬레이션됨). 그러므로, 은익 레이어에 다시 전파된 등가 에러 신호들은
Figure pct00059
로 계산되고, 여기서
Figure pct00060
및
Figure pct00061
은
Figure pct00062
의 3개의 요소들 모두의 합을 표현하는
Figure pct00063
를 갖는 정규화된 출력 레이어 가중 함수이다. 2차 비용 함수와 함께 그라디언트 디센드(Gradient Decend) 방법을 사용[9]하고 ReLU 활성화 함수를 가정하면(도 4d 참조, 출력 레이어에 대한 가중치 벡터는 [9]
Figure pct00064
로 업데이트될 수 있고, 여기서 Lr은 학습률이고
Figure pct00065
은 도 4d에서 정의된 ReLU 함수의 기울기이다. 이 개시는 시그모이드 및 그 도함수, 지수 등과 같은 다른 비선형 함수들을 포함한다. 마이크로컨트롤러는 도 4a에 도시된 PD2를 통해 은익 레이어의 출력, 벡터
Figure pct00066
를 판독함을 유의하라. 유사하게, 은익 레이어의 출력에서의 에러를 역전파하여 제 1 레이어와 제 2 레이어의 업데이트된 가중치들이 계산될 수 있다. 신경 네트워크 내에서 모든 가중치 벡터들이 업데이트되면, 다음 이미지가 네트워크에 로드되고 훈련이 계속된다. 케이던스 시뮬레이션에서, 마이크로컨트롤러를 에뮬레이트하는 VerilogA 블록은 수기 1들과 0들의 두 클래스 분류에 대한 훈련-검증 태스크를 실행하도록 프로그래밍된다. 이 경우에, 포토닉 신경 네트워크는 100개 이미지들(훈련 세트의 1800개 이미지들 중)의 배치들을 사용하여 여러 단계들로 훈련된다. 각 훈련 단계(100회 반복에 해당) 후 훈련이 일시 중지되고 네트워크는 마지막 업데이트된 가중치들의 세트를 사용하여 검증 세트의 700개 이미지들(1800개 훈련 세트에 포함되지 않음)을 분류한다. 유효성 검사가 끝나면(유효성 검사 세트에 있는) 전체 이미지들 수에 대한 올바르게 분류된 이미지들의 비율로 정의되는 분류 정확도가 기록되고 다음 훈련 단계가 시작된다. 18개의 훈련 단계들(1800개의 이미지들에 해당) 후, 18개의 유효성 검사들이 수행된다. 도 6은 매트랩(Matlab)과 케이던스 시뮬레이션들 간에 양호한 일치가 관찰되는 매트랩에서 구현된 동일한 아키텍처와 도 3a의 시스템의 케이던스 시뮬레이션에 대한 결과적인 분류 정확도를 나타낸다. 이 테스트는 GlobalFoundries GF9WG CMOS-SOI 프로세스에 테이프 아웃된 전자-포토닉 딥 신경 네트워크가 제공된 두 클래스 데이터 세트를 사용하여 이미지 인식을 견고하게 수행할 수 있음을 확인한다. 칩들이 배송(2020년 6월 말)되면, 훈련 및 분류가 도 7에 도시된 실험 설정을 사용하여 수행될 것이며, 여기서 전동 X-Y 스테이지는 훈련 및 분류 테스트들 동안 수기 이미지들을 칩 앞으로 이동시킨다. 입력 격자 커플 어레이 위에 이미지들을 형성하기 위해 렌즈가 사용된다.
포토닉-전자 순간 훈련
이전 섹션에서는 케이던스 툴들을 사용하여 포토닉-전자 순방향 전파를 검증하기 위해 에러 역방향 전파 및 뉴런 가중치 업데이트 프로세스를 포함한 모든 전자 훈련이 설명되고 사용되었다. 많은 레이어들과 레이어당 많은 수의 뉴런들이 있는 딥 네트워크들의 경우, 모든 전자 훈련은 훈련 프로세스를 상당히 느려지게 할 수 있다. 이 섹션에서, 발명자들은 역방향 전파 계산이 가능한 새로운 포토닉-전자 아키텍처를 개시한다. 도 8은 포토닉 역방향 에러 전파 능력이 추가된 도 3c의 동일한 뉴런을 도시한다. 역방향 전파를 사용한 훈련은 전적으로 전기적 영역에서 수행할 수 있지만, 포토닉 역방향 전파 계산이 채용되면 훈련 시간이 상당히 감소될 수 있다.
이 뉴런이 레이어 M에 배치된 경우를 고려하라. 레이어 M+1의 에러는 광학 신호의 형태로 이 뉴런에 들어갈 수 있다. 이 광학 신호의 절반은 PIN 광학 감쇠기로 안내된다. 이 감쇠기는 순방향 전파 단계 동안에는 높은 감쇠량으로, 역방향 전파 단계 동안에는 낮은 감쇠량으로 설정되어 순방향 전파 단계(분류) 동안 에러 발생을 회피한다. Z 지점의 PIN 감쇠기 출력은 1x12 MMI 커플러 스플리터를 사용하여 동일한 파워들로 12개 브랜치들로 분할된다(표 1 참조). 그런 다음 MMI의 각 출력은 50/50 방향성 커플러를 사용하여 뉴런 입력 도파관 중 하나에 결합된다. (M+1)번째 레이어에서 M번째 레이어의 뉴런으로 역방향 전파되는 광 에러 신호가
Figure pct00067
의 ㅍ파워를 갖는다고 가정하면, N개의 입력 뉴런에 대해 MMI의 각 출력에서 역방향 전파되는 광학 신호(분할 후) )는
Figure pct00068
의 거듭제곱을 가질 것이다. 신호 가중치들을 설정하는 PIN 감쇠기들은 양방향이므로, 뉴런의 입력으로 다시 전파되는 에러 신호들은
Figure pct00069
로 기재될 수 있고, 여기서
Figure pct00070
는 i번째 입력의 가중치를 나타내고 계수 1/8은 Z 지점 앞의 2개의 Y-접합들과 MMI 뒤의 50/50 커플러의 효과를 나타낸다. 유사하게, 이러한 에러 신호들은 제 1 레이어에 도달하기 위해 레이어별로 계속 역방향 전파된다. MMI에 의해 수행되는 파워 분할은 각 입력 경로의 파워를 뉴런 입력들의 총 수로 나누어지기 때문에 에러 정규화로 볼 수 있음을 유의하라.
에러 역전파 후에, 가중치들은 업데이트될 필요가 있다. 가중치 조정 프로세스를 설명하기 위해, 도 3a에 도시된 네트워크(그러나 도 8에 도시된 수정된 뉴런으로 구현됨)의 출력 및 은닉 레이어들을 고려하라. 이는 도 9에 상세히 도시되어 있다. 이 도면의 우측으부터 시작하여
Figure pct00071
을 계산하기 위해 Target1을 나타내는 광학 신호는 열 위상 변조기를 사용하여 180o 위상 편이되고 Y 접합을 사용하여 출력 레이어
Figure pct00072
의 제 1 뉴런의 출력과 결합된다. 유사하게,
Figure pct00073
가 계산된다. 비용 함수를
Figure pct00074
로 정의하면, 목표는 그라디언트 디센드 방법을 사용하여
Figure pct00075
를 최소화하기 위해 각 가중치가 조정되어야 하는 양을 찾는 것이다. 다른 실시예에서, 가중치 계산을 위해 다른 최적화 방법들이 사용될 수 있다. 이 경우에, 각 가중치 W는
Figure pct00076
로 조정되어야 한다. 예를 들어, 출력
Figure pct00077
레이어의 제 1 뉴런에 대해,
Figure pct00078
이다. MMI 출력을
Figure pct00079
로 정의하면, 이 뉴런의
Figure pct00080
출력은
Figure pct00081
로 기재되고, 여기서
Figure pct00082
는 ReLU 활성화 함수를 나타낸다. 이 경우에,
Figure pct00083
의 변화는
Figure pct00084
로 기재되고, 여기서 α는 ReLU 함수(그것의 도함수에 대응)의 경사이다. 이후, 이 가중치는
Figure pct00085
로 조정될 수 있다. 흥미롭게도
Figure pct00086
은 광-전자적으로 계산할 수도 있다. 도 9에 도시된 바와 같이, 출력 레이어의 제 1 뉴런의 제 1 입력에 연결된 은닉 레이어의 제 1 뉴런
Figure pct00087
의 출력을 두 개의 브랜치로 나눈다. 아래쪽 브랜치는 분류(순방향 전파 단계)에 사용되고 훈련(역방향 전파 단계)에 사용되는 위쪽 브랜치는 광검출 및 증폭되어 링 변조기 R1을 구동하는 데 사용된다. 이 링 변조기에 대한 입력은 MMI 스플리터를 통과한 후 링 변조기로 안내되는 오류 신호
Figure pct00088
의 일부이다. 이 MMI 앞에 Y-접합이 배치되어 에러 신호의 역전파를 위한 에러 신호
Figure pct00089
파워의 절반과 출력 레이어 내의 가중치들 업데이트를 위한 나머지 절반을 제공한다. 링 변조기(R1)의 출력 파워는
Figure pct00090
로 기재될 수 있고, 여기서 R, β 및 Gm은 각각 PDi 응답성, 트랜스 임피던스 증폭기의 이득, 및 링 변조기(R1)의 이득이다. 링 변조기(R1)의 출력은 광검출 및 증폭되어
Figure pct00091
로 기재될 수 있는 mm파 전압이 되고, 여기서 G는 광다이오드 뒤의 증폭기의 이득이다.
Figure pct00092
로 정의하면, 이 전압은
Figure pct00093
로 기재될 수 있다. 그러므로, 학습률 Lr은 증폭기들의 이득을 변경하여 조정될 수 있다. 이 mm파 전압은 온칩 아날로그 가중치 및 바이어스 조정 유닛에 연결된다. 이 유닛은 커패시터에 저장되어 있는
Figure pct00094
의 값을
Figure pct00095
로 변경한다. 유사하게, 출력 레이어의 모든 가중치 벡터들은 업데이트된다. 도 9에 도시된 것과 같이, 광학 에러 신호들도 은닉 및 입력 레이어들에 다시 전파되고 동일한 방법이 사용되어 대응하는 레이어의 가중치 벡터들을 업데이트할 수 있다. 역방향 전파 단계가 순방향 전파 위상 동안 일어날 수 없는 것을 보장하기 위해 광학 지연 라인이 출력 레이어의 에러 신호들을 지연하는데 사용된다는 점을 유의하라.
최신 기술과의 비교
순방향 전파 시간은 주로 광다이오드, p-n 링 변조기 및 활성화 함수들 내부의 mm파 블록들의 대역폭들에 의해 제한된다. 최신 GPU 플랫폼에서 구현된 딥 네트워크와 유사한 포토닉-전자 딥 네트워크의 성능 간의 공정한 비교를 제공하기 위해, 발명자들은 NVIDIA Titan V (5120) GPU[10]를 사용하여 256x256 픽셀 이미지들을 분류하기 위해 일반적인 7레이어 딥 네트워크를 구현하였다. 이 GPU를 사용하여, 훈련(3000회 반복) 및 분류(99%)에 20분 및 3.8ms가 각각 소용된다. 이 GPU의 파워 소비는 약 65W이다. 동일한 성능에 대해, 개시된 포토닉 딥 네트워크를 사용한 훈련 및 분류는 각각 2.8ms 및 0.5ns가 각각 소요될 것으로 추정된다. GPU 플랫폼에 비해, 파워 소비가 65W에서 1.2W로 줄었다.
3D 이미지 분류를 위한 포토닉-전자 딥 네트워크들
제 2 단계에서는 격자 커플러의 어레이를 다른 디바이스, 예를 들어, 광학 위상 어레이(OPA)로 대체할 수 있다. 이 경우, 대상 물체의 진폭 및 위상 모두 딥 네트워크에서 사용할 수 있어 3D 이미지 분류 및 위상 콘트라스트 이미지 분류와 같은 흥미로운 응용들을 가능하게 한다. 또한, OPA는 즉각적인 자유 공간 이미지 상관 계산을 가능하게 하고 및/또는 넓은 시야 내에서 빠르게 움직이는 물체들을 추적하고 분류하는 데 사용할 수 있다. 다음 참조문헌들은 배경을 위해 제공되며 임의의 및 모든 목적들을 위해 그 전체가 여기에 포함된다.
예시적인 실시예들
다음의 실시예들은 단지 예시이며 첨부 청구범위의 본 개시의 범위를 반드시 제한하는 것은 아니다.
실시예 1. 인공 신경 네트워크 계산을 위한 방법으로서, 입력 데이터의 어레이를 수신하는 단계; 광학 및 전기-광학 도메인에서 상기 입력 데이터를 처리하는 단계; 처리된 입력 데이터를 신경 네트워크에서 복수의 전자-포토닉 뉴런 레이어들을 통해 적용하는 단계; 및 상기 신경 네트워크로부터 분류 정보를 포함하는 출력을 생성하는 단계를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 2. 실시예 1에 있어서, 상기 입력 데이터는 광학 데이터 오디오 데이터, 이미지 데이터, 비디오 데이터, 음성 데이터, 아날로그 데이터, 및 디지털 데이터 중 적어도 하나를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 3. 실시예 1-2 중 어느 하나에 있어서, 상기 광학 도메인에서 직접 처리되도록 상기 입력 데이터를 업컨버팅하는 단계를 더 포함하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 4. 실시예 3에 있어서, 상기 업컨버팅은 디지털화 또는 광검출 없이 이루어지는, 인공 신경 네트워크 계산을 위한 방법.
실시예 5. 실시예 1에 있어서, 상기 입력 데이터는 데이터 센터 연결, 광섬유 통신, 및 3D 이미지 중 적어도 하나로부터 추출된 광학 데이터인, 인공 신경 네트워크 계산을 위한 방법.
실시예 6. 실시예 1-5 중 어느 하나에 있어서, 입력 레이어에서, 처리된 입력 데이터는 가중되어 활성화 함수를 통과하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 7. 실시예 1-6 중 어느 하나에 있어서, 상기 활성화 함수는 전기광학 또는 광학적인, 인공 신경 네트워크 계산을 위한 방법.
실시예 8. 실시예 1-7 중 어느 하나에 있어서, 상기 입력 데이터는 진폭 및 위상이 복잡한, 인공 신경 네트워크 계산을 위한 방법.
실시예 9. 실시예 1-8 중 어느 하나에 있어서, 픽셀 어레이는 상기 입력 데이터를 제공하고, 상기 입력 데이터는 광학 위상 어레이로 변환되는, 인공 신경 네트워크 계산을 위한 방법.
실시예 10. 실시예 1-9 중 어느 하나에 있어서, 상기 입력 데이터를 처리하는 단계는 하나 이상의 콘볼루션 셀들을 통해 상기 입력 데이터를 라우팅하는 단계를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 11. 실시예 10에 있어서, 광도파관은 광학 데이터를 상기 하나의 이상의 콘볼루션 셀들로 라우팅하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 12. 실시예 1-11 중 어느 하나에 있어서, 상기 복수의 전자-포토닉 뉴런 레이어들은 적어도 하나의 훈련 레이어 및 분류 레이어를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
실시예 13. 인공 신경 네트워크 시스템으로서, 적어도 하나의 프로세서; 및 적어도 하나의 메모리를 포함하고, 상기 메모리는 상기 프로세서에서 실행될 때 상기 컴퓨팅 시스템으로 하여금: 입력 데이터의 어레이를 수신하고; 광학 도메인에 상기 입력 데이터를 처리하고; 신경 네트워크에서 처리된 입력 데이터를 복수의 전자-포토닉 뉴런 레이어들을 통해 적용하고; 상기 신경 네트워크로부터 분류 정보를 포함하는 출력을 생성하게 하는 명령들을 포함하는, 인공 신경 네트워크 시스템.
실시예 14. 실시예 13에 있어서, 상기 입력 데이터는 광학 데이터 오디오 데이터, 이미지 데이터, 비디오 데이터, 음성 데이터, 아날로그 데이터, 및 디지털 데이터 중 적어도 하나를 포함하는, 인공 신경 네트워크 시스템.
실시예 15. 실시예 13-14 중 어느 하나에 있어서, 상기 광학 도메인에서 직접 처리되도록 상기 입력 데이터를 업컨버팅하는 것을 더 포함하고, 상기 업컨버팅은 디지털화 또는 광검출 없이 이루어지는, 인공 신경 네트워크 시스템.
실시예 16. 실시예 13-15 중 어느 한 항에 있어서, 처리된 입력 데이터를 조정하기 위한 복수의 광학 감쇠기들을 더 포함하는, 인공 신경 네트워크 시스템.
실시예 17. 실시예 13-16 중 어느 한 항에 있어서, 바이어스 조정 유닛을 더 포함하는, 인공 신경 네트워크 시스템.
실시예 18. 실시예 13-17 중 어느 한 항에 있어서, 상기 전자-포토닉 뉴런 레이어들 각각은 바이어싱 광을 포함하는, 인공 신경 네트워크 시스템.
실시예 19. 실시예 13-18 중 어느 한 항에 있어서, 3D 이미저, 광학 위상 어레이, 및 포토닉 보조 마이크로웨이브 이미저 중 적어도 하나를 더 포함하는, 인공 신경 네트워크 시스템.
실시예 20. 실시예 13-19 중 어느 한 항에 있어서, 출력을 생성하는 것은 280 ps 미만의 분류 시간을 갖는, 인공 신경 네트워크 시스템.
실시예 21. 실시예 13-20 중 어느 한 항에 있어서, 상기 입력 레이어에서, 처리된 입력 데이터는 가중되어 활성화 함수를 통과하는, 인공 신경 네트워크 시스템.
실시예 22. 실시예 13-21 중 어느 한 항에 있어서, 상기 입력 데이터를 처리하는 것은 하나 이상의 콘볼루션 셀들을 통해 상기 입력 데이터를 라우팅하는 것을 포함하고, 상기 복수의 전자-포토닉 뉴런 레이어들은 훈련 레이어 및 분류 레이어를 포함하는, 인공 신경 네트워크 시스템.
참조문헌들
1. M. Idjadi and F. Aflatouni, "Nanophotonic phase noise filter in silicon," Nature Photonics 14, pp. 234-239 (2020).
2. M. Idjadi and F. Aflatouni, "Integrated Pound-Drever Hall laser stabilization system in silicon," Nature Communications 8, 1209 (2017).
3. F. Ashtiani, Angelina Risi, and F. Aflatouni, "Single-chip nanophotonic near-field imager," Optica, vol. 6, no. 10, pp. 1255-1260 (2019).
4. Z. Xuan, R. Ding, Y. Liu, T. Baehr-Jones, M. Hochberg, and F. Aflatouni, "A low-power hybrid- integrated 40 Gb/s optical receiver in silicon," IEEE Transactions on Microwave Theory and Techniques (TMTT), vol. 66, no. 1, pp. 589-595 (2018).
5. F. Aflatouni, B. Abiri, A. Rekhi, and A. Hajimiri, "Nanophotonic coherent imager," Optics Express, vol. 23, no. 4, pp. 5117-5125 (2015).
6. F. Ashtiani, P. Sanjari, M. H. Idjadi and F. Aflatouni, "High-resolution optical frequency synthesis using an integrated electro-optical phase-locked loop," in IEEE Transactions on Microwave Theory and Techniques, vol. 66, no. 12, pp. 5922-5932 (2018).
7. Z. Xuan, L. Du, and F. Aflatouni, "Frequency locking of semiconductor lasers to RF oscillators using hybrid-integrated opto-electronic oscillators with dispersive delay lines," Optics Express, vol. 27, no. 8, pp. 10729-10737 (2019).
8. F. Aflatouni, B. Abiri, A. Rekhi, and A. Hajimiri, "Nanophotonic projection system," Optics Express, vol. 23, no. 16, pp. 21012-21022 (2015).
9. Tariq Rashid, Make you own neural network, CreateSpace Independent Publishing Platform, 2016.
10. Nvidia CUDA Programming Guide (Versions 4.2 and 9) available at https://developer.download.nvidia.com.

Claims (22)

  1. 인공 신경 네트워크 계산을 위한 방법으로서,
    입력 데이터의 어레이를 수신하는 단계;
    광학 및 전기-광학 도메인에서 상기 입력 데이터를 처리하는 단계;
    처리된 입력 데이터를 신경 네트워크에서 복수의 전자-포토닉 뉴런 레이어들을 통해 적용하는 단계; 및
    상기 신경 네트워크로부터 분류 정보를 포함하는 출력을 생성하는 단계를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
  2. 제 1 항에 있어서,
    상기 입력 데이터는 광학 데이터 오디오 데이터, 이미지 데이터, 비디오 데이터, 음성 데이터, 아날로그 데이터, 및 디지털 데이터 중 적어도 하나를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
  3. 제 1 항에 있어서,
    상기 광학 도메인에서 직접 처리되도록 상기 입력 데이터를 업컨버팅하는 단계를 더 포함하는, 인공 신경 네트워크 계산을 위한 방법.
  4. 제 3 항에 있어서,
    상기 업컨버팅은 디지털화 또는 광검출 없이 이루어지는, 인공 신경 네트워크 계산을 위한 방법.
  5. 제 1 항에 있어서,
    상기 입력 데이터는 데이터 센터 연결, 광섬유 통신, 및 3D 이미지 중 적어도 하나로부터 추출된 광학 데이터인, 인공 신경 네트워크 계산을 위한 방법.
  6. 제 1 항에 있어서,
    입력 레이어에서, 처리된 입력 데이터는 가중되어 활성화 함수(activation function)를 통과하는, 인공 신경 네트워크 계산을 위한 방법.
  7. 제 1 항에 있어서,
    상기 활성화 함수는 전기광학 또는 광학적인, 인공 신경 네트워크 계산을 위한 방법.
  8. 제 1 항에 있어서,
    상기 입력 데이터는 진폭 및 위상이 복잡한, 인공 신경 네트워크 계산을 위한 방법.
  9. 제 1 항에 있어서,
    픽셀 어레이는 상기 입력 데이터를 제공하고, 상기 입력 데이터는 광학 위상 어레이(optical phased array)로 변환되는, 인공 신경 네트워크 계산을 위한 방법.
  10. 제 1 항에 있어서,
    상기 입력 데이터를 처리하는 단계는 하나 이상의 콘볼루션 셀(convolution cell)들을 통해 상기 입력 데이터를 라우팅하는 단계를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
  11. 제 8 항에 있어서,
    광도파관은 광학 데이터를 상기 하나의 이상의 콘볼루션 셀들로 라우팅하는, 인공 신경 네트워크 계산을 위한 방법.
  12. 제 1 항에 있어서,
    상기 복수의 전자-포토닉 뉴런 레이어들은 적어도 하나의 훈련 레이어 및 분류 레이어를 포함하는, 인공 신경 네트워크 계산을 위한 방법.
  13. 인공 신경 네트워크 시스템으로서,
    적어도 하나의 프로세서; 및 적어도 하나의 메모리를 포함하고, 상기 메모리는 상기 프로세서에서 실행될 때 컴퓨팅 시스템으로 하여금:
    입력 데이터의 어레이를 수신하고;
    광학 도메인에서 상기 입력 데이터를 처리하고;
    신경 네트워크에서 처리된 입력 데이터를 복수의 전자-포토닉 뉴런 레이어들을 통해 적용하고;
    상기 신경 네트워크로부터 분류 정보를 포함하는 출력을 생성하게 하는 명령들을 포함하는, 인공 신경 네트워크 시스템.
  14. 제 11 항에 있어서,
    상기 입력 데이터는 광학 데이터 오디오 데이터, 이미지 데이터, 비디오 데이터, 음성 데이터, 아날로그 데이터, 및 디지털 데이터 중 적어도 하나를 포함하는, 인공 신경 네트워크 시스템.
  15. 제 11 항에 있어서,
    상기 광학 도메인에서 직접 처리되도록 상기 입력 데이터를 업컨버팅하는 것을 더 포함하고, 상기 업컨버팅은 디지털화 또는 광검출 없이 어루어지는, 인공 신경 네트워크 시스템.
  16. 제 11 항에 있어서,
    처리된 입력 데이터를 조정하기 위한 복수의 광학 감쇠기들을 더 포함하는, 인공 신경 네트워크 시스템.
  17. 제 11 항에 있어서,
    바이어스 조정 유닛을 더 포함하는, 인공 신경 네트워크 시스템.
  18. 제 11 항에 있어서,
    상기 전자-포토닉 뉴런 레이어들 각각은 바이어싱 광을 포함하는, 인공 신경 네트워크 시스템.
  19. 제 11 항에 있어서,
    3D 이미저, 광학 위상 어레이, 및 포토닉 보조 마이크로웨이브 이미저 중 적어도 하나를 더 포함하는, 인공 신경 네트워크 시스템.
  20. 제 11 항에 있어서,
    출력을 생성하는 것은 280 ps 미만의 분류 시간을 갖는, 인공 신경 네트워크 시스템.
  21. 제 11 항에 있어서,
    상기 입력 레이어에서, 처리된 입력 데이터는 가중되어 활성화 함수를 통과하는, 인공 신경 네트워크 시스템.
  22. 제 11 항에 있어서,
    상기 입력 데이터를 처리하는 것은 하나 이상의 콘볼루션 셀들을 통해 상기 입력 데이터를 라우팅하는 것을 포함하고, 상기 복수의 전자-포토닉 뉴런 레이어들은 훈련 레이어 및 분류 레이어를 포함하는, 인공 신경 네트워크 시스템.
KR1020237006109A 2020-07-21 2021-07-21 광전자 심층 신경망들 KR20230054675A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063054692P 2020-07-21 2020-07-21
US63/054,692 2020-07-21
PCT/US2021/042526 WO2022020437A1 (en) 2020-07-21 2021-07-21 Photonic-electronic deep neural networks

Publications (1)

Publication Number Publication Date
KR20230054675A true KR20230054675A (ko) 2023-04-25

Family

ID=79728932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237006109A KR20230054675A (ko) 2020-07-21 2021-07-21 광전자 심층 신경망들

Country Status (5)

Country Link
US (1) US20230316061A1 (ko)
EP (1) EP4185923A1 (ko)
KR (1) KR20230054675A (ko)
CN (1) CN116235107A (ko)
WO (1) WO2022020437A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015686B (zh) * 2024-04-10 2024-06-28 济南超级计算技术研究院 基于全模拟光子神经网络的情绪识别装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900313A (zh) * 2016-06-02 2022-01-07 麻省理工学院 用于光学神经网络的设备和方法
WO2019217835A1 (en) * 2018-05-10 2019-11-14 The Board Of Trustees Of The Leland Stanford Junior University Training of photonic neural networks through in situ backpropagation

Also Published As

Publication number Publication date
CN116235107A (zh) 2023-06-06
WO2022020437A1 (en) 2022-01-27
EP4185923A1 (en) 2023-05-31
US20230316061A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US10763974B2 (en) Photonic processing systems and methods
Williamson et al. Reprogrammable electro-optic nonlinear activation functions for optical neural networks
CN109477938B (zh) 用于光学神经网络的设备和方法
Vandoorne et al. Parallel reservoir computing using optical amplifiers
Bangari et al. Digital electronics and analog photonics for convolutional neural networks (DEAP-CNNs)
Zibar et al. Inverse system design using machine learning: the Raman amplifier case
Mehrabian et al. A winograd-based integrated photonics accelerator for convolutional neural networks
US11817903B2 (en) Coherent photonic computing architectures
Katumba et al. A multiple-input strategy to efficient integrated photonic reservoir computing
US11681201B2 (en) Training of photonic reservoir computing systems
CN112001487A (zh) 一种光子神经网络
KR20210005273A (ko) 광자 신경망에 대한 활성화 함수를 위한 시스템 및 방법
CN113496281A (zh) 光电计算系统
Peserico et al. Integrated photonic tensor processing unit for a matrix multiply: a review
US11378746B2 (en) Reservoir computing operations using multiple propagations through a multi-mode waveguide
Pappas et al. Programmable tanh-, elu-, sigmoid-, and sin-based nonlinear activation functions for neuromorphic photonics
CN115222035B (zh) 一种光子神经网络卷积加速芯片
Campo et al. Reconfigurable activation functions in integrated optical neural networks
KR20230054675A (ko) 광전자 심층 신경망들
CN114325932B (zh) 一种片上集成的全光神经网络光计算芯片
US20240078419A1 (en) Optical neuron unit and network of the same
Shi et al. Image classification with a 3-layer soa-based photonic integrated neural network
Shi et al. SOA-based photonic integrated deep neural networks for image classification
WO2022136146A1 (en) Optical computing and reconfiguring with spatiotemporal nonlinearities in waveguides
Abreu et al. A photonics perspective on computing with physical substrates