JP2024040915A - 光電変換装置、光電変換システム、機器および移動体 - Google Patents

Abstract

【課題】光電変換装置の性能の向上に有利な技術を提供する。【解決手段】それぞれ光電変換素子を含む複数の画素と、複数の演算部と、を備える光電変換装置であって、前記複数の画素および前記複数の演算部は、それぞれ２次元アレイ状に配され、前記複数の画素は、前記複数の画素のうち２つ以上の画素によって構成される画素群ごとに、前記複数の演算部のうち対応する演算部に接続され、前記複数の画素のそれぞれは、前記複数の演算部のうち接続された演算部にスパイク状の信号を出力し、前記複数の演算部のそれぞれは、前記スパイク状の信号に対して演算を行う。【選択図】図２

Description

本発明は、光電変換装置、光電変換システム、機器および移動体に関する。

近年のＩｏＴやＡＩ、自動運転などの普及に伴い、より低消費電力かつ高速なイメージセンサが求められている。非特許文献１には、２次元アレイ状に配された各画素で光量の変化を監視し、変化を検知した場合に信号を出力するイベントベースセンサが示されている。非特許文献１によるとイベントベースセンサは、光量の変化が発生したときにだけ信号を出力するため、低消費電力かつ高速な動作が可能になる。

フィナテウ（Finateu）、外１３名、「４．８６μｍピクセル、１．０６６ＧＥＰＳ読み出し、プログラマブルイベントレートコントローラ、および、圧縮データフォーマットパイプラインを備えた１２８０×７２０裏面照射型積層時間コントラストイベントベースビジョンセンサ（A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline）」、２０２０ ＩＥＥＥ国際半導体回路会議（2020 IEEE International Solid-State Circuits Conference）、（米国）、２０２０年２月、ｐ．１１２－１１４

非特許文献１の構成では、光量の変化が検出されると画素ごとの転送回路から調停回路にリクエスト信号が出力され、調停回路によって読み出される行が選択される。しかしながら、信号の読み出しは１行ごとに行われるため、２つ以上の行の画素からリクエスト信号が出力されると、信号が読み出されるまで待機する画素が生じる。例えば、１つの行を読み出すのに１μｓ掛かり、センサが移動体などに搭載され、多くの画素で光量の変化が検出された場合、行数が７２０行あれば最大で１ｍｓ弱の遅延時間が生じることになる。画素における光量の変化の検出に対応して付加されるタイムスタンプの時間分解能が１μｓなど高い時間分解能であったとしても、実際に読み出される信号の時間分解能は１ｍｓ相当となる。この時間分解能の差は、実際は直線のものが曲線として観測されるなど、アーティファクトの原因になりうる。また、信号が読み出されるまでに、次の光量の変化が同じ画素に発生した場合、先の信号が消失する可能性がある。

本発明は、光電変換装置の性能の向上に有利な技術を提供することを目的とする。

上記課題に鑑みて、本発明の実施形態に係る光電変換装置は、それぞれ光電変換素子を含む複数の画素と、複数の演算部と、を備える光電変換装置であって、前記複数の画素および前記複数の演算部は、それぞれ２次元アレイ状に配され、前記複数の画素は、前記複数の画素のうち２つ以上の画素によって構成される画素群ごとに、前記複数の演算部のうち対応する演算部に接続され、前記複数の画素のそれぞれは、前記複数の演算部のうち接続された演算部にスパイク状の信号を出力し、前記複数の演算部のそれぞれは、前記スパイク状の信号に対して演算を行うことを特徴とする。

本発明によれば、光電変換装置の性能の向上に有利な技術を提供することができる。

本実施形態の光電変換装置を含む光電変換システムの構成例を示す図。 図１の光電変換装置の構成例を示す図。 図１の光電変換装置の画素の構成例を示す図。 図１の光電変換装置の演算部の構成例を示す図。 図１の光電変換装置の画素の構成例を示す図。 図１の光電変換装置の演算部の構成例を示す図。 図１の光電変換装置の構成例を示す図。 図１の光電変換装置の構成例を示す図。 図１の光電変換装置の構成例を示す図。 本実施形態の光電変換装置が組み込まれた機器の構成例を示す図。 本実施形態の光電変換装置が組み込まれた移動体の構成例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１～図８を参照して、本開示の実施形態による光電変換装置および光電変換システムについて説明する。図１は、本実施形態の光電変換システムＳＹＳの構成例を示す図である。光電変換システムＳＹＳは、光電変換装置１０と演算装置２０とを含む。光電変換装置１０は、それぞれ光電変換素子を含む複数の画素で検出された信号に所定の演算を行い、光電変換装置１０に入射する光に応じた画像（映像）の特徴量を表す信号を取得する。演算装置２０は、光電変換装置１０から特徴量を示す信号を受け取り、さらに所定の演算を実行する。演算装置２０は、例えば、対象物体の位置やオプティカルフローを求めるなどの認識処理を行う。このような光電変換システムＳＹＳは、ビジョンシステムとも呼ばれうる。光電変換システムＳＹＳは、例えば、ドローンのような自律移動体に搭載し、障害物の検知や地図の作成（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）に用いることができる。また、光電変換システムＳＹＳは、自動車などの車載用途に用いられてもよく、歩行者や他の車両の検知などに用いることができる。演算装置２０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった組み込み機器であってもよい。また、演算装置２０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やクラウド（Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ）であってもよい。また、光電変換装置１０と演算装置２０とは、図１に示されるように分離されている必要はない。例えば、光電変換装置１０と演算装置２０とは、同一のチップ上に実装されていてもよい。

図２を参照して、光電変換装置１０の回路構成例について説明する。光電変換装置１０は、制御部１１０、画素・演算部１２０、処理部１８０、出力ＩＦ部１９０を備える。制御部１１０は、画素・演算部１２０、処理部１８０の動作をそれぞれ制御する。画素・演算部１２０には、それぞれ光電変換素子を含む複数の画素Ｐと、複数の演算部Ｃと、が配されている。複数の画素Ｐおよび複数の演算部Ｃは、図２に示されるように、それぞれ２次元アレイ状に配されている。複数の画素Ｐおよび複数の演算部Ｃは、同じ基板の上に配されていてもよい。また、光電変換装置１０が、複数の画素Ｐのうち少なくとも光電変換素子が配された基板と、複数の演算部Ｃが配された基板と、が積層された積層構造を有していてもよい。

図２に示される構成において、画素・演算部１２０には、Ｍ×Ｎ個の画素Ｐが配されている。画素Ｐのうち特定の画素Ｐを示す場合には、画素Ｐ（ｍ、ｎ）と示す。ｍ、ｎは、それぞれ０≦ｍ≦（Ｍ－１）、０≦ｎ≦（Ｎ－１）を満たす整数である。ここで、行方向（図２において横方向）にＭ個の画素Ｐが配され、列方向（図２において縦方向）にＮ個の画素Ｐが配されているとする。

演算部Ｃは、所定の数の画素Ｐごとに１つずつ配されている。複数の画素Ｐは、複数の画素Ｐのうち２つ以上の画素Ｐによって構成される画素群ごとに、複数の演算部Ｃのうち対応する演算部Ｃに接続されているともいえる。例えば、図２に示される構成では、４×４個の画素Ｐによって構成される画素群に対して１つの演算部Ｃが配されている。演算部Ｃのうち特定の演算部Ｃを示す場合には、演算部Ｃ（ｍ’、ｎ’）と示す。図２に示される構成の場合、ｍ’、ｎ’は、４の倍数になる。図２に示されるように、画素Ｐは、対応する演算部Ｃに直接、接続されている。換言すると、画素Ｐと演算部Ｃとの間に、非特許文献１に示される転送回路や調停回路のような読出機構など、他の構成は配されていなくてもよい。

演算部Ｃは、対応する画素群に含まれる画素Ｐの他に、互いに隣り合うように配された演算部Ｃにも接続され、データの授受を行うことができる。つまり、演算部Ｃ（ｍ’、ｎ’）は、演算部Ｃ（ｍ’－４、ｎ’）、（ｍ’、ｎ’－４）、（ｍ’＋４、ｎ’）、（ｍ’、ｎ’＋４）とも接続されている。演算部Ｃは、画素Ｐから入力する信号および互いに隣り合う演算部Ｃから入力する信号（データ）に対して、所定の演算を実施する。また、演算部Ｃは、演算結果を互いに隣り合う演算部Ｃに送ることができる。また、画素・演算部１２０の端に配された演算部Ｃ（ｍ’、Ｎ－４）は、演算結果を処理部１８０に出力することができる。

処理部１８０は、複数の演算部Ｃのそれぞれから入力される演算結果に所定の演算を実行するなどの処理を行う。また、処理部１８０は、出力ＩＦ部１９０を介して、処理結果を演算装置２０など光電変換装置１０の外部へ出力する。このように、画素Ｐの信号を画素群ごとに演算部Ｃへ直接出力する構成によって、非特許文献１に示されるような転送回路や調停回路などの読出機構によって律速されず（滞留がなく）、少ない遅延時間でそれぞれの画素Ｐで生じた信号の処理を実施することができる。

次に、画素Ｐについて説明する。本実施形態において、画素Ｐのそれぞれは、入射光の光量の変化を検出し、スパイク状の信号を出力する。より具体的には、複数の画素Ｐのそれぞれは、光電変換素子から出力される信号が変化したことに応じて、スパイク状の信号を出力する。画素Ｐは、入射光の光量の変化（イベント）に応じて信号を出力するため、このスパイク状の信号はイベント信号とも呼ばれうる。複数の画素Ｐのそれぞれは、複数の演算部Ｃのうち接続された演算部Ｃにイベント信号としてスパイク状の信号を出力し、複数の演算部Ｃのそれぞれは、スパイク状の信号に対して演算を行う。ここで、スパイク状の信号とは、例えば、パルス状の信号でありうる。また、例えば、スパイク状の信号とは、パルスの立ち上がりおよび立ち下がりが観察される、例えば、正弦波のような形状を有する信号であってもよい。

画素Ｐは、例えば、図３に示される回路によって構成されうる。図３に示される構成において、画素Ｐは、フォトダイオード２１０、対数Ｉ／Ｖ変換回路２２０、減算回路２３０、比較回路２４０を含む。光電変換素子であるフォトダイオード２１０は、入射光の光量に応じた光電流Ｉ_ｐを発生させる。対数Ｉ／Ｖ変換回路２２０は、光電流Ｉ_ｐを電位に変換するとともに、対数関数状の変換をかけて対数電位Ｖ_ｌを生成する。対数変換は、主にダイナミックレンジ拡大を目的としているため、対数変換は行われなくてもよい。つまり、フォトダイオード２１０と減算回路２３０との間で、フォトダイオード２１０で生じた光電流Ｉ_ｐに応じた電位が生成されればよい。減算回路２３０は、フォトダイオードから出力された信号（光電流Ｉ_ｐ）の信号値に応じた対数電位Ｖ_ｌから基準電位（基準値）を減算した減算値Ｖ_ｄを生成する。比較回路２４０は、減算値Ｖ_ｄと所定の閾値とを比較する。閾値は、正の閾値Ｔ１および負の閾値Ｔ２の２つがある。比較回路２４０（画素Ｐ）は、減算値Ｖ_ｄが正の閾値Ｔ１を上回った場合および負の閾値Ｔ２を下回った場合に、イベント信号Ｅを出力する。時刻ｔにおける画素Ｐ（ｍ、ｎ）のイベント信号Ｅは、式（１）で表される。

光電変換装置１０において、時刻ｔの分解能は、例えば、１μｓである。イベント信号Ｅは、通常のイメージセンサにあるようなフレーム同期信号とは無関係（非同期）に信号が発生するため、高い時間分解能を持つ。イベント信号Ｅは、画素Ｐから画素Ｐのそれぞれ対応する演算部Ｃへ出力される。また、イベント信号Ｅは、基準電位の更新に用いられる。つまり、イベント信号Ｅを出力した際の対数電位Ｖ_ｌが保持され、次の基準電位として用いられる。以上の構成によって、光電変換素子であるフォトダイオード２１０に入射する光量の増減をスパイク状のイベント信号Ｅとして出力できる。

上述したように、光電変換装置１０は１つの基板を備える単層型センサとしても２つ以上の基板を備える積層型センサとしても実現できる。積層型とする場合に、例えば、光電変換素子であるフォトダイオード２１０と、減算回路２３０および比較回路２４０と、が別々の基板に配されていてもよい。この場合、対数Ｉ／Ｖ変換回路２２０のうち一部が、フォトダイオード２１０が配された基板に配され、対数Ｉ／Ｖ変換回路２２０のうち他の一部が、減算回路２３０および比較回路２４０が配された基板に配されていてもよい。さらに、この場合、演算部Ｃは、減算回路２３０および比較回路２４０が配された基板に配されていてもよいし、さらに別の基板に配されていてもよい。

複数の基板を積層させた積層型センサの例を、図９（ａ）、９（ｂ）を参照しながら説明する。図９（ａ）は、積層型センサの構成を示す図である。半導体層Ｓｅｍ１には、フォトダイオード２１０と、種々の半導体領域Ｒ１１と、が設けられている。このフォトダイオード２１０は、半導体層Ｓｅｍ１の裏面側に設けられたマイクロレンズＭＬを透過した光を受け、光電変換を行う。また、半導体層Ｓｅｍ１の表面側にはトランジスタのゲート構造Ｇ１１、複数の配線層、複数の層間絶縁膜を含む構造体Ｗ１が設けられている。つまり、図９（ａ）に示される積層型センサは、裏面照射型のセンサとして構成されている。ここで、マイクロレンズＭＬは必須の構成ではない。構造体Ｗ１の下面には、接合層Ｚ１が設けられている。この接合層Ｚ１には、金属で形成された接続部Ｍ１１が設けられている。この接続部Ｍ１１は、典型的には銅（Ｃｕ）、アルミニウム（Ａｌ）、タングステン（Ｗ）のいずれか１つ、もしくは複数を組み合わせた金属で形成される。接続部Ｍ１１は、接合層Ｚ１の絶縁膜の内部に設けられている。基板Ｓｕｂ１は、半導体層Ｓｅｍ１、構造体Ｗ１、接合層Ｚ１を含む。

半導体層Ｓｅｍ２には、各種の回路を構成する種々の半導体領域Ｒ２１が設けられている。半導体層Ｓｅｍ２の表面側にはトランジスタのゲート構造Ｇ２１、複数の配線層、複数の層間絶縁膜を含む構造体Ｗ２が設けられている。構造体Ｗ２の上面には、接合層Ｚ２が設けられている。この接合層Ｚ２には、金属で形成された接続部Ｍ２１が設けられている。この接続部Ｍ２１は、典型的には銅（Ｃｕ）、アルミニウム（Ａｌ）、タングステン（Ｗ）のいずれか１つ、もしくは複数を組み合わせた金属で形成される。接続部Ｍ２１は、接合層Ｚ２の絶縁膜の内部に設けられている。基板Ｓｕｂ２は、半導体層Ｓｅｍ２、構造体Ｗ２、接合層Ｚ２を含む。

図９（ｂ）は、基板Ｓｕｂ１と基板Ｓｕｂ２との接合前の状態を示している。接合前の状態において、基板Ｓｕｂ１および基板Ｓｕｂ２のそれぞれに設けられた接続部Ｍ１１、Ｍ２１は、対応する基板の内部の配線層に接続されている。この配線層は、対応する基板のトランジスタ、抵抗素子、容量素子、フォトダイオード２１０などの機能素子に接続されている。よって、複数の基板Ｓｕｂ１、Ｓｕｂ２のそれぞれの接続部Ｍ１１、Ｍ２１は、基板Ｓｕｂ１、Ｓｕｂ２同士を接合する前の段階において、対応する基板の機能素子に接続されている。

また、接合層Ｚ１の接合面Ｐ１には、絶縁膜と、絶縁膜を一部除去して設けられた接続部Ｍ１１と、が設けられている。同様に、接合層Ｚ２の接合面Ｐ２には、絶縁膜と、絶縁膜を一部除去して設けられた接続部Ｍ２１と、が設けられている。

その後、接合面Ｐ１と接合面Ｐ２とを貼り合わせることによって、基板Ｓｕｂ１と基板Ｓｕｂ２とが接合される。つまり、基板Ｓｕｂ１と基板Ｓｕｂ２との接合は、基板Ｓｕｂ１および基板Ｓｕｂ２のそれぞれ絶縁膜同士による接合と、基板Ｓｕｂ１および基板Ｓｕｂ２のそれぞれ接続部同士（接続部Ｍ１１と接続部Ｍ２１と）による接合と、によってなされている。このようにして、基板Ｓｕｂ１と基板Ｓｕｂ２との間の電気的導通を行うことができる。

ここで説明した接続部Ｍ１１は、複数のフォトダイオード２１０のそれぞれに対応して、１つずつ設けられるようにしてもよい。この場合、複数の減算回路２３０のそれぞれに対して、接続部Ｍ２１が１つずつ設けられるようにすることができる。また、この場合、複数の減算回路２３０の２つ以上の減算回路２３０に対して、接続部Ｍ２１が１つずつ設けられるようにすることもできる。また、複数のフォトダイオード２１０のうちの２つ以上のフォトダイオード２１０に対して、１つの接続部Ｍ１１が設けられるようにしてもよい。この場合においても、複数の減算回路２３０のそれぞれに対して、接続部Ｍ２１が１つずつ設けられるようにすることができ、また、複数の減算回路２３０の２つ以上の減算回路２３０に対して接続部Ｍ２１が１つずつ設けられるようにすることもできる。

上述の接合方法は一例であり、他の接合方法によって複数の基板間の電気的導通を行うことも可能である。例えば、複数の基板のそれぞれの接合面には接続部が設けられておらず、絶縁膜が設けられた構成として貼り合わせて積層体を作製する。その後、この積層体の上面から、一方の基板の配線層まで貫通する第１貫通孔と、他方の基板の配線層まで貫通する第２貫通孔とを設ける。そして、第１貫通孔と第２貫通孔とのそれぞれに金属を充填させる。また、第１貫通孔に充填される金属と、第２貫通孔に充填される金属を接続する金属膜を設ける。この金属は、典型的には銅（Ｃｕ）、アルミニウム（Ａｌ）、タングステン（Ｗ）のいずれか１つ、もしくは複数を組み合わせた金属で形成される。これにより、複数の基板の電気的導通を行うことが可能である。

次いで、演算部Ｃで実施される演算について説明する。本実施形態において、演算部Ｃは、ニューラルネットワークを含みうる。さらに、本実施形態において、演算部Ｃは、ＣＳＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｐｉｋｉｎｇ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の演算の少なくとも一部を行うように構成されうる。演算部Ｃのそれぞれは、例えば、図４に示されるような回路によって構成される。図４に示される構成において、演算部Ｃは、Ｌ１演算部３１０、Ｌ２演算部３２０、通信部３３０を含む。

Ｌ１演算部３１０およびＬ２演算部３２０におけるＣＳＮＮの演算は、畳み込み演算、ＬＩＦ（Ｌｅａｋｙ Ｉｎｔｅｇｒａｔｅ ａｎｄ Ｆｉｒｅ）演算、および、プーリング演算の組合せで構成されうる。Ｌ１演算部３１０への入力は、演算部Ｃに接続されたそれぞれの画素Ｐから出力されるイベント信号Ｅである。Ｌ１演算部３１０に入力されるイベント信号Ｅに対して、Ｌ１演算部３１０は、まず、所定のカーネルサイズ（例えば、４×４画素）と所定のストライド（例えば、２画素）との畳み込み演算を行う。畳み込み演算は、例えば、式（２）のように表される。

ここで、ｗ_{ｓ，ｉ，ｊ，ｋ}は、畳み込みカーネルの係数（重み）、ｂ_ｓはバイアス項である。式（２）には乗算が含まれる。しかしながら、上述のように、イベント信号Ｅ（ｍ、ｎ、ｔ）は、「－１」、「０」、「１」の何れかであるため、Ｌ１演算部３１０は、加減算器のみで構成することも可能である。カーネルの係数およびバイアス項は、Ｌ１演算部３１０の設計の際に適当な値を設定してもよいし、機械学習によって取得されてもよい。ｓは、Ｌ１演算のチャネル番号を示しており、例えば、８チャネルであれば０≦ｓ≦７である。カーネルの視野に、演算部Ｃに直接接続されていない画素Ｐが含まれている場合、互いに隣り合う演算部ＣのＬ１演算部３１０との間で中間結果Ｌｉを交換し、処理が実施されうる。畳み込み演算の結果であるＦｓ（ｔ）は、スパイク状の信号に畳み込み演算を行った結果である。そのため、Ｆｓ（ｔ）は、高さ情報を持つスパイク状の信号となる。

次に、畳み込み演算の結果に対してチャネルごとにＬＩＦ演算を実行する。ＬＩＦ演算では、例えば、式（３）で表される膜電位Ｖ（ｔ）を求める。

ここで、τは時定数、Ｖ_Ｒは所定のリセット電位である。すなわち、膜電位Ｖ（ｔ）は、入力されたＦ（ｔ）を積算し、また、時間経過とともに減衰するように振る舞う。また、膜電位Ｖ（ｔ）が、所定の発火閾値を上回ると発火し、スパイク状の信号を出力させる。スパイク状の信号を発生させると、膜電位Ｖ（ｔ）は、リセット電位Ｖ_Ｒに戻る。ここで、入力されるＦ（ｔ）は、スパイク状の信号であるが、スパイクの立ち上がり時にパルスの高さ分を積算するとする。換言すると、スパイク状の信号のパルス幅は、演算に影響しないとする。ここでは、ＬＩＦ演算を行うとしたが、発火閾値が過去の発火に応じて適応的に調整されるＡＬＩＦ（Ａｄａｐｔｉｖｅ－ＬＩＦ）演算が用いられてもよい。

ＬＩＦ演算の結果に対して、所定のカーネルサイズ（例えば、２×２画素）と所定のストライド（例えば、２画素）とのＭＡＸプーリング演算を行う。ＬＩＦ演算の結果はスパイク状であるため、ＭＡＸプーリング演算の結果は、論理和と同等になり、出力もスパイク状になる。ただし、不応期が設けられている場合、発火から一定の期間は、ＭＡＸプーリング演算において、ＬＩＦ演算からスパイク状の信号の入力があっても無視される。

また、変形例として、ＬＩＦ演算とＭＡＸプーリング演算との処理順を一部入れ替え、膜電位Ｖ（ｔ）に対してＭＡＸプーリング演算を行い、その結果を発火閾値と比較してスパイク状の信号を出力してもよい。プーリング演算によって、位置ずれに対するロバスト性向上や演算量削減が期待できるが、必須のものではなく、プーリング演算が実施されなくてもよい。

以上の構成によって、Ｌ１演算部３１０は演算結果Ｓ１を出力する。演算結果Ｓ１は、イベント信号Ｅと比較して、空間分解能（解像度）は畳み込み演算やプーリング演算によって粗くなり、例えば、１／１６になる。また、スパイク状の信号の間隔も広がり、例えば、イベント信号Ｅの１／１０の時間分解能になる。

演算結果Ｓ１は、同じ演算部ＣのＬ２演算部３２０、または、互いに隣り合う演算部ＣのＬ２演算部３２０へ送られる。Ｌ２演算部３２０は、Ｌ１演算部３１０と同様に、畳み込み演算、ＬＩＦ演算、プーリング演算を実行してスパイク状の演算結果Ｓ２を得る。演算結果Ｓ２の空間分解能および時間分解能は演算結果Ｓ１よりもさらに粗くなる。演算結果Ｓ２は、通信部３３０へ送られる。

通信部３３０は、列方向に互いに隣り合う演算部Ｃの通信部３３０に接続されており、画素・演算部１２０の下端において処理部１８０に接続される。通信部３３０から出力される演算結果Ｓｃ（演算結果Ｓｃは、例えば、演算結果Ｓ２と同じであってもよいし、演算結果Ｓ２にデータが追加されていてもよい。）は、順に処理部１８０に近い演算部Ｃへとリレーしながら送られる。最終的にそれぞれの演算部Ｃの演算結果Ｓｃは、処理部１８０に入力される。このように、複数の演算部Ｃのそれぞれは、受信したスパイク状のイベント信号Ｅに応じた膜電位に基づいて演算を行い、最終的に、演算結果Ｓｃとして、画素・演算部１２０の外部の処理部１８０に送られる。処理部１８０は、演算結果Ｓｃに対して、例えば、必要に応じてヒストグラムの取得などを行ってもよいし、さらなるＣＳＮＮの演算を実行してもよい。

以上のような構成によって、高い時間分解能を持つイベント信号Ｅから、ＣＳＮＮの演算を用いて時間方向および空間方向へのイベントの連なりといったイベント特徴量が抽出できる。このようにして得られたイベント特徴量を用いて、後段の演算装置２０において、例えば、物体検知などの認識処理が行われる。物体検知などの認識処理は、イベント特徴量と物体位置との関係を、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースの機械学習手法を用いて学習した学習済みモデルを用いて行われてもよい。高い時間分解能を持つ情報をベースにしているため、例えば、高速移動する物体を検知対象とした場合であっても高精度な物体検知が可能になる。

本実施形態の光電変換装置１０は、通常のセンサにはあるフレーム期間などの概念がなく、非同期に随時状態が更新されてイベント特徴量が抽出されるため、光量変化から特徴量を抽出するまでの遅延が短くなる。また、通常、イベント信号Ｅは移動物体のエッジ付近のみで検出されるため、まばらに（スパースに）発生する。そのため、畳み込み演算などもイベント発生時のみ実行すればよく、上述の構成を備える光電変換装置１０は、平均的な消費電力を低く抑えることができる。また、画素Ｐから出力さるイベント信号Ｅが、非特許文献１に示されるような転送回路や調停回路などを含む読出機構などを介さずに直接、演算器Ｃに入力されるため、低遅延で処理され、かつ、読出機構の帯域などによる律速を受けない。すなわち、イベント信号Ｅが多発しても問題なく処理することが可能になる。また、イベント信号Ｅに比べて演算部Ｃや処理部１８０によって演算、処理された特徴量は、空間分解能や時間分解能が粗くなっているため情報量（バイト数）を低く抑えることができる。そのため、出力ＩＦ部１９０の通信帯域が比較的小さい場合でも、演算装置２０にデータを伝送可能であり、また、伝送に必要な消費電力が小さくなる。

本実施形態において、演算部Ｃは、同等の演算結果（近似的な演算結果を含む）が得られる限り、アナログ演算器を用いて実装してもよい。また、演算部Ｃは、非同期式（クロックのない）のデジタル演算器を用いても実装してもよいし、クロック同期式のデジタル演算器を用いても実装してもよい。さらに、また、演算部Ｃは、プロセッサによるソフトウェア実装でもよい。また、演算部Ｃは、これらの方式の組合せであってもよい。また、上述のような演算器を複数の演算部Ｃで共有し、時分割で使う構成としてもよい。

また、画素Ｐや演算部Ｃにおいて、演算を実施する順序が上述とは異なっていてもよい。例えば、図３に示されるような画素Ｐにおいて、対数電位Ｖ_ｌから基準電位を減算することと、閾値Ｔ１、Ｔ２に基準電位を加算することとは等価になる。また、Ｌ１演算部３１０やＬ２演算部３２０において、畳み込み演算、ＬＩＦ演算、プーリング演算の順番はどのような順番であってもよい。畳み込み演算、ＬＩＦ演算、プーリング演算の回数も任意の回数であってもよい。また、ＣＳＮＮ内に再帰的（Ｒｅｃｕｒｒｅｎｔ）結合が含まれていてもよい。

上述の実施形態では、光電変換素子であるフォトダイオード２１０に入射する光量の変化を非同期に検出したイベント信号Ｅに対してＣＳＮＮで演算を行う例を示した。しかしながら、画素Ｐの構成は、これに限られることはない。図５は、本実施形態の画素Ｐの図３とは異なる構成例を示す図である。図５に示される構成において、対数Ｉ／Ｖ変換回路２２０から出力される対数電位Ｖ_ｌは、ＶＣＯ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｏｓｃｉｌｌａｔｏｒ）５１０に入力する。ＶＣＯ５１０は、対数電位Ｖ_ｌに応じた周波数のスパイク状（正弦波）の信号列であるスパイク信号Ｓ_０を生成する。つまり、複数の画素Ｐのそれぞれは、光電変換素子であるフォトダイオード２１０から出力される信号の信号値に応じた周波数でスパイク状の信号を出力する。ＶＣＯ５１０は、例えば、３つ（奇数個）のインバータをリング状に接続したリングオシレータなどを用いて実現できる。ＶＣＯ５１０の場合、パルスのデューティが５０％程度になるが、上述したように演算部Ｃは、スパイク状の信号のパルス幅には依存しないため、ＶＣＯ５１０から出力される信号は、上述のイベント信号Ｅと同等に扱うことができる。

画素ＰにＶＣＯ５１０を用いた場合であっても、スパイク信号Ｓ_０を受け取る演算部Ｃ以降の処理は、上述と同様でありうる。本実施形態では、フォトダイオード２１０で生成される光電流の絶対値に基づく特徴量がＣＳＮＮによって抽出される。この特徴量と物体位置などとの関係をＣＮＮベースの機械学習手法を用いて学習することによって、後段の演算装置２０において、上述のように物体検知などの認識処理を行うことができる。また、上述の実施形態と同様に、非同期に発生する信号をＣＳＮＮで処理するため、高い時間分解能の情報を活用することが可能である。また、ＶＣＯ５１０を含む画素Ｐの構成は、光量の変化がない静止物体なども検出可能である。

また、光電変換素子としてアバランシェフォトダイオードを用いたＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）素子が、画素Ｐに用いられてもよい。ＳＰＡＤ素子は、雪崩増倍を利用してフォトン１つ１つをスパイク状の信号に変換する。スパイク状の信号が出力される間隔は、光量に依存しうるため、上述のＶＣＯ５１０を用いた画素Ｐと同様のスパイク状の信号列が生成される。このスパイク状の信号列が上述した演算部Ｃに入力され、上述と同様に処理されうる。画素ＰにＳＰＡＤ素子を用いた場合、低照度下においても対象物を認識可能な光電変換システムＳＹＳが実現可能である。

上述のそれぞれの実施形態では、ＣＳＮＮによって画素Ｐから入力する信号を処理する例を示したが、演算部Ｃは、入力する信号をＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）によって処理してもよい。ＡＮＮは、ＣＳＮＮとは異なり微分可能な式で表現されるため、誤差逆伝搬法などを用いた高精度な学習が実施できるメリットを有する。一方で、上述のイベント信号Ｅのような非同期の信号が扱えないため、同期化が必要になる。同期化によって高い時間分解能でイベント信号Ｅを検出することは難しいが、認識対象物や用途によって、高精度な学習によって得られた学習済みモデルを用いて、物体検知などの認識処理を高精度に行うことが可能になる。

図６は、ＡＮＮを含む演算部Ｃの構成例を示す。演算部Ｃに入力されるイベント信号Ｅは、例えば、上述の図３に示されるような画素Ｐから入力する。同期化部６１０は、入力されたイベント信号Ｅを所定の周期（例えば、１ｍｓ）ごとにカウントする。同期化部６１０は、それぞれの周期（フレーム）ごとにカウントされた画素Ｐごとのイベント信号Ｅの数ＥｃをＬ１演算部６２０に送る。イベント信号Ｅの数Ｅｃは、光電変換装置１０において１周期ごとに同期化された画像状のデータ（フレームデータ）になる。そのため、Ｌ１演算部６２０、Ｌ２演算部６３０では一般的なＣＡＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ＡＮＮ）演算を実行できる。例えば、Ｌ１演算部６２０は畳み込み演算、ＲｅＬＵ（Ｒｅｃｔｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）演算、プーリング演算などを行う。Ｌ２演算部６３０も同様に、畳み込み演算、ＲｅＬＵ演算、プーリング演算などを行う。Ｌ１演算部６２０の演算結果Ｉ１、Ｌ２演算部６３０の演算結果Ｉ２も、また、イベント信号Ｅの数Ｅｃと同じ周期の画像状のデータになる。通信部６４０は、上述の通信部３３０と同様に、演算結果Ｉｃを順に伝送し、得られた特徴量のデータが、処理部１８０、出力ＩＦ部１９０を経由して演算装置２０へ出力される。

次いで、画素Ｐと演算部Ｃとの配置について説明する。図２に示される構成では、４×４の画素Ｐごとに１つの演算部Ｃが配される構成を示した。この場合、例えば、画素Ｐと演算部Ｃとが、１つの基板に配された単層構造の場合、画素Ｐのみを配した画素・演算部１２０と比較して、演算部Ｃを配置する分、画素Ｐを配するピッチを広げる必要がある。また、光電変換素子であるフォトダイオード２１０と演算部Ｃとを別の基板に配した場合であっても、演算部Ｃが配された基板に減算回路２３０や比較回路２４０が配された場合、基板に表面に対する正射影において、画素Ｐと演算部Ｃとの配置は、図２に示されるような構成になりうる。つまり、画素Ｐを配するピッチを広げる必要がありうる。すなわち、光電変換装置１０の空間分解能の低下につながってしまう。

そこで、例えば、図７に示されるように、画素・演算部１２０において、２次元アレイ状に配された複数の画素Ｐは、所定の間隔で画素Ｐが間引かれ、複数の演算部Ｃのそれぞれは、画素Ｐが間引かれた領域に配されていてもよい。また、光電変換装置１０が、複数の基板を備える積層構造である場合、複数の演算部Ｃのそれぞれは、画素が間引かれた領域に重なるように配されていてもよい。図７は、１６画素（４×４画素）ごとに１つの画素を欠落させている例である。具体的には、画素Ｐ（ｍ＋１、ｎ＋１）（ｍ、ｎは、４の倍数）を間引き、画素Ｐが間引かれた領域に演算部Ｃが配されている。それぞれの演算部Ｃに接続される画素Ｐは、近傍の１６画素のうち間引いた画素を除く１５個の画素Ｐとなる（接続は図示せず）。また、それぞれの演算部Ｃにおいて、互いに隣り合う四方の演算部Ｃが接続されるのは、図２に示される構成と同様である。演算部Ｃへ信号を入力する画素Ｐは１５個となるが、上述と同様の演算によって特徴量を抽出できる。図７に示される構成では、画素Ｐを間引く間隔と演算部Ｃが配される間隔とは一致している。しかしながら、これに限られることはなく、例えば、３２画素ごとに１画素を間引き、画素が間引かれた領域に演算部Ｃが２つ配されていてもよい。ここで、図７では、図２に示される制御部１１０が画素・演算部１２０、処理部１８０の動作を制御するための制御線についても、図示を省略している。

以上のような構成によって、演算部Ｃを画素・演算部１２０に配することに起因する画素Ｐの配置ピッチへの影響が低減される。結果として、光電変換装置１０において、高い空間分解能が実現する。また、画素Ｐを間引くことによって情報量は減るが、演算部Ｃが配された領域の情報は、演算部Ｃの周囲に配された画素Ｐから得られる情報によって補完可能であり、最終的な認識性能に与える影響は少ない。

図８は、図７に示した画素Ｐと演算部Ｃとの配置の変形例について説明する図である。図７に示される構成では、演算部Ｃが配された領域に入射した光は、光電変換に使用されない可能性がある。図８に示される構成は、光電変換装置１０が、複数の基板を備える積層構造である場合を想定している。例えば、光電変換素子であるフォトダイオード２１０および対数Ｉ／Ｖ変換回路２２０の一部が配された基板と、対数Ｉ／Ｖ変換回路２２０の他の一部、減算回路２３０、比較回路２４０および演算部Ｃが配された基板と、が積層された場合である。それぞれの画素Ｐごとに、フォトダイオード２１０および対数Ｉ／Ｖ変換回路２２０の一部と、対数Ｉ／Ｖ変換回路２２０の他の一部、減算回路２３０、比較回路２４０と、は重なるように配されうる。一方で、フォトダイオード２１０が配された基板のうち演算部Ｃに重なる領域は、空間が生じうる。そこで、例えば、図８に示されるように、４×４画素のうちＰ（ｍ＋２、ｎ＋１）（ｍ、ｎは、４の倍数）の光電変換素子は、演算部Ｃに重なる領域まで延び、２画素分の領域の入射光を受光できるようする。

つまり、複数の画素Ｐのそれぞれに配された光電変換素子（フォトダイオード２１０）は、通常の大きさの光電変換素子と通常の大きさの光電変換素子よりも大きい光電変換素子とを含んでいてもよい。複数の画素Ｐは、大きい光電変換素子を備える２つの画素の間に所定の数の通常の光電変換素子を備える画素が並ぶように配される。このとき、複数の演算部Ｃのそれぞれは、複数の画素Ｐに配された光電変換素子のうち大きい光電変換素子に重なるように配される。このような構成によって、光電変換装置１０の画素・演算部１２０に入射する光の利用効率を向上させることができる。

画素Ｐ（ｍ＋２、ｎ＋１）で生じる光電流Ｉ_ｐは、同じ光量が入射した場合に、他の画素Ｐのおよそ２倍になる。しかしながら、上述のイベント信号Ｅとして画素Ｐ（ｍ＋２、ｎ＋１）から出力される信号を用いる場合、演算部Ｃは、大きな光電変換素子を備える画素Ｐから出力される信号を、他の画素Ｐから出力される信号と同等に扱っても問題ない。また、低照度下において、画素Ｐ（ｍ＋２、ｎ＋１）から出力されるイベント信号Ｅの品質は、他の画素Ｐよりも高い可能性がある。そのため、低照度下において、演算部Ｃは、画素Ｐ（ｍ＋２、ｎ＋１）から出力されるイベント信号Ｅに対して重み付けを調整し、演算結果Ｓｃにおける画素Ｐ（ｍ＋２、ｎ＋１）から出力されるイベント信号Ｅの寄与率を高めてもよい。

以下、光電変換装置１０（光電変換システムＳＹＳ）の応用例として、図１０に示される、光電変換装置１０（光電変換システムＳＹＳ）を備える機器ＥＱＰについて説明する。機器ＥＱＰは、電子機器とも呼ばれうる。図１０は、機器ＥＱＰの一例としてカメラを示している。ここで、カメラの概念には、撮影を主目的とする装置のみならず、撮影機能を補助的に備える装置（例えば、パーソナルコンピュータや、スマートフォンなどの携帯端末）も含まれる。

光電変換装置１０は、画素・演算部１２０が設けられた積層構造の半導体チップでありうる。光電変換装置１０は、図１０に示されるように、半導体パッケージＰＫＧに収容されている。パッケージＰＫＧは、光電変換装置１０が固定された基体と、光電変換装置１０に対向するガラスなどの蓋体と、基体に設けられた端子と光電変換装置１０に設けられた端子とを接続するボンディングワイヤやバンプなどの導電性の接続部材と、を含みうる。機器ＥＱＰは、光学系ＯＰＴ、制御装置ＣＴＲＬ、処理装置ＰＲＣＳ、表示装置ＤＳＰＬ、記憶装置ＭＭＲＹの少なくともいずれかをさらに備えていてもよい。

光学系ＯＰＴは、光電変換装置１０に結像するものであり、例えば、レンズやシャッタ、ミラーでありうる。制御装置ＣＴＲＬは、光電変換装置１０の動作を制御するものであり、例えば、ＡＳＩＣなどの半導体デバイスでありうる。処理装置ＰＲＣＳは、光電変換装置１０から出力された信号を処理する信号処理部として機能するものであり、ＣＰＵやＡＳＩＣなどの半導体デバイスでありうる。表示装置ＤＳＰＬは、光電変換装置１０で得られた画像データを表示する、ＥＬ表示装置や液晶表示装置でありうる。記憶装置ＭＭＲＹは、光電変換装置１０で得られた画像データを記憶する、磁気デバイスや半導体デバイスである。記憶装置ＭＭＲＹは、ＳＲＡＭやＤＲＡＭなどの揮発性メモリ、あるいは、フラッシュメモリやハードディスクドライブなどの不揮発性メモリでありうる。機械装置ＭＣＨＮはモーターやエンジンなどの可動部あるいは推進部を有する。カメラにおける機械装置ＭＣＨＮはズーミングや合焦、シャッタ動作のために光学系ＯＰＴの部品を駆動することができる。機器ＥＱＰでは、光電変換装置１０から出力された画像データを表示装置ＤＳＰＬに表示したり、機器ＥＱＰが備える通信装置（不図示）によって外部に送信したりする。このため、機器ＥＱＰは、記憶装置ＭＭＲＹや処理装置ＰＲＣＳを備えていてもよい。

光電変換装置１０が組み込まれたカメラは、監視カメラや、自動車や鉄道車両、船舶、航空機あるいは産業用ロボットなどの輸送機器に搭載される車載カメラなどにも適用されうる。加えて、光電変換装置１０が組み込まれたカメラは、輸送機器に限らず、高度道路交通システム（ＩＴＳ）など、広く物体認識を利用する機器に適用することができる。

次いで、本実施形態の光電変換装置１０（光電変換システムＳＹＳ）を移動体に搭載する具体的な応用について、図１１（ａ）、１１（ｂ）を用いて説明する。図１１（ａ）は、車載カメラに関する光電変換システムの一例を示したものである。光電変換システム８は、光電変換装置８０を有する。光電変換装置８０は、上述の実施形態に記載の光電変換装置１０（光電変換システムＳＹＳ）である。光電変換システム８は、光電変換装置８０によって取得された複数の画像データに対し、画像処理を行う画像処理部８０１と、光電変換システム８によって取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部８０２を有する。また、光電変換システム８は、算出された視差に基づいて対象物までの距離を算出する距離取得部８０３と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部８０４と、を有する。ここで、視差取得部８０２や距離取得部８０３は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部８０４はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

光電変換システム８は車両情報取得装置８１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、光電変換システム８は、衝突判定部８０４での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ８２０が接続されている。また、光電変換システム８は、衝突判定部８０４での判定結果に基づいて、ドライバーへ警報を発する警報装置８３０とも接続されている。例えば、衝突判定部８０４の判定結果として衝突可能性が高い場合、制御ＥＣＵ８２０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置８３０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム８で撮像する。図１１（ｂ）に、車両前方（撮像範囲８５０）を撮像する場合の光電変換システムを示した。車両情報取得装置８１０が、光電変換システム８ないしは光電変換装置８０に指示を送る。このような構成によって、測距の精度をより向上させることができる。

上述では、他の車両と衝突しないように制御する例を説明した、しかしながら、これに限られることはなく、例えば、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。

本明細書の開示は、以下の光電変換装置および光電変換システムを含む。

（項目１）
それぞれ光電変換素子を含む複数の画素と、複数の演算部と、を備える光電変換装置であって、
前記複数の画素および前記複数の演算部は、それぞれ２次元アレイ状に配され、
前記複数の画素は、前記複数の画素のうち２つ以上の画素によって構成される画素群ごとに、前記複数の演算部のうち対応する演算部に接続され、
前記複数の画素のそれぞれは、前記複数の演算部のうち接続された演算部にスパイク状の信号を出力し、
前記複数の演算部のそれぞれは、前記スパイク状の信号に対して演算を行うことを特徴とする光電変換装置。

（項目２）
前記複数の演算部のそれぞれから入力される演算結果を処理する処理部をさらに備えることを特徴とする項目１に記載の光電変換装置。

（項目３）
前記複数の演算部のそれぞれは、ニューラルネットワークを含むことを特徴とする項目１または２に記載の光電変換装置。

（項目４）
前記複数の演算部のそれぞれは、受信した前記スパイク状の信号に応じた膜電位に基づく演算を行うことを特徴とする項目３に記載の光電変換装置。

（項目５）
前記複数の画素のそれぞれは、前記光電変換素子から出力される信号が変化したことに応じて、前記スパイク状の信号を出力することを特徴とする項目１乃至４の何れか１項目に記載の光電変換装置。

（項目６）
前記検出回路は、前記信号の信号値から基準値を減算した減算値を取得するための減算回路と、前記減算値と所定の閾値とを比較する比較回路と、を含むことを特徴とする項目５に記載の光電変換装置。

（項目７）
前記複数の画素のそれぞれは、前記光電変換素子から出力される信号の信号値に応じた周波数で前記スパイク状の信号を出力することを特徴とする項目１乃至４の何れか１項目に記載の光電変換装置。

（項目８）
前記光電変換素子が、アバランシェフォトダイオードを含むことを特徴とする項目１乃至４の何れか１項目に記載の光電変換装置。

（項目９）
２次元アレイ状に配された前記複数の画素は、所定の間隔で画素が間引かれており、
前記複数の演算部のそれぞれは、画素が間引かれた領域に配されることを特徴とする項目１乃至８の何れか１項目に記載の光電変換装置。

（項目１０）
前記複数の画素のうち少なくとも前記光電変換素子が配された第１半導体層と、前記複数の演算部が配された第２半導体層と、が積層されていることを特徴とする項目１乃至８の何れか１項目に記載の光電変換装置。

（項目１１）
前記第１半導体層を含む第１基板と前記第２半導体層を含む第２基板とのそれぞれの接合面には、絶縁膜と、前記絶縁膜の内部に設けられ、金属で形成された接続部と、が設けられ、
前記第１基板と前記第２基板との接合は、前記第１基板および前記第２基板のそれぞれ前記絶縁膜同士による接合と、前記第１基板および前記第２基板のそれぞれ前記接続部同士による接合と、によってなされていることを特徴とする項目１０に記載の光電変換装置。

（項目１２）
２次元アレイ状に配された前記複数の画素は、所定の間隔で画素が間引かれており、
前記複数の演算部のそれぞれは、画素が間引かれた領域に重なるように配されることを特徴とする項目１０または１１に記載の光電変換装置。

（項目１３）
前記複数の画素のそれぞれに配された前記光電変換素子は、第１光電変換素子と前記第１光電変換素子よりも大きい第２光電変換素子とを含み、
前記複数の画素は、前記第２光電変換素子を備える２つの画素の間に所定の数の前記第１光電変換素子を備える画素が並ぶように配され、
前記複数の演算部のそれぞれは、前記複数の画素に配された前記光電変換素子のうち前記第２光電変換素子に重なるように配されることを特徴とする項目１０または１１に記載の光電変換装置。

（項目１４）
項目１乃至１３の何れか１項目に記載の光電変換装置と、
演算装置と、
を含む光電変換システムであって、
前記演算装置は、前記光電変換装置から出力される信号に基づいて認識処理を行うことを特徴とする光電変換システム。

（項目１５）
項目１乃至１３の何れか１項目に記載の光電変換装置と、
前記光電変換装置から出力された信号を処理する処理装置と、
を備えることを特徴とする機器。

（項目１６）
項目１乃至１３の何れか１項に記載の光電変換装置を備える移動体であって、
前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御装置を有することを特徴とする移動体。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：光電変換装置、Ｃ：演算部、Ｐ：画素

Claims (16)

1. それぞれ光電変換素子を含む複数の画素と、複数の演算部と、を備える光電変換装置であって、
   前記複数の画素および前記複数の演算部は、それぞれ２次元アレイ状に配され、
   前記複数の画素は、前記複数の画素のうち２つ以上の画素によって構成される画素群ごとに、前記複数の演算部のうち対応する演算部に接続され、
   前記複数の画素のそれぞれは、前記複数の演算部のうち接続された演算部にスパイク状の信号を出力し、
   前記複数の演算部のそれぞれは、前記スパイク状の信号に対して演算を行うことを特徴とする光電変換装置。
2. 前記複数の演算部のそれぞれから入力される演算結果を処理する処理部をさらに備えることを特徴とする請求項１に記載の光電変換装置。
3. 前記複数の演算部のそれぞれは、ニューラルネットワークを含むことを特徴とする請求項１に記載の光電変換装置。
4. 前記複数の演算部のそれぞれは、受信した前記スパイク状の信号に応じた膜電位に基づく演算を行うことを特徴とする請求項３に記載の光電変換装置。
5. 前記複数の画素のそれぞれは、前記光電変換素子から出力される信号が変化したことに応じて、前記スパイク状の信号を出力することを特徴とする請求項１に記載の光電変換装置。
6. 前記複数の画素のそれぞれは、前記光電変換素子から出力される信号の信号値から基準値を減算した減算値を取得するための減算回路と、前記減算値と所定の閾値とを比較する比較回路と、を含むことを特徴とする請求項５に記載の光電変換装置。
7. 前記複数の画素のそれぞれは、前記光電変換素子から出力される信号の信号値に応じた周波数で前記スパイク状の信号を出力することを特徴とする請求項１に記載の光電変換装置。
8. 前記光電変換素子が、アバランシェフォトダイオードを含むことを特徴とする請求項１に記載の光電変換装置。
9. ２次元アレイ状に配された前記複数の画素は、所定の間隔で画素が間引かれており、
   前記複数の演算部のそれぞれは、画素が間引かれた領域に配されることを特徴とする請求項１に記載の光電変換装置。
10. 前記複数の画素のうち少なくとも前記光電変換素子が配された第１半導体層と、前記複数の演算部が配された第２半導体層と、が積層されていることを特徴とする請求項１に記載の光電変換装置。
11. 前記第１半導体層を含む第１基板と前記第２半導体層を含む第２基板とのそれぞれの接合面には、絶縁膜と、前記絶縁膜の内部に設けられ、金属で形成された接続部と、が設けられ、
    前記第１基板と前記第２基板との接合は、前記第１基板および前記第２基板のそれぞれ前記絶縁膜同士による接合と、前記第１基板および前記第２基板のそれぞれ前記接続部同士による接合と、によってなされていることを特徴とする請求項１０に記載の光電変換装置。
12. ２次元アレイ状に配された前記複数の画素は、所定の間隔で画素が間引かれており、
    前記複数の演算部のそれぞれは、画素が間引かれた領域に重なるように配されることを特徴とする請求項１０に記載の光電変換装置。
13. 前記複数の画素のそれぞれに配された前記光電変換素子は、第１光電変換素子と前記第１光電変換素子よりも大きい第２光電変換素子とを含み、
    前記複数の画素は、前記第２光電変換素子を備える２つの画素の間に所定の数の前記第１光電変換素子を備える画素が並ぶように配され、
    前記複数の演算部のそれぞれは、前記複数の画素に配された前記光電変換素子のうち前記第２光電変換素子に重なるように配されることを特徴とする請求項１０に記載の光電変換装置。
14. 請求項１乃至１３の何れか１項に記載の光電変換装置と、
    演算装置と、
    を含む光電変換システムであって、
    前記演算装置は、前記光電変換装置から出力される信号に基づいて認識処理を行うことを特徴とする光電変換システム。
15. 請求項１乃至１３の何れか１項に記載の光電変換装置と、
    前記光電変換装置から出力された信号を処理する処理装置と、
    を備えることを特徴とする機器。
16. 請求項１乃至１３の何れか１項に記載の光電変換装置を備える移動体であって、
    前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御装置を有することを特徴とする移動体。

Images