JP2024016542A - 撮像装置 - Google Patents

Abstract

【課題】固体撮像素子の画素の設計を変更せずに、イベント検出型画素を有する撮像素子を用いて、動き検出の精度を高めることができる撮像装置を提供する。【解決手段】撮像装置は、分光器と撮像部とイベント検出型撮像部と信号処理部とを備える。分光器は、入射光を分光して第１光成分と第２光成分とに振り分ける。撮像部は、分光器からの前記第１光成分に基づく撮像を行うことによって映像データを出力する。イベント検出型撮像部は、前記分光器からの前記第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。信号処理部は、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する。【選択図】図１

Description

本発明は、撮像装置に関する。

近年、車載用カメラや監視カメラなどにおいて、被写体の動きを高速に検出する目的で、あるいはその検出精度を高める目的で、イベント検出型カメラが用いられている。

例えば、特許文献１に記載された撮像装置は、撮像素子が持つ画素アレイ内の一部の画素をイベント検出型画素とし、残りの画素を垂直同期信号などに同期して映像データを撮像する同期式の画素としている。そして、その撮像装置は、被写体の動きが生じた場合にのみ同期式の画素に入射された光子数をカウントする。この構成により、撮像装置は、被写体の動きの検出と通常の撮像とを両立させる。

また例えば、特許文献２に記載された技術では、撮像素子の画素アレイ内にイベント検出型画素を周期的に配置することによって、通常の撮影と、被写体の動きを逐次検出する動き検出とを両立させている。

特開２０２０－０９６３４７号公報 国際公開第２０１７／００９９４４号

しかしながら、上記の従来技術には次のような問題点がある。即ち、特許文献１や特許文献２に記載された技術では、撮像素子の画素アレイ内の一部をイベント検出型画素としている。これによって、通常の撮影時においては、イベント検出型画素としている箇所が欠陥画素となる。このため、その画素に対応する映像データを生成するために隣接画素からの補間処理を施す必要がある。一方で、動き検出の精度を高めるためには、画素アレイ内においてより多くのイベント検出型画素を埋め込む必要がある。つまり、動き検出の精度と、通常の撮像において得られる映像の画質とが、トレードオフの関係にある。このため、動き検出の精度を確保しながら映像の画質を高めるためには、撮像素子を超多画素で構成する必要があった。

本発明は、上記のような事情を考慮して為されたものであり、垂直同期信号などの同期信号に同期して駆動される固体撮像素子（以下、「通常の固体撮像素子」）の画素の設計（画素の配置等）を変更せずに、イベント検出型画素を有する撮像素子（以下、「イベント検出型撮像素子」）を用いて、動き検出の精度を高めることができる撮像装置を提供しようとするものである。

また、本発明の副次的な課題は、撮像素子に入射する光の像面照度を減衰させることなく、イベントを検出することのできる撮像装置を提供することである。

［１］上記の課題を解決するため、本発明の一態様による撮像装置は、入射光を分光して第１光成分と第２光成分とに振り分ける分光器と、前記分光器からの前記第１光成分に基づく撮像を行うことによって映像データを出力する撮像部と、前記分光器からの前記第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、を備える。
第１光成分および第２光成分は、特定の波長帯域の成分であってもよいし、特に波長帯域に依らずに分光されたものであってもよい。

［２］また、本発明の一態様は、上記［１］の撮像装置において、前記第１光成分は可視光成分であり、前記第２光成分は赤外光成分である、というものである。
つまり、分光器は、入射光を、可視光成分と赤外光成分との少なくとも２つに分光する。なお、分光器が、可視光成分をさらに赤、緑、青のそれぞれの成分の光に分光するものであってもよい。

［３］また、本発明の一態様は、上記［１］または［２］の撮像装置において、前記信号処理部は、前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する動き検出部と、前記動き検出部から渡される前記動き情報に基づいて、前記撮像部から渡される前記映像データの処理を行うことによって、前記出力映像を生成する映像出力処理部と、を含むものである。

［４］また、本発明の一態様は、上記［３］の撮像装置において、前記信号処理部は、前記映像データの過去のフレーム画像の少なくとも一部を記憶する画像記憶部、をさらに備え、前記映像出力処理部は、前記動き情報に応じて、前記撮像部から渡される前記映像データの最新フレーム画像のみを前記出力映像として生成するか、前記撮像部から渡される前記映像データの最新フレーム画像と前記画像記憶部から読み出した前記過去のフレーム画像の少なくとも一部とを混合して前記出力映像として生成するか、いずれかとする、ものである。

［５］また、本発明の一態様は、上記［３］の撮像装置において、前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、というものである。

［６］また、本発明の一態様は、上記［４］の撮像装置において、前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、というものである。

［７］また、本発明の一態様は、上記［３］から［６］までのいずれかの撮像装置において、前記撮像部からの前記映像データの読出しのタイミングを同期させるための同期信号を生成する同期信号生成部、をさらに備え、前記イベント検出型撮像部は、前記同期信号に基づいて、前記撮像部から前記映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力するものであり、前記動き検出部は、当該領域の前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成するものである。

［８］また、本発明の一態様は、上記［１］または［２］の撮像装置において、前記信号処理部は、前記イベント検出型撮像部が出力した前記イベントデータに基づいて、被写体が動く方向を表す方向情報を求める動き探索処理部と、前記撮像部から渡される前記映像データにおける前記被写体の動き探索を行いながら当該映像データの符号化を行うエンコーダーと、を備え、前記エンコーダーは、前記動き探索処理部から渡される方向情報に基づいて前記動き探索の範囲を決定する、というものである。
本態様では、イベント検出型撮像部が出力したイベントデータに基づいて被写体の方向情報が得られる。これにより、エンコーダーは、この方向情報を用いて、映像を符号化する際の動きベクトルの探索の範囲を決定することができる。言い換えれば、エンコーダーは動きベクトルの探索の範囲を限定することができる。つまり、エンコーダーが必要とする計算量を削減することができる。

［９］また、本発明の一態様は、上記［１］から［８］までのいずれかの撮像装置において、前記分光器は、前記入射光を波長帯域によって前記第１光成分と前記第２光成分とに分光する色分解プリズムである、というものである。
なお、色分解プリズムは、２板式（可視光および赤外光）のものであってもよいし、４板式（可視光の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれ、および赤外光）のものであってもよい。

本発明によれば、通常の撮像素子を用いて映像データを取得するための撮像と、映像取得用の撮像素子とは別のイベント検出型撮像素子を用いてイベントデータを取得するための撮像とを、同時且つ同一の画角で行うことができる。

本発明の第１実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第２実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第２実施形態の変形例による撮像装置の概略機能構成を示すブロック図である。 本発明の第３実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第４実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第５実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第６実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第７実施形態による撮像装置の概略機能構成を示すブロック図である。 本発明の第８実施形態による撮像装置の概略機能構成を示すブロック図である。 第１実施形態から第８実施形態までにおける撮像素子（通常の固体撮像素子）およびイベント検出型撮像素子が撮像する画面と、その画面に含まれる領域との関係を示す概略図である。 第１実施形態から第８実施形態までのそれぞれの撮像装置が持つ機能の少なくとも一部をコンピューターで制御する場合の、その内部の構成の例を示すブロック図である。

次に、本発明の複数の実施形態について、図面を参照しながら説明する。

［第１実施形態］
図１は、第１実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置１は、色分解プリズム２２と、撮像素子２３と、イベント検出型撮像素子２４と、信号処理部３１とを含んで構成される。なお、この図では、レンズ（撮像光学系）の記載を省略している。撮像装置１は、適切なレンズを有している。あるいは、撮像装置１は、適切なレンズを装着することができるように構成されている。撮像装置１は、電子回路を用いて実現される。なお、撮像装置１が実行する処理の少なくとも一部を、コンピューターおよびソフトウェアによって実現するようにしてもよい。図に示す各部の機能は、次の通りである。

色分解プリズム２２は、入射光を可視光成分と赤外光成分とに分光する。つまり、色分解プリズム２２は、入射光を分光して第１光成分（本実施形態では可視光成分）と第２光成分（本実施形態では赤外光成分）とに振り分ける。つまり、本実施形態では、色分解プリズム２２は、入射光を波長帯域によって第１光成分（可視光領域の成分）と第２光成分（赤外光領域の成分）とに分光する。色分解プリズム２２によって分光された後、可視光成分は撮像素子２３側で結像し、赤外光成分はイベント検出型撮像素子２４側で結像するように構成されている。色分解プリズム２２は、例えば、２板式あるいは４板式の分光プリズムを用いて実現される。なお、色分解プリズム２２の代わりに、単純に入射光の成分を分解する手段を設けるようにしてもよい。

なお、分光した結果、撮像素子２３（通常の固定撮像素子）側に振り向けられる光を、
便宜的に、第１光成分と呼ぶ。また、イベント検出型撮像素子２４側に振り向けられる光を、第２光成分と呼ぶ。

撮像素子２３（撮像部）は、映像信号を取得するための通常の固体撮像素子である。撮像素子２３は、色分解プリズム２２から出射される可視光成分を光電変換してフレーム画像を撮像する。
つまり、撮像素子２３は、色分解プリズム２２からの第１光成分に基づく撮像を行うことによって映像データを出力する。撮像素子２３は、白黒画像あるいはカラー画像を撮像する。撮像素子２３は、画素アレイを有しており、画素アレイ内の画素の画素値を表す画像信号を出力する。つまり、撮像素子２３は、映像データを信号処理部３１に渡す。

イベント検出型撮像素子２４（イベント検出型撮像部）は、イベントドリブン（event-driven）型撮像素子、あるいはイベントベースビジョンセンサー（ＥＶＳ）とも呼ばれる。イベント検出型撮像素子２４は、被写体の動き（画素値の変化）を検知した際に、その動きの情報（「イベントデータ」と呼ばれる。）を出力する。イベント検出型撮像素子２４は、色分解プリズム２２から出射される赤外光成分に基づいて、被写体の動きを検知し、イベントデータを出力する。イベントデータは、動きを検知した画素（画素値の変化があった画素）の座標値や、その画素についての画素値変化について情報を含む。なお、イベント検出型撮像素子自体は、既存技術により構成される。イベント検出型撮像素子２４は、イベントデータを信号処理部３１に渡す。

つまり、イベント検出型撮像素子２４は、色分解プリズム２２からの第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。ここで、位置情報とは、例えば、画素アレイ内における１つまたは複数の画素の座標値であってよい。また、画素値変化情報とは、少なくとも画素値の変化の有無を表す情報である。また、画素値変化情報が、画素値の変化が正方向（例えば輝度が増す方向）のものであるか負方向（例えば輝度が減る方向）のものであるかを表す情報を含んでもよい。また、画素値変化情報が、変化の度合い（大小を表す数値等）の情報を含んでもよい。

イベント検出型撮像素子２４としては、一例として、市販品である積層型イベントベースビジョンセンサー「ＩＭＸ６３６」あるいは「ＩＭＸ６３７」（いずれも、ソニーセミコンダクタソリューションズ株式会社製）を用いるようにしてよい。ＩＭＸ６３６のほうは１／２．５型（対角７．１３７ｍｍ）で有効画素数約９２万画素である。ＩＭＸ６３７のほうは1/4.5型（対角３．９８３ｍｍ）で有効画素数約３３万画素である。この市販品のイベント検出型撮像素子についての情報は、ＵＲＬ https://www.sony-semicon.co.jp/news/2021/2021090901.html にも記載されている。

イベント検出型撮像素子２４は、例えば撮像素子２３の動作（フレーム期間）とは非同期に、イベントデータを出力する。イベントデータは、動きのある画素（画素値の変化がある画素）についての情報を表すデータである。イベントデータの形式の一例は、（ｘ，ｙ，ｔ，動き情報）である。ここで、ｘは、イベント検出型撮像素子２４における画素のｘ方向の座標値である。ｙは、イベント検出型撮像素子２４における画素のｙ方向の座標値である。ｔは、イベントが発生した時刻を表す情報（例えば内部クロック値であってもよい）である。動き情報は、例えば整数値＋１あるいは－１であり、それぞれ、画素値（輝度値）が正方向あるいは負方向のどちらに変化したかを表す情報である。あるいは、動き情報は、例えば整数値０あるいは＋１であり、それぞれ、画素値（輝度値）の変化がなかったかあるいはあったかを表す情報であってもよい。

なお、イベント検出型撮像素子２４のｘ方向およびｙ方向の画素数は、撮像素子２３の画素数と異なっていてもよい。イベント検出型撮像素子２４の画素数と撮像素子２３の画素数とが異なっていても、両画像におけるｘ方向およびｙ方向の位置を対応付けることは可能である。例えば下記の信号処理部３１が、イベント検出型撮像素子２４から出力されるｘ方向およびｙ方向のそれぞれの座標値を、撮像素子２３における座標値に変換する計算を行ってもよい。

信号処理部３１は、イベント検出型撮像素子２４から渡されるイベントデータに基づいて、撮像素子２３から渡される映像データの信号の処理を行う。つまり、信号処理部３１は、イベント検出型撮像素子２４から渡されるイベントデータに基づいて、撮像素子２３から渡される映像データの処理を行うことによって出力映像のデータを生成する。信号処理部３１は、処理結果として得られる映像データを出力する。信号処理部３１が出力する映像データは、例えば、元の映像データにイベントデータの情報の少なくとも一部を重畳させたものであってもよいし、イベントデータの情報に基づいて元の映像データを加工したものであってもよい。

なお、信号処理部３１の内部にフレームメモリーを備えていてもよい。この場合には、フレームメモリーは、過去のフレーム画像の少なくとも一部を記憶することができる。また、信号処理部３１は、フレームメモリーから読み出した過去のフレーム画像の情報と、撮像素子２３から渡される最新の（現在の）フレーム画像の情報と、の両方に基づいて出力映像データを生成してもよい。

信号処理部３１が行う処理は、例えば、イベントデータに基づいて求められる動き情報を表す文字あるいは記号等を映像内に重畳する処理であってもよい。また、信号処理部３１が行う処理は、例えば、イベントデータに基づいて求められる動き情報に基づいて、つまり動きの有無に応じて、現在の最新のフレームの画像を出力するか、現在の最新のフレームの画像にフレームメモリーから読み出された過去のフレームの画像を加算（あるいは加算平均を計算）して出力するものであってもよい。信号処理部３１が行う処理は、イベントデータに基づいて行われるその他の方法で映像データに対して行う処理であってもよい。

本実施形態の構成によれば、色分解プリズム２２は、入射光を、可視光成分と赤外光成分とに分光する。イベント検出型撮像素子２４は、赤外光成分に基づいて被写体の動き等を検出する。また、撮像素子２３（通常の固体撮像素子）は、イベント検出型画素を含まない。よって、撮像素子２３が撮像する画像は、欠陥画素を含まない。よって、撮像素子２３が光電変換によって撮像する画像に関しては画素の補間処理を行う必要がなく、高画質を維持することができる。また、この構成では、可視光成分をイベント検出型撮像素子２４側に振り向ける必要がなく、撮像素子２３側に振り向けられる可視光成分の光量が十分に確保される。

また、本実施形態の構成によれば、撮像素子２３とイベント検出型撮像素子２４との両方は、一つのレンズ（光学系）からの光に基づいて撮像を行う。つまり、撮像素子２３とイベント検出型撮像素子２４との間で画角が完全に一致するように構成することができる。つまり、撮像素子２３が撮像する画像とイベント検出型撮像素子２４が撮像する画像との間で、位置ずれが生じないようにすることができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図２は、本実施形態による撮像装置の概略機能構成を示すブロック図である。本実施形態の特徴は、ダイクロイックミラーを用いて可視光と赤外光とを分離する構成である。図示するように、撮像装置２は、ガラスブロック１２２と、ダイクロイックミラー１２２Ｍと、撮像素子１２３と、イベント検出型撮像素子１２４と、信号処理回路１３１と、動き検出部１３２と、信号処理回路１３３と、映像出力処理回路１４２とを含んで構成される。前述の第１実施形態においては色分解プリズム２２が可視光成分と赤外光成分とを分光していた。本実施形態ではダイクロイックミラー１２２Ｍが可視光成分と赤外光成分とを分光する作用を生じさせる。

図２に示す例では、ダイクロイックミラー１２２Ｍにおいては、可視光が透過し、赤外光が反射する。変形例として、赤外光が透過し、可視光が反射するタイプのダイクロイックミラーを用いてもよい。

図３は、本実施形態の変形例による撮像装置の概略機能構成を示すブロック図である。図３に示すように、この変形例において、撮像装置２Ａは、ガラスブロック１２２－２と、ダイクロイックミラー１２２Ｍ－２と、撮像素子１２３と、イベント検出型撮像素子１２４と、信号処理回路１３１と、動き検出部１３２と、信号処理回路１３３と、映像出力処理回路１４２とを含んで構成される。本変形例でもダイクロイックミラー１２２Ｍ－２が可視光成分と赤外光成分とを分光する作用を生じさせる。ただし、図２に示した構成と異なり、本変形例におけるダイクロイックミラー１２２Ｍ－２では、赤外光が透過し、可視光が反射する。図３に示す構成は、このダイクロイックミラー１２２Ｍ－２の特性を除いては、図２に示した構成と同様のものである。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き検出部１３２と、映像出力処理回路１４２とを含む。

ガラスブロック１２２は、例えば透明なガラス素材を用いて構成されるブロックであり、その内部にダイクロイックミラー１２２Ｍが設けられている。ガラスブロック１２２には、不図示のレンズ側からの光が入射される。ガラスブロック１２２は、下記のダイクロイックミラー１２２Ｍの作用により、可視光成分と赤外光成分とを分光する。ガラスブロック１２２は、図の右側から可視光成分を出射し、図の下側から赤外光成分を出射する。

ダイクロイックミラー１２２Ｍは、ガラスブロック１２２の内部に、適切な角度で配置されている。図示する構成において、ダイクロイックミラー１２２Ｍは、可視光を透過し、赤外光を反射する。これにより、入射する光のうち、可視光成分は撮像素子１２３側に向けられ、赤外光成分はイベント検出型撮像素子１２４側に向けられる。

撮像素子１２３は、第１実施形態における撮像素子２３に相当するものであり、通常の固体撮像素子である。
撮像素子１２３は、ガラスブロック１２２によって分光された光のうちの可視光成分の撮像を行う。撮像素子１２３は、映像信号を出力し、信号処理回路１３３に渡す。

イベント検出型撮像素子１２４は、第１実施形態におけるイベント検出型撮像素子２４に相当する。イベント検出型撮像素子１２４は、ガラスブロック１２２によって分光された光のうちの赤外光成分の撮像を行う。イベント検出型撮像素子１２４が出力するイベントデータは、画素値の変化（輝度の変化）があった画素に関する、画素アレイ内での位置を表す座標情報と、画素値の変化に関する情報とを含む。イベント検出型撮像素子１２４は、イベントデータを出力し、信号処理回路１３１に渡す。

信号処理回路１３１は、イベント検出型撮像素子１２４から出力されるイベントデータを処理して、動き検出部１３２に渡す。

動き検出部１３２は、信号処理回路１３１から渡されるイベントデータを基に、被写体の動きを検出する。動き検出部１３２は、この検出結果である動き情報を、映像出力処理回路１４２に渡す。つまり、動き検出部１３２は、イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する。動き検出部１３２が出力する動き情報は、例えば、オプティカルフローの情報である。オプティカルフローは、画像内に写っている被写体の１点の動きの速度（単位時間当たりのｘ方向およびｙ方向のそれぞれの動きの速度）を表す情報である。動き検出部１３２は、例えば、被写体のエッジに含まれる１点の動きを追跡してオプティカルフローの情報を求める。オプティカルフローの情報を求める方法自体は、既存技術により可能である。

信号処理回路１３３は、撮像素子１２３から出力される信号を処理して、映像データを出力する。信号処理回路１３１は、映像データを映像出力処理回路１４２に渡す。

映像出力処理回路１４２は、信号処理回路１３３から渡される映像データと、動き検出部１３２から渡される動き情報と、を合成し出力する。一例として、映像出力処理回路１４２は、動き情報（オプティカルフローの情報等）を映像上に重畳して出力映像を生成するものであってよい。つまり、映像出力処理回路１４２は、動き情報を所定割合で映像内に内挿（アルファブレンディング）するものであってよい。動き情報は、例えば、文字や記号等で表わされ、映像内に重畳される。つまり、映像出力処理回路１４２は、撮像素子１２３側の信号処理回路１３３から渡される映像データに、動き検出部１３２が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって出力映像を生成する。このような合成を行う場合には、ユーザーは、出力される映像を見ることにより、動き検出結果をモニターすることできる。言い換えれば、映像出力処理回路１４２は、動き検出部１３２から渡される動き情報に基づいて、撮像素子１２３側から渡される映像データの処理を行うことによって、出力映像を生成する。

なお、映像出力処理回路１４２は、上の例とは異なる方法で、動き情報に基づいて出力映像データを生成するようにしてもよい。

以上説明したように、本実施形態によれば、ダイクロイックミラー１２２Ｍが可視光成分と赤外光成分とを分光する。赤外光成分は、イベント検出型撮像素子１２４等による動きの検出のために用いられる。可視光成分は、撮像素子１２３等による映像データの生成のために用いられる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図４は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置３は、ガラスブロック２２２と、ダイクロイックミラー２２２Ｍと、撮像素子２２３と、イベント検出型撮像素子２２４と、信号処理回路２３１と、動き検出部２３２と、信号処理回路２３３と、映像出力処理回路２４２とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き検出部２３２と、映像出力処理回路２４２とを含む。

本実施形態の特徴は、ダイクロイックミラー２２２Ｍが、可視光成分のうちの５０％を透過し、その他の５０％を反射することである。つまり、ダイクロイックミラー２２２Ｍを備えるガラスブロック２２２（分光器）は、入射光を分光して第１光成分（本実施形態では可視光の５０％）と第２光成分（本実施形態では可視光の残りの５０％）とに振り分ける。このダイクロイックミラー２２２Ｍの特性以外については、撮像装置３は前述の第２実施形態（図２）と同様の構成を有している。つまり、第２実施形態においては赤外光成分と可視光成分とを分離していたのに対して、本実施形態では、ダイクロイックミラー２２２Ｍは、可視光成分を５０％ずつに分光して、それぞれ撮像素子２２３（通常の固体撮像素子）側とイベント検出型撮像素子２２４側とに振り向けている。

ガラスブロック２２２は、ダイクロイックミラー２２２Ｍを備え、レンズ（光学系）側から入射する光（可視光）を２方向に分光する。その２方向とは、図における右方向および下方向である。ダイクロイックミラー２２２Ｍは、上記のガラスブロック２２２内に設けられ、入射光（可視光）の５０％を透過し、残りの５０％を反射する。なお、ダイクロイックミラー２２２Ｍの代わりに、ハーフミラー等の分光手段を用いるようにしてもよい。撮像素子２２３は、ガラスブロック２２２内のダイクロイックミラー２２２Ｍを透過した可視光（５０％）により、映像を撮像する。撮像素子２２３は、映像データを信号処理回路２３３に渡す。イベント検出型撮像素子２２４は、ガラスブロック２２２内のダイクロイックミラー２２２Ｍで反射した可視光（５０％）により、イベントを検出する。イベント検出型撮像素子２２４は、イベントの検出結果を表すイベントデータを、信号処理回路２３１に渡す。撮像装置３における以後の処理は、第２実施形態（図２）で説明した処理と同様である。

本実施形態によれば、撮像装置３において、撮像素子２２３とイベント検出型撮像素子２２４とは、単一のレンズ（光学系）からの光に基づいて、同一の画角で撮像を行うことができる。つまり、撮像素子２２３が撮像する画像と、イベント検出型撮像素子２２４が撮像する画像との間で、画素の位置ずれが生じない。

［第４実施形態］
次に、本発明の第４実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図５は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置４は、ガラスブロック３２２と、ダイクロイックミラー３２２Ｍと、撮像素子３２３と、イベント検出型撮像素子３２４と、信号処理回路３３１と、動き検出部３３２と、信号処理回路３３３と、フレームメモリー３４１と、映像出力処理回路３４２とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き検出部３３２と、フレームメモリー３４１と、映像出力処理回路３４２とを含む。

本実施形態の特徴は、撮像装置４がフレームメモリー３４１を備えている点である。撮像装置４において、イベント検出型撮像素子２２４が被写体の動きの検出を行う。そして、検出されたこの動き情報に基づいて、映像出力処理回路３４２はフレームメモリー３４１に蓄積されている映像（１フレーム前のフレーム画像）と現在の映像（信号処理回路３３３）から渡される現フレームのフレーム画像）のどちらかを選択して出力する。

ガラスブロック３２２は、第２実施形態（図２）のガラスブロック１２２と同様に、例えば透明なガラス素材を用いて構成されるブロックであり、内部にダイクロイックミラー３２２Ｍを備えている。ダイクロイックミラー３２２Ｍの作用により、ガラスブロック３２２は、不図示のレンズ側からの入射光を可視光成分と赤外光成分とに分解する。撮像素子３２３は、通常の固体撮像素子であり、ガラスブロック３２２において分光された光のうちの可視光成分の撮像を行う。イベント検出型撮像素子３２４は、第２実施形態（図２）のイベント検出型撮像素子１２４と同様に、赤外光成分を基にイベントを検出し、イベントデータを出力する。

信号処理回路３３１と、動き検出部３３２と、信号処理回路３３３との動作は、第２実施形態における、それぞれ、信号処理回路１３１と、動き検出部１３２と、信号処理回路１３３との動作と同様である。

動き検出部３３２は、動き情報として、例えばオプティカルフローの情報を出力する。具体的には、動き検出部３３２は、被写体の追跡を行うための点を決定するためにまずそのエッジを検出する。次に、動き検出部３３２は、例えばＬｕｃａｓ－Ｋａｎａｄｅ法を用いることにより、決定された点を繰り返し追跡する。動き検出部３３２は、その追跡結果に基づいて、オプティカルフローを求める。

フレームメモリー３４１（画像記憶部）は、撮像素子３２３によって撮像された映像のフレーム画像を記憶することができる。フレームメモリー３４１は、映像データの過去のフレーム画像の少なくとも一部を記憶するものであってもよい。フレームメモリー３４１は、例えば半導体メモリー（記憶装置）を用いて実現される。映像出力処理回路３４２は、信号処理回路３３３からフレーム画像のシリーズを受け取り、それらのフレーム画像を順次、フレームメモリー３４１に書き込む。映像出力処理回路３４２は、また、フレームメモリー３４１から過去の（例えば１つ前の）フレーム画像を読み出すことができる。

本実施形態において、映像出力処理回路３４２は、動き検出部３３２から渡される動き情報に基づいて、信号処理回路３３３から渡される最新の（現在の）フレーム画像をそのまま出力するか、フレームメモリー３４１から読み出した１つ前のフレーム画像を最新の（現在の）フレーム画像に加算して（または加算平均して）出力するかを決定する。また、映像出力処理回路３４２はフレーム画像内の領域ごとに、上記２通りの出力のどちらを出力するかを決定することができる。具体的には、動き検出部３３２から渡される動き情報に基づいて、動きがあると判定される領域（動領域）については、映像出力処理回路３４２は、現在のフレームの画像を出力する。また、動きがないと判定される領域（静止領域）については、映像出力処理回路３４２は、フレームメモリー３４１から読み出した１フレーム前の画像と現在のフレームの画像とを加算（あるいは加算平均）して、出力する。映像出力処理回路３４２は、そのように生成した映像データを出力する。

つまり、映像出力処理回路３４２は、動き検出部３３２からの動き情報に応じて、撮像素子３２３側の信号処理回路３３３から渡される映像データの最新フレーム画像のみを出力映像として生成するか、撮像素子３２３側の信号処理回路３３３から渡される映像データの最新フレーム画像とフレームメモリー３４１から読み出した過去の（例えば、１つ前の）フレーム画像の少なくとも一部とを混合して出力映像として生成するか、いずれかとするものであってよい。

本実施形態によると、映像出力処理回路３４２は、静止領域に関しては、フレームメモリー３４１から前のフレームの画像を読み出して出力する。なお、前のフレームの画像と現在のフレームの画像とを加算（あるいは加算平均）する。これにより、撮像装置４が出力する映像においては、ランダムノイズを軽減することができる。

なお、映像出力処理回路３４２が、撮像素子３２３側の信号処理回路３３３から渡される映像データに、動き検出部３３２が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって出力映像を生成するようにしてもよい。

［第５実施形態］
次に、本発明の第５実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図６は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置５は、色分解プリズム４２２と、撮像素子４２３Ｒと、撮像素子４２３Ｇと、撮像素子４２３Ｂと、イベント検出型撮像素子４２４と、信号処理回路４３１と、動き検出部４３２と、信号処理回路４３３と、映像出力処理回路４４２とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き検出部４３２と、映像出力処理回路４４２とを含む。

本実施形態の特徴は、４板光学系を用いて可視光（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色）と赤外光（ＩＲ）とを分離して撮像する構成である。本実施形態の撮像装置５において、色分解プリズム４２２は、４板式光学プリズムを用いて構成される。つまり、色分解プリズム４２２は、レンズ（光学系）からの入射光を、赤外光成分（ＩＲ）と、赤成分（Ｒ）と、緑成分（Ｇ）と、青成分（Ｂ）とに分光する。撮像素子４２３Ｒ、４２３Ｇ、および４２３Ｂは、通常の固体撮像素子であり、それぞれ、赤成分（Ｒ）、緑成分（Ｇ）、および青成分（Ｂ）の映像を撮像する。また、イベント検出型撮像素子４２４は、赤外光成分によりイベントを検出し、イベントデータを出力する。

信号処理回路４３３は、撮像素子４２３Ｒ、４２３Ｇ、および４２３Ｂのそれぞれから赤成分（Ｒ）、緑成分（Ｇ）、および青成分（Ｂ）の映像を受け取り、カラー映像を出力する。信号処理回路４３３は、カラーの映像データを映像出力処理回路４４２に渡す。

信号処理回路４３１および動き検出部４３２は、それぞれ、第２実施形態（図２）の信号処理回路１３１および動き検出部１３２と同様に動作する。つまり、動き検出部４３２は、イベント検出型撮像素子４２４による撮像に基づく動き情報を映像出力処理回路４４２に渡す。

映像出力処理回路４４２は、第２実施形態（図２）の映像出力処理回路４４２と同様に、動き検出部４３２から渡される動き情報と、信号処理回路４３３から渡される映像データとを合成し、出力する。例えば、映像出力処理回路４４２は、映像上に、オプティカルフローなどの動き情報を重畳して出力する。

本実施形態によると、撮像装置５は、撮像素子４２３Ｒ、４２３Ｇ、および４２３Ｂのそれぞれが各色の映像を撮像する。且つ、撮像装置５は、その映像に動き情報を合成することができる。

［第６実施形態］
次に、本発明の第６実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図７は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置６は、色分解プリズム５２２と、撮像素子５２３Ｒと、撮像素子５２３Ｇと、撮像素子５２３Ｂと、イベント検出型撮像素子５２４と、信号処理回路５３１と、動き検出部５３２と、信号処理回路５３３と、フレームメモリー５４１と、映像出力処理回路５４２とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き検出部５３２と、フレームメモリー５４１と、映像出力処理回路５４２とを含む。

本実施形態の特徴の一つは、第５実施形態（図６）と同様に、４板光学系を用いて可視光（赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色）と赤外光（ＩＲ）とを分離して撮像する構成である。また、本実施形態の別の特徴は、第４実施形態（図５）と同様に、フレームメモリーに記憶された過去のフレーム画像を用いて映像出力処理回路が、出力する映像データを生成する。

本実施形態の撮像装置６において、色分解プリズム５２２は、４板式光学プリズムを用いて構成される。色分解プリズム５２２は、レンズ（光学系）からの入射光を、赤外光成分（ＩＲ）と、赤成分（Ｒ）と、緑成分（Ｇ）と、青成分（Ｂ）とに分光する。撮像素子４２３Ｒ、４２３Ｇ、および４２３Ｂは、通常の固体撮像素子であり、それぞれ、赤成分（Ｒ）、緑成分（Ｇ）、および青成分（Ｂ）の映像を撮像する。また、イベント検出型撮像素子４２４は、赤外光成分によりイベントを検出し、イベントデータを出力する。

信号処理回路５３１、動き検出部５３２、および信号処理回路５３３のそれぞれは、第５実施形態（図６）における信号処理回路４３１、動き検出部４３２、および信号処理回路４３３と同様に動作する。また、フレームメモリー５４１および映像出力処理回路５４２のそれぞれは、第４実施形態（図５）におけるフレームメモリー３４１および映像出力処理回路３４２と同様に動作する。

つまり、本実施形態において、映像出力処理回路５４２は、動き検出部５３２から渡される動き情報に基づいて、信号処理回路５３３から渡される最新の（現在の）フレーム画像をそのまま出力するか、フレームメモリー５４１から読み出した１つ前のフレーム画像を最新の（現在の）フレーム画像に加算して（または加算平均して）出力するかを決定する。また、映像出力処理回路５４２はフレーム画像内の領域ごとに、上記２通りの出力のどちらを出力するかを決定することができる。具体的には、動き検出部５３２から渡される動き情報に基づいて、動きがあると判定される領域（動領域）については、映像出力処理回路５４２は、現在のフレームの画像を出力する。また、動きがないと判定される領域（静止領域）については、映像出力処理回路５４２は、フレームメモリー３４１から読み出した１フレーム前の画像と現在のフレームの画像とを加算（あるいは加算平均）して、出力する。映像出力処理回路５４２は、そのように生成した映像データを出力する。

［第７実施形態］
次に、本発明の第７実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図８は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置７は、色分解プリズム６２２と、撮像素子６２３Ｒと、撮像素子６２３Ｇと、撮像素子６２３Ｂと、イベント検出型撮像素子６２４と、信号処理回路６３１と、動き検出部６３２と、信号処理回路６３３と、フレームメモリー６３４と、フレームメモリー６４１と、映像出力処理回路６４２と、同期信号生成回路６５１（同期信号生成部）とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態におけるフレームメモリー６３４（イベントデータ用）と、動き検出部６３２と、フレームメモリー６４１（映像データ用）と、映像出力処理回路６４２とを含む。

本実施形態による撮像装置７の特徴の一つは、イベント検出型撮像素子６２４が出力する信号に基づくイベントデータを格納するためのフレームメモリー６３４を備えることである。つまり、撮像装置７は、映像データ用のフレームメモリー６４１とは別に、イベントデータ用のフレームメモリー６３４を備える。また、本実施形態による撮像装置７が持つ別の特徴の一つは、外部からの同期信号に基づいて、同期信号生成回路６５１が同期信号を生成する点である。同期信号生成回路６５１が生成する同期信号は、撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂのそれぞれ（通常の固体撮像素子）と、イベント検出型撮像素子６２４と、動き検出部６３２と、フレームメモリー６３４とに供給される。同期信号生成回路６５１が生成する同期信号は、各撮像素子からの画素値の読出しの際の垂直同期のタイミングを少なくとも揃えるものである。言い換えれば、同期信号にしたがって、撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂのそれぞれからの信号の読出しと、イベント検出型撮像素子６２４からの信号の読出しとは、垂直位置の単位（例えば、ライン単位）で同期する。

上記の特徴を有する構成により、本実施形態の撮像装置７では、次のように動作する。即ち、同期信号生成回路６５１が生成する同期信号により、撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂのそれぞれ（通常の固体撮像素子）と、イベント検出型撮像素子６２４と、の間で信号の読み出しタイミングを揃える。

信号処理回路６３１は、イベント検出型撮像素子６２４から出力される信号を、上記のそれぞれの撮像素子における読み出しタイミングとは非同期に処理する。また、信号処理回路６３１は、出力するイベントデータを上記のそれぞれの撮像素子における読み出しタイミングとは非同期に出力し、フレームメモリー６３４に書き込む。イベントデータは、既に説明しているように、イベントが発生する画素の位置情報と、イベント（画素値の変化）の有無あるいはイベントの正負（画素値が増えたか減ったか）の情報を含む。本実施形態では、イベントデータは、同期信号生成回路６５１が生成する同期信号情報とともにフレームメモリー６３４に書き込まれる。

動き検出部６３２は、同期信号生成回路６５１から供給される同期信号に基づいて、映像データの読み出し位置（垂直方向のラインの位置）と空間的に同一の位置（例えば、ラインの位置）のイベントデータをフレームメモリー６３４から読み出す。つまり、動き検出部６３２は、映像データの読み出し位置（ラインの位置）に対応する位置（近傍の位置を含む）の動き情報を検出する。

つまり、本実施形態では、同期信号生成回路６５１は、撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂからの映像データの読出しのタイミングを同期させるための同期信号を生成する。イベント検出型撮像素子６２４もまた、その同期信号に基づいて、撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂから映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力する。そして、動き検出部６３２は、当該領域についてのイベントデータに基づいて被写体の動きを表す情報である動き情報を生成する。

撮像装置７における以後の処理は、第４実施形態（図５）や第６実施形態（図７）と同様である。つまり、映像出力処理回路６４２は、信号処理回路６３３から受け取る映像を構成するフレーム画像を、順次、フレームメモリー６４１に書き込む。映像出力処理回路６４２は、また、フレームメモリー６４１から過去の（例えば１つ前の）フレーム画像を読み出すことができる。また、映像出力処理回路６４２は、動き検出部６３２から渡される動き情報に基づいて、信号処理回路６３３から渡される最新の（現在の）フレーム画像をそのまま出力するか、フレームメモリー６４１から読み出した１つ前のフレーム画像を最新の（現在の）フレーム画像に加算して（または加算平均して）出力するかを決定する。また、映像出力処理回路６４２はフレーム画像内の領域ごとに、上記２通りの出力のどちらを出力するかを決定してもよい。つまり、動き検出部６３２から渡される動き情報に基づいて、動きがあると判定される領域（動領域）については、映像出力処理回路６４２は、現在のフレームの画像を出力する。また、動きがないと判定される領域（静止領域）については、映像出力処理回路６４２は、フレームメモリー６４１から読み出した１フレーム前の画像と現在のフレームの画像とを加算（あるいは加算平均）して、出力する。なお、本実施形態においては、前述の通り、動き検出部６３２は、同期信号生成回路６５１からの同期信号に基づいて、映像データの読み出し位置（ラインの位置）に対応する位置（近傍の位置を含む）の動き情報を検出する。つまり、本実施形態では、映像出力処理回路６４２は、画面内において例えば垂直方向に分割された領域ごとに、動き情報に基づいて出力映像データを生成することを容易に行える。

［第８実施形態］
次に、本発明の第８実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

図９は、本実施形態による撮像装置の概略機能構成を示すブロック図である。図示するように、撮像装置８は、色分解プリズム７２２と、撮像素子７２３と、イベント検出型撮像素子７２４と、動き探索処理部７６１と、エンコーダー７６２とを含んで構成される。

第１実施形態と本実施形態との間での機能構成の対応関係は次の通りである。即ち、第１実施形態（図１）における信号処理部３１に相当する機能は、本実施形態における動き探索処理部７６１と、エンコーダー７６２とを含む。

色分解プリズム７２２は、第１実施形態（図１）の色分解プリズム２２と同様に、入射光を可視光成分と赤外光成分とに分光する。色分解プリズム７２２は、可視光成分を撮像素子７２３（通常の固体撮像素子）側に振り向け、赤外光成分をイベント検出型撮像素子７２４側に振り向ける。撮像素子７２３は、可視光成分を用いて映像を撮像し、映像データをエンコーダー７６２に渡す。撮像素子７２３は、光電変換によって、画素ごとに割り当てられたＲ／Ｇ／Ｂの各色の成分の画素値を電気信号として出力するものであってよい。また、撮像素子７２３は、３原色Ｒ／Ｇ／Ｂの各色をそれぞれ撮像するための３枚の素子で構成されるものであってもよい。イベント検出型撮像素子７２４は、赤外光成分を用いて撮像し、イベントを検出する。イベント検出型撮像素子７２４は、イベントデータを動き探索処理部７６１に渡す。動き探索処理部７６１は、渡されるイベントデータに基づいて被写体の動きの方向を求める。被写体の動きの方向は、例えば、ｘ方向の動きの速度とｙ方向の動きの速度との組によって表される情報である。被写体の動きの速度を求める方法については、既に全実施形態までにおいて説明した通りである。エンコーダー７６２は、撮像素子７２３から渡される映像の符号化を行い、出力する。エンコーダー７６２は、例えば、動き予測、動き補償などといった手法を用いて符号化を行う。本実施形態のエンコーダー７６２は、符号化を行う際に、下記のように動き探索処理部７６１から渡される動き情報を用いることができる。

本実施形態の特徴は、動き探索処理部７６１が、イベント検出型撮像素子７２４から渡されるイベントデータに基づいて、被写体の動きの方向を求める。そして、エンコーダー７６２は、所定の符号化方式で映像の符号化を行う際に、動き探索処理部７６１から渡される被写体の動きの方向の情報を利用する。エンコーダー７６２は、例えばＨ２６４／ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）やＨ２６５／ＭＰＥＧ－Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などといった符号化方式での映像の符号化を行う。エンコーダー７６２は、動き探索処理部７６１から被写体の動きの方向の情報を受け取るため、符号化処理を行う際に被写体の動き（動きベクトル）の探索範囲を絞ることができるために、符号化処理に要する演算量を減らすことができる。

つまり、動き探索処理部７６１は、イベント検出型撮像素子７２４が出力したイベントデータに基づいて、被写体が動く方向を表す方向情報を求めるものである。また、エンコーダー７６２は、撮像素子７２３から渡される映像データにおける被写体の動き探索を行いながら当該映像データの符号化を行うものである。エンコーダー７６２は、映像内の動き探索を行い、動きベクトルを求める。エンコーダー７６２は、求められた動きベクトルに基づいて映像の符号化を行う。なお、動きベクトルに基づく符号化の処理自体は、既存技術に属するものである。ただし、本実施形態の特徴として、エンコーダー７６２は、動き探索処理部７６１から渡される方向情報に基づいて動き探索の範囲を決定する。言い換えれば、エンコーダー７６２は、得られる方向情報に基づいて、動き探索の範囲を限定することができる。

以上説明したように、本実施形態によると、撮像装置８は、イベント検出型撮像素子７２４から出力されるイベントデータに基づいて被写体の動きの情報を求める。エンコーダー７６２は、その動き情報を利用して符号化を行うことができるため、符号化の際の演算量を削減することが可能となる。

図１０は、第１実施形態から第８実施形態までにおける撮像素子（通常の固体撮像素子）およびイベント検出型撮像素子が撮像する画面とその画面に含まれる領域との関係を示す概略図である。図示するように、画面８０１は、複数の領域８０２に分割されている。図示する例では、画面８０１は、縦８個×横１２個の計９６個の領域８０２に分割されている。ただし、画面の分割のしかたは、図示する例に限定されるものではなく任意である。個々の領域の形状は、同一であってもよいし異なっていてもよい。個々の形状のサイズ（縦および横の画素数）は、同一であってもよいし異なっていてもよい。複数の領域は、図示する例のように行方向および列方向に並べられていてもよいし、他の配置方法で配置されていてもよい。既に述べた実施形態において、信号処理部３１や、映像出力処理回路１４２、２４２、３４２、４４２、５４２、６４２や、エンコーダー７６２は、領域ごとに映像（画像）を処理するものであってもよい。

図１１は、第１実施形態から第８実施形態までのそれぞれの撮像装置が持つ機能の少なくとも一部をコンピューターで制御する場合の、その内部の構成の例を示すブロック図である。撮像装置１から８までが持つ機能（装置の動作を制御する機能を含む）の少なくとも一部は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

上述した実施形態における撮像装置１から８までが持つ機能の少なくとも一部をコンピューターおよびプログラムで実現することができる。その場合、その機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

なお、各実施形態において説明した機能の呼び方を、次のようにしてもよい。即ち、色分解プリズム２２や、ガラスブロック１２２、２２２、３２２や、色分解プリズム４２２，５２２，６２２，７２２のそれぞれを、「分光器」と呼んでもよい。これらの分光器のそれぞれは、入射光を分光して第１光成分と第２光成分とに振り分ける。また、撮像素子２３、１２３、２２３、３２３、４２３Ｒ、４２３Ｇ、４２３Ｂ、５２３Ｒ、５２３Ｇ、５２３Ｂ、６２３Ｒ、６２３Ｇ、６２３Ｂ、７２３のそれぞれを「撮像部」と呼んでよい。なお、第２実施形態（図２）における撮像素子１２３と信号処理回路１３３とをあわせて「撮像部」と呼んでもよい。同様に、第３実施形態（図４）における撮像素子２２３と信号処理回路２３３とをあわせて「撮像部」と呼んでもよい。同様に、第４実施形態（図５）における撮像素子３２３と信号処理回路３３３とをあわせて「撮像部」と呼んでもよい。同様に、第５実施形態（図６）における撮像素子４２３Ｒ、４２３Ｇ、および４２３Ｂと信号処理回路４３３とをあわせて「撮像部」と呼んでもよい。同様に、第６実施形態（図７）における撮像素子５２３Ｒ、５２３Ｇ、および５２３Ｂと信号処理回路５３３とをあわせて「撮像部」と呼んでもよい。同様に、第７実施形態（図８）における撮像素子６２３Ｒ、６２３Ｇ、および６２３Ｂと信号処理回路６３３とをあわせて「撮像部」と呼んでもよい。これらの撮像部のそれぞれは、通常の固定撮像素子を用いて実現され、映像の撮像を行い、映像データを出力する。また、イベント検出型撮像素子２４、１２４、２２４、３２４、４２４、５２４、６２４、７２４のそれぞれを「イベント検出型撮像部」と呼んでもよい。なお、第２実施形態（図２）におけるイベント検出型撮像素子１２４と信号処理回路１３１とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第３実施形態（図４）におけるイベント検出型撮像素子２２４と信号処理回路２３１とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第４実施形態（図５）におけるイベント検出型撮像素子３２４と信号処理回路３３１とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第５実施形態（図６）におけるイベント検出型撮像素子４２４と信号処理回路４３１とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第６実施形態（図７）におけるイベント検出型撮像素子５２４と信号処理回路５３１とをあわせて「イベント検出型撮像部」と呼んでもよい。同様に、第７実施形態（図８）におけるイベント検出型撮像素子６２４と信号処理回路６３１とをあわせて「イベント検出型撮像部」と呼んでもよい。これらのイベント検出型撮像部のそれぞれは、第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力する。また、映像出力処理回路１４２、２４２、３４２、４４２、５４２、６４２のそれぞれを「映像出力処理部」と呼んでもよい。これらの映像出力処理部のそれぞれは、各実施形態における動き検出部から渡される動き情報に基づいて、撮像部から渡される映像データの処理を行うことによって、出力映像を生成するものである。また、フレームメモリー３４１、５４１、６４１のそれぞれを「画像記憶部」と呼んでもよい。これらの画像記憶部のそれぞれは、映像データを構成する過去のフレーム画像の少なくとも一部を記憶するものである。

第１実施形態（図１）および第８実施形態（図９）においては、色分解プリズム（分光器）は、入射光を可視光と赤外光との２つの領域に分光するものであった。ここで、色分解プリズム（分光器）は、可視光をさらにＲ／Ｇ／Ｂそれぞれの成分に分光するものであってもよい。また、第２実施形態（図２）および第４実施形態（図５）においては、ガラスブロック（分光器）は、入射光を可視光と赤外光との２つの領域に分光するものであった。ここで、ガラスブロック（分光器）は、可視光をさらにＲ／Ｇ／Ｂそれぞれの成分に分光するものであってもよい。また、第５実施形態（図６）、第６実施形態（図７）、および第７実施形態（図８）においては、色分解プリズム（分光器）は、入射光をＩＲ（赤外）／Ｒ（赤）／Ｇ（緑）／Ｂ（青）の４つの領域に分光するものであった。ここで、色分解プリズム（分光器）は、入射光を赤外光と可視光との２つに分光するものであってもよい。

以上説明した実施形態によれば、撮像装置は、映像を取得するための撮像素子と、イベントを検出するための撮像素子とで、同一の画角を有する画像を取得することができる。つまり、画面内の位置関係に関して、映像とイベントデータとの間での位置ずれが生じない。

また、イベントを検出するための撮像素子が赤外光成分のみを用いて撮像を行う場合には、可視光成分の光量を規制にすることなく、通常の固体撮像素子で映像を撮像することが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、コンテンツ制作用の撮像装置や、監視用の撮像装置や、機器等（例えば乗り物等）を制御するための撮像装置などのために利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

１，２，２Ａ，３，４，５，６，７，８ 撮像装置
２２ 色分解プリズム（分光器）
２３ 撮像素子（撮像部）
２４ イベント検出型撮像素子
３１ 信号処理部
１２２，１２２－２ ガラスブロック（分光器）
１２２Ｍ，１２２Ｍ－２ ダイクロイックミラー
１２３ 撮像素子（撮像部）
１２４ イベント検出型撮像素子（イベント検出型撮像部）
１３１ 信号処理回路
１３２ 動き検出部
１３３ 信号処理回路
１４２ 映像出力処理回路（映像出力処理部）
２２２ ガラスブロック（分光器）
２２２Ｍ ダイクロイックミラー
２２３ 撮像素子（撮像部）
２２４ イベント検出型撮像素子（イベント検出型撮像部）
２３１ 信号処理回路
２３２ 動き検出部
２３３ 信号処理回路
２４２ 映像出力処理回路（映像出力処理部）
３２２ ガラスブロック（分光器）
３２２Ｍ ダイクロイックミラー
３２３ 撮像素子（撮像部）
３２４ イベント検出型撮像素子（イベント検出型撮像部）
３３１ 信号処理回路
３３２ 動き検出部
３３３ 信号処理回路
３４１ フレームメモリー（画像記憶部）
３４２ 映像出力処理回路（映像出力処理部）
４２２ 色分解プリズム（分光器）
４２３Ｒ 撮像素子（撮像部）
４２３Ｇ 撮像素子（撮像部）
４２３Ｂ 撮像素子（撮像部）
４２４ イベント検出型撮像素子（イベント検出型撮像部）
４３１ 信号処理回路
４３２ 動き検出部
４３３ 信号処理回路
４４２ 映像出力処理回路（映像出力処理部）
５２２ 色分解プリズム（分光器）
５２３Ｒ 撮像素子（撮像部）
５２３Ｇ 撮像素子（撮像部）
５２３Ｂ 撮像素子（撮像部）
５２４ イベント検出型撮像素子（イベント検出型撮像部）
５３１ 信号処理回路
５３２ 動き検出部
５３３ 信号処理回路
５４１ フレームメモリー（画像記憶部）
５４２ 映像出力処理回路（映像出力処理部）
６２２ 色分解プリズム（分光器）
６２３Ｒ 撮像素子（撮像部）
６２３Ｇ 撮像素子（撮像部）
６２３Ｂ 撮像素子（撮像部）
６２４ イベント検出型撮像素子（イベント検出型撮像部）
６３１ 信号処理回路
６３２ 動き検出部
６３３ 信号処理回路
６３４ フレームメモリー（イベントデータ用フレームメモリー）
６４１ フレームメモリー（映像データ用フレームメモリー、画像記憶部）
６４２ 映像出力処理回路（映像出力処理部）
６５１ 同期信号生成回路
７２２ 色分解プリズム（分光器）
７２３ 撮像素子（撮像部）
７２４ イベント検出型撮像素子（イベント検出型撮像部）
７６１ 動き探索処理部
７６２ エンコーダー
８０１ 画面
８０２ 領域
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

Claims (9)

1. 入射光を分光して第１光成分と第２光成分とに振り分ける分光器と、
   前記分光器からの前記第１光成分に基づく撮像を行うことによって映像データを出力する撮像部と、
   前記分光器からの前記第２光成分に基づいて画面内の特定の位置における画素値の変化であるイベントを検出し、画素値が変化した位置についての位置情報と画素値の変化の少なくとも有無を表す画素値変化情報とを含むイベントデータを出力するイベント検出型撮像部と、
   前記イベント検出型撮像部から渡されるイベントデータに基づいて前記撮像部から渡される前記映像データの処理を行うことによって出力映像を生成する信号処理部と、
   を備える撮像装置。
2. 前記第１光成分は可視光成分であり、
   前記第２光成分は赤外光成分である、
   請求項１に記載の撮像装置。
3. 前記信号処理部は、
   前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成する動き検出部と、
   前記動き検出部から渡される前記動き情報に基づいて、前記撮像部から渡される前記映像データの処理を行うことによって、前記出力映像を生成する映像出力処理部と、
   を含む、請求項１または２に記載の撮像装置。
4. 前記信号処理部は、
   前記映像データの過去のフレーム画像の少なくとも一部を記憶する画像記憶部、
   をさらに備え、
   前記映像出力処理部は、前記動き情報に応じて、前記撮像部から渡される前記映像データの最新フレーム画像のみを前記出力映像として生成するか、前記撮像部から渡される前記映像データの最新フレーム画像と前記画像記憶部から読み出した前記過去のフレーム画像の少なくとも一部とを混合して前記出力映像として生成するか、いずれかとする、
   請求項３に記載の撮像装置。
5. 前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
   請求項３に記載の撮像装置。
6. 前記映像出力処理部は、前記撮像部から渡される前記映像データに、前記動き検出部が生成した動き情報に対応する文字または記号の少なくともいずれかを重畳する処理を行うことによって前記出力映像を生成する、
   請求項４に記載の撮像装置。
7. 前記撮像部からの前記映像データの読出しのタイミングを同期させるための同期信号を生成する同期信号生成部、
   をさらに備え、
   前記イベント検出型撮像部は、前記同期信号に基づいて、前記撮像部から前記映像データが読出される位置に対応する画面内の領域についてのイベントデータを出力するものであり、
   前記動き検出部は、当該領域の前記イベントデータに基づいて被写体の動きを表す情報である動き情報を生成するものである、
   請求項３に記載の撮像装置。
8. 前記信号処理部は、
   前記イベント検出型撮像部が出力した前記イベントデータに基づいて、被写体が動く方向を表す方向情報を求める動き探索処理部と、
   前記撮像部から渡される前記映像データにおける前記被写体の動き探索を行いながら当該映像データの符号化を行うエンコーダーと、
   を備え、
   前記エンコーダーは、前記動き探索処理部から渡される方向情報に基づいて前記動き探索の範囲を決定する、
   請求項１または２に記載の撮像装置。
9. 前記分光器は、前記入射光を波長帯域によって前記第１光成分と前記第２光成分とに分光する色分解プリズムである、
   請求項１に記載の撮像装置。

Images