WO2024157616A1

WO2024157616A1 - 信号処理装置、信号処理方法、センサ装置

Info

Publication number: WO2024157616A1
Application number: PCT/JP2023/043602
Authority: WO
Inventors: 友揮玉野; 康司山崎; 健太郎大塚; 勇志藤川
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2023-01-26
Filing date: 2023-12-06
Publication date: 2024-08-02
Anticipated expiration: 2025-07-26
Also published as: JP2024106169A

Abstract

本技術に係る信号処理装置は、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、イベント画像のエッジ強調処理を行う第一エッジ強調部を備えている。

Description

信号処理装置、信号処理方法、センサ装置

　本技術は、信号処理装置とその方法、及びセンサ装置に関するものであり、特には、受光量の所定量以上の変化をイベントとして検出するイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を対象とした画像信号処理の技術分野に関する。

　画像センシングを行う画像センサとして、一般的なカメラに搭載されるイメージセンサ、具体的には、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群を画素アレイ部として備える画像センサ（以下「階調センサ」と表記する）が広く知られている。
　また、画像センサとしては、階調センサ以外にも、いわゆるＥＶＳ（Event based Vision Sensor）として知られるような、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群を画素アレイ部として備える画像センサ（以下「イベントセンサ」と表記する）も知られている。

　ここで、イベントセンサにおいては、例えば、移動物体としての前景被写体とその背景被写体とが同系色である場合や暗所でのセンシングを行った場合等に、前景被写体と背景被写体との間の十分なコントラストが得られないことに起因して、イベント（所定量以上の受光量変化）が発生したはずの画素のうち少なくとも一部の画素でイベントが非検出となってしまい、イベント画像において、イベントの検出漏れ部分、換言すれば欠落部分が生じてしまうことがある。
　確認のため述べておくと、ここで言う「イベント画像」とは、イベント検出画素群によるイベント検出結果を示す画像を意味するものであり、具体的には、画素位置ごとにイベントの検出有無を表す情報が対応づけられた情報を意味する。
　イベント画像における欠落部分は、主に、移動物体としての被写体の輪郭等のエッジ部分の一部（又は全部）の欠落として生じるものとなる。

　近年では、被写体の認識処理や移動方向の検出処理、オプティカルフロー解析等の各種画像解析処理を、イベント画像を入力画像として実行するシステムも存在し、そのような場合、イベント画像に上記のような欠落部分（エッジ部分の欠落）が生じてしまうと、画像解析処理の精度低下を招いてしまう。

　関連する従来技術については、下記特許文献１を挙げることができる。
　この特許文献１には、イベントセンサが、イベントの検出のみでなく、イベントが検出された画素における受光信号（輝度値）を読み出して階調画像を生成するように構成された場合において、該階調画像に生じる欠落部分を補間する技術が開示されている。具体的には、イベントが検出された画素から読み出した輝度値により構成される画像データ（画像データＧ０）と、イベントが検出された画素以外の画素について周期的な読み出しを行って得られる輝度値により構成される画像データ（画像データＧ１）とをフレームメモリにおいて重ね合わせることで、画像データＧ０に生じる欠落部分を画像データＧ１により補間するものである。

特開２０２０－１３６８１１号公報

　ここで、特許文献１に記載の補間手法は、あくまで階調画像の欠落部分の補間手法であって、イベント画像の欠落部分を補間できるものではない。
　また、特許文献１では、画像データＧ０に対し画像データＧ１を重ね合わせて欠落部分を補間する手法を採っているので、被写体の輪郭等のエッジ以外の部分も補間される場合もあり、適切なエッジ強調を行うことができない虞がある。

　本技術は上記事情に鑑み為されたものであり、イベント画像のエッジ強調処理について精度向上を図ることを目的とする。

　本技術に係る信号処理装置は、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部を備えたものである。
　上記のように階調画像に基づいて検出された被写体のエッジ方向に基づきイベント画像のエッジ強調処理を行うことで、被写体のエッジの欠落部分のみを適切に補間することが可能となる。

　また、本技術に係る信号処理方法は、信号処理装置が、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う信号処理方法である。
　このような信号処理方法により、上記した本技術に係る信号処理装置を実現可能となる。

　さらに、本技術に係るセンサ装置は、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群が形成された画素アレイ部と、前記画素アレイ部における前記イベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部と、を備えたものである。
　このようなセンサ装置によっても、上記した本技術に係る信号処理装置と同様の作用を得ることが可能である。

本技術に係る第一実施形態としての信号処理装置を備えて構成された第一実施形態としての撮像装置の内部構成例を示したブロック図である。実施形態におけるセンサ部が有する画素アレイ部の画素配列例を示した図である。実施形態におけるイベント画像生成部の内部構成例を示した図である。実施形態におけるイベント画素の回路構成例を示した図である。実施形態における出力制御・リセット回路の内部構成例を説明するための図である。第一実施形態としてのセンサ部の内部構成例を示した図である。実施形態における輝度信号画像とイベント画像とを対比して示した図である。実施形態における単位エリアの説明図である。第一実施形態としてのエッジ強調手法の概要を説明するための図である。実施形態におけるエッジ強調方向の説明図である。実施形態におけるエッジ強調処理の例の説明図である。実施形態における強調エリア・強調方向検出部が実行する具体的な処理手順の例を示したフローチャートである。実施形態におけるエッジ強調部が実行する具体的な処理手順の例を示したフローチャートである。実施形態におけるエッジ強調関連情報の格納例を示した図である。実施形態におけるエッジ強調関連情報の別の格納例を示した図である。実施形態におけるエッジ強調関連情報のさらに別の格納例を示した図である。エッジ強調関連情報を用いて演算負荷軽減を図る場合の画像使用処理部の構成例及び動作例について説明するための図である。第二実施形態としてのセンサ部の内部構成例を示したブロック図である。エッジ強調後のイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行う場合の動作例を説明するための図である。第三実施形態としてのセンサ部の内部構成例を示したブロック図である。二値化画像についての説明図である。二値化画像を対象としてエッジ方向検出を行う変形例としてのセンサ部の内部構成例を示したフロック図である。画素アレイ部における画素配列パターンに係る変形例の説明図である。階調センサとイベントセンサとが別体に設けられた変形例としての撮像装置の内部構成例を示した図である。図２４に示す撮像装置の構成を採る場合における階調センサ部、イベントセンサ部それぞれの内部構成例を説明するための図である。

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
（1-1．撮像装置の構成）
（1-2．第一実施形態としてのセンサ部）
（1-3．処理手順）
（1-4．エッジ強調関連情報について）
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．変形例＞
＜５．実施形態のまとめ＞
＜６．本技術＞

＜１．第一実施形態＞
（1-1．撮像装置の構成）
　図１は、本技術に係る第一実施形態としての信号処理装置を備えて構成された第一実施形態としての撮像装置１００の内部構成例を示したブロック図である。
　図１に示すように第一実施形態としての撮像装置１００は、センサ部１と、画像使用処理部２と、通信部３とを備えている。

　センサ部１は、階調画像生成部１０とイベント画像生成部２０とを有し、階調画像とイベント画像とを生成可能に構成されている。
　ここで、階調画像とは、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる画像を意味する。
　また、イベント画像とは、画素単位でイベントの検出結果を示す画像を意味する。ここで言うイベントとは、受光素子による受光量の所定量以上の変化を意味する。

　本実施形態において、センサ部１は、画素アレイ部１ａにおいて、イベントを検出するイベント画素を複数有して成るイベント画素群と階調画素群とが混載された、いわゆる混載センサとしての構成を有する。

　図２は、センサ部１が有する画素アレイ部１ａの画素配列例を示している。
　図示のように画素アレイ部１ａにおいては、階調画素１０ｇと、イベントを検出するイベント画素２０ｇとが所定の配列パターンにより配列されている。本例では、階調画像としてカラー画像の生成を可能とするために、階調画素１０ｇとしてはＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の各色に対応した階調画素１０ｇｒ、１０ｇｇ、１０ｇｂが形成されている。階調画素１０ｇｒはＲ光を、階調画素１０ｇｇはＧ光を、階調画素１０ｇｂはＢ光をそれぞれ選択的に受光可能に構成されている。

　本例の画素アレイ部１ａは、各一つの階調画素１０ｇｒ、１０ｇｇ、１０ｇｂ、及びイベント画素２０ｇが二次元に所定パターンで配列されて成る画素ユニットＧｕが、二次元に複数配列されて形成されている。具体的に、本例における画素ユニットＧｕは、水平方向（水平ライン方向）画素数×垂直方向画素数＝２×２＝４画素で成り、階調画素１０ｇｒと階調画素１０ｇｇ、イベント画素２０ｇと階調画素１０ｇｂがそれぞれ水平方向に隣接配置され、且つ階調画素１０ｇｒとイベント画素２０ｇ、階調画素１０ｇｇと階調画素１０ｇｂがそれぞれ垂直方向に隣接配置されて成る。
　なお、画素ユニットＧｕにおける画素配列パターンはこれに限定されるものではなく、他の配列パターンを採用することも考えられる。

　図２を参照して分かるように、本例のセンサ部１においては、複数の階調画素１０ｇが階調画素群として画素アレイ部１ａに形成され、また複数のイベント画素２０ｇがイベント画素群として形成されている。
　図示は省略したが、画素アレイ部１ａには撮像レンズを介して被写体からの光が入射されるため、階調画素群及びイベント画素群は、共通の撮像レンズを介して被写体からの光を受光する。

　図１において、階調画像生成部１０は、画素アレイ部１ａにおける階調画素１０ｇｒ、１０ｇｇ、１０ｇｂにより検出される階調値（受光信号値）に基づき、階調画像を生成する。階調画像生成部１０が生成する階調画像は、本例では、デモザイク処理前のＲＡＷ画像であるとする。
　後述もするように本例のセンサ部１では、階調画像生成部１０が生成したＲＡＷ画像としての階調画像がデモザイク処理されて画像使用処理部２の入力画像として出力される。
　なお、センサ部１からはＲＡＷ画像のまま出力し、画像使用処理部２側でデモザイク処理を施す構成とすることも考えられる。

　イベント画像生成部２０は、画素アレイ部１ａにおけるイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を生成する。具体的に、イベント画像は、イベント画素２０ｇごとに少なくともイベントの発生有無を示す情報とされる。
　本例におけるイベント画像生成部２０は、イベント画像を所定のフレーム周期で生成する。すなわち、フレーム期間としての一定期間ごとに、各イベント画素２０ｇにおけるイベント検出有無を示す画像を生成するものである。本例において、イベント画像のフレーム周期は、階調画像のフレーム周期よりも短周期とされ、例えば、階調画像のフレーム周期の少なくとも１／１０以下等とされる。

　また、本例におけるイベント画像生成部２０は、イベントとして、受光量の所定量以上の増大側変化である「正極性イベント」と、受光量の所定量以上の減少側変化である「負極性イベント」とを検出可能に構成されている。すなわち、この場合のイベント画像としては、イベント画素２０ｇごとの正極性イベントの発生有無、及び負極性イベントの発生有無を示す画像が生成されるものである。

　なお、イベント画像生成部２０の内部構成については改めて説明する。
　また、センサ部１には、イベント画像生成部２０により生成されたイベント画像についてエッジ強調処理を行う回路部（後述するエッジ強調部１５）が設けられるが、これについては改めて説明する。

　画像使用処理部２は、センサ部１から出力される少なくともイベント画像を入力画像とした画像解析処理を行う。本例における画像使用処理部２は、イベント画像のみでなく、センサ部１が出力する階調画像（本例ではデモザイク処理後の階調画像）を入力画像として画像解析処理を行う。なお、ここでの画像解析処理は、ＡＩ（人工知能）を用いた処理とすることも考えられる。
　ここでの画像解析処理としては、例えば、被写体の認識処理や移動方向の検出処理、オプティカルフロー解析の処理等を挙げることができる。

　通信部３は、撮像装置１００の外部装置との間で有線又は無線によるデータ通信を行う。この通信部３により、撮像装置１００の外部装置に対して画像使用処理部２による画像解析結果を示す情報を出力することが可能とされる。

　図３は、イベント画像生成部２０の内部構成例を示した図である。
　図示のようにイベント画像生成部２０は、画素アレイ部１ａにおけるイベント画素群としての複数のイベント画素２０ｇと、Ｘアービタ２１及びＹアービタ２２と、イベント処理回路２３と、出力Ｉ／Ｆ（インタフェース）２４とを備えている。

　各イベント画素２０ｇは、受光素子を有し、受光量の所定量以上の変化であるイベントを検出可能に構成されている。本例における各イベント画素２０ｇは、イベントとして、正極性イベントと負極性イベントとを検出可能に構成されている。

　各イベント画素２０ｇは、正極性イベント、負極性イベントを問わず、イベントを検出した場合には、自身からのイベント信号の読み出し（出力）を要求するための要求信号をＸアービタ２１及びＹアービタ２２に出力する。図示のようにＸアービタ２１に対する要求信号を「要求信号Ｘｒｑ」、Ｙアービタ２２に対する要求信号を「要求信号Ｙｒｑ」とする。
　そして、各イベント画素２０ｇは、上記の要求信号Ｘｒｑ、Ｙｒｑに応じたＸアービタ２１、Ｙアービタ２２による調停に従って、イベント信号の出力を行う。具体的に、各イベント画素２０ｇは、Ｘアービタ２１が要求信号Ｘｒｑの応答（ＡＣＫ）として出力する応答信号Ｘａｃと、Ｙアービタ２２が要求信号Ｙｒｑの応答として出力する応答信号Ｙａｃとを受信したことに応じて、正極性イベントの検出結果を示す信号である正極側イベント信号Ｉｐと、負極性イベントの検出結果を示す信号である負極側イベント信号Ｉｍとを、イベント処理回路２３に対して出力する。

　Ｘアービタ２１、Ｙアービタ２２は、各イベント画素２０ｇからの要求信号（上記した要求信号Ｘｒｑ、Ｙｒｑ）を調停し、その調停結果（イベント信号の出力の許可／不許可）に基づく応答を、上記した応答信号（Ｘａｃ、Ｙａｃ）として、要求信号の出力元のイベント画素２０ｇに送信する。

　イベント処理回路２３は、イベント画素２０ｇから入力されたイベント信号（本例では正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍ）に基づき、該イベント画素２０ｇについてのイベントデータを生成する。
　このイベントデータとしては、イベントを検出したイベント画素２０ｇの位置情報（画素座標系におけるアドレス情報：以下「イベント発生画素の位置情報」と表記）と、イベントの検出時刻を示す「検出時刻情報」とを少なくとも含むデータを生成する。本例では、イベントとして正極性イベントと負極性イベントとを検出可能とされているため、これに対応すべく、イベントデータとしては、上記したイベント発生画素の位置情報及び検出時刻情報と共に、検出されたイベントの種別（正極性イベント／負極性イベントの別）を示す情報である「イベント種別情報」を含むデータを生成する。

　出力Ｉ／Ｆ２４は、イベント処理回路２３から行単位で出力されたイベントデータを順次、外部に出力する。
　この出力Ｉ／Ｆ２４より、図示のように画素ユニットＧｕの座標ごとにイベント検出結果を示すイベント画像が出力されることになる。

　図４は、イベント画素２０ｇの回路構成例を示した図である。
　図示のようにイベント画素２０ｇは、受光素子としてのフォトダイオードＰＤと、対数変換部３１と、バッファ３２と、イベント検出回路３３と、出力制御・リセット回路３６とを備えている。

　イベント画素２０ｇにおいて、フォトダイオードＰＤに蓄積された電荷は、対数変換部３１に転送される。対数変換部３１は、フォトダイオードＰＤにより得られる光電流（受光量に応じた電流）を、その対数の電圧信号に変換する。
　バッファ３２は、対数変換部３１より入力した電圧信号を補正してイベント検出回路３３に出力する。

　図示のように対数変換部３１は、トランジスタＱ１、トランジスタＱ２、及びトランジスタＱ３を備えている。
　ここで、本例において、イベント画素２０ｇが備える各種のトランジスタＱには、ＭＯＳＦＥＴ（metal-oxide-semiconductor field-effect transistor）が用いられている。

　対数変換部３１において、トランジスタＱ１及びトランジスタＱ３はＮ型のトランジスタとされ、トランジスタＱ２はＰ型トランジスタとされる。
　トランジスタＱ１のソースはフォトダイオードＰＤのカソードに接続され、ドレインは電源端子（基準電位ＶＤＤ）に接続される。トランジスタＱ２及びトランジスタＱ３は、電源端子と接地端子との間において直列に接続されている。また、トランジスタＱ２とトランジスタＱ３の接続点は、トランジスタＱ１のゲートとバッファ３２の入力端子（後述するトランジスタＱ５のゲート）とに接続される。また、トランジスタＱ２のゲートには、所定のバイアス電圧Ｖｂｉａｓが印加される。

　トランジスタＱ１及びトランジスタＱ３のドレインは電源側（基準電位ＶＤＤ）に接続されており、ソースフォロワ回路が形成されている。これらのループ状に接続された二つのソースフォロワにより、フォトダイオードＰＤからの光電流は、その対数の電圧信号に変換される。また、トランジスタＱ２は、一定の電流をトランジスタＱ３に供給する。

　バッファ３２は、それぞれＰ型のトランジスタとされたトランジスタＱ４とトランジスタＱ５とを備え、これらトランジスタＱ４、Ｑ５が電源端子と接地端子との間において直列に接続されて構成されている。
　トランジスタＱ４とトランジスタＱ５の接続点がバッファ３２の出力端子とされ、該出力端子より補正後の電圧信号が受光信号としてイベント検出回路３３に出力される。

　イベント検出回路３３は、過去における受光信号のレベルを基準レベルＬｒｅｆとして、現在における受光信号のレベルとの差分を求めることで、受光量の変化をイベントとして検出する。具体的に、イベント検出回路３３は、基準レベルＬｒｅｆと現在における受光信号のレベルとの差分を表す差分信号のレベル（絶対値）が所定の閾値以上であるか否かにより、イベントの発生有無を検出する。
　本例のイベント検出回路３３は、正極性イベント、すなわち基準レベルＬｒｅｆとの差分がプラスとなるイベントと、負極性イベント、つまり基準レベルＬｒｅｆとの差分がマイナスとなるイベントとを検出し分けることが可能に構成されている。
　イベント検出回路３３は、正極性イベントの検出結果を示す出力電圧として正極側出力電圧Ｖｏｐを、また、負極性イベントの検出結果を示す出力電圧として負極側出力電圧Ｖｏｍをそれぞれ生成する。

　ここで、イベント検出回路３３は、後述するリセット信号ＲＳＴに基づき、基準レベルＬｒｅｆを現在における受光信号のレベルにリセットする。
　このような基準レベルＬｒｅｆのリセットを行うことで、該リセットを行った時点からの受光信号レベルの変化に基づき、新たなイベント検出を行うことが可能となる。すなわち、基準レベルＬｒｅｆのリセットは、イベント検出回路３３を新たなイベント検出が可能な状態に戻すことと等価である。

　イベント検出回路３３は、減算器３４と量子化器３５とを備えている。
　減算器３４は、リセット信号ＲＳＴに従って、バッファ３２からの受光信号（電圧信号）のレベルを低下させ、低下後の受光信号を量子化器３５に出力する。
　量子化器３５は、減算器３４からの受光信号を量子化し、量子化結果を示す出力電圧を得る。具体的に本例では、正極側出力電圧Ｖｏｐ、及び負極側出力電圧Ｖｏｍを得る。

　減算器３４は、コンデンサＣ１及びコンデンサＣ２と、トランジスタＱ７及びトランジスタＱ８と、リセットスイッチＳＷｒとを備えている。トランジスタＱ７はＰ型トランジスタ、トランジスタＱ８はＮ型トランジスタとされる。
　トランジスタＱ７及びトランジスタＱ８は、電源端子と接地端子との間において直列に接続され、インバータを構成している。具体的に、トランジスタＱ７は、ソースが電源端子に接続され、ドレインがトランジスタＱ８のドレインに接続されており、トランジスタＱ８は、ソースが接地端子に接続されている。なお、トランジスタＱ８のゲートには電圧Ｖｂｄｉｆが印加されている。
　コンデンサＣ１は、一端がバッファ３２の出力端子に接続され、他端がトランジスタＱ７のゲート（インバータの入力端子）に接続される。コンデンサＣ２は、一端がコンデンサＣ１の他端と接続され、他端がトランジスタＱ７とトランジスタＱ８の接続点に接続されている。
　リセットスイッチＳＷｒは、一端がコンデンサＣ１とコンデンサＣ２との接続点に接続され、他端がトランジスタＱ７とトランジスタＱ８の接続点とコンデンサＣ２との接続点に接続され、コンデンサＣ２に対して並列接続されている。リセットスイッチＳＷｒは、リセット信号ＲＳＴに従ってＯＮ／ＯＦＦされるスイッチである。
　トランジスタＱ７及びトランジスタＱ８によるインバータは、コンデンサＣ１を介して入力された受光信号を反転して量子化器３５に出力する。

　ここで、減算器３４において、或る時点でコンデンサＣ１のバッファ３２側に生じている電位を電位Ｖｉｎｉｔとする。そして、このとき、リセットスイッチＳＷｒがＯＮされたとする。リセットスイッチＳＷｒがＯＮの場合、コンデンサＣ１のバッファ３２とは逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサＣ１に蓄積されている電荷ＣＨｉｎｉｔは、コンデンサＣ１の容量をＣｐ１とすると、次の［式１］により表される。

　　ＣＨｉｎｉｔ＝Ｃｐ１×Ｖｉｎｉｔ・・・［式１］

　また、リセットスイッチＳＷｒがＯＮのとき、コンデンサＣ２の両端は短絡されているため、その蓄積電荷はゼロとなる。

　次いで、リセットスイッチＳＷｒがＯＦＦされたとする。受光量の変化が生じていれば、コンデンサＣ１のバッファ３２側の電位は上記したＶｉｎｉｔから変化している。変化後の該電位をＶａｆｔｅｒとすると、コンデンサＣ１に蓄積される電荷ＣＨａｆｔｅｒは、次の［式２］により表される。

　　ＣＨａｆｔｅｒ＝Ｃｐ１×Ｖａｆｔｅｒ・・・［式２］

　一方、コンデンサＣ２に蓄積される電荷ＣＨ２は、コンデンサＣ２の容量をＣｐ２、減算器３４の出力電圧をＶｏｕｔとすると、次の［式３］により表される。

　　ＣＨ２＝－Ｃｐ２×Ｖｏｕｔ・・・［式３］

　このとき、コンデンサＣ１及びＣ２の総電荷量は変化しないため、次の［式４］が成立する。

　　ＣＨｉｎｉｔ＝ＣＨａｆｔｅｒ＋ＣＨ２・・・［式４］

　［式４］に［式１］から［式３］を代入して変形すると、次の［式５］が得られる。

　　Ｖｏｕｔ＝－（Ｃｐ１／Ｃｐ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）・・・［式５］

　［式５］は、電圧信号の減算動作を表し、減算結果の利得はＣｐ１／Ｃｐ２となる。

　この［式５］より、減算器３４は、過去における受光信号のレベル（Ｖｉｎｉｔ）と現在の受光信号のレベル（Ｖａｆｔｅｒ）との差分を表す信号を出力することが分かる。
　ここで、電位Ｖｉｎｉｔは、上述した基準レベルＬｒｅｆに相当するものである。上記説明より、この電位Ｖｉｎｉｔ、つまり基準レベルＬｒｅｆは、リセットスイッチＳＷｒがＯＮされることで、現在の受光信号のレベル、換言すればリセットスイッチＳＷｒのＯＮ時点における受光信号のレベルにリセットされることになる。

　量子化器３５は、トランジスタＱ９、トランジスタＱ１０、トランジスタＱ１１、及びトランジスタＱ１２を備え、１．５ｂｉｔ量子化器として構成されている。
　トランジスタＱ９、Ｑ１１はＰ型トランジスタとされ、トランジスタＱ１０、Ｑ１２はＮ型トランジスタとされる。
　図示のようにトランジスタＱ９とトランジスタＱ１０、及びトランジスタＱ１１とトランジスタＱ１２は、それぞれ電源端子と接地端子との間において直列に接続されており、トランジスタＱ９、Ｑ１１の各ゲートには減算器３４の出力電圧（Ｖｏｕｔ）が入力される。また、トランジスタＱ１０のゲートには電圧Ｖｈｉｇｈが、トランジスタＱ１２のゲートには電圧Ｖｌｏｗがそれぞれ印加されている。

　トランジスタＱ９とトランジスタＱ１０の接続点には、正極性イベントの検出結果を示す正極側出力電圧Ｖｏｐが得られ、トランジスタＱ１１とトランジスタＱ１２の接続点には負極性イベントの検出結果を示す負極側出力電圧Ｖｏｍが得られる。
　具体的に、トランジスタＱ９、Ｑ１０側において、減算器３４の出力電圧（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）のレベルが電圧Ｖｈｉｇｈに応じたプラス側の閾値以上である場合には、トランジスタＱ９とトランジスタＱ１０の接続点にＨレベルによる正極側出力電圧Ｖｏｐが得られ、また、減算器３４の出力電圧のレベルが該プラス側の閾値未満である場合にはＬレベルによる正極側出力電圧Ｖｏｐが得られる。すなわち、トランジスタＱ９とトランジスタＱ１０の接続点には、受光量が増加方向に所定の閾値以上変化したか否かを表す信号、すなわち、正極性イベントの検出結果を示す正極側出力電圧Ｖｏｐが得られる。
　また、トランジスタＱ１１、Ｑ１２側において、減算器３４の出力電圧のレベルが電圧Ｖｌｏｗに応じたマイナス側の閾値以下である場合には、トランジスタＱ１１とトランジスタＱ１２の接続点にＨレベルによる負極側出力電圧Ｖｏｍが得られ、また、減算器３４の出力電圧のレベルが該マイナス側の閾値より大きい場合にはＬレベルによる負極側出力電圧Ｖｏｍが得られる。このように、トランジスタＱ１１とトランジスタＱ１２の接続点には、受光量が減少方向に所定の閾値以上変化したか否かを表す信号、すなわち、負極性イベントの検出結果を示す負極側出力電圧Ｖｏｍが得られる。

　出力制御・リセット回路３６は、前述したＸアービタ２１、Ｙアービタ２２に対する要求信号Ｘｒｑ、Ｙｒｑの出力や応答信号Ｘａｃ、Ｙａｃに応じた正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍの出力、及び、リセットスイッチＳＷｒに対するリセット信号ＲＳＴの出力を行う。

　図５は、出力制御・リセット回路３６の内部構成例を説明するための図であり、出力制御・リセット回路３６の内部構成例と共にイベント検出回路３３を併せて示している。
　出力制御・リセット回路３６は、正極側メモリ３７ｐ、負極側メモリ３７ｍ、出力回路３８、ＯＲ回路３９、及び遅延器４０を備える。

　イベント検出回路３３からの正極側出力電圧Ｖｏｐは、正極側出力電圧Ｖｏｐに保持されると共に、ＯＲ回路３９に入力される。また、イベント検出回路３３からの負極側出力電圧Ｖｏｍは負極側メモリ３７ｍに保持されると共にＯＲ回路３９に入力される。
　ここで、正極側メモリ３７ｐ、負極側メモリ３７ｍは、入力された正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍの電圧レベルに応じた値（デジタル値）を保持する。具体的に本例では、正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍの電圧レベルがＨレベルであれば「１」を、Ｌレベルであれば「０」を保持する。

　ＯＲ回路３９は、入力された正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍのうち少なくとも何れかがＨレベルである場合はＨレベルによる信号を出力し、双方がＬレベルである場合にはＬレベルによる信号を出力する。つまり、ＯＲ回路３９は、正極性イベント、負極性イベントの何れかが検出されたことに応じて出力信号をＨレベルとし、何れのイベントも検出されていない場合には出力信号をＬレベルとする。
　このようなＯＲ回路３９による出力信号が、前述した要求信号Ｘｒｑ、ＹｒｑとしてそれぞれＸアービタ２１、Ｙアービタ２２に送信される。

　出力回路３８は、Ｘアービタ２１からの応答信号Ｘａｃ、Ｙアービタ２２からの応答信号Ｙａｃの双方が入力されたことに応じて、正極側メモリ３７ｐに保持された値、負極側メモリ３７ｍに保持された値をそれぞれ正極側イベント信号Ｉｐ、負極側イベント信号Ｉｍとしてイベント処理回路２３に出力する。
　正極性イベントが検出された場合には、正極側イベント信号Ｉｐとして「１」が、負極側イベント信号Ｉｍとして「０」が出力され、イベント処理回路２３では該当するイベント画素２０ｇにおいて正極性イベントが検出されたことを特定可能となる。一方で、負極性イベントが検出された場合には、正極側イベント信号Ｉｐとして「０」が、負極側イベント信号Ｉｍとして「１」が出力され、イベント処理回路２３では該当するイベント画素２０ｇにおいて負極性イベントが検出されたことを特定可能となる。

　遅延器４０は、ＯＲ回路３９による出力信号を遅延してリセット信号ＲＳＴとしてイベント検出回路３３（リセットスイッチＳＷｒ）に出力する。これにより、正極性イベント、負極性イベントの何れかが検出されたことに応じて、前述した基準レベルＬｒｅｆがリセットされ、イベント検出回路３３が新たなイベント検出が可能な状態にリセットされる。
　なお、遅延器４０の遅延時間としては、正極側出力電圧Ｖｏｐ、負極側出力電圧ＶｏｍがＨレベル又はＬレベルに変化した際に、変化後の正極側出力電圧Ｖｏｐ、負極側出力電圧Ｖｏｍが正極側メモリ３７ｐ、負極側メモリ３７ｍに保持されるまでに要する時間以上の時間を少なくとも設定すればよい。これにより、イベントの検出漏れ防止を図ることができる。

　なお、本例のようにイベント画像を所定のフレーム周期で得る場合には、リセット信号ＲＳＴによるイベント検出回路３３のリセットは、当該フレーム周期で行うように構成することも考えられる。

　上記により説明したように、イベント画像生成部２０は、正極性イベント、負極性イベントとしてのイベントの発生有無をイベント画素２０ｇごと（つまり画素ユニットＧｕの座標ごと）に示すイベント画像を所定のフレーム周期で生成するように構成されている。例えば、フレーム期間ごとに、そのフレーム期間内の時刻を示す検出時刻情報が付されたイベントデータをまとめることで、イベント画像をフレーム周期で生成することができる。

（1-2．第一実施形態としてのセンサ部）
　図６は、第一実施形態としてのセンサ部１の内部構成例を示した図である。
　センサ部１は、本技術に係る信号処理装置、センサ装置の一実施形態である。
　図示のようにセンサ部１は、先の図１で示した階調画像生成部１０及びイベント画像生成部２０と共に、画像信号処理部１１、輝度信号化部１２、通信部１３、強調エリア・強調方向検出部１４、及びエッジ強調部１５を備えている。
　センサ部１は、階調画像生成部１０における階調画素群とイベント画像生成部２０におけるイベント画素群とを含む画素アレイ部１ａが形成された半導体基板と、画素アレイ部１ａ以外の他の回路部が形成された一又は複数の半導体基板とが積層されて一つの半導体パッケージとして構成されている。

　図示のように階調画像生成部１０により得られたＲＡＷ画像による階調画像は画像信号処理部１１に入力される。画像信号処理部１１は、入力されたＲＡＷ画像による階調画像について、デモザイク処理を行い、ＲＧＢのカラー画像を生成する。ここで言うデモザイク処理とは、画素アレイ部１ａの各画素位置（イベント画素２０ｇの画素位置も含む）ごとにＲ、Ｇ、Ｂの各色の輝度値を算出する処理を意味する。

　通信部１３は、センサ部１の外部装置、具体的に本例では図１に示した画像使用処理部２との間で、所定のデータ通信フォーマットに従ったデータ通信を行う。
　画像信号処理部１１によりＲＧＢのカラー画像の形式とされた階調画像は、通信部１３を介して画像使用処理部２の入力画像として出力される。

　イベント画像生成部２０により生成されたイベント画像は、エッジ強調部１５に入力される。
　エッジ強調部１５は、イベント画像生成部２０より入力したイベント画像についてのエッジ強調処理を行う。具体的に、エッジ強調部１５は、階調画像生成部１０により生成された階調画像に基づいて検出された被写体のエッジ方向に基づき、イベント画像のエッジ強調処理を行う。

　本例では、階調画像に基づく被写体のエッジ方向の検出は、強調エリア・強調方向検出部１４が、輝度信号化部１２により生成される輝度信号画像に基づいて行う。

　輝度信号化部１２は、階調画像生成部１０により生成された階調画像について、画素ユニットＧｕごとにＲ、Ｇ、Ｂの輝度値を所定比率で加算することで、輝度信号画像（モノクロ画像）を生成する。

　図７は、輝度信号化部１２により得られる輝度信号画像とイベント画像生成部２０で生成されるイベント画像とを対比して示している。
　図示のように輝度信号画像（図中、右上の画像）は、画素ユニットＧｕの座標ごとに輝度信号の値（「Ｙ」）を示す画像として生成される。
　また、イベント画像（図中、右下の画像）は、画素ユニットＧｕの座標ごとにイベントの発生有無（検出有無）を示す画像として生成されるものである。

　上記のような輝度信号化部１２を設けて、強調エリア・強調方向検出部１４が輝度信号画像に基づきエッジ検出を行う構成を採ることで、エッジ検出をデモザイク後の画像に基づき行う場合と比較して、エッジ検出の処理で扱うデータ量の削減、及びエッジ検出に係る処理負担の軽減を図ることができる。

　図６において、強調エリア・強調方向検出部１４は、輝度信号化部１２で生成された輝度信号画像に基づき、被写体のエッジ検出処理を行うと共に、エッジ検出結果に基づき、エッジ強調単位エリア、及びエッジ強調単位エリアごとのエッジ強調方向を設定する処理を行う。

　図８は、輝度信号画像及びイベント画像それぞれにおける単位エリアＡｓの説明図である。
　先ず前提として、本例の輝度信号画像及びイベント画像においては、画素ユニットＧｕ一つ分に相当する領域が画像上の一画素とされている。
　図示のように単位エリアＡｓは、輝度信号画像、イベント画像のそれぞれにおいて、所定複数の画素で成るエリアを意味する。本例において、単位エリアＡｓは、水平方向画素数、垂直方向画素数の双方が複数とされたエリアとして定義される。図中では、図示の都合から、単位エリアＡｓが水平方向画素数×垂直方向画素数＝１０×１０＝１００画素で成るエリアであるものと示しているが、単位エリアＡｓの画素数はこれに限定されるものではない。一例として、単位エリアＡｓは、例えば輝度信号画像及びイベント画像の画素数が２４０×２４０＝５７６００画素であるのに対し、水平方向画素数×垂直方向画素数＝３０×３０＝９００画素で成るエリアであるとする。この場合、輝度信号画像及びイベント画像は、８×８＝６４個の単位エリアＡｓにより分割されるものとなる。

　図６において、強調エリア・強調方向検出部１４は、輝度信号画像を対象として、単位エリアＡｓごとにエッジ検出処理を行い、エッジが検出された単位エリアＡｓを、エッジ強調処理を行うべき単位エリアＡｓとしてのエッジ強調単位エリアとして設定する。
　さらに強調エリア・強調方向検出部１４は、エッジ強調単位エリアについて、検出したエッジの向く方向をエッジ強調方向として設定する。

　エッジ強調部１５は、強調エリア・強調方向検出部１４より、エッジ強調単位エリアを示す情報と、エッジ強調単位エリアごとに設定されたエッジ強調方向の情報とに基づき、イベント画像生成部２０より入力したイベント画像についてのエッジ強調処理を行う。具体的には、イベント画像における単位エリアＡｓのうち、エッジ強調単位エリアに該当する単位エリアＡｓのみを対象として、設定されたエッジ強調方向に従ったエッジ強調処理を行う。

　エッジ強調部１５によるエッジ強調処理が施されたイベント画像は、通信部１３に出力される。

　また、通信部１３には、強調エリア・強調方向検出部１４で得られたエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとに設定されたエッジ強調方向の情報も入力される。

　通信部１３は、エッジ強調処理が施されたイベント画像を、所定のデータ通信フォーマットに従ったデータ形式で画像使用処理部２に出力する。このとき、本例の通信部１３は、強調エリア・強調方向検出部１４より入力された情報、すなわちエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとに設定されたエッジ強調方向の情報に基づくエッジ強調関連情報をイベント画像のメタデータとして出力する処理を行うが、その詳細は後に改めて説明する。

　図９から図１１を参照し、第一実施形態としてのエッジ強調手法の具体例を説明する。
　図９は、第一実施形態としてのエッジ強調手法の概要を説明するための図である。
　図中では、階調画像のフレーム周期（つまり輝度信号画像のフレーム周期）と、イベント画像のフレーム周期との関係を例示している。前述もしたように、イベント画像のフレーム周期は、階調画像のフレーム周期よりも短周期とされている。

　本例では、階調画像に基づくエッジ方向の検出は、輝度信号画像のフレーム間差分画像を対象として行う。図中では、階調画像のＮ－１フレーム目とＮフレーム目の輝度信号画像のフレーム間差分画像を例示しているが、フレーム間差分画像では動体としての被写体のみが検出されるので、図中の例では、輝度信号画像に捉えられた車としての被写体（動物体）と人としての被写体（不動物体）のうち、車としての被写体のみが検出される。
　図中では、フレーム間差分画像の下方に、動物体としての車の被写体のＮ－１フレーム目からＮフレーム目にかけての画像内における移動範囲を模式的に示している。

　本例における強調エリア・強調方向検出部１４は、上記のような輝度信号画像のフレーム間差分画像を生成し、該フレーム間差分画像を対象とした単位エリアＡｓごとのエッジ検出を行い、さらに、単位エリアＡｓごとのエッジ検出結果に基づき、エッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。

　そして、エッジ強調部１５は、このように設定されたエッジ強調単位エリアとエッジ強調方向の情報に従ってイベント画像についてのエッジ強調処理を行うが、この場合、これらエッジ強調単位エリアとエッジ強調方向の情報が得られるのは、Ｎフレーム目の階調画像（輝度信号画像）が得られた以降となるので、エッジ強調処理は、Ｎ＋１フレーム目のフレーム期間中に生成される各イベント画像を対象として行う。

　図１０は、エッジ強調単位エリアごとに定めるエッジ強調方向の説明図である。
　図示のように本例では、エッジ強調方向として八つの方向を定義している。具体的には、輝度信号画像及びイベント画像の水平方向を０度としたときに、２２．５度刻みで１５７．５度までの八つの方向を定義している。
　なお、エッジ強調方向の数を８とするのはあくまで一例であり、エッジ強調方向の数は任意に定義することができる。

　本例における強調エリア・強調方向検出部１４は、エッジ強調単位エリアごとのエッジ強調方向の設定において、検出されたエッジが向く方向に応じてこれら八つの方向のうちの一つの方向をエッジ強調方向として設定する。このとき、複数の方向のエッジが検出されている場合には、それらエッジのうち支配的なエッジ（例えば、最長のエッジ）の方向をエッジ強調方向とすることが考えられる。或いは、検出された各エッジを方向別に分類したときに最もエッジ数の多い方向をエッジ強調方向として設定すること等も考えられる。
　何れにしろ、エッジ強調単位エリアごとのエッジ強調方向の設定では、エッジ強調単位エリアにおいて支配的なエッジ方向をエッジ強調方向として設定すればよい。

　図１１は、実施形態におけるエッジ強調処理の例の説明図である。
　本例において、エッジ強調処理は、階調画像に基づき検出されたエッジ方向（エッジ強調方向）においてイベント非検出画素を介して二つのイベント検出画素が離隔して存在する場合に、当該イベント非検出画素をイベント検出画素に置換することで行う。

　具体的に、本例のエッジ強調処理では、先ず、エッジ強調単位エリアとしての単位エリアＡｓにおいて、エッジ強調のための探索範囲Ｓを定める。この探索範囲Ｓは、エッジ強調方向に並ぶ複数画素の範囲として定める。図中では、処理対象とするエッジ強調単位エリアについて設定されたエッジ強調方向が０度の方向である場合に対応して、水平方向に並ぶ７画素の範囲を探索範囲Ｓとして定めた例を示している。
　探索範囲Ｓは、処理対象とする画素（処理対象座標）を中心とした範囲として定める。

　この場合のエッジ強調処理は、イベント画像のエッジ強調単位エリア内において、処理対象とする画素（処理対象座標）を一つずつずらしながら実行するものであり、具体的には、先ず、処理対象座標がイベントの検出されてないイベント非検出座標であるか否かを判定し、処理対象座標がイベント非検出座標であれば、処理対象座標を中心した探索範囲Ｓ内において、処理対象座標が二つのイベント検出座標（図中「Ｅ」と表す）によって挟まれているか否かを判定する。そして、処理対象座標が二つのイベント検出座標によって挟まれていれば、処理対象座標としてのイベント非検出座標を、イベント検出座標に設定する処理を行う。

　本例のエッジ強調部１５は、上記のような処理を、エッジ強調単位エリアごとに実行する。これにより、イベント画像のエッジ強調を実現できる。

　ここで、本例のようにイベントとして正極性イベントと負極性イベントを検出し分ける場合には、イベント画像のエッジ強調は、正極性イベントのエッジと、負極性イベントのエッジのそれぞれについて個別に行うようにすることが考えられる。
　この場合におけるエッジ強調処理では、処理対象座標ごとの処理として、探索範囲Ｓ内において処理対象座標が二つの正極性イベント検出座標に挟まれているとの条件と、二つの負極性イベント検出座標に挟まれているとの条件の何れかを満たす状態であるかを判定し、前者の条件が満たされる場合には、イベント非検出座標としての処理対象座標を正極性イベント検出座標に設定し、後者の条件が満たされる場合にはイベント非検出座標としての処理対象座標を負極性イベント検出座標に設定することが考えられる。

（1-3．処理手順）
　図１２は、強調エリア・強調方向検出部１４が実行する具体的な処理手順の例を示したフローチャートである。
　強調エリア・強調方向検出部１４はステップＳ１０１で、階調画像の新たなフレーム画像を入力する。すなわち、本例においては、輝度信号化部１２により新たな生成された輝度信号画像のフレーム画像を入力する。

　ステップＳ１０１に続くステップＳ１０２で強調エリア・強調方向検出部１４は、フレーム間差分画像、すなわち輝度信号画像のフレーム間差分画像を生成し、さらに続くステップＳ１０３で、差分画像（フレーム間差分画像）についてエッジ検出処理を行う。

　ステップＳ１０３に続くステップＳ１０４で強調エリア・強調方向検出部１４は、エッジが検出された単位エリアをエッジ強調単位エリアに設定する処理を行う。

　そして、ステップＳ１０４に続くステップＳ１０５で強調エリア・強調方向検出部１４は、エッジ強調単位エリアごとに、検出されたエッジの向く方向をエッジ強調方向として設定する処理を行い、図１２に示す一連の処理を終える。
　なお、エッジ強調単位エリアごとにエッジ強調方向を設定する処理の詳細については既に説明済みであるため重複説明は避ける。

　図１３は、エッジ強調部１５が実行する具体的な処理手順の例を示したフローチャートである。
　ステップＳ２０１でエッジ強調部１５は、単位エリア識別子Ｍを０リセットする処理を行い、続くステップＳ２０２で、Ｍ番目の単位エリアＡｓはエッジ強調単位エリアであるか否かを判定する。この判定処理は、強調エリア・強調方向検出部１４より入力したエッジ強調単位エリアを示す情報に基づいて行うことができる。

　ステップＳ２０２において、Ｍ番目の単位エリアＡｓがエッジ強調単位エリアであると判定した場合、エッジ強調部１５はステップＳ２０３に進み、画素座標識別子Ｔを０リセットした上で、ステップＳ２０４でＭ番目の単位エリアＡｓ内のＴ番目座標はイベント検出座標か否かを判定する。

　ステップＳ２０４において、Ｍ番目の単位エリアＡｓ内のＴ番目座標がイベント検出座標でない（つまりイベント非検出座標である）と判定した場合、エッジ強調部１５はステップＳ２０５に進み、Ｍ番目単位エリアのエッジ強調方向情報を取得した上で、続くステップＳ２０６で、Ｔ番目座標に対する探索範囲Ｓをエッジ強調方向に基づき設定する。

　そして、ステップＳ２０６に続くステップＳ２０７でエッジ強調部１５は、探索範囲Ｓ内において、Ｔ番目座標がイベント検出座標に挟まれているか否かを判定し、Ｔ番目座標がイベント検出座標に挟まれていれば、ステップＳ２０８に進み、Ｔ番目座標をイベント検出座標に設定し、処理をステップＳ２０９に進める。

　ステップＳ２０９でエッジ強調部１５は、画素座標識別子Ｔが上限値Ｔｍａｘに達したか否かを判定する。ここで、上限値Ｔｍａｘは、処理対象としている単位エリアＡｓ（エッジ強調単位エリア）の総画素数を意味するものであり、ステップＳ２０９は、処理対象としているエッジ強調単位エリア内の全ての画素について処理を実行したか否かを判定する処理に相当する。

　ステップＳ２０９において、画素座標識別子Ｔが上限値Ｔｍａｘに達していなければ、エッジ強調部１５はステップＳ２１０で画素座標識別子Ｔを１インクリメントした後、先のステップＳ２０４に戻る。これにより、新たな画素を対象としてステップＳ２０４からＳ２０８の処理を実行可能となる。

　ここで、エッジ強調部１５は、ステップＳ２０４でＭ番目の単位エリアＡｓ内のＴ番目座標がイベント検出座標であると判定した場合は、ステップＳ２０９に処理を進める。すなわち、処理対象座標がイベント検出座標である場合には、処理対象座標をイベント検出座標に設定する処理は不要であるため、ステップＳ２０５からＳ２０８の処理がパスされる。

　また、エッジ強調部１５は、ステップＳ２０７で探索範囲Ｓ内においてＴ番目座標がイベント検出座標に挟まれていないと判定した場合は、ステップＳ２０９に処理を進める。すなわち、探索範囲Ｓ内においてＴ番目座標がイベント検出座標に挟まれていない場合には、イベント非検出座標としての処理対象座標をイベント検出座標に設定する処理は行われない。

　エッジ強調部１５は、ステップＳ２０９で画素座標識別子Ｔが上限値Ｔｍａｘに達したと判定した場合は、ステップＳ２１１に処理を進めて、単位エリア識別子Ｍが上限値Ｍｍａｘに達したか否かを判定する。ここで、上限値Ｍｍａｘは、イベント画像を単位エリアＡｓを分割単位として分割した際の単位エリアＡｓの総数を意味するものであり、ステップＳ２１１は、全ての単位エリアＡｓについて処理を実行したか否かを判定する処理に相当する。

　ステップＳ２１１において、単位エリア識別子Ｍが上限値Ｍｍａｘに達してはいないと判定した場合、エッジ強調部１５はステップＳ２１２で単位エリア識別子Ｍを１インクリメントした上で、先のステップＳ２０２に戻る。これにより、一つの単位エリアＡｓについての処理の完了に応じて、次の単位エリアＡｓを対象とした処理が開始される。
　具体的に、ステップＳ２０２でＭ番目の単位エリアＡｓがエッジ強調単位エリアであると判定された場合は、エッジ強調のためにステップＳ２０３以降の処理が実行される。

　一方、ステップＳ２０２において、Ｍ番目の単位エリアＡｓがエッジ強調単位エリアではないと判定した場合、エッジ強調部１５は上述したステップＳ２１１に処理を進める。これにより、エッジ強調単位エリア以外の単位エリアＡｓについては、エッジ強調のための処理が行われない。
　従って、階調画像（輝度信号画像）側でエッジが検出されていない単位エリアＡｓまで不必要にイベント画像のエッジ強調が行われないように図られるため、イベント画像についてのエッジ強調処理の精度向上を図ることができる。また、エッジ強調処理が不必要な単位エリアＡｓについてのエッジ強調処理が省略されるため、処理負担軽減が図られる。

　ステップＳ２１１において、単位エリア識別子Ｍが上限値Ｍｍａｘに達していると判定した場合、エッジ強調部１５は図１３に示す一連の処理を終える。

　なお、上述したように、イベントとして正極性イベントと負極性イベントを検出し分ける場合には、イベント画像のエッジ強調は、正極性イベントのエッジと、負極性イベントのエッジのそれぞれについて個別に行うようにすることもできる。その場合におけるエッジ強調処理の具体例については既に説明したため、重複説明は避ける。

（1-4．エッジ強調関連情報について）
　先に述べたように、本例における通信部１３（図６参照）は、エッジ強調関連情報をイベント画像のメタデータとして出力する処理を行う。
　メタデータとしてのエッジ強調関連情報は、通信部１３が所定のデータ通信フォーマットに従ってイベント画像を送出する際の、例えばパケットデータ等の所定の出力単位データ中における所定のデータ領域に格納すればよい。

　図１４から図１６は、メタデータとしてのエッジ強調関連情報の格納例を説明するための図である。具体的に、ここでは、通信部１３がＭＩＰＩ（Mobile Industry Processor Interface）フォーマットに従ったデータ通信を行う場合に対応したエッジ強調関連情報の格納例を説明する。
　図１４は、ＭＩＰＩフォーマットにおけるパケットデータに定義されるフレーム先頭のEmbedded Data（ＥＭＢ）領域にエッジ強調関連情報を格納する例を示し、図１５は、同パケットデータに定義されるフレーム末端部のEmbedded Data領域にエッジ強調関連情報を格納する例を示している。また、図１６は、同パケットデータに定義される各ラインの先頭部にエッジ強調関連情報を格納する例を示している。

　ここで、図１４のようにフレーム先頭部のEmbedded Data領域を対象とする場合、エッジ強調関連情報としては、例えば、エッジ強調単位エリアの座標情報や、どの単位エリアがエッジ強調単位エリアであるかを示す情報を格納することが考えられる。これらの情報は、強調エリア・強調方向検出部１４から入力されるエッジ強調単位エリアを示す情報に基づき通信部１３で生成することができる。
　また、この場合におけるエッジ強調関連情報としては、エッジ強調方向の検出元となった階調画像を示す情報（例えば、フレームナンバやタイムスタンプ等）を格納することも考えられる。
　例えば、これらのエッジ強調関連情報をフレーム先頭に格納することで、画像使用処理部２においては、該当するフレームのイベント画像を入力画像とする画像解析処理において、例えばエッジ強調の有無に応じた画像信頼性の評価結果に基づいて画像処理の手法を選択する等の対応処理を行うことができ、イベント画像を入力画像とした画像解析処理の精度向上が図られるようにすることができる。

　また、図１５のようにフレーム末端部のEmbedded Data領域を対象とする場合、エッジ強調関連情報としては、例えば、各単位エリアＡｓのエッジ強調の有無を示す情報を格納することができる。この、各単位エリアＡｓのエッジ強調の有無を示す情報は、実際にエッジ強調部１５によるエッジ強調処理を施したか否かを示す情報である。
　エッジ強調を実際に行ったか否かを示す情報をフレーム先頭のＥＭＢ領域に格納しようとすると、出力が１フレーム遅れる。フレーム最後のＥＭＢ領域に格納することで、そのように出力が１フレーム遅れてしまうことの防止を図ることができ、後段の画像解析処理のリアルタイム性の面で有利である。

　図１６のようにラインの先頭部を対象とする場合、エッジ強調関連情報としては、当該ラインにおけるエッジ強調単位エリアの有無を示す情報や、当該ラインにおける各単位エリアＡｓのエッジ強調の有無を示す情報を格納することが考えられる。
　これにより、画像使用処理部２側で入力画像中の関心領域（ＲＯＩ：Region Of Interest）のみを処理に使用する場合、エッジ強調単位エリア無しのライン、又は、エッジ強調有の単位エリアが一つも存在しないラインを、処理対象から除外することができ、後段の画像解析処理の演算負荷軽減を図ることができる。

　図１７のブロック図を参照して、エッジ強調関連情報を用いて演算負荷軽減を図る場合の画像使用処理部２の構成例及び動作例について説明する。
　この場合の画像使用処理部２は、図示のように通信部２ａ、関心領域使用処理部２ｂ、及び関心領域検出処理部２ｃを備える。
　通信部２ａは、通信部３より出力されたデモザイク後の階調画像と、同じく通信部３より出力される、エッジ強調関連情報がメタデータとして格納されたイベント画像のパケットデータとを受信する。通信部２ａは、該パケットデータからイベント画像、エッジ強調関連情報としてのメタデータをそれぞれ抽出し、デモザイク後の階調画像、及びイベント画像を関心領域使用処理部２ｂに出力し、メタデータ（エッジ強調関連情報）を関心領域検出処理部２ｃに出力する。

　関心領域検出処理部２ｃは、入力したエッジ強調関連情報に基づき、階調画像やイベント画像における関心領域を検出する。具体的には、階調画像、イベント画像それぞれについて、エッジ強調単位エリアに該当する画像エリアを関心領域として検出する。

　関心領域使用処理部２ｂでは、関心領域検出処理部２ｃが検出した関心領域を対象として画像解析処理を行う。
　ここで、この場合における画像解析処理としては、例えば、人や車両等の特定被写体を対象とした監視処理や顔認識処理、ＳＬＡＭ（Simultaneous Localization and Mapping）処理、アイトラッキングの処理、ハンドトラッキングの処理等を挙げることができる。

＜２．第二実施形態＞
　続いて、第二実施形態について説明する。
　第二実施形態は、階調画像側とイベント画像側との間でエッジ強調を相互に行うものである。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

　図１８は、第二実施形態としてのセンサ部１Ａの内部構成例を示したブロック図である。
　第二実施形態において、撮像装置１００の構成は、センサ部１に代えてセンサ部１Ａが設けられた点以外は第一実施形態の場合と同様となることから図示による説明は省略する。

　先の図６と対比して分かるように、センサ部１Ａは、センサ部１と比較して、輝度信号化部１２が省略された点と、強調エリア・強調方向検出部１６及びエッジ強調部１７が追加された点が異なる。

　強調エリア・強調方向検出部１６は、イベント画像生成部２０より入力したイベント画像に基づき、被写体のエッジ方向を検出する。本例では、強調エリア・強調方向検出部１６としても、強調エリア・強調方向検出部１４と同様の手法により、単位エリアＡｓごとのエッジ検出を行った結果に基づき、エッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。
　ここで、イベント画像は動物体としての被写体を検出した画像とみなすことができるため、階調画像の場合のようにフレーム間画像を生成する必要性はない。この点より、強調エリア・強調方向検出部１６は、１フレーム分のイベント画像を対象として、単位エリアＡｓごとのエッジ検出を行い、その結果に基づき、エッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。

　エッジ強調部１７は、画像信号処理部１１によりデモザイク処理が施された後の階調画像（ＲＧＢのカラー画像）を対象として、強調エリア・強調方向検出部１６で得られたエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとのエッジ強調方向を示す情報に基づくエッジ強調処理を行う。すなわち、エッジ強調部１７は、イベント画像に基づき検出された被写体のエッジ方向に基づき、デモザイク後の階調画像についてのエッジ強調処理を行うものである。
　ここで、エッジ強調部１７は、デモザイク後の階調画像について、強調エリア・強調方向検出部１６で設定されたエッジ強調単位エリアに相当する画像エリアごとに、エッジ強調方向を示す情報に従ったエッジ強調処理を行う。

　図示のように、センサ部１Ａにおいては、エッジ強調部１７によりエッジ強調されたデモザイク後の階調画像が通信部１３に入力され、画像使用処理部２に対して出力される。

　この場合の強調エリア・強調方向検出部１４は、エッジ強調部１７によりエッジ強調処理が施された階調画像に基づき、エッジ方向を検出する。具体的には、エッジ強調部１７によるエッジ強調処理後の階調画像について、フレーム間差分画像を生成し、該フレーム間差分画像における単位エリアＡｓに相当する画像エリアごとにエッジ検出を行い、その結果に基づき、エッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。

　この場合もエッジ強調部１５は、強調エリア・強調方向検出部１４により設定されたエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとのエッジ強調方向を示す情報に従って、イベント画像生成部２０が生成したイベント画像を対象として、第一実施形態の場合と同様の手法でエッジ強調処理を行う。

　この場合におけるエッジ強調部１５は、階調画像についてエッジ強調を行うエッジ強調部１７によるエッジ強調後の画像に基づき検出されたエッジ方向に基づき、イベント画像のエッジ強調処理を行うものとなる。
　これにより、イベント画像側と階調画像側との間の相互のエッジ補間が実現され、イベント画像のエッジ強調処理についてさらなる精度向上を図ることができる。

　ここで、上記では、エッジ強調部１７が、エッジ強調が行われていないイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行う例としたが、エッジ強調部１７が、エッジ強調後のイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行うように構成することも考えられる。

　図１９は、このようにエッジ強調部１７がエッジ強調後のイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行う場合の動作例を説明するための図である。
　先ず、図中＜１＞と示すように、Ｎ－１フレーム目のフレーム期間において、イベント画像に基づくエッジ方向検出が行われたとする。上記説明から理解されるように、イベント画像に基づくエッジ方向の検出は、強調エリア・強調方向検出部１６が行うものである。

　エッジ強調部１７がエッジ強調後のイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行う場合には、強調エリア・強調方向検出部１６には、エッジ強調部１５によるエッジ強調処理後のイベント画像が入力されるように構成する。

　次いで、＜２＞と示すように、＜１＞で検出したエッジ方向に基づき、Ｎ－１フレーム目の階調画像（デモザイク後の階調画像）のエッジ強調を行う（エッジ強調部１７）。
　そして、＜３＞と示すように、エッジ強調後のＮ－１フレーム目の階調画像に基づくエッジ方向検出を行う（強調エリア・強調方向検出部１６）。

　さらに、＜４＞と示すように、＜３＞で検出したエッジ方向に基づき、Ｎフレーム目のフレーム期間で得られるイベント画像のエッジ強調を行う（エッジ強調部１５）。
　またさらに、＜５＞と示すように、Ｎフレーム目のフレーム期間におけるイベント画像から検出されたエッジ方向に基づき、Ｎフレーム目の階調画像のエッジ強調を行う（エッジ強調部１７）。

　このようにイベント画像側と階調画像側との間の相互のエッジ補間としては、エッジ強調部１７がエッジ強調後のイベント画像に基づき検出されたエッジ方向に基づいて階調画像のエッジ強調を行う形態も考えられ、この場合も、イベント画像のエッジ強調処理についてさらなる精度向上を図ることができる。

　なお、上記では階調画像側のエッジ強調処理として、デモザイク後の階調画像を対象としたエッジ強調処理を行う例を挙げたが、第一実施形態のように輝度信号化部１２を設ける場合で、且つ輝度信号画像を画像使用処理部２の入力画像として出力する構成が採られる場合等には、輝度信号化部１２が生成した輝度信号画像に対してエッジ強調処理を施すことも考えられる。そしてこの場合には、第一実施形態の場合と同様に、強調エリア・強調方向検出部１４が、輝度信号化部１２が生成した輝度信号画像に基づきエッジ方向検出を行う構成を採ることもできる。

　また、階調画素群により得られる階調画像がモノクロ画像である場合には、デモザイク処理を行う必要がないため、階調画素群により得られる階調画像そのものを対象として、イベント画像に基づき検出したエッジ方向に基づくエッジ強調処理を行うことも考えられる。

＜３．第三実施形態＞
　第三実施形態は、イベント画像のエッジ強調処理として、階調画像に基づく被写体のエッジ検出結果と、イベント画像に基づく被写体のエッジ検出結果とに基づいたエッジ強調処理を行うものである。

　図２０は、第三実施形態としてのセンサ部１Ｂの内部構成例を示したブロック図である。
　第三実施形態において、撮像装置１００の構成は、センサ部１に代えてセンサ部１Ｂが設けられた点以外は第一実施形態の場合と同様となることから図示による説明は省略する。

　先の図６と対比して分かるように、センサ部１Ｂは、センサ部１と比較して、強調エリア・強調方向検出部１６が追加された点と、エッジ強調部１５に代えてエッジ強調部１５Ｂが設けられた点とが異なる。

　先の第二実施形態で説明したように、強調エリア・強調方向検出部１６は、イベント画像生成部２０が生成したイベント画像を入力し、単位エリアＡｓごとにエッジ検出を行い、該エッジ検出の結果に基づき、エッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。

　エッジ強調部１５Ｂは、強調エリア・強調方向検出部１４により得られる、階調画像に基づく被写体のエッジ検出結果と、強調エリア・強調方向検出部１６により得られる、イベント画像に基づく被写体のエッジ検出結果とに基づいて、イベント画像のエッジ強調処理を行う。

　具体的に、エッジ強調部１５Ｂは、単位エリアＡｓごとの処理として、強調エリア・強調方向検出部１４、１６の何れか一方によりエッジが検出されている単位エリアＡｓを対象として、エッジ強調方向の情報に基づくエッジ強調処理を行う。この場合、具体的な処理としては、強調エリア・強調方向検出部１４で設定されたエッジ強調単位エリアと、強調エリア・強調方向検出部１６で設定されたエッジ強調単位エリアの双方を対象として、エッジ強調方向の情報に基づくエッジ強調処理を行うものとすればよい。

　或いは、強調エリア・強調方向検出部１４、１６の双方でエッジが検出されている単位エリアＡｓを対象として、エッジ強調方向の情報に基づくエッジ強調処理を行うことも考えられる。

　なお、強調エリア・強調方向検出部１４と強調エリア・強調方向検出部１６とで、同一のエッジ強調単位エリアについて異なるエッジ強調方向が設定されることも考えられる。
　一般に、イベント画像に基づき検出されるエッジと階調画像に基づき検出されるエッジとでは、階調画像に基づき検出されるエッジの方が相対的に信頼性が高いものとなるため、このように異なるエッジ強調方向が設定される場合には、信頼性の低い強調エリア・強調方向検出部１６によるエッジ強調方向ではなく、強調エリア・強調方向検出部１４によるエッジ強調方向を採用することが考えられる。

＜４．変形例＞
　ここで、これまでに説明した具体例はあくまで一例であり、本技術は多様な変形例としての構成を採り得る。
　例えば、上記では、階調画像に基づく被写体のエッジ方向検出について、輝度信号画像のフレーム間差分画像を対象としたエッジ方向検出を行う例を挙げたが、エッジ方向の検出は、階調画像（例えばモノクロ画像の場合）、又はデモザイク後の階調画像や輝度信号画像等の、階調画像に基づき生成される画像の二値化画像を対象として行うこともできる。

　図２１に例示するように、二値化画像は、背景部分の被写体が除かれ、前景部分の被写体のみが抽出された画像とすることができるため、例えば背景の手前側を移動する移動物体となり得る被写体を対象としたエッジ強調を行う場合に好適である。
　図２１では、先の図９に示したＮフレーム目の画像について二値化処理を行って得られた二値化画像を例示している（図中、左側の画像）。この二値化画像についてエッジ検出を行ってエッジ強調単位エリアの設定を行った場合には、図中の梨地で示す単位エリアＡｓがエッジ強調単位エリアとして設定される。

　図２２は、このような二値化画像を対象としてエッジ方向検出を行う変形例としてのセンサ部１Ｃの内部構成例を示したフロック図である。
　ここでは、輝度信号化部１２が生成する輝度信号画像を対象としてエッジ方向検出を行う場合の構成例を示している。

　センサ部１Ｃは、強調エリア・強調方向検出部１４に代えて、強調エリア・強調方向検出部１４Ｃが設けられる点がセンサ部１の場合と異なる。
　強調エリア・強調方向検出部１４Ｃは、輝度信号化部１２が生成する輝度信号画像を二値化すると共に、該二値化により得られた二値化画像を対象として、単位エリアＡｓごとのエッジ検出、及び該エッジ検出の結果に基づくエッジ強調単位エリアの設定、及びエッジ強調単位エリアごとのエッジ強調方向の設定を行う。

　なお、この変形例においても、第三実施形態のようなイベント画像側と階調画像側との間の相互のエッジ補間を実現する構成を採ることもできる。

　また、上記では、画素アレイ部１ａにおける画素配列パターンとして、Ｒ、Ｇ、Ｂの各階調画素とイベント画素とで成る２×２＝４画素の画素ユニットＧｕが二次元に複数配列されたパターンを例示したが、画素アレイ部１ａにおける画素配列パターンについては、図２３に例示するように、Ｒ、Ｇ、Ｂ階調画素＝３２画素とイベント画素＝１画素とで成る画素ユニットＧｕ’が二次元に複数配列されたパターン等も採用することができる。
　具体的に、この場合における画素ユニットＧｕ’は、ＲＧＧＢによる４画素のベイヤ配列画素ユニットが水平方向及び垂直方向にそれぞれ三つ配列されると共に、中央の４画素分のサイズの領域に、１画素分のイベント画素が配置された画素ユニットとされている。
　この場合、画素ユニットＧｕ’における各ベイヤ配列画素ユニット単位で輝度信号値化すると、図中の右側に示すように、画素座標的には、中央のイベント画素の座標と、該イベント画素の周囲に存在する八つの輝度信号の画素座標とを同一座標として扱うことができる。
　例えば、単位エリアＡｓのサイズが１０画素×１０画素のサイズであるとすると、（Ｙ画素）３０画素×３０画素－１０画素×１０画素（Ｅ画素）＝８００画素のＹを使用して一つの単位エリアＡｓを演算する。

　また、上記では、階調画素群とイベント画素群とが混載された画素アレイ部１ａを有する、いわゆる混載センサとしての構成を採る場合を例示したが、階調センサとイベントセンサとが別体とされる場合にも本技術は好適に適用することができる。

　具体的には、図２４に示す撮像装置１００Ｄのように、階調画像を得るための階調画像生成部１０を有する階調センサ部１Ｓと、イベント画像を得るためのイベント画像生成部２０を有するイベントセンサ部１Ｉとを別々に備えた構成である。
　図示は省略するが、階調センサ部１Ｓは、画素アレイ部として階調画素群が配列された画素アレイ部を有し、階調画像生成部１０は、該画素アレイ部における階調画素群により検出された階調値に基づき階調画像を生成する。

　また、イベントセンサ部１Ｉは、画素アレイ部としてイベント画素群が配列された画素アレイ部（画素アレイ部１ａ’とする）を有し、イベント画像生成部２０は、画素アレイ部１ａ’におけるイベント画素群によるイベント検出結果に基づきイベント画像を生成する。

　ここで、上記のように階調センサ部１Ｓとイベントセンサ部１Ｉとが別々に設けられる場合には、各センサにおける画素アレイ部には、それぞれ異なる撮像レンズを介して被写体からの光が受光されることになる。そのため、階調画像に基づき検出したエッジ方向に基づきイベント画像のエッジ強調処理を行う場合には、階調画像とイベント画像との間で座標の位置合わせ処理を行う。

　図２５は、図２４に示す撮像装置１００Ｄの構成を採る場合における階調センサ部１Ｓ、イベントセンサ部１Ｉそれぞれの内部構成例を説明するための図である。
　この場合、階調画像に基づき検出したエッジ方向に基づきイベント画像のエッジ強調処理を適切に行うためには、階調センサ部１Ｓとイベントセンサ部１Ｉとの間でフレーム周期の同期をとることを要するため、図示のように階調センサ部１Ｓとイベントセンサ部１Ｉとの間で同期信号Ｓｙｎｃを共有する。

　図示のように階調センサ部１Ｓは、階調画像生成部１０と共に、画像信号処理部１１、輝度信号化部１２、階調エリア・強調方向検出部１４、及び通信部１３Ｓを備える。
　また、イベントセンサ部１Ｉは、イベント画像生成部２０と共に、エッジ強調部１５、及び通信部１３Ｉを備える。

　階調センサ部１Ｓとイベントセンサ部１Ｉとが別々に設けられる場合には、強調エリア・強調方向検出部１４で設定されたエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとのエッジ強調方向の情報を、階調センサ部１Ｓからイベントセンサ部１Ｉにおけるエッジ強調部１５に対して直接的に送信できない場合が考えられる。
　そのような場合、強調エリア・強調方向検出部１４で設定されたエッジ強調単位エリアを示す情報、及びエッジ強調単位エリアごとのエッジ強調方向の情報は、通信部１３Ｓを介して後段の画像使用処理部２に出力し、画像使用処理部２がエッジ強調部１５に転送する構成が考えられる。
　なお、このような構成を採る場合、エッジ強調関連情報としてのメタデータは、画像信号処理部１１によるデモザイク後の階調画像のメタデータとして通信部１３Ｓが出力する構成とすることも考えられる（特に、エッジ強調単位エリアの有無や座標情報をメタデータとする場合）。
　実際にエッジ強調を行ったか否かに係る情報をエッジ強調関連情報として出力する場合には、該エッジ強調関連情報は、エッジ強調後のイベント画像のメタデータとして、通信部１３Ｉが出力することが考えられる。

　なお、上記変形例のように階調センサ部１Ｓとイベントセンサ部１Ｉとを別々に設けた場合にも、第二実施形態で説明したような相互のエッジ補間を実現する構成を適用できる。その場合、イベント画像に基づき検出されたエッジ強調単位エリアやエッジ強調方向の情報を、イベントセンサ部１Ｉから画像使用処理部２を経由して階調センサ部１Ｓ側のエッジ強調部（エッジ強調部１７）に転送することが考えられる。

　また、階調センサ部１Ｓとイベントセンサ部１Ｉとを別々に設けた場合には、画像使用処理部２が階調画像に基づくエッジ方向検出を行い、その結果をイベントセンサ部１Ｉに出力する構成も考えられる。

　また、上記では、イベント画素群が配列された画素アレイ部とエッジ強調部１５を含む信号処理回路部とが一体に形成された構成を例示したが、これらを別体とする構成も考えられる。その場合、エッジ強調部１５を含む信号処理回路部は、イベント画素群が配列された画素アレイ部を有するイベントセンサから出力されるイベント画像を対象としてエッジ強調処理を行う。

　ここで、本技術によれば、イベント画像のエッジが強調（補間）されるので、稼働するイベント画素の数を間引いても、欠落部分が補間された適切なイベント画像を得ることができる。このとき、稼働するイベント画素の数が間引かれることで、センサの消費電力削減を図ることができる。また、扱うべきイベントデータの量も削減されるので、イベントデータを扱う信号処理部の消費電力削減も図ることができる。

＜５．実施形態のまとめ＞
　上記のように実施形態としての信号処理装置（センサ部１、１Ａ、１Ｂ、１Ｃ、イベントセンサ部１Ｉ）は、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、イベント画像のエッジ強調処理を行う第一エッジ強調部（エッジ強調部１５、１５Ｂ）を備えたものである。
　上記のように階調画像に基づいて検出された被写体のエッジ方向に基づきイベント画像のエッジ強調処理を行うことで、被写体のエッジの欠落部分のみを適切に補間することが可能となる。
　従って、イベント画像のエッジ強調処理について精度向上を図ることができる。

　また、実施形態としての信号処理装置においては、第一エッジ強調部は、階調画像に基づき検出されたエッジ方向においてイベント非検出画素を介して二つのイベント検出画素が離隔して存在する場合に、当該イベント非検出画素をイベント検出画素に置換することでエッジ強調を行っている。
　これにより、イベント画像における被写体のエッジを、階調画像に基づき検出された被写体のエッジ方向に基づいて適切に強調することができる。

　さらに、実施形態としての信号処理装置においては、第一エッジ強調部は、階調画像に基づく画像である階調依拠画像（フレーム間差分画像、二値化画像）を所定複数画素で成る単位エリア（同Ａｓ）を分割単位として分割した際における各単位エリアのうち、被写体のエッジが検出された単位エリアであるエッジ強調単位エリアを示す情報を入力し、イベント画像におけるエッジ強調単位エリアに該当する単位エリアのみを対象としてエッジ強調処理を行っている。
　これにより、階調依拠画像側でエッジが検出されていない単位エリアまで不必要にイベント画像のエッジ強調が行われないように図られる。
　従って、イベント画像についてのエッジ強調処理の精度向上を図ることができる。

　さらにまた、実施形態としての信号処理装置においては、第一エッジ強調部は、エッジ強調単位エリアごとに検出されたエッジ方向に基づいて、エッジ強調処理をイベント画像の単位エリアごとに行っている。
　これにより、エッジ強調の処理単位が所定複数画素で成る単位エリアごとの単位となり、エッジ強調に要する演算負担の軽減化を図った効率的なエッジ強調処理を実現することができる。

　また、実施形態としての信号処理装置（センサ部１、１Ａ、１Ｂ、イベントセンサ部１Ｉ）においては、階調依拠画像は階調画像のフレーム間差分画像である。
　フレーム間差分画像においては動体としての被写体のみが検出されるので、この場合におけるエッジ強調単位エリアは、動体としての被写体のエッジのみが検出された単位エリアとして設定される。
　従って、背景部分における被写体のエッジ等、不要なエッジに反応してイベント画像のエッジ強調が行われてしまうことの防止が図られ、エッジ強調の正確性向上を図ることができる。

　さらに、実施形態としての信号処理装置（センサ部１Ｃ）においては、階調依拠画像は二値化画像である。
　二値化画像についてエッジ検出を行うことで、背景部分における被写体のエッジが検出されないように図ることが可能となる。
　従って、不要なエッジに反応してイベント画像のエッジ強調が行われてしまうことの防止が図られ、エッジ強調の正確性向上を図ることができる。

　さらにまた、実施形態としての信号処理装置（センサ部１Ａ）においては、イベント画像に基づき検出された被写体のエッジ方向に基づき、階調画像又は階調画像に基づく画像である階調依拠画像についてのエッジ強調処理を行う第二エッジ強調部（エッジ強調部１７）を備え、第一エッジ強調部は、第二エッジ強調部によりエッジ強調された画像に基づき検出されたエッジ方向に基づき、イベント画像のエッジ強調処理を行っている。
　これにより、イベント画像側と階調画像側との間の相互のエッジ補間が実現される。
　従って、イベント画像のエッジ強調処理についてさらなる精度向上を図ることができる。

　また、実施形態としての信号処理装置（センサ部１Ｂ）においては、第一エッジ強調部（エッジ強調部１５Ｂ）は、階調画像に基づく被写体のエッジ検出結果とイベント画像に基づく被写体のエッジ検出結果とに基づいてイベント画像のエッジ強調処理を行っている。
　階調画像に基づくエッジ検出結果のみでなくイベント画像に基づくエッジ検出結果も用いたエッジ強調処理とすることで、イベント画像のエッジ強調処理の精度向上を図ることができる。

　さらに、実施形態としての信号処理装置においては、第一エッジ強調部によるエッジ強調処理に関連する情報であるエッジ強調関連情報をイベント画像のメタデータとして出力する通信部（１３、１３Ｉ）を備えている。
　これにより、イベント画像を入力画像とする画像処理を後段において行う場合において、該画像処理の実行部に対し、例えば該イベント画像の何れのエリアにおいてエッジ強調処理が施されているかを示す情報等としてのエッジ強調関連情報をイベント画像のメタデータとして出力することが可能となる。
　従って、後段の画像処理の実行部は、エッジ強調関連情報に基づいて、例えばエッジ強調の有無に応じた画像信頼性の評価結果に基づいて画像処理の手法を選択したり、或いはエッジ強調されていない画像エリアは被写体が存在しないエリアであるとして画像処理の対象から除外したりする等、画像処理の精度向上や処理効率化の向上等を図るための対応処理を実行することができ、結果、イベント画像を入力画像として行われる画像処理について、精度向上や処理の効率化が図られるようにすることができる。

　さらにまた、実施形態としての信号処理装置においては、第一エッジ強調部は、階調画像に基づく画像である階調依拠画像を所定複数画素で成る単位エリアを分割単位として分割した際における各単位エリアのうち、被写体のエッジが検出された単位エリアであるエッジ強調単位エリアを示す情報を入力し、イベント画像におけるエッジ強調単位エリアに該当する単位エリアのみを対象としてエッジ強調処理を行い、エッジ強調関連情報は、イベント画像における何れの単位エリアがエッジ強調単位エリアであるかを示す情報、イベント画像における単位エリアごとのエッジ強調の有無を示す情報の少なくとも何れかを含んでいる。
　これにより、イベント画像を入力画像とする画像処理を後段において行う場合において、該画像処理の実行部が、何れの単位エリアがエッジ強調単位エリアであるかを示す情報や、イベント画像における単位エリアごとのエッジ強調の有無を示す情報に基づいた対応処理を行うことが可能となる。
　従って、イベント画像を入力画像として行われる画像処理について、精度向上や処理の効率化を図ることができる。

　また、実施形態としての信号処理装置（センサ部１、１Ａ、１Ｂ、１Ｃ）においては、イベント検出画素群と階調画素群とが同一の画像アレイ部（同１ａ）に形成されている。
　これにより、階調画像に基づき検出されたエッジ方向に基づいてイベント画像のエッジ強調処理を行うにあたり、階調画像とイベント画像との間の座標の位置合わせ処理を行う必要がなくなる。
　従って、イベント画像のエッジ強調処理を実現するにあたっての処理負担の軽減を図ることができる。

　さらに、実施形態としての信号処理装置においては、階調画像に基づきエッジ方向を検出するエッジ検出部（強調エリア・強調方向検出部１４、１４Ｃ）を備えている。
　すなわち、イベント画像のエッジ強調処理を行う第一エッジ強調部と、階調画像に基づき被写体のエッジ方向を検出するエッジ検出部とが同一の信号処理装置内に設けられた構成である。
　これにより、イベント画像のエッジ強調処理に用いるエッジ方向の情報を別装置から信号処理装置に転送する構成を採る必要がなくなり、イベント画像のエッジ強調処理を実現するにあたり、外部装置との間の通信処理を行う必要をなくすことができ、処理負担の軽減を図ることができる。

　実施形態としての信号処理方法は、信号処理装置が、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、イベント画像のエッジ強調処理を行う信号処理方法である。
　このような信号処理方法によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。

　また、実施形態としてのセンサ装置（センサ部１、１Ａ、１Ｂ、１Ｃ、イベントセンサ部１Ｉ）は、受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群が形成された画素アレイ部（同１ａ、１ａ’）と、画素アレイ部におけるイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、イベント画像のエッジ強調処理を行う第一エッジ強調部（エッジ強調部１５、１５Ｂ）と、を備えたものである。
　このようなセンサ装置によっても、上記した実施形態としての信号処理装置と同様の作用及び効果を得ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜６．本技術＞
　なお本技術は以下のような構成も採ることができる。
（１）
　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部を備えた
　信号処理装置。
（２）
　前記第一エッジ強調部は、
　前記階調画像に基づき検出された前記エッジ方向においてイベント非検出画素を介して二つのイベント検出画素が離隔して存在する場合に、当該イベント非検出画素をイベント検出画素に置換することでエッジ強調を行う
　前記（１）に記載の信号処理装置。
（３）
　前記第一エッジ強調部は、
　前記階調画像に基づく画像である階調依拠画像を所定複数画素で成る単位エリアを分割単位として分割した際における各前記単位エリアのうち、被写体のエッジが検出された前記単位エリアであるエッジ強調単位エリアを示す情報を入力し、前記イベント画像における前記エッジ強調単位エリアに該当する単位エリアのみを対象として前記エッジ強調処理を行う
　前記（１）又は（２）に記載の信号処理装置。
（４）
　前記第一エッジ強調部は、
　前記エッジ強調単位エリアごとに検出された前記エッジ方向に基づいて、前記エッジ強調処理を前記イベント画像の単位エリアごとに行う
　前記（３）に記載の信号処理装置。
（５）
　前記階調依拠画像は前記階調画像のフレーム間差分画像である
　前記（３）又は（４）に記載の信号処理装置。
（６）
　前記階調依拠画像は二値化画像である
　前記（３）又は（４）に記載の信号処理装置。
（７）
　前記イベント画像に基づき検出された被写体のエッジ方向に基づき、前記階調画像又は前記階調画像に基づく画像である階調依拠画像についてのエッジ強調処理を行う第二エッジ強調部を備え、
　前記第一エッジ強調部は、
　前記第二エッジ強調部によりエッジ強調された画像に基づき検出された前記エッジ方向に基づき、前記イベント画像のエッジ強調処理を行う
　前記（１）から（６）の何れかに記載の信号処理装置。
（８）
　前記第一エッジ強調部は、
　前記階調画像に基づく被写体のエッジ検出結果と前記イベント画像に基づく被写体のエッジ検出結果とに基づいて前記イベント画像のエッジ強調処理を行う
　前記（１）から（７）の何れかに記載の信号処理装置。
（９）
　前記第一エッジ強調部によるエッジ強調処理に関連する情報であるエッジ強調関連情報を前記イベント画像のメタデータとして出力する通信部を備えた
　前記（１）から（８）の何れかに記載の信号処理装置。
（１０）
　前記第一エッジ強調部は、
　前記階調画像に基づく画像である階調依拠画像を所定複数画素で成る単位エリアを分割単位として分割した際における各前記単位エリアのうち、被写体のエッジが検出された前記単位エリアであるエッジ強調単位エリアを示す情報を入力し、前記イベント画像における前記エッジ強調単位エリアに該当する単位エリアのみを対象として前記エッジ強調処理を行い、
　前記エッジ強調関連情報は、
　前記イベント画像における何れの前記単位エリアが前記エッジ強調単位エリアであるかを示す情報、前記イベント画像における前記単位エリアごとのエッジ強調の有無を示す情報の少なくとも何れかを含む
　前記（９）に記載の信号処理装置。
（１１）
　前記イベント検出画素群と前記階調画素群とが同一の画像アレイ部に形成された
　前記（１）から（１０）の何れかに記載の信号処理装置。
（１２）
　前記階調画像に基づき前記エッジ方向を検出するエッジ検出部を備えた
　前記（１）から（１１）の何れかに記載の信号処理装置。
（１３）
　信号処理装置が、
　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う
　信号処理方法。
（１４）
　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群が形成された画素アレイ部と、
　前記画素アレイ部における前記イベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部と、を備えた
　センサ装置。

１００，１００Ｄ　撮像装置
１，１Ａ，１Ｂ，１Ｃ　センサ部
１Ｓ　階調センサ部
１Ｉ　イベントセンサ部
１ａ　画素アレイ部
２０ｇ　イベント画素
１０ｇｒ，１０ｇｇ，１０ｇｂ　階調画素
Ｇｕ，Ｇｕ’　画素ユニット
２　画像使用処理部
２ａ　通信部
２ｂ　関心領域使用処理部
２ｃ　関心領域検出処理部
３　通信部
１０　階調画像生成部
１１　画像信号処理部
１２　輝度信号化部
１３，１３Ｓ，１３Ｉ　通信部
１４，１４Ｃ　強調エリア・強調方向検出部
１５，１５Ｂ　エッジ強調部
１６　強調エリア・強調方向検出部
１７　エッジ強調部
２０　イベント画像生成部
２１　Ｘアービタ
２２　Ｙアービタ
２３　イベント処理回路
２４　出力Ｉ／Ｆ
３１　対数変換部
３２　バッファ
３３　イベント検出回路
３４　減算器
３５　量子化器
３６　出力制御・リセット回路
３７ｐ　正極側メモリ
３７ｍ　負極側メモリ
３８　出力回路
３９　ＯＲ回路
４０　遅延器

Claims

　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部を備えた
　信号処理装置。
　前記第一エッジ強調部は、
　前記階調画像に基づき検出された前記エッジ方向においてイベント非検出画素を介して二つのイベント検出画素が離隔して存在する場合に、当該イベント非検出画素をイベント検出画素に置換することでエッジ強調を行う
　請求項１に記載の信号処理装置。
　前記第一エッジ強調部は、
　前記階調画像に基づく画像である階調依拠画像を所定複数画素で成る単位エリアを分割単位として分割した際における各前記単位エリアのうち、被写体のエッジが検出された前記単位エリアであるエッジ強調単位エリアを示す情報を入力し、前記イベント画像における前記エッジ強調単位エリアに該当する単位エリアのみを対象として前記エッジ強調処理を行う
　請求項１に記載の信号処理装置。
　前記第一エッジ強調部は、
　前記エッジ強調単位エリアごとに検出された前記エッジ方向に基づいて、前記エッジ強調処理を前記イベント画像の単位エリアごとに行う
　請求項３に記載の信号処理装置。
　前記階調依拠画像は前記階調画像のフレーム間差分画像である
　請求項３に記載の信号処理装置。
　前記階調依拠画像は二値化画像である
　請求項３に記載の信号処理装置。
　前記イベント画像に基づき検出された被写体のエッジ方向に基づき、前記階調画像又は前記階調画像に基づく画像である階調依拠画像についてのエッジ強調処理を行う第二エッジ強調部を備え、
　前記第一エッジ強調部は、
　前記第二エッジ強調部によりエッジ強調された画像に基づき検出された前記エッジ方向に基づき、前記イベント画像のエッジ強調処理を行う
　請求項１に記載の信号処理装置。
　前記第一エッジ強調部は、
　前記階調画像に基づく被写体のエッジ検出結果と前記イベント画像に基づく被写体のエッジ検出結果とに基づいて前記イベント画像のエッジ強調処理を行う
　請求項１に記載の信号処理装置。
　前記第一エッジ強調部によるエッジ強調処理に関連する情報であるエッジ強調関連情報を前記イベント画像のメタデータとして出力する通信部を備えた
　請求項１に記載の信号処理装置。
　前記第一エッジ強調部は、
　前記階調画像に基づく画像である階調依拠画像を所定複数画素で成る単位エリアを分割単位として分割した際における各前記単位エリアのうち、被写体のエッジが検出された前記単位エリアであるエッジ強調単位エリアを示す情報を入力し、前記イベント画像における前記エッジ強調単位エリアに該当する単位エリアのみを対象として前記エッジ強調処理を行い、
　前記エッジ強調関連情報は、
　前記イベント画像における何れの前記単位エリアが前記エッジ強調単位エリアであるかを示す情報、前記イベント画像における前記単位エリアごとのエッジ強調の有無を示す情報の少なくとも何れかを含む
　請求項９に記載の信号処理装置。
　前記イベント検出画素群と前記階調画素群とが同一の画像アレイ部に形成された
　請求項１に記載の信号処理装置。
　前記階調画像に基づき前記エッジ方向を検出するエッジ検出部を備えた
　請求項１に記載の信号処理装置。
　信号処理装置が、
　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う
　信号処理方法。
　受光素子による受光量の所定量以上の変化をイベントとして検出するイベント画素を複数有して成るイベント検出画素群が形成された画素アレイ部と、
　前記画素アレイ部における前記イベント検出画素群によるイベント検出結果を示す画像であるイベント画像を入力すると共に、受光素子による受光量を所定階数の階調値により検出する階調画素を複数有して成る階調画素群により得られる階調画像に基づいて検出された被写体のエッジ方向に基づき、前記イベント画像のエッジ強調処理を行う第一エッジ強調部と、を備えた
　センサ装置。