JP6872877B2 - イメージ生成方法及び装置 - Google Patents

Description

本発明は、イメージ生成方法及びイメージ生成装置に関する。

フレーム基盤ビジョンセンサによって取得されたイメージに対するイメージ品質を改善するために、手の震えによって発生するブラー（Ｂｌｕｒ）を除去する技術、及び低照度で不鮮明なイメージをはっきりとする技術が存在する。フレーム基盤ビジョンセンサとは異なって、イベント基盤ビジョンセンサは、光の変化にだけ反応するため、動いている事物の輪郭線だけを検出する。イベント基盤ビジョンセンサによって取得されたイメージは、事物の輪郭線のみを検出することから、相対的に少ないデータ量による高速処理が可能であり、プライバシーの維持が可能である。但し、イベント基盤ビジョンセンサで出力されたイベント信号を集めて１つのイメージにする場合、フレーム基盤ビジョンセンサによって取得されたイメージよりも品質が落ちることがある。

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、イベント基盤ビジョンセンサのイメージ品質を高めるイメージ生成方法及びイメージ生成装置を提供することにある。

上記目的を発生するためになされた本発明の一態様によるイメージ生成方法は、第１時間区間の間にイベント基盤ビジョンセンサから出力されてバッファに格納された第１イベント信号を用いて第１イメージを生成するステップと、第２時間区間の間に前記イベント基盤ビジョンセンサから出力されて前記バッファに格納された第２イベント信号を用いて第２イメージを生成するステップと、前記第１イメージ及び前記第２イメージに比べて高い品質の第３イメージを生成するために前記第１イメージと前記第２イメージとを重畳するステップと、を有する。

前記第１イベント信号及び前記第２イベント信号のそれぞれは、前記イベント基盤センサに含まれるピクセルのうちのイベントを検出したピクセルを示す識別情報及び前記イベントを検出した時刻を示す時刻情報を含み得る。
前記第１イベント信号の数は、前記第２イベント信号の数よりも多くあり得る。
前記第１イメージを生成するステップは、前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出するステップと、前記抽出された第１イベント信号の分散に基づいて前記第１イメージのための閾値を決定するステップと、前記抽出された第１イベント信号の数が前記閾値よりも多いか否かを判定するステップと、前記抽出された第１イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を含み得る。
前記第２イメージを生成するステップは、前記バッファに格納された第２イベント信号をイベントが検出された時刻の逆順に抽出するステップと、前記抽出された第２イベント信号の分散に基づいて前記第２イメージのための閾値を決定するステップと、前記抽出された第２イベント信号の数が前記閾値よりも多いか否かを判定するステップと、前記抽出された第２イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を含み得る。
前記第１イメージを生成するステップは、前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出するステップと、前記抽出された第１イベント信号に関するソリッドレベルを決定するステップと、前記ソリッドレベルが閾値よりも大きいか否かを判定するステップと、前記ソリッドレベルが前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、重畳候補イメージを生成するために前記第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって前記第１イメージと重畳するステップを含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、前記重畳候補イメージと前記第１イメージとの類似度を算出するステップと、前記第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳するステップと、を含み得る。
前記重畳候補イメージと前記第１イメージとの類似度を算出するステップは、前記第１イベント信号及び前記第２イベント信号、前記重畳候補イメージにおける位置と同一の前記第１イメージにおける位置のうち、前記重畳候補イメージの位置及び前記第１イメージの位置のピクセルに対応するイベント信号値の総和を用いて前記類似度を算出するステップを含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、前記第１イメージを複数の区域に分割するステップと、前記区域毎に重畳候補イメージを生成するために前記第２イメージの一部が前記区域のそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転するステップと、を含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、前記第１イメージにある複数のオブジェクトを認識するステップと、前記オブジェクト毎に重畳候補イメージを生成するために前記第２イメージの一部が前記オブジェクトのそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転するステップと、を含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、前記第１イメージに対する前記第２イメージの拡大率又は縮小率に基づいて最大類似度を有する前記第２イメージの移動距離を抽出するステップと、前記第１イメージと重畳するように前記第２イメージを前記移動距離だけ移動させるステップ、とを含み得る。
前記第１イメージと前記第２イメージとを重畳するステップは、前記第１イベント信号及び前記第２イベント信号のうちのオン（ＯＮ）イベント信号又はオフ（ＯＦＦ）イベント信号及び距離情報に基づいて、前記第２イメージを６自由度（ＤｏＦ）により３方向に回転及び移動させるステップを含み得る。
前記イメージ生成方法は、前記第１イベント信号及び前記第２イベント信号からの距離よりもイベント信号の距離が遠いノイズ信号を、前記第１イベント信号及び前記第２イベント信号から除去するステップを更に含み得る。
前記イメージ生成方法は、カメラキャリブレーションによって前記第１イベント信号及び前記第２イベント信号のレンズ歪みを補正するステップを更に含み得る。

上記目的を達成するためになされた本発明の一態様によるイメージ生成装置は、第１時間区間の間に第１イベント信号を出力し、第２時間区間の間に第２イベント信号を出力するイベント基盤ビジョンセンサと、前記第１イベント信号及び前記第２イベント信号を格納するバッファと、前記第１イベント信号に基づいて第１イメージを生成し、前記第２イベント信号に基づいて第２イメージを生成し、前記第１イメージ及び前記第２イメージに比べて高い品質の第３イメージを生成するために前記第１イメージと前記第２イメージとを重畳するプロセッサと、を備える。

前記第１イベント信号及び前記第２イベント信号のそれぞれは、前記イベント基盤センサに含まれるピクセルのうちのイベントを検出したピクセルを示す識別情報及び前記イベントを検出した時刻を示す時刻情報を含み得る。
前記プロセッサは、前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出し、前記抽出された第１イベント信号の分散に基づいて前記第１イメージのための閾値を決定し、前記抽出された第１イベント信号の数が閾値よりも多いか否かを判定し、前記抽出された第１イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出し得る。
前記プロセッサは、前記バッファに格納された第２イベント信号をイベントが検出された時刻の逆順に抽出し、前記抽出された第２イベント信号の分散に基づいて前記第２イメージのための閾値を決定し、前記抽出された第２イベント信号の数が前記閾値よりも多いか否かを判定し、前記抽出された第２イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出し得る。
前記プロセッサは、前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出し、前記抽出された第１イベント信号に関するソリッドレベルを決定し、前記ソリッドレベルが閾値よりも大きいか否かを判定し、前記ソリッドレベルが前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出し得る。
前記プロセッサは、重畳候補イメージを生成するために前記第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって前記第１イメージと重畳し得る。
前記プロセッサは、前記重畳候補イメージと前記第１イメージとの類似度を算出し、前記第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳し得る。
前記プロセッサは、前記第１イベント信号及び前記第２イベント信号、前記重畳候補イメージにおける位置と同一の前記第１イメージにおける位置のうち、前記重畳候補イメージの位置及び前記第１イメージの位置のピクセルに対応するイベント信号値の総和を用いて前記類似度を算出し得る。
前記プロセッサは、前記第１イメージを複数の区域に分割し、前記区域毎に重畳候補イメージを生成するために前記第２イメージの一部が前記区域のそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転し得る。
前記プロセッサは、前記第１イメージにある複数のオブジェクトを認識し、前記オブジェクト毎に重畳候補イメージを生成するために前記第２イメージの一部が前記オブジェクトのそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転し得る。
前記プロセッサは、前記第１イメージに対する前記第２イメージの拡大率又は縮小率に基づいて最大類似度を有する前記第２イメージの移動距離を抽出し、前記第１イメージと重畳するように前記第２イメージを前記移動距離だけ移動させ得る。

上記目的を達成するためになされた本発明の他の態様によるイメージ生成方法は、バッファから、第１時間区間の間にイベント基盤ビジョンセンサから出力された第１イベント信号を第１イベントのそれぞれが検出された時刻の逆順に抽出するステップと、前記抽出された第１イベント信号に基づいて第１イメージを生成するステップと、バッファから、第２時間区間の間にイベント基盤ビジョンセンサから出力された第２イベント信号を第２イベントのそれぞれが検出された時刻の逆順に抽出するステップと、前記抽出された第２イベント信号に基づいて第２イメージを生成するステップと、重畳候補イメージを生成するために前記第２イメージを前記第１イメージと重畳するステップと、前記第１イメージと前記重畳候補イメージとの類似度を算出するステップと、第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳するステップと、を有する。

前記イメージ生成方法は、前記第１イメージに対する前記重畳候補イメージの拡大率又は縮小率に基づいて最大類似度を有する重畳候補イメージの移動距離を抽出するステップを更に含み、前記重畳候補イメージを前記第１イメージと重畳するステップは、前記重畳候補イメージを前記第１イメージと重畳するように前記移動距離だけ移動させるステップを含み得る。

本発明によると、イベント基盤ビジョンセンサのイメージ品質を高めることができる。

一実施形態によるイベント基盤ビジョンセンサで検出されたイベント信号がバッファに格納される方法を説明するための図である。 一実施形態によるイメージ生成方法の動作方式を説明するための図である。 一実施形態によるイメージ生成方法を示したフローチャートである。 一実施形態によるイベント信号の分散に基づいて第１イメージを生成する方法を示したフローチャートである。 一実施形態によるイベント信号の分散に基づいてイメージのための閾値を決定する方法を説明するための図である。 一実施形態によるイベント信号に関するソリッドレベル（ｓｏｌｉｄ ｌｅｖｅｌ）に基づいて第１イメージを生成する方法を示したフローチャートである。 一実施形態によるイベント信号に関するソリッドレベルを説明するための図である。 一実施形態による第３イメージを生成する方法を示したフローチャートである。 他の実施形態によるイメージ生成方法を示したフローチャートである。 他の実施形態によるイメージ生成方法を示したフローチャートである。 他の実施形態によるイメージ生成方法を示したフローチャートである。 他の実施形態によるイメージ生成方法を示したフローチャートである。 一実施形態によるイメージ生成装置のブロック図である。 一実施形態によるイメージ生成装置のブロック図である。

以下、本発明のイメージ生成方法及び装置を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

以下の特定な構造的又は機能的な説明は、単に実施形態を説明するための目的で例示するものであり、特許出願の範囲が本明細書に説明した内容に限定されるものではない。

本明細書で説明する分野に属する通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。本明細書で「一実施形態」又は「実施形態」に対する言及はその実施形態に関連して説明する特定の特徴、構造、又は特性が少なくとも１つの実施形態に含まれることを意味し、「一実施形態」又は「実施形態」に対する言及が全て同一の実施形態を指すものではない。

第１又は第２などの用語を複数のコンポーネントを区分するために用いるが、構成要素が第１又は第２の用語によって限定されるものではない。また、本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は文脈上明白に異なるように意味しない限り、複数の表現を含む。

本明細書において、「含む」又は「有する」などの用語は明細書上に記載した特徴、数字、ステップ、処理、構成要素、部品、又はその組合せの存在を指定するためのものであって、１つ以上の他の特徴や数字、ステップ、処理、構成要素、部品、又はそれらを組合せたものの存在又は付加可能性を予め排除しない。

図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、これに対する重畳する説明を省略する。

下記で説明する実施形態は、携帯電話、スマートテレビ、又はその他のセキュリティーモニタリング機器で撮影されたイメージを処理するために用いられる。

本発明の実施形態は、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、テレビ、スマート家電機器、知能型自動車、ウェアラブル装置などの様々な形態の製品で具現される。例えば、本実施形態は、スマートフォン、モバイル機器、スマートホームシステムなどで撮影されたイメージの品質を向上させるために適用される。また、本実施形態は、撮影されたユーザイメージによってユーザを認証して自動始動する知能型自動車システムなどにも適用される。以下、本発明の実施形態について図面を参照しながら詳細に説明する。各図面に提示した同一の参照符号は同一の部材を示す。

図１は、一実施形態によるイベント基盤ビジョンセンサで検出されたイベント信号がバッファに格納される方法を説明するための図である。図１に、イベント基盤ビジョンセンサ１１０及びバッファ１３０を示す。

イベント基盤ビジョンセンサ１１０はピクセルアレイを含む。ピクセルアレイに含まれる各ピクセルは、当該ピクセルに入射する光の変化を検出する。以下、光の変化は光の強度の変化である。イベント基盤ビジョンセンサ１１０は、光の変化が検出される複数のピクセルに対応する複数のイベント信号を出力する。

ピクセルアレイに含まれる全てのピクセルをフレーム単位でスキャンするフレーム基盤ビジョンセンサとは異なり、イベント基盤ビジョンセンサ１１０は、光の変化を検出したピクセルだけを用いてイベント信号を出力する。例えば、特定ピクセルで光が明るくなるか又は暗くなるイベントが検出された場合、イベント基盤ビジョンセンサ１１０は、当該ピクセルに対応するオン（ＯＮ）イベント信号又はオフ（ＯＦＦ）イベント信号を出力する。

イベント基盤ビジョンセンサ１１０は、オブジェクトの動きを検出してイベント信号を出力する。オブジェクトは被写体である。イベント基盤ビジョンセンサ１１０に入射する光の変化はオブジェクトの動きに基づく。例えば、光源が固定されてオブジェクトが自ら発光しない場合を想定すると、イベント基盤ビジョンセンサ１１０に入射する光は、光源により発生してオブジェクトによって反射された光である。オブジェクトが動かない場合、動きのない状態のオブジェクトによって反射された光は実質的に変化しないため、イベント基盤ビジョンセンサ１１０に入射する光の変化も発生しない。一方、オブジェクトが動く場合、動きのあるオブジェクトによって反射された光はオブジェクトの動きに応じて変化するため、イベント基盤ビジョンセンサ１１０に入射する光の変化が発生する。

イベント信号は識別情報及び時刻情報を含む。識別情報は、イベント基盤センサ１１０に含まれる複数のピクセルのうちのイベント（即ち、光の変化）を検出したピクセル１１１を示す情報である。識別情報は、例えばピクセルの（ｘ、ｙ）座標又はピクセルインデックス、オン（ＯＮ）イベント又はオフ（ＯＦＦ）イベントのようなピクセルの属性などを含む。識別情報を「位置情報」とも称する。

時刻情報は、ピクセル１１１がイベントを検出した時刻を示す情報である。時刻情報は、例えばピクセル１１１でイベントが検出された時刻を示すタイムスタンプである。

各ピクセルで発生したイベント信号は、各時間区間に対応してバッファ１３０に格納される。例えば、前の時間区間ｔ_−２、ｔ_−１のイベント信号がバッファの第１空間１３１に格納されると、現在の時間区間ｔ_０のイベント信号は第２空間１３２に格納される。

第１空間１３１及び第２空間１３２は、例えばリンクリスト（ｌｉｎｋｅｄ ｌｉｓｔ）、スタック（ｓｔａｃｋ）、又はキュー（ｑｕｅｕｅ）形態のデータ構造によって構成される。

図２は、一実施形態によるイメージ生成方法の動作方式を説明するための図である。図２に、本実施形態によるイメージ生成装置（以下、生成装置）によってバッファに格納されたイベント信号に対応するイメージから高い品質のイメージを生成する過程を示す。

バッファは、過去の時間区間ｔ_−２から最近の時間区間ｔ_０まで累積された時間区間のイベント信号を格納する。イメージ２１０は、過去の時間区間ｔ_−２から最近の時間区間ｔ_０まで累積された時間区間のイベント信号に対応するイメージである。

生成装置は、バッファに格納されたイベント信号をイベントが検出された時刻の逆順に抽出して各時間区間に対応するイメージを生成する。生成装置は、例えば、最近の時間区間ｔ_０のイベント信号を用いてイメージ２３１を生成する。最近の時間区間ｔ_０のイベント信号に対応して生成されたイメージ２３１を、「第１イメージ」又は「シードイメージ（ｓｅｅｄ ｉｍａｇｅ）」と称する。

同じ方式で、生成装置は、時間区間ｔ_−１及び時間区間ｔ_−２のイベント信号をそれぞれ抽出して、当該時間区間に対応するイメージ２３３、２３５を生成する。ここで、最近の時間区間ｔ_０を除いた残りの時間区間ｔ_−１、ｔ−_２のイベント信号に対応して生成されたイメージ２３３、２３５を「第２イメージ」又は「フラグメントイメージ（ｆｒａｇｍｅｎｔ ｉｍａｇｅ）」と称する。最近の時間区間ｔ_０に該当するイベント信号の数は、最近の時間区間を除いた残りの時間区間ｔ_−１、ｔ_−２に該当するイベント信号の数よりも多い。即ち、第１イメージを生成するために用いられるイベント信号の数は、第２イメージを生成するために用いられるイベント信号の数よりも多い。

生成装置は、第１イメージ２３１に第２イメージ２３３、２３５を重畳して重畳イメージ２５０を生成する。ここで、イメージ（２３１、２３３、２３５）は、例えば４秒前のユーザの動き、２秒前のユーザの動き、及び現在のユーザの動きに応じて発生した光の変化に対応するものであり、ユーザの動きに応じて各イメージに示されたユーザの位置がそれぞれ異なる。生成装置は、第２イメージ２３３、２３５の位置を変換（移動、回転、縮小、拡大など）し、変換された第２イメージ２３３、２３５を第１イメージ２３１に重畳して重畳イメージ２５０を生成する。

本実施形態による生成装置は、第１イメージ２３１の全体を第２イメージ２３３、２３５と重畳するか、又は第１イメージ２３１を複数の区域に分割し、分割された区域のそれぞれと第２イメージ２３３、２３５を重畳する。或いは、生成装置は、第１イメージ２３１内に含まれる複数のオブジェクトのそれぞれと第２イメージ２３３、２３５を重畳する。

生成装置が第１イメージ２３１の分割された区域のそれぞれと第２イメージ２３３、２３５を重畳する実施形態については、図９を参照して説明し、生成装置が第１イメージ２３１内に含まれる複数のオブジェクトのそれぞれと第２イメージ２３３、２３５を重畳する実施形態については、図１０を参照して説明する。

生成装置は、重畳イメージ２５０によって第１イメージ２３１及び第２イメージ２３３、２３５のそれぞれに比べて高い品質の最終イメージ（第３イメージ）２７０を取得する。

図３は、一実施形態によるイメージ生成方法を示したフローチャートである。図３を参照すると、本実施形態による生成装置は、バッファに格納された第１時間区間のイベント信号を用いて第１イメージを生成する（ステップＳ３１０）。ここで、第１時間区間は最近の時間区間に該当する。時間区間は予め設定されるか又は動的に更新される。時間区間のイベント信号は所定の時間区間の間に受信されるイベント信号であり、各イベント信号は識別情報（例えば、位置情報）及び／又は時刻情報を含む。

生成装置は、バッファに格納された第２時間区間のイベント信号を用いて第２イメージを生成する（ステップＳ３２０）。第２時間区間は、最近の時間区間を除いた残りの時間区間に該当する。第２イメージは単数又は複数である。

生成装置は、バッファに格納されたイベント信号のうち、イベントが検出された時刻の逆順から抽出されたイベント信号に基づいて第１イメージ（又は第２イメージ）を生成する。

上述したように、イベント基盤ビジョンセンサは光の変化又はオブジェクトの動きに反応してイベント信号を出力するため、光の変化又はオブジェクトの動きが速いほど同一の時間区間の間に多くのイベント信号が出力される。そのため、固定された時間区間を用いてイベント信号を抽出する場合、光の変化又はオブジェクトの動きの速度によって抽出されるイベント信号の数が適切でない場合もある。

生成装置は、抽出されたイベント信号に基づいてイメージを生成することから、抽出されたイベント信号の数が適切でない場合に生成されるイメージの品質が低下する。このため、生成装置は、抽出されたイベント信号の数が適切であるか否かを判定する。生成装置は、例えばイベント信号の位置関係を用いて、抽出されたイベント信号の数が適切であるか否かを判定する。イベント信号の位置関係は、イベント信号に対応する位置間の関係であり、例えばイベント信号の位置が分布した態様、イベント信号の位置が互いに広がった程度、イベント信号の位置が互いに密集した程度などを含む。生成装置は、イベント信号の位置関係に基づいて決定される閾値と抽出されたイベント信号の数とを比較することで、抽出されたイベント信号の数が適切であるか否かを判定する。

一例として、生成装置は、イベント信号の分散を用いて、抽出されたイベント信号の数が適切であるか否かを判定する。生成装置がイベント信号の分散に基づいてイメージ（第１イメージ又は第２イメージ）を生成する方法については、図４〜図５を参照して説明する。

或いは、生成装置は、イベント信号に関するソリッドレベル（ｓｏｌｉｄ ｌｅｖｅｌ）を用いて、抽出されたイベント信号の数が適切であるか否かを判定する。生成装置がイベント信号に関するソリッドレベルに基づいてイメージ（第１イメージ又は第２イメージ）を生成する方法については、図６〜図７を参照して説明する。

生成装置は、第１イメージと第２イメージを重畳することによって、第１イメージ及び第２イメージに比べて高い品質の第３イメージを生成する（ステップＳ３３０）。

本実施形態による生成装置は、第１イメージに対比される第２イメージの拡大比率又は縮小比率に応じて第２イメージの移動距離を抽出し、設定された移動距離だけ第２イメージを移動させて第１イメージと重畳することにより重畳候補イメージを生成する。

或いは、生成装置は、イベント信号のうちのオン（ＯＮ）イベント信号又はオフ（ＯＦＦ）イベント信号及び距離情報に基づいて、第２イメージを、６自由度（ＤｏＦ：Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ）（並進の３自由度（ｘ、ｙ、ｚ）＋回転の３自由度（θ_ｘ、θ_ｙ、θ_ｚ））によって３方向に回転及び移動させることで、第１イメージと第２イメージを重畳して第３イメージを生成する。生成装置が第３イメージを生成する方法については、図８を参照して説明する。

図４は、一実施形態によるイベント信号の分散に基づいて第１イメージを生成する方法を示したフローチャートである。図４を参照すると、本実施形態による生成装置は、バッファに格納されたイベント信号をイベントが検出された時刻の逆順に抽出する（ステップＳ４１０）。例えば、バッファに、現在検出されたイベント信号、２秒前に検出されたイベント信号、４秒前に検出されたイベント信号などが格納されている場合、生成装置は、現在検出されたイベント信号、２秒前に検出されたイベント信号、４秒前に検出されたイベント信号と共にイベントが検出された時刻の逆順にイベント信号を抽出する。

生成装置は、抽出されたイベント信号の分散に基づいて第１イメージのための閾値を決定する（ステップＳ４２０）。生成装置がイベント信号の分散に基づいて第１イメージのための閾値を決定する方法については、図５を参照して説明する。

生成装置は、抽出されたイベント信号の数と閾値とを比較してバッファからイベント信号を更に抽出するか否かを決定する。生成装置は、ステップＳ４１０で抽出されたイベント信号の数が閾値よりも多いか否かを判定する（ステップＳ４３０）。

ステップＳ４３０の判定結果、抽出されたイベント信号の数が閾値よりも多い場合、生成装置はステップＳ４４０を実行する。ステップＳ４３０の判定結果、抽出されたイベント信号の数が閾値以下である場合、生成装置は、バッファに格納されたイベント信号をイベントが検出された時刻の逆順に更に抽出する（ステップＳ４１０）。

生成装置は、抽出されたイベント信号の数が閾値よりも多くなると、抽出されたイベント信号に基づいてイメージを生成する（ステップＳ４４０）。

図５は、一実施形態によるイベント信号の分散に基づいてイメージのための閾値を決定する方法を説明するための図である。本実施形態による生成装置は、所定の時間区間に該当するイベント信号の個数を測定してイベント信号に関する分散を算出する。図５を参照すると、生成装置は、イベント信号５１０に含まれる位置情報を用いて、ｘ軸方向の分散σ_ｘ５１１及びｙ軸方向の分散σ_ｙ５１２を算出する。ｘ軸方向の分散σ_ｘ５１１はイベント信号５１０がｘ軸方向に分布した程度を示し、ｙ軸方向の分散σ_ｙ５１２はイベント信号５１０がｙ軸方向に分布した程度を示す。

生成装置は、イベント信号の個数と分散基盤の閾値とを比較する。ここで、分散基盤の閾値は、第１イメージのための第１閾値であるか、又は第２イメージのための第２閾値である。

分散基盤の閾値は、分散に基づいて決定される閾値として、ｘ軸方向の分散σ_ｘ及びｙ軸方向の分散σ_ｙの関数であるｆ（σ_ｘ、σ_ｙ）で表現される。ｆ（σ_ｘ、σ_ｙ）は多様に設定される。ｆ（σ_ｘ、σ_ｙ）は、例えば下記の数式１のように設定される。

数式１でαは予め設定された定数である。

イベント信号の個数がｆ（σ_ｘ、σ_ｙ）よりも大きい場合、生成装置は、抽出されたイベント信号の数がイメージを生成するために適切であると判断し、抽出されたイベント信号を用いてイメージを生成する。

生成装置は、数式１を効率よく演算するために、下記の表１のアルゴリズムを用いる。表１において、αが「２」である場合を仮定する。

図６は、一実施形態によるイベント信号に関するソリッドレベル（ｓｏｌｉｄ ｌｅｖｅｌ）に基づいてイメージを生成する方法を示したフローチャートである。図６を参照すると、本実施形態による生成装置は、バッファに格納されたイベント信号をイベントが検出された時刻の逆順に抽出し（ステップＳ６１０）、抽出されたイベント信号に関するソリッドレベルを決定する（ステップＳ６２０）。生成装置は、イベント信号に関するソリッドレベルを用いて、抽出されたイベント信号の数が適切であるか否かを判断する。生成装置がソリッドレベルを決定する方法については、図７（ａ）及び図７（ｂ）を参照して説明する。

生成装置は、ソリッドレベルを予め設定された閾値と比較してバッファからイベント信号を更に抽出するか否かを決定する。生成装置は、ステップＳ６２０で決定されたソリッドレベルが閾値よりも大きいか否かを判定する（ステップＳ６３０）。ステップＳ６３０の判定結果、ソリッドレベルが閾値よりも大きい場合、生成装置はステップＳ６４０を実行する。ステップＳ６３０の判定結果、ソリッドレベルが閾値以下である場合、生成装置は、バッファに格納されたイベント信号をイベントが検出された時刻の逆順に更に抽出する（ステップＳ６１０）。

生成装置は、ソリッドレベルが閾値よりも大きくなると、抽出されたイベント信号に基づいてイメージを生成する（ステップＳ６４０）。

図７（ａ）及び図７（ｂ）は、一実施形態によるイベント信号に関するソリッドレベルを説明するための図である。上述したように生成装置は、イベント信号に関するソリッドレベルを用いて、収集されたイベント信号の数が適切であるか否かを判定する。ソリッドレベルは、イベント信号の位置関係に基づいて算出されるパラメータである。ソリッドレベルは、イベント信号の堅さ（ｓｏｌｉｄｉｔｙ）を示すパラメータである。例えば、ソリッドレベルは、収集されたイベント信号の位置が互いに密集した程度を示す尺度である。或いは、ソリッドレベルは、イベント信号が集まって生成された形状の明確な程度を示す尺度である。一例として、ソリッドレベルは、特定イベント信号に対応する周辺イベント信号の数が予め設定された数よりも多い場合に増加し、当該イベント信号に対応する周辺イベントの数が予め設定された数よりも少ない場合に減少するパラメータである。ここで、特定イベント信号の位置情報に基づいて当該イベント信号の位置が決定され、決定された位置周辺の予め設定された領域内に含まれるイベント信号が周辺イベント信号に決定される。

生成装置は、イベント信号を累積して格納する。例えば、生成装置は、イベント基盤ビジョンセンサのピクセルアレイに対応する要素を含むイベントマップを用いてイベント信号を累積して格納する。イベントマップに含まれる各要素の値は「０」に初期化される。生成装置は、受信されたイベント信号の位置情報に基づいて、受信されたイベント信号に対応する要素の値を「１」に設定する。

生成装置は、累積して格納された結果に基づいてソリッドレベルを算出する。例えば、生成装置は、下記の数式２を用いてソリッドレベルｓを算出する。ソリッドレベルｓは、予め設定された値に初期化された後、数式２によって更新される。ソリッドレベルｓは「０」と「１」との間の値を有する。

ここで、Δｓはソリッドレベルの変化量であり、γは決定敏感度である。γは「０」と「１」との間の定数である。Ｈ（・）はヘヴィサイドのステップ関数（ｈｅａｖｉｓｉｄｅ ｓｔｅｐ ｆｕｎｃｔｉｏｎ）である。内部値が「０」よりも大きい場合にＨ（・）は「１」であり、その他の場合にＨ（・）は「０」である。

ｍはイベントマップである。イベントマップｍで特定イベント信号ｅに対応する要素のｉ番目の隣接要素が「１」に設定された場合にｍ（ｅ，ｉ）は「１」であり、その他の場合にｍ（ｅ，ｉ）は「０」である。θは閾値である。

生成装置は、ソリッドレベルと予め設定された閾値（臨界レベル）（例えば、０．４など）とを比較する。例えば、ソリッドレベルが閾値よりも大きい場合、生成装置は、抽出されたイベント信号の数がイメージを生成するために適切であると判定し、抽出されたイベント信号を用いてイメージを生成する。

図７（ａ）及び図７（ｂ）を参照すると、生成装置は、ソリッドレベルを用いることによって、オブジェクトが単純なパターンを有する場合７１０及び複雑なパターンを有する場合７２０の両方で適切な数のイベント信号を抽出する。

例えば、生成装置は、オブジェクトが単純なパターンを有する場合７１０のソリッドレベルに対応する閾値よりも、複雑なパターンを有する場合７２０のソリッドレベルに対応する閾値を大きく設定することによって、それぞれの場合に適する適切な数のイベント信号を抽出する。

生成装置は、上述した実施形態により、適切な数のイベント信号が抽出された場合にイメージを生成する。ここで、抽出されたイベント信号は位置情報を含むため、当該位置情報を用いてイベント信号に対応するポイントが２次元平面上に配置される。例えば、図７（ａ）及び図７（ｂ）に示すようなイメージが生成される。場合によって、生成装置は、生成されたイメージにノイズフィルタリング、エッジ検出などの様々なイメージ処理方式を適用することも可能である。

図８は、一実施形態による第３イメージを生成する方法を示したフローチャートである。図８を参照すると、本実施形態による生成装置は、第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって第１イメージと重畳することで重畳候補イメージを生成する（ステップＳ８１０）。生成装置は、例えば時間区間ｔ_−１に対応する第２−１イメージ、時間区間ｔ_−２に対応する第２−２イメージ、時間区間ｔ_−３に対応する第２−３イメージを、移動、回転、縮小、拡大などの動作によって時間区間ｔ_０に対応する第１イメージと重畳することで重畳候補イメージを生成する。

生成装置は、重畳候補イメージと第１イメージとの類似度を算出する（ステップＳ８２０）。生成装置は、例えば重畳候補イメージ及び第１イメージの同じ位置のピクセルに対応するイベント信号値の総和、即ちピクセル値の積の総和を用いて類似度を算出する。ここで、生成装置は、第１イメージのピクセルに対応する第１イベント信号及び重畳候補イメージのピクセルに対応する第２イベント信号が存在し、且つ第１イメージのピクセルと重畳候補イメージのピクセルとが同じ位置にある場合、イベント信号の値を「１」に設定する。

生成装置は、第１イベント信号及び第２イベント信号のいずれか１つでも不在の場合、イベント信号の値を「０」に設定する。

他の実施形態による生成装置は、重畳候補イメージ及び第１イメージのそれぞれ同じ位置にあるピクセルに対応するイベント信号がそれぞれ「オン／オン」又は「オフ／オフ」である場合にイベント信号の値を「＋１」に設定し、互いに異なる場合に「−１」に設定し、イメージのそれぞれで同じ位置のピクセルに対応するイベント信号が発生しない場合に「０」に設定する。生成装置は、イベント信号値の総和を用いて類似度を算出する。

例えば、重畳候補イメージ及び第１イメージの同じ位置のピクセルが互いに異なる極性を有する場合（即ち、あるピクセルは明るいが、他のピクセルは暗い場合）、ピクセル間の類似度は全体の類似度を減少させる負（−）の値に設定される。

生成装置は、算出された類似度のうちの最大類似度に対応する重畳候補イメージを第１イメージと重畳して第３イメージを生成する（ステップＳ８３０）。

本実施形態による生成装置は、ステップＳ８１０で生成された重畳候補イメージをＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などに提供し、例えばボケ除去（ｄｅｂｌｕｒｒｉｎｇ）のようなイメージプロセッシングに利用する。

図９〜図１２は、他の実施形態によるイメージ生成方法を示したフローチャートである。図９を参照すると、ステップＳ９１０〜ステップＳ９２０の過程は、図３に示すステップＳ３１０〜ステップＳ３２０の過程と同一であるため、当該部分の説明を参照する。

本実施形態による生成装置は、ステップＳ９１０〜ステップＳ９２０によって第１イメージ及び第２イメージが生成されると、第１イメージを複数の区域に分割する（ステップＳ９３０）。生成装置は、第１イメージを、例えば４個の区域又は９個の区域のように予め設定された領域に分割する。生成装置は、第１イメージをそれぞれ同じ大きさの区域に分割するか、又はそれぞれ異なる大きさの区域に分割する。或いは、生成装置は、第１イメージを深度情報により複数の区域に分割する。

生成装置は、複数の区域のそれぞれと第２イメージの少なくとも一部が重畳するように第２イメージの少なくとも一部を移動又は回転させて、区域毎の重畳候補イメージを生成する（ステップＳ９４０）。ここで、第２イメージの少なくとも一部は、第１イメージの複数の区域のそれぞれに対応する大きさであり、第１イメージの複数の区域よりも小さいか又は大きいサイズである。

生成装置は、区域毎の重畳候補イメージと第１イメージとの類似度を算出する（ステップＳ９５０）。生成装置は、例えば区域毎の重畳候補イメージ及び第１イメージの同じ位置のピクセルに対応するイベント信号値の総和、即ちピクセル値の積の総和を用いて類似度を算出する。

生成装置は、算出された類似度のうちの最大類似度に対応する重畳候補イメージを第１イメージと重畳して第３イメージを生成する（ステップＳ９６０）。

図１０を参照すると、ステップＳ１０１０〜ステップＳ１０２０の過程は、図３のステップＳ３１０〜ステップＳ３２０の過程と同一であるため、当該部分の説明を参照する。

本実施形態による生成装置は、ステップＳ１０１０〜ステップＳ１０２０によって第１イメージ及び第２イメージが生成されると、第１イメージ内の複数のオブジェクトを認識する（ステップＳ１０３０）。ステップＳ１０３０において、生成装置は、イメージを用いてオブジェクトを認識する様々な方式によりオブジェクトを認識する。生成装置は、例えば学習基盤の分流器を用いてイメージからオブジェクトを認識する。生成装置は、認識されたオブジェクトが予め登録されたオブジェクト類型のうちの１つに分類される場合、オブジェクトの認識が成功したと判断する。一方、生成装置は、認識されたオブジェクトが予め登録されたオブジェクト類型のうちのいずれにも該当しない場合、オブジェクトの認識が失敗したと判断する。オブジェクトの認識が成功したと判断された場合、生成装置は、認識結果を出力する。認識結果は、オブジェクト類型を示すＩＤである。或いは、生成装置は、第１時間区間のイベント信号を用いて第１イメージに含まれるオブジェクトのクラスを区分し、オブジェクトのクラスの平均値に基づいて第１時間区間のイベント信号がいずれのオブジェクトのクラスに属するかを判断することで、第１イメージ内の複数のオブジェクトを認識する。

生成装置は、複数のオブジェクトのそれぞれと第２イメージの少なくとも一部が重畳するように第２イメージの少なくとも一部を移動又は回転して、オブジェクト毎の重畳候補イメージを生成する（ステップＳ１０４０）。

生成装置は、オブジェクト毎の重畳候補イメージと第１イメージとの類似度を算出する（ステップＳ１０５０）。生成装置は、例えばオブジェクト毎の重畳候補イメージ及び第１イメージの同じ位置のピクセルに対応するイベント信号値の総和、即ちピクセル値の積の総和を用いて類似度を算出する。

生成装置は、算出された類似度のうちの最大類似度に対応する重畳候補イメージを第１イメージと重畳して第３イメージを生成する（ステップＳ１０６０）。

図１１を参照すると、本実施形態による生成装置は、イベント信号を格納する（ステップＳ１１０５）。生成装置は、例えばバッファ又はメモリにイベント信号を格納する。

生成装置は、最近のイベント順に格納されたイベント信号を引出す（又は抽出する）（ステップＳ１１１０）。生成装置は、引出された第１イベント信号の数が第１イメージを生成するために充分であるか否かを判断する（ステップＳ１１１５）。生成装置は、上述したように引出されたイベント信号の分散又は引出されたイベント信号に関するソリッドレベルを用いて、第１イベント信号の数が第１イメージを生成するために充分であるか否かを判断する。ここで、「第１イベント信号」は、第１時間区間のイベント信号を意味する。生成装置は、例えば第１イベント信号の横軸分散と縦軸分散を算出する。生成装置は、第１イベント信号の数が、例えば「横軸分散×縦軸分散×予め定義された定数」よりも多い場合、第１イメージを最初の重畳イメージとして格納する。

ステップＳ１１１５の判断結果、第１イベント信号の数が充分である場合、生成装置はステップＳ１１２０を実行する。ステップＳ１１１５の判断結果、第１イベント信号の数が不充分であると判断された場合、生成装置はステップＳ１１５５を実行する。

生成装置は、第２イベント信号を収集する（ステップＳ１１２０）。ここで、複数の第２イベント信号は、第２時間区間の複数のイベント信号である。生成装置は、第２イベント信号を用いて第２イメージを生成する。ステップＳ１１２０でも、生成装置は、第１イベント信号と同様に第２イベント信号の横軸分散と縦軸分散を算出し、第２イベント信号の数が第２イメージを生成するために充分であるか否かを判断する。

生成装置は、第２イメージを、例えば移動、回転、縮小、拡大などのように変換する（ステップＳ１１２５）。生成装置は、変換された第２イメージと第１イメージを重畳して重畳候補イメージを生成し、重畳候補イメージと第１イメージとの類似度を算出する（ステップＳ１１３０）。

生成装置は、算出された類似度のうちの最大類似度を有する重畳候補イメージの移動距離を抽出する（ステップＳ１１３５）。

生成装置は、抽出された移動距離により最大類似度を有する重畳候補イメージを移動して第１イメージと整合させて重畳する（ステップＳ１１４０）。

生成装置は、イメージが完成されたか否かを判断する（ステップＳ１１４５）。ステップＳ１１４５で、生成装置は、例えばイメージの品質に基づいてイメージが完成されたか否かを判定するか、又はバッファに残っているイベント信号の個数に基づいてイメージの完成の有無を判断する。ステップＳ１１４５の判断結果、イメージが完成されていない場合、生成装置は、最近のイベント順にイベント信号を検索又は抽出するステップＳ１１１０に戻る。ステップＳ１１４５の判断結果、イメージが完成された場合、生成装置はイメージを出力する（ステップＳ１１５０）。

ステップＳ１１１５の判断結果、第１イベント信号の数が充分でない場合、生成装置は、第１イベント信号を更に収集し（ステップＳ１１５５）、イメージが完成されたか否かを判断する（ステップＳ１１４５）。

図１２を参照すると、本実施形態による生成装置は、イベント基盤ビジョンセンサで各時間区間に検出されたイベント信号のうちからノイズ信号を除去する（ステップＳ１２０５）。生成装置は、例えば予め設定された時間区間内に第１イベント信号及び第２イベント信号から所定の距離内で発生したイベント信号が存在するか否かに基づいて、イベント信号のうちからノイズ信号を除去する。生成装置は、例えば各イベント信号と所定の距離以上に離隔して単独で検出されたイベント信号を、間違って検出されたノイズ信号と判断して除去する。

生成装置は、カメラキャリブレーションによって、ステップＳ１２０５でノイズ信号が除去されたイベント信号（即ち、ノイズ信号が除去された第１イベント信号及び第２イベント信号）のレンズ歪みを補正する（ステップＳ１２１０）。

生成装置は、レンズ歪みが補正されたイベント信号をバッファに格納する（ステップＳ１２１５）。

生成装置は、バッファに格納されたイベント信号を用いて第１イメージを生成し（ステップＳ１２２０）、バッファに格納されたイベント信号のうちの第１イメージの生成に利用されたイベント信号を除いた残りのイベント信号をイベントが検出された時刻の逆順に抽出する（ステップＳ１２２５）。

生成装置は、抽出されたイベント信号の分散に基づいて第２イメージのための第２閾値を決定する（ステップＳ１２３０）。生成装置は、抽出されたイベント信号の数と第２閾値との比較結果に基づいて、バッファからイベント信号を更に抽出するか否かを決定する。

生成装置は、抽出されたイベント信号の数が第２閾値よりも多いか否かを判定する（ステップＳ１２３５）。ステップＳ１２３５の判定結果、抽出されたイベント信号の数が第２閾値以下である場合、生成装置はステップＳ１２２５に戻る。ステップＳ１２３５の判定結果、抽出されたイベント信号の数が第２閾値よりも大きい場合、生成装置はステップＳ１２４０を実行する。

ステップＳ１２３５の判定結果、抽出されたイベント信号の数が第２閾値よりも大きい場合、生成装置は、現在の抽出されたイベント信号を用いて第２イメージを生成する（ステップＳ１２４０）。

生成装置は、第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって第１イメージと重畳することによって重畳候補イメージを生成する（ステップＳ１２４５）。

生成装置は、候補重畳イメージと第１イメージとの類似度を算出し（ステップＳ１２５０）、算出された類似度のうちの最大類似度に対応する候補重畳イメージを第１イメージと重畳して第３イメージを生成する（ステップＳ１２５５）。

図１３及び図１４は、一実施形態によるイメージ生成装置のブロック図である。図１３を参照すると、本実施形態によるイメージ生成装置（以下、「生成装置」）１３００は、イベント基盤ビジョンセンサ１３１０、バッファ１３２０、及びプロセッサ１３３０を含む。イベント基盤ビジョンセンサ１３１０、バッファ１３２０、及びプロセッサ１３３０は、バス１３４０によって接続される。

イベント基盤ビジョンセンサ１３１０は光の変化を検出する。イベント基盤ビジョンセンサ１３１０はピクセルアレイを含む。ピクセルアレイに含まれる各ピクセルは、当該ピクセルに入射する光の変化を検出する。イベント基盤ビジョンセンサ１３１０は、光の変化が検出された複数のピクセルに対応する複数のイベント信号を出力する。イベント基盤ビジョンセンサ１３１０は、オブジェクトの動きを検出してイベント信号を出力する。

バッファ１３２０は、イベント基盤ビジョンセンサ１３１０で第１時間区間に検出された複数のイベント信号及び第２時間区間に検出された複数のイベント信号を格納する。イベント信号のそれぞれは、イベント基盤センサ１３１０に含まれる複数のピクセルのうちのイベントを検出したピクセルを示す識別情報、及びイベントを検出した時刻に関する時刻情報を含む。

プロセッサ１３３０は、マイクロプロセッサー、コントローラ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する１つ以上の汎用若しくは特殊目的のコンピュータ、又はこれらの様々な組合せで具現される。

以下、説明の便宜のために生成装置１３００の構造及び動作を説明するが、本実施形態は、生成装置を含む様々なコンピューティング装置、スマートテレビ、スマートフォン、ウェアラブルデバイスなどのモバイル装置、各種のセキュリティー装置などに適用される。

プロセッサ１３３０は、バッファ１３２０に格納された第１時間区間のイベント信号を用いて第１イメージを生成し、バッファ１３２０に格納された第２時間区間のイベント信号を用いて第２イメージを生成する。プロセッサ１３３０は、第１イメージと第２イメージとを重畳することによって、第１イメージ及び第２イメージに比べて高い品質の第３イメージを生成する。

プロセッサ１３３０は、バッファ１３２０に格納されたイベント信号をイベントが検出された時刻の逆順に抽出し、抽出されたイベント信号の分散に基づいて第１イメージのための第１閾値を決定する。プロセッサ１３３０は、抽出されたイベント信号の数と第１閾値の比較結果に基づいて、バッファ１３２０からイベント信号を更に抽出するか否かを決定する。

プロセッサ１３３０は、バッファ１３２０に格納されたイベント信号のうちから第１イメージの生成に利用されたイベント信号を除いた残りのイベント信号をイベントが検出された時刻の逆順に抽出する。プロセッサ１３３０は、抽出されたイベント信号の分散に基づいて第２イメージのための第２閾値を決定し、抽出されたイベント信号の数と第２閾値の比較結果に基づいてバッファ１３２０からイベント信号を更に抽出するか否かを決定する。

プロセッサ１３３０は、バッファ１３２０に格納されたイベント信号をイベントが検出された時刻の逆順に抽出し、抽出されたイベント信号に関するソリッドレベルを決定する。プロセッサ１３３０は、ソリッドレベルと予め設定された閾値の比較結果に基づいてバッファ１３２０からイベント信号を更に抽出するか否かを決定する。

プロセッサ１３３０は、第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって第１イメージと重畳することによって重畳候補イメージを生成する。

プロセッサ１３３０は、第１イメージを複数の区域に分割し、複数の区域のそれぞれと第２イメージの少なくとも一部が重畳するように第２イメージの少なくとも一部を移動又は回転させて区域毎の重畳候補イメージを生成する。

プロセッサ１３３０は、第１イメージ内の複数のオブジェクトを認識し、複数のオブジェクトのそれぞれと第２イメージの少なくとも一部が重畳するように第２イメージの少なくとも一部を移動又は回転させて区域毎の重畳候補イメージを生成する。

プロセッサ１３３０は、第１イメージに対する第２イメージの拡大率又は縮小率に基づいて最大類似度を有する第２イメージの移動距離を抽出する。プロセッサ１３３０は、抽出された移動距離だけ第２イメージを移動させて第１イメージと重畳することによって重畳候補イメージを生成する。

プロセッサ１３３０は、重畳候補イメージと第１イメージとの類似度を算出し、算出された類似度のうちの最大類似度を有する重畳候補イメージを第１イメージと重畳して第３イメージを生成する。

プロセッサ１３３０は、重畳候補イメージ及び第１イメージの同じ位置のピクセルに対応するイベント信号値の総和を用いて類似度を算出する。

その他にも、プロセッサ１３３０は、図１〜図１２を参照して上述した少なくとも１つの方法を実行することができる。プロセッサ１３３０は、プログラムを実行して生成装置１３００を制御する。プロセッサ１３３０によって実行されるプログラムコードはメモリに格納される。生成装置１３００は、入出力インターフェースを介して外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。

図１〜図１２を参照して上述した少なくとも１つの方法は、タブレット、スマートフォン、スマートテレビ、又はウェアラブルデバイス内のプロセッサとして動作するアプリケーション形態に具現されるか、或いはチップ形態に具現されてスマートフォン、スマートテレビ、ウェアラブルデバイス、又は知能型自動車、その他の様々なＡＶ（Ａｕｄｉｏ Ｖｉｄｅｏ）機器内に内蔵される。

図１４を参照すると、一実施形態による生成装置１４００は、イベント基盤ビジョンセンサ１４１０、バッファ１４３０、及びプロセッサ１４５０を含む。

バッファ１４３０は、イベント基盤ビジョンセンサ１４１０で検出されたイベント信号を予め設定された大きさだけ格納し、プロセッサ１４５０がイメージを生成するときに、最近発生したイベント信号から逆順に出力する。バッファ１４３０は、イベント信号が発生したピクセルの位置、イベント信号が発生した時刻、イベントが発生したピクセルにおける明るさ値などを格納する。その他の、イベント基盤ビジョンセンサ１４１０及びバッファ１４３０に対する説明は、図１３に示すイベント基盤ビジョンセンサ１３１０、バッファ１３２０と同一であるため当該部分の説明を参照する。

プロセッサ１４５０は、第１イベント信号収集部１４５１、第２イベント信号収集部１４５２、移動部１４５３、比較部１４５４、及び整合部１４５５を含む。

第１イベント信号収集部１４５１は、バッファ１４３０から第１イベント信号を収集する。第１イベント信号収集部１４５１は、収集された第１イベント信号を用いて第１イメージを生成する。第１イベント信号収集部１４５１は、イメージ整合の基礎となる最初の重畳イメージを生成する。

第１イメージを構成する第１イベント信号の数が過度に少ない場合、その後のイメージの移動及び整合過程で誤差が大きくなり、適切な整合イメージ（重畳イメージ）が生成されない。一般的に、第１イベント信号収集部１４５１は、第１イメージを生成するために用いられるイベント信号の数を、第２イメージを生成するために用いられるイベントの数よりも多く用いる。第１イメージを生成するために必要なイベント信号の数は状況に応じて変わる。一例として、第１イベント信号収集部１４５１は、第１イベント信号の横軸分散と縦軸分散とを乗算してイベント信号が占めるイメージ上の面積に比例する値を求める。第１イベント信号収集部１４５１は、求めた値に予め定義された定数を乗算し、その値よりも第１イベント信号の数が多い場合に第１イメージの生成を完了する。

第２イベント信号収集部１４５２は、バッファ１４３０から第２イベント信号を収集する。第２イベント信号収集部１４５２は、収集された第２イベント信号を用いて複数の第２イメージを生成する。第２イベント信号収集部１４５２も第１イベント信号収集部１４５１のような方式で第２イメージの生成を完了する。但し、第２イベント信号収集部１４５２は、第１イベント信号収集部１４５１に比べて少ない数のイベント信号によって第２イメージを生成する。第２イメージを生成するための第２イベント信号の個数も状況に応じて変わる。

移動部１４５３は、複数の第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって第１イメージと重畳可能な位置に移動変換させる。移動部１４５３は、第２イメージを移動変換したイメージを生成する。移動部１４５３は、第２イメージを横軸と縦軸に移動させる。又は、移動部１４５３は、第２イメージを横軸、縦軸、そして前後軸に移動させる。或いは、移動部１４５３は、第２イメージを横軸、縦軸、前後軸、そして３方向に回転移動させる。

比較部１４５４は、移動部１４５３で生成された移動変換された複数の第２イメージと重畳イメージ（第１イメージ）との間の類似度を算出する。比較部１４５４は、２つのイメージのそれぞれの同じ位置におけるピクセル値の積の総和を用いて類似度を算出する。

整合部１４５５は、比較部１４５４で算出された類似度のうちの最も大きい値に該当する移動変換された第２イメージを重畳イメージに追加的に重畳する。整合部１４５５は、移動変換された複数の第２イメージのうちの最も類似度の大きい第２イメージを重畳イメージに更に重畳して最終イメージを出力する。

上記実施形態は、上記実施形態を具現する少なくとも１つのプロセッシング素子を制御するコンピュータで読み出し可能なコード及び／又は媒体、例えばコンピュータ読み取り可能な記録媒体に記録された命令語によって具現される。

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１１０ イベント基盤ビジョンセンサ
１１１ ピクセル
１３０ バッファ
１３１ 第１空間
１３２ 第２空間
２１０ イメージ
２３１ （第１）イメージ（シードイメージ）
２３３、２３５ （第２）イメージ（フラグメントイメージ）
２５０ 重畳イメージ
２７０ 最終イメージ（第３イメージ）
５１０ イベント信号
５１１ ｘ軸方向の分散σ_ｘ
５１２ ｙ軸方向の分散σ_ｙ
７１０ 単純なパターンを有する場合
７２０ 複雑なパターンを有する場合
１３００、１４００ （イメージ）生成装置
１３１０、１４１０ イベント基盤ビジョンセンサ
１３２０、１４３０ バッファ
１３３０、１４５０ プロセッサ
１３４０ バス
１４５１ 第１イベント信号収集部
１４５２ 第２イベント信号収集部
１４５３ 移動部
１４５４ 比較部
１４５５ 整合部

Claims (27)

1. 第１時間区間の間にイベント基盤ビジョンセンサから出力されてバッファに格納された第１イベント信号を用いて第１イメージを生成するステップと、
   第２時間区間の間に前記イベント基盤ビジョンセンサから出力されて前記バッファに格納された第２イベント信号を用いて第２イメージを生成するステップと、
   前記第１イメージ及び前記第２イメージに比べて高い品質の第３イメージを生成するために前記第１イメージと前記第２イメージとを重畳するステップと、を有し、
   前記第１イメージを生成するステップは、
   前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出するステップと、
   前記抽出された第１イベント信号の分散に基づいて前記第１イメージのための閾値を決定するステップと、
   前記抽出された第１イベント信号の数が前記閾値よりも多いか否かを判定するステップと、
   前記抽出された第１イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を含むことを特徴とするイメージ生成方法。
2. 前記第１イベント信号及び前記第２イベント信号のそれぞれは、前記イベント基盤ビジョンセンサに含まれるピクセルのうちのイベントを検出したピクセルを示す識別情報及び前記イベントを検出した時刻を示す時刻情報を含むことを特徴とする請求項１に記載のイメージ生成方法。
3. 前記第１イベント信号の数は、前記第２イベント信号の数よりも多いことを特徴とする請求項１に記載のイメージ生成方法。
4. 前記第２イメージを生成するステップは、
   前記バッファに格納された第２イベント信号をイベントが検出された時刻の逆順に抽出するステップと、
   前記抽出された第２イベント信号の分散に基づいて前記第２イメージのための閾値を決定するステップと、
   前記抽出された第２イベント信号の数が前記閾値よりも多いか否かを判定するステップと、
   前記抽出された第２イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を含むことを特徴とする請求項１に記載のイメージ生成方法。
5. 前記第１イメージを生成するステップは、
   前記イベントが検出された時刻の逆順に抽出された第１イベント信号に関するソリッドレベルを決定するステップと、
   前記ソリッドレベルが閾値よりも大きいか否かを判定するステップと、
   前記ソリッドレベルが前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出するステップと、を更に含むことを特徴とする請求項１に記載のイメージ生成方法。
6. 前記第１イメージと前記第２イメージとを重畳するステップは、重畳候補イメージを生成するために前記第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって前記第１イメージと重畳するステップを含むことを特徴とする請求項１に記載のイメージ生成方法。
7. 前記第１イメージと前記第２イメージとを重畳するステップは、
   前記重畳候補イメージと前記第１イメージとの類似度を算出するステップと、
   前記第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳するステップと、を含むことを特徴とする請求項６に記載のイメージ生成方法。
8. 前記重畳候補イメージと前記第１イメージとの類似度を算出するステップは、前記第１イベント信号及び前記第２イベント信号、前記重畳候補イメージにおける位置と同一の前記第１イメージにおける位置のうち、前記重畳候補イメージの位置及び前記第１イメージの位置のピクセルに対応するイベント信号値の総和を用いて前記類似度を算出するステップを含むことを特徴とする請求項７に記載のイメージ生成方法。
9. 前記第１イメージと前記第２イメージとを重畳するステップは、
   前記第１イメージを複数の区域に分割するステップと、
   前記区域毎に重畳候補イメージを生成するために前記第２イメージの一部が前記区域のそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転するステップと、を含むことを特徴とする請求項１に記載のイメージ生成方法。
10. 前記第１イメージと前記第２イメージとを重畳するステップは、
    前記第１イメージにある複数のオブジェクトを認識するステップと、
    前記オブジェクト毎に重畳候補イメージを生成するために前記第２イメージの一部が前記オブジェクトのそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転するステップと、を含むことを特徴とする請求項１に記載のイメージ生成方法。
11. 前記第１イメージと前記第２イメージとを重畳するステップは、
    前記第１イメージに対する前記第２イメージの拡大率又は縮小率に基づいて最大類似度を有する前記第２イメージの移動距離を抽出するステップと、
    前記第１イメージと重畳するように前記第２イメージを前記移動距離だけ移動させるステップと、を含むことを特徴とする請求項１に記載のイメージ生成方法。
12. 前記第１イメージと前記第２イメージとを重畳するステップは、前記第１イベント信号及び前記第２イベント信号のうちのオン（ＯＮ）イベント信号又はオフ（ＯＦＦ）イベント信号及び距離情報に基づいて、前記第２イメージを６自由度（ＤｏＦ）により３方向に回転及び移動させるステップを含むことを特徴とする請求項１に記載のイメージ生成方法。
13. 前記第１イベント信号及び前記第２イベント信号からの距離よりもイベント信号の距離が遠いノイズ信号を、前記第１イベント信号及び前記第２イベント信号から除去するステップを更に含むことを特徴とする請求項１に記載のイメージ生成方法。
14. カメラキャリブレーションによって前記第１イベント信号及び前記第２イベント信号のレンズ歪みを補正するステップを更に含むことを特徴とする請求項１に記載のイメージ生成方法。
15. ハードウェアと結合してコンピュータに請求項１に記載のイメージ生成方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. 第１時間区間の間に第１イベント信号を出力し、第２時間区間の間に第２イベント信号を出力するイベント基盤ビジョンセンサと、
    前記第１イベント信号及び前記第２イベント信号を格納するバッファと、
    前記第１イベント信号に基づいて第１イメージを生成し、前記第２イベント信号に基づいて第２イメージを生成し、前記第１イメージ及び前記第２イメージに比べて高い品質の第３イメージを生成するために前記第１イメージと前記第２イメージとを重畳するプロセッサと、を備え、
    前記プロセッサは、前記バッファに格納された第１イベント信号をイベントが検出された時刻の逆順に抽出し、前記抽出された第１イベント信号の分散に基づいて前記第１イメージのための閾値を決定し、前記抽出された第１イベント信号の数が閾値よりも多いか否かを判定し、前記抽出された第１イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出することを特徴とするイメージ生成装置。
17. 前記第１イベント信号及び前記第２イベント信号のそれぞれは、前記イベント基盤ビジョンセンサに含まれるピクセルのうちのイベントを検出したピクセルを示す識別情報及び前記イベントを検出した時刻を示す時刻情報を含むことを特徴とする請求項１６に記載のイメージ生成装置。
18. 前記プロセッサは、前記バッファに格納された第２イベント信号をイベントが検出された時刻の逆順に抽出し、前記抽出された第２イベント信号の分散に基づいて前記第２イメージのための閾値を決定し、前記抽出された第２イベント信号の数が前記閾値よりも多いか否かを判定し、前記抽出された第２イベント信号の数が前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出することを特徴とする請求項１６に記載のイメージ生成装置。
19. 前記プロセッサは、前記イベントが検出された時刻の逆順に抽出された第１イベント信号に関するソリッドレベルを決定し、前記ソリッドレベルが閾値よりも大きいか否かを判定し、前記ソリッドレベルが前記閾値以下であると判定された場合、前記バッファから前記イベントが検出された時刻の逆順に前記バッファに格納された１つ以上の追加イベント信号を抽出することを特徴とする請求項１６に記載のイメージ生成装置。
20. 前記プロセッサは、重畳候補イメージを生成するために前記第２イメージを、移動、回転、縮小、拡大のうちの少なくとも１つの動作によって前記第１イメージと重畳することを特徴とする請求項１６に記載のイメージ生成装置。
21. 前記プロセッサは、前記重畳候補イメージと前記第１イメージとの類似度を算出し、前記第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳することを特徴とする請求項２０に記載のイメージ生成装置。
22. 前記プロセッサは、前記第１イベント信号及び前記第２イベント信号、前記重畳候補イメージにおける位置と同一の前記第１イメージにおける位置のうち、前記重畳候補イメージの位置及び前記第１イメージの位置のピクセルに対応するイベント信号値の総和を用いて前記類似度を算出することを特徴とする請求項２１に記載のイメージ生成装置。
23. 前記プロセッサは、前記第１イメージを複数の区域に分割し、前記区域毎に重畳候補イメージを生成するために前記第２イメージの一部が前記区域のそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転することを特徴とする請求項１６に記載のイメージ生成装置。
24. 前記プロセッサは、前記第１イメージにある複数のオブジェクトを認識し、前記オブジェクト毎に重畳候補イメージを生成するために前記第２イメージの一部が前記オブジェクトのそれぞれと重畳するように前記第２イメージの一部を移動及び／又は回転することを特徴とする請求項１６に記載のイメージ生成装置。
25. 前記プロセッサは、前記第１イメージに対する前記第２イメージの拡大率又は縮小率に基づいて最大類似度を有する前記第２イメージの移動距離を抽出し、前記第１イメージと重畳するように前記第２イメージを前記移動距離だけ移動させることを特徴とする請求項１６に記載のイメージ生成装置。
26. バッファから、第１時間区間の間にイベント基盤ビジョンセンサから出力された第１イベント信号を第１イベントのそれぞれが検出された時刻の逆順に抽出するステップと、
    前記抽出された第１イベント信号に基づいて第１イメージを生成するステップと、
    バッファから、第２時間区間の間にイベント基盤ビジョンセンサから出力された第２イベント信号を第２イベントのそれぞれが検出された時刻の逆順に抽出するステップと、
    前記抽出された第２イベント信号に基づいて第２イメージを生成するステップと、
    重畳候補イメージを生成するために前記第２イメージを前記第１イメージと重畳するステップと、
    前記第１イメージと前記重畳候補イメージとの類似度を算出するステップと、
    第３イメージを生成するために前記類似度のうちの最大類似度を有する重畳候補イメージを前記第１イメージと重畳するステップと、を有することを特徴とするイメージ生成方法。
27. 前記第１イメージに対する前記重畳候補イメージの拡大率又は縮小率に基づいて最大類似度を有する重畳候補イメージの移動距離を抽出するステップを更に含み、
    前記重畳候補イメージを前記第１イメージと重畳するステップは、前記重畳候補イメージを前記第１イメージと重畳するように前記移動距離だけ移動させるステップを含むことを特徴とする請求項２６に記載のイメージ生成方法。
    

Images