JP7455620B2 - 動画像処理装置及び動画像処理方法 - Google Patents

Description

本発明は、動画像処理装置及び動画像処理方法に関する。

デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）等で用いられる光電変換部材は、シリコン（Ｓｉｌｉｃｏｎ）を単一材料として用いて発展してきた。しかしながら、シリコンを単一材料として用いると、バンドギャップ（Ｂａｎｄ Ｇａｐ）が固定となり、かつ、表面にしか色フィルタ（Ｆｉｌｔｅｒ）を構成することができないため、赤色（Ｒｅｄ）の画素、緑色（Ｇｒｅｅｎ）の画素、及び、青色（Ｂｌｕｅ）の画素を面方向に配列する以外に、単板でカラー撮像を行うことができない。以下、赤色を「Ｒｅｄ」または「Ｒ」、緑色を「Ｇｒｅｅｎ」または「Ｇ」、青色を「Ｂｌｕｅ」または「Ｂ」と称する場合がある。

また、上記のような光電変換部材を用いて、より高解像度の被写体を撮像すると、輝度モアレ（Ｍｏｉｒｅ）や色モアレが発生してしまう場合がある。そのため、輝度モアレや色モアレを抑制するために、撮像装置に光学ローパスフィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）を搭載する必要が生じる。しかしながら、撮像装置に光学ローパスフィルタを搭載すると、解像度が低下してしまう。

そこで、特許文献１では、Ｂｌｕｅの画素及びＲｅｄの画素を配列したシリコン膜を半導体製造工程により形成し、形成したシリコン膜の上層に、Ｇｒｅｅｎ波長を吸収する有機光電膜を配置するという手法が開示されている。特許文献１に記載された光電変換部材では、当該光電変換部材の全面にＧｒｅｅｎの波長を吸収する画素が存在するため、理論的に輝度モアレが発生せず、色モアレも大幅に抑制することができる。

特許第４７００９４７号公報

しかしながら、特許文献１に記載された光電変換部材を用いて、Ｇｒｅｅｎの光電変換を行った場合には、シリコンに比べて有機材料の応答が遅いため、強い光を受光後に急激に消灯した場合に、Ｇｒｅｅｎ画素だけが残像となって残るという問題が発生する。

例えば、車のヘッドライトを直近で受けた場合、または、真夏の快晴時の太陽を直視した場合等では、ヘッドライト光、太陽光等の強い光が、１フレーム（Ｆｒａｍｅ）期間内に消灯しても、次のフレームに残像が発生する場合がある。

一方、画像のダイナミックレンジ（Ｄｙｎａｍｉｃ Ｒａｎｇｅ）は、８ビット（ｂｉｔ）の場合に、２５６階調である。よって、ヘッドライト光、太陽光等の強い光を２５６値内に抑えて表現すると、他の被写体は、相対的に小さい値になって、黒っぽい画像になってしまうという現象が発生する。一般的に、ヘッドライト光、太陽光等の光源を詳細に撮影することはない。よって、通常、そのような光源は、飽和（Ｓａｔｕｒａｔｉｏｎ）したものとして表現される。つまり、光源は、８ビット階調では２５５、１０ビット階調では１０２３の最大値として表現される。

光電変換部材の特性より、強い光を受光した場合に発生したキャリアが、強い光の消灯後、消滅するまでの残存量は、計算により理論的に得られる。このため、ヘッドライト光、太陽光等の強い光の光強度が分かれば、残像に寄与するキャリア数は、求めることが可能である。しかしながら、前述のように、光源は、飽和したものとして表現されるので、実際に、センサ（Ｓｅｎｓｏｒ）に入射する強い光の光強度を測定することは困難である。よって、残像に寄与するキャリア数を精度よく求めることができない。このようなことから、動画像の画質を向上させる上で、残像の除去等を行うことが所望されている。

本発明はこのような問題点に関してなされたものであって、強い光の消灯後に発生する残像の除去等により、動画像の画質を向上させることができる動画像処理装置及び動画像処理方法を提供する。

本発明にかかる動画像処理装置は、動画像を構成する第１フレーム、前記第１フレームよりも時間が経過した第２フレーム、及び、前記第２フレームよりも時間が経過した第３フレームを含む複数のフレームのうち、残像を発生させるスポット光を受光した複数の画素を含む飽和領域が形成された前記第１フレームにおいて、前記飽和領域のフレーム上の位置情報を抽出する位置情報抽出部と、前記第２フレームにおいて、前記飽和領域の前記位置情報に対応する残像領域の画像データを残像領域データとして抽出する残像領域抽出部と、前記第２フレームにおける画像の第１特徴点、及び、前記第３フレームにおける画像の第２特徴点を抽出する特徴点抽出部と、前記第１特徴点と前記第２特徴点との間のマッチングによって、前記第２フレームと前記第３フレームとの間の第１動き情報を検出する動き情報検出部と、検出した前記第１動き情報を用いて、前記残像領域の第２動き情報を算出する動き情報算出部と、算出した前記第２動き情報に基づいて、前記第３フレームにおいて前記残像領域にマッチングした候補領域の画像データを候補領域データとして抽出する候補領域抽出部と、前記候補領域データを用いて、前記残像領域データを補正する残像領域補正部と、を備える。

また、前記複数のフレームは、第１光を光電変換する複数の第１画素と、前記第１光と異なる波長の第２光を光電変換する複数の第２画素と、前記複数の第１画素及び前記複数の第２画素よりも前記第１光及び前記第２光が入射する側に設けられ、前記第１光及び前記第２光とは異なる波長の第３光を光電変換する複数の第３画素と、を有するイメージセンサから出力されたものである。

さらに、前記残像領域補正部は、前記候補領域データにおける前記第１画素が受光した前記第１光の輝度を示す第１画素値及び前記第２画素が受光した前記第２光の輝度を示す第２画素値と、前記第３画素が受光した前記第３光の輝度を示す第３画素値との比率と、前記残像領域データにおける前記第１画素値及び前記第２画素値とを用いて、前記残像領域データの前記第３画素値を補正する。

前記飽和領域は、画素値が最大値を示す隣り合った複数の前記第１画素、前記第２画素及び前記第３画素を含む。

また、前記動き情報算出部は、前記残像領域の近傍における前記第１特徴点の前記第１動き情報を用いて、前記第２動き情報を算出する。

さらに、前記動き情報算出部は、前記残像領域の周辺における複数の前記第１特徴点の複数の前記第１動き情報を用いて、前記第２動き情報を算出する。

前記第１画素は、赤色の光を光電変換し、前記第２画素は、青色の光を光電変換し、前記第３画素は、緑色の光を光電変換する。

また、前記第１画素及び前記第２画素の光電変換部材は、シリコンを含み、前記第３画素の光電変換部材は、有機半導体を含む。

本発明にかかる動画像処理方法は、動画像を構成する第１フレーム、前記第１フレームよりも時間が経過した第２フレーム、及び、前記第２フレームよりも時間が経過した第３フレームを含む複数のフレームのうち、残像を発生させるスポット光を受光した複数の画素を含む飽和領域が形成された前記第１フレームにおいて、前記飽和領域のフレーム上の位置情報を抽出する位置情報抽出ステップと、前記第２フレームにおいて、前記飽和領域の前記位置情報に対応する残像領域の画像データを残像領域データとして抽出する残像領域抽出ステップと、前記第２フレームにおける画像の第１特徴点、及び、前記第３フレームにおける画像の第２特徴点を抽出する特徴点抽出ステップと、前記第１特徴点と前記第２特徴点との間のマッチングによって、前記第２フレームと前記第３フレームとの間の第１動き情報を検出する動き情報検出ステップと、検出した前記第１動き情報を用いて、前記残像領域の第２動き情報を算出する動き情報算出ステップと、算出した前記第２動き情報に基づいて、前記第３フレームにおいて前記残像領域にマッチングした候補領域の画像データを候補領域データとして抽出する候補領域抽出ステップと、前記候補領域データを用いて、前記残像領域データを補正する残像領域補正ステップと、を備える。

また、前記複数のフレームを、第１光を光電変換する複数の第１画素と、前記第１光と異なる波長の第２光を光電変換する複数の第２画素と、前記複数の第１画素及び前記複数の第２画素よりも前記第１光及び前記第２光が入射する側に設けられ、前記第１光及び前記第２光とは異なる波長の第３光を光電変換する複数の第３画素と、を有するイメージセンサから出力させるフレーム生成ステップをさらに備える。

さらに、前記残像領域補正ステップは、前記候補領域データにおける前記第１画素が受光した前記第１光の輝度を示す第１画素値及び前記第２画素が受光した前記第２光の輝度を示す第２画素値と、前記第３画素が受光した前記第３光の輝度を示す第３画素値との比率と、前記残像領域データにおける前記第１画素値及び前記第２画素値とを用いて、前記残像領域データの前記第３画素値を補正する。

前記位置情報抽出ステップにおいて、前記飽和領域は、画素値が最大値を示す隣り合った複数の前記第１画素、前記第２画素及び前記第３画素を含む。

また、前記動き情報算出ステップは、前記残像領域の近傍における前記第１特徴点の前記第１動き情報を用いて、前記第２動き情報を算出する。

さらに、前記動き情報算出ステップは、前記残像領域の周辺における複数の前記第１特徴点の複数の前記第１動き情報を用いて、前記第２動き情報を算出する。

前記フレーム生成ステップにおいて、前記第１画素は、赤色の光を光電変換し、前記第２画素は、青色の光を光電変換し、前記第３画素は、緑色の光を光電変換する。

また、前記フレーム生成ステップにおいて、前記第１画素及び前記第２画素の光電変換部材は、シリコンを含み、前記第３画素の光電変換部材は、有機半導体を含む。

本発明により、強い光の消灯後に発生する残像の除去等により、動画像の画質を向上させることができる動画像処理装置及び動画像処理方法を提供する。

実施形態に係る撮像装置を例示した構成図である。 実施形態に係る撮像装置において、イメージセンサの構成を例示した断面図である。 実施形態に係る撮像装置において、イメージセンサを照射光が入射する側から見た図である。 実施形態に係る撮像装置において、イメージセンサから出力された複数のフレームを例示した図である。 実施形態に係る撮像装置において、動画像処理装置の構成を例示した図である。 実施形態に係る動画像処理装置において、位置情報抽出部が飽和領域として抽出しない領域を例示した図である。 実施形態に係る動画像処理装置において、位置情報抽出部が飽和領域として抽出しない領域の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。 実施形態に係る動画像処理装置において、位置情報抽出部が飽和領域として抽出する領域を例示した図である。 実施形態に係る動画像処理装置において、位置情報抽出部が飽和領域として抽出する領域の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。 実施形態に係る動画像処理装置において、残像領域抽出部が残像領域として抽出する領域を例示した図である。 実施形態に係る動画像処理装置において、特徴点抽出部が第２フレーム及び第３フレームから抽出した特徴点を例示した図である。 実施形態に係る動画像処理装置において、動き情報検出部が検出した動き情報を例示した図である。 実施形態に係る動画像処理装置において、動き情報算出部が算出した動き情報を例示した図である。 実施形態に係る動画像処理装置において、第３フレームにおける候補領域の各画素の画素値を例示したグラフであり、横軸は画素の位置を示し、縦軸は画素値を示す。 実施形態に係る動画像処理装置において、第２フレームにおける残像領域の各画素の画素値を例示したグラフであり、横軸は画素の位置を示し、縦軸は画素値を示す。 実施形態に係る動画像処理方法を例示したフローチャート図である。 実施形態の変形例１に係る撮像装置において、イメージセンサから出力された複数のフレームを例示した図である。 実施形態の変形例２に係る撮像装置において、イメージセンサから出力された複数のフレームを例示した図である。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

（実施形態）
以下、実施形態に係る動画像処理装置を説明する。まず、動画像処理装置が組み込まれる撮像装置の構成として、イメージセンサ及び動画像処理装置の構成を説明する。そして、動画像処理装置の動作として、動画像処理方法を説明する。

＜撮像装置の構成＞
図１は、実施形態に係る撮像装置を例示した構成図である。図１に示すように、撮像装置１は、イメージセンサ１０及び動画像処理装置２０を備えている。撮像装置１は、これら以外に、他の部品等を含んでもよい。撮像装置１は、イメージセンサ１０が撮像した複数のフレーム３０を、動画像処理装置２０によって処理して動画像４０として出力する。まず、イメージセンサ１０を説明する。

＜イメージセンサ＞
図２は、実施形態に係る撮像装置１において、イメージセンサの構成を例示した断面図である。図３は、実施形態に係る撮像装置１において、イメージセンサを照射光が入射する側から見た図である。図２及び図３に示すように、イメージセンサ１０は、Ｒｅｄの光を光電変換する複数の画素Ｒと、Ｂｌｕｅの光を光電変換する複数の画素Ｂと、Ｇｒｅｅｎの光を光電変換する複数の画素Ｇと、を有している。

なお、イメージセンサ１０の各画素が光電変換する光は、相互に波長が異なれば、Ｒｅｄの光、Ｂｌｕｅの光、Ｇｒｅｅｎの光に限らない。したがって、イメージセンサ１０は、第１光を光電変換する複数の第１画素と、第１光と異なる波長の第２光を光電変換する複数の第２画素と、第１光及び第２光とは異なる波長の第３光を光電変換する複数の第３画素と、を有していればよい。図２及び図３の場合には、第１光は、Ｒｅｄの光であり、第２光は、Ｂｌｕｅの光であり、第３光は、Ｇｒｅｅｎの光である。第１画素は、画素Ｒであり、第２画素は、画素Ｂであり、第３画素は、画素Ｇである。各光は、相互に中心波長が異なれば、ある程度の波長の範囲を有してもよい。

イメージセンサ１０は、例えば、基板１１及び有機光電膜１２を有している。イメージセンサ１０は、これら以外に、電極、配線等を有しているが、図では省略している。有機光電膜１２は、基板１１上に形成されている。基板１１は、例えば、シリコン基板であり、光電変換部材としてシリコンを含んでいる。有機光電膜１２は、例えば、光電変換部材として有機半導体を含んでいる。照射光は、有機光電膜１２側から入射する。

複数の画素Ｒ及び複数の画素Ｂは、基板１１に形成されている。複数の画素Ｇは、有機光電膜１２に形成されている。よって、画素Ｒ及び画素Ｂの光電変換部材は、シリコンを含み、画素Ｇの光電変換部材は、有機半導体を含む。また、複数の画素Ｇは、複数の画素Ｒ及び複数の画素ＢよりもＲｅｄの光、Ｂｌｕｅの光及びＧｒｅｅｎの光が入射する側に設けられている。

複数の画素Ｒ、複数の画素Ｂ及び複数の画素Ｇは、基板１１の上面に平行な面内でマトリックス状に配置されている。例えば、基板１１の上面に平行な面内において直交する２方向をＸ軸方向及びＹ軸方向とすると、各画素は、（ｘ、ｙ）の座標で示される位置に配置されている。ここで、ｘは、例えば、Ｙ軸方向に直線状に配列した画素列の１番目～Ｐ番目の列のいずれかを示し、ｙは、Ｘ軸方向に直線状に配列した画素ラインの１番目～Ｑ番目のラインのいずれかを示す。

複数の画素Ｒ及び複数の画素Ｂは、Ｚ軸方向から見て、基板１１の上面に、例えば、市松模様状に配置されている。複数の画素Ｇは、Ｚ軸方向から見て、有機光電膜１２に、例えば、マトリックス状に配置されている。なお、複数の画素Ｒ、複数の画素Ｂ及び複数の画素Ｇの配置は、市松模様状及びマトリックス状に限らず、ハニカム状等でもよい。

各画素Ｒ～Ｇで光電変換された信号は、基板１１に形成された図示しない駆動回路を介して、動画像４０を構成する複数のフレーム３０として出力される。

図４は、実施形態に係る撮像装置１において、イメージセンサ１０から出力された複数のフレーム３０を例示した図である。図４に示すように、複数のフレーム３０は、例えば、第１フレーム３１、第２フレーム３２及び第３フレーム３３を含む。第２フレーム３２は、第１フレーム３１よりも時間が経過したフレーム３０である。第３フレーム３３は、第２フレーム３２よりも時間が経過したフレーム３０である。

第１フレーム３１、第２フレーム３２及び第３フレーム３３は、経時順に並んでいれば、連続してもよいし、各フレーム３０の間に、１つまたは複数のフレーム３０が挿入されてもよい。したがって、第１フレーム３１を、第２フレーム３２よりもＮフレーム前のフレーム３０とし、第３フレーム３３を、第２フレームよりもＭフレーム後のフレーム３０とした場合には、Ｎ＝１でもよいし、Ｎ≧２でもよい。また、Ｍ＝１でもよいし、Ｍ≧２でもよい。第１フレーム３１、第２フレーム３２及び第３フレーム３３を含む複数のフレーム３０は、動画像４０を構成する。

第２フレーム３２を、イメージセンサ１０から出力される時を基準にして、現在のフレーム３０または現在の画像と呼び、第１フレーム３１を、過去のフレーム３０または過去の画像と呼び、第３フレーム３３を、未来のフレーム３０または未来の画像と呼ぶ場合がある。

例えば、図４に示すように、第１フレーム３１～第３フレーム３３には、車及び車の背景が対象物として撮像されている。対象物をオブジェクト（Ｏｂｊｅｃｔ）と呼ぶ。第１フレーム３１～第３フレーム３３は、実際はカラーで撮像されたものである。

第１フレーム３１（過去の画像）には、スポット（Ｓｐｏｔ）光ＳＰと呼ばれる強い光が受光されている。具体的には、車のヘッドライトが点灯して、ヘッドライト光を撮像した複数の画素は、スポット光ＳＰを受光している。

第２フレーム３２（現在の画像）には、スポット光ＳＰの影響により、Ｇｒｅｅｎの光を受光した画素Ｇのみ画素値が下がりきらず、Ｇｒｅｅｎの残像ＺＡが発生している。図では、ヘッドライト部分の残像ＺＡをグレー色で色付けしている。実際のカラーの画像では、Ｇｒｅｅｎの残像ＺＡとなっている。

第３フレーム３３（未来の画像）には、スポット光ＳＰの影響がなくなり、残像ＺＡは消滅している。本実施形態の動画像処理装置２０は、イメージセンサ１０から出力された動画像４０を構成する複数のフレーム３０を処理して出力する。動画像処理装置２０が行う処理のうち、具体的な一つの処理は、スポット光ＳＰ等の強い光の消灯後に発生するＧｒｅｅｎの残像ＺＡの除去である。

＜動画像処理装置＞
動画像処理装置２０は、例えば、演算処理、制御処理等を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵによって実行される演算プログラム、制御プログラム等が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、各種のデータなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）、などからなるマイクロコンピュータを中心として構成されている。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。以下で、動画像処理装置２０の各構成を説明する。

図５は、実施形態に係る撮像装置１において、動画像処理装置２０の構成を例示した図である。図５に示すように、動画像処理装置２０は、位置情報抽出部２１、残像領域抽出部２２、特徴点抽出部２３、動き情報検出部２４、動き情報算出部２５、候補領域抽出部２６、残像領域補正部２７を備えている。動画像処理装置２０は、各部２１～２７を制御する図示しない制御部を備えてもよい。動画像処理装置２０は、各部２１～２７を連携させることにより、イメージセンサ１０から入力された動画像４０を構成する複数のフレーム３０を処理して出力する。

図５には、動画像４０を構成する第１フレーム３１、第２フレーム３２及び第３フレーム３３の別の例も示している。各フレーム３１～３３には、携帯機器のＬＥＤライトを含む部分が撮像されている。

＜位置情報抽出部＞
図５に示すように、位置情報抽出部２１は、第１フレーム３１において、飽和領域５１の位置情報を抽出する。飽和領域５１は、残像ＺＡを発生させるスポット光ＳＰを受光した複数の画素を含む領域である。言い換えれば、スポット光ＳＰを受光して残像ＺＡが発生すると予測される領域である。

具体的には、飽和領域５１は、図５の第１フレームにおけるＬＥＤライトの部分である。飽和領域５１は、画素Ｒ、画素Ｂ及び画素Ｇともに、最大値の画素値を示す画素が密集し、画素値が最大値を示す隣り合った複数の画素Ｇ、画素Ｂ及び画素Ｇを含む領域である。以下で、図を参照しながら、飽和領域５１として抽出されない例（図６及び図７）と、飽和領域として抽出される例（図８及び図９）を説明する。

図６は、実施形態に係る動画像処理装置２０において、位置情報抽出部２１が飽和領域５１として抽出しない領域を例示した図である。図７は、実施形態に係る動画像処理装置２０において、位置情報抽出部２１が飽和領域５１として抽出しない領域の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。図７において、画素値は、輝度と相関させて示されている。

図６に示すように、車は、ヘッドライトを点灯している。しかしながら、この場合には、ヘッドライト光は、残像を発生させるスポット光ＳＰのように強い光ではない。よって、イメージセンサ１０は、残像ＺＡを発生させるスポット光ＳＰを受光していない。

図７に示すように、所定の領域において、１つの画素のみ最大値になっている場合には、残像ＺＡを発生させる光強度を有するスポット光ＳＰであることは少ない。すなわち、最大値を超えても、それが孤立した画素の場合には、残像ＺＡが発生する光強度である可能性は低い。よって、この場合には、位置情報抽出部２１は、飽和領域５１として抽出しない。画素値の最大値に対応する輝度よりも大きい輝度の光を受光した画素は、飽和（Ｓａｔｕｒａｔｉｏｎ）したものとして最大値で表現される。

画素値は、画素が受光した光の輝度を示し、輝度が大きいほど大きい画素値を示す。輝度を示すダイナミックレンジを、８ビット（ｂｉｔ）で表現すると、０～２５５の２５６階調となる。この場合の最大値は、２５５である。また、輝度を示すダイナミックレンジを、１０ビット（ｂｉｔ）で表現すると、０～１０２３の１０２４階調となる。この場合の最大値は、１０２３である。

車のヘッドライト光、真夏の快晴時の太陽光等のように、強い光を２５６階調または１０２４階調内に収まるように表現すると、肉眼で認識できる通常の被写体は、黒に近い階調になって区別がつかなくなるという現象が発生する。一般的な撮影において、車のヘッドライト光、真夏の快晴時の太陽光等の光源を詳細に撮影することは目的とはなりにくく、そのような強い光は、飽和したものとして、最大値で表現される。

図８は、実施形態に係る動画像処理装置２０において、位置情報抽出部２１が飽和領域５１として抽出する領域を例示した図である。図９は、実施形態に係る動画像処理装置２０において、位置情報抽出部２１が飽和領域５１として抽出する領域の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。

図８に示す車が点灯したヘッドライトは、強い光を放出している。この場合には、イメージセンサ１０は、残像ＺＡを発生させるスポット光ＳＰを受光している。よって、スポット光ＳＰを受光した複数の画素を含む飽和領域５１が形成される。

図９に示すように、所定の領域において、最大値を示す画素がクラスタ（Ｃｌｕｓｔｅｒ）化している場合には、位置情報抽出部２１は、飽和領域５１として抽出する。スポット光ＳＰのように、極端に強い光を受けた場合には、その散乱による強度の裾野があることが多い。よって、強度の裾野による最大値を示す画素が連続することになる。これにより、飽和領域５１においては、画素Ｒ、画素Ｂ及び画素Ｇともに、最大値の画素値を示す画素が密集している。つまり、スポット光ＳＰを受光した画素を含む飽和領域５１は、画素Ｒ、画素Ｂ及び画素Ｇともに、最大値の画素値を示す画素が密集し、領域当たり所定数以上の最大値を示した画素が存在する。飽和領域５１は、画素値が最大値を示す隣り合った複数の画素Ｇ、画素Ｂ及び画素Ｇを含む。

位置情報抽出部２１は、動画像４０を構成する複数のフレーム３０のうち、飽和領域５１が形成された第１フレーム３１において、飽和領域５１のフレーム３０上の位置情報を抽出する。例えば、位置情報抽出部２１は、図８に示すように、第１フレーム３１において、フレーム３０上のＸ＝ｐ～ｐ＋ａ及びＹ＝ｑ～ｑ＋ｂの範囲の画素が含まれた領域を、飽和領域５１として抽出する。ここで、ｐ及びｐ＋ａは、Ｘ軸方向の画素列の番号を示し、ｑ及びｑ＋ｂは、Ｙ軸方向の画素ラインの番号を示す。

＜残像領域抽出部＞
図１０は、実施形態に係る動画像処理装置２０において、残像領域抽出部２２が残像領域５２として抽出する領域を例示した図である。図５及び図１０に示すように、残像領域抽出部２２は、第２フレーム３２において、飽和領域５１の位置情報に対応する残像領域５２の画像データを残像領域データとして抽出する。

具体的には、残像領域抽出部２２は、第２フレーム３２において、フレーム３０上のＸ＝ｐ～ｐ＋ａ及びＹ＝ｑ～ｑ＋ｂの範囲の画素が含まれた領域を、残像領域５２として抽出する。残像領域５２は、スポット光ＳＰを受光して残像ＺＡが発生した複数の画素を含んでいる。残像領域抽出部２２は、残像領域５２の画像データを、残像領域データとして抽出する。残像領域抽出部２２は、残像領域データを、第２フレーム３２から、例えば、矩形状に切り出す。

＜特徴点抽出部＞
図１１は、実施形態に係る動画像処理装置２０において、特徴点抽出部２３が第２フレーム３２及び第３フレーム３３から抽出した特徴点を例示した図である。図１１に示すように、特徴点抽出部２３は、第２フレーム３２における画像の複数の特徴点３２ａ～３２ｉ、及び、第３フレーム３３における画像の複数の特徴点３３ａ～３３ｉを抽出する。

特徴点抽出部２３は、第２フレーム３２における撮像されたオブジェクトの縁（Ｅｄｇｅ）、先端（Ｐｅａｋ）等の変化の大きい部分を特徴点３２ａ～３２ｉとして抽出する。同様に、特徴点抽出部２３は、第３フレーム３３における撮像されたオブジェクトの縁、先端等の変化の大きい部分を特徴点３３ａ～３３ｉとして抽出する。

特徴点の抽出方法として、例えば、ＯＲＢ（Ｏｒｉｅｎｔｅｄ Ｆａｓｔ ａｎｄ Ｒｏｔａｔｅｄ Ｂｒｉｅｆ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等が挙げられる。

＜動き情報検出部＞
図１２は、実施形態に係る動画像処理装置２０において、動き情報検出部２４が検出した動き情報を例示した図である。図１２に示すように、動き情報検出部２４は、第２フレーム３２における特徴点３２ａ～３２ｉと、第３フレーム３３における特徴点３３ａ～３３ｉとの間のマッチング（Ｍａｔｃｈｉｎｇ）によって、第２フレーム３２と第３フレーム３３との間の動き情報Ｖ１を検出する。動き情報Ｖ１は、例えば、動きベクトル（Ｖｅｃｔｏｒ）である。動き情報Ｖ１は、各特徴点３２ａ～３２ｉと各特徴点３３ａ～３３ｉとの間に検出されるが、総称して、動き情報Ｖ１と呼ぶ。

動き情報検出部２４は、まず、抽出した各特徴点３２ａ～３２ｉ及び各特徴点３３ａ～３３ｉについて特徴分類を行う。そして、動き情報検出部２４は、第２フレーム３２における各特徴点３２ａ～３２ｉと、第３フレーム３３における各特徴点３３ａ～３３ｉとの間でマッチングを行う。通常は、フレーム３０内のオブジェクトがどのように移動したかを判断する。例えば、第２フレーム３２と、第３フレーム３３との間で、各特徴点３２ａ～３２ｉ及び各特徴点３３ａ～３３ｉのマッチングを行い、各特徴点同士のペア（Ｐａｉｒ）を構築する。このペアが２つのフレーム３０間で、どのように移動したかが動き情報Ｖ１となる。

＜動き情報算出部＞
動き情報算出部２５は、検出した動き情報Ｖ１を用いて、残像領域５２の動き情報Ｖ２を算出する。残像領域抽出部２２が抽出した残像領域５２は、前述のように、通常、矩形状で与えられる。この矩形状の残像領域５２を代表する動き情報Ｖ２は、例えば、残像領域５２内の特徴点の動き情報Ｖ１と同様でもよい。しかしながら、特徴点のマッチングにより、動き情報Ｖ２が即座に決まらない場合がある。例えば、この矩形内に特徴点があるとは限らず、また、矩形内に特徴点があったとしても、第３フレーム３３とのマッチングが成立するとは限らない場合がある。

このため、特徴点のマッチングにより、動き情報Ｖ２が即座に決まらない場合には、動き情報算出部２５は、例えば、以下の２つの方法によって、残像領域５２の動きベクトルＶ２を算出する。

１．残像領域５２の近傍の特徴点マッチングによる動きベクトルＶ１を流用する。すなわち、動き情報算出部２５は、残像領域５２の近傍における特徴点の動き情報Ｖ１を用いて、動き情報Ｖ２を算出する。

２．残像領域５２の周辺の動き情報Ｖ１からの算術平均により残像領域５２の動きベクトルＶ２を算出する。すなわち、動き情報算出部２５は、残像領域５２の周辺における複数の特徴点の複数の動き情報Ｖ１を用いて、動き情報Ｖ２を算出する等の方法により、残像領域５２の動き情報Ｖ２を求める。算術平均としては、残像領域５２の中心から各特徴点との距離により荷重平均をとる方法が考えられる。

図１３は、実施形態に係る動画像処理装置２０において、動き情報算出部２５が算出した動き情報Ｖ２を例示した図である。図１３に示すように、動き情報算出部２５は、上述した算出方法によって、残像領域５２の第２動き情報Ｖ２を算出する。

＜候補領域抽出部＞
候補領域抽出部２６は、算出した動き情報Ｖ２に基づいて、第３フレーム３３において残像領域５２にマッチングした候補領域５３の画像データを候補領域データとして抽出する。具体的には、候補領域抽出部２６は、動き情報算出部２５が算出した残像領域５２の動きベクトルＶ２から、残像領域５２を補償するための候補領域５３を第３フレーム３３から抽出する。さらに、候補領域抽出部２６は、候補領域５３の画像データを第３フレーム３３から抽出する。

＜残像領域補正部＞
残像領域補正部２７は、候補領域データを用いて、残像領域データを補正する。残像領域補正部２７は、例えば、候補領域データにおける画素Ｒが受光したＲｅｄの光の輝度を示す画素値Ｒ３及び画素Ｂが受光したＢｌｕｅの光の輝度を示す画素値Ｂ３と、画素Ｇが受光したＧｒｒｅｎの光の輝度を示す画素値Ｇ３との比率と、残像領域データにおける画素Ｒが受光したＲｅｄの光の輝度を示す画素値Ｒ２及び画素Ｂが受光したＢｌｕｅの光の輝度を示す画素値Ｂ２とを用いて、残像領域データの画素Ｇが受光したＧｒｅｅｎの光の輝度を示す画素値Ｇ２を補正する。このように、残像領域補正部２７は、Ｇｒｅｅｎの残像の原因となる第２フレーム３２の画素Ｇの画素値Ｇ２を補正する。この処理を、図を参照して説明する。

図１４は、実施形態に係る動画像処理装置２０において、第３フレーム３３における候補領域５３の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。図１５は、実施形態に係る動画像処理装置２０において、第２フレーム３２における残像領域５２の各画素の画素値を例示したグラフであり、横軸は、画素の位置を示し、縦軸は、画素値を示す。各図とも、Ｒｅｄの画素Ｒ、Ｇｒｅｅｎの画素Ｇ及びＢｌｕｅの画素Ｂの画素値を示している。

第２フレーム３２における画素Ｒ及び画素Ｂ、並びに、第３フレーム３３における画素Ｒ、画素Ｂ及び画素Ｇには、残像ＺＡが発生していない。よって、本来は、第２フレーム３２から抽出された残像領域５２の画素値Ｒ２、画素値Ｂ２及び画素値Ｇ２の割合は、第３フレーム３３から抽出された候補領域５３の画素値Ｒ３、画素値Ｂ３及び画素値Ｇ３の割合と、同じと考えられる。そこで、残像が発生した第２フレーム３２の画素Ｇの画素値Ｇ２を、例えば、以下の（１）式で補正した画素値Ｇ２ｃで補正する。

Ｇ２ｃ＝｛Ｒ２＊（Ｇ３／Ｒ３）＋Ｂ２＊（Ｇ３／Ｂ３）｝／２ （１）

なお、補正する方法としては、（１）式に限らない。例えば、残像領域５２及び候補領域５３において、画素値Ｒ２及びＲ３が、画素値Ｂ２及びＢ３よりも大きい場合には、下記の（２）式を用いてもよい。

Ｇ２ｃ＝Ｒ２＊（Ｇ３／Ｒ３） （２）

逆に、画素値Ｂ２及びＢ３が、画素値Ｒ２及びＲ３よりも大きい場合には、下記の（３）式を用いてもよい。

Ｇ２ｃ＝Ｂ２＊（Ｇ３／Ｂ３） （３）

なお、画素値Ｇ２ｃを求める方法は、第３フレーム３３の画素値Ｒ３、画素値Ｂ３及び画素値Ｇ３、並びに、第２フレーム３２の画素値Ｒ２及び画素値Ｂ２のいずれかを用いる方法であれば、（１）式～（３）式に限らない。

このようにして、残像領域補正部２７は、第２フレーム３２から抽出された残像領域５２の画像データを、第３フレーム３３から抽出された候補領域５３の画像データを用いて補正する。具体的には、残像領域補正部２７は、残像領域５２の画素値Ｇ２を、候補領域５３の画素値Ｒ３、画素値Ｂ３及び画素値Ｇ３、並びに、残像領域５２の画素値Ｒ３及び画素値Ｂ３のうち、少なくともいずれかを用いて補正する。

＜動画像処理方法＞
次に、実施形態に係る動画像処理装置２０の動作として、動画像処理方法を説明する。図１６は、実施形態に係る動画像処理方法を例示したフローチャート図である。

図１６のステップＳ１１に示すように、動画像処理装置２０は、第１フレーム３１において、飽和領域５１の位置情報を抽出する。具体的には、位置情報抽出部２１は、動画像４０を構成する第１フレーム３１、第１フレーム３１よりも時間が経過した第２フレーム３２、及び、第２フレーム３２よりも時間が経過した第３フレーム３３を含む複数のフレーム３０のうち、残像ＺＡを発生させるスポット光ＳＰを受光した複数の画素を含む飽和領域５１が形成された第１フレーム３１において、飽和領域５１のフレーム３０上の位置情報を抽出する。なお、ステップＳ１１において、飽和領域５１は、画素値が最大値を示す隣り合った複数の画素Ｒ、画素Ｂ及び画素Ｇを含む。

次に、ステップＳ１２に示すように、動画像処理装置２０は、第２フレーム３２において、残像領域データを抽出する。具体的には、残像領域抽出部２２は、第２フレーム３２において、飽和領域５１の位置情報に対応する残像領域５２の画像データを残像領域データとして抽出する。

次に、ステップＳ１３に示すように、動画像処理装置２０は、第２フレーム３２の特徴点及び第３フレーム３３の特徴点を抽出する。具体的には、特徴点抽出部２３は、第２フレーム３２における画像の特徴点３２ａ～３２ｉ、及び、第３フレーム３３における画像の特徴点３３ａ～３３ｉを抽出する。

次に、ステップＳ１４に示すように、動画像処理装置２０は、第２フレーム３２と第３フレーム３３との間の動き情報Ｖ１を検出する。具体的には、動き情報検出部２４は、特徴点３２ａ～３２ｉと特徴点３３ａ～３３ｉとの間のマッチングによって、第２フレーム３２と第３フレーム３３との間の動き情報Ｖ１を検出する。

次に、ステップＳ１５に示すように、動画像処理装置２０は、残像領域５２の動き情報Ｖ２を算出する。具体的には、動き情報算出部２５は、検出した動き情報Ｖ１を用いて、残像領域５２の動き情報Ｖ２を算出する。

例えば、動き情報算出部２５は、残像領域５２の近傍における特徴点の動き情報Ｖ１を用いて、動き情報Ｖ２を算出してもよい。あるいは、動き情報算出部２５は、残像領域５２の周辺における複数の特徴点の複数の動き情報Ｖ１を用いて、動き情報Ｖ２を算出してもよい。例えば、動き情報算出部２５は、残像領域５２の中心から各特徴点との距離により荷重平均を用いて、動き情報Ｖ２を算出してもよい。

次に、ステップＳ１６に示すように、動画像処理装置２０は、第３フレーム３３において、候補領域データを抽出する。具体的には、候補領域抽出部２６は、算出した動き情報Ｖ２に基づいて、第３フレーム３３において残像領域５２にマッチングした候補領域５３の画像データを候補領域データとして抽出する。

次に、ステップＳ１７に示すように、動画像処理装置２０は、候補領域データを用いて、残像領域データを補正する。具体的には、残像領域補正部２７は、候補領域データを用いて、残像領域データを補正する。

ステップＳ１７の残像領域を補正ステップは、例えば、候補領域データにおける画素Ｒが受光したＲｅｄの光の輝度を示す画素値Ｒ３及び画素Ｂが受光したＢｌｕｅの光の輝度を示す画素値Ｂ３と、画素Ｇが受光したＧｒｅｅｎの光の輝度を示す画素値Ｇ３との比率と、残像領域データにおける画素値Ｒ２及び画素値Ｂ２とを用いて、残像領域データの画素値Ｇ２を補正してもよい。このようにして、動画像４０を構成する複数のフレーム３０を処理して、動画像４０を出力する。

なお、動画像処理方法は、複数のフレームを、イメージセンサ１０から出力させるフレーム生成ステップをさらに備えてもよい。ここで、イメージセンサ１０は、第１光を光電変換する複数の第１画素と、第１光と異なる波長の第２光を光電変換する複数の第２画素と、複数の第１画素及び複数の第２画素よりも第１光及び第２光が入射する側に設けられ、第１光及び第２光とは異なる波長の第３光を光電変換する複数の第３画素と、を有してもよい。

フレーム生成ステップにおいて、第１画素は、Ｒｅｄの光を光電変換し、第２画素は、Ｂｌｕｅの光を光電変換し、第３画素は、Ｇｒｅｅｎの光を光電変換してもよい。また、第１画素及び第２画素の光電変換部材は、シリコンを含み、第３画素の光電変換部材は、有機半導体を含んでもよい。

＜変形例１＞
次に、変形例１を説明する。変形例１は、フレームレート（Ｆｒａｍｅ Ｒａｔｅ）が大きい場合の例である。図１７は、実施形態の変形例１に係る撮像装置１において、イメージセンサ１０から出力された複数のフレーム３０を例示した図である。

例えば、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の場合には、イメージセンサ１０が出力したフレーム３０に残像ＺＡが発生しても、動画像処理装置２０は、次のフレーム３０において残像ＺＡを除去することができる。すなわち、動画像処理装置２０は、第１フレーム３１、第２フレーム３２及び第３フレーム３３を連続するように処理することができる。

しかしながら、図１７に示すように、フレームレートが３０ｆｐｓよりも大きくなった場合には、第１フレーム３１、第２フレーム３２及び第３フレーム３３の各フレーム３０間に、残像ＺＡの影響が異なる複数のフレーム３０が存在することになる。例えば、第２フレーム３２のＮフレーム前の第１フレーム３１において、スポット光ＳＰを受光する。第２フレーム３２のＭフレーム後の第３フレーム３３で残像ＺＡが消滅する。例えば、Ｍ＝３、Ｎ＝３の場合には、フレームレートは、１８０ｆｐｓに相当する。

このような場合には、Ｍ＋Ｎ＋１フレーム３０の画像データを保持することにより、動画像処理装置２０は、残像ＺＡを除去することができる。具体的には、第１フレーム３１と第３フレーム３３との間のＭ＋Ｎ－１フレームの各フレームを、第２フレーム３２として、補正処理を行う。この場合に、残像ＺＡが消滅する第３フレーム３３が、スポット光ＳＰを受光した第１フレーム３１から何フレームになるかが問題となるが、それについては、予め設定してもよいし、ダミーの動画像４０から決定してもよい。

＜変形例２＞
次に、変形例２を説明する。変形例２は、第１フレーム３１から第３フレーム３３に渡って、フレーム３０上のオブジェクトの位置が移動する例である。

図１８は、実施形態の変形例２に係る撮像装置１において、イメージセンサ１０から出力された複数のフレーム３０を例示した図である。図１８に示すように、第１フレーム３１から第３フレーム３３に渡って、フレーム３０上の車の位置は右方向に移動している。それに伴い、フレーム３０上のヘッドライトの位置も右方向に移動している。

第１フレーム３１は、残像ＺＡを発生させるスポット光ＳＰを受光した複数の画素を含む飽和領域５１を有している。位置情報抽出部２１は、飽和領域５１のフレーム３０上の位置情報を抽出する。

残像領域抽出部２２は、第２フレーム３２において、飽和領域５１の位置情報に対応する残像領域５２を抽出する。第２フレーム３２では、ヘッドライトの位置が右方向に移動しているので、残像領域５２は、ヘッドライトを含んでいない。

候補領域抽出部２６は、第３フレーム３３において、上述した方法によって算出した動き情報Ｖ２を用いて、残像領域５２にマッチングした候補領域５３を抽出する。このように、動画像処理装置２０は、飽和領域５１にポジションで対応する残像領域５２を抽出する。そして、動画像処理装置２０は、残像領域５２にオブジェクトで対応する候補領域５３を抽出する。よって、第１フレーム３１から第３フレーム３３に渡って、フレーム３０上のオブジェクトの位置が移動している場合でも、動画像処理装置２０は、残像ＺＡを含む残像領域５２を、候補領域５３を用いて補正することができる。

次に、本実施形態の効果を説明する。本実施形態の動画像処理装置２０は、スポット光ＳＰを受光した飽和領域５１に対応する残像領域５２を、残像ＺＡのない候補領域５３を用いて補正するので、ヘッドライト光、太陽光等の強い光の消灯後に発生するＧｒｅｅｎの残像ＺＡを除去することができる。これにより、動画像４０の画質を向上することができる。

また、残像領域５２を補正する際には、候補領域５３における画素値Ｒ３及びＢ３と、画素値Ｇ３との比率と、残像領域５２における画素値Ｒ２及びＢ２とを用いて、残像領域５２における画素値Ｇ２を補正する。よって、残像領域５２のＧｒｅｅｎの残像ＺＡを精度よく除去することができる。

残像ＺＡを除去する方法として、フレーム３０上の画素から発生するキャリア数を用いる方法が考えられる。この方法は、まず、スポット光ＳＰを受光した第１フレーム３１における各画素に発生したキャリア数を計算する。そして、発生したキャリア数から残留キャリア数を光電変換部材の特性より理論的に計算する。残留キャリア数は、残像ＺＡに相当するキャリア数である。次に、残像ＺＡが発生した第２フレーム３２のキャリア数から残留キャリア数を引き算する。これにより、残像ＺＡを除去できるように考えられるかもしれない。

しかしながら、実際の画像は、スポット光ＳＰの輝度を測定するような撮像はしておらず、スポット光ＳＰの部分は飽和しているとして、ダイナミックレンジの最大値で表現されている。したがって、スポット光ＳＰの部分は飽和しているので、残留キャリアは、実際よりも低く見積もられ、発生したキャリア数から残留キャリア数を正確に計算することはできない。よって、残像ＺＡが発生した第２フレーム３２から残留キャリア数を引き算しても、精度よく残像ＺＡを除去することができない。

これに対して、本実施形態の動画像処理方法は、残像ＺＡが発生した第２フレーム３２の残像領域５２を、第３フレーム３３の候補領域５３を用いて補正しているので、キャリア数の計算をする必要がない。よって、残像ＺＡを精度よく除去することができ、画質を向上させることができる。

本発明は、上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、動画像処理方法をコンピュータに実行させる以下の動画像処理プログラムも実施形態の技術思想の範囲である。

動画像を構成する第１フレーム、前記第１フレームよりも時間が経過した第２フレーム、及び、前記第２フレームよりも時間が経過した第３フレームを含む複数のフレームのうち、残像を発生させるスポット光を受光した複数の画素を含む飽和領域が形成された前記第１フレームにおいて、前記飽和領域のフレーム上の位置情報を抽出させ、
前記第２フレームにおいて、前記飽和領域の前記位置情報に対応する残像領域の画像データを残像領域データとして抽出させ、
前記第２フレームにおける画像の第１特徴点、及び、前記第３フレームにおける画像の第２特徴点を抽出させ、
前記第１特徴点と前記第２特徴点との間のマッチングによって、前記第２フレームと前記第３フレームとの間の第１動き情報を検出させ、
検出した前記第１動き情報を用いて、前記残像領域の第２動き情報を算出させ、
算出した前記第２動き情報に基づいて、前記第３フレームにおいて前記残像領域にマッチングした候補領域の画像データを候補領域データとして抽出させ、
前記候補領域データを用いて、前記残像領域データを補正させる、
ことをコンピュータに実行させる動画像処理プログラム。

１ 撮像装置
１０ イメージセンサ
１１ 基板
１２ 有機光電膜
２０ 動画像処理装置
２１ 位置情報抽出部
２２ 残像領域抽出部
２３ 特徴点抽出部
２４ 動き情報検出部
２５ 動き情報算出部
２６ 候補領域抽出部
２７ 残像領域補正部
３０ フレーム
３１ 第１フレーム
３２ 第２フレーム
３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ、３２ｆ、３２ｇ、３２ｈ、３２ｉ 特徴点
３３ 第３フレーム
３３ａ、３３ｂ、３３ｃ、３３ｄ、３３ｅ、３３ｆ、３３ｇ、３３ｈ、３３ｉ 特徴点
４０ 動画像
５１ 飽和領域
５２ 残像領域
５３ 候補領域
ＳＰ スポット光
Ｖ１、Ｖ２ 動き情報
ＺＡ 残像

Claims (16)

1. 動画像を構成する第１フレーム、前記第１フレームよりも時間が経過した第２フレーム、及び、前記第２フレームよりも時間が経過した第３フレームを含む複数のフレームのうち、残像を発生させるスポット光を受光した複数の画素を含む飽和領域が形成された前記第１フレームにおいて、前記飽和領域のフレーム上の位置情報を抽出する位置情報抽出部と、
   前記第２フレームにおいて、前記飽和領域の前記位置情報に対応する残像領域の画像データを残像領域データとして抽出する残像領域抽出部と、
   前記第２フレームにおける画像の第１特徴点、及び、前記第３フレームにおける画像の第２特徴点を抽出する特徴点抽出部と、
   前記第１特徴点と前記第２特徴点との間のマッチングによって、前記第２フレームと前記第３フレームとの間の第１動き情報を検出する動き情報検出部と、
   検出した前記第１動き情報を用いて、前記残像領域の第２動き情報を算出する動き情報算出部と、
   算出した前記第２動き情報に基づいて、前記第３フレームにおいて前記残像領域にマッチングした候補領域の画像データを候補領域データとして抽出する候補領域抽出部と、
   前記候補領域データを用いて、前記残像領域データを補正する残像領域補正部と、
   を備えた動画像処理装置。
2. 前記複数のフレームは、
   第１光を光電変換する複数の第１画素と、
   前記第１光と異なる波長の第２光を光電変換する複数の第２画素と、
   前記複数の第１画素及び前記複数の第２画素よりも前記第１光及び前記第２光が入射する側に設けられ、前記第１光及び前記第２光とは異なる波長の第３光を光電変換する複数の第３画素と、
   を有するイメージセンサから出力されたものである、
   請求項１に記載の動画像処理装置。
3. 前記残像領域補正部は、前記候補領域データにおける前記第１画素が受光した前記第１光の輝度を示す第１画素値及び前記第２画素が受光した前記第２光の輝度を示す第２画素値と、前記第３画素が受光した前記第３光の輝度を示す第３画素値との比率と、前記残像領域データにおける前記第１画素値及び前記第２画素値とを用いて、前記残像領域データの前記第３画素値を補正する、
   請求項２に記載の動画像処理装置。
4. 前記飽和領域は、画素値が最大値を示す隣り合った複数の前記第１画素、前記第２画素及び前記第３画素を含む、
   請求項２または３に記載の動画像処理装置。
5. 前記動き情報算出部は、前記残像領域の近傍における前記第１特徴点の前記第１動き情報を用いて、前記第２動き情報を算出する、
   請求項２～４のいずれか１項に記載の動画像処理装置。
6. 前記動き情報算出部は、前記残像領域の周辺における複数の前記第１特徴点の複数の前記第１動き情報を用いて、前記第２動き情報を算出する、
   請求項２～４のいずれか１項に記載の動画像処理装置。
7. 前記第１画素は、赤色の光を光電変換し、前記第２画素は、青色の光を光電変換し、前記第３画素は、緑色の光を光電変換する、
   請求項２～６のいずれか１項に記載の動画像処理装置。
8. 前記第１画素及び前記第２画素の光電変換部材は、シリコンを含み、前記第３画素の光電変換部材は、有機半導体を含む、
   請求項２～７のいずれか１項に記載の動画像処理装置。
9. 動画像を構成する第１フレーム、前記第１フレームよりも時間が経過した第２フレーム、及び、前記第２フレームよりも時間が経過した第３フレームを含む複数のフレームのうち、残像を発生させるスポット光を受光した複数の画素を含む飽和領域が形成された前記第１フレームにおいて、前記飽和領域のフレーム上の位置情報を抽出する位置情報抽出ステップと、
   前記第２フレームにおいて、前記飽和領域の前記位置情報に対応する残像領域の画像データを残像領域データとして抽出する残像領域抽出ステップと、
   前記第２フレームにおける画像の第１特徴点、及び、前記第３フレームにおける画像の第２特徴点を抽出する特徴点抽出ステップと、
   前記第１特徴点と前記第２特徴点との間のマッチングによって、前記第２フレームと前記第３フレームとの間の第１動き情報を検出する動き情報検出ステップと、
   検出した前記第１動き情報を用いて、前記残像領域の第２動き情報を算出する動き情報算出ステップと、
   算出した前記第２動き情報に基づいて、前記第３フレームにおいて前記残像領域にマッチングした候補領域の画像データを候補領域データとして抽出する候補領域抽出ステップと、
   前記候補領域データを用いて、前記残像領域データを補正する残像領域補正ステップと、
   を備えた動画像処理方法。
10. 前記複数のフレームを、
    第１光を光電変換する複数の第１画素と、
    前記第１光と異なる波長の第２光を光電変換する複数の第２画素と、
    前記複数の第１画素及び前記複数の第２画素よりも前記第１光及び前記第２光が入射する側に設けられ、前記第１光及び前記第２光とは異なる波長の第３光を光電変換する複数の第３画素と、
    を有するイメージセンサから出力させるフレーム生成ステップをさらに備えた、
    請求項９に記載の動画像処理方法。
11. 前記残像領域補正ステップは、前記候補領域データにおける前記第１画素が受光した前記第１光の輝度を示す第１画素値及び前記第２画素が受光した前記第２光の輝度を示す第２画素値と、前記第３画素が受光した前記第３光の輝度を示す第３画素値との比率と、前記残像領域データにおける前記第１画素値及び前記第２画素値とを用いて、前記残像領域データの前記第３画素値を補正する、
    請求項１０に記載の動画像処理方法。
12. 前記位置情報抽出ステップにおいて、
    前記飽和領域は、画素値が最大値を示す隣り合った複数の前記第１画素、前記第２画素及び前記第３画素を含む、
    請求項１０または１１に記載の動画像処理方法。
13. 前記動き情報算出ステップは、前記残像領域の近傍における前記第１特徴点の前記第１動き情報を用いて、前記第２動き情報を算出する、
    請求項１０～１２のいずれか１項に記載の動画像処理方法。
14. 前記動き情報算出ステップは、前記残像領域の周辺における複数の前記第１特徴点の複数の前記第１動き情報を用いて、前記第２動き情報を算出する、
    請求項１０～１２のいずれか１項に記載の動画像処理方法。
15. 前記フレーム生成ステップにおいて、
    前記第１画素は、赤色の光を光電変換し、前記第２画素は、青色の光を光電変換し、前記第３画素は、緑色の光を光電変換する、
    請求項１０～１４のいずれか１項に記載の動画像処理方法。
16. 前記フレーム生成ステップにおいて、
    前記第１画素及び前記第２画素の光電変換部材は、シリコンを含み、前記第３画素の光電変換部材は、有機半導体を含む、
    請求項１０～１５のいずれか１項に記載の動画像処理方法。

Images