JP6008317B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置及び画像処理方法に関するものである。

撮像装置には、ローリングシャッタ露光方式を採用したＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサが多用されている。ローリングシャッタ露光方式は、ラインごとの露光をシャッタ走査方向に順に行うものであり、露光のタイミングがラインごとにずれるため、被写体が動く場合や、撮像装置が動く場合（手ぶれやパンおよびチルト）のように、撮像装置に対して被写体が相対的に動くと、画像にローリングシャッタ歪みが発生する。

このようなローリングシャッタ歪みの問題に対して、手振れを検出するセンサで得られた手振れ情報に基づいて、各ラインの画素の開始位置を変更することでローリングシャッタ歪みを補正する技術が知られている（特許文献１参照）。

また、フレーム画像内の動き領域を抽出するとともに動き領域の動きベクトルを検出して、その動き領域の動きベクトルとフレーム撮像間隔を用いて動き領域の移動速さを求め、さらにその動き領域の移動速さと、動き領域内の基準画素から注目画素までの露光時間差とに基づいて注目画素の移動量を算出し、これにより得られた画素ごとの移動量に相当する分だけ、動き領域内の各画素を逆方向にずらすことでローリングシャッタ歪みを補正する技術が知られている（特許文献２参照）。

特開２００１−３５８９９９号公報 特許第４５０９９１７号公報

しかしながら、特許文献１に開示された技術では、手振れを検出するセンサが必要となるため、コストが嵩むという問題があった。また、この技術では、撮像装置の動きに起因するローリングシャッタ歪みを補正することができるが、ローリングシャッタ歪みは被写体自体が動く場合にも発生し、このような被写体自体の動きに起因するローリングシャッタ歪みについては補正することができないという問題があった。

一方、特許文献２に開示された技術では、手振れを検出するためのセンサが不要であり、また、被写体自体の動きに起因するローリングシャッタ歪みも補正することができるが、動き領域の移動速さを求めるためにフレームレートが必要となるため、フレームレートが不明な画像を補正することができないという問題があった。また、動き領域内の各画素ごとに移動量算出および画素ずらしの処理を行う必要があるため、演算量が非常に多くなることから、処理の高速化を図ることができないという問題があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、ローリングシャッタ歪みを補正する処理の高速化を図ることができ、さらに画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるように構成された画像処理装置及び画像処理方法を提供することにある。

本発明の画像処理装置は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出する第１の動きベクトル検出部と、前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離する動き領域抽出部と、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出する第２の動きベクトル検出部と、前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得する第１の歪み補正部と、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得する第２の歪み補正部と、前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成する画像合成部と、を備えた構成とする。

また、本発明の画像処理方法は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出するステップと、前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離するステップと、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出するステップと、前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得するステップと、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得するステップと、前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成するステップと、を有する構成とする。

本発明によれば、撮像装置および被写体の双方の動きに起因するローリングシャッタ歪みを補正することができる。そして、撮像装置の動きに起因するローリングシャッタ歪みは、撮像画像の全体に一様に発生するため、撮像画像全体の動きベクトルから求められる変換式で撮像画像全体を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができ、また、被写体の動きに起因するローリングシャッタ歪みは、動き領域内で一様に発生するため、動き領域ごとに動きベクトルから求められる変換式で動き領域画像を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができるので、演算量が少なくて済み、処理の高速化を図ることができる。また、撮像画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

第１実施形態に係る撮像システムを示す全体構成図 イメージセンサ４におけるローリングシャッタ動作のタイミング図 撮像装置１で得られたフレーム画像に発生するローリングシャッタ歪みを説明する説明図 第１実施形態に係る画像処理装置２の概略構成を示すブロック図 図４に示した画像処理装置２で行われる処理の概要を説明する説明図 図４に示した歪み補正部１４で行われる処理の概要を説明する説明図 図４に示した画像処理装置２で行われる処理の手順を示すフロー図 第２実施形態に係る画像処理装置２の概略構成を示すブロック図 図８に示した画像処理装置２で行われる処理の概要を説明する説明図 図８に示した歪み補正部２５で行われる処理の概要を説明する説明図 図８に示した画像処理装置２で行われる処理の手順を示すフロー図 第３実施形態に係る画像処理装置２の概略構成を示すブロック図 図１２に示した画像処理装置２で行われる処理の概要を説明する説明図 図１２に示した画像処理装置２で行われる処理の手順を示すフロー図 第４実施形態に係る画像処理装置２の概略構成を示すブロック図 図１５に示した画像処理装置２で行われる処理の概要を説明する説明図 図１５に示した歪み補正部４４で行われる処理の概要を説明する説明図 図１５に示した画像処理装置２で行われる処理の手順を示すフロー図

前記課題を解決するためになされた第１の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出する動きベクトル検出部と、前記撮像画像全体の動きベクトルに基づいて前記撮像画像全体を対象にした幾何変換を行って、歪み補正された撮像画像を取得する歪み補正部と、を備えた構成とする。

これによると、撮像装置の動きに起因するローリングシャッタ歪みを補正することができる。そして、この撮像装置の動きに起因するローリングシャッタ歪みは、撮像画像の全体に一様に発生するため、撮像画像全体の動きベクトルから求められる変換式で撮像画像全体を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができるので、演算量が少なくて済み、処理の高速化を図ることができる。また、撮像画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

また、第２の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離する動き領域抽出部と、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出する動きベクトル検出部と、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得する歪み補正部と、前記歪み補正された動き領域画像および前記静止領域画像を合成する画像合成部と、を備えた構成とする。

これによると、被写体の動きに起因するローリングシャッタ歪みを補正することができる。そして、この被写体の動きに起因するローリングシャッタ歪みは動き領域内で一様に発生するため、動き領域ごとに動きベクトルから求められる変換式で動き領域画像を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができるので、演算量が少なくて済み、処理の高速化を図ることができる。また、撮像画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

また、第３の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出する第１の動きベクトル検出部と、前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離する動き領域抽出部と、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出する第２の動きベクトル検出部と、前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得する第１の歪み補正部と、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得する第２の歪み補正部と、前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成する画像合成部と、を備えた構成とする。

これによると、撮像装置および被写体の双方の動きに起因するローリングシャッタ歪みを補正することができる。そして、撮像装置の動きに起因するローリングシャッタ歪みは、撮像画像の全体に一様に発生するため、撮像画像全体の動きベクトルから求められる変換式で撮像画像全体を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができ、また、被写体の動きに起因するローリングシャッタ歪みは、動き領域内で一様に発生するため、動き領域ごとに動きベクトルから求められる変換式で動き領域画像を対象にした幾何変換を行えばローリングシャッタ歪みを補正することができるので、演算量が少なくて済み、処理の高速化を図ることができる。また、撮像画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

また、第４の発明は、前記幾何変換がアフィン変換である構成とする。

これによると、動きベクトルから求められる単一のアフィン変換式でアフィン変換を行えばよいため、より一層の処理の高速化を図ることができる。

また、第５の発明は、前記歪み補正部は、前記動きベクトル、および前記撮像画像から取得したシャッタ走査方向の画像サイズに基づいて、補正パラメータを算出する補正パラメータ算出部と、前記補正パラメータに基づいて幾何変換を行う幾何変換部と、を備えた構成とする。

これによると、幾何変換により適切にローリングシャッタ歪みを補正することができる。

また、第６の発明は、前記撮像画像全体の動きベクトルに基づいて前記第１の撮像画像に対する前記第２の撮像画像の位置合わせを行って、位置合わせされた第２の撮像画像を取得する位置合わせ部をさらに備え、前記動き領域抽出部は、前記第１の撮像画像および前記位置合わせされた第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出し、前記第２の動きベクトル検出部は、前記撮像画像全体の動きベクトル、前記動き領域画像、および前記位置合わせされた第２の撮像画像に基づいて、前記動き領域の動きベクトルを検出する構成とする。

これによると、注目する第１の撮像画像に対して第２の撮像画像が位置合わせされるため、動き領域抽出部で動き領域を精度よく抽出することができ、また、第２の動きベクトル検出部で動き領域の動きベクトルを精度よく検出することができる。

また、第７の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出するステップと、前記撮像画像全体の動きベクトルに基づいて前記撮像画像全体を対象にした幾何変換を行って、歪み補正された撮像画像を取得するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、ローリングシャッタ歪みを補正する処理の高速化を図ることができ、さらに画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができる。

また、第８の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離するステップと、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出するステップと、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得するステップと、前記歪み補正された動き領域画像および前記静止領域画像を合成するステップと、を有する構成とする。

これによると、前記の第２の発明と同様に、ローリングシャッタ歪みを補正する処理の高速化を図ることができ、さらに画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができる。

また、第９の発明は、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出するステップと、前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離するステップと、前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出するステップと、前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得するステップと、前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得するステップと、前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成するステップと、を有する構成とする。

これによると、前記の第３の発明と同様に、ローリングシャッタ歪みを補正する処理の高速化を図ることができ、さらに画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る撮像システムを示す全体構成図である。この撮像システムは、被写体を撮像する撮像装置１と、撮像装置１で得られたフレーム画像（撮像画像）に対して画像処理を行う画像処理装置２と、画像処理装置２で得られた処理画像を表示する表示装置３と、を備えている。

撮像装置１は、ＣＭＯＳ型のイメージセンサ４を備えている。このイメージセンサ４ではローリングシャッタ露光方式で撮像が行われ、画像処理装置２では、撮像装置１で得られたフレーム画像に発生したローリングシャッタ歪みを補正する処理が行われる。

なお、撮像装置１から画像処理装置２に画像データがリアルタイムに入力される構成の他、撮像装置１で得られた画像データを適宜な記憶媒体に記憶させ、画像処理装置２で記憶媒体から画像データを読み出して画像処理を行う構成も可能である。また、画像処理装置２で得られた処理済みのフレーム画像は、静止画として出力する他、動画として出力することも可能である。また、画像処理装置２から表示装置３に画像データがリアルタイムに入力される構成の他、画像処理装置２で得られた画像データを適宜な記憶媒体に記憶させ、表示装置３で記憶媒体から画像データを読み出して表示処理を行う構成も可能である。

次に、撮像装置１で得られたフレーム画像に発生するローリングシャッタ歪みについて説明する。図２は、イメージセンサ４におけるローリングシャッタ動作のタイミング図である。図３は、フレーム画像に発生するローリングシャッタ歪みを説明する説明図である。

図２に示すように、ローリングシャッタ露光方式では、ラインごとに露光が行われ、各ラインの露光では所定の露光期間をおいて読み出し動作およびリセット動作が繰り返される。一方、ラインごとの露光は、シャッタ走査方向に（ここでは、上から下に向かって）順に行われることから、露光のタイミングがラインごとにずれる。

このため、撮像装置１に手振れが発生したり、撮像装置１がパンおよびチルトの動作を行うと、図３（Ａ）に示すように、撮像装置１に対して被写体が全体的に動く状態となり、この状態でローリングシャッタ露光方式で撮像が行われると、図３（Ｂ）に示すように、フレーム画像に写った被写体の像が全体的に歪むローリングシャッタ歪みが発生する。このような場合、以下に説明するように、フレーム画像全体を対象にした歪み補正が行われる。

図４は、第１実施形態に係る画像処理装置２の概略構成を示すブロック図である。図５は、図４に示した画像処理装置２で行われる処理の概要を説明する説明図である。

本実施形態では、図４に示すように、画像処理装置２が、フレーム入力部１１と、フレームバッファ部１２と、動きベクトル検出部１３と、歪み補正部１４と、を備えている。動きベクトル検出部１３および歪み補正部１４は、所定のプログラムをＣＰＵで実行することで実現される。

フレーム入力部１１では、時間的に連続する複数のフレーム画像が順次入力される。フレーム入力部１１に入力されたフレーム画像は注目フレーム画像（第１の撮像画像）として動きベクトル検出部１３および歪み補正部１４に出力される。また、フレーム入力部１１に入力されたフレーム画像はフレームバッファ部１２に格納され、ここに格納されたフレーム画像は１つ前のフレーム画像（第２の撮像画像）として動きベクトル検出部１３に出力される。

動きベクトル検出部１３では、図５に示すように、注目フレーム画像とその１つ前のフレーム画像とに基づいて、フレーム画像全体の動きベクトルを検出する処理が行われる。ここでは、注目フレーム画像と１つ前のフレーム画像とを比較して、例えばブロックマッチングや特徴点マッチングなどの手法を用いて、フレーム画像全体の動きベクトルが算出される。なお、ここで得られるフレーム画像全体の動きベクトルは撮像装置１の動きを示すものである。

歪み補正部１４では、動きベクトル検出部１３で取得したフレーム画像全体の動きベクトルに基づいて注目フレーム画像全体を対象にしたアフィン変換を行って、注目フレーム画像のローリングシャッタ歪みを補正する処理が行われ、歪み補正部１４から歪み補正済みの注目フレーム画像が出力される。この歪み補正部１４は、図４に示したように、補正パラメータ算出部１５と、シャッタ走査方向格納部１６と、フレーム画像サイズ格納部１７と、アフィン変換部（幾何変換部）１８と、を備えている。

補正パラメータ算出部１５では、動きベクトル検出部１３で取得したフレーム画像全体の動きベクトルに基づいて、アフィン変換部１８で行われるアフィン変換で必要となる補正パラメータを算出する処理が行われる。シャッタ走査方向格納部１６およびフレーム画像サイズ格納部１７には、補正パラメータの算出に必要となるシャッタ走査方向とフレーム画像サイズ（フレーム画像の走査方向の大きさ）とが格納される。アフィン変換部１８では、補正パラメータ算出部１５で取得した補正パラメータに基づいて、注目フレーム画像に対するアフィン変換が行われる。

なお、シャッタ走査方向およびフレーム画像サイズは、一連のフレーム画像で同一となるため、最初に入力されたフレーム画像から取得して、シャッタ走査方向格納部１６およびフレーム画像サイズ格納部１７に格納される。

図６は、図４に示した歪み補正部１４で行われる処理の概要を説明する説明図である。ここでは、シャッタ走査方向を下向きとする、すなわち上から下に向かって走査する例について説明する。また、走査が開始される一番上の走査開始ラインの露光時刻を補正の基準時刻とする、すなわち、走査開始ラインを基準にして歪み補正を行い、走査開始ラインの先頭画素（左上の画素）を原点Ｏとしてｘｙ座標系が設定される。

ローリングシャッタ露光方式では、ラインごとの露光タイミングがずれているため、得られたフレーム画像では、ｙ軸方向に伸び縮みが生じ、ｘ軸方向には伸び縮みは生じないが、位置がずれる。これにより長方形の画像が平行四辺形に変形する歪みが発生する。

このようなローリングシャッタ歪みを補正するため、アフィン変換部１８でアフィン変換が行われる。このアフィン変換では、平行四辺形の画像を長方形の画像に変形する処理が行われ、次の式１（アフィン変換式）が用いられる。

ここで、（ｘ，ｙ）および（ｘ’，ｙ’）はそれぞれ補正前および補正後の画素座標であり、ｍおよびｎは補正パラメータである。

この式１から明らかなように、アフィン変換には補正パラメータｍ，ｎが必要となり、フレーム画像ごとに補正パラメータを算出する処理が補正パラメータ算出部１５で行われる。

ここで、動きベクトル検出部１３で検出されたフレーム画像全体の動きベクトルＭＶを（Δｘ，Δｙ）とし、歪みがない状態でのフレーム画像の高さをＨとすると、補正前の注目点ｐの座標は（Δｘ，Ｈ＋Δｙ）となり、補正後の注目点ｐ’の座標は（０，Ｈ）となる。これを式１に代入すると、次の式２，３が導かれ、この式２，３により補正パラメータｍ，ｎを求めることができる。

なお、図６に示した例では、シャッタ走査方向を下向きとしたが、これに限定されるものではなく、走査方向を右向きとする、すなわち左から右に向かって走査する構成に適用することもでき、この場合、座標系を適切な方向に設定すれば、前記と同じ要領で補正パラメータを算出することができる。

図７は、図４に示した画像処理装置２で行われる処理の手順を示すフロー図である。ここでは、まず、フレーム入力部１１にフレーム画像が入力され（ＳＴ１０１）、ついで、フレームバッファ部１２にフレーム画像が存在するか否かの判定が行われる（ＳＴ１０２）。ここで、最初のフレーム画像の場合には、フレームバッファ部１２にフレーム画像が存在しないため、入力されたフレーム画像をフレームバッファ部１２に格納するだけで（ＳＴ１０８）、次のフレーム画像の処理に進む。

このフレーム画像の処理では、まず、フレームバッファ部１２から１つ前のフレーム画像が動きベクトル検出部１３に入力され（ＳＴ１０３）、動きベクトル検出部１３にて、注目フレーム画像と１つ前のフレーム画像とに基づいてフレーム画像全体の動きベクトルを検出する処理が行われる（ＳＴ１０４）。

次に、シャッタ走査方向およびフレーム画像サイズを取得する処理が行われる（ＳＴ１０５）。そして、補正パラメータ算出部１５にて、フレーム画像全体の動きベクトルと、シャッタ走査方向およびフレーム画像サイズとに基づいて、補正パラメータを算出する処理が行われる（ＳＴ１０６）。

次に、アフィン変換部１８にて、補正パラメータに基づいて、注目フレーム画像に対するアフィン変換が行われて、注目フレーム画像のローリングシャッタ歪みが補正され（ＳＴ１０７）、アフィン変換部１８から歪み補正済みの注目フレーム画像が出力される。

このようにして１つのフレーム画像の処理が終了すると、次のフレーム画像の処理のために、フレーム入力部１１に入力されたフレーム画像をフレームバッファ部１２に格納する処理が行われる（ＳＴ１０８）。そして、全てのフレーム画像の処理が完了したか否かの判定が行われ（ＳＴ１０９）、全てのフレーム画像の処理が完了していなければ、次のフレーム画像の処理に進み、これが全てのフレーム画像の処理が完了するまで繰り返される。

以上のように、第１実施形態では、撮像装置１の動きに起因するローリングシャッタ歪みを補正することができる。そして、この撮像装置１の動きに起因するローリングシャッタ歪みは、フレーム画像の全体に一様に発生するため、フレーム画像全体の動きベクトルから求められる単一のアフィン変換式でアフィン変換を行えばよいため、演算量が少なくて済み、処理の高速化を図ることができる。また、フレーム画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置１での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

（第２実施形態）
次に、被写体の一部に動きがある場合に対応した構成について説明する。建物や樹木などの静止した被写体の他に、車両や人物などの動く被写体があると、フレーム画像に写った被写体のうち、動きのある被写体の像にのみローリングシャッタ歪みが発生する。このような場合、以下に説明するように、フレーム画像内の動きのある被写体の像の領域のみを対象にした歪み補正が行われる。なお、ここで特に言及しない点は前記の実施形態と同様である。

図８は、第２実施形態に係る画像処理装置２の概略構成を示すブロック図である。図９は、図８に示した画像処理装置２で行われる処理の概要を説明する説明図である。

本実施形態では、図８に示すように、画像処理装置２が、フレーム入力部２１と、フレームバッファ部２２と、動き領域抽出部２３と、動きベクトル検出部２４と、歪み補正部２５と、画像合成部２６と、を備えている。

フレーム入力部２１では、時間的に連続する複数のフレーム画像が順次入力される。フレーム入力部２１に入力されたフレーム画像は注目フレーム画像（第１の撮像画像）として動き領域抽出部２３に出力される。また、フレーム入力部２１に入力されたフレーム画像はフレームバッファ部２２に格納され、ここに格納されたフレーム画像は１つ前のフレーム画像（第２の撮像画像）として動き領域抽出部２３および動きベクトル検出部２４に出力される。

動き領域抽出部２３では、図９に示すように、注目フレーム画像とその１つ前のフレーム画像に基づいて、注目フレーム画像内で動きのある被写体が写った動き領域を抽出して、注目フレーム画像から動き領域を取り出した前景画像（動き領域画像）と、注目フレーム画像から動き領域を取り除いた背景画像（静止領域画像）とに分離する処理が行われる。

動きベクトル検出部２４では、動き領域抽出部２３で取得した前景画像と１つ前のフレーム画像とに基づいて、動き領域の動きベクトルを検出する処理が行われる。ここでは、前景画像と１つ前のフレーム画像とを比較して、例えばブロックマッチングや特徴点マッチングなどの手法を用いて、動き領域の動きベクトルが算出される。なお、ここで得られる動き領域の動きベクトルは被写体の動きを示すものである。

歪み補正部２５では、動きベクトル検出部２４で取得した動き領域の動きベクトルに基づいて前景画像を対象にしたアフィン変換を行って、前景画像のローリングシャッタ歪みを補正する処理が行われる。この歪み補正部２５は、図８に示したように、補正パラメータ算出部２７と、シャッタ走査方向格納部２８と、フレーム画像サイズ格納部２９と、アフィン変換部３０と、を備えている。

補正パラメータ算出部２７では、動きベクトル検出部２４で取得した動き領域の動きベクトルと、シャッタ走査方向およびフレーム画像サイズとに基づいて、補正パラメータを算出する処理が行われる。アフィン変換部３０では、補正パラメータ算出部２７で取得した補正パラメータに基づいて、前景画像を対象にしたアフィン変換が行われて、前景画像のローリングシャッタ歪みが補正される。

画像合成部２６では、歪み補正部２５で取得した歪み補正済みの前景画像を、動き領域抽出部２３で取得した背景画像と合成する処理が行われ、この画像合成部２６から歪み補正済みの注目フレーム画像が出力される。ここで、単に歪み補正済みの前景画像を背景画像と合成しただけでは、前景画像領域の周辺に画像が欠落した領域が生じるが、この領域では、前後のフレーム画像または周辺画素に基づいて画素を補間する処理が行われる。

図１０は、図８に示した歪み補正部２５で行われる処理の概要を説明する説明図である。ここでは、図６に示した例と同様に、シャッタ走査方向を下向きとする、すなわち上から下に向かって走査する例について説明する。また、動き領域において最初に露光される一番上のラインの露光時刻を補正の基準時刻とする、すなわち、動き領域において一番上のラインを基準にして歪み補正を行う。

ここで、動きベクトル検出部２４で検出された動きベクトルＭＶを（Δｘ，Δｙ）とし、フレーム画像全体の高さをＨ、歪みがない状態での動き領域の高さをｈとして、フレーム画像全体の高さＨと動き領域の高さｈとの比をｋ（ｋ＝ｈ／Ｈ）とすると、補正前の注目点ｐの座標は（Δｘ・ｋ，ｈ＋Δｙ・ｋ）となり、補正後の注目点ｐ’の座標は（０，ｈ）となる。これを式１（アフィン変換式）に代入すると、次の式４，５が導かれ、これは、第１実施形態における式２，３と同様のものとなる。

なお、本実施形態では、動き領域における一番上のラインの露光時刻を補正の基準時刻としたが、フレーム画像における一番上の走査開始ラインの露光時刻を補正の基準時刻とすることも可能であり、この場合、フレーム画像の上端から動き領域までの距離ｄとフレーム画像の高さＨとの比（ｄ／Ｈ）に応じた補正を行う必要があり、具体的には、補正後の動き領域を、更にベクトル（−Δｘ・（ｄ／Ｈ），−Δｙ・（ｄ／Ｈ））に従って移動させればよい。

図１１は、図８に示した画像処理装置２で行われる処理の手順を示すフロー図である。ここでは、まず、フレーム入力部２１にフレーム画像が入力され（ＳＴ２０１）、ついで、フレームバッファ部２２にフレーム画像が存在するか否かの判定が行われる（ＳＴ２０２）。ここで、最初のフレーム画像の場合には、フレームバッファ部２２にフレーム画像が存在しないため、入力されたフレーム画像をフレームバッファ部２２に格納するだけで（ＳＴ２１０）、次のフレーム画像の処理に進む。

このフレーム画像の処理では、まず、フレームバッファ部２２から１つ前のフレーム画像が動き領域抽出部２３に入力され（ＳＴ２０３）、動き領域抽出部２３にて、注目フレーム画像とその１つ前のフレーム画像とに基づいて、注目フレーム画像内の動き領域を抽出して、前景画像と背景画像とを分離する処理が行われる（ＳＴ２０４）。ついで、動きベクトル検出部２４にて、動き領域と１つ前のフレーム画像とに基づいて、動き領域の動きベクトルを検出する処理が行われる（ＳＴ２０５）。

次に、シャッタ走査方向およびフレーム画像サイズを取得する処理が行われる（ＳＴ２０６）。そして、補正パラメータ算出部２７にて、動き領域の動きベクトルと、シャッタ走査方向およびフレーム画像サイズとに基づいて、補正パラメータを算出する処理が行われる（ＳＴ２０７）。

次に、アフィン変換部３０にて、補正パラメータに基づいて、前景画像を対象にアフィン変換が行わて、前景画像のローリングシャッタ歪みが補正される（ＳＴ２０８）。そして、画像合成部２６にて、歪み補正済みの前景画像を背景画像と合成する処理が行われ（ＳＴ２０９）、画像合成部２６から歪み補正済みの注目フレーム画像が出力される。

このようにして１つのフレーム画像の処理が終了すると、次のフレーム画像の処理のために、フレーム入力部２１に入力されたフレーム画像をフレームバッファ部２２に格納する処理が行われる（ＳＴ２１０）。そして、全てのフレーム画像の処理が完了したか否かの判定が行われ（ＳＴ２１１）、全てのフレーム画像の処理が完了していなければ、次のフレーム画像の処理に進み、これが全てのフレーム画像の処理が完了するまで繰り返される。

以上のように、第２実施形態では、被写体の動きに起因するローリングシャッタ歪みを補正することができる。そして、この被写体の動きに起因するローリングシャッタ歪みは動き領域内で一様に発生するため、動き領域ごとに動きベクトルから求められるアフィン変換式でアフィン変換を行えばよいため、演算量が少なくて済み、処理の高速化を図ることができる。また、フレーム画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置１での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

（第３実施形態）
次に、撮像装置１と被写体の双方に動きがある場合に対応した構成について説明する。撮像装置１に手ぶれが生じたり、撮像装置１がパンおよびチルトの動作を行うと、フレーム画像に写った被写体の像が全体的に歪むローリングシャッタ歪みが発生する。これに加えて、建物や樹木などの静止した被写体の他に、車両や人物などの動く被写体があると、フレーム画像に写った被写体のうち、動きのある被写体の像には、静止した被写体の像に発生するローリングシャッタ歪みとは異なるローリングシャッタ歪みが発生する。このような場合、以下に説明するように、フレーム画像内の静止した被写体の像の領域を対象にした歪み補正と、フレーム画像内の動きのある被写体の像の領域を対象にした歪み補正とが行われる。なお、ここで特に言及しない点は前記の実施形態と同様である。

図１２は、第３実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１３は、図１２に示した画像処理装置２で行われる処理の概要を説明する説明図である。

本実施形態では、図１２に示すように、画像処理装置２が、フレーム入力部３１と、フレームバッファ部３２と、フレーム全体動きベクトル検出部（第１の動きベクトル検出部）３３と、フレーム全体動きマッチング部（位置合わせ部）３４と、動き領域抽出部３５と、動き領域動きベクトル検出部（第２の動きベクトル検出部）３６と、背景歪み補正部（第１の歪み補正部）３７と、前景歪み補正部（第２の歪み補正部）３８と、画像合成部３９と、を備えている。

なお、ここでは特に図示しないが、背景歪み補正部３７および前景歪み補正部３８の各々は、前記の実施形態と同様に、補正パラメータ算出部と、シャッタ走査方向格納部と、フレーム画像サイズ格納部と、アフィン変換部と、を備えている。

フレーム入力部３１では、時間的に連続する複数のフレーム画像が順次入力される。フレーム入力部３１に入力されたフレーム画像は注目フレーム画像（第１の撮像画像）としてフレーム全体動きベクトル検出部３３および動き領域抽出部３５に出力される。また、フレーム入力部３１に入力されたフレーム画像はフレームバッファ部３２に格納され、ここに格納されたフレーム画像は１つ前のフレーム画像（第２の撮像画像）としてフレーム全体動きベクトル検出部３３およびフレーム全体動きマッチング部３４に出力される。

フレーム全体動きベクトル検出部（第１の動きベクトル検出部）３３では、図１３に示すように、注目フレーム画像とその１つ前のフレーム画像とに基づいて、フレーム画像全体の動きベクトルを検出する処理が行われる。ここでは、第１実施形態と同様に、注目フレーム画像と１つ前のフレーム画像とを比較して、例えばブロックマッチングや特徴点マッチングなどの手法を用いて、フレーム画像全体の動きベクトルが算出される。なお、ここで得られるフレーム画像全体の動きベクトルは撮像装置１の動きを示すものである。

フレーム全体動きマッチング部（位置合わせ部）３４では、フレーム全体動きベクトル検出部３３で取得したフレーム画像全体の動きベクトルと、１つ前のフレーム画像に基づいて、注目フレーム画像に対する１つ前のフレーム画像の位置合わせの処理が行われる。ここでは、フレーム画像全体の動きベクトルを用いて、１つ前のフレーム画像に写った被写体の像の位置が注目フレーム画像と整合するように画像を全体的に移動させる処理が行われる。

動き領域抽出部３５では、フレーム全体動きマッチング部３４で取得した位置合わせ済みの１つ前のフレーム画像と、注目フレーム画像とに基づいて、注目フレーム画像内の動き領域を抽出して、注目フレーム画像から動き領域を取り出した前景画像（動き領域画像）と、注目フレーム画像から動き領域を取り除いた背景画像（静止領域画像）とに分離する処理が行われる。

動き領域動きベクトル検出部（第２の動きベクトル検出部）３６では、フレーム全体動きベクトル検出部３３で取得したフレーム画像全体の動きベクトルと、動き領域抽出部３５で取得した前景画像と、フレーム全体動きマッチング部３４で取得した位置合わせ済みの１つ前のフレーム画像に基づいて、動き領域の動きベクトルを検出する処理が行われる。ここでは、前景画像と、位置合わせ済みの１つ前のフレーム画像とを比較して、動き領域の相対動きベクトルを算出し、さらに、この相対動きベクトルにフレーム画像全体の動きベクトルを加えることで、動き領域の絶対動きベクトルを算出する。なお、ここで得られる動き領域の動きベクトルは被写体の動きを示すものである。

背景歪み補正部（第１の歪み補正部）３７では、フレーム全体動きベクトル検出部３３で取得したフレーム画像全体の動きベクトルに基づいて、動き領域抽出部３５で取得した背景画像を対象にしたアフィン変換を行って、背景画像のローリングシャッタ歪み、すなわち撮像装置１の動きによるローリングシャッタ歪みを補正する処理が行われる。なお、ここで行われる処理は第１実施形態と同様のものとなる。

前景歪み補正部（第２の歪み補正部）３８では、動き領域動きベクトル検出部３６で取得した動き領域の動きベクトルに基づいて、動き領域抽出部３５で取得した前景画像を対象にしたアフィン変換を行って、前景画像のローリングシャッタ歪み、すなわち被写体の動きによるローリングシャッタ歪みを補正する処理が行われる。なお、ここで行われる処理は第２実施形態と同様のものとなる。

画像合成部３９では、背景歪み補正部３７で取得した歪み補正済みの背景画像と、前景歪み補正部３８で取得した歪み補正済みの前景画像とを合成する処理が行われ、この画像合成部３９から歪み補正済みの注目フレーム画像が出力される。ここで、単に歪み補正済みの前景画像と歪み補正済みの背景画像を合成しただけでは、前景画像の周辺に画像が欠落した領域が生じるが、この領域では、前後のフレーム画像または周辺画素に基づいて画素を補間する処理が行われる。

図１４は、図１２に示した画像処理装置２で行われる処理の手順を示すフロー図である。ここでは、まず、フレーム入力部３１にフレーム画像が入力され（ＳＴ３０１）、ついで、フレームバッファ部３２にフレーム画像が存在するか否かの判定が行われる（ＳＴ３０２）。ここで、最初のフレーム画像の場合には、フレームバッファ部３２にフレーム画像が存在しないため、入力されたフレーム画像をフレームバッファ部３２に格納するだけで（ＳＴ３１１）、次のフレーム画像の処理に進む。

このフレーム画像の処理では、まず、フレームバッファ部３２から１つ前のフレーム画像がフレーム全体動きベクトル検出部３３に入力され（ＳＴ３０３）、フレーム全体動きベクトル検出部３３にて、注目フレーム画像とその１つ前のフレーム画像とに基づいて、フレーム画像全体の動きベクトルを検出する処理が行われる（ＳＴ３０４）。ついで、フレーム全体動きマッチング部３４にて、フレーム画像全体の動きベクトルと、１つ前のフレーム画像に基づいて、注目フレーム画像に対する１つ前のフレーム画像の位置合わせの処理が行われる（ＳＴ３０５）。

次に、動き領域抽出部３５にて、位置合わせ済みの１つ前のフレーム画像と、注目フレーム画像とに基づいて、注目フレーム画像内の動き領域を抽出して、前景画像と背景画像とを分離する処理が行われる（ＳＴ３０６）。ついで、動き領域動きベクトル検出部３６にて、フレーム画像全体の動きベクトルと、前景画像（動き領域画像）と、位置合わせ済みの１つ前のフレーム画像に基づいて、動き領域の動きベクトルを検出する処理が行われる（ＳＴ３０７）。

次に、背景歪み補正部３７にて、フレーム画像全体の動きベクトルに基づいて、背景画像を対象にしたアフィン変換を行って、背景画像のローリングシャッタ歪みを補正する処理が行われる（ＳＴ３０８）。また、前景歪み補正部３８にて、動き領域の動きベクトルに基づいて、前景画像を対象にしたアフィン変換を行って、前景画像のローリングシャッタ歪みを補正する処理が行われる（ＳＴ３０９）。そして、画像合成部３９にて、歪み補正済みの背景画像と歪み補正済みの前景画像とを合成する処理が行われ（ＳＴ３１０）、画像合成部３９から歪み補正済みの注目フレーム画像が出力される。

このようにして１つのフレーム画像の処理が終了すると、次のフレーム画像の処理のために、フレーム入力部３１に入力されたフレーム画像をフレームバッファ部３２に格納する処理が行われる（ＳＴ３１１）。そして、全てのフレーム画像の処理が完了したか否かの判定が行われ（ＳＴ３１２）、全てのフレーム画像の処理が完了していなければ、次のフレーム画像の処理に進み、これが全てのフレームの処理が完了するまで繰り返される。

以上のように、第３実施形態では、撮像装置１および被写体の双方の動きに起因するローリングシャッタ歪みを補正することができる。そして、撮像装置１の動きに起因するローリングシャッタ歪みは、フレーム画像の全体に一様に発生するため、フレーム画像全体の動きベクトルから求められる単一のアフィン変換式でアフィン変換を行えばよく、また、被写体の動きに起因するローリングシャッタ歪みは、動き領域内で一様に発生するため、動き領域ごとに動きベクトルから求められるアフィン変換式でアフィン変換を行えばよいため、演算量が少なくて済み、処理の高速化を図ることができる。また、フレーム画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができるため、撮像装置１での撮像条件などに関する情報がない場合に処理ができなくなる不具合も解消される。

（第４実施形態）
次に、回転などの不規則な動きがある場合のローリングシャッタ歪みを補正する構成について説明する。図１５は、第４実施形態に係る画像処理装置２の概略構成を示すブロック図である。図１６は、図１５に示した画像処理装置２で行われる処理の概要を説明する説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第４実施形態では、図１５に示すように、画像処理装置２が、フレーム入力部４１と、フレームバッファ部４２と、動きベクトル検出部４３と、歪み補正部４４と、を備えている。歪み補正部４４は、補正パラメータ算出部４５と、シャッタ走査方向格納部４６と、フレーム画像サイズ格納部４７と、幾何変換部４８を備えている。

フレーム入力部４１およびフレームバッファ部４２と、シャッタ走査方向格納部４６およびフレーム画像サイズ格納部４７とは、前記の第１実施形態と同様である。

動きベクトル検出部４３では、図１６に示すように、注目フレーム画像とその１つ前のフレーム画像とに基づいて、フレーム画像全体の動きベクトルを検出する処理が行われる。ここでは、注目フレーム画像と１つ前のフレーム画像とを比較して、例えばブロックマッチングや特徴点マッチングなどの手法を用いて、フレーム画像全体の動きベクトルが算出される。

歪み補正部４４では、動きベクトル検出部４３で取得したフレーム画像全体の動きベクトルに基づいて幾何変換を行って、注目フレーム画像のローリングシャッタ歪みを補正する処理が行われ、歪み補正部４４から歪み補正済みの注目フレーム画像が出力される。特にここでは、図１６の注目フレーム画像中に示すように、フレーム画像に写った被写体の像に回転などの不規則な動きが現れる場合に、前記の実施形態で行ったアフィン変換と異なる幾何変換でローリングシャッタ歪みを補正する処理が行われる。

図１５に示したように、歪み補正部４４の補正パラメータ算出部４５では、動きベクトル検出部４３で取得した動きベクトルに基づいて、幾何変換部４８で行われる幾何変換で必要となる補正パラメータを算出する処理が行われる。特にここでは、幾何変換で画素ごとに座標位置を変換する処理を行うことから、画素ごとに補正パラメータが算出される。幾何変換部４８では、補正パラメータ算出部４５で取得した補正パラメータに基づいて、注目フレーム画像に対する幾何変換が行われる。

図１７は、図１５に示した歪み補正部４４で行われる処理の概要を説明する説明図である。ここでは、図６に示した例と同様に、シャッタ走査方向を下向きとする、すなわち上から下に向かって走査する例について説明する。また、走査が開始される一番上の走査開始ラインの露光時刻を補正の基準時刻とする、すなわち、走査開始ラインを基準にして歪み補正を行う。

フレーム画像に写った被写体の像に回転などの不規則な動きがある場合、ローリングシャッタ歪みがない状態で２つの注目点ｐ’，ｑ’を直線状に結ぶ像が、補正前の状態では２つの注目点ｐ，ｑを結ぶ像が曲線状に歪んだものになる。このような歪みが幾何変換により補正される。

ここで、補正前の２つの注目点ｐ，ｑを補正後の注目点ｐ’，ｑ’に変換する場合の補正パラメータについて説明する。フレームの高さ（走査方向のフレーム画像サイズ）をＨとし、走査開始ラインから注目点ｐ，ｑまでの距離をそれぞれｈ１，ｈ２とし、注目点ｐ，ｑの動きベクトルをそれぞれＭＶ１，ＭＶ２とすると、注目点ｐ，ｑの補正パラメータはそれぞれ、−（ｈ１／Ｈ）・ＭＶ１、−（ｈ２／Ｈ）・ＭＶ２により算出される。

このようにして注目点ｐ，ｑの補正パラメータが算出され、この補正パラメータの算出を、フレーム画像内の全ての画素を対象に行えばよいが、演算量を削減するために、画素を間引いて補正パラメータを算出し、間引かれた画素は補間処理で対応するようにしてもよい。

なお、図１７に示した例では、シャッタ走査方向を下向きとし、また、一番上の走査開始ラインの露光時刻を補正の基準時刻としたが、これと異なるようにシャッタ走査方向や基準時刻などを設定することも可能であり、この場合、座標系を適切な方向に設定すれば、前記と同じ要領で補正パラメータを算出することができる。

図１８は、図１５に示した画像処理装置２で行われる処理の手順を示すフロー図である。ここでは、図７に示した第１実施形態と略同様の手順で処理が行われるが、特にここでは、動きベクトル検出部４３にて、注目フレーム画像と１つ前のフレーム画像とに基づいてフレーム画像全体の動きベクトルを検出する処理（ＳＴ４０４）が行われた後、補正パラメータ算出部４５にて、動きベクトルとシャッタ走査方向およびフレーム画像サイズとに基づいて、画素ごとの補正パラメータを算出する処理（ＳＴ４０６）が行われ、ついで、幾何変換部４８にて、画素ごとの補正パラメータに基づいて注目フレーム画像に対する幾何変換が行われて、注目フレーム画像のローリングシャッタ歪みが補正される（ＳＴ４０７）。

なお、第１実施形態では、撮像装置１に動きがある場合に対応した構成について説明したが、この構成は、被写体自体に動きがある場合にも適用することができる。すなわち、撮像範囲の全体を占める被写体が動く場合には、撮像装置１に動きがある場合と同様に、フレーム画像の全体にローリングシャッタ歪みが発生するため、第１実施形態に示した構成で対応することができる。

また、第２および第３の各実施形態では、１つの動き領域が抽出される例について説明したが、動く被写体が複数存在する場合もあり、この場合、動き領域抽出部２３，３５では複数の動き領域が抽出される。特に、動きが異なる被写体が複数存在する場合には、動きが異なる被写体の領域ごとに異なるアフィン変換を行う必要がある。そこで、動きベクトル検出部２４および動き領域動きベクトル検出部３６では、複数の動き領域ごとに動きベクトルを検出し、歪み補正部２５および前景歪み補正部３８にて、複数の動き領域ごとにアフィン変換を行う。

ここで、動き領域ごとに動きベクトル検出およびアフィン変換を行うため、動き領域が増えると演算量も増えるが、通常、動き領域が多数存在する場合は希であり、動き領域が少ない通常のフレーム画像では、本実施形態による手法により、演算量を大幅に削減して、処理の高速化を図ることができる。

また、第２および第３の各実施形態では、静止した被写体の像を背景、動く被写体の像を前景としたが、この背景および前景は、実際の被写体の前後位置とは関係ない。

また、第３実施形態では、撮像装置１と被写体の双方に動きがある場合に対応した構成について説明したが、この第３実施形態において、フレーム画像全体の動きが検出されない、すなわちフレーム画像全体の動きベクトルが（０，０）となる場合は、第２実施形態と同様のものとなり、一方、動き領域が抽出されない場合は、第１実施形態と同様のものとなる。

また、第４実施形態では、第１実施形態と同様に、撮像装置１に動きがある場合に対応した構成について説明したが、この第４実施形態で説明した幾何変換は、第２実施形態のように被写体の一部に動きがある場合や、第３実施形態のように撮像装置１と被写体の双方に動きがある場合にも同様に適用することができる。

本発明にかかる画像処理装置及び画像処理方法は、ローリングシャッタ歪みを補正する処理の高速化を図ることができ、さらに画像から得られる情報のみに基づいてローリングシャッタ歪みを補正することができる効果を有し、ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置及び画像処理方法などとして有用である。

１ 撮像装置
２ 画像処理装置
４ イメージセンサ
１３ 動きベクトル検出部
１４ 歪み補正部
１５ 補正パラメータ算出部
１６ シャッタ走査方向格納部
１７ フレーム画像サイズ格納部
１８ アフィン変換部（幾何変換部）
２３ 動き領域抽出部
２４ 動きベクトル検出部
２５ 歪み補正部
２６ 画像合成部
２７ 補正パラメータ算出部
２８ シャッタ走査方向格納部
２９ フレーム画像サイズ格納部
３０ アフィン変換部
３３ フレーム全体動きベクトル検出部（第１の動きベクトル検出部）
３４ フレーム全体動きマッチング部（位置合わせ部）
３５ 動き領域抽出部
３６ 動き領域動きベクトル検出部（第２の動きベクトル検出部）
３７ 背景歪み補正部（第１の歪み補正部）
３８ 前景歪み補正部（第２の歪み補正部）
３９ 画像合成部
４８ 幾何変換部

Claims (5)

1. ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、
   第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出する第１の動きベクトル検出部と、
   前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離する動き領域抽出部と、
   前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出する第２の動きベクトル検出部と、
   前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得する第１の歪み補正部と、
   前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得する第２の歪み補正部と、
   前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成する画像合成部と、を備えたことを特徴とする画像処理装置。
2. 前記幾何変換がアフィン変換であることを特徴とする請求項１に記載の画像処理装置。
3. 前記歪み補正部は、
   前記動きベクトル、および前記撮像画像から取得したシャッタ走査方向の画像サイズに基づいて、補正パラメータを算出する補正パラメータ算出部と、
   前記補正パラメータに基づいて幾何変換を行う幾何変換部と、を備えたことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記撮像画像全体の動きベクトルに基づいて前記第１の撮像画像に対する前記第２の撮像画像の位置合わせを行って、位置合わせされた第２の撮像画像を取得する位置合わせ部をさらに備え、
   前記動き領域抽出部は、前記第１の撮像画像および前記位置合わせされた第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出し、
   前記第２の動きベクトル検出部は、前記撮像画像全体の動きベクトル、前記動き領域画像、および前記位置合わせされた第２の撮像画像に基づいて、前記動き領域の動きベクトルを検出することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、
   第１の撮像画像およびこれに時間的に連続する第２の撮像画像に基づいて撮像画像全体の動きベクトルを検出するステップと、
   前記第１の撮像画像および前記第２の撮像画像に基づいて前記第１の撮像画像内の動き領域を抽出して、前記第１の撮像画像を動き領域画像と静止領域画像とに分離するステップと、
   前記動き領域画像および前記第２の撮像画像に基づいて動き領域の動きベクトルを検出するステップと、
   前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得するステップと、
   前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得するステップと、
   前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成するステップと、を有することを特徴とする画像処理方法。

Images