JP6421955B2 - 撮像装置および撮像画像の揺れ補正方法 - Google Patents

Description

本発明は、撮像装置および撮像画像の揺れ補正方法に関し、より詳細には、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置および該撮像装置により撮像された撮像画像の揺れ補正方法に関する。

従来、監視カメラが揺れたときに生じる撮像画像の画像揺れを補正することを目的として、振動検出手段（振動センサ）により監視カメラの揺れを検出し、検出された揺れ成分の解析結果に応じて、撮像画像の揺れ補正を行う揺れ補正手段に対して揺れ補正モードを指示するように構成した技術が知られている（特許文献１）。

また、監視カメラにより対象エリアを所定タイミング毎に撮影した撮像のカメラ揺れを補正することを目的として、前記画像の２フレームの一方を基準画像、他方を処理画像とし、基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、カメラ揺れによる画像ずれ（画像揺れ）の規則性を利用して特定のマッチング領域を選択し、その移動ベクトルからカメラ揺れ量を算出して画像ずれを補正するように構成した技術が知られている（特許文献２）。

特許第４１６２３３３号公報 特許第３７７６５１４号公報

しかしながら、上記の特許文献１の技術では、拡大ズーム撮像を行っている場合は、監視カメラの揺れ量が小さくても撮像画像の画像揺れは大きくなるため、撮像画像の画像揺れを補正することができなかった。また、上記の特許文献２の技術では、例えば夜間等の照度の低い撮像画像での撮像により撮像画像の明るさが低い場合は、処理画像におけるパターンマッチングが困難になるため、撮像画像の画像揺れを補正することができなかった。すなわち、従来は、撮像条件によっては、撮像画像の画像揺れの補正を行うことはできなかった。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮像条件に応じて撮像画像の画像揺れの補正を行うことができる撮像装置および撮像画像の揺れ補正方法を提供することを主目的とする。

本開示の撮像装置は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための１次補正量を算出する１次補正量算出部と、現フレーム画像とその１つ前の前フレーム画像に対して、前記１次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための２次補正量を算出する２次補正量算出部と、撮像条件および前記１次補正量の少なくとも一方に基づき、前記１次補正量および前記２次補正量の少なくとも一方を選択する補正量選択部と、前記補正量選択部で選択された前記１次補正量および前記２次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、前記補正量選択部により前記１次補正量および前記２次補正量が選択された場合に、前記１次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記２次補正量に基づく幾何学的変換を施すことを特徴とする。

本開示によれば、撮像装置の撮像条件や物理的揺れ量により、１次補正量および２次補正量が選択された場合に、１次補正量に基づく幾何学的変換が施された現フレーム画像に対して、２次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された１次補正画像に小さな揺れがさらに補正された２次補正画像を生成することが可能となる。

本開示に係る撮像装置の概略構成図 回転角速度と１次補正量との関係を説明するための図 揺れ補正部での処理を示す図 ２次補正量算出部での２次補正量の算出を説明するための図 ２次補正量算出部での２次補正量の算出を説明するための図 補正量選択部での処理を説明するためのフロー図 画像変換部での幾何学的変換処理を説明するための図 フレーム画像を５つの領域に分割した例を示す図 家屋の撮像画像の画像揺れの補正を説明するための図

上記課題を解決するためになされた第１の発明は、撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための１次補正量を算出する１次補正量算出部と、現フレーム画像とその１つ前の前フレーム画像に対して、前記１次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための２次補正量を算出する２次補正量算出部と、撮像条件および前記１次補正量の少なくとも一方に基づき、前記１次補正量および前記２次補正量の少なくとも一方を選択する補正量選択部と、前記補正量選択部で選択された前記１次補正量および前記２次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、前記補正量選択部により前記１次補正量および前記２次補正量が選択された場合に、前記１次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記２次補正量に基づく幾何学的変換を施すことを特徴とする。

この第１の発明に係る撮像装置によれば、撮像装置の撮像条件や物理的揺れ量により、１次補正量および２次補正量が選択された場合に、１次補正量に基づく幾何学的変換が施された現フレーム画像に対して、２次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された１次補正画像に小さな揺れがさらに補正された２次補正画像を生成することが可能となる。

また、第２の発明は、上記第１の発明において、前記２次補正量算出部は、現フレーム画像の縮小画像と、前フレーム画像の縮小画像とを用いて前記２次補正量を算出することを特徴とする。

この第２の発明に係る撮像装置によれば、画面サイズの小さい縮小画像を使用することにより、２次補正量を算出する処理を迅速に行うことが可能となる。

また、第３の発明は、上記第１の発明または第２の発明において、前記補正量選択部は、前記１次補正量が予め定められた閾値以上である場合には、前記１次補正量のみを選択することを特徴とする。

この第３の発明に係る撮像装置によれば、撮像装置の揺れ量が大きい場合に、大きな揺れの補正に適する１次補正量のみを用い、大きな揺れの補正に適さない２次補正量を用いないようにすることができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。

また、第４の発明は、上記第１の発明から第３の発明のいずれかにおいて、前記撮像条件が、パン動作、チルト動作、およびズーム動作のオン・オフ、ならびに前記撮像画像の明るさのうちの少なくとも１つを含むことを特徴とする。

この第４の発明に係る撮像装置によれば、パン動作、チルト動作、およびズーム動作のオン・オフや撮像画像の明るさに基づき現フレーム画像の画像揺れの補正に用いる補正量を選択することができ。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。

また、第５の発明は、上記第４の発明において、前記補正量選択部は、パン動作、チルト動作、およびズーム動作がオフである場合には、少なくとも前記１次補正量を選択することを特徴とする。

この第５の発明に係る撮像装置によれば、１次補正量を用いた揺れ補正に適する撮像条件である、パン動作、チルト動作、およびズーム動作がオフである場合に、１次補正量を用いて撮像画像の揺れ補正を行うことができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。

また、第６の発明は、上記第４の発明において、前記補正量選択部は、前記撮像画像の明るさが予め定められた閾値以上である場合には、少なくとも前記２次補正量を選択することを特徴とする。

この第６の発明に係る撮像装置によれば、２次補正量を用いた画像揺れの補正に適する撮像条件である、撮像画像の明るさが高い場合に、２次補正量を用いて撮像画像の揺れ補正を行うことができる。これにより、撮像条件に応じて撮像画像の揺れ補正を行うことが可能となる。

また、第７の発明は、撮像素子により時系列的に取得した複数のフレーム画像からなる撮像画像の揺れ補正方法であって、撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための１次補正量を算出するステップと、現フレーム画像とその１つ前の前フレーム画像に対して、前記１次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための２次補正量を算出するステップと、撮像条件および前記１次補正量の少なくとも一方に基づき、前記１次補正量および前記２次補正量の少なくとも一方を選択するステップと、選択された前記１次補正量および前記２次補正量の少なくとも一方に基づき前記現フレーム画像に対して幾何学的変換を施すステップと、を有し、前記選択するステップにより前記１次補正量および前記２次補正量が選択された場合に、前記１次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記２次補正量に基づく幾何学的変換を施すことを特徴とする。

この第７の発明に係る撮像画像の揺れ補正方法によれば、撮像装置の撮像条件や物理的揺れ量により、１次補正量および２次補正量が選択された場合に、１次補正量に基づく幾何学的変換が施された現フレーム画像に対して、２次補正量に基づく幾何学的変換を施すので、大きな画像揺れが補正された１次補正画像に小さな揺れがさらに補正された２次補正画像を生成することが可能となる。

以下、本開示の実施形態について、図面を参照しながら説明する。

本実施形態では、本開示に係る撮像装置１を監視カメラとして使用する場合について説明する。撮像装置１は、例えば電柱やポール等に取り付けられる。したがって、地震、風、交通振動等により電柱やポールが揺れた場合は、撮像装置１も揺れるため、撮像装置１により撮像された撮像画像に画像揺れが生じることとなる。

図１は、本開示に係る撮像装置１の概略構成図である。撮像装置１は、ネットワーク３を介して、監視本部等に設置されたモニタ装置２（監視端末）に接続されている。撮像装置１は、ズームレンズを含むレンズ系１１と、イメージセンサ１２と、カメラ信号処理部１３と、角速度センサ１４と、１次補正量算出部１５と、ネットワークインターフェース（Ｉ／Ｆ）１７と、制御部１７と、パン・チルト制御部１８と、照度センサ１９と、揺れ補正部２０とを備えている。なお、この制御部１７は、プロセッサで構成することができ、揺れ補正部２０等は、図示しない記憶部に記憶されたプログラムを図示しないプロセッサで実行することにより実現される。

ズームレンズを含むレンズ系１１は、被写体からの撮像光を集光し、イメージセンサ１２の撮像面に結像させて被写体像を形成する。イメージセンサ１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）であり、所定のフレーム周期（撮像周期）で、その撮像面に結像した被写体像を電気信号に変換する。カメラ信号処理部１３は、イメージセンサ１２で生成された画像信号に対して各種の信号処理を施し、フレーム画像（画像データ）を生成する。

角速度センサ１４は、撮像装置１の角度が単位時間当たりどれだけ変化しているか、すなわち、物理的揺れ量を検出する。具体的には、撮像装置１の左右方向（パン方向）の回転角速度と、撮像装置１の上下方向（チルト方向）の回転角速度とをそれぞれ検出する。１次補正量算出部１５は、角速度センサ１４で検出された回転角速度に基づき、現時点のフレーム（以降、「現フレーム」と称する）の画像揺れを補正するための補正量（以降、「１次補正量」と称する）を算出する。また、１次補正量算出部１５は、同様にして、現フレームの１つ前のフレーム（以降、「前フレーム」と称する）の画像揺れを補正するための補正量（すなわち１次補正量）を算出する。

図２は、回転角速度と１次補正量との関係を説明するための図である。１次補正量算出部１５は、現フレーム（フレームＮ）と前フレーム（フレームＮ−１）との間での、フレーム画像中の被写体の左右方向（ｘ方向）および上下方向（ｙ方向）の平均移動量（Δｘ、Δｙ）を求める。平均移動量（Δｘ、Δｙ）は、角速度センサ１４の回転角速度を、従来公知の手法を用いて被写体のｘ方向およびｙ方向の変位量に換算することにより求めることができる。求められた平均移動量（Δｘ、Δｙ）が、現フレーム（フレームＮ）の画像揺れを補正するための１次補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」となる。

また、１次補正量算出部１５は、同様にして、前フレーム（フレームＮ−１）と、その１つ前のフレーム（フレームＮ−２）との間での、フレーム画像中の被写体の平均移動量（Δｘ、Δｙ）を求める。求められた平均移動量（Δｘ、Δｙ）が、前フレーム（Ｎ―１）の画像揺れを補正するための１次補正量「Δｘ（Ｎ−１）、Δｙ（Ｎ−１）」となる。１次補正量算出部１５で算出された１次補正量は揺れ補正部２０に入力される。

ネットワークＩ／Ｆ１６は、撮像装置１をネットワーク３に接続するためのものである。ネットワークＩ／Ｆ１６は、ネットワーク３を介してモニタ装置２から、撮像画像の揺れ補正を指示する命令や、ズーム動作、パン動作、およびチルト動作の各動作を指示する命令を受信する。ネットワークＩ／Ｆ１６がモニタ装置２から受信した各命令は、制御部１７に入力される。また、ネットワークＩ／Ｆ１６は、揺れ補正部２０で生成された後述する揺れ補正画像４３（図３参照）を、ネットワーク３を介してモニタ装置２に送信する。

制御部１７は、撮像画像の揺れ補正、ズーム動作、パン動作、およびチルト動作を含む撮像装置１の各処理を統括して制御するためのものであり、不図示のＲＯＭ（Read only memory）に予め記憶された制御プログラムおよびネットワークＩ／Ｆ１６から入力された各命令に基づき撮像装置１の各処理を制御する。制御部１７は、パン・チルト制御部１８を制御することにより、不図示のパン・チルト機構のパン動作およびチルト動作を制御する。また、制御部１７は、不図示のズームレンズ制御部を制御することにより、レンズ系１１に含まれるズームレンズのズーム動作を制御する。

照度センサ１９は、撮像時の撮像装置１の周囲の明るさ（照度）を検出するためのものである。照度センサ１９での検出結果は、揺れ補正部２０に入力される。

揺れ補正部２０は、現フレームのフレーム画像と前フレームのフレーム画像との間での被写体の変位量を補正するための補正量（以降、「２次補正量」と称する）を算出する２次補正量算出部２１と、撮像条件および１次補正量の少なくとも一方に基づき、１次補正量および２次補正量の少なくとも一方を選択する補正量選択部２２と、補正量選択部２２で１次補正量および２次補正量の少なくとも一方が選択された場合に、その選択された１次補正量および２次補正量の少なくとも一方に基づき現フレームのフレーム画像に対して幾何学的変換を施すことにより画像揺れを補正する画像変換部２３とを有している。

撮像条件は、例えば、撮像時のパン動作、チルト動作、およびズーム動作のオン・オフや、撮像画像の明るさ等を含む。撮像画像の明るさは、照度センサ１９での検出結果に基づき求めることができる。なお、撮像画像の明るさは、照度センサ１９を用いず、イメージセンサ１２で取得した撮像画像の輝度に基づき求めるようにしてもよい。

図３は、揺れ補正部２０での処理を示す図であり、図４および図５は、２次補正量算出部２１での２次補正量の算出を説明するための図である。図４中の符号ＶＤは、各フレーム画像の垂直同期信号である。

まず、２次補正量算出部２１は、カメラ信号処理部１３から現フレーム（フレームＮ）と前フレーム（フレームＮ−１）のフレーム画像（画像データ）を取得する。そして、各フレームのフレーム画像を予め定められた割合で縮小して、縮小画像３１、３２を生成する。具体的には、図４に示すように、現フレーム（フレームＮ）のフレーム画像からその縮小画像３１を生成し、前フレーム（フレームＮ−１）のフレーム画像からその縮小画像３２を生成する。

続いて、２次補正量算出部２１は、１次補正量算出部１５から、現フレーム（フレームＮ）の１次補正量「Δｘ（Ｎ）、Δｙ（Ｎ）」と、前フレーム（フレームＮ−１）の１次補正量「Δｘ（Ｎ−１）、Δｙ（Ｎ−１）」を取得する。そして、取得した１次補正量に基づき、現フレーム（フレームＮ）の縮小画像３１と、前フレーム（フレームＮ−１）の縮小画像３２とに対して幾何学的変換を施す。以降、幾何学的変換後の画像を変換画像と称する。

具体的には、図４に示すように、現フレーム（フレームＮ）の縮小画像３１を幾何学的変換することにより変換画像４１を生成し、前フレーム（フレームＮ−１）の縮小画像３２を幾何学的変換することにより変換画像４２を生成する。本実施形態では、画面サイズの小さい縮小画像３１、３２を使用するので、縮小画像３１、３２を使用しない場合と比べて、幾何学的変換処理を高速に行うことができる。なお、この幾何学的変換において、処理速度が問題なく、メモリも十分確保できる場合は、縮小画像を用いなくてもよい。

次に、２次補正量算出部２１は、現フレーム（フレームＮ）の変換画像４１と、前フレーム（フレームＮ−１）の変換画像４２とに対して、従来公知のテンプレートマッチング法を用いた画像探索を行うことにより、現フレーム（フレームＮ）と前フレーム（フレームＮ−１）との間での被写体の変位量、すなわち、探索揺れ量を求める。

図５は、２次補正量算出部２１での画像探索を説明するための図である。図５に示すように、変換画像４１、４２上に所定サイズの枠を有するテンプレート５１を配置し、そのテンプレート５１を水平方向（ｘ方向）および垂直方向（ｙ方向）に細かく移動させて画像探索を行うことにより、現フレーム（フレームＮ）と前フレーム（フレームＮ−１）との間での探索揺れ量を求めることができる。本実施形態では、縮小画像３１、３１から生成した変換画像４１、４２に対して画像探索を行うので、縮小画像３１、３２を使用しない場合と比べて画像探索の処理を高速に行うことができる。

そして、画像探索により求めた探索揺れ量に対して、従来公知の積分処理・センタリング処理を施すことにより、その探索揺れ量を補正するための補正量（すなわち２次補正量）を算出する。

図６は、補正量選択部２２での処理を説明するためのフロー図である。補正量選択部２２は、パン動作、チルト動作、およびズーム動作のオン・オフ、撮像画像の明るさ、ならびに１次補正量の大きさの少なくとも１つに基づき、１次補正量のみを選択するか、１次補正量および２次補正量の両方を選択するか、または、撮像画像の揺れ補正を行わないことを選択する。また、図６のフロー図には示されていないが、補正量選択部２２は、２次補正量のみを選択することもできる。２次補正量のみの選択は、１次補正量が小さく１次補正量に基づく揺れ補正の効果が小さい場合に有効である。

まず、ステップＳＴ１０１では、撮像装置１で撮像画像の画像揺れの補正操作を行うか否かを判定する。この判定は、制御部１７から入力される撮像画像の揺れ補正を指示する命令の有無に基づき行われる。画像揺れの補正操作を行うと判定された場合（ステップＳＴ１０１：Ｙｅｓ）は、ステップＳＴ１０２に進み、画像揺れの補正操作を行わないと判定された場合（ステップＳＴ１０１：Ｎｏ）はステップＳＴ１０３に進む。

ステップＳＴ１０２では、パン動作、チルト動作、およびズーム動作（以降、「ＰＴＺ動作」と称する）のいずれかの操作がオンであるか否かを判定する。この判定は、制御部１７から入力されるＰＴＺ動作を指示する命令の有無に基づき行われる。ＰＴＺのいずれかの操作がオンであると判定された場合（ステップＳＴ１０２：Ｙｅｓ）は、ステップＳＴ１０３に進み、ＰＴＺのいずれかの操作がオンではないと判定された場合（ステップＳＴ１０２：Ｎｏ）はステップＳＴ１０４に進む。

ステップＳＴ１０３では、撮像画像の揺れ補正を行わないことを選択する。すなわち、１次補正量および２次補正量のいずれも選択されない。

ステップＳＴ１０４では、１次補正量算出部１５で算出された１次補正量が予め定められた閾値（基準値）以上であるか否かを判定する。１次補正量が閾値以上であると判定された場合（ステップＳＴ１０４：Ｙｅｓ）は、ステップＳＴ１０５に進み、１次補正量が閾値以上ではないと判定された場合（ステップＳＴ１０４：Ｎｏ）は、ステップＳＴ１０６に進む。

ステップＳＴ１０６では、撮像画像の明るさが予め定められた閾値（基準値）以上であるか否かを判定する。撮像画像の明るさは、照度センサ１９での検出結果に基づき求めるか、または撮像画像の輝度に基づき求める。撮像画像の明るさが閾値以上であると判定された場合（ステップＳＴ１０６：Ｙｅｓ）は、ステップＳＴ１０７に進み、撮像画像の明るさが閾値以上ではないと判定された場合（ステップＳＴ１０４：Ｎｏ）はステップＳＴ１０５に進む。

ステップＳＴ１０５では、１次補正量のみを選択し、２次補正量は選択しない。

ステップＳＴ１０７では、１次補正量および２次補正量の両方を選択する。

このように、補正量選択部２２は、ＰＴＺ操作のオン・オフ、撮像画像の明るさ、および１次補正量の大きさに基づいて、１次補正量のみを選択するか、１次補正量および２次補正量の両方を選択するか、または、撮像画像の揺れ補正を行わないことを選択することができる。ＰＴＺ操作中は、撮像画像の撮像角度や撮像倍率が変化し、撮像画像の画像揺れの補正に適さないので、撮像画像の揺れ補正を行わない。また、１次補正量が大きい場合、すなわち撮像装置１の揺れ量が大きい場合は、２次補正量に基づく揺れ補正の効果が小さいため、１次補正量のみを選択し、２次補正量は選択しない。また、撮像画像の明るさが低い場合は、テンプレートマッチング法を用いた画像探索が困難であるため、２次補正量は選択しない。

図７は、画像変換部２３での幾何学的変換処理を説明するための図である。補正量選択部２２で１次補正量が選択された場合は、図７（ａ）に示すように、１次補正量に基づき現フレーム（フレームＮ）のフレーム画像に対して幾何学的変換を施すことにより、画像揺れが補正された揺れ補正画像４３を生成する。また、補正量選択部２２で２次補正量が選択された場合は、図７（ｂ）に示すように、２次補正量に基づき現フレーム（フレームＮ）のフレーム画像に対して幾何学的変換を施すことにより、画像揺れが補正された揺れ補正画像４３を生成する。

また、補正量選択部２２で１次補正量および２次補正量の両方が選択された場合は、図７（ｃ）に示すように、１次補正量に基づき現フレーム（フレームＮ）のフレーム画像に対して幾何学的変換を施して大きな画像揺れが補正された１次補正画像４４を生成した後、その１次補正画像４４に対して２次補正量に基づき幾何学的変換を施すことにより、小さな画像揺れがさらに補正された２次補正画像４５を生成する。この２次補正画像４５が揺れ補正画像４３となる。

なお、実際は、ローリングシャッタ歪みを補正するために、フレーム画面（フレーム画像）を複数の領域に分割し、分割した複数の領域に対してそれぞれ幾何学的変換を施している。図８は、フレーム画面を５つの領域に分割した例を示す図である。図８に示すように、フレーム画面は、画面上端露光期間、画面上端・中央間露光期間、画面中央露光期間、画面中央・下端露光期間、画面下端露光期間の各露光期間に対応する、画面ＴＯＰ６１、画面Ｔ−Ｃ中間６２、画面ＣＥＮＴＥＲ６３、画面Ｃ−Ｂ中間６４、画面ＢＯＴＴＯＭ６５の５つの領域に分割されている。そして、各領域６１−６５に対してそれぞれ幾何学的変換を施す。

図９は、家屋の撮像画像の画像揺れを、１次補正量および２次補正量の両方を用いて補正した例を示す図である。図９に示すように、まず、撮像画像である元画像７１に対して１次補正量に基づく揺れ補正（１次補正）を行うことにより、１次補正画像７２を生成する。この１次補正により、撮像装置１の大きな揺れや、それに伴うローリングシャッタ歪みに起因する撮像画像の大きな画像揺れを補正することができる。なお、この１次補正は、夜間等の照度が低い撮像環境下で撮像する場合でも有効である。

そして、１次補正画像７２に対して２次補正量に基づく揺れ補正（２次補正）を行うことにより、２次補正画像７３を生成する。この２次補正により、１次補正で除去することができなかった１次補正画像７２の微細な画像揺れを補正することができる。なお、このような２次補正は、拡大ズーム動作を行った場合の画像揺れの補正に有効である。拡大ズーム動作を行った場合は、撮像装置１の揺れ量（すなわち１次補正量）が小さくても、撮像画像の画像揺れが大きい場合があるからである。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る撮像装置および撮像画像の揺れ補正方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本開示に係る撮像装置および撮像画像の揺れ補正方法は、撮像条件に応じて撮像画像の画像揺れの補正を行うことができる撮像装置および撮像画像の揺れ補正方法として有用である。

１ 撮像装置
２ ネットワーク
３ モニタ装置
１１ レンズ系
１２ イメージセンサ
１３ カメラ信号処理部
１４ 角速度センサ
１５ １次補正量算出部
１６ ネットワークインターフェース（Ｉ／Ｆ）
１７ 制御部
１８ パン・チルト制御部
１９ 照度センサ
２０ 揺れ補正部
２１ ２次補正量算出部
２２ 補正量選択部
２３ 画像変換部

Claims (7)

1. 撮像素子により複数のフレーム画像からなる撮像画像を時系列的に撮像する撮像装置であって、
   該撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための１次補正量を算出する１次補正量算出部と、
   現フレーム画像とその１つ前の前フレーム画像に対して、前記１次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための２次補正量を算出する２次補正量算出部と、
   撮像条件および前記１次補正量の少なくとも一方に基づき、前記１次補正量および前記２次補正量の少なくとも一方を選択する補正量選択部と、
   前記補正量選択部で選択された前記１次補正量および前記２次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施す画像変換部と、を備え、
   前記補正量選択部により前記１次補正量および前記２次補正量が選択された場合に、前記１次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記２次補正量に基づく幾何学的変換を施すことを特徴とする撮像装置。
2. 前記２次補正量算出部は、現フレーム画像の縮小画像と、前フレーム画像の縮小画像とを用いて前記２次補正量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記補正量選択部は、前記１次補正量が予め定められた閾値以上である場合には、前記１次補正量のみを選択することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記撮像条件が、パン動作、チルト動作、およびズーム動作のオン・オフ、ならびに前記撮像画像の明るさのうちの少なくとも１つを含むことを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記補正量選択部は、パン動作、チルト動作、およびズーム動作がオフである場合には、少なくとも前記１次補正量を選択することを特徴とする請求項４に記載の撮像装置。
6. 前記補正量選択部は、前記撮像画像の明るさが予め定められた閾値以上である場合には、少なくとも前記２次補正量を選択することを特徴とする請求項４または請求項５に記載の撮像装置。
7. 撮像素子により時系列的に取得した複数のフレーム画像からなる撮像画像の揺れ補正方法であって、
   撮像装置の物理的揺れ量に基づき、各フレーム画像の画像揺れを補正するための１次補正量を算出するステップと、
   現フレーム画像とその１つ前の前フレーム画像に対して、前記１次補正量に基づく幾何学的変換を施した変換画像をそれぞれ入力し、これらの変換画像の間での探索揺れ量を補正するための２次補正量を算出するステップと、
   撮像条件および前記１次補正量の少なくとも一方に基づき、前記１次補正量および前記２次補正量の少なくとも一方を選択するステップと、
   選択された前記１次補正量および前記２次補正量の少なくとも一方に基づき、前記現フレーム画像に対して幾何学的変換を施すステップと、を有し、
   前記選択するステップにより前記１次補正量および前記２次補正量が選択された場合に、前記１次補正量に基づく幾何学的変換が施された前記現フレーム画像に対して、前記２次補正量に基づく幾何学的変換を施すことを特徴とする撮像画像の揺れ補正方法。

Images