JP5388910B2 - 画像揺れ補正装置および画像揺れ補正方法 - Google Patents

Description

本発明は、おもに監視カメラの振動や揺れによる画面全体の動きベクトルを画像信号より検出する装置、および監視カメラの振動や揺れによる画面全体の不要な揺れを補正する装置に関するものである。

従来の動きベクトル検出装置としては、図１０はこの従来の動きベクトル検出装置を応用した画像揺れ補正装置のブロック図である。１００１は画像信号の入力端子であり、１００２は各検出領域の領域ベクトル検出部である。１００３はベクトルの信頼度判定部および１００６は画像ベクトル決定部である。１００７は揺れ補正部である。
以上のように構成された画像揺れ補正装置においては、まず入力端子１００１に少なくとも２フレーム以上の時間的に連続する画像信号が入力される。各検出領域の領域ベクトル検出部１００２では、図１１の１１０１，１１０２，１１０３，１１０４に示すように画像内に４つのベクトル検出領域が予め定められており、２フレーム間の各検出領域について、所定の範囲の量（ｉ,ｊ）:ｉｍｉｎ＜ｉ＜ｉｍａｘ，ｊｍｉｎ＜ｊ＜ｊｍａｘ偏移した位置の信号の差Σ｜ΔＬ|（ｉ，ｊ）が相関値としてそれぞれ求められ、その値の最小値を与える偏移（ｉ′,ｊ′）が検出され、これが各検出領域のベクトルとなる。またその相関値の最小値、平均値、最大値が求められ、ベクトルの値とともに、信頼度判定部１００３および画像ベクトル決定部１００６に出力される。信頼度判定部１００３および画像ベクトル決定部１００６では、図１２のフローチャートに示すように各領域の相関値の最小値、平均値、最大値よりベクトルの信頼性が判定され、信頼性ありと判定された領域のベクトルの大きさと方向性が一致すれば、それらの平均の値が画面全体の動きベクトルと決定されて出力される。また一致しない場合は０ベクトルが出力される。揺れ補正部１００７は１フィールド以上の画像信号記憶手段を持ち、ここからの信号の読みだし位置を制御することによって揺れを補正する。具体的に、図１３に示すように揺れの大きい画像が入力されるとき、第ｎ−１フレーム１３０１および第ｎフレーム１３０２の入力画像信号について、画像ベクトル決定部１００６より入力された動きベクトル１３０３をもとに、その動きを補正する方向１３０４に読み出す画像信号の画面を１３０５から１３０６に並行移動する。また、補間等によって画面の拡大等の操作をし、揺れの少ない１画面の大きさの画像信号１３０７，１３０８を出力する（例えば、特許文献１参照）。

以上説明したものは、相関値の最小値、平均値、最大値よりベクトルの信頼性を判定しているが、この他相関値の最小点とその周りの点の値の差、つまり最小点の周りの傾きよりベクトルの信頼性を判定するもの、また最小値だけで判定するものなど相関値の状態から信頼性を判定する方法はいろいろなものがある。また信頼性の判定を重みで表わし、ベクトルをその重みで加重平均したものを画面全体の動きベクトルとして出力するものもある。

また、従来の動きベクトル検出装置は、移動物が画面内に入り込んだ場合に０ベクトルが出力されたり、移動物の動きが加算されたベクトルが検出されることが多かった。したがって、従来の揺れ補正装置は、補正が中断されたり、移動物の動きが加算されたベクトルが検出されて、撮影者の意図する方向とは異なる方向に画面が補正されることを防いでいる。具体的に、図１４のフローチャートに示すように、画面中に複数の検出領域を設け、検出領域ごとに動きベクトルを求め、信頼性を判定し、画面全体の動きベクトルへの一致度から、信頼性なしから信頼性ありへの判定結果の変更を行なって動きベクトルの信頼性の判定が行われる。また、図１５の１５０１，１５０２，１５０３，１５０４に示すように、画面中に複数の検出領域を縦、横方向に並ばないようにずらして設けて動きベクトルを求め、動きベクトルの信頼性を判定することで、移動物が画面を通過する場合でも時間揺れ補正は中断されず、撮影者の意図しない方向に画面が補正されるという誤作動を生じさせないものもある（例えば、特許文献２参照）。

特開昭６１−２６９４７５号公報 特開平２−１５７９８０号公報

しかしながら上記のような構成では、カメラが固定設置されている場合に、検出領域が常に信頼性が低い状態であれば０ベクトルが出力されたり、大きな誤差が加算されたベクトルが検出されるため正常な補正ができない問題が生じる。

また、カメラ旋回のように画面全体が移動する場合にはカメラの旋回する動き量が加算されたベクトルが検出されるため意図しない方向に画面が補正される誤動作が生じる。

かかる点に鑑みて、本発明は、信頼性の高い画像全体の動きベクトルに基づいて、画像全体の揺れを正常に補正することを課題とする。

上記課題を解決するため本発明によって次のような解決手段を講じた。すなわち、画像揺れ補正装置は、画像内の複数の領域の動きベクトルをそれぞれ検出する領域ベクトル検出部と、複数の領域の動きベクトルのそれぞれの信頼度を判定する信頼度判定部と、複数の領域の周波数成分を取得する周波数成分取得部と、信頼度が低いと判定された動きベクトルが検出された領域に代えて周波数成分が比較的高い領域を新たな検出対象領域に決定し、当該新たな検出対象領域を領域ベクトル検出部に指示する領域指示部と、信頼度が高いと判定された動きベクトルから画像全体の動きベクトルを算出する画像ベクトル算出部と、画像全体の動きベクトルに応じて出力すべき画像全体を移動させて画像の揺れを補正する揺れ補正部とを備えているものとする。

これによると、領域の動きベクトルの信頼度が低い場合に、新たな検出対象領域の動きベクトルの検出と信頼度の判定とが繰り返される。これにより、各領域で検出される動きベクトルの信頼度が高くなるため、算出される画像全体の動きベクトルの信頼性が向上する。

好ましくは、上記画像揺れ補正装置は、当該画像揺れ補正装置に入力される画像を生成する撮影手段が旋回動作中であるか否かを判定する旋回判定部と、撮影手段の旋回動作に起因する画像の動きベクトルを算出する旋回ベクトル算出部であって、画像ベクトル算出部によって算出された動きベクトルと直近に自身が算出した動きベクトルとに基づいて、新たに動きベクトルを算出する旋回ベクトル算出部とを備えているものとする。そして、揺れ補正部は、旋回ベクトル算出部で算出された動きベクトルを加味して画像の揺れを補正するものとする。

これによると、カメラ旋回時に画面全体が移動したときに得られるカメラの旋回する動き量が加算された動きベクトルとカメラ旋回の動きベクトルとの差をとることでカメラの揺れのみの動きベクトルを求めることが可能となるため、カメラ旋回時においても正常な揺れ補正が可能となる。これにより、カメラ旋回のメカ制御の動作を精密かつ均一に速度動作させるメカ動作による防振設計が不要となるためコストの削減が図れる。

あるいは、上記画像揺れ補正装置は、当該画像揺れ補正装置に入力される画像を生成する撮影手段に入力される外部情報を取得する外部情報取得部を備えていてもよい。この場合、領域指示部は、外部情報に基づいて、新たな検出対象領域を決定する。

本発明によると、カメラが旋回する場合であっても、信頼性の高い画像全体の動きベクトルに基づいて、画像全体の揺れを正常に補正することができる。

本発明の一実施形態に係る画像揺れ補正装置の構成を示すブロック図である。 図１の画像揺れ補正装置の動作を示すフローチャートである。 図１の領域ベクトル検出部の動作を示すフローチャートである。 動きベクトルを説明するための図である。 図１の画像揺れ補正装置によるオートフォーカス情報の取得方法を説明するための図ある。 図１の画像揺れ補正装置による新たな検出対象領域の決定方法を説明するための図である。 図１の外部情報取得部によって外部情報が取得された場合の動作を示すフローチャートである。 カメラが旋回する場合の画像全体の動きベクトルとカメラの旋回動作に起因する動きベクトルが削除された画像全体の動きベクトルとを示すグラフである。 図１の画像揺れ補正装置を搭載したネットワーク監視カメラの構成図である。 従来の動きベクトル検出装置を応用した画像揺れ補正装置の構成を示すブロック図である。 図１０の画像揺れ補正装置で領域の動きベクトルが検出される検出領域を示す図である。 図１０の画像揺れ補正装置の動作を示すフローチャートである。 図１０の画像揺れ補正装置によって画像の揺れが補正される様子を説明するための図である。 従来の別の画像揺れ補正装置の動作を示すフローチャートである。 図１４の画像揺れ補正装置の検出領域の配置例を示す図である。

図１は、本発明の一実施形態に係る画像揺れ補正装置のブロック図である。本実施形態における画像揺れ補正装置は、撮影手段としてのカメラから入力される画像の揺れを補正する。

入力端子１０１には、カメラで撮影された画像が入力される。領域ベクトル検出部１０２は、画像内の複数の検出領域の動きベクトルをそれぞれ検出する。信頼度判定部１０３は、複数の検出領域の動きベクトルのそれぞれの信頼度を判定する。

カメラ制御部１０４は、カメラの例えばオートフォーカス（以下、ＡＦと称する。）情報から画像内の複数の領域の周波数成分を取得する。カメラ制御部１０４は、カメラのオートエキスポージャ（以下、ＡＥと称する。）情報により画像内の複数の領域の輝度情報を取得してもよい。また、カメラ制御部１０４は、カメラのホワイトバランス情報を取得してもよい。あるいは、カメラ制御部１０４は、カメラが例えばモータ等のメカ制御によって旋回動作可能に構成されている場合には、カメラが旋回動作中であるか否かを取得してもよい。

領域指示部１０５は、信頼度判定部１０３で信頼性なしと判定された動きベクトルが検出された検出領域に代えて新たな検出対象領域を領域ベクトル検出部１０２に指示する。また、領域指示部１０５は、カメラ制御部１０４で取得された周波数成分や輝度が比較的高い領域を信頼性ありとして新たな検出対象領域に決定してもよい。あるいは、領域指示部１０５は、外部情報取得部１０８によって取得された外部情報に基づいて新たな検出対象領域を決定してもよい。

画像ベクトル算出部１０６は、信頼度判定部１０３で信頼性ありと判定された動きベクトルから画像全体の動きベクトルを算出する。揺れ補正部１０７は、画像全体の動きベクトルに応じて出力すべき画像全体を移動させて画像の揺れを補正する。

外部情報取得部１０８は、カメラに入力される例えば、時刻情報、天候情報あるいは風向や風量等の外部情報を取得する。旋回ベクトル算出部１０９は、カメラの旋回動作に起因する画像の動きベクトルを算出する。具体的に、旋回ベクトル算出部１０９は、カメラ制御部１０４によってカメラが旋回動作中であると判定された場合に、自身が前回算出したベクトルと画像ベクトル算出部１０６で算出されたベクトルとに基づいて、新たにベクトルを算出する。また、旋回ベクトル算出部１０９は、カメラに対して旋回動作の停止が指示されてからカメラが実際に停止するまでのベクトルを算出してもよい。これにより、カメラの旋回動作を制御するメカの慣性力がなくなることによる微小な動きベクトルを算出することができる。

入力される撮影画像が外的要因により変化する場合の動作について図２を用いて説明する。ステップＳ２０１では、入力端子１０１からｎフレームの画像信号が入力される。ステップＳ２０２において、領域ベクトル検出部１０２で各領域の動きベクトルの相関値が取得される。ステップＳ２０３において、信頼度判定部１０３で各領域の相関値の状態が判定され、条件に合わないものは判定結果として信頼性なしと判定される（判定１）。次にステップＳ２０４において、信頼性ありと判定された領域のベクトルと前フレームの後述する判定３の判定結果との論理積をとり、２つの判定結果がともに信頼性ありとなったもののみ、判定２で信頼性ありと判定される。ただし最初のフレームは前フレームの判定３の判定結果が得られていないので判定２は判定１の結果と同じにする。次に、ステップＳ２０５において、判定２の判定結果で信頼性ありと判定された各領域の動きベクトルの中間値（大小順に並べたときの中間に位置する値、ただし偶数個の場合は中間に近い位置の２つの値の平均値）が画像全体の動きベクトルとして決定される。また、画像全体の動きベクトルはステップＳ２０７の各領域のベクトルの信頼性判定３にフィードバックされる。判定３では、フィードバックされたベクトルと各領域のベクトルとが所定の範囲で一致し、かつ判定１の判定結果が信頼性ありとなる領域が信頼性ありと判定される。この結果は次のフレームで判定２に用いられる。次にＳ２０８において、判定３の判定結果が信頼性なしとなる領域において任意の一定期間信頼性なしとなる場合、その領域はベクトルの検出領域として不適切な領域と判定される。すると、カメラ制御部１０４で取得された例えば周波数成分が比較的高い領域が新たな検出対象領域として決定される。ただし、新たな検出対象領域の決定後の１フレーム目は決定前との画像からのベクトルを検出するため正常な値にならないため、新たな検出対象領域では判定３の結果を信頼度なしとすることで新たな検出対象領域の決定後２フレーム後から正常に処理が実施される。

次にＳ２０２の各検出領域のベクトル検出方法について図３を用いて説明する。Ｓ３０１では、画像と前回入力時の代表点メモリの情報とが入力され、前回の代表点と今回の代表点との差分から動きベクトルが検出される。このとき今回の代表点はＳ３０２で保管されて次の入力時に使用される。動きベクトルを図４にて説明する。図４において４０１は第ｎフレームの画像、４０２は第ｎ＋１フレームの画像、４０３は第ｎ＋２フレームの画像、４０４は第ｎフレーム画像の代表点、４０５は第ｎ＋１フレーム画像の代表点、４０６は第ｎ＋２フレーム画像の代表点である。４０７、４０８はそれぞれ第ｎ＋１フレーム、第ｎ＋２フレームで検出されるフレーム間の動きベクトルである。次にＳ２０８におけるＡＦ情報の取得方法と新たな検出対象領域の決定方法について説明する。図５の５０１は入力画像全体を示しており、５０２はＡＦの１枠を示しており、５０３はＡＦ枠の最大設定枠数が９枠であった場合に９枠分が設定された領域を示している。入力画像の１フレーム単位に５０４の矢印が示すように９枠を移動させることにより数フレーム（１フレーム以上）後には画像全体の周波数成分が取得される。

ＡＦの取得情報は必ずしも画面全体から取得する必要はなく特定の領域のみを使用することも可能である。

次に、取得した周波数成分から新たな検出対象領域を決定する方法について説明する。図６の６０１は入力画像全体を示しており、６０２、６０３、６０４、６０５は検出領域を示しており、６０６は図５で示した方法で取得した各ＡＦ枠を示す。例えば、６０７はＡＦ情報から周波数成分が低くローコントラスト領域であり、かつ検出領域６０２の信頼性がない状態であるとする。そして、６０８はＡＦ情報から周波数成分が高くハイコントラスト領域であるとする。このときＳ２０８の処理では、検出領域６０２に代わる新たな検出対象領域として、ＡＦ情報からハイコントラスト領域でかつ他の検出領域と重ならない領域が決定される。

ＡＦ情報以外にもＡＥなどの輝度情報を用いてローライトおよびハイライトの閾値を設け閾値以上のローライトまたはハイライトの場合、かつ検出領域の信頼性がない場合に輝度が閾値内である領域を新たな検出対象領域に決定してもよい。

また、Ｓ２０８でカメラ制御部１０４からの情報を使用せずに新たな検出対象領域を決定する方法として、Ｓ２０９で取得された外部情報を用いる場合について図７を用いて説明する。Ｓ７０１では、時刻や天候や風向き風量などの外部情報が外部情報取得部１０８によって取得される。Ｓ７０２では取得された情報の結果に伴ってカメラの設置場所の周辺の状況変化が発生したか否かが判定される（時刻、天候情報であれば時間に応じて日照条件や照明の点灯による撮影画像の変化、風向き風量であれば旗や布類などが入った撮影画像についての風による旗や布類などの動きの変化）。もし状況変化がない場合は、Ｓ７０５にて信頼度に基づいて新たな検出対象領域が決定される（Ｓ２０８の処理）。Ｓ７０６では外部情報と信頼性のある検出領域の位置情報とが対応付けられて記録される。一方、状況変化があった場合は、Ｓ７０３の処理ではＳ７０６で記録された過去の履歴から、現在の外部情報と一致する検出領域のうち最も信頼性の高い検出領域が取得される。Ｓ７０４では取得された検出領域を新たな検出対象領域の候補として通知する。Ｓ７０５では通知があった場合、一定期間信頼性がない検出領域に代えて通知のあった検出領域を新たな検出対象領域に決定する。

次に、図２のＳ２１０でカメラが旋回動作をする場合について図８を用いて説明する。図８はカメラが旋回時の揺れ補正ベクトル値を示しており、８０１は毎フレーム決定するベクトル量を示す。８０２はカメラの旋回動作の開始からカメラの旋回動作が停止するまでの期間を示している。この期間８０２の補正ベクトル量はカメラの旋回動作に起因する動き量が加算されているため定常時のベクトル量より大きい。期間８０２においてカメラが旋回動作をする度に、旋回ベクトル算出部１０９でカメラ旋回量Ｍｓ（ｎ）が算出される。具体的に、画像ベクトル算出部１０６で算出されたベクトル量をＭ（ｎ）、旋回ベクトル算出部１０９で前回算出されたカメラ旋回量をＭｓ（ｎ−１）、係数をＫ（例えば０．１）とすると、Ｍｓ（ｎ）は、Ｍｓ（ｎ）＝（Ｍ（ｎ）×Ｋ＋Ｍｓ（ｎ−１）×（１−Ｋ））／２で表される。そして、Ｍｓ（ｎ）とＭ（ｎ）との差をカメラの揺れベクトルとして揺れ補正処理をすることで８０３に示すようにカメラ旋回の動き量が削除されたカメラの揺れのみを補正することができる。なお、Ｍｓ（ｎ）の算出方法として、カルマンフィルタなどの推測フィルタやパターン認識などを用いてもよい。

＜応用例＞
図９は図１の画像揺れ補正装置を搭載したネットワーク監視カメラの構成図である。このネットワーク監視カメラは撮像素子９０１、撮像素子駆動部９０２、ＬＳＩ部９０３、外部メモリ９１０、監視管理部９１１で構成される。

被写体の像は撮像素子９０１に結像され、撮像素子駆動部９０２の駆動タイミングにより光電変換されてアナログ信号として出力される。そして、アナログ信号の増幅やノイズ除去等の処理が行われ、アナログ信号がデジタル信号に変換されてＬＳＩ部９０３に入力される。ＬＳＩ部９０３は外部メモリ９１０をワーク領域として使用し、デジタル信号に変換された撮像信号を図１の画像揺れ補正装置としてのデジタル信号前処理部９０４で補正して出力する。デジタル信号前処理部９０４では、カメラ情報がカメラ制御部９０６から揺れ補正部９０５に入力され、外部情報が監視管理部９１１からネットワーク経由でネットワーク送受信部９０９を通じて揺れ補正部９０５に入力される。デジタル信号前処理部９０４は入力情報を元に図２のＳ２０１からＳ２１０の処理にて画像全体の動きベクトルを求め、求めた動きベクトルに合わせて画像を補正し出力する。色信号処理部９０７は、補正された信号から輝度信号と色信号とからなる映像信号を生成して出力する。画像信号圧縮処理部９０８は画像を圧縮し、ネットワーク送受信部９０９へ圧縮データを出力する。ネットワーク送受信部９０９は圧縮されたデータを監視管理部９１１へネットワーク経由で送信し、監視管理部９１１は受信した圧縮データを伸張し監視を行う。

本発明に関わる画像揺れ補正装置は、カメラの設置場所に関係なく揺れ補正が可能となり揺れを検出する特殊なセンサーが不要となり、またカメラ旋回のメカ制御の動作を精密かつ均一に速度動作させるメカ動作による防振設計が不要となるためコストの削減が図れるため、例えば、監視カメラ、ＷＥＢカメラなどのネットワークカメラ、又は、車載カメラ、ドライブレコーダなどの自動車搭載用カメラなどに有用である。

１０２ 領域ベクトル検出部
１０３ 信頼度判定部
１０４ カメラ制御部（輝度取得部、周波数成分取得部、旋回判定部）
１０５ 領域指示部
１０６ 画像ベクトル算出部
１０７ 揺れ補正部
１０８ 外部情報取得部
１０９ 旋回ベクトル算出部

Claims (11)

1. 画像内の複数の領域の動きベクトルをそれぞれ検出する領域ベクトル検出部と、
   前記複数の領域の動きベクトルのそれぞれの信頼度を判定する信頼度判定部と、
   画像内の複数の領域の周波数成分を取得する周波数成分取得部と、
   前記信頼度が低いと判定された動きベクトルが検出された領域に代えて前記周波数成分が比較的高い領域を新たな検出対象領域に決定し、当該新たな検出対象領域を前記領域ベクトル検出部に指示する領域指示部と、
   前記信頼度が高いと判定された動きベクトルから画像全体の動きベクトルを算出する画像ベクトル算出部と、
   前記画像全体の動きベクトルに応じて出力すべき画像全体を移動させて画像の揺れを補正する揺れ補正部とを備えている
   ことを特徴とする画像揺れ補正装置。
2. 請求項１の画像揺れ補正装置において、
   前記周波数成分取得部は、当該画像揺れ補正装置に入力される画像を生成する撮影手段のオートフォーカス情報から前記周波数成分を取得する
   ことを特徴とする画像揺れ補正装置。
3. 請求項１の画像揺れ補正装置において、
   当該画像揺れ補正装置に入力される画像を生成する撮影手段が旋回動作中であるか否かを判定する旋回判定部と、
   前記撮影手段の旋回動作に起因する画像の動きベクトルを算出する旋回ベクトル算出部であって、前記画像ベクトル算出部によって算出された動きベクトルと直近に自身が算出した動きベクトルとに基づいて、新たに動きベクトルを算出する旋回ベクトル算出部とを備え、
   前記揺れ補正部は、前記旋回ベクトル算出部で算出された動きベクトルを加味して画像の揺れを補正する
   ことを特徴とする画像揺れ補正装置。
4. 請求項３の画像揺れ補正装置において、
   前記旋回ベクトル算出部は、前記撮影手段に対して旋回動作の停止が指示されてから実際に旋回動作が停止するまでの前記撮影手段の旋回動作に起因する画像の動きベクトルを算出する
   ことを特徴とする画像揺れ補正装置。
5. 請求項１の画像揺れ補正装置において、
   当該画像揺れ補正装置に入力される画像を生成する撮影手段に入力される外部情報を取得する外部情報取得部を備え、
   前記領域指示部は、前記外部情報に基づいて、前記新たな検出対象領域を決定する
   ことを特徴とする画像揺れ補正装置。
6. 請求項５の画像揺れ補正装置において、
   前記外部情報は、時刻情報である
   ことを特徴とする画像揺れ補正装置。
7. 請求項５の画像揺れ補正装置において、
   前記外部情報は、天候情報である
   ことを特徴とする画像揺れ補正装置。
8. 請求項５の画像揺れ補正装置において、
   前記外部情報は、風量および風向である
   ことを特徴とする画像揺れ補正装置。
9. 請求項５の画像揺れ補正装置において、
   前記領域指示部は、前記外部情報と前記新たな検出対象領域とを対応づけて記録し、前記外部情報取得部によって直近に取得された外部情報が当該記録した外部情報と一致する場合に、当該記録した外部情報に対応づけられた領域を前記新たな検出対象領域に決定する
   ことを特徴とする画像揺れ補正装置。
10. 請求項１の画像揺れ補正装置を備えている
    ことを特徴とする監視カメラシステム。
11. 画像内の複数の領域の動きベクトルをそれぞれ検出する領域ベクトル検出ステップと、
    前記複数の領域の動きベクトルのそれぞれの信頼度を判定する信頼度判定ステップと、
    画像内の複数の領域の周波数成分を取得する周波数成分取得ステップと、
    前記信頼度が低いと判定された動きベクトルが検出された領域に代えて前記周波数成分取得ステップで取得した周波数成分が比較的高い領域を、前記領域ベクトル検出ステップにおいて動きベクトルを検出すべき領域に指定する領域指定ステップと、
    前記信頼度が高いと判定された動きベクトルから画像全体の動きベクトルを算出する画像ベクトル算出ステップと、
    前記画像全体の動きベクトルに応じて出力すべき画像全体を移動させて画像の揺れを補正する揺れ補正ステップとを備えている
    ことを特徴とする画像揺れ補正方法。
    

Images