JP6546553B2 - 画像安定化方法及びシステム - Google Patents

Description

本開示は、画像を安定化する方法及びシステムに関し、特に、ビデオカメラやデジタルビデオカメラから取り込んだビデオ画像ストリームに対して画像を安定化する方法及びシステムに関する。

本開示は、画像安定化の分野、特に、カメラの手振れ等のために劣化したビデオ画像ストリームの品質を改善する技術に関する。デジタル画像安定化には数多くの種類のものがある。すなわち、記憶画像ストリームを処理して、画像ストリーム中の揺れや振動を最小にする多種多様なソフトウェアアプリケーションがある。カメラの揺れや振動は、使用者によって引き起こされたり、或いはカメラを吊り下げて、振動しないようにカメラを静止させることができないような状況のもとで発生する。ソフトウェアアルゴリズムに全面的に依拠したソリューションのものには、ストリーム中の画像間の有限個数の特徴を追跡して、それらの特徴が表示画像の中で静止したままになるようにする種類のものが多い。これらのソフトウェアソリューションは、揺れ又は振動の影響を低減するのには有効であるものの、モニタリングやサーベイランス等の監視目的の用途では問題になる場合がある。というのも、この種の用途では、大きな演算能力を必要とするばかりでなく、あってはならない時間的な遅れが発生するからである。

これに対する代替案では、画像の安定化として、例えば、一組のレンズをシフトさせることで、画面に平行に画像をシフトさせて、振動又は揺れの影響を相殺するようにする。一組のレンズのシフトは、小型センサの測定した振動の大きさに応じて実施されるもので、それには一般に、焦点距離を設定入力する必要がある。この技法は、振動又は揺れの影響を小さくすることができるものの、システムが複雑になってしまうきらいがある。また、この技法により、露光時間の間のレンズ移動に影響を及ぼす手ブレが解消される。

更に別の代替案では、センサーシフト技術を使用することにより、カメラの運動によって発生した画像のシフトを追跡するように実際の画像センサをシフトさせる。

これらの方法は、いずれも利点と欠点がある。本開示の主たる目的は、パン方向及び／又はチルト方向における角度移動に係わる問題に対処することである。これには幾つかの態様があるが、固定位置に装着されてパン／チルト機能を有する監視カメラ又はサーベイランスカメラの場合、交通渋滞等の結果、特に風が強い条件下では、パン／チルト範囲の振動が共通して現れる。本明細書に開示される発明は、どんなビデオカメラにも適用可能である。

幾つかのレンズでは、現在の焦点距離を追跡するためにズームモータからのフィードバックを使用する。なお、この特徴をもたないズームレンズもある。例えば、ズーム設定を手動で行うレンズや、ズームモータのフィードバック機能がないズームレンズなどである。「ズームレンズ」というカテゴリは、通常、可変焦点型と同焦点型とに分類される。本開示の目的のため、主に「ズームレンズ」という用語を使用し、ズーム設定及びフォーカス設定（又は焦点距離設定）が併用される。

画像安定化とともに焦点距離設定減少の方法を提供する点で、本発明は、新規の方法を提供する。この方法は、カメラの変位を検出するハードウェア検出器からの入力値及び調整可能な焦点距離値に対して行われる画像安定化処理を実行するビデオカメラを用いてビデオを取り込むステップと、ハードウェア検出器からの入力値及び調整可能な焦点距離値に基づいて変位を補正するステップと、焦点距離の現在の設定値において、画像安定化処理の現在の動作に基づいて、取り込まれたビデオにおけるシーンの中の静止物体の変位を評価するステップと、取り込まれた画像において特定された変位が閾値未満となるまで調整可能な焦点距離の値を調整するステップとを含む。任意選択的に、この方法は、最小変位を見付けるために設定されてもよい。

この方法は、現在設定が未知であるカメラのための焦点距離設定を容易に推測することを提供する。これにより、この方法によって、更に迅速で正確な画像安定化がもたらされる。

１つ又は複数の実施形態では、調整可能な焦点距離の値は、ユーザ入力に基づいて調整される。閾値は、事前に設定されてもよく、又はオペレーターによって設定されてもよく、更にそれらの組み合わせが用いられてもよい。

１つ又は幾つかの実施形態では、調整可能な焦点距離の値は、変位が所定の閾値未満となるまで、反復最適化処理に従って調整されてもよい。

このような反復最適化処理においては、閾値に達するまで画像ストリーム内の連続画像を使用してもよく、別の実施形態では、より少ないセットの画像を反復処理において使用してもよい。

ハードウェア検出器は、好ましくは、ビデオカメラのパン方向及びチルト方向におけるシフトを検出してもよく、ハードウェア検出器は、角度シフトを検出してもよい。

１つ又は複数の実施形態では、ハードウェア検出器は、ジャイロスコープ装置又はチルトメーターなどの傾斜計である。

１つ又は幾つかの実施形態では、ハードウェア検出器は、連続的にビデオカメラの変位を検出し、変位のタイムスタンプが個々のフレームのデータと相関され得る。

本発明の任意の実施形態では、この方法からの出力は、カメラで実行される他の処理又はそのダウンストリームで使用される焦点距離の定量値であってよく、或いは、単にオペレーターに提示するものであってもよい。

第２の態様によれば、第２の態様の任意の実施形態に従って、方法が使用される。この使用は、ビデオカメラに対して揺れ又は振動を誘発することからなり、その後、この方法によって、焦点距離設定の値が出力されてもよい。これにより、この使用は、更にビデオカメラを較正する方法を含むと言ってもよい。

更に別の態様によれば、ビデオカメラからの出力画像の画像安定化のためのシステムが提供される。このシステムは、ビデオカメラのシフトを検出するハードウェア検出器の出力、調整可能な焦点距離の値、ハードウェア検出器からの出力及び調整可能な焦点距離の値に基づいて画像の補正を実行する処理装置を含む幾つかの入力パラメータを有する。このシステムは、好ましくは、本明細書に記載された１つ又は複数の実施形態に従って方法を実行するように装備される。それにより、内部的に焦点距離設定の値を推測する。

本発明の一実施形態に係るカメラヘッドの概略ブロック図である。 本発明の実施形態を適用し得る状況の概略側面図である。 図２の状況の平面図である。 図４ａは、図２及び図３に係るシーンから取得された第１の画像フレームである。図４ｂは、図４ａの画像フレームに連続する第２の画像フレームである。 本発明の第１の実施形態に係るプロセスを示すフロー図である。 本発明の第２の実施形態に係るプロセスを示す図５に類似するフロー図である。 本発明の第３の実施形態で使用されるスライダーの概略図である。

図１は、本発明の幾つかの実施形態で使用されるカメラヘッドのブロック図である。カメラ１０は、被写領域からの光を画像センサ１６に投影するレンズ１４（一組のレンズ、対物レンズなど）を有する。画像センサ１６からの情報は、画像プロセッサ１８内で処理される。画像プロセッサ１８は、中央処理装置２０の一部を構成する場合があり、又は構成しない場合がある。画像プロセッサ１８は、１つ又は複数の実施形態では、中央処理装置２０と通信するように接続及び構成され得る揮発性メモリ２２と通信するように接続及び構成されてもよい。非揮発性メモリ２４は、通常の方法でＣＰＵ２０と通信するように構成されてもよい。ビデオカメラは、ネットワーク内の通信のためのネットワークインターフェース２６を更に含んでもよい。

これらの特徴に加えて、ハードウェア検出器２８は、ビデオカメラの運動を追跡するように構成される。本実施形態では、ハードウェア検出器は、パン方向及び／又はチルト方向に関してビデオカメラの傾きを監視するジャイロスコープ装置又は一組のジャイロスコープ装置である。ハードウェア検出器からの出力は、画像に対して幾つかの自動操作及びユーザによって規定された操作を実行するように、画像プロセッサ１８及び／又はＣＰＵ２０に送信されてもよい。それらの操作のうちの１つは、生画像のピクセルが、例えば、センサからの入力に基づいて正確な位置へと移動する（アフィン）変換である。この変換は、樽型歪みなどの光学的歪みに係わる歪み補正においてピクセルを再構成することを含む。回転又は傾斜は検討するべき重要なパラメータであるため、検出器は、概して、ジャイロスコープ装置又は対応パラメータを推測し得る装置である。

パン／チルトシフトに至る振動の影響は、画像における重要な変位である場合があり、その一方で、縦方向又は横方向の並進シフトは、小変位に過ぎない。後者の例を挙げると、１０ｃｍの並進は、対象面の視野の１０ｃｍシフトに至る（すなわち、画像センサにおいて無視できる程度の変位となる）場合がある一方で、１度の傾斜は、対象面の視野における著しいシフト、及び画像センサの平面において許容できない変位に至る場合がある。似たような属性の出力を生成し得るその他のハードウェア検出器２８は、明らかに、チルトセンサ又は他の種類の傾斜計などの代わりに使用してもよく、又はそれらと組み合わせて使用してもよい。尚、並進シフトは、本発明を利用し得るコンテクストから除外されないと言ってもよい。

図２から図４は、本発明の１つ又は複数の実施形態に係る方法及びシステムが利益を享受し得る状況を示す。図２は、建物３０とその近辺周囲を監視するように設定されたカメラ１０の概略側面図である。カメラは、概略的にしか示されていないカメラホルダー２８で吊り下げられている。カメラは縦方向に傾いて（Ｔ）もよく、ズームレンズＺによって適切な焦点距離が可能となり、それにより、視野が容易に設定される。図３は、上述の図２と同じシーンを示し、主にパン機能Ｐを示す。パン機能Ｐは、カメラによって画像化されるシーンの望ましい視界を可能し、これは容易に設定される。この文脈では、オペレーターによって遠隔制御されるパン、チルト、及びズームに影響を与え得るビデオカメラは存在するが、関連する本開示に関しては、このような種類のビデオカメラである必要はないことを指摘することができる。カメラのために使用されるカメラホルダーは、特定の条件下で取得されたビデオストリームを劣化し得る振動又は揺れを、ある程度許容する任意の種類のサスペンションであってもよい。

図４ａ及び図４ｂの描写は、象徴的にフレームが設けられるビデオストリームの２つの連続的なフレームを示すと言ってもよい。図４ａの最初の図は、建物３０と、ランプポストと幾つかの木を含むその周囲の一部を示す。第２のフレームでは、図４ｂは、振動又揺れの結果としての変位を示す。建物３０の元々の位置は破線３０’で示され、実際の第２のフレーム内の建物３０の位置は実線で示される。

視野におけるシフトは、パン方向及び／又はチルト方向でのカメラの角度シフト△ａｎｇの結果生じる場合があり、視野におけるシフトが結果として画像センサ△ｉｓ上の画像の位置の変位となるために問題が生じる。センサ上の画像の実際の変位は、ズーム設定が既知であれば、角度シフトから直接導き出すことができ、又はより具体的には、角度シフトの値と組み合わせて、画像化のために使用されるレンズシステムの現在の焦点距離から直接導きだすことができる。これは、△ｉｓを焦点距離及び角度シフトの関数として表現することができるためである。

このことを理解する正攻法は、視野を導入することである場合がある。視野は、画像化されるカメラの前方のシーンがどれだけあるかを示す、画像化レンズから延長する角度セクターとして画定してもよい。この視野は、画像化レンズの焦点距離、ズームレンズが使用されるときは焦点距離設定、及び画像化センサの大きさによって画定されてもよい。このようにして、カメラの既知の角度シフトは、画像化センサ上のピクセル位置におけるシフトに変換されてもよい。

上述のパラメータ間に直接的な関係があることにより、振動に対する迅速で簡単な補正が可能となる。これは、ビデオストリームのあらゆる重大な遅延を生じさせることなく、その場で実行することができる。画像安定化を目的として実際の画像分析を実行する必要はなく、これによってプロセスを更に加速化することができる。

現在の実施形態では、焦点距離は未知であるが、角度シフトはハードウェア検出器から既知である。目的は、揺れ又は振動の影響を最小限にすることであり、したがって、もう１つ値は、画像センサ上の変位に対して許容可能とみなされる値の閾値のための値である。許容可能とみなされる値は、所定の値である場合があるが、この値はオペレーターによって決定されてもよく、例えば、補正されたビデオを検証しているオペレーターが閾値を上下にシフトさせてもよい。後者の実施形態では、「許容可能」であるとみなされるものは、幾つかの品質検討事項を含んでもよいことが明らかとなる。

これより図５を参照すると、第１の実施形態では、プロセスは、第１のステップ３２において画像を取得することと、ハードウェア検出器（△ａｎｇ）３６からの入力値を用いてその画像を変位補正アルゴリズムで処理３４することとを含む。この処理は、焦点距離設定３８の値にも基づく。この時点では、実際の焦点距離は未知であるとみなされ、第１の設定は、ユーザ入力４０又は任意の他の値に基づいてもよい。開始点は、焦点距離設定に対して最後に評価された値であってもよい。このような値が利用可能ではない場合、又は、このような値を使用する希望がない場合、焦点距離のための可能な設定は、カメラで使用される特定のレンズ用の可能な焦点距離設定によって規定されるように、依然として特定の範囲に制限される場合があり、且つ、便宜上、入力値はその範囲内で選択され得ることを理解されたい。

後続ステップ４２では、取得され処理された画像は、前の画像と比較され、変位補正後の残りの変位が許容可能とみなされる範囲内にあるかどうかが判定される。更に、許容可能とみなす値は、閾値との比較に基づいてもよく、次に、ステップ４８でオペレーターによってプリセット又は決定されてもよい。残りの変位が許容可能な範囲の外にあるならば、アルゴリズムが、補正まで達しなかったか、又は補正を飛び越えたと推測してもよい。画像を比較するステップ４２では、任意の既存の方法を使用してもよく、このような方法からの可能な出力は、運動ベクトルに対する平均値であってもよく、有限個数の区別可能な形状がどのように変位したかを説明する。

平均化された運動ベクトルの標準画像分析に関しては、全体としての画像の上の運動ベクトル又は選択された領域の評価が含まれる。選択された領域は、例えば、規定によって任意の運動を表示してはならない静止背景を含んでもよい。特定の視界で背景であると規定されるものは、良く知られている標準画像処理又は画像分析によって特定されてもよく、使用される技法は、本明細書では詳細に開示しない。背景として特定される物体は、家屋、道路、舗装道路、街灯など、すなわち、ビデオストリームの中の連続的フレーム間で動きを表することを期待されていない物体であってもよい。上述の物体、すなわち、人工の静止物体は、画像分析で使用され得る特性を１つだけ述べると、明瞭な端部を有することに特徴付けられることが多い。

変位の補正が、結果として許容可能な差異であれば、プロセスは終了する。次にプロセスは、定常供給４４に入ってもよい。定常供給４４では、焦点距離の値は、更に、後続のシフト補正における使用のために記憶４６されてもよく、ビデオカメラからの出力を監視するオペレーターのために可視化されてもよい。本記載を通して「焦点距離」という用語が使用されていたとしても、実際に挿入されて処理の中で使用される値は、焦点距離を容易に推測し得る別の測定値であってもよいことを理解されたい。

変位補正が不適切である場合、上述のステップは、必要である限り反復されてもよく、焦点距離設定のための入力値は変更される。シフト補正４２の評価は、焦点距離設定が変更されるべき方向を決定し得る。プロセッサは、焦点距離の最適値に到達するために山登りアルゴリズム（ｈｉｌｌ ｃｌｉｍｂｉｎｇ ａｌｇｏｒｉｔｈｍ）を使用してもよいが、焦点距離の最適値を見付けるためには、数多くの他の使用可能なアルゴリズムが存在する。

このプロセスは、許容可能な結果が達成されるまで、同じ一組の画像で反復を実行してもよい。他の実施形態では、このプロセスは、毎回新しい画像を取得してもよく、それにより、データセットを増やすことによって平均化効果を導入し、△ａｎｇが選択される範囲を変動させることによって、ビデオストリームにあらゆる遅延をもたらさず、又は単に統計値を増やす。尚、このプロセスは、オペレーターからの任意の入力なく行われてもよい。選択されたオプションに関わらず、プロセスからの出力は、依然として焦点距離を定量化する値であってもよい。一組の画像が再利用される第１の実施形態では、この方法は、ビデオストリームの供給が焦点距離の現在の設定値で継続する間、背景で実行されてもよい。このプロセスが結果に達したとき、現在値は更新値と交換される。

シフト補正アルゴリズムは、種々の時間で露出された画像センサの種々の部分を構成するという点において、時間分解されてもよい。これは、ハードウェア検出器（ジャイロスコープ装置）からの連続的出力を画像センサの種々の位置に連結することを可能にすることによって、達成し得る。このような特徴は、例えば、異なる列が異なるシフトを経験するローリングシャッター機構を使用するとき、特に重要である場合がある。

更に、上述のように、オペレーターは、閾値を入力又は別の方法で調節することによって、ビデオストリームの中の残存シフトに関して、何を「許容可能」とみなすべきかを明らかに決定してもよい。これは、図６で示されている。ユーザは、焦点距離設定（ステップ４０）及び／又は閾値（ステップ４８）に関して入力値を提供し得る。オペレーターが決定しない場合、閾値のための所定値が提供されて使用されてもよい。図５のステップと類似する又は同一である図６のステップは、ここでは更に説明しない。

第３の実施形態では、オペレーター入力が更に増加する。これは、図７において概略的に示され、基本的にオペレーターが視認し得るＨＭＩのスライダー５０を示す。スライダー視点によって、対象となるビデオカメラのための可能な焦点距離の全範囲が視覚化され得る。インジケーター５２は、焦点距離の現設定を示し得る。オペレーターが画像の中の振動的変位を観察する状況では、オペレーターがインジケーターをスライドさせることが可能となり、結果として、（図６のフロー図のステップ４０で入力された）プロセスによって使用されるべき焦点距離のための修正値が生じる。これは、オペレーターによって決定されるように、振動的変位が許容可能なレベルに達するまで実行されてもよく、この実施形態では、「許容可能なレベル」は、所定の閾値が使用される実施形態と比較したとき、質的なものである。オペレーターは、図６のステップ４８において変位が許容可能であると立証してもよいが、スライダーがもはや調整されることはないことが暗黙の了解であり得る。暗黙の了解とは、スライダーが更に調整されるまで、焦点距離の現在の設定値が使用されることに対応することを意味する。この実施形態は、基本的に第２の実施形態に対応するが、比較を行う自動ステップの不在に対応する。スライダーの使用は、明らかに、入力値を提供するオペレーターのための数多くの例の中の１つの例である。

一旦オペレーターが変位の比較に満足すると、プロセスは、焦点距離を定量化する現在の設定値で進行し、最適であろうとなかろうと、あらゆる場合において現在の値で進行する。焦点距離の値は、この実施形態、並びに他の任意の実施形態では、記憶される他に、他のプロセスによって転送又は利用されてもよい。

任意の実施形態では、プロセスは、他の入力値が提供されないとき、例えば、焦点距離の現在の設定値で進行するように設定されてもよい。オペレーターによって支援された最適化については、オペレーターは、画像センサからの読み出し速度と比較可能な速度で焦点距離設定を調整できない場合があり、入力がない状態では、プロセスは現在値で進行する。

このプロセスは、更に、単純にカメラの揺れ又は振動を引き起すことによって、ビデオカメラを較正するシーケンスで使用されてもよい。このような較正は、単純にビデオカメラが装着されている構造体（例えば、ポスト、台など）に衝撃を与えることによって行ってもよく、その後、焦点距離の較正、すなわち、振動補正又は画像安定化のためのプロセスは、運動を検出するハードウェア検出器又は任意の他の適切な手段によって開始されてもよい。

パン及び／又はチルト機能を有するカメラは、すなわち、パン運動又はチルト運動を実行するように遠隔制御され得るカメラは、より複雑な制御アルゴリズムを必要とする場合がある。正攻法は、パン及び／又はチルトの間、画像安定化の操作を抑制することである。この未完成なアプローチは、パン及びチルトの意図的なシフト（予期されるパン及び／又はチルト運動に起因する）が画像安定化から取り除かれる一方で、揺れ又は振動によって生じる運動が考慮される、より洗練されたアプローチと代えてもよい。

この方法は、更に、振動補正の任意のシステムを最適化するために使用されてもよい。

本開示によると、焦点距離の所定値を使用する振動の結果として画像の補正が生じる。一組の画像は、次いで、シフト効果に関して評価される。シフトを適切に扱わないと、焦点距離のための値は、シフトが許容可能な閾値未満となるまで適切に変更される。このようにして、回転の効果は無効となり、焦点距離の値が推測される。焦点距離のための値は、他のプロセスにおいて重要な入力値であり得る。焦点距離設定が使用され得る幾つかの例を挙げると、露出設定の最適化、歪み補正の実行、画像安定化（振動及び揺れの効果の最小化）、及びユーザが任意の他の方法を利用するためにユーザに焦点距離設定を提示する能力がある。

Claims (12)

1. 画像安定化方法であって、設定焦点距離が未知のレンズ（１４）を備えるビデオカメラ（１０）を用いてビデオを取り込んで、画像安定化処理を実行するステップであって、前記画像安定化処理が、前記カメラの変位を検出するハードウェア検出器（２８）からの入力値及び調整可能な焦点距離値に対して行われる、ステップと、
   前記ハードウェア検出器からの入力値及び前記調整可能な焦点距離値に基づいて、取り込まれたビデオの中の変位を補正するステップと、
   前記ビデオの現在補正された画像と前記ビデオの以前の画像との比較に基づいて、現在設定された焦点距離値での、前記画像安定化処理の現在の動作における、前記取り込まれたビデオにおけるシーン中の静止物体の変位を評価するステップと、
   前記評価された変位が閾値未満又は最小となるまで前記調整可能な焦点距離値を調整するステップと
   を有する画像安定化方法。
2. 前記調整可能な焦点距離値が、ユーザ入力に基づいて調整される、請求項１に記載の画像安定化方法。
3. 前記閾値が所定値である、請求項１又は２に記載の画像安定化方法。
4. 前記閾値がオペレーターによって設定される、請求項１から３のいずれか一項に記載の画像安定化方法。
5. 前記調整可能な焦点距離値は、前記変位が所定の閾値未満となるまで、反復最適化処理に従って調整される、請求項１から４のいずれか一項に記載の画像安定化方法。
6. 前記調整可能な焦点距離値を出力することを更に含む、請求項１から５のいずれか一項に記載の画像安定化方法。
7. 前記評価された変位が閾値未満となるまで画像ストリーム内の連続画像に対して評価が実行される、請求項１から６のいずれか一項に記載の画像安定化方法。
8. 前記ハードウェア検出器が角度シフトを検出する、請求項１から７のいずれか一項に記載の画像安定化方法。
9. 前記ハードウェア検出器が、ジャイロスコープ装置又はチルトメーター／チルトセンサ又は加速度計などの傾斜計である、請求項１から８のいずれか一項に記載の画像安定化方法。
10. 前記ハードウェア検出器が、連続的に前記ビデオカメラの変位を検出し、前記変位のタイムスタンプが個々のフレームのデータと相関され得る、請求項１から９のいずれか一項に記載の画像安定化方法。
11. ビデオカメラシステムのための前記焦点距離を定量化するプロセスにおける請求項１から１０のいずれか一項に記載の画像安定化方法の使用であって、前記プロセスが、前記方法を適用する前又は適用している間に直接的又は間接的に前記ビデオカメラに対して揺れ又は振動を誘発することを含む、使用。
12. 設定焦点距離が未知のレンズ（１４）を備えるビデオカメラ（１０）からの出力画像の画像安定化のためのシステムであって、前記システムが、
    前記ビデオカメラの変位を検出し、前記変位の出力を提供するハードウェア検出器（２８）、及び
    前記ハードウェア検出器からの検出された前記変位の前記出力と、推測される設定焦点距離を表す調整可能な焦点距離値とに基づいて画像中のシフト補正を実行し、
    連続的シフト補正された画像間の比較に基づいて、同じ焦点距離値での、画像安定化処理の現在の動作における、シーン中の静止物体の変位を評価し、且つ
    連続的シフト補正された画像間の評価された前記変位が閾値未満又は最小となるまで前記調整可能な焦点距離値を調整する
    ように構成された処理装置
    を備える、画像安定化システム。

Images