JP4570244B2

JP4570244B2 - ディジタル画像シーケンス用の自動安定化方法

Info

Publication number: JP4570244B2
Application number: JP2000395736A
Authority: JP
Inventors: ダブリュジョーンズポール
Original assignee: イーストマンコダックカンパニー
Priority date: 1999-12-29
Filing date: 2000-12-26
Publication date: 2010-10-27
Anticipated expiration: 2020-12-26
Also published as: JP2001197360A; EP1117251A1; US6809758B1

Description

【０００１】
【発明の属する技術分野】
本発明は、概してディジタル画像処理に係り、特にディジタル画像シーケンスにおける好ましくない動きを除去するシステム及び方法に関する。
【０００２】
【従来の技術】
ディジタル・ビデオ・カメラ若しくは映画フィルムのスキャニングなから得られたものなどのディジタル画像シーケンスは、シーケンスにおける連続したフレーム間に好ましくない動きをしばしば含む。この好ましくない動きの潜在的原因は多くあり、画像取込時のカメラの揺れ、若しくはフィルム・シーケンスがスキャンされる時のフレーム対フレームの位置誤差（ジッタ若しくはホップ、及びウィーブとしても知られる）なども含まれる。この好ましくない動きを除去する処理が画像安定化と呼ばれる。
【０００３】
スキャニングの取込時の好ましくない動きを補正するために光学式、機械式、若しくは他の物理的手段を用いるシステムが提案されている。しかし、これらシステムはしばしば複雑で高価である。又、それらは未知で特徴のない装置によって生成されたディジタル画像シーケンスにおける好ましくない動きは補正できない場合が多い。一般的にディジタル画像シーケンスに対する安定化を提供するために、いくつかのディジタル画像処理方法が開発され、従来説明されてきた。
【０００４】
多くのディジタル画像処理方法は、シーケンスにおける連続したフレーム間のズーム、変形、回転などの一若しくは複数のパラメータを推定するために、特定のカメラ動作モデルを用いる。これらのパラメータは、２つの連続するフレーム間の対応を表す動作ベクトル場から計算される。得られたパラメータは、次いで滑らかな動作を提供するために、多数のフレームにわたって、フィルタリングされ得る。このようなシステムの一例は、Ｂｕｒｔらのよる米国特許第５，６２９，９８８号において見つけることができる。これらのシステムにおける基礎的な前提は、全体的な変形は隣接するフレーム間の動作示すということである。独立した動作起動で動く複数の対象物などの重大の局所動作が存在すると、これらの方法は誤った全体的な動作パラメータの計算のために失敗し得る。
【０００５】
ディジタル画像安定化のための他の画像処理方法は、主に、バッファリングを最小にすることが要求され、ほぼリアルタイムに処理しなければならないというシステム制約を有するディジタルビデオカメラ用途向けに設計されている。結果として、複数のフレームにわたって動作パラメータをフィルタリングすることを防止するこれらの方法は、所定時間における２つのフレーム間のみの好ましくない動作補正に適用することに限定される。このようなシステムの一例は、Ｐａｒｋらのよる米国特許第５，７４８，２３１号に説明されている。この方法において、重み付けられた平均動作ベクトルは２つの連続するフレームに対応する動作ベクトル場から計算される。重み付けは、所定の動作ベクトルの信頼性を示す多様な統計上の方法から決められる。重み付けられた平均動作ベクトルは、次いで２つの連続したフレーム間の動作が除去される。この種の処理は、シーケンスから好ましくない動作だけでなくすべての動作（パンなどの望まれるカメラ動作を含む）が除去されることをもたらす。再び、これらの方法は、画像シーケンスは主要な全体的動作を含み、それらには重要な局所的動作が存在しないくてもよい、ものと仮定する。
【０００６】
更に別の好ましくない動作を除去するディジタル画像処理方法は、正確に並べられた連続的なフレームに対して位相補正として知られる技術を用いる。このような方法の一例は、Ｅｒｏｇｌｕらによって報告されている（「ＡｆａｓｔａｌｇｏｒｉｔｈｍｆｏｒｓｕｂｐｉｘｅｌａｃｃｕｒａｎｃｙｉｍａｇｅｓｔａｂｉｌｉｚａｔｉｏｎｆｏｒＤｉｇｉｔａｌＦｉｌｍａｎｄＶｉｄｅｏ」、Ｐｒｏｃ．ＳＰＩＥＶｉｓｕａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．３３０９、ｐｐ７８６−７９７、１９９８）。しかし、これらの方法は、シーケンスが局所的動作を含まないこと、又は択一的に、ユーザーが局所的動作を含まない連続したフレームにおける領域を選択しなければならないこと、を要求する。局所的動作を有さないエリアへの依存性、及びユーザーに介入する必要性はこれらの方法の主要な欠点である。
【０００７】
【発明が解決しようとする課題】
本発明は、望まれる動作（パン、ズームなど）を除去することなく、ディジタル画像シーケンスから好ましくない動作を除去するという課題を解決する。本発明においては、上記解決のために過剰な計算が必要になることはない。そして、完全に自動化された処理である。更に、画像シーケンスにおける重大な局所的動作の存在について頑丈である。
【０００８】
【課題を解決するための手段】
本発明は、望まれる動作に対応する累積的動作ベクトルはフレーム毎に滑らか且つ徐々に変化するという観測に基づく単純なモデルを用いることによって、従来システムの制限を克服する。更に、本発明は、簡素な閾値をと共に動作ベクトル・ヒストグラムを用い、特定のカメラ変換モデル（若しくは局所動作の不存在）に依存しない。よって、ディジタル画像シーケンスにおける好ましくない動作成分の決定において動作ベクトル・ヒストグラムを用いる構成及び方法を提供することも本発明の目的である。
【０００９】
本発明の一実施形態は、多数の連続的フレームから成るディジタル画像シーケンスの安定化方法である。この方法は、隣接するフレーム間の動作ベクトルを計算する工程と、動作ベクトル場の水平及び垂直成分から前記各フレームに対する動作ベクトル・ヒストグラムを形成する工程と、閾値処理された動作ベクトル・ヒストグラムを作成するために動作ベクトル・ヒストグラムに閾値を掛ける工程と、閾値処理された動作ベクトル・ヒストグラムから平均水平及び垂直動作成分を生成する工程と、各フレームに対する好ましくない水平及び垂直動作成分を特定するために多数のフレームにわたって平均水平及び垂直動作成分をフィルタリングする工程と、対応する好ましくない水平及び垂直動作成分に従って各フレームをシフトさせることによって画像シーケンスを安定化する工程とを含む。
【００１０】
動作ベクトル・ヒストグラムの閾値処理は、ほとんど信頼できない、又は小さい空間拡張を有する対象物に対応する信頼できない動作ベクトルを除去する。この閾値は、適用手段によって各フレームに対して変えてもよく、所定レベルに固定されてもよい。好ましくない水平及び垂直成分は、一時的な高周波に対応し、それらは高域通過フィルタを平均水平及び垂直成分に対して適用することによって計算され得る。高域通過フィルタリングの程度はユーザーが調整し得る。安定化工程は、対応する好ましくない水平及び垂直成分によって各フレームを置換することを含む。
【００１１】
本発明の別の実施形態は、多数の連続したフレームから形成されたディジタル画像シーケンスを安定化させるためのコンピュータ化されたディジタル画像システムであって、隣接するフレーム間の動作ベクトル場を計算する動作推定ユニットと、動作ベクトル場の水平及び垂直成分から動作ベクトル・ヒストグラムを形成するヒストグラム生成器ユニットと、閾値処理された動作ベクトル・ヒストグラムを作成するために動作ベクトルに対して閾値を掛ける閾値処理ユニットと、閾値処理された動作ベクトル・ヒストグラムから平均水平及び垂直成分を生成する平均化ユニットと、各フレームに対する好ましくない水平及び垂直動作成分を特定するために多数のフレームにわたって平均水平及び垂直動作成分をフィルタリングするフィルタリング・ユニットと、対応する好ましくない水平及び垂直動作成分に従って各フレームをシフトさせることによって画像シーケンスを安定化する安定化ユニットとを含む。
【００１２】
閾値処理ユニットは、ほとんど信頼できない、又は一時的に若しくは一過性的に小さい空間拡張を有する対象物に対応する信頼できない動作ベクトルを除去する。このシステムは更に、各フレームに対して閾値を適応的に計算する閾値決定手段を含んでもよく、別の方法として閾値は所定レベルに固定されてもよい。フィルタは、好ましくない水平及び垂直成分を特定する高域通過フィルタを含む。
このシステムは更に、高域通過フィルタリングの程度を調整するユーザー・インターフェースを含む。安定化ユニットは、対応する好ましくない水平及び垂直成分によって各フレームをシフトさせる置換ユニットを含む。
【００１３】
【発明の実施の形態】
以上の及び他の目的、態様、及び利点は添付図面を参照し、以下の本発明の好ましい実施形態の詳細な説明からより良く理解されるであろう。
【００１４】
本発明は、ディジタル画像シーケンスにおける好ましくない全体的動作を除去する。好ましくない動作は、全体の画質にマイナスの影響を与え、ＭＰＥＧ−２などの現在の圧縮システムの性能を潜在的に低減させる。本発明は、本質的に、画像化チェーン（例えば、穴の不均一性、媒体の不安定さ、取込／重複／投射装置の機械的態様など）における多様な物理的成分から生じる好ましくないジッタ（ホップ／ウィーブとしても知られる）を含むフィルムからの原料物質（即ち、ディジタル形式へスキャンされた映画）に対して便利である。しかし、本開示によって与えられる分野の当業者によって知られるように、同じ方法はビデオからのシーケンスにおける好ましくないカメラ動作を安定化させるためにも用いられ得る。
【００１５】
図１に示すように、安定化されていない原シーケンス１００からの各フレームは、最初に、所定時刻ｔにおける現フレームと時刻ｔ−１における前フレームとの間の対応点を示す動作ベクトル場ＭＶＦ（ｔ）を形成するために、動作推定ユニット１０２を用いて、前フレームと共に処理される。当業者によって知られるように、動作ベクトル場の計算は、少なくともいくつかの類似性を共有する連続したフレーム対してのみ有効である。シーケンスが複数のシーン（即ち、大幅に異なる画像成分を有するフレーム）から成る場合、動作ベクトルの計算に先立って、まずシーケンスを個々のシーン（各シーンが画像成分の連続性を有するか否か）に分割することが必要となる。このシーケンスを個々のシーンに分割する処理は、シーン変更検知として知られることもあり、このような従来の方法は多く説明されている。別の方法として、手動のシーン検知方法は、人間がシーケンスを見終えた後に各シーン変化をマーキングするという方法で用いられ得る。シーン変化検知は、本発明の大きな部分ではなく、そのような処理は本発明の画像安定化の出願に先立って為されているものとする。
【００１６】
動作ベクトル場は、多様な方法を用いて形成され得るが、好ましい実施形態においては、ベクトル場は、効率的な計算のためのブロックに基づく動作推定を用いて計算される。当業者にはよく知られているように、ブロックに基づく動作推定は、現在のフレームからｂ×ｂピクセルのブロックを形成し、そして各ブロックに対して、前フレームにおいていくつかのエラー・メトリックに従って最も一致するｂ×ｂブロックを見つけることを含む。ｂの通常の値は８若しくは１６であり、エラー・メトリックとしては、平均二乗誤差若しくは平均絶対偏差がしばしば用いられる。
【００１７】
ブロック一致処理の出力は、動作ベクトル場を有するｎ×ｍセットの動作ベクトルである。ｎ及び／若しくはｍが増加（即ち、動作ベクトル場の密度が増加）すると、本発明の性能は向上し得るが、計算数が増加するという欠点ももたらされる。本発明は、適度なｎ及びｍと共に、適切に実行する。この開示によって与えられる当業者には更に容易に知られるように、光学フローなどの他の動作推定方法も確かに用いられ得る。そして計算力が向上されたという支出を伴えば向上された性能を提供し得る。各フレームが動作推定ユニット１０２へ送られるとき、バッファ１０１へも送られる。バッファ１０１は、シーケンス安定化段階１０７中に原シーケンスから好ましくない動作が除去され得るようにＮ個のフレームを格納する。
【００１８】
次いで、隣接するフレームの各ペアからの動作ベクトル場は、所定時刻ｔにおける水平方向（ｘ）及び垂直方向（ｙ）への平行移動値のトータルの２次元動作ベクトル・ヒストグラムＨ_{ｔｏｔａｌ}（ｘ，ｙ，ｔ）を作成するために、ヒストグラム生成器ユニット１０３で処理される。ヒストグラム生成器ユニット１０３は、動作ベクトル場にわたる特定の（ｘ，ｙ）平行移動ペアの発生数を合計することによって、ヒストグラムを計算する。動作ベクトル・ヒストグラムの一例は、図２に示される。この図において、ｘ及びｙの平行移動値は、−１５ピクセルから＋１５ピクセルまでそれぞれ変わり得る。
【００１９】
図２に図示されるように、動作ベクトル成分の２次元ヒストグラムは、クラスタが同じ速度及び方向に移動する画像内における領域を示す場合、通常は多数のカウントを有する一若しくは複数のクラスタ２００を含む。小さい空間領域若しくはより一般的には（画像におけるノイズ、あいまいな信号成分などをもたらす）不正確な動作ベクトルのいずれかを示す数個のカウントのみを含む多数のクラスタ２０１も存在する。
【００２０】
これらの動作ベクトル・クラスタ２０１はシーケンス処理においてミスリードされるおそれがあるため、処分されるのが好ましい。この開示によって与えられる当業者には知られているように、数個のカウントしか持たないクラスタ２０１の除去を促進するために用いられる技術は多くある。好ましい実施形態において、除去は、ヒストグラム・カウント値に対して単純な閾値フィルタ、即ち閾値Ｔと等しいか若しくは上回るヒストグラム値だけ残す、を適用することによって実行される。図１を参照すると、この閾値処理は、閾値ユニット１０４によって実行される。閾値ユニットの出力は、閾値動作ベクトル・ヒストグラムＨ_{ｔｈｒｅｓｈ}（ｘ，ｙ，ｔ）である。
【００２１】
閾値に加えて、多数の信頼できない動作ベクトルを低減するための他の方法も導入され得る。これらの方法は、１）ブロックの変動（低変動ブロックは本質的には機能ではなくノイズと一致する）、２）一致したブロックにおける対応する点間の合計誤差（高い誤差はブロックが同様でないことを意味する）、及び３）誤差同等物と一致する多数のブロック（一致したブロックを正確なブロックと区別できない）、に基づいてベクトルを処分することを含む。これらすべての方法は、ヒストグラム閾値に加えて適用されることが可能であるが、本発明固有の機能である必要はない。
【００２２】
本発明は、いかなる特定のヒストグラム閾値に対しても特別に敏感ではない。
そして、閾値Ｔはシーケンスのすべてのフレームに対して固定値に設定され得る。しかし、この開示によって与えられる当業者によって知られているように、高過ぎる閾値を設定すると残るベクトルが数個のみになり得る。同様に、低過ぎる閾値を設定すると不正確な動作ベクトルを含んだ結果となり得る。不適切な閾値によって生じる質の悪い性能に対する潜在性を低減するため、各フレームに対して閾値を適用することが可能である。この適応閾値の決定ために、本発明は２つの成分の合計としてトータル動作ベクトル・ヒストグラムを形作る。
Ｈ_{ｔｏｔａｌ}（ｘ，ｙ，ｔ）＝Ｈ_{ｒｅｌｉａｂｌｅ}（ｘ，ｙ，ｔ）＋Ｈ_ｕｎｒｅ _{ｌｉａｂｌｅ}（ｘ，ｙ，ｔ）・・・式（１）
ここで、Ｈ_{ｒｅｌｉａｂｌｅ}（ｘ，ｙ，ｔ）は時刻ｔにおける信頼できる動作ベクトルに対応するヒストグラム成分であり、Ｈ_{ｕｎｒｅｌｉａｂｌｅ}（ｘ，ｙ，ｔ）は時刻ｔにおける信頼できない動作ベクトルに対応するヒストグラム成分である。
【００２３】
これらのヒストグラム成分をランダムな変数として形作ることによって、ヒストグラムの平均に対する関係式を容易に導くことができる。
μ_{ｔｏｔａｌ}＝μ_{ｒｅｌｉａｂｌｅ}＋μ_{ｕｎｒｅｌｉａｂｌｅ} ・・・式（２）
ここで、μ_{ｔｏｔａｌ}はＨ_{ｔｏｔａｌ}（ｘ，ｙ，ｔ）の平均であり、μ_{ｒｅｌｉａｂｌｅ}はＨ_{ｒｅｌｉａｂｌｅ}（ｘ，ｙ，ｔ）の平均であり、μ_{ｕｎｒｅｌｉａｂｌｅ}はＨ_{ｕｎｒｅｌｉａｂｌｅ}（ｘ，ｙ，ｔ）の平均である。ヒストグラム値は常に正なので、ヒストグラム全体の平均は常に信頼できないベクトルに対するヒストグラムの平均よりも大きくなる。閾値を全ヒストグラム値の平均になるように選択する（即ち、Ｔ＝μ_{ｔｏｔａｌ}）ことによって、信頼できないベクトルのほとんどが閾値以下となり、よってシーケンス計算に含まれなくなることがほぼ確実となる。信頼できないベクトルを含む可能性を更に低減させるためにいくぶんこの閾値を増やすことが望まれる。一つのアプローチは、全ヒストグラム平均の重み付けされた合計値及びヒストグラムのピーク値Ｐを用いることである。
Ｔ＝ａ＊μ_{ｔｏｔａｌ}＋（１−ａ）＊Ｐ・・・式（３）
ここで、ａは０と１との間の数字である。ａ＝０である場合、閾値はヒストグラムのピーク値となり、ヒストグラムの最頻値のみを残す。
【００２４】
本発明において、閾値の計算及び／若しくはヒストグラムへの閾値の適用に先立って、ヒストグラムを処理することも好ましい。このような処理は、単純な線形フィルタでヒストグラムを滑らかにすることを含み得る。このスムージング処理は、信頼できる動作ベクトルがいまだ残っている間の、信頼できない動作ベクトルのより確固たる排除をもたらし得る。
【００２５】
本発明の別の態様は、ｘ及びｙ平行移動成分に対する別々の１次元動作ベクトル・ヒストグラムを計算するヒストグラム処理方法である。この処理に対する動機は、特定の画像領域において、ｙ成分が不正確な時にｘ成分が正確で、ｘ成分が不正確な時にｙ成分が正確な場合があり得ることである。１次元ヒストグラムを作成し、それぞれ水平方向成分及び垂直方向成分に対する個別の閾値Ｔ_ｘ及びＴ_ｙを計算することによって、ｘ及びｙ両成分に対してより信頼できるベクトルだけが残ることが可能となる。
【００２６】
図１を再び参照すると、次いで閾値動作ベクトル・ヒストグラムは、各フレームに対して、水平方向及び垂直方向の平均平行移動ベクトルを計算するために、平均化ユニット１０５へ送られる。信頼できないベクトルを除去するために閾値が掛けられた後、以下の関係が存在する。
【００２７】
【数１】

即ち、閾値動作ベクトル・ヒストグラムは、主に信頼できる動作ベクトルを含む。
【００２８】
次いで、所定時刻ｔにおける平均水平及び垂直平行移動ベクトルは、以下のように計算される。
【００２９】
【数２】

【００３０】
【数３】

ここで、
【００３１】
【数４】

は時刻ｔにおける平均水平方向平行移動ベクトルであり、
【００３２】
【数５】

は時刻ｔにおける平均垂直方向平行移動ベクトルである。本発明は、ヒストグラム値の単純平均を用いる。なぜなら、シーケンスにおける隣接フレームは（同じシーンから来るものとして）、局所的動作を滑らかに変えることを受ける同じ対象物をおおよそ含むからである。これは、物理的対象物が大部分で、よって速度若しくは方向を即座に変えられない時に期待される。移動する対象物の数及び範囲にかかわらず、累積的動作（即ち、平均水平及び垂直方向平行移動ベクトル）はフレーム毎に滑らかに変わることが期待される。更に、局所的動作に加えて、望まれるカメラ動作（パン、ズームなど）などの全体的動作及び好ましくない動作（ジッタ、カメラぶれなど）もある。望まれるカメラ動作は更に、通常は滑らか（特にプロの映画においては）であるが、好ましくない動作は容易且つランダムに変わり得る。結果として、シーンにおけるすべての対象物の平均動作はフレーム毎に滑らかに変化する傾向にあるが、ジッタ、カメラぶれなどの好ましくない動作によって導入された全体的動作成分は滑らかに変わらない。
【００３３】
好ましくない動作成分は望ましい動作より容易に変化するため、本発明は、図１における一時的フィルタリング・ユニット１０６を用いて、好ましくない動作を取り出すために、多数のフレームにわたって、平均水平及び垂直動作ベクトルをフィルタリングする。上記説明したように、平均水平及び垂直平行移動は、望ましい動作の場合、フレーム毎に徐々に変わるべきである。よって、滑らかに変化するトレンドからはずれたあらゆる動作は、好ましくない動作として識別される。例えば、図３には、フレーム１〜６についての時間に対する平均水平若しくは垂直成分がプロットされている。図示されるように、フレーム４はフレーム１〜３、５、及び６の滑らかな進行から外れている。よって、フレーム４は好ましくない動作を有するものと識別され、よって安定化が必要となる。
【００３４】
フレーム４から除去されるべき好ましくない動作を計算するために、標準的なフィルタリング技術が平均平行移動ベクトルから形成される時間列に対して適用され得る。好ましくない動作は高周波成分から成るものと想定され、この好ましくない動作を直接取り出すために高域通過フィルタが用いられ得る。別の方法として、望ましい低周波動作を取り出すために、低域通過フィルタが用いられてもよい。そして得られる滑らかにされた平行移動ベクトルは、次いで好ましくない高周波成分を計算するために、平均動作ベクトルから差し引かれ得る。好ましくない動作を取り出すためのこれら２つのアプローチは、全く同等である。望ましい動作及び対応するフレーム４の好ましくない動作成分は図４に示される。この好ましくない動作成分は、フレーム４を補正するために必要とされる水平及び／若しくは垂直方向の安定化量を決定するために用いられ得る。バッファリング要件を低減するための好ましい実施形態においては、平均水平及び垂直平行移動のアイテム列から好ましくない高周波動作を取り出すために単純なＦＩＲ（有限インパルス応答）高域通過フィルタが用いられる。バッファされなければならないフレーム数に対応するフィルタ長Ｎは、全体的動作推定からの好ましくない周波数成分除去のために重大なインパクトを与える。除去され得る最低域周波数とバッファされなければならないフレーム数との間にトレードオフが生じる。ユーザーは、水平及び垂直の両方向におけるフィルタリング角度についての直接制御を有する選択が与えられ、好ましくない動作の特性成分が除去されることのインパクトがその場に見ることができるのが好ましい。フィルタ長に加えて、ユーザーは更に、望ましい動作の最大変化率についての制御が与えられることができ、よって望ましい動作のスルーイング速度の調整が提供できる。
【００３５】
好ましくない動作の取り出しにおける動作ベクトル・ヒストグラムのユーザーは更に、容易には明らかとならない別の利益も提供する。前述のように、図２におけるクラスタ２００は、同じ速度及び方向に移動する画像における領域を表す。連続するフレームにわたる個別のエンティティとしてこれら各動作ベクトル・クレスタはトラッキングすることが可能であり、よって好ましくない動作に対する複数の推定が作成できる。次いで、これら複数の推定は、好ましくない動作に対する単一の推定を作成するために、多様な方法で組み合わせられ得る。例えば、個別の推定の、各個別の推定における確からしさによって定められた重みを用いて重み付けられた合計が形成され得る。
【００３６】
ここで、図１の一時的フィルタリング・ユニット１０６の出力は、所定時刻ｔにおける水平及び垂直両方向における好ましくない全体的動作の推定である。好ましくない水平動作はｘ_ｕ（ｔ）で示され、好ましくない水平動作はｙ_ｕ（ｔ）で示される。この推定が与えられると、時刻ｔに対する対応する入力フレームは、安定化ユニット１０７を用いて、基準フレーム（通常はシーケンスの第一フレーム）に対して安定化される。安定化処理は、現フレームの単純な水平及び垂直方向の置換を通じて為される。好ましくない動作に対する推定は、通常は非整数値であり、これは、サブピクセル置換を可能とするためには、標準的な画像補間法（双一次若しくは三次補間）が必要とされることを意味する。サブピクセル置換は更に、あらゆる好ましくないが補償されていない動作を人間が知覚できるレベル以下のレベルに下げることを必要とする。
【００３７】
本発明の全体の方法論は上記述べたが、本発明は当業者によって知られるように、多数の異なる種類のシステムにおいて具体化され、多数の異なる方法で実行され得る。例えば、図５に図示されるように、本発明に係る情報操作／コンピュータ・システムの通常のハードウェア構成は、少なくとも一つのプロセッサ若しくは中央演算装置（ＣＰＵ）４００を有する。ＣＰＵ４００は、システムバス４０１を通じて、ＲＡＭ４０２、ＲＯＭ４０３、（ディスク・ユニット４０５及びテープ・ドライブ４０６などの周辺装置をバス４０１へ接続するための）入出力アダプタ４０４、（情報操作システムをデータ処理ネットワークへ接続するための）通信アダプタ４０７、（キーボード、マウス、ディジタル画像入力ユニット、マイク、スピーカ、及び／若しくは他のユーザー・インターフェース装置などの周辺機器４０９、４１０、４１１をバス４０１へ接続するための）ユーザー・インターフェース・アダプタ４０８、プリンタ４１２、及びディスプレイ・アダプタ４１３に内部接続される。本発明は、記録装置４０５に記録されたコンピュータ・プログラム内に本発明に係る方法を含ませることによって図５に示された構成を用いて実行され得る。このようなコンピュータ・プログラムは、インターフェース・ユニット４０９、４１０、４１１若しくはネットワーク接続４０７を通じて供給された画像フレームの安定化された時間列について実行する。次いで、システムは自動的に望まれ安定化されたディジタル画像フレーム列出力をディスプレイ４１４上に、プリンタ４１２を通じて、若しくはネットワーク４０７に戻すように生成する。
【００３８】
本発明は、例えばテレシネ獲得処理中に実行される画像処理の一部としてフィルムからのシーケンスからジッタを除去する。しかし、この開示が与える当業者によって知られるように、本発明は、そのような用途に限定されず、好ましくない平行移動的カメラ動作を除去するためにビデオからのシーケンスに適用され得る。更に、本発明は、ユーザーに安定化度を制御するためにいくつかのシステム・パラメータについての制御が与えられていても、人手を介さずに完全に自動化された方法で作動する。本発明は、比較的複雑ではなく、充分なコンピュータ・ハードウェアが与えられば画像シーケンスについてリアルタイムで作動し得る。
最後に、好ましくない動作を取り出すための動作ベクトル・ヒストグラムのユーザーは、すべての動作ベクトルから単純平均を計算するのに比べて好ましくない動作についての向上された推定をもたらし得る複数の動作ベクトル・クラスタをトラッキングする機会を提供する。
【００３９】
【発明の効果】
本発明によって得られる利点の一つは、ディジタル画像シーケンスから好ましくない全体的動作が完全に自動化された動作によって除去されることである。本発明を用いると、ユーザーによる操作が不要となる。しかし、ユーザーは安定化の使用及び度合を制御するためにいくつかのシステム・パラメータにアクセスできる。更に、本発明は、異なるシーン成分に対して確固たる性能を有する。よって、シーケンスは好ましくない全体的動作の除去に重大な影響を与えることなく実質的な局所動作を含み得る。更に、望ましいカメラ動作（パン、ズームなど）は本発明の安定化処理中に除去されない。
【００４０】
更に、本発明を用いると、計算負荷は最小となる。動作ベクトル場の推定は最も時間の掛かる要素であるが、ブロックに基づいた動作推定方法によって効果的に成され得る。加えて、本発明は、サブピクセル・レベル（例えば、人間に見える限界以下）への安定化を可能にする。最後に、動作ベクトル・ヒストグラムの使用は、好ましくない動作の向上された推定に対する複数の動作ベクトル・クラスタのトラッキングなどの更なる潜在的な向上を提供する。
【図面の簡単な説明】
【図１】本発明に係る自動化された画像安定化方法／システムを図示する概略図である。
【図２】本発明に係る２次元動作ベクトル・ヒストグラムを示す図である。
【図３】本発明に係る好ましくない動作を図示するグラフである。
【図４】本発明に係る好ましくない動作の除去を図示するグラフである。
【図５】本発明を実施するコンピューター・システムの一ハードウェア実施形態を示す図である。
【符号の説明】
１００原シーケンス
１０１バッファ
１０２動作推定ユニット
１０３ヒストグラム生成器ユニット
１０５平均化ユニット
１０６フィルタリング・ユニット
１０７安定化ユニット
２００、２０１クラスタ
４００ＣＰＵ
４０１システムバス
４０２ＲＡＭ
４０３ＲＯＭ
４０４入出力アダプタ
４０５ディスク・ユニット
４０６テープ・ドライブ
４０７通信アダプタ
４０８ユーザー・インターフェース・アダプタ
４０９キーボード
４１０マウス
４１１ディジタル画像入力ユニット
４１２プリンタ
４１３ディスプレイ・アダプタ

Claims

複数の連続するフレームから形成された画像シーケンスの安定化方法であって、
各フレームに対して、隣接するフレーム間の対応する点に続く動作ベクトルを計算する工程と、
前記動作ベクトルの水平及び垂直成分から前記各フレームに対する動作ベクトル・ヒストグラムを形成する工程と、
前記各フレームに対する処理された動作ベクトル・ヒストグラムを形成するために、所定の閾値に等しい又は該閾値を上回るヒストグラムカウント値のみを保持するようにヒストグラムカウント値に閾値フィルタを適用することにより、前記動作ベクトル・ヒストグラムから前記画像におけるノイズ及びあいまいな信号成分等の信頼できない動作ベクトルを除去する工程と、
前記各フレームに対する前記処理された動作ベクトル・ヒストグラムから平均水平及び垂直成分を生成する工程と、
前記各フレームについての滑らかに変化する傾向から外れる好ましくない高周波水平及び垂直成分をフィルタリング除去する工程と、
前記好ましくない水平及び垂直成分によって各フレームを平行移動させることによって前記画像シーケンスを安定化させる工程と、
を有する画像シーケンスの安定化方法であり、
前記動作ベクトルの二次元ヒストグラムは、同じ速度及び方向に移動する画像における領域を示す１つ又はそれ以上のクラスタを有し、該クラスタの各々は、連続するフレームに亘る個別のエンティティとしてトラッキングされる、
ことを特徴とする画像シーケンスの安定化方法。