JPH07505033A - ビデオ画像運動補償システムにおける非線形画像変換，例えばズーム及びパンを補償するための機械的方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ビデオ画像運動補償システムにおける非線形画像変換、例えばズーム及びパンを 補償するための機械的方法発明の分野 この発明は、ビデオ画像運動測定に、且つ特にビデオ画像の隣接したフィールド 間にカメラズーム、回転、又はある種の他の非線形変換があるときのそのような 運動測定に関係している。

発明の背景 状状の英国特許ＧＢ−Ｂ−２１８８５１０号には、ＴＶ画像運動測定のための方 法が記述されており、これにおいては複数の運動ベクトルが画像の複数の測定ブ ロックのそれぞれに対して導出され、そしてこれらのベクトルから各ブロックの 全区域について適用可能な運動ベクトルのリストが導出される。この過程は次に 画像の全区域について繰り返される。これらのベクトルは位相相関技法を用いて 導出される。次にこれらのベクトルの一つが画像の各ブロックの各基本区域に割 り当てられる。他の方法、例えば欧州特許出願ＥＰ−Ａ−０３９５２６４号に開 示されたブロック・マツチング技法、も又そのような運動ベクトルのリストを生 成するために適用可能である。ベクトルが割り当てられる画像の領域の各基本区 域は画像素子（画素）程度に小さくてもよく又は画像のプロ・ｌりに対する複数 の画素からなっていてもよい。このようにして導出された運動ベクトルは、例え ば、二つの入力フィールドの時点の中間の時点で出力フィールドを生成するため に使用されることができる。そのような中間フィールドはスローモーンコン効果 を作り出すときに、フィルムへ又はフィルムからビデオ画像を転写するときに、 又は標準変換において必要とされる。

運動ベクトルを導出するために使用された諸方法は、静止したカメラ位置に対し ては大いに満足であることが判明しているが、カメラのズーム、又は観察点の周 りのカメラの回転が関係しているときには問題を生じている。これらの問題はそ のようなズーム又は回転がカメラのパンと組み合わされているときには特に重大 であり、運動ベクトルを導出するための諸方法はこれらの状況においてはある場 合には完全に失敗に終わっている。

発明の要約 この発明の採択実施例は、場景における総体的移動からカメラのズーム又は回転 に起因する運動成分を抽出するだめの機械的方法を提供しようとしている。各画 像領域に対する成分は画像における特定点からのこの領域の距離に比例している 。これは試行ベクトルの集合から非線形変換を表す定数を推定し、次に非線形変 換を定義するベクトルを各ブロックに対する試行ベクトル・リストに加えること によって達成される。

この発明は添付の諸請求項に定義されており、これに現在参照が行われるべきこ の発明の選択実施例が今度は添付の諸図面を参照して例のつもりで詳細に説明さ れるが、この諸図面中、 図１は通常のＴＶ画像運動測定システムにより導出された運動ベクトルの種類を 概略的に示しており、 図２はカメラパンの効果を概略的に示しており、図３は図２に示された画像領域 の最上部行におけるカメラズームの効果を示しており、又 図４及び５はこの発明の実施例を用いて導出されｔ：ズーム及びパンの面を示し 図」にはテレビジョン信号の二つの隣接したフレーム、ｆｏ及びｒｌが概略的に 図示されている。これらは時間ｔだけ離されている。物体２がｆｏにもｆ、にも 示されており、この物体はｆｏにおける第１位置からｆ、における第２位置へ移 動している。ＧＢ２１８８５１０号に記述された形式のＴＶ画像運動測定／ステ ムがｆｏとｆ、との間の差を解析するｌこめに使用され、そしてこれは隣接した フレーム又はフィールド間の物体２の運動を記述するベクトルＶを生成する。

図２においてはフレームｆ１が複数の領域に分割されて示されており、これらの 領域に対して試行運動ベクトルの集合が運動測定システムによって導出されてい る。典型的には１０８の領域が使用されていて、この各領域に対して試行ベクｉ ・ルの集合が導出されている。これらの領域は、境界を横切る運動が一層容易に 追跡され得るように重なり合っているのが望ましい。カメラパンがｆｏとｆｌと の間で行われており、従って運動測定は、このカメラパンを定義するｔ；めに画 像の各領域に適用される試行ベクトル集合における並進ベクトルを生成する。こ れに加えて、図１に示された形式の移動を含む画像の領域は、その試行ベクトル リストに、この種類の移動を定義するためのベクトルを含むことになり、従って 背景パン活動に重ね合わされた任意の前景物体の運動は基本区域に割り当てられ たときの運動ベクトルによって正しく定義される。パンベクトルは場景における 任意の運動に対する背景ベクトルである。

単純なカメラパン移動はＴＶ画素が分割されているブロックの６０％以上におい て通常生じるので、この移動に対してはパンベクトルは容易に導出され得ること が判明している。しかしながら、ズームも又含まれているときには、少量のズー ムによりパンベクトルの導出は失敗することになる。

任意のカメラズーム又は回転を考慮するようにシステムを補正するために、この 発明の実施例においてはむしろより複雑な方法が工夫されていて、画像の領域に 適用されたベクトルから任意のパン成分はもとよりズーム成分も抽出している。

連続画面のフレームｒ１における異なったブロックに割り当てられた二つのベク トルはｔｆｌにおける画像とｆｏにおけるそれとの比較から導出される。これら は場景における全般的な移動を表していて、二つの成分を含んでいる。パンに起 因する一方の成分は全画像にわたり一定値になり、０であってもよい。他方の成 分は非線形になり、ズーム又は回転に起因するかもしれない。これは、画像にお ける一点、通常は中心、へ向けられた、一点から離れた、又は一点の周りに回転 する運動であって、この一点からの距離に比例した値を持っている。非中心点の 周りの回転は、パンに中心の周りの回転を加えたものとして定義されることがで きるつ 図３には図２の画像領域の最上行におけるズーノ、の効果が図解さｔｌている。

Ｐ、においては背景ベク［・ル■、が導出される。これはパンベクトルＰｖ１及 びズームベクトルＺｖ１で構成されている。Ｐ、においては第２の背景ベクトル Ｖ。

が導出される。これはパンベクトル”２（ＰＶ、に等しい）及びズームベクトル Ｚｖ２からなっている。

点Ｐ、及びＰ、は画像の中心に関係している。これは次のような一対の連立方程 式になる。

Ｖ、　−Ｐａｎ−ｖｅｃ＋、ｏｒ→Ｚｏｏｍ−ｃｏｎｓｔａｎＬ　＊　ＰＩｖ、 　−Ｐａｎ　ＶｅＣＬｏｒ＋ＺＯＯｍ−ＣＯｎｓｔａｎＬ＊Ｐ７それゆえ。

Ｖ＋−Ｖ２＝Ｚｏｏｍ−ｃｏｎｓｔａｎｔ＊Ｐ＋−Ｚｏｏｍ−ｃｏｎｓｔａｎｔ ＊Ｐ。

ズーム定数の推定は方程式（１）を用いで、ある領域に対する試行ベクトル集合 におけることごとくのベクトルを使用し且−）こｉｔを方程式（１）において画 像における他のすべての領域の試行ベクトル集合におけることごとくのベクトル と比較することによって行われる。これらの推定値から、場景内になんらかの過 渡的移動があろうとなかろうと全体とし〔の画像に対するズーム定数を導出する ことが可能である。こねは場景におけるすべての対のベクトルに対するズーム定 数のマ／チを導出し且つこのスーツ６マノブから最も普通に生じる値であるよう なズーム定数を導出することによって行わｔする。導出された値は、ズームが作 用しでいる源物体に対応しないかぎりランダムになる。

−たん試行ベクトルの集合が導出されると、ズーム及びパンベクトルの全解析が 次のように要約され得る。

ａ）実数軸及び虚数軸を持ったすべての可能なズーム値のマツプを生成して、こ のでンブを零に設定する。

ｂ）一対の画像領域に対する試行ベクトルの集合からこれらの領域に対して方程 式（１）からズーム定数の推定値を導出する。これは画像領域のすべての対に対 して繰り返されるが、同じブロックからのベクトルに対しては繰り返さねない。

ズーム定数の各推定値は次にズームマツプ上にプロットされる。

Ｃ）ズーｌ、マツプをフィルタして滑らかな面を得る。

ｄ）ズームビークはしきい値より上の小さい虚数成分を持った最大の非零ビーク になるようにとられる。虚数成分はカメラ回転に起因しており、通常全く小さい 。

ｅ）ＩＪＷ初試初代行ベクトルリストける各ブロック及びベクトルに対しては、 ズーム成分は、ブロック位置で乗算されたズーム定数を減算することによって除 去される。すなわち、 Ｖｎ−ｄｅ−Ｚｏｏｍ　＝　Ｖｎ−Ｐ１＊Ｚｏｏｉ−ｃｏｎｓｔａｎｔズームが ない場合にはＺｏｏｍ−ｃｏｎｓｔａｎｔ　−０且っ　Ｖｎ−ｄｅ−Ｚｏｏｍ　 −Ｖｎ　ａｆ）すべての可能なパン値のマツプを生成して、このマツプを零に設 定する。

ｇ）パンマツプにおいてＶｎ−ｄｅ−Ｚｏｏｍの値に対応する位置に定数トーク ンを加える。すべてのＶｎ−ｄｅ−Ｚｏｏｍについて繰り返す。

ｈ）パンマツプをフィルタして滑らかな面を１Ｊ４１つ最大値をめる。最大値の 半分に等しいしきい値を設定する、。

１）パン面におけるピークは画像における全体的移動に対応している。通常、し きい値を越える最大の非零ビークがパンである。零が大きいピークであり且つし きい値より上の他のものがなければ、パン−Ｏ，。

ｊ）パン面における最大のピークから始めて、各ブロックに対するＰＺ　ｖｅｃ ｔｏｒを計算し、適当なベク）・ルが既に存在していなければそれをそのブロッ クに加える。すなわち、　ＰＺ　ｙｅｃｔｏｒ（ｎ）　＝　Ｐａｒｅ−ｖｅｃｔ ｏｒ　十Ｚｏｏｍ　ｃｏｎｓｔａｎｔ　＊　ＰｎＣＣＤカメラは、ズームが関係 していないときには零ビークベクトルを与える傾向がある。これはＣＣＤセルに おける背景雑音のためであると考えられる。それゆえに、ズームの存在している ときには、一つを超えるベクトルを見いだすことはありそうもないが、ズームが なければ大抵の場合二つが見いだされる。パンベクトルの数が大きい数に設定さ れているならば、２又は３を超えるベクトルを加えることはやはりありそうもな い。

上の諸段階によって導出されたズーム面は図４にズームビークを指示して示され ている。Ｘ軸はズームに起因する物体の前後移動、すなわちズームの結果として のスクリーンへの出入り運動を表しており、又Ｘ軸は回転を表している。同様に パン面は図５に示されていて最大の非零ビークがパンベクトルである。

この方法を用いて組合せズーム・パンベクトルを各領域の試行ベクトル・リスト に加えることが可能であり、ベクトルは次に画像領域の基本区域に割り当てられ る。これは、背景運動をより正確に定義し且つ前景物体に近い誤差を低減する、 ベクトル割当／ステムを生しることになる。これは場景内の前号物体に近し１背 景物体を追跡してその結果正しいベクトルをｆｏとｆ、との間の時点で導出され た中間フィールドに割り当てることを非常に簡単にする。

パンを見いだす代替的方法は、ズーム補正後にすべてのベクトルをよく調べて基 準の小距離内にあるベクトルの数を数えることである。最大数の隣接のものを有 するベクトルがパン又は全体的運動になる。

技術に通じた人によって察知されることであろうが、ここで記述された方法はコ ンピュータソフトウェアにより又は専用のハードウェアにより周知の方法で実施 されることができる。この発明のこの特定の実施例にとって非常に重要なのは、 画像のズーム及びパン成分を導出するために使用された任意特定のハードウェア ではなく、二１１らの成分を導出する実際の段階である。

パン及びズームベクトルを導出するだめの方法を簡単化するために、ズーム及び パンマツプを生成する代わりに、ＩＤプロットを実数軸について使用してズーム 定数を導出することが提案されている。これはもちろんカメラ回転に起因する任 意の虚数成分を無視することになるであろう。

この簡単化された実施例においては、図４のズームマツプにおける回転は完全に 無視されてズームに起因する運動だけがプロ７トされる。回転は通常１又は２画 素の移動しか伴わないので、確度における重大な減小は生じない。

パン解析のためには、ベクトルがＸ及びＹ成分に分割される。次に、これら二つ の成分は導出されたベクトルについて別々に解析されてＸ及びＹ方向のそれぞれ におけるビークパン値を生成する。

この簡単化された実施例を実施するために必要とされる処理電力は完全解析のた めに使用されるそれよりもかなり少ない。処理電力は重なり合うブロックにより 生成された二重のデータを無視することによって更に低減されることができる。

ズーム面　ズームビーク 補正書の翻訳文提出書 （特許法第１８４条の８） 平成　６年　９月２６日」

Claims (7)

【特許請求の範囲】
1. １．連続画面における複数の入力画像から複数の画像領域のそれぞれに対する試 行運動ベクトルの集合を導出してこれらのベクトルの一つをビデオ画像の各基本 区域に割り当てるように動作するビデオ面像運動補償システムにおいて非線形面 像変換を補償するための機械的方法であって、各領域に対して導出された試行ベ クトルの集合を用いて前記非線形変換が導出された定数を推定する段階、及び特 定の領域に対する前記非線形変換を定義するベクトルを、この領域における基本 区域にベクトルを割り当てる前にこの領域に対する試行ベクトル・リストにおけ るベクトルに加える段階を含んでいる機械的方法。
2. ２．前記推定する段階が、第１領域に対して導出された試行ベクトルの集合から の各ベクトルを他の各領域に対して導出された各試行ベクトルと比較すること、 及び比較された各対のベクトルから定数を推定することを含んでいる、請求項１ に記載の機械的方法。
3. ３．前記推定する段階が、一対のベクトルを表現する一対の連立方程式を導出す ること、及びこれから定数を導出することを含んでいる、請求項２に記載の機械 的方法。
4. ４．前記非線形変換がカメラズームである、請求項１又は２に記載の機械的方法 。
5. ５．前記非線形変換がカメラ回転である、請求項１，２又は３に記載の機械的方 法。
6. ６．前記ビデオ画像に適用された一様な並進変位を表現するベクトルを導出する 段階を含んでいる、請求項１乃至５のいずれか一つに記載の機械的方法。
7. ７．前記一様な並進を表現するベクトルが、Ｘ及びＹ成分部において解析される 、請求項６に記載の機械的方法。