JPH07504304A - 運動補償形のビデオ画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 運動補償形のビデオ画像処理方法及び装置この発明はビデオ画像処理に且つ特に 運動補償影画像処理に関係している。

ビデオ連続画面における二つのフレームの中間のフレームを計算することが望ま れるときには種種の運動補償技法を使用することができる。これはスローモーシ ョン・シミュレーションにおいて又は標準変換において必要であろう、これらの フィールド内の移動する物体の位置は連続画面における複数の他のフィールドを ９照して計算される。そのような運動補償システムの一例は我我の英国特許出願 第９１１Ｌ３４８．０号に与えられている。

一対のビデオ画像間の差を表現する運動ベクトルを生成するために使用される二 つの普通に使用される運動推定技法が存在し又その外の技法も存在する。

これらのうちの第１のものは位相補正であって、これを実現するための技法は我 我の英国特許第２１８８５１０Ｂ号に記述されている。これは画面の全区域に及 び画像の基本区域に適用可能である運動ベクトルのリストを生成する。これらの ベクトルを使用するためにはそれらのうちのどれが画像の所与の基本区域に適用 されるのかを選択することが必要である。各基本区域は１画素のように小さくて もよく又は多くの画素のプロ７りからなっていてもよい。

位相補償は物体における線形移動に対しては非常によく機能することがわかって いるが、非常にまれに場景における細部（ディテール〉によって混乱させられる 。しかしながら、それは回転する物体に又は小さい画は素子が種種の方向に移動 している場醍について使用されたときに持に有効であるとは認められていない。

運動推定のための池方の普通に１重用さｔしる技法は「プロ・ソクマンチングｊ として知られている。これにおいてはビデオデータ１１画素×ｍ画素のブロック が前のフィールドにおけるｉｔ応するプロ・ソ７と及び二の前のフィールドにお ける所定の範囲内の複数の等しい大きさのプロ・・りのそれぞｈと比較される。

−ｋ・ｔのイシタリーブされたビデオフィールドについては二Ｊ）範囲は垂直方 向に→−７・′−８フィールド線及び水平方向に＋／−１６画素でよいであろう 、原初ブロックに最もよい整合（マツチ）を与えるブロックは次にこのブロック に対する運動ベクトルを導出するために使用される。

ブロック照合（マツチング）システムが使用されたときにはこれは照合段におい て容易にこわれることがあり、従って、例えばカメラパンがあるときには不正確 さを導入することがある。

運動補償システムにおいては選択は通常位相相関技法とブロック照合技法との間 で行われる０選択技法は特定の種類の運動により引き起こされる任意の欠点を除 去しようと試みるためにできるかぎり開発された。

この発明に従って、第１技法によってビデオ面直の連続画面における少なくとも 二つのフィールドから入力ビデオフィールドの基本区域に割り当てられるベクト ルを生成する段階（ステップ）及び第１技法により生成された誤差信号に応答し て第２技法によって入力ビデオフィールドの基本区域に割り当てられるベクトル を生成する段階を含んでいる運動補償影画像処理のための方法が準備されている 。

今度はこの発明の採択実施例が唯一の図面を参照して例のつもりで詳細に説明さ れる。

英国特許出願第９１１１３４８．０号には運動ベクトルを導出するために位相相 関技法を使用した運動補償技法１象処理システムが記述されている。運動推定は 入幻画代含位相相関させること及びこれから位相相関面を導出することを倉んで いる。これにおけるピークは運動ピークに対応しており、あるしきい値より上の 所定数のこれらのピークのリストが出力フィールドを導出するために画業の基本 区域にベクトルを割り当てるための試行メニューとして選択される。ベクトルは （入幻フィールドの基本区域にこのベクトルを適用し且つ等２人カフイールドに Ｊ）ける苓をカロえｈわせろことによって計算された）これのβ合誤差があるレ ベルより下にｉＰ）るときに基本区Ｊ或に割り当てられる。

二の発明のこめ実施例は、基本区域に）・［する悲３誤不がこの所定のレベルを 超えろと動１？ｌ−始める。そのＬうな状況においてはプロ・Ｉり照合器がその 画像区域について使用されて最もよく合うベクトルが導出される。このベクトル に対する整合誤差が位相相関導出ベクトルに対するそれより低く且つ又望ましく は整合誤差より下にあるならば、それはその画像区域に割り当てられる。

組合せシステムは各方法の長所を利用している６位相相関からの正しく割り当て られたベクトルは真の運動であるという非常に高い確信を持っており、従って二 重システムはこの方法により画像を作るための優先権を持つことになるであろう 、良好な割当が位相相関技法から作られ得ないときには、システムはブロック照 合導出ベクトルの整合誤差を調べることになる。

二重システムは各技法の本来の長所を利用しており、現在の方法よりも複雑でな く且つ確実である。現在利用可能なプロｌり照合集積回路のパラメータを用いた シミュレーションは位相相関が困難であることがわかった画像の領域については この技法が機能することを確信している。最近の仕事は１６画素及び８フイール ド線のブロック大きさを用いて実施された。検出された運動の範囲はほぼ＋／− １６画素及び＋／′−８フィールド線である。この範囲の線形変位に関してどち らかの技法が機能する。

唯一の図面にはこの発明の実施例が示されており、これにおいては入力ビデオフ ィールド２が位相相関器４及びブロック照合器回路６に供給される。

位相相関器４は英国特許第２］、８８５１０Ｂ号に記述された形式のものであっ て、その出力側に相関面８を生成する。これは最高値に対する相関面を捜すピー ク捜索器１０への入力を形成する。これらの最高値は一対の入力フィールド間の ピーク運動ベクトルに対応し、そしてこれらの試行ベクトルは割当ユニット１２ への入力を形成する出力Ｖ、〜ｖ１において提供される。ＩＡ型的には五つの最 高ピークが出力側で提供されろ一組の試行ベクトルとして１重用される。

Ｋ″Ｐ１当ユニ・ｌト１２はただｍ−）のベクトルを受けてこのベクトルで入力 フィールドの各４５本区域を試験し、このベクトルが二カ人カフイールドから一 一ノのフィールドを導出する際に化生する誤差に依仔し−ζ訝を信号を発生する 。これらの清澄は各基本区域にχ１ｊ−で順に誤澄検出器ｌらにＵｌ：クリに供 給される、誤澄検出器ＩＣ）にＬ−パζ検出された最小、−県差信号はしきい値 設定回路１８ノ）人力Ａに結合された出力側に供給される。第２の入力Ｂはしき い値レベルを受ける。

誤差Ａ＜Ｂならばベクトル選択回路２０に対する制御信号が発生されて、これは 次に入力ビデオフィールドのその特定の基本区域への割当のために誤差検出器２ ６によって決定されたような最良の割当ベクトルを選択する。

誤差Ａ＞Ｂならば第２の出力信号がしきい値設定回路１８によって発生される。

これは二つのＡＮＤゲート２２及び２４への入力であり、これらのゲートはその 他方の入力を第２のしきい値設定回路２６がら受けているが、これの動作は下で 説明される。

第２のしきい値設定回路２６はブロック照合器回路６がち誤差信号を受ける。

このブロック照合器回路は位相相関器４と同じ入力ビデオフィールド２について 動作する。それはベクトル選択回路２０の入力側に供給される最良ブロック照合 ベクトル３０を発生する。

しきい値設定回路２６においてはブロック照合誤差Ｃがしきい値りと比較される 。誤差ＣＯＤならば出力が発生されてこれはＡＮＤゲート２２の第２人力に結き される。それゆえに位相相関器がしきい値Ｂより大きい誤差Ａを発生し且つブロ ック照合器がしきい［）より小さい誤差Ｃを発生するならば論理値１がＡＮＤゲ ート２２の出力側に発生されることになる。この出力は選択回路２ｏを制御して 最良ブロック照会ベクトルを特定の基本区域に割り当てるようにするために使用 される。

ブロック照合誤差ＣＯＤならば、しきい値設定回路２６の第２出力がＡＮＤゲー ト２４の第２人力における信号を供給する。それゆえに誤差Ａ＞Ｂであり且つ誤 差Ｃ＞Ｄであるならば位相相関ベクトルもブロック照合ベクトルも選択されない ことになる。その代わりにＡＮＤ＞″−ト２４はノチ択回路２０を制御して特定 の基本区域にベクトルを割り当てるためにフォールバ・Ｉクモードを使用するよ うにする。このフォールバ・・Ｉクモードは史なるベクトル生成及び割当技法で あり得よう。

察知されることであろうが、二つの運動推定器が上述の回路における競合する割 当ユニフトに試行ベタトルを供給することはないにれはプロ・ツク照合器がらの ベクトルが位相相関器のそれよりも一般に信頼性が低いからである。その代わり にブロック照合器は、位相相関導出ベクトルからの照合誤差が所定のレベルを超 えたときには使用状態へ切り換えられる。ブロック照合器のブロックの大きさは かなり小さく、全く割当なしでも良好な結果が示された。やはり提案されること であるが、画像における解像度の改善のためにはブロック照合は両方向において ２：１に重ね合わされ且つ最良のベクトルはブロックの中心１／４区域に割り当 てられる。「Ｖ」形状をブロック照合器からのひずみ図における低い方の照合誤 差に合わせることによって下位画素移動の推定値を決定することも又提案される 。

位相相関器からのベクトル（多分わずか３＋パンベクトル）は周知の方法で割り 当てられる。良好な照合は真の運動であるという高い確信を与える。照合がある しきい値より上であるならばブロック照合器は割り当てるために残される。ブロ ック照会器が又高い照合誤差を示すならばフォールバック方法が前のように使用 される。これはその基本区域に零ベクトルを割り当てることを含んでいるであろ う。本質上ブロツク照合器は夕５埋装置が大抵の種類の運動に対処することを可 能にするような一層複雑なフォールバックモードである。

好適なシステムにおいては照合誤差はこれを問題の画像素子に対する輝度こう配 （グラジエン１〜）で除算することによって正規化される。それは次にブロック 照合器を使用するか否かを決定するためにしきい値レベルと比較される。この正 規化のための理由は多くの運動を有する画像に対する良好な照合誤差が非常にわ ずかな運動しか有しない画１象に対する良好な照合誤差と実質的に異なっている ことである。それゆえに輝度こう配で除算することによる正規ｊヒは同じしきい 鎮レベルが各画像についてｒｔ用さＩしることを可能にする。

正視］ヒのためにｒｔ用さｉｔ番輝度、二つ配は画１ｉ素子における輝度こう配 の最大値で、６る。これは垂直及び水下二う配、、７）組合せから計算さｊしる 。

Claims (14)

【特許請求の範囲】
1. １．第１技法によってビデオ画像の連続画面における少なくとも二つのフィール ドからビデオフィールドの基本区域に割り当てられるベクトルを生成する段階、 及び第１技法によって生成された誤差信号に応答して第２技法に切り換わる段階 を含んでいる運動補償形の画像処理方法。
2. ２．第１技法が、入力フィールド間の位相相関から一組の運動ベクトルを導出す る段階、及び一つのフィールドから別のフィールドを導出する際に最良の適合を 与えるベクトルをフィールドの基本区域に割り当てる段階を含んでいる請求項１ に記載の画像処理方法。
3. ３．第２技法がブロック照合技法を含んでいる請求項１又は２に記載の画像処理 方法。
4. ４．第１及び第２技法によって生成された誤差信号に応答して第３技法に切り換 わる段階を含んでいる請求項１，２又は３に記載の画像処理方法。
5. ５．第３技法が基本区域に零ベクトルを割り当てることを含んでいる請求項４に 記載の画像処理方法。
6. ６．ブロック照合技法が重なり合うブロック照合を行う請求項３に記載の画像処 理方法。
7. ７．所定数の運動ベクトルが割当段階において使用される請求項２に記載の画像 処理方法。
8. ８．出力における基本区域の導出の際の誤差を正規化する段階を含んでいる請求 項１ないし７のいずれか一つに記載の画像処理方法。
9. ９．正規化する段階が、その基本区域に対する誤差をその基本区域に対する輝度 こう配で除算することを含んでいる請求項８に記載の画像処理方法。
10. １０．ベクトルを生成してこれをビデオフィールドの基本区域に割り当てるため の第１手段、ベクトルを生成してこれをビデオフィールドの基本区域に割り当て るための第２手段、生成して割り当てるための第１手段から誤差信号を生成する ための手段、及びこの誤差信号に応答して第１手段から第２手段へ切り換えるた めの手段を含んでいる、運動補償形の画像処理装置。
11. １１．生成して割り当てるための第１手段が位相相関手段を含んでいる請求項１ ０に記載の運動補償形の画像処理装置。
12. １２．生成して割り当てるための第２手段がブロック照合手段を含んでいる請求 項１０又は１１に記載の運動補償形の画像処理装置。
13. １３．第３のベクトル生成、割当手段を含んでおり且つ切換手段が第１及び第２ 手段からの誤差信号に応答して第３ベクトル生成、割当手段へ切り換える請求項 １０，１１又は１２に記載の運動補償形の画像処理装置。
14. １４．出力フィールドにおける基本区域の導出の際の誤差を正規化するための手 段を含んでいる、請求項１０，１１，１２又は１３に記載の運動補償形の画像処 理装置。