JPH0392980A - 運動評価による画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、画像が幾つかの部分に分割され且つ各画像部
分か一時間的に互いに連続する画像系列か存在する時一
各画像部分の運動ベクトルを決定するために検定される
テレビジョン画像処理の方法に関するものである。

本発明は更に、一時間的に互いに連続する画像系列が存
在する時一画像部分に付随する運動ベクトルを決定する
ための処理装置を具えている画像処理装置にも関連する
ものである。

本発明は最後に、テレビジョンエンコードシステムにも
関連するものである。

本発明は、高鮮明度あるいは普通のテレビジョン送信／
受信システムや、例えばレーザー続出可能ディスクを用
いる画像記録システム、及びディジタル画像処理システ
ムに一般に使用され得る。

（従来の技術） ビデオデータの補足的データ及び特に運動ベクトルかＤ
ＡＴＶ　（ディジタル的に補助されたテレビジョン）と
名づけられたディジタル手段により送信されるテレビジ
ョン送信一受信システムにそのような方法か用いられる
ことは、ｌ’Ａｑｑｕｉｌａに１９８８年２月２９日か
ら３月３日まで掲載され、“ＳｅｃｏｎｄＩｎｔｅｒｎ
ａｔｉｏｎａｌ　Ｗｏｒｋｓｈｏｐ　ｏｎ　ｐｒｏｃｅ
ｓｓｉｎｇ　ｏｆ　ＨＤＴＶ″に提出されたＦ．　Ｆｏ
ｎｓａｉａｓ及びＭ．Ｒ．　Ｈａｇｈｉｒｉにより提供
された、”Ｍｏｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ　ｉ
ｎｔｅｒｐｏｌａ−ｔｉｏｎ　ａｐｐｌｉｅｄ　ｔｏｔ
｛Ｄ−ＭＡＣ　ｐｉｃｔｕｒｅｓ　ｅｎｃｏｄｉｎｇ　
ａｎｄｄｅｃｏｄｉｎｇ”　（高鮮明度ＭＡＣ画像エン
コーディング及びデコーディングに適用される運動補償
された補間）という表題の協議から既知であり、その中
では、ビデオデータの補足的データ及び特に運動ベクト
ルが、ＯＡＴＶ　（ディジタル的に補助されたテレビジ
ョン）と名づけられたディジタル手段によって送信され
る。

その文献内で提案されたこのシステムでは、最低可能値
に低減されたディジタルデータの流速に付随するサンプ
リング周波数を減少するためにエンコーディングが用い
られる。この目的のために画像か幾つかの部分に、即ち
１６Ｘ１６画素の正方形に分割され、各画像部分に対し
て処理のモードが幾つかのモードの中から選択され得て
、そのモードのうちの一つか運動ベクトルを使用する。

受信された画像を表示するのに対して、運動ベクトルか
二つの送信された画像の間の中間の送信されなかった画
像を復元するために用いられる。この場合には、運動ベ
クトルはエンコーディングの瞬間に、言い換えれば全て
の原画像及び特にエンコーディングにより抑制される画
像かなお有効である瞬間に決定されており、特に相当す
る原画像による運動ベクトルに基づいて復元された画像
を比較することにより、それが運動ベクトルの有効性を
検証するために望ましい全ての鑑識を実行することを許
容する。

補間画像が比較による原画像か有効でない瞬間に形成さ
れなければならぬ場合には特有の問題が発生する。これ
は、例えば、フリッカ一を減少させるため表示速度を倍
増するために、毎回補足画像が二つの画像の間に導入さ
れねばならぬ場合である。画像が周期的な構造を有する
場合には、例えば、画像が少なくとも部分的にラスター
あるいは水平又は垂直ストリップを表現する場合には、
幾つかの異なるベクトルか特定の画像部分に対して等価
の結果を生じることが、言い換えれば正しくないベクト
ルか特定の画像部分（これは以下に詳細に説明する）に
対して正しい結果（可視欠陥のない）をそれにもかかわ
らず生じ得ることか可能である。しかしながら、画像の
特定の部分に対して選択されたベクトルが正しくなく、
一方そのベクトルが他の部分に対して正しい場合には、
正しいベクトルを有する部分と正しくないベクトルを有
する部分との間の変わり目に可視欠陥か存在する。

画像部分の２５６画素を超えて計算された費用関数を使
用することは、前述の文献から既知であり、それか幾つ
かの運動ベクトルの、うちでどれか最も適当であるかを
決定することを許容するが、かくして得られた評価は、
幾つかの運動ベクトルか各々同じ画像部分に対して同様
に良く用いられ得る場合に、言い換えれば幾つかの運動
ベクトルか存在する場合に、そのベクトルに対して前述
の費用の関数か等価の結果を生じる。そのようなベクト
ルは等価ベクトルと名づけられる。

（発明が解決しようとする課題） 本発明は、費用関数のみならず幾何学的評価か使用され
た場合にこの問題点か解決されると言う事実の認識に基
づいて成されたものである。

（課題を解決するための手段） 本発明による方法は特に、運動ベクトルを決定する方法
が、幾つかの等価運動ベクトルを同じ画像部分に対して
供給できて、前記運動ベクトルが前記画像部分へ適用さ
れる場合に、関連する画像部分が先の画像内に置かれる
べき位置が計算されて、且つ毎回前記位置へ到達するた
めに用いられた運動ベクトルと先の画像内でこの位置に
対して決定されていた運動ベクトルとの間の差か計算さ
れて、その運動ベクトルは前記差計算の結果の関数とし
て最終的に選択されることを特徴とする。

本発明による装置は特に、前記処理装置か同じ画像部分
に対して幾つかの等価運動ベクトルを供給できて、その
装置が更に、各等価運動ベクトルに対して前記運動ベク
トルかこの画像部分へ適用されるべき場合に関連する画
像部分か先の画像内に置かれるべき位置を計算する手段
と、毎回前記の位置へ到達するために用いられる運動ベ
クトルと先の画像内でこの位置に対して決定されていた
運動ベクトルとの間の差を計算する手段、及びこの計算
された差から一つまたは複数の運動ベクトルを選択する
手段とを設けられたことを特徴とする。

（実施例） 本発明を容易に実施できるようにするために、以下本発
明を添付の図面を参照しつつ例を用いて一層詳細に説明
する。

本実施例では、各画像が１６Ｘ１６画素の、即ち画像部
分当たり２５６画素の正方形である画像部分に分割され
ることを想定している。この処理は各画像部分に対する
運動の決定により始まる。この決定は勿論二つの異なる
瞬間にこれらの二つの瞬間の間に行われた移動の測定を
実行する検定に基づいている。それはなんらかの既知の
方法、例えば空間と時間とにおける差に基づいた方法、
あるいはフーリエ変換を実行する技術を使用して実行さ
れ得て、あるいは費用関数の適用による比較に基づいた
方法で実行され得る。これらの三つの方法は、例えばＢ
ｒｉｔｉｓｈ　Ｂｒｏａｄｃａｓｔｉｎｇ　Ｃｏｒｐｏ
ｒａｔｉｏｎのレポー｝ＢＢＣ　ＲＤ　１９８７／１１
中のＧ．Ａ．　Ｔｈｏｍａｓによる“Ｔｅｌｅｖｉｓｉ
ｏｎ　ｍｏｔｉｏｎ　ｍｅａｓｕｒｅｍｅｎｔ　ｆｏｒ
　ＤＡＴＶ　ａｎｄｏｔｈｅｒ　ａｐｐｌｉｃａｔｉｏ
ｎｓ”（ＤＡＴＶ及びその他の応用のためのテレビジョ
ン運動測定）と名づけられたレポートの中に記載されて
いる。

この最初に述べた文献にも記載された費用関数を使用す
る方法を以下に簡単に説明する。

運動ベクトルは等価ベクトルの組の中から、次の表現に
より画像部分の２５６画素を超えて与えられる費用関数
を最小化する要素を選択することにより評価される。

ここで、Ｉ０と■１とはそれぞれ（考慮した正方形に相
当する直角座標による）ブラケット間で指示された位置
に対して時間インデックス０と１とを有する画像内の画
素の彩度てあり、Ｖｘと■アとは考慮した運動ベクトル
の直角成分である。

かくして得られた運動の評価の後に、選択された運動ベ
クトルか最良画像を得ることを許容するかとうかを確認
することか重要である。実際に、処理のその他のモード
か予期され得て、それは、この場合は多分、より良い画
像、及び特に画像がもっと急速ではあるが、より低い空
間的決定により描写され得るモードを生じ得る。この確
認のために、各期待されたモードにおいてエンコーディ
ングの逆であるデコーディングか実現されて、各モード
においてデコードされた画像部分と原画像部分とか（瞬
間的に全ての原画像か得られる）関連する部分に対して
最良の画像を生じるのはとのとのモードであるかを決定
するために比較される。

運動ベクトルを有するモードの優越性か所定の正方形に
対して確かめられたと想定しよう。その時には他のモー
ドを用いることは考えられない。

？デオ信号がＴ，，　Ｔ２，　Ｔ３により指示された瞬
間において、第１図に表現されている。これらの信号は
、例えばｌ５において（正変調としての）ブライト垂直
ラスターの画像に相当し、大きいほうの寸法を有するブ
ライト部分は図の右側部分に示されており、その部分の
右側境界は示されていない。

上述の方法がこれらの信号に対して用いられた場合には
、このラスターの画像に対して二つのベクトルｖ１とｖ
２とがあり、それらは等価（それらは費用関数に対して
同じ値を与え、且つその上にそれらは最良モードの確認
の間に同じ結果をも生じる）である。中間画像は瞬間Ｔ
ｌｌ　Ｔ２．　Ｔ３でのこれらの引き続く画像から、フ
リッカーの可視印象を小さくするように創造されると想
定しよう。ベクトルＶ，から再現された画像は第２図に
示され、ベクトルＶ，から再現された画像は第３図に示
されている。

Ｔ，とＴ２との間の瞬間．はＴ１■により指定され、Ｔ
２とＴ，との間の瞬間はＴ２２により指定されている。

第２図において、中間画像Ｔ１■とＴ２２とは正しい。

第３図において、４５°のハッチングによって指示され
た不確実である．領域かあり、自動処理か情報脱落を除
去するために無効であることは明らかである。

第４図のエンコーディング装置において、エンコードさ
れるべき画像はｌて導入される。それからそれらは二つ
の異なる通路へ印加され得る。

この図の上部に示された通路は、運動ベクトルの評価に
ついてのエンコードするように企てられており、完全な
画像か４０ｍｓで描写され、この画像かフィルター３を
通過して、運動ベクトルが上述の方法（費用関数）によ
ってモジュール８により決定される。モジュール８は二
つの引き続く期間に画像を知らねばならず、その画像は
縦つなぎに配設された二つの遅延回路ｌ３の出力により
同時にモジュール８へ供給され、それらの画像は各々２
０ｍｓの遅延を生じる。この濾波された画像はそれの運
動ベクトルと共に、原画像との比較により前述の費用関
数の値を計算するモジュール９へ供給され、原画像も遅
延がフィルター３とモジュール８とにより生じる遅延と
等しい遅延回路ｌ４を通ってモジュール９へ供給される
。

この図の低部に示された通路は、運動ベクトルの評価な
しにエンコードするように企てられており、その通路で
は完全な画像か２０ｍｓで描写され、その画像はフィル
ター４を通過して、遅延がフィルター４により生じる遅
延と等しい遅延回路５を通ってモジュール６へ供給され
る原画像との比較により前述の費用関数の値を計算する
モジュール６へ供給される。

このモジュール６と９とで計算された二つの費用関数が
それぞれ、評価モジュールｌＯへ供給される。素子３，
８により生じる遅延は素子４，６により生じる遅延より
大きいので、モジュール６と９との情報がモジュールｌ
Ｏへ一緒に到着するために、補足的遅延回路７がモジュ
ール６とｌＯとの間に導入される。

費用関数か最も有利な二つの通路のモードを選択するこ
とにより、モジュール１０がどちらが最良の通路、即ち
エンコードの最良のモードであるかを決定する。その代
わりに、この通路に対して評価された費用が既定の値よ
り低い（即ち他の通路に対して計算された費用により及
ぼされる影響かない）場合には、運動ベクトルを有する
通路か優先して選択されてもよい。幾つかの運動ベクト
ルが常に等価であり得るにもかかわらず、それらの運動
ベクトルの間では選択され得ない。それ故にモジュール
ＩＯは幾何学的歪み値か計算されるモジュール１１と、
この値に基づく基準が最良の運動ベクトルを選択するこ
とを許容するモジュールｌ９とに引き継がれる。

運動ベクトルを有するモードが選択された場合には、運
動ベクトルがモジュール１０によりモジュールｌ１へ供
給される。画像のベクトルか先の画像のベクトルと比較
され得るために、モジュール１ｌは４０ｍｓの遅延を有
する帰還回路１２を設けられており、その回路は比較さ
れるべき先の画像のベクトルをモジュール１１へ帰還す
る。

モジュールｌｌ内で達成される比較の過程か第５図に図
解されている。三つの画像２０，　２１．　２２は送信
された画像であり、画像２３と２４とは運動ベクトルの
手段により創造されるべき画像である。図において、九
つの画像部分を含んでいる画像の一部のみか同時に示さ
れており、その一部はそれでもやはり用語を単純化する
ために画像として命名される。画像２４の運動ベクトル
の有効性は確認されて、一方これから画像２０，　２１
．　２３に対して処理か決定されると想定する。検定さ
れるべき各運動ベクトルに対して、関連する画像部分は
前記運動ベクトルにより示された方向と速度とで、４０
ｍｓの時間での繰り返しに相当する移動を受け、その移
動か画像２４の画像部分を画像２３の部分の一つへもた
らす。矢印１６により象徴的に示された運動ベクトルは
画像２４の中心点を画像２３の点１７へもたらすと仮定
しよう。この点はそれに対して運動ベクトルか画像２３
内で決定されていた正方形ｌ８内に置かれる。この先の
ベクトルと画像２４に対して検定された現在のベクトル
との間の歪みが計算され記憶される。続いて画像２４の
現在の画像部分に対する全ての等価ベクトルに対してこ
の動作が繰り返される。

例えば、運動ベクトルか各直交軸に従ったＩ６画素に（
送信流速の意味に対して）制限された大きさを有する場
合には、点ｌ７は図の中心の四つの正方形（それらの各
々は１６Ｘｌ６画素の大きさを有する）の外側には置か
れ得ない。画像部分２４に対して検定されるべき運動ベ
クトルの集合に対して、画像２３に関連して多くても四
つの画像部分しか存在せず、言い換えると比較過程は単
純で且つ非常に少ししか記憶容量を必要としない。

モジュールｌ１に続くモジュール１９は最終的に使用さ
れるべき運動ベクトルを決定する。第４図のモジュール
８と９とは、事情に応じて幾つかの等価運動ベクトルを
決定するため、及び各等価ベクトルに対する費用関数を
計算するために処理手段か設けられる。これらのデータ
はモジュールｌ９へ供給される。モジュールエ９での過
程はそのとき次のごとくである：モジュール１９は画像
部分に対する等価運動ベクトルの表を作威し、一方それ
らをモジュール９内で計算された費用関数の観点から価
値が減少する順に分類するレジスタを含んでいる。それ
に対してモジュールｌ９により供給される比較値がそれ
ら自身等価である、言い換えれば歪みか既定の値より全
て低い運動ベクトルの集合か存在する場合には、選択さ
れる運動ベクトルはこの集合の要素の中の表の始まりに
一番近いベクトルである。例えば、その集合か一つの運
動ベクトルのみを含む場合には、たとえそれかその表の
始まりになくてさえも、そのベクトルが選択される，対
照的に単一の比較値が適当でない場合には、これはこの
運動が二つの比較された画像の間で規則的でなかったと
言う事実、及びそれ故にこの方法か適用されないと言う
事実−にによって、表の始まりの運動ベクトルか選択さ
れる。

第６〜８図に示した数値例か本発明をもっと明らかに理
解するのを可能にする。これらの図に示した表は、Ａ，
　Ｂ，．　Ｃ．　Ｄ．　Ｅにより表示された五つのベク
トルに対する費用値（“ＣＯＳＴ”の欄に示される）と
幾何学的差（“ＤＥＬＴＡ”の欄に示される）との例を
示し、その数値は真の値と考えられる必要はなく、最良
の可能な説明のために選択された値と考えるへきてある
。上述のごとく、ベクトルＡ〜Ｅは費用関数の観点から
価値か減少する順に分類されている。

これらのベクトルはそれらに付随する値が所定の領域に
ある場合に等価であると考えられ、ここで、例えば費用
の値又は幾何学的差の値か■０に等しいしきい値より小
さいかあるいは等しい場合には、それかこの図の表内で
即時に読まれ得る。例えば第６図において、費用関数か
考えられた場合には、ベクトルＡ，　Ｂ，　Ｃ，　Ｄは
（且つ選択されたこの例では第７図及び第８図でも同用
である）等価であり、幾何学的差か考えられた場合には
、ベクトルＡ．　Ｄ，　Ｅ　（第７図の場合にはＣ，　
Ｄ，　Ｅてあり、第８図の場合にはそのベクトルはない
）か等価であり、上述の運動ベクトルの前記集合を形成
することか判る。三つの運動ベクトルＡ．　Ｄ．　Ｈの
この集合内では、運動ベクトルは最終的にそれに対して
計算された差か最小のベクトルか選択される。

第７図の場合には同様に、三つの先に選択されたベクト
ルＣ．　Ｄ，　Ｈの内で最終的に選択されるべクトルは
、それに対して最も有利な値、即ち最低値を有するベク
トルであるベクトルＣでおる。最後に第８図の場合には
、それに対して幾何学的差かｌＯのしきい値よりも小さ
い運動ベクトルが存在せず、それ故にそれに対して費用
関数が最も有利なベクトル即ちベクトルＡが最終的にベ
クトルとして選択される。

【図面の簡単な説明】

第１図〜第３図は本発明により解決された問題を説明す
るためのビデオ信号を示し、 第４図は本発明の方法か実施される装置を図式的に示し
、 第５図は本発明による方法を図解するために時間的に互
いに引き続く画像部分の群を示し、第６図〜第８図は等
価運動ベクトルの集合の中から運動ベクトルを決定する
例を示す図表である。 ３．４・・・フィルター ５，　１３．　１４・・・遅延回路 ６，　　８．　　９，　１１．　１９・・・モジュール
７・・・補足的遅延回路 ＩＯ・・・評価モジュール Ｉ２・・・帰還回路 １６・・・矢印 １７・・・点 １８・・・正方形 ２０〜２４・・・画像 Ｖ，，　Ｖ１・・ベクトル ？，，　Ｔ，■，　Ｔ２＋　Ｔ２３．　Ｔ３・・・瞬間
Ａ，　　Ｂ，　　Ｃ．　Ｄ，　　Ｅ・・・ベクトル特 許 出 願 人 エヌ　ベー　フィリッブス フルーイランペンファブリケン

Claims (1)

1. 【特許請求の範囲】 １、画像が幾つかの部分に分割され且つ各画像部分が時
   間的に互いに連続する画像系列が存在する時各画像部分
   の運動ベクトルを決定するために検定される画像処理方
   法において、運動ベクトルを決定する方法が、すべての 等価運動ベクトルとして適当で且つ選定された幾つかの
   運動ベクトルを同じ画像部分に対して供給できて、前記
   運動ベクトルがこの画像部分へ適用される場合に各等価
   運動ベクトルに対して関連する画像部分が先の画像内に
   置かれるべき位置が計算され、且つ毎回前記位置へ到達
   するために用いられた運動ベクトルと先の画像内でこの
   位置に対して決定されていた運動ベクトルとの間の差が
   計算されて、その運動ベクトルは前記差計算の結果の関
   数として最終的に選択されることを特徴とする画像処理
   方法。 ２、運動ベクトルの有効性を表現する関数の計算に基づ
   いて運動ベクトルを決定する方法を用いた特許請求の範
   囲第１項記載の画像処理方法において、 その運動ベクトルに対して前記の差が既定 のしきい値よりも小さい幾つかの運動ベクトルが存在し
   た場合に、前記関数が最も有利な値を有するベクトルの
   内からそのベクトルが選択されることを特徴とする画像
   処理方法。 ３、運動ベクトルの有効性を表現する関数の計算に基づ
   いて運動ベクトルを決定する方法を用いた特許請求の範
   囲第１項又は第２項のいずれかに記載の画像処理方法に
   おいて、 その運動ベクトルに対して前記の差が既定 のしきい値よりも小さい単一の運動ベクトルが存在しな
   い場合に、等価ベクトルの内から前記関数が最も有利な
   値を有するベクトルが選択されることを特徴とする画像
   処理方法。 ４、時間的に互いに連続する画像系列が存在する時画像
   部分に付随する運動ベクトルを決定する処理装置を具え
   る画像処理装置において、前記処理装置が同じ画像部分
   に対して幾つ かの等価運動ベクトルを供給できて、その装置が更に、
   各等価運動ベクトルに対して前記運動ベクトルがこの画
   像部分へ適用されるべき場合に関連する画像部分が先の
   画像内に置かれるべき位置を計算する手段と、毎回前記
   の位置へ到達するために用いられる運動ベクトルと先の
   画像内でこの位置に対して決定されていた運動ベクトル
   との間の差を計算する手段、及びこの計算された差から
   一つまたは複数の運動ベクトルを選択する手段とを設け
   られたことを特徴とする画像処理装置。 ５、前記処理装置が、各前記運動ベクトルが許容され得
   るかどうかを決定するために費用関数を計算する手段を
   具えている特許請求の範囲第４項記載の画像処理装置に
   おいて、 その運動ベクトルに対して前述の差が既定 のしきい値よりも小さい幾つかの運動ベクトルが存在す
   る場合には、それらの中からその費用関数が最も有利な
   値を有する運動ベクトルを選択する手段を設けられてい
   ることを特徴とする画像処理装置。 ６、画像処理装置の前記装置が各前記運動ベクトルが許
   容され得るかどうかを決定するために費用関数を計算す
   る手段を設けられている特許請求の範囲第４項又は第５
   項のいずれかに記載の画像処理装置において、 前述の差が既定のしきい値よりも小さい単 一の運動ベクトルが存在しない場合には、費用関数が最
   も有利な値を有する運動ベクトルを選択する手段を設け
   られていることを特徴とする画像処理装置。 ７、特許請求の範囲第４〜６項のいずれか１項に記載さ
   れた装置を具える高鮮明度テレビジョンエンコードシス
   テム。