JPS60244171A - 画像シーケンスのディスプレイスメントの算出法および算出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 公知技術 本発明は特Ｆｆｆ詞求の範囲第１項の上位概念に記載し
た方法およびこの方法を実施する装置に関する。この種
の方法は、′イメージ　シーケンス　プロセシング　ア
ンド　ダイナミックシーン　アナリシスｕ、ニド、Ｔ、
Ｓ７アング。

スフリンガ−７エルラーク　ベルリン、ノーイデルベル
ク１９８３．２１５〜２６４ページ（”工ｍａｇｅ　５
ｅｑｕｓｎｃｅ　Ｐｒｏｃｅｓｓｉｎｇａｎｄ　Ｄｙｎ
ａｍｉｃｓｃｅｎｅ　Ａｎａｌｙｓｉｓ”、ｅｄ、　Ｔ
、Ｓ、　Ｈｕａｎｇ　、　ＳｐｒｉｎｇｅｒＶｅｒｌａ
ｇＢｅｒｌｉｎ、　Ｈｅｉｄｅｌｂｅｒｇ　１９８３．
ページ２１５〜２３４゜）に記載されている。

実時間条件の下でのテレビジョン信号におけるディスプ
レイスメントの決定のために、種々の反復予測法および
非反偵予測法が示されてし・る。

非反榎法は例えば”工ｍｉｘ　）ランス、オン　７ヤタ
ーン　アナリシス　アンド　マシン　インチリゾｘンス
、ｖｏｌ、　４．４１．　１．　１９Ｂ　２゜ページ２
〜１０”（ｆｌ工ｇｉｇ　Ｔｒａｎｓ、　ｏｎ　Ｐａｔ
ｔｅｒｎＡｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ工
ｎｔｓｌｌｉｇｅｎｃｅ、　Ｖｏｌ、　４、　Ｎｒ、　
１．　、Ｔａｎ、　１９８２．　ｐａｇｅ　２〜１０）
により公知である。この方法は比軟的簡単なノ１−一ド
ウェアで実現できる利点を有するが、しかＬ２ｐｅｌ／
７レームまでのディスプレイスメントの場合にしか十分
な予測精度を有しな℃・（イメージ　シーケンス　プロ
セシング　アンドダイナミック　シーン　アナリシス、
ニド。

Ｔ、８．７アング、２２２ページ（工ｉｕａｇｅ　ｓｅ
ｑｕｅｎｃｅＰｒｏｃｅｓｓｉｎｇａｎｄ　Ｄｙｎａｍ
ｉｃ　５ｃｅｎｅ　Ａｎａｌｙｓｉｓ、　ｅｃＬ。

Ｔ、８．、Ｈｕａｎｇ、　８ｓｉｔｅ　２２２　）　）
。

自然のテレビジョンの画像シーケンスにお（・て現われ
る、１０　ｐａｌ　／　フレームを上まわるディスプレ
イスメントのため、この方法の使用は著しく制限される
。

反復予測法は一般的に最通の基準を基礎にしており、こ
の場合、その都度の先行する予鋤埴に修正が加えられ、
その結釆最選化ピれる童が歩進的に最適値へ近似される
。公知の反復ディスプレイスメント予測法の試用により
次のことが示されている。即ちこの方法は約４ｐｅｌ／
フレームまでの平均のディスプレイスメントの場合に即
ちａｍ個の反復ステップの後に十分迅速に収れんする。

これより大きい１２ｐθ１／フレームまでのディスプレ
イスメントに対しては、当然５およびそれより多くの反
復ステップ力玉過渡振動までに必要とされる。

しかし反復ステップの奴は芙時間予創の点で２ステツプ
までに制限される。その結果人きし〜ディスプレイスメ
ントの予測に対し又この方法の使用も制限される。

本発明の課勉は、僅かな反復ステップ後に正確な予測値
を供給ししたがって著しく大きい収れん速度を有し、こ
の場合の前提として収れん領域が少くとも公知の方法の
収れん領域と同じ大きさであるような方法を提供するこ
とである。さらにこの方法を実施する装置およびその有
利な適用例を示すことである。この課題は本発明の特許
請求範囲に示されている。

実施例 次に本発明の実施例につき図面を用いて説明する・いく
つかの基本事項および前提を、以下の関連事項を一層よ
（理解できるよ５に、最初Ｉｃ説明する。テレビジョン
場面における動きのある被写体を考原するものとする。

工ｋ（Ｘ　）　Ｙ　）で、現在伝送中の画像の２次元輝
度信号を表わし、工に−ｚ　（Ｌ　Ｙ）で、時間的にそ
れに先行して直前に伝送された画像の２次元の輝度信号
を表わす。そのためｋは画像の連続に対するパラメータ
を表わす。そのためこれらの両信号の間の相関値Ｒは、
ディスプレイスメン）ｄ工および（ｌｙに依存して形成
され次の式で示される。この場合ディスプレイスメント
とは、これらの両画像の間のＸ方向およびｙ方向への信
号の位置変化のことである。

閥 づ 瞥 ニー−１ ニー（１ 次の反復公式（リクルシオンスフォルメル、Ｒｅｋｕｒ
ｓｉｏｎｓｆｏｒｍｅｌ　）、即ちｄＸ（ｉ）　＝　”
ｘＤ−ｘ）　”　ｄｘ　（２）ｄｙ（↓）″ｄｙ（１−
１）＋Ｌ″ｙ（６）を用いて、１４目の反復ステップＩ
ｃ　＋６　＋７るディスプレイスメントを算出すること
ができる。

水平方向であるＸ方向処おけるディスプレイスメントは
、相開関係式により次のように表わされる。

式の分母には点（０，０）における−の自己相関関数の
１次導関数と、点（ａＸ、ａ、）における工、および工
に−１の相互相関関数の１次導関数との和だけが、即ち
自己相関開数（ＡＫＦ）および相互相関関数（ＫＫＦ）
の相関ピーク値の桁が現われる。第１図は位置の変化さ
れた輝度信号のこれらの自己相関１４＠数および相互相
関関数を、１次元の例を用いて示す。ＡＫＰ　（Ｒエ　
（ｄｘ）のビークＲエ　エｔ　（０，０）＝Ｒ工、工、
ｋ　（０，リ　（５）ｋ−１ｋ−１ さらに屋常的な結合Ａ＆程工′および工、−□の場合、
微分と積分の順序が某換される。変形沈より次の各式が
得られる。

ＲＩ／に工、−□（ｄｘ、ｄ、ト　’／θｄ−工、■ｋ
　、（ａｘ、ａ、〕　（６）”ｃ”ｉ−□”ｘ、ｄｙ）
−ａ／ａａｘＲｚ、ｚ、−□（ａ、ｎａ、）　（７）Ｒ
ｘ’、ｘｉ□（ｄｘ−ｄｙ）−ボン鴫Ｒｘ、ｚ、−０Ｌ
ｄｘｙｄｙノ　（８）そのため式（４）は次のようにな
る。

（９） この場合（９）式により、位置の異なる画像信号相互 工よ−１（Ｘ、７）および工ｋＣｘｍｙ）の叉＼Ｘ相関
関数の最大値の偏微分による決定が行なわれる。第２図
は第１図と関連して、この関連をさらに１次元の関数の
場合を示す。画像信号の自己相関関数ａ　（ＡＫＦ）　
Ｒ％Ｉｋ（ｄＸ）および相互相関関数（ＫＫむＲｘｋ工
に一□（ｄｘ）はそれらのグ：７７の形は近似的に一致
し、ｄｘの方向へディスプレイスメン）ｄ工。だけ相互
にずれている。反復予測法のための初期値としてｄ工（
□−３，）−０を用ｔ゛るものとする。第１予測値ｄｘ
ｂは（９２式を用いて計算される、即ちＫＫＦの点（ｏ
ｓｏ）　Ｋおける１次導関数を、■ＰおよびＫＫ？０２
次導関数にそれぞれ係数１／２で重み付けをしたもので
割算した商から計算される。（９）式において２つの第
２次導関数を平均することにより予測値は実際のディス
プレイスメントｄＸＯを、除数がＫＫＦの第２次導＃ｇ
ＩａまたはＡＫＦの１ｔ１２久導関数のいずれか一方だ
けしか有しない公知の方法の場合よりも、一層よく近似
させる。この場合第２図において破巌で示されている予
測値”Ｘ＆またはｄｘｏが得られる。

ディスプレイスメントを決定するだめの公知の方法と比
較して、ａ特のＫＫＦの例において示されたことは、こ
の、ｌ＃シいディスプレイスメントー予側法はニュート
ン法よりも４倍も迅速に、およびカンオリオ（Ｃ’ａｆ
ｆｏｒｉｏ　）とロッカ（Ｒｏｃｃａ　）により提案さ
れ℃いる方法よりも２倍も迅速に収れんすることである
。この場合これらの方法は下記に示されている。

ニュートン法：インターナショナル　コン７アランス　
オン　エレクトリック　イメージ　プロセシング、７．
１９８２．ユニパーシテイオゾ　ヨーク、グロスブリタ
ニエン；”ディスプレースメント　エステイメーション
　ペイスト　オン　デ　コレレイジョン　オグ　イメー
ジ　セグメント”（工ｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏ
ｎｆｅｒｅｎｃｅｏｎ　Ｅｌｅｃｔｒｏｎｉｃ　Ｉｍａ
ｇｅ　Ｐｒｏｃｅｓｓｉｎｇ、　Ｊｕｌｙ　１９８２、
　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｙｏｒｋ、　Ｇｒｏｓ
ｓｂｒｉｔａｎｎｉｅｎ；　”　Ｄｉｓｐｌａｃｅｍｅ
ｎｔ　ＪＩｌｉｓｔｉｍａｔｉｏｎ　ｂａｓｅｄ　ｏｎ
　ｔｈｅＣｏｒｒｅｌａｔｉｏｎ　ｏｆ工ｍａｇｅ　Ｅ
３ｅｇｍｅｎｔａ”）。

力７オリオ（Ｃａｆｆｏｒｉｏ　）およびロッコ（Ｒｏ
ｃｃａ）により提案された方法＝（アイイーイーイート
ランスアクト、オン　インフォーメーションシオリー、
Ｖｏｌ、　ＩＴ−２２，＊９．　９．　１９７６、ペー
ジ５７６〜５７９　）　、（工ｇｇｇ　Ｔｒａｎｓａｃ
ｔ。

Ｏｎ工ｎｆｏｒｍａｔｉｏｎ　Ｔｈｅｏｒｙ、　Ｖｏｌ
、工Ｔ−２２，４９、５ｅｐｔ、　１９７６．ページ５
７３〜５７９）さらに実験による試作たより次のことが
示されている、即ちこの新しい方法は１　’Ｏｐｅ’ｌ
　／フレ、　−ムもの大きいディスプレイスメントの場
合でも、２つの反覆ステップ後に既に、テレビジョン画
像シーケンスの補間に対して十分な正確さが得られる。

次に第３図のブロック図を用いて本発明の方法を実施す
る装置について説明する。この場合′ディスプレイスメ
ント決定のための次の式を前提として装置を実現する： へ　へ ＞　０ この場合工□および工に−２はテレビジョンのフィール
ドの輝度である。

との式（１０）は（９）式の修正された形の式でである
。注目すべき点は、（９）式とは異なり、フィールドエ
屓工、ｙ）のば前に伝送されたフィールドエ、−よ（Ｘ
＃７）が、工姐工、ｙ）　”有する相互相開の形成のた
めに用いられるのではな（、相応のフィールドエ１−２
（ｘ、ｙ）が用いられることである。式（１０）は反復
公式であり、これにより新しい予測値ｄｘ（１，）が、
常に直前にめられた予測値ｄ工（１−□）からおよび補
正１直から生ずることである。第１ステツプにおいてｄ
Ｘ（、）がｄｘ（ニー□）＝０によりめられ、帛２ステ
ップにおいて、Ｍ１ステップからの（ｌｘ（工）によ”
　ｄｘ（１＋ｌＪがめられ、以下同様にめられる。第３
図に示されているように、減算装置ｓ１を介して、信号
入力側１および２へ導びがれた画像シーケンスエｋ（ｘ
）と工に−２（ｘ−ｄｘ）（ニーｌ）との差が形成され
る０両画像シーケンスエｋ（ｘ）と工に−２（ｘ−ｄｘ
）　（ｉ−１，）は微分装置Ｄ１およびＤ２を介して婆
びかれる。そのため微分装置の出力側に画像シーケンス
の１次導関数が送出される。乗算装置Ｍ１およびＭ２は
付加的に蓄積装置Ａｋｋを備えている。

この蓄積装置により、乗算された信号は加算される。こ
の実施例釦おいてはこの加算は画像窓Ｗ（１０式参照）
を介して行なわれる。乗算装置Ｍ１の場合は、乗算装置
の館１入力端へ導びかれる信号が微分装置Ｄ１の出力信
号であり、乗算装置の第２入力端へ導びかれる信゛号が
減算装置Ｓ１の出力信号である。乗算装置Ｍ２へ、微分
装置Ｄ１の出力信号ならびに〃ｆＪＸ装置Ａ１の出力信
号が専びかれる。この加算装置は両微分装置Ｄ１および
Ｄ２の出力信号を結合する。

除算装置ｑにはＭｌおよびＭ２の出力信号が導びかれる
。除算の結果は係数２により重み付げされる。実際の予
測値ｄ工（工）は、最後の反復ステップにおいてめられ
記憶装置８ｐに記憶されていた予測値と、除算装置Ｑの
出力信号である補正値とを、減算装置Ｓ２を用いて結合
することによりめられる。記憶装置Ｓｐは、先行し請求
められた予測値を読み込むために、減算装置Ｓ２の出力
側３へ導びかれる接続線を有する。この減算装置は同時
に本発明の装置全体の出力側を形成する。信号工　およ
び信号ｋ（ｘノ エに−２Ｃ”ｘ）　（ｉ−１）を−んに評価できるよう
にするため、装置全体の信号入力側１に信号遅延装置（
図示していない）が前置接続される。この信号遅延装置
は輝度信号工ｋ（Ｘ）をフィールド２つ分だけ遅延させ
る。

本発明による方法は有利に例えばテレビジョンの画像シ
ーケンスの動きに対応する補間に対して、例えばデータ
低減による伝送チャネルにおける抜き取った画像シーケ
ンス（フィールド）の再構成のために、用いられる。こ
の目的のための原理は送信側の、テレビジョンフィール
ドの抜き取りによる画像列周波数の低減と、受信機にお
ける、伝送されなかった画像の、動きに適合した補間と
にもとず（。もう１つの有利な使用法として、標準テレ
ビジョン放送におけるちらつき除去である。モニターに
おける標準テレビジョン信号の画像列周波数は次のよう
処して高められる、即ち連続して伝送される２つの画像
シーケンス（フィールド）から、補間により付加的な画
像シーケンスを形成し、この付加的な画像シーケンスを
モニターＭにおいて従来のよ５に形成される２つのフィ
ールドの間へ挿入し、この場合補間されるフィールドを
動きに適合するように、ディスプレイスメントの考慮の
下に補正する。第４図のグロック図はこの種のちらつき
除去のための装置を示す。第１画像シーケンス（例えは
１番目のフィールド）に対する評価装置Ａｌ（画像記憶
装置）および第２画像シーケンス（例えば２査目のフィ
ールド）に対する評価装置Ａ２（画像記憶装置）を用い
て、補間装置工、において中間画像シーケンスが発生さ
れる。この補間装置工ｐは制御入力側Ｓｔを有し、ここ
へ動きに適合する制御信号−が導びかれる。動きに適合
する制御信号としてディスプレイスメントが用いられる
。このディスプレイスメントはｉ３図に示した装置にょ
う形成することができる。評価装置Ａ１の出力側１は第
３図の信号出力側１に相応する。同じことが評価装置Ａ
２の出力側２に対しても当℃はまる。別の構成素子たと
えば加算装置、微分装置１乗算装置、・・・は第４図に
おいて、第６図に示されているのと同じ記号が付されて
ｙる。七二ターＭには、ディスプレイスメントの考慮の
下に補間される中間画像が付加されて表われる。観察者
には、付加される中間ｉｌ！ＩＩ像伝送により一層烏い
画像周波数が示される。この周波数は、例えば高い輝度
の再住の場合のＩｌ！ｌ１ｔ１１！のちらつきを、著し
く低減する。識別可能なゆがみ、例えば動きのある画像
の隅における、ディスプレイスメントを考慮しなげれば
現われるおそれのある目につくゆがみは、もはや現われ
なくなる。

画像をその正しい時間列においてモ、；ターＭに表示す
るために、モニターＭの入力側の前方に、場合により適
当な遅延装置が必要とされる。

本発明による方法および装置は、データ低減のための原
始データ符号化法たとえばＤＰＣＭ画像伝送に関連する
適用、ならびに画像毎の濾波による雑音抑圧における使
用に対して、著しく好適である。

前述のように、本発明の方法は次の適用例を有する。

１）１ム送の際に抜き取った画像をディスプレイスメン
トに依存して再構成するために、挿入すべき画像シーケ
ンスを、画面の動きに適合するように補間する。

２）標準テレビジョン画保臥送におけるちらつきを除去
するため、伝送された画像から付加的な画像シーケンス
を、補間により形成する。

本発明の効果 本発明により、相互相関関数または自己相関関数だけを
評価する公知の方法に比較して、ディスプレイスメント
に対する予測値の一層正確かつ迅速な近似値をめること
ができるようになる。迅速な近似により本発明は実時間
子側に対して最適である。

【図面の簡単な説明】

第１図は、２つの連続する画像の輝度信号の１次の自己
−または相互相関関数の線図、第２図は微分された相関
関数およびディスプレイスメントー予測値の線図、第３
図は本発明の方法を冥７１ｉｉｊる装置のブロック図、
第４図は標準テレビジョンの画面のちらつきを除去する
回路装置のブロック図を示す。

Claims (1)

1. 【特許請求の範囲】 １８　相連続して伝送されるＵｈＪｇｉ！シーケンス（
   テレビジョンのフィールドまたはフレーム）におけるデ
   ィスプレイスメントの決定法であって、この場合受信側
   において、伝送された画像シーケンスの間の相関ピーク
   値を副像エレメントごとにめるようにし、該相関ビーク
   値をディスプレイスメントに対する予測１１！、の形成
   のために用いるようにし、この場合灰抜ステップを用い
   て、その都度決定された予測１！１ｉｉ（Ｋ補正値を付
   加することにより予測値を最適化して新しい予測値を形
   成するようにした画像シーケンスのディスプレイスメン
   トの決定法において、補正値のその都度の除数を２つの
   相関値の平均から形成し、この場会第１相関櫃を、丁度
   受（ｇ　した画像シーケンスと先行して受信した画像シ
   ーケンスの相互相関値との評価から形成するようにし、
   第２相関値を丁度受信したｍＪ像シークンスの自己相関
   甑の評価からめることを特徴とする画像シーケンスのデ
   ィスプレイスメントの決定法。 ２、相連続して伝送される画像シーケンス（テて、この
   場合受信側において、嵌込された画像シーケンスの間の
   相関ピーク値を画像エレメントごとにめるようにし、該
   相関ビーク値をディスプレイスメントに対する予御Ｊ値
   の形成のために用いるよ５ＫＬ、この場合反復ステップ
   を用いて、その都夏訣廻された予測１区に補正１［ン付
   加することにより予測１直を最適化して新しい予測値を
   形成するようにした画像シーケンスのディスプレイスメ
   ントの決定装置において、該決定装置が２つの入力側＜
   １．２）を有し、この場合第１入力端に洟在伝送されて
   いる画像が導びかれ、第２人力側に先行して受信した画
   像が導びかれるよ５にし、該入力端を各微分装置（ＤＩ
   、Ｄｌ）および減算装置（Ｓｌ）と接続し、現在受信中
   の画像を評価する第１微分装置（Ｄｌ）の出力側を記憶
   装置（Ｍｌ）を有する第１乗算装置の第１乗算入力側と
   接続しさらに加算装置（Ａ１）の第１入力端と接続し、
   第２微分装置（Ｄｌ）の出力側を前記７１１１算装置（
   Ａｌ）の第２入力端と接続し、減８装置（Ｓｌ）の出力
   側を第１栄算装置（Ｍｌ）の第２策算入力側へ導ひくよ
   うにし、記憶装置ン有する第２策算装置（Ｍｌ）を設け
   、該第２乗算装置の第１乗算入力＃Ｉン加與装置（Ａ１
   ）の出力側と接続し第２乗算入力側を第１倣分装置（Ｄ
   ｌ）の出力側と接続し、記憶装置を有する乗算装置（Ｍ
   ｌ、Ｍｌ）の出力側をそれぞれ除算装置（Ｑ）の入力側
   と接続し、第２減算装置（Ｅ＋２）’＆設け、該第２減
   算装置の赦算入力側を除算装置ＩＬ）の出力側と接続し
   、該第２減算装置の被減算数入力側を記憶製測値をめる
   ために、先行してめられ記憶装置（Ｓｐ）に記憶された
   予測値を用いるようにしたことを特徴とする＝保シーケ
   ンスのディスプレイスメントの決定装置。