JPH031787A - 補正された移動補償を用いて時間的画像補間を行なう方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の背景〕 発明の分野 本発明は、画像処理に係わり、特に移動ｉ′Ｉｉ償を用
いて行なう、親画像からの時間的画像補間に係わる。

１つの画像列を別の画像列から補間するということは、
オリジナルの画像列の複数の画像から最終的な画像列の
１画像を空間的及び時間的補間によって生成するという
ことである。この補間の目的は、生成されるべき画像の
各画素の特性（輝度値、及び場合によってはクロミナン
ス値）を、該画像を挟むオリジナル画像の対応する画素
の特性（輝度値、及び場合によってはクロミナンス値）
から決定することである。以後、パフレーム”という語
と“画像”という語は区別無く用い、また人力及び出力
フレームのライン数及びライン１本当たつの点の数が同
じである場合のみについて検討する。その池の場合にも
、ここに説明しない適当な空間フィルタ掛けを付加する
ことによって対処可能である。

画像補間は多くの用途に振り向けられている。

特に、画像補間は、テレビジョン画像列を５０１１ｚ規
格からも０ｌｌｚ規格へか、またはその逆に変換する標
準的方法として用いられ、フレームｊπ択が符号器舒 で行なわれた場合は画像列復元のための（号１ヒにも用
いられ得る。また、画像補間は通常、画像列の画像周波
数を高めて、例えば視覚的快適さを向上させることを可
能にする。

先ｌ」支術！ｇＬ朋− 画像補間の第１の技術では、補間が線形空間時間フィル
タを用いて行なわれ、このフィルタはフレーム中の総て
の点に関して固定されており、入力フレームを生成され
るべきフレームから分離する期間のみに従属して規定さ
れる。このような方法が、画顛の、時間的に固定されて
いるかまたは非常に僅かしか動かないゾーンには適当で
あるが、特に急速に動くゾーンに対しては甚だしい欠陥
を存することは公知である。欠陥は、通過帯域の時間的
制限（ぼやけを生じる）と望ましくないスペクトル成分
の排除（唸りを生じる）との適切な妥協点を見いだすこ
との困難さに起因する。

そのような欠陥を回避するためには、補間フィルタが入
力信号のスペクトルに適していなければならず、このこ
とはいわゆるパ移動補償を用いる補間″によって実現さ
れる。この踊間技ｆ４１．７では、画素は該画素に関連
する移動ベクトルの方向において補間される。そのため
に、補間ステップに先立って、補間されるべき個々の画
素の移動ベクトルを確認する移動評価が行なわれ、各画
素のベクｊ・ルは実際当該画素の、補間されるべきフレ
ームを挾む入力フレームにおけるアドレスを提示ずろ。

この技術は明らかに移動の分析の問題の十分な解決を必
要とし、特に優れた画像品質を得るために、移動の場が
ｉ密に規定さｈ＃動ベクトルは個々の画素に関して、し
かも当該画素から逸れない精密さで評価されることを必
要とする。厳ｌ？、！な［多動ベクトル場を確実に確定
し得る適当な移動評価装置が公知である。そのような移
動評価装置は、例えば”Ｐｒｏｃｅｓｓ　ｎ＋＋ｄ　ｄ
ｅｖｉｃｅ　ｆｏｒ　ｍｏｖｅ＋ｎｅｎｔ　ｅｓｔｉ＋
ｏａＬｉｏｎ　ｉｎ　ａ　５ｅｑｕｅｎｃｅ　ｏｆ　ｍ
ｏｖｉｎｇ　ｉｍａｇｅｓ”　という標題のフランス待
訂出願第８８１２４６８号に開示されている。

制作補間用の移動評価装置は、移動の評価を補間さ１す
るべきフレーム中の画素に関して行なう装置と、一方の
親フレーム中の画素に関して行なう装置との２種類に区
別され得る。後背の場合、移動の評１直に続いて、補間
されるｌ＼きフトーノ、））ｆ多動の場が規定さｈなけ
九ばならない。こグう種の枝１イガを用いる″ｒ４ｒＪ
間方法は、“Ｐｒｏｃｅｓｓ　ｆｏｒ　ｔｃ＋ｎｐｏｒ
ａｌｉｍａｇｅ　１ｎＬｅｒｐｏｌａＬｉｏｎ　ａｎｄ
　ｄＣｖｉｃｅ　ｆｏｒ　ｉｍｐｌｃｍｃｎＬｉｎｅ　
ｔｈｉｓ　ｐｒｏｃｅｓｓ”という標題のフランス持訂
出願第８７０７８１４号に開示されている。この方法は
、特に２つの親フレームから幾つかの中間フレームが補
Ｅされなければならない場合に用いられ得、その際２つ
の親フレーム間でただ１回の移動評価が行なわれ、こう
して評価された場がら、補間されるべき各フレームの移
動の場が決定される。本明ｊ回書では、どのような方法
によってであれ移動の場が補間されるべきフレームに関
して求められた場合について検討する。

このように、上記のような時間的変化は補間自体におい
て勘案される。実際、補間器の入力画像列と出力画像列
とは、連続的で、かつ通常動的である同一シーンを異な
る時点の運なりにおいて２様に表しだものである。列を
構成する画像は空間性及び時間性を有し、１つの画像列
から別の画像列への情報伝達では上記時間的変化を考慮
に入れないわけにゆかない。即ち、移動補償を用いる画
像補間のためには、画素（画像要素）はもはや単純な画
像要素とは看做されず、画像中で経時変化し、現れ、動
き、Ａ度を変更し、及び／または消えることの可能な物
体要素と看做される。経時変化のきわめて普通の原因で
ある画素の移動に適応することは明らかに重要であり、
この点が考慮されていｈばシーン中の可能なシチュエー
ジョンの殆とが在勤に処理され得る。それにもかかわら
ず、移動分析が不止確であるシヂュエーションの存在が
容易に想偶され得、なぜなら、例えば１つの入力画（気
から次の入力画像に掛けて物（本が現れたり消えたりす
る場合、上記移動は時間酌交１ヒのモデルとして適当で
ないからである。

実際、あらゆる可能なシチュエーションを考１．１する
ためには物体の移動に加えて、物体要素の輝度の固有変
動（移動は考慮せず）のような輝度の経時変化のその池
の原因、及び物体要素としての画ズミの可能な出現及び
消失も勘案しなければならないであろう。上述の内容に
類して、最ら１．９ｊ［ｉな補間法である線形補間では
物体要素は固定されていると仮定され、画素の輝度の経
時変（ヒは物体要素の輝度の変化にのみ起因し、物体要
素の移動には起因しないと看做される。

移動補償を用いて時間的画像補間を行なう装置ては、例
えば２つの細い物体が交叉したり、１つの物体の移動が
別の物体を、１つの画像から次の画１ｍに１卦けて消失
させたり、移動が輝度の変化と岨み合わせられていたり
する複雑な動的シーンに関してのように、移動が時間的
変化のモデルとして不適当である場合、補間に欠陥が生
じる恐れが有る。

上記のような経時変ｆヒを正確に確認するには、補間の
ために必要な移動３ｆ価、この種の状況の出来頻度、及
びこの種の事象に対する目の５度に不相応に入念な処理
が必要であろう。しかし、移動評価装置から得られる情
報を得られたまま用いることは不可能であり、なぜなら
該情報はあまりに多くの雑音を有し、きわめて不都合な
欠陥を招くからである。

〔発明の概要〕

本発明は、補正された移動補償を用いる時間的補間方法
、及び該方法に対応する装置を提供して、上記のような
問題の存在するゾーンの簡単かつ有効な補間を可能にす
ることを目的とする。そのような補間のために、上記方
法では、補間されるべきフレームの移動の場に存在する
欠陥が確認され、このように確認された欠陥ゾーンの補
間は゛バックアップ法”として公知の代替方法を用いて
行なわれる。

画像Ｍｉ間を行なう方法であって、≠→赤≠今親画作か
ら補間されるべき画像の移動ベクトル場を評て規定され
る親画像中の関連する点の特性から決定される画像補間
方法を提供し、この方法は補間されるべき画像の移動ベ
クトル場の一貫性を分析するステップを更に含むこと、
及び移動補償を用いる補間は補間されるべき画〔気中の
、移動ベクトル場において非−質性が検出された点に関
して補正されることを′ｌ￥徴とする。

この方法の実施のための装置も本発明により提（共され
る。

本発明は、添付図面を参照しつつ行なう以下の説明から
より良く理解され、その際本発明の他の特徴も明らかと
なろう。

〔好ましい例の説明〕

第１図に、標準的な変換として５０１１ｚ（間隔Ｔ１＝
２０ｍｓ）の入力画（？、１１、Ｉ２、Ｉ３、Ｉ４の列
から６０ＩＩｚ（間隔Ｔ２　＝　１６．６＋ｎｓ）の出
力画（ｆｉ１’ｌ、Ｉ’２、Ｉ’３、Ｉ’４の列をＩ１
間する場合を示す。

補間画像は通常３つ以上の入力画像から構成され得るが
、第２図に示したように移動を補償しての補間を行なう
方法は補間されるべき画像中の点の移動の場を用いるこ
とで、２つの入力画（’Ａ１１及びＩ２から中間画像Ｉ
′を得ることを可能にする。Ｄ（Ｚｔ′）を、入力列の
画像！■及びＩ２を処理して得られる、補間されるべき
画像中の点Ｐ（Ｚ）　＝　ｒ’（Ｘ、Ｙ）の時点ｔ−Ｔ
ＩとＬどの間の時点Ｌ′における移動ベクトルとする。

この移動ベク！・ルは対応する点、即ち１１では点＾、
Ｉ２では点Ｂを規定して、物体要素と看做される画素の
親画Ｃ’ＲＩＩ及びＩ２でのアドレスを確定し、その際
２つの画像【１及びＩ２間での移動は線形であると仮定
される。移動ベクトル官は、画像の平面（Ｘ、　Ｙ）内
に２つの成分Ｄｘ及びＤｙを有する。

先に指摘したように、特に経時変化のモデルとしての移
動がもはや適当でない場合、移動を補償しての補間に欠
陥が生じる恐れが有る。

第３図は、物体要素の、“親°゛画像１１から゛親°゛
画（憤１２に１１・けての暴露（出現）及び被覆（消失
）と非線形移動の結果とを示すダイヤグラムである。

画素を小円によって表し、画像中に存在する物体はＸ印
によって表す。図示した物体は非線形移動しており、な
ぜなら該１勿体の中間画像での位置が、始点及び終点が
２つの親画像１１及びＩ２の対応する画素に位置する並
進によって実現されたものではないからである。他方、
２つの親画像中の背景の移動は並進に相当する。更に、
物体の端部に位置する画素のうち一方は画像Ｉ２におい
て被覆され、他方は１１とＩ２との間で暴露される。従
って、Ｉ１とＩ２どの間の移動の場によってもたらされ
るモデルは不正確である。

必要な場合に代替方法を用い得るように、本発明による
方法の最初のステップは、移動を評価して欠陥を検出す
ることから成る。

先に言及したフランス特許出願第８８１２４６８号に開
示された移動評価方法では、移動評価のエラー基準に、
゛移動補償された画・僅間差”と名ｒｆけら１）ＦＤ（
Ｐ）−Ｌ（１３，ｔ）−Ｌ（＾、ｔ−ＴＩ）によって計
算され、式中Ｌ（１）、　ｔ）は時点りの画（偵１２中
の点Ｂの輝度て′あり、Ｌ（八、　ｔ−Ｔｌ）は時点Ｌ
−Ｔｌの先行画像１１中の点への輝度である。

原則として、点＾及びＢがまさに親画ｃｔｒｔ及びＩ２
［Ｉの対応点である場合は、補償された、即ち移動が、
、ｇ慮された時間的差ＤＦＤは一定のしきい値を下回る
。従って、補間されるべきフレーム中のあらゆる点Ｐに
関して、移動補償された時間的な画像間ｆｆ度差がしき
い値Ｓを上回ると関連する移動ベクトルは欠陥性である
と判定され、−貴性で）リクスにおいて対応する点がマ
ークされる。上記差がしきい偵を上回らなければ８動ベ
クトルは正確であると判定さ！シ、一貫性７１〜リクス
中の対応する点はマークされない。

移動を評価して欠陥を検出するこのステップは、補間さ
れるべき画府中の当該点と同じ庄原を有する親画像中の
点同士の輝度差を調べることによって補足され得る。こ
の情報は、親画像中の同一座標の点同士の類似度を明示
し、移動が考慮されない単純な線形補間がこれらの゛欠
陥点°゛のための適当なバックアップ法であるかどうか
を決定する。

移動の場の一貫性に基づいて分析する別の方法では、欠
陥点が検出される。実際、移動の場に存在する欠陥は評
価アルゴリズムの不正確さに起因するか、または時間的
変化のモデルとしての移動の不適当さに起因する。上記
モデルとして移動が不適当であることは通常、移動ベク
トル場が局所的に乱れ、評価装置の発散に対応する明白
な不連続性が現れることによって明らかとなる。局所的
ヒストグラムかまたは平方偏差を用いる幾つかの局所的
演算子を欠陥の検出に用いることも可能である。それら
の演算子はベクトルのブロックの観察を要する。

局所的ヒストグラムは、例えば大きさ５ｘ５の点ブロッ
クに関して、ブロック内の異なる移動ベクトルを計数す
ることによって作成され得る。得られな数ｎはしきい値
Ｓ、と比較され、ｎがＳ、より大きいとブロックの中心
の点（またはブロック全体）が欠陥性であるとしてマー
クされる、 点ブロフクの異なるベクトルのヒストグラムに基づく、
伍かにより複雑な方法では、異なる移動ベクトルＤｉの
確率ｐ１が計算され、次いでブロック内での°“乱れパ
に関する情報をもたらすエントロピーＥ−−Σ１〕１・
Ｉｎ（ｐ、）が計算される。計算された１２１〜口と−
Ｅはしきい値ｓ２と比較され、［が８２より大きいと点
くまたはブロック）はマークされる。

平均偏差計算による一貫性分析も行なわれ得、この分析
ではパラメータ ■＝ΣＩＤｘｉ−ｍｘ）２＋　（Ｄｙｉ−ｍｙ）２１が
計算され、式中ｍｘ”’（ΣＤｘｉ）／Ｎ及び＋１１ｙ
−Σ（Ｄｙｉ）／Ｎで、輸×及びＢは移動ベクトルの成
分の平均値であり、またＮはブロックを構成する点の数
である。

仮平均偏差を計算して単純化を図ることら可能であり、
その際上記平均値はブロックの中心に位置する画素の移
動ベクｌ−ルの成分Ｄｏによって置き換えられる。

Ｐｖ−Σ（Ｄｉ−Ｄｏ）” 計算された平均偏差または仮平均偏差はしきい値ｓ３と
比較され、■（またはＰｖ）が８３より大きいと中心の
点（またはブロック）は欠陥性であるとしてマークされ
る。

移動の場の一貫性を分析する上述の方法は総て、点ブｌ
コックに関する基準を計算することを必要といずれにせ
よ、１号られる“′欠陥点′°情報はきわめで雑音に富
み、移動が欠陥性である点を比較的第４図を参照しつつ
後述する２つの段階を踏んで実施される。

移動の場の一貫性に関する基準に照らして検出された欠
陥ベクトルな明示するニナトリクスに基づいて、“侵食
″と呼称される、非一貫性情報りの中心に位置する点に
関して行なわれ得、その場合ブロックを規定するウィン
ドウはスライドし、あるいはまた−貝性についての判断
は、基準が計算された点ブロック全体に関して行なわれ
ることも可能であり、その場合は複数のブロックが互い
に隣り合い、従ってこの方法でははるかに短い計算時間
しか必要とされない。

り内で当該点を囲繞する、マークされていない点の数が
一定のしきい値Ｓより大きいと、先行ステラおいてその
マーキングを失う。このステップＩの目的は、重要でな
いと看做される小さいゾーンを排除することである。

第２の平滑化ステップ■はいわゆる“補填”ステップて
５いわゆる″゛水平方向補填°゛を行なう第１の段階１
と、いわゆる“垂直方向補填”を行なう第２の段階２と
、更に水平方向補填を行なう第３の段階３とを含む。こ
の平滑Ｃヒによって、欠陥ベクトルが新たにマークされ
る。

第５図に、−貴性情報甲滑ｆヒの侵食ステップを比較的
詳細に示す。この図において、欠陥点またはブロックの
マーキングはマトリクスの対応する升目を塗り潰すこと
によって象徴されている。

欠陥点情報がブロックをマークすることによって付与さ
れる場合、画作中の互いに隣接するブロックは同じ処理
を施され、その際マトリクスの１つの要素は画素ブロッ
クに対応し、従って処理ステップ数は減少する。正確な
点またはブロックと、久方法によって行毎に試験される
。第１の試験は、（画像中の点またはブロックに対応す
る）マトリクスの各要素がマークされているかどうかを
調べる。

マークされていなければ、当該要素は直接侵食デス５ブ
ロツクにおいて母語＃≠マークされた要素が計数される
。こうして得られるマークされた要素の数Ｈはしきい値
Ｓと比較される０ＭがＳより大きいと、初めに欠陥性で
あるとしてマークされた当該要素はその状態を維持する
。これに対して、当該要素を囲繞するマークされた要素
の数Ｈがしきい値Ｓより小さい場合は（ｉｔ＝を行なう
ことが決定され、即ち初めにマークされた当該要素は、
正確な移動ベクトルに対応する要素を明示する状態に切
り替えられる。

第６図に、先行ステップによってまず侵食されたマトリ
クス、即ち孤立した要素が排除された７１ヘリクスに基
づいて実施される補填ステップを説明する。例えばこの
例では３である、所定のｉ短セグメン）・長が選択され
、マークされた２要素間に位置するマークされていない
要素のセグメントの長さが３を下回る場合はこのセグメ
ント全体がマークされる。図示の例では、第１段附の行
捕填で２つの要素が新たにマークされる。次の段附の列
補填では、長さ１または２の垂直セグメントに属するマ
ークされていない要素が総てマークされ、長さ３の垂直
セグメントのみが残る。続く行補填段階で上記垂直セグ
メンｉ・に属する要素もマークされ、その結果第６図に
示した分析ゾーン全体が、移動ベタ１ヘル場の分析にお
いては欠陥性であると看做される。

上述の補填ステップが終了すると、処理が点ブロックに
関して行なわれた場合、画像ディメンションが再調整さ
れ、即ち当該ブロックの状態が画像中の対応する点総て
に付与され、必要な場合にバックアップ法を実施するの
に用いられるのほこのように平滑化された、移動ベクト
ル場の一貫性に関する情報である。

バックアップ法そのも、のの目的は、移動分析の結果で
は欠陥性であると判明したゾーンを確実に補間すること
ではなく、輝度に関する精報を提供して補間欠陥を可能
なかぎり隠蔽することである。

特に、移動補償に存在する欠陥は先に述べたように、画
像中の構造物を変形させる移動の局所的空間的不均一性
と、構造物の上記変形を時間と共に変化させて大きい可
視欠陥をムたらす局所的時間的不均一性との両方に起因
する。従って、バックアップ法の実買的な目的は、移動
が欠陥性であると判定されたゾーンにおいて移動の場を
均一にすることである。

幾つかの方法が考えられる。第１の適当方法は！１１−
純な線形補間であり、この補間は実際のところ、移動補
償を用いる補間で移動ベクトルがＸＹ″Ｐ面内にゼロ成
分を有する場合と看做され得るが、ただし移動補償を用
いる濯間でのようにただ２つの親画像を用いる替わりに
、例えば４つまたは６つといったより多くの親画像に基
づいて実施され得る。この場合、移動が欠陥性であると
判定されたゾーンにおいて移動補償を用いる補間によっ
て得られる輝度値は線形補間によって得られる輝度値に
よって置き換えられ得る。

この線形補間は、移動補償を用いる方法と線形方法との
間で穏やかな”移行が実現し得るように総ての点に関し
て、移動補償を用いる１Ｉｌｉ間と並行して行なわれる
ことが好ましく、なぜなら突然の移行は目障りな不連続
性をもたらす恐れが有るからである。従って、移行は次
のように実現されい画素がゼロ設定される。マークされ
た画素は非れることを可能にする。線形補間された画素
の輝度をＩｎＥＬとし、移動補償を用いる補間によって
得られる画素の輝度をＩｎｔＣＭとすると、補間された
画像の画素の輝度１ｎｔは式 ％式％［ によって表され、式中ｉ＝ａ／ｖて、ａは低域フィルタ
に通した一貫性情報マトリクスの、当該画素に対応する
要素の値であり、またｉは上記のようにＯ〜１であり、
このような混合によって、移動補償を用いる補間とバッ
クアップ法との間のギャップがｒｔ−ｃ減され得る。

移動ベクトルの一方の成分のみが正確でないことに基づ
いて実施される、別の可能なバッファラフ゛法ム存在す
る。この方法では、移動ベクトル全体の一貫性を分析す
る替わりに、水平成分と垂直成分とにおいて別個に非−
質性の検出が行なわれる。その際、移動ベクトル場に存
在する欠陥の検出が水平成分と垂直成分とに別個に適用
され、前孔 られ％欠陥７１ヘリクスには侵食及び平滑化ステップが
同様に適用される。侵食及び補填ステップの後、所与の
画素に関して欠陥性であると看做された成分のみが後続
ステップによりゼロ設定される。

先に述べたバックアップ法の場合同様、移動補償を用い
る補間とこのバックアップ法との間のギャップも埋めら
れなければならない。そのようなギャップの解消は、ベ
クトル成分毎に移動の場を平均１ヒするフィルタによっ
て達成される。平均値は、例えば大きさ７ｘ７のブロッ
クにおいて計算され得る。

第７図に、第１のバックアップ法を実施し得る、移動補
償を用いて補間を行なう装置の機能を概略的に示す。入
力画像列は移動評価デバイス１０と、■多動補償登用い
て補間するデバイス２０と、線形補間デバイス３０とに
同時に付与される。移動補償を用いン補間するデバイス
２０は入力画像列を、移動評価デバイス１０から受け取
った情報を用いて処理ス１０の出力は移動ベクトル場の
一貫性を分析する凹ｌＲ４０に接続されており、この分
析回ｉ？８４０は欠陥検出回路４１を含み、回路４１の
出力は先に述べた処理、即ち１・受食及び補填を行なう
平滑化回路４２に接続されている。回路４２の出力にお
いて、欠陥移動遵 ベクトルがマークされた二Ｉ−貫性マトリクスが連 得られる。得られた二ンマトリクスは混合器６０に付与
されるべき混合係数ｉを規定する回路５０にｒ＝を与さ
れ、混合器６０は、移動補Ｍ　’ｘ用いｌ補間するデバ
イス２０及び線形補間デバイス３０がら情報を受け取る
。混合器６０は、移動補１賞を用いる補間のために用い
られたモデルの不完全さに起因する欠陥が隠蔽された補
間画像の列を出力する。

第８図に、第２のバックアップ法を実施し得る、移動補
償を用いて補間を行なう装置の機能を概略的に示す。こ
の装置で、入力画像列は第７図の装置でのように移動評
価デバイス１０に付与されるが、この例のデバイス１０
は移動ベクトルの垂直成分と水平成分とを一貫性分析回
路４０′と４０″とにそれぞ、れ１寸与し、分析回路４
０′及び４０″は欠陥検出回路４１及び４１″をそれぞ
れ含み、検出回路４１′及び４１″の出力は荘動ベク１
〜ルが゛°欠陥性パであるブロックまたは点を明示する
二２マトリクスをもたらし、かつ平滑化回路４２′及び
４２″にそれぞれ接続されており、平滑（ヒ回路４２′
及び４２″は、水平成分及び垂直成分にそれぞれ関連す
る２つの欠陥ベクトルニ）マトリクスの各一方に関して
、先に述べた浸食及び補填ステップを実施する。平滑化
の後に得ら逸 れる二２マトリクスは回路７１及び７２に送られ、回路
７１．７２は欠陥成分をゼロ設定する。回路７１及び７
２の出力は平均１ヒフイルタ８１及び８２の入力にそれ
ぞれ接続されており、これらのフィルタ８１．８２は、
突然の移行を回避するべく直接処理された移動ベクトル
の成分をもたらす。このように処理されたう 成分は、移動補償を用いる補間輔デバイス２０にけり、
され、やはり入力画像列を受け収るこのデバ、イス２０
は補間された画像の列を出力する。

本発明は、特に移動ベクトルが正確でないと判明した場
合に移動補償を用いる補間に替えて実施される補間法に
関し、本明細書に正確に説明した例に限定されるもので
はない。

【図面の簡単な説明】

第１図は入力画像列から補間される出力画１噴列を示す
説明図、第２図は２つの親画像中の２点と補間された画
像中の対応点との対応の説明図、第３図はシーン内での
画素の出現及び消失を説明するダイヤグラム、第４図は
欠陥移動ベクトルのマークを平滑化するステップのフロ
ーチャー１・、第５図は移動が不正碑な点のマークを侵
食する段のフローチャート、第６図は移動が欠陥性であ
るとしてマークされた点を補填する段のフローチャ−１
・、第７図は移動補償を用いて補間を行なう本発明装置
の第１の例の機能を概略的に説明するフローチャー１・
、第８図は移動補償を用いて補間を行なう本発明装置の
第２の例の機能を概略的に説明するフローチャートであ
る。 １０・・・・・・移動評価デバイス、２０・・・・・・
移動補償を用いて補間するデバイス、３０・・・・・・
線形補間デバイス、４０・・・・・・一貫性分析回路。 ！“１ ピッ 一 ＦＩＧ、３ Ｃフ 一 ＦＩＧ、６ エｆ　ｌｅｎｇｔｈ　（ｖｖｈｉｔｅ　ｓｅｇｍｅｎｔ
ｌ（３七ｈｅｎ　　ｔｈｉｓ　　ｓｅｇｍｅｎｔ　　１
ｓｆｉｌｌｅｄ　　ｉｎ 手続補正書 平成２年５月−１−を日 １゜ 事件の表示 平成２年特許願第８４７６２号 発明の名称 補正された移動補償を用いて時間的画像補間を行なう方
法及び装置 補正をする者 事件との関係

Claims (15)

【特許請求の範囲】
1. （１）補正された移動補償を用いて時間的画像補間を行
   なう方法であって、画像を囲む親画像から補間されるべ
   き画像の移動ベクトル場を評価するステップを含み、補
   間されるべき画像中の１点の特性はこの当該点が有する
   移動ベクトルによって規定される親画像中の関連する点
   の特性から決定され、補間されるべき画像の移動ベクト
   ル場の一貫性を分析するステップを更に含み、移動補償
   を用いる補間は補間されるべき画像中の、移動ベクトル
   場において非一貫性が検出された点に関してれ補正され
   ることを特徴とする、補正された移動補償を用いて時間
   的画像補間を行なう方法。
2. （２）補間されるべき画像の移動ベクトル場の一貫性を
   分析するステップが、移動ベクトル場に存在する欠陥を
   検出し、それによって画像のフォーマットに、個々の点
   の移動ベクトルが正確であるか、それとも欠陥性である
   かを明示する二進の一貫性マトリスクを作成するステッ
   プを含むことを特徴とする請求項１に記載の方法。
3. （３）移動ベクトル場に存在する欠陥の検出が、当該点
   に関連する親画像中の点同士の輝度の差をしきい値と比
   較することによって行なわれ、前記差がしきい値より大
   きいと当該点は一貫性マトリクスにおいて、欠陥性であ
   るとしてマークされることを特徴とする請求項２に記載
   の方法。
4. （４）移動ベクトル場に存在する欠陥の検出が、平方偏
   差型での局所的演算子の計算結集、または、点ブロック
   での移動ベクトルのヒストグラムを用いる局所的演算子
   の計算結果としきい値との比較によって行なわれ、演算
   子の計算結果がしきい値より大きいと移動ベクトルは欠
   陥性であるとしてマークされることを特徴とする請求項
   ２に記載の方法。
5. （５）移動ベクトルに存在する欠陥の検出が画像中の各
   点に関し、当該点を含んでブロックをスライドさせるこ
   とによって行われることを特とする請求項４に記載の方
   法。
6. （６）移動ベクトルに存在する欠陥の検出が隣接し合う
   ブロック毎に行なわれ、分析されたブロックの移動の場
   が非一貫性であると看做される場合、当該ブロックの総
   ての点が欠陥性であるとしてマークされることを特徴と
   する請求項４に記叙の方法。
7. （７）移動ベクトル場に存在する欠陥を検出するステッ
   プに続いて平滑化ステップが実施され、この平滑化ステ
   ップではいわゆる“侵食段”においては、孤立した欠陥
   点またはブロックのマーキングが取り消され、かついわ
   ゆる“補填段”においては、欠陥検出ステップで正確で
   あると識別されながら、欠陥性であるとしてマークされ
   た比較的大きいゾーン内に孤立する点またはブロックが
   欠陥性であるとしてマークされることを特徴とする請求
   項２に記載の方法。
8. （８）補間されるべき画像中の各点が、当該点に関連す
   る移動ベクトルに基づき、移動補償を用いて補間される
   と共に、親画像中の、当該点と同じ座標を有する点同士
   の間の線形補間が計算され、補間されるべき画像中の当
   該点の特性は、移動ベクトル場において検出される欠陥
   との関連において前記２種の補間から得られる特性から
   決定されることを特徴とする請求項１に記載の方法。
9. （９）補間されるべき画像中の各点の輝度の値が、画像
   中の点の移動ベクトルが正確であると判定された場合に
   行なわれる、移動補償を用いる時間的補間によって得ら
   れる値であり、また画像中の点が欠陥性の移動ベクトル
   を有するとしてマークされた場合に行なわれる線形補間
   によって得られる値であることを特徴とする請求項８に
   記載の方法。
10. （１０）一貫性マトリクスを平滑化して、正確であると
    判定された移動ベクトルに対応するゾーンと、欠陥性で
    あると判定された移動ベクトルに対応するマークされた
    ゾーンとの間の移行部近傍に位置する点に中間状態を付
    与するステップを含み、補間されるべき画像中当該点の
    輝度Ｉｎｔは、移動補償を用いる補間によって得られる
    輝度ＩｎｔＣＭと線形補間によって得られる輝度Ｉｎｔ
    Ｌとを組み合わせたもので、その際 Ｉｎｔ＝ｉ・ＩｎｔＬ＋（１−ｉ）・ＩｎｔＣＭであり
    、式中ｉは０〜１の混合係数で、平滑化された一貫性マ
    トリクス中の対応する点の状態に従属して決定される ことを特徴とする請求項８に記載の方法。
11. （１１）移動ベクトル場の一貫性の分析が移動ベクトル
    の垂直成分と水平成分とを別個に分析することによって
    行なわれ、補間されるべき画像中の当該点の輝度は、 欠陥性であると判明した移動ベクトル成分を消去し、 その後、分離した成分を空間フィルタに掛けることによ
    って補正された移動補償を用いる補間によって得られる
    ことを特徴とする請求項１に記載の方法。
12. （１２）補正された移動補償を用いて時間的画像補間を
    行なう装置であって、入力画像列を受け取り、かつ入力
    列の２つの親画像間で補間されるべき各中間画像に関し
    て移動ベクトル場を供給する移動評価デバイスと、入力
    画像列と補間されるべき画像の移動ベクトル場とを共に
    受け取る、移動補償を用いる補間デバイスとを合み、更
    に、 やはり入力画像列を受け取る線形補間デバイス、及び 移動ベクトル場の一貫性を分析する回路 をも含み、前記分析回路の入力は移動評価デバイスの出
    力と接続されており、また該回路の出力は、前記の補間
    デバイスとも接続された出力回路の制御入力に接続され
    ており、この分析回路は画像中の各点に関して、移動補
    償を用いる補間デバイス及び線形補間デバイスによって
    補間された輝度から推定される輝度を供給する ことを特徴とする、補正された移動補償を用いて時間的
    画像補間を行なう装置。
13. （１３）補正された移動補償を用いて時間的画像補間を
    行なう装置であって、いずれも入力画像列を受け取る移
    動評価デバイスと、移動補償を用いる補間デバイスとを
    含み、 画像の平面内に位置する移動ベクトルの２成分が２つの
    一貫性分析回路にそれぞれ送られ、２つの一貫性分析回
    路の出力は、これらの回路によって欠陥性であるとして
    マークされたベクトル成分をゼロ設定する回路にそれぞ
    れ接続されており、ゼロ設定回路から得られるベクトル
    成分は、移動補償を用いる補間デバイスの移動ベクトル
    成分入力に接続されている ことを特徴とする、補正された移動補償を用いて時間的
    画像補間を行なう装置。
14. （１４）ベクトル成分をゼロ設定する回路が移動補償を
    用いる補間デバイスのベクトル成分入力に、ベクトル成
    分を分離して処理する平均化フィルタを介して接続され
    ていることを特徴とする請求項１３に記載の装置。
15. （１５）一貫性分析回路が移動ベクトル場に存在する欠
    陥を検出する回路を含み、この回路の後段に平滑化回路
    が接続されており、平滑化回路は作成された一貫性ママ
    トリクス中の、欠陥性であるとしてマークされたゾーン
    及びマークされていないゾーンのうち孤立したものを侵
    食及び補填によって減少することを特徴とする請求項１
    ２から１４のいずれか一項に記載の装置。