JPH11513541A

JPH11513541A - 動作補償補間

Info

Publication number: JPH11513541A
Application number: JP9512476A
Authority: JP
Inventors: ボアラー・ティモシー・ジョーン
Original assignee: インノビジョンリミティッド
Priority date: 1995-09-21
Filing date: 1996-09-19
Publication date: 1999-11-16
Also published as: EP0852096A1; CA2231430C; DE69605936D1; ES2143225T3; GB9519311D0; DE69605936T2; GB2305569B; US6377621B2; EP0852096B1; CA2231430A1; GB2305569A; US20010017889A1; WO1997011557A1

Abstract

(57)【要約】本発明は、様々な信頼度の動作ベクトルを使用して、テレビなど動画の動作補償補間を効果的に行う方法を提供する。別個の動作推定器によって生成された動作ベクトルの信頼度を考慮することによって、比較的優れた補間が行われる。これは、信頼性のない動作ベクトルが原因で起きる好ましくない切換アーティファクトによってしばしば劣化するところの、動作ベクトル信頼度を考慮しないような、単純な動作補償補間とは、対照的である。本発明は例えば、画像率の異なるテレビ標準方式に切り換えるのに使用される動作補償標準方式切り換え器の改良に利用することができる。本発明では、動作ベクトルの信頼度に応じて、動作補償補間と非動作補償補間との間を徐々に移行させることができる。これは、動作推定器によって生成されるベクトル信頼度信号で制御される索引テーブルを使用して、時間的補間タイミングを変更することによって、達成することができる。補間された出力画像の動軌道の調整にも効果的である。

Description

【発明の詳細な説明】動作補償補間本発明は、動作補償時間的補間を行う時の障害となりうる切換アーティファクト(artifacts)を回避するための、フィルムやビデオの処理方法およびその装置に関するものである。これは例えばテレビ画像を異なる画像率で相互変換する時に有用である。本発明はまた、動作補償の代わりに動作適応を使用する方法やシステムにも適合する。本願において、「画像」という語は、内容に応じて、ピクチャー、フィールドもしくはフレームを表す一般語として使用されている。フィルムやテレビは、動画を錯覚させるような、静止画像のシーケンスを提供するものである。画像が適切な方法で得られディスプレイされれば、錯覚は確実に起きる。参考９においてジェイ・ドリュエリは錯覚の性質を顕著に示している。現代のテレビシステムでは、フィルムまたはテレビカメラから画像シーケンスを処理する必要の生じる場合が多い。画像率を変化させる処理によって、テレビの錯覚の性質が現れる。その典型例として、それぞれ５０ヘルツおよび６０ヘルツを有するヨーロッパテレビ標準方式とアメリカテレビ標準方式との間の変換が挙げられる。この変換には、出力画像間で時間的に中間にある、新画像の補間が必要となる。信号処理に関する多くの文献では、適切なサンプリング信号のために線形フィルタリングを使用した、中間サンプルの補間が表されている。ところが、テレビ標準方式変換に適用されると線形フィルタリングが機能しないことがある。テレビ標準方式変換が線形フィルタリングを用いて変換されると、高速動画がブレや多重画像を引き起こす場合がある。これは、テレビシステムの錯覚の性質を示している。テレビ信号の処理が困難である理由は、それらテレビ信号は従来からのナイキスト理論でのアンダーサンプルであるからである。その詳細は参考２３で示されている。動作補償の役割を、動画処理の問題を解決する方法として解釈している人は多い（参考２、３、４、５、１１、１３、１５、１６、１７、１８、１９、２１）。動作補償は、人の視覚構造と同じ方法で動画処理を行おうとするものである。人の視覚構造は、動く物体を目で追うようになっているので、網膜に静止させることができる。動作補償は、それと同様の働きをしようとする。動く物体に相当するポイントは静止しているとみなされ、アンダーサンプリングであることによる問題を回避することができる（参考３、２５）。これを実行するために、画像が、線形移動する剛体を含んでいると仮想される（若干限定の少ない仮説が得られることもある）。動作補償された処理を適用するために、画像中の動く物体の動きを追う必要がある。画像シーケンスに存在する動きを推定できる技術は多くある（参考１、２、３、４、８、１２、１４、２０、２４）。適切な入力画像を使うことによって、動作補償は、処理画像の質を非常に向上させることができるようになった。好ましい条件であれば、ブレや多重画像などの、線形フィルタリングを使用した標準方式変換の、アーティファクトを完全に取り除くことができる。しかしながら、動作補償は、上記の想定が有効であるときにのみ機能する。好ましくない状況では、例えば画像が線形移動する剛体を含んでいるというような想定は、崩れてしまう。そうなると、動作補償に必要な動作推定システムは、動作を確実に追うことができないので、ランダムな動ベクトルが発生してしまう。動作推定システムに誤りが生じると、処理画像は、相当な障害切り換えアーティファクトを含んでしまうことになる。そのようなアーティファクトは、動作補償が回避しようとする線形標準方式変換アーティファクトより、ずっと悪いものである。動作補償処理システムは、適合した画像には完全な動作補償を行い、一方好ましくない画像にはそれと同様あるいはより優れた従来の線形処理を行う、というのが理想である。これを達成するために、このシステムは、画像の動作補償処理に対する適合性に従って、補間方法を換えなければならない。従って、このシステムは動作補償処理と非動作補償処理との間で調整される。従来のように調整テレビシステムを使用すると、補間方法が急速に切り換わるのは好ましくない。画像が、動作補償処理と非動作補償処理とにほぼ同様に適合する場合、そのような切り換えは切換アーティファクトを自己発生させることがある。画像の適合性に応じて動作補償処理から非動作補償処理へと徐々に切り換えるシステムであれば、すぐれたフォールバックを提示すると言われている。非動作補償処理は、フォールバックモードとして知られている。すぐれたフォールバックを伴う動作補償を構成するためには、どの時点で画像が動作補償に適合するかを知る必要がある。これは動作推定器が信頼性のあるベクトルを生成できるかどうかにかかっている。このように、動作推定器は、それが生成したベクトルが信頼性の有るものかどうかを示さなければならない。アール・トムソンは参考２２において、上記の点について優れた議論をし、位相関連型動作補償システムにおいて動作ベクトルの信頼性が相関ピークの高さによってどのように示されているかを説明している。その他の動作推定システムも、ベクトル信頼度を表示するように設計されている。例えばブロック整合動作推定器は、ベクトルの質の目安として、選択したベクトルの整合エラーを出している。すぐれたフォールバックを伴う動作補償のために要求されるものは、整合性のある、非動作補償された、フォールバックモードである。可能性が明らかであるのは、動作補償アルゴリズムと従来の線形フィルタリングアルゴリズムとの間を無くしていくことである。このアプローチにはしかしながら多くの不利点がある。画像が特に動作補償に適合しているのでなければ、出力画像は、アーティファクトを伴う従来の補間の形状を僅かに含むことになる。例え低レベルでもアーティファクトが存在することは、第一箇所で動作補償を行う理由（アーティファクトの無い画像であること）を弱めるのに十分である。また線形フィルタリングもフォールバックアルゴリズムとしては特に適合性は無い。線形フィルタリングは、画像が静止もしくは低速動の時のみ適切に作用する。動作推定器が信頼性のあるトラック動作をできない場合にはこれは当てはまらない。本願の目的は、補間システムにおいてすぐれたフォールバックを提供することである。これは、完全時間的補間と、時間的に最も近くの入力画像から選んだもの、つまり、時間的補間の位相が最も近くの入力画像と同一であるところのピクチャーリピートとの間で、時間的補間位相を徐々に変えることによって達成できる。時間的補間位相が変形される度合いは、補間に使用される動作ベクトルの信頼度による。本発明は、ビデオまたはフィルム信号の処理における補間方法を提供するものであって、入力ストアに入力信号の入力ピクセル値を保留する工程、補間されるべき各出力座標に動作ベクトルを代入する工程、各動作ベクトルの信頼度の表示を提供する工程、対応する動作ベクトルの信頼度に応じて各出力座標の時間的座標を変更する工程、動作ベクトルと変更された出力座標に基づいて入力ストアから少なくとも一つのピクセル値を選択する工程、とを含む。補間された出力ピクセル値はその少なくとも一つのピクセル値から判断される。つまり、ベクトル信頼度が確実であると、補間位相は出力画像位相と一致する。ベクトル信頼度が低下すると、補間の位相は時間的に最も近くの入力画像へと移行する。ゼロまたは最小値のベクトル信頼度のとき、補間はピクチャーリピートに均等である。入力ストアは、各画像から少なくとも一つのピクセル値が選択されて複数の画像となっていることもあり、対応するフィルター係数が各ピクセル値ごとに係数ストアから選択され、その出力ピクセルの値は、対応する係数で乗算された複数のピクセル値の加重和から判断される。フィルター係数は第２のメモリーに保留されている。時間座標が索引テーブルを利用して変更される場合、その移行特性は動作ベクトルの信頼度によって判断される。本願の一面では、各出力座標に代入された動作ベクトルがゼロで、ゼロ動作ベクトルの各出力座標に対する信頼性の表示を行うのに動作検出器が使用される。本発明はまたビデオまたはフィルム信号を処理する補間装置を提供するものであり、この装置は、入力信号のピクセル値を保留するための入力ストアと、補間されるべき出力座標に代入された動作ベクトルの信頼度の表示を提供する手段と、対応する動作ベクトルの信頼度に応じて各出力座標の時間座標を変更する手段と、変更された出力座標とそれに対応する動作ベクトルに応じて入力ストアから少なくとも一つのピクセル値を選択するベクトル処理器と、を含んでいる。この装置は、複数の乗算器と、それに関連した係数ストアと、足し算器とを有していることもあり、入力ストアは複数の画像を保留するために備えられている。ベクトル処理器は、少なくとも一つのピクセル値を、各画像と、各ピクセル値に対応する係数から選択する。出力されたピクセル値は、対応する係数によって重みが加えられて選択されたピクセル値の加重和から計算される。この装置は、さらに、動作検出器を有していることもあり、各出力座標に代入された動作ベクトルはゼロで、動作検出器は、出力座標の時間座標を変更するための手段に、ゼロ動作ベクトルの信頼度表示を行う。一方でこの装置は、動作推定装置を含んでいることもある。この動作推定装置は、各出力座標に動作ベクトルを代入するものであり、出力座標の時間座標を変更するための手段に、各動作ベクトルの信頼度表示を行うために備えられている。動作推定装置は、ブロック整合式で、信頼度表示画整合エラーで表されるものであってもよい。本発明は、以下に詳細に、また図面とともに例を挙げて説明する。図１は線形移動する物体の動軌道を表す。図２はピクチャーリピート補間の動軌道を表す。図３は図１、２との間の動軌道を表す。図４は５０ヘルツ・６０ヘルツ間の変換の出入力画像の相関タイミングを表す。図５は標準動作補償補間システムの説明図である。図６は本発明にかかる補間装置を示す説明図である。図７は適応動作補償補間に適合する、考えうる移行特性を表す。図８は本発明の第２実施例に関する補間装置を示す説明図である。動作補償の想定の根本は、画像が、線形動する剛体の集合体を含んでいることである。動作補償処理において、画像処理作業は、画像に関して、というよりも、動いている物体に関して、行われるものである。これによって、画像のアンダーサンプリングが原因で発生する時間エイリアシングを伴う処理上の問題を回避することができる。動作補償とその説明が、参考３、１１、２５など多くの文献で述べられている。線形動の想定が実行されると、物体の時空軌道は図１で示されたように空間／時間において直線で表される。動作補償処理がうまく説明できても、この想定に合わない画像（または部分画像）もある。この想定は、例えば部分的に透明な物体（煙など）、形状もしくは照射状態の変化、異なるシーンの切り分け、の場合に崩れることがある。そのような想定の崩れは、典型的な動画においてよく起きるので、適時処理しなければならない。想定からややずれたものは、動作補償を利用して辛うじて処理することができる。ずれが大きくなるにつれて、動作補償処理はできなくなってくる。動作ベクトルを見つけ出すのが困難になるからである。ずれが大きくなれば、動作推定器は、本質的にランダムな動作ベクトルを完全に生成することが出来なくなる。にもかかわらず、動作推定器が完全にできなくても、処理画像を生成することが必要である。このような状況で、唯一最も合理的な補間の方法は、おそらく、出力画像を、（時間的に）最も近い入力画像と同じにすることであろう。これは、テレビ用語ではピクチャー（またはフィールド）リピートとして知られており、信号処理用語ではゼロ列補間とて知られている。ピクチャーリピートの動作軌道は図２に示されている。中間信頼度の動作ベクトルを利用すれば、図１、２に示されているような、完全動作補償とピクチャーリピートとの両極端の間で、補間方法が要求される。これを行う方法の一つとして、動作軌道をその両極端の間と仮定することである。これが本発明の基礎である。図３はそのような中間動作軌道を示している。中間動作軌道を達成するために、補間出力画像に対応する時間は、時間的補間位相と動作ベクトル信頼度とによって、変化する。時間的補間位相は、入力シーケンスの中で、出力画像が要求される時間である。時間的補間位相は、入力画像ピリオドに関して最も都合よく説明されている。１秒につき５０の画像を持つテレビ信号と、６０の画像を持つテレビ信号との間の変換を例にとると、最初の出力画像（６０ヘルツ）は入力画像（５０ヘルツ）と同じであり、２番目の出力画像は最初の２つの入力画像の間の６分の５であり、３番目の出力画像は２、３番目の入力画像の間の６分の４であり、ということがある。このように、時間的補間位相が０、５／６、４／６、３／６、２／６、１／６、０のシーケンスができ、５つの入力画像毎に６つの出力画像ができる。これは図４に示されている。各時間的補間の位相は常に０から１の範囲にあることとなる。厳密にいえば、時間的補間位相は出力画像が発生されて入力画像ピリオドで表される、出力時間のごくわずかな部分である。出入力画像の相関的なタイミングは、デジタルサンプル率変動について述べた、例えば参考７のような文献で議論されている。完全な動作補償を行うために、出力画像は時間的補間位相の応じた時間時間に発生される（参考３）。これは図１の線形動作軌道に対応する。ピクチャーリピートのためには、出力画像は、図２の動作軌道を提供するような、時間的に最も近い入力画像の時間に対応して発生される。中間動作軌道は、時間的補間位相と最も近い入力画像との間の瞬間瞬間に応じて出力画像を発生することによって達成できる。出力画像のタイミングが時間的補間位相から最も近い入力画像時間へと動く限度は、動作推定器からの動作ベクトルの信頼度による。補間動作軌道を、継続した方法で変えることによって、完全動作補償からピクチャーリピートへの、すぐれたフォールバックを得ることできる。これが本願の基礎となるものであり、これによって、動作ベクトルの信頼性がない場合でも動画の全ての部分に使用できる補間方法が、達成できる。補間モードの変更に原因する切換アーティファクトは、両極端間の動作軌道の連続によって回避できる。従来の動作補償補間は図５に示す通りである。補間回路には、スキャンされた入力画像シーケンスに対応する入力サンプルからと、出力座標からと、動作ベクトルからとの、３つの入力がある。出力座標は、出力画像シーケンスの量が計算される、（時空）座標である。これらは参考３、６等に示されるような、カウンター等によって発生させられる。動作ベクトルの入力によって、各出力座標に関する動作ベクトルがでてくる。各作業サイクルにおいて、新しい出力座標が補間回路に表れ、（ディレイ後）に出力ピクセルの値を発生させる。ベクトル処理器は出力座標と動作ベクトルを結合して、各出力座標毎に出力サンプルアドレスと座標アドレスとの組み合わせを生成する（参考３参照）。出力ピクセルの値は、入力ピクセル値の加重和を計算することによって発生させられる。サンプルアドレスは要求されている入力座標の整数部に相当するもので、入力ストアに保留されている適切な入力ピクセル値を選択するのに使用され、ＲＯＭに保留されている前もって計算されたフィルター係数から選択された係数によって重みを与えられている。フィルター係数は、ベクトル処理によって計算された入力座標の小数部によってアドレスされている。出力値は、乗算器によって表される部分結果のすべてを合計した値である。簡潔的に表すために、図表は２つの乗算器のみを示している。実際にはもっと多くの乗算器が使用されていて、動作補償補間回路にはだいたい１６個あるのが普通である。出力ピクセル座標は、普通、入力フィールドおよび入力ピクチャーラインで測定される。動速度は、フィールドピリオド毎の入力ピクチャーラインで測定される。フィルターアパチャーのサイズは、フィールドやラインという語で表され、４ラインのアパチャーは８ピクチャーラインに相当する。入力ピクセル値は入力座標の整数部によってアドレスされるので、フィルターアパチャーは動作補償されて、フィールドピリオド毎に、もっとも近い整数のフィールドラインになる。残りの、準ピクセルの、動作補償は、フィルター係数を変化させることによって達成できる。非動作補償補間回路と動作補償補間回路の両方の、より詳しい説明は、文献に見られる（参考３、４、６、１９、２１）。図５の動作補償補間回路を変形して動作ベクトルの信頼度によって制御される適応動作軌道ができる。これは図６に示されている。動作補償補間は従来３次元補間処理である。結果として、補間回路に表れる出力座標は３成分ベクトルであることを念頭におかなければならない。それらの成分は、出力座標の水平・垂直・時間である。適応した動作軌道を生成するためには、時間的補間位相は、変換特性が動作ベクトルの信頼度によって制御されるところの索引テーブルを通過する。索引テーブルは、リードオンリーメモリー（ＲＯＭ）を使用して構成すると便利である。時間的補間位相は、時間的出力座標の小数部である。通常、各座標毎に、それぞれ異なる動作ベクトルと、その動作ベクトルに関するベクトル信頼度の表示が見られる。このように動作軌道はピクセル単位に適応して画像の各箇所に最も適した補間を得ることができる。画像の異なる部分は、このようにして、たとえ同じ動作ベクトルを持っていたとしても異なる動作軌道を持つことができる。これは動作ベクトルの信頼度レベルが異なることに起因する。こうして、例えば不鮮明な背景のエリアなど、ベクトル信頼度が低い箇所にもよりよい処理を行うことができる。これらの領域は時間的に最も近い画像補間を利用して補間される一方、その他の画像箇所は、完全に補償される。図６の索引テーブル（ＬＵＴ）の変換特性は、動作推定器からのベクトル信頼度信号によって制御され、補間動作軌道を判断する。通常の索引テーブルの変換特性は、図７に示されている。索引テーブルの表れる基準の時間的補間位相（φ in）は、0 〜1 の範囲である。信頼度信号も0 〜1 の範囲であるとすると、索引テーブルに適合する変換特性は式１に示すようになる。式１この式において、φinは基準の時間的補間位相、ｒは動作ベクトルの信頼度、φ out は変形した時間的補間位相である。索引テーブルに他の変換要素を使用することも可能である。上記の技術は、文献で述べられたような動作補償時間的補間に適応できる。外部の動作推定装置によって補間回路のために作られる動作ベクトルの信頼度に、許容誤差を与えることによって、改善が行われる。本発明は、生成するベクトルの信頼度を表示する動作推定器の可用性を想定している。動作推定器の信頼度を考慮することによって、障害となりうる切換アーティファクトを回避し、画質を改善することができる。本発明では、完全動作補償から非動作補償へ徐々に変更するのに補間方法の利用が認められている。動作推定を支持する想定が成り立たず、動作推定器の信頼性ある動作ベクトルの測定ができないような場合に、この発明は優れたフォールバックを表す。動作補償補間の優れたフォールバックは、補間された画像内の、動く物体の動軌道を変更することによって達成できる。動作ベクトルの信頼度が高いとき、線動軌道は完全動作補償に応じて使用される。動作ベクトルの信頼度が低いとき、段階的動軌道は非動作補償に応じて使用される。中間的なベクトル信頼度に使用される動軌道はこれら両極端の間である。動軌道の変調は、移行特性がベクトル信頼度によって制御される索引テーブルを通して、補間回路に送られた時間的補間位相を通過することによって、達成できる。本発明は、また、動作推定器ではなく動作検出器に関連して使用することもできる。参考１０では、動作適応システムは、連続するフィールドの間に時間的フィールターアパチャーを適用することによって時間的補間を使用し、補間された画像が生成される、と説明されている。連続するフィールドの間に大きな動作があるとき２重画像など好ましくないアーティファクトを回避するために、動作推定器が、ピクセル毎にピクセル上の時間的アパチャーを変えるのに利用される。動作適応システムは、一つの動作ベクトル（ゼロ）が使用される動作補償システムと見なされることもある。本発明は動適応システムにおいて構成することができるので、動作検出器でゼロ動作ベクトルの信頼度を表すことができる。出力画像率が、例えば標準変換または低速動作リプレイにおける入力率と異なるとき、本発明はこのケースに適用できる。図８は、本発明を動作適応システムで構成している。図８の出力座標処理器は、動作ベクトルに入力がないという点を除いて図５・６のベクトル処理器とほぼ同じである。動作検出器からの動作ベクトルは、図６のベクトル信頼度表示の代わりである。本実施例では、アパチャーを横切る動作が増えるとゼロ動作ベクトルの信頼度は低下し、時間的補間の位相は時間的に近くの入力画像の方へ移行する。このシステムは、先の動作適応システムを改良したものである。なぜなら、多重画像の減少と空間的解像度の改善が見られるからである。さらに、係数ストアのサイズが小さくなる。時間的アパチャーが動作の変換によってさらに変化すれば、より大きな係数ストアが要求される。動作適応システムを利用すれば、安価で便利な、本発明の構成方法を提供することができる。本発明の実施例をいくつか述べたが、これらは例であって、当業者は本願クレームで定義した発明の範囲を逸脱しない範囲で、他の変更例も想起できる。例えば、出力座標の時間的座標を変更する手段は索引テーブル以外でも、例えば適当な論理回路でもよい。これによて、区分的線形移行特性の構成ができるし、フィールドプログラマブルゲート配列もしくはカスタムゲート配列の集積回路で具体化できる。時間的座標は、さらに（空間的時間的に近くのピクセルに応じて）ベクトル信頼度の保留値を使用するステートマシンを使用することによっても変更できる。後者の場合、時間的位相は、目下のピクセルに加え、近くのピクセルのベクトル信頼度によっても変更される。参考１．Aggarwal，J.K．& Nandhakumar，N．1988 。画像シーケンスからの動作計算についての評論。Proc．IEEE，vol.76，pp.917-935，1988年8 月。２．Bierling，M.，Thoma，R．1986。階層制御変位推定器を使用した動作補償フィールド補間。信号生成，volume 11，No．4,1986 年12月，pp.387-404。 Elsevier Science publishers 。３．Borer，T.J.，1192 。テレビ標準方式変換。ph.D．Thesis，シェリー大学電子電気工学部、イギリスGU2 5XH,シェリー，ギルフォード。1992年10月。４．Borer，T.J.，Hulyer，M.G．,Parker，D.W．1990。動作補償ディスプレイフィールド率アップコンバージョン。国際放送会議，イギリスブライトン,1990 年9 月。1EE Publication No．327。I SBN 0 85296000 。５．Chiariglione，L.，Corgnier，L．& Guglielmo，M．1986 。動作ベクトルを使用したビデオ端末における生成。IBC ブライトン1986。６．Clarke，C.K.P.，1990。補間。ディジタルテレビ，Sandbank，C.P．(編集者 )，John Wiley & Sons Ltd．1990。ISBN 0 471 92360 5，pp．287-374 。７．Crochiere，R.E．& Rabiner，L.R．1983。多重ディジタル信号生成。 Prentice Hall，Inc.，USAニュージャージー州07632,クリフ，イングルウッド。 ISBN 13-605162-6。８．Dubois，E.，Konrad，J.，1990。動作推定および動作補償のための技術の評論。前進テレビシステムの国際コロキウム，カナダオタワ,1990 年6 月。９．Drewery，J.O.，1995 。TV グランドイルージョン。テレビにおける動作再生のI.E.E.コロキウム。I.E.E.ダイジェストNo.1995/093,1995年5 月3 日。 10．Ellis，G 1995 。動作適応〜可変速ディスクプレイバックの日常における解決策。テレビにおける動作再生のI.E.E.コロキウム。I.E.E.ダイジェストNo.199 5/093,1995年5 月3 日 11．Girod，B．& Thoma，R．1985。インターレースおよびノンインターレースのグリッドからの動作補償フィールド補間。光学・電子光工科学第 2回国際技術シンポジウム。画像処理シンポジウム、カンヌ 1985 年12月。 12．Huange，T.S.，Tsai，R.Y.，1981。画像シーケンス分析：動作推定。画像シーケンス分析，T.S．Huange(編集者)，ドイツ国ベルリン，スピンケフェルラーク，1981，pp．1-18。 13．Marcozzi，E．& Tubaro，S．1987。動作補償補間。SPIE，Vol．804，画像処理の前進、pp.61-68。 14．Martinez，D.M．1987 。モデルベース動作推定と動作ピクチャーの保持と補間へのそれの適用。RLE 技術レポートNo．530，1987 年6 月。Research Laborat ory of Electronics，USA02139マサチューセッツ州ケンブリッジ，マサチューセッツ技術協会。 15．Netravali，A.N.，Robbins，J.D．1979 。動作補償テレビコーディング。パート1，Bell Syst.Tech.J.，vol．58，pp 631-670，1979 年3 月。 16．Reuter，T．1989 。動作補償を利用した基準方式変換。信号生成 16,1989， pp 73-82 。 17．Robert，P．Lamnabhi，M.，Lhuillier，J.J．1989 。前進した高度に明瞭な 50〜60ヘルツのテレビ標準方式変換。SMPTE ジャーナル 1989 年6 月，pp420-42 4。 18．Thoma，R．& Bierling，M．1989 。カバーされるまたはされない背景技術を考慮した動作補償補間。 19．Thomas，G.A.，& Lau，H.Y.K．1990。動作補償を利用した高性能スロー動作再生の時代。国際放送会議、イギリスブライトン，1EE Publication No.327 。I SBN 0 85296000 。 20．Thomas，G.A.，1987。DATVその他に適用されるテレビ動作推定。BBCResearc h Department 報告。No．1987/11 1987年9 月。 21．Thomas，G.A.，1988。タイムアクシスのひずみ。スタジオ内における動作補償画像処理。国際放送会議、イギリスブライトン，1989年9 月、IEE 出版 ISBN 0 85296368 8。 22．Thomson，R．1995。テレビの動作推定および動作測定における問題。テレビにおける動作再生のI.E.E.コロキウム。I.E.E.ダイジェスト No.1995/093,1995年5 月3 日。 23．Tonge，G.J．1986。時間サンプル型動作ポートレイアル。画像処理とその利用方法についての第 2回国際会議の議事録。ロンドン科学技術国立大学にて。19 96年6 月24〜26日。I.E.E.主催。PP216-219 。 24．Vega-riveros，J.F.，Jabbour，K．1986。動作分析技術の評論。Vol.136，P tl.，No．6，1989 年12月。 25．Watkinson J．1994 。デジタルビデオ技術第 2版 pp238-264。フォーカル出版。ISBN 0 240 51369.13 。

【手続補正書】特許法第１８４条の８第１項【提出日】１９９７年６月１３日【補正内容】像が動作補償に適合するかを知る必要がある。これは動作推定器が信頼性のあるベクトルを生成できるかどうかにかかっている。このように、動作推定器は、それが生成したベクトルが信頼性の有るものかどうかを示さなければならない。アール・トムソンは参考２２において、上記の点について優れた議論をし、位相関連型動作補償システムにおいて動作ベクトルの信頼性が相関ピークの高さによってどのように示されているかを説明している。その他の動作推定システムも、ベクトル信頼度を表示するように設計されている。例えばブロック整合動作推定器は、ベクトルの質の目安として、選択したベクトルの整合エラーを出している。すぐれたフォールバックを伴う動作補償のために要求されるものは、整合性のある、非動作補償された、フォールバックモードである。可能性が明らかであるのは、動作補償アルゴリズムと従来の線形フィルタリングアルゴリズムとの間を無くしていくことである。このアプローチにはしかしながら多くの不利点がある。画像が特に動作補償に適合しているのでなければ、出力画像は、アーティファクトを伴う従来の補間の形状を僅かに含むことになる。例え低レベルでもアーティファクトが存在することは、第一箇所で動作補償を行う理由（アーティファクトの無い画像であること）を弱めるのに十分である。また線形フィルタリングもフォールバックアルゴリズムとしては特に適合性は無い。線形フィルタリングは、画像が静止もしくは低速動の時のみ適切に作用する。動作推定器が信頼性のあるトラック動作をできない場合にはこれは当てはまらない。本願の目的は、補間システムにおいてすぐれたフォールバックを提供することである。これは、完全時間的補間と、時間的に最も近くの入力画像から選んだもの、つまり、時間的補間の位相が最も近くの入力画像と同一であるところのピクチャーリピートとの間で、時間的補間位相を徐々に変えることによって達成できる。時間的補間位相が変形される度合いは、補間に使用される動作ベクトルの信頼度による。本発明は、ビデオまたはフィルム信号の処理における補間方法を提供するものであって、入力ストアに入力信号の入力ピクセル値を保留する工程、補間されるべき出力座標の各組に動作ベクトルを代入する工程、各動作ベクトルの信頼度の表示を提供する工程、対応する動作ベクトルの信頼度に応じて出力座標の各組の時間的座標を変更する工程、動作ベクトルと変更された時間出力座標に基づいて出力ストアから少なくとも一つのピクセル値を選択する工程、とを含む。補間された出力ピクセル値はその少なくとも一つのピクセル値から判断される。つまり、ベクトル信頼度が確実であると、補間位相は出力画像位相と一致する。ベクトル信頼度が低下すると、補間の位相は時間的に最も近くの出力画像へと移行する。ゼロまたは最小値のベクトル信頼度のとき、補間はピクチャーリピートに均等である。入力ストアは、各画像から少なくとも一つのピクセル値が選択されて複数の画像となっていることもあり、対応するフィルター係数が各ピクセル値ごとに係数ストアから選択され、その出力ピクセルの値は、対応する係数で乗算された複数のピクセル値の加重和から判断される。フィルター係数は第２のメモリーに保留されている。時間座標が索引テーブルを利用して変更される場合、その移行特性は動作ベクトルの信頼度によって判断される。本願の一面では、出力座標の各組に代入された動作ベクトルがゼロで、ゼロ動作ベクトルの出力座標の各組に対する信頼性の表示を行うのに動作検出器が使用される。本発明はまたビデオまたはフィルム信号を処理する補間装置を提供するものであり、この装置は、入力信号のピクセル値を保留するための入力ストアと、補間されるべき出力座標の各組に代入された動作ベクトルの信頼度の表示を提供する手段と、対応する動作ベクトルの信頼度に応じて出力座標の各組の時間座標を変更する手段と、変更された出力座標とそれに対応する動作ベクトルに応じて入力ストアから少なくとも一つのピクセル値を選択するベクトル処理器と、を含んでいる。この装置は、複数の乗算器と、それに関連した係数ストアと、足し算器とを有していることもあり、入力ストアは複数の画像を保留するために備えられている。ベクトル処理器は、少なくとも一つのピクセル値を、各画像と、各ピクセル値に対応する係数から選択する。出力されたピクセル値は、対応する係数によって重みが加えられて選択されたピクセル値の加重和から計算される。この装置は、さらに、動作検出器を有していることもあり、出力座標の各組に代入された動作ベクトルはゼロで、動作検出器は、出力座標の各組の時間座標を変更するための手段に、ゼロ動作ベクトルの信頼度表示を行う。一方でこの装置は、動作推定装置を含んでいることもある。この動作推定装置は、各出力座標に動作ベクトルを代入するものであり、出力座標の各組の時間座標を変更するための手段に、各動作ベクトルの信頼度表示を行うために備えられている。動作推定装置は、ブロック整合式で、信頼度表示画整合エラーで表されるものであってもよい。本発明は、以下に詳細に、また図面とともに例を挙げて説明する。図１は線形移動する物体の動軌道を表す。図２はピクチャーリピート補間の動軌道を表す。図３は図１、２との間の動軌道を表す。図４は５０ヘルツ・６０ヘルツ間の変換の出入力画像の相関タイミングを表す。図５は標準動作補償補間システムの説明図である。図６は本発明にかかる補間装置を示す説明図である。図７は適応動作補償補間に適合する、考えうる移行特性を表す。図８は本発明の第２実施例に関する補間装置を示す説明図である。動作補償の想定の根本は、画像が、線形動する剛体の集合体を含んでいることである。動作補償処理において、画像処理作業は、画像に関して、というよりも、動いている物体に関して、行われるものである。これによって、画像のアンダーサンプリングが原因で発生する時間エイリアシングを伴う処理上の問題を回避することができる。動作補償とその説明が、参考３、１１、２５など多くの文献で述べられている。線形動の想定が実行されると、物体の時空軌道は図１で示されたように空間／時間において直線で表される。動作補償処理がうまく説明できても、この想定に合わない画像（または部分画像）もある。この想定は、例えば部分的に透明な物体（煙など）、形状もしくは照射状態の変化、異なるシーンの切り分け、の場合に崩れることがある。そのような想定の崩れは、典型的な動画においてよく起きるので、適時処理しなければならない。想定からややずれたものは、動作補償を利用して辛うじて請求の範囲：１．ビデオまたはフィルム信号の処理における補間方法であって、入力ストアに入力信号の入力ピクセル値を保留する工程、補間されるべき出力座標の各組に動作ベクトルを代入する工程、各動作ベクトルの信頼度の表示を提供する工程、対応する動作ベクトルの信頼度に応じて出力座標の各組の時間的座標を変更する工程、動作ベクトルと変更された出力座標に基づいて入力ストアから少なくとも一つのピクセル値を選択する工程、とを含み、補間された出力ピクセル値はその少なくとも一つのピクセル値から判断されるもの。２．クレーム１に記載のビデオまたはフィルム信号の処理における補間方法において、入力ストアは、各画像から少なくとも一つのピクセル値が選択されて複数の画像となっているものを保留し、対応するフィルター係数が各ピクセル値ごとに係数ストアから選択され、その出力ピクセルの値は、対応する係数で乗算された複数のピクセル値の加重和から判断される。３．クレーム１または２に記載のビデオまたはフィルム信号の処理における補間方法において、各時間座標は、その移行特性が動作ベクトルの信頼度によって判断されるところの索引テーブルを利用して変更される。４．クレーム１または２または３に記載のビデオまたはフィルム信号の処理における補間方法において、各時間座標を変更するのに使用される移行特性は、次の式１によって与えられる：５．クレーム１から４のいづれかに記載の、動作補償補間のためのビデオまたはフィルム信号の処理における補間方法において、出力座標の各組に代入された動作ベクトルがゼロでである想定で、ゼロ動作ベクトルの出力座標の各組に対する信頼性の表示を行うのに動作検出器が使用される。６．ビデオまたはフィルム信号を処理する補間装置であって、入力信号のピクセル値を保留するための入力ストアと、補間されるべき出力座標に代入された動作ベクトルの信頼度の表示を提供する手段と、対応する動作ベクトルの信頼度に応じて出力座標の各組の時間座標を変更する手段と、変更された時間出力座標とそれに対応する動作ベクトルに応じて入力ストアから少なくとも一つのピクセル値を選択するベクトル処理器と、を含むもの。７．クレーム６に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、複数の乗算器と、それに関連した係数ストアと、足し算器とを含み、入力ストアは複数の画像を保留するために備えられ、ベクトル処理器は少なくとも一つのピクセル値を各画像と各ピクセル値に対応する係数から選択し、出力されたピクセル値は対応する係数によって重みを得た選択されたピクセル値の加重和から計算されるもの。８．クレーム６または７に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、動作検出器を含み、出力座標の各組に代入された動作ベクトルはゼロで、動作検出器は、出力座標の各組の時間座標を変更するための手段に、ゼロ動作ベクトルの信頼度表示を行うもの。９．クレーム６または７に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、動作推定装置を含み、この動作推定装置は、出力座標の各組に動作ベクトルを代入するものであり、出力座標の各組の時間座標を変更するための手段に、各動作ベクトルの信頼度表示を行うために備えられているもの。 10．クレーム９に記載のビデオまたはフィルムを処理する補間装置において、動作推定装置は、ブロック整合式で、信頼度表示画整合エラーで表されるものである。 11．クレーム６から10のいづれかに記載のビデオまたはフィルムを処理する補間装置において、出力座標の各組の時間座標を変更するための手段が索引テーブルを含む。 12．クレーム11に記載のビデオまたはフィルムを処理する補間装置において、索引テーブルは、次の式１によって与えられる移行特性を有する：

Claims

【特許請求の範囲】１．ビデオまたはフィルム信号の処理における補間方法であって、入力ストアに入力信号の入力ピクセル値を保留する工程、補間されるべき各出力座標に動作ベクトルを代入する工程、各動作ベクトルの信頼度の表示を提供する工程、対応する動作ベクトルの信頼度に応じて各出力座標の時間的座標を変更する工程、動作ベクトルと変更された出力座標に基づいて入力ストアから少なくとも一つのピクセル値を選択する工程、とを含み、補間された出力ピクセル値はその少なくとも一つのピクセル値から判断されるもの。２．クレーム１に記載のビデオまたはフィルム信号の処理における補間方法において、入力ストアは、各画像から少なくとも一つのピクセル値が選択されて複数の画像となっているものを保留し、対応するフィルター係数が各ピクセル値ごとに係数ストアから選択され、その出力ピクセルの値は、対応する係数で乗算された複数のピクセル値の加重和から判断される。３．クレーム１または２に記載のビデオまたはフィルム信号の処理における補間方法において、各時間座標は、その移行特性が動作ベクトルの信頼度によって判断されるところの索引テーブルを利用して変更される。４．クレーム１または２または３に記載のビデオまたはフィルム信号の処理における補間方法において、各時間座標を変更するのに使用される移行特性は、次の式１によって与えられる：５．クレーム１から４のいづれかに記載の、動作補償補間のためのビデオまたはフィルム信号の処理における補間方法において、各出力座標に代入された動作ベクトルがゼロでである想定で、ゼロ動作ベクトルの各出力座標に対する信頼性の表示を行うのに動作検出器が使用される。６．ビデオまたはフィルム信号を処理する補間装置であって、入力信号のピクセル値を保留するための入力ストアと、補間されるべき出力座標に代入された動作ベクトルの信頼度の表示を提供する手段と、対応する動作ベクトルの信頼度に応じて各出力座標の時間座標を変更する手段と、変更された出力座標とそれに対応する動作ベクトルに応じて入力ストアから少なくとも一つのピクセル値を選択するベクトル処理器と、を含むもの。７．クレーム６に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、複数の乗算器と、それに関連した係数ストアと、足し算器とを含み、入力ストアは複数の画像を保留するために備えられ、ベクトル処理器は少なくとも一つのピクセル値を各画像と各ピクセル値に対応する係数から選択し、出力されたピクセル値は対応する係数によって重みを得た選択されたピクセル値の加重和から計算されるもの。８．クレーム６または７に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、動作検出器を含み、各出力座標に代入された動作ベクトルはゼロで、動作検出器は、出力座標の時間座標を変更するための手段に、ゼロ動作ベクトルの信頼度表示を行うもの。９．クレーム６または７に記載のビデオまたはフィルム信号を処理する補間装置であって、さらに、動作推定装置を含み、この動作推定装置は、各出力座標に動作ベクトルを代入するものであり、各出力座標の時間座標を変更するための手段に、各動作ベクトルの信頼度表示を行うために備えられているもの。 10．クレーム９に記載のビデオまたはフィルムを処理する補間装置において、動作推定装置は、ブロック整合式で、信頼度表示画整合エラーで表されるものである。 11．クレーム６から10のいづれかに記載のビデオまたはフィルムを処理する補間装置において、各出力座標の時間座標を変更するための手段が索引テーブルを含む。 12．クレーム11に記載のビデオまたはフィルムを処理する補間装置において、索引テーブルは、次の式１によって与えられる移行特性を有する： 13．添付図面5 〜8 に関連して先に記載した、ビデオまたはフィルムを処理する補間装置。