JP3830543B2 - 動き補正映像補間方式 - Google Patents
動き補正映像補間方式 Download PDFInfo
- Publication number
- JP3830543B2 JP3830543B2 JP13203794A JP13203794A JP3830543B2 JP 3830543 B2 JP3830543 B2 JP 3830543B2 JP 13203794 A JP13203794 A JP 13203794A JP 13203794 A JP13203794 A JP 13203794A JP 3830543 B2 JP3830543 B2 JP 3830543B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- input
- output
- input pixel
- value sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims description 163
- 238000001514 detection method Methods 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 23
- 238000012360 testing method Methods 0.000 description 18
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動き補正映像補間の分野に関するものである。
【０００２】
【従来の技術】
標準規格変換、例えばフィルムからテレビジョンへ又は或るテレビジョンフォーマットから他のテレビジョンフォーマットへの変換の如き目的に用いられる動き補正映像補間は、公知である。かような技法の例は、英国公開特許出願ＧＢ−Ａ−２２３１７４９号（ソニー株式会社）に記載されている。前景の物体と背景の物体との間に相対的な動きがある場合、これらの技法に起こる問題は、連続する入力映像の間で、背景の物体の一部が前景の物体により時に隠れたり、見えるようになったりする（見え隠れする）ことである。
【０００３】
背景物体が見え隠れする例を図１に示す。前景の自動車が静止背景を通過するとき、該自動車に隠れていたレッカー車の前輪が現れるようになり、ラジオアンテナ柱の根基が隠れる。図１に示す２フィールド間の出力フィールドの補間には、かような見え隠れを考慮に入れなければならない。詳しくいうと、出力フィールドでは、該出力フィールドの時間位置に応じてラジオアンテナ柱及びレッカー車の車輪が部分的に見え隠れする。この結果、フィールド０からのピクセルしかラジオアンテナ柱の可視部分の発生に使用できず、フィールド１からのピクセルしかレッカー車の前輪の可視部分の発生に使用できない。
【０００４】
したがって、入力フィールドの適切な一方（即ち、上の例ではラジオアンテナ柱に対してはフィールド０，レッカー車に対してはフィールド１）からのピクセルだけを補間に使用できるように、物体が隠れたり現れたりするのを検出する必要がある。これが達成できないか又は何か外の補正策を取らなければ、補間された映像は質の低下を免れない。
【０００５】
【発明が解決しようとする課題】
本発明の課題は、上述の問題を克服もしくは軽減することである。
【０００６】
【課題を解決するための手段及び作用】
本発明は、一面からみて、時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する装置であって、次の構成要素を具えるものを提供する。
【０００７】
出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出する手段、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出手段、
上記回数検出手段の検出結果に応じて補間を制御する制御手段。
上記制御手段の制御のもとで動き補正補間を行う補間器。
上記制御手段は、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出する手段と、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットする手段と、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットする手段と、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせる手段と
を含む。
【０００８】
動きベクトルを入力ピクセル値列に投影して、各入力ピクセル値が補間のためのソースとして何回使用されるかを決定することは、隠れるか又は現れる映像部分の検出に役立つ。
制御手段は、この使用回数の検出結果を使用して、２つの入力ピクセル値列のうちの一方の入力ピクセル値がソースとして１回より多く使用された場合、その入力ピクセル値に対応する出力ピクセル値列のピクセル値を、他方の入力ピクセル値列のみから動きベクトルを用いて補間するように補間器を制御する。
【０００９】
良好な実施例では、制御手段はさらに次の手段を有する。
【００１０】
補間器に補間させた出力ピクセル値列の各ピクセル位置における動きベクトルを反対方向に向けることにより、上記出力ピクセル値列の各ピクセル値を上記２つの入力ピクセル値列に投影する手段、
上記２つの入力ピクセル値列の入力ピクセル値のうち、上記投影された出力ピクセル値と差があり、且つ、上記回数検出手段でソースとして使用されないと検出された入力ピクセル値をエラー位置としてマークする手段、
上記出力ピクセル値列のうち上記エラー位置に対応するピクセル位置における動きベクトルと、上記入力ピクセル値列に対する上記出力ピクセル値列の時間変位とを乗算し、上記出力ピクセル値列のうち上記乗算結果だけ上記エラー位置からずれたピクセル位置を計算する手段、
上記出力ピクセル値列のうち上記計算されたピクセル位置における動きベクトルを、該出力ピクセル位置の近傍の出力ピクセル位置における動きベクトルに置き換えて、上記補間器に補間を行わせる手段。
【００１１】
この技法では、不正な（誤りの）動きベクトルを識別してこれを代わりのものと置換し、もっと良質の補間映像を作るという態様を取っている。
【００１５】
見え隠れする部分に対応する動きベクトルのエラーを考慮する、又は他に頼らずに用いるこの技法の改良として、本発明の好適な具体構成では、上記制御手段は次の如き手段をさらに含む。
【００１６】
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置のピクセル値について、上記他方の入力ピクセル値列のみから、上記他方の入力ピクセル値列と、上記他方の入力ピクセル値列からみて上記一方の入力ピクセル値列とは時間的に反対側に隣接する入力ピクセル値列との間の動きベクトルをさらに用いて上記補間器に補間を行わせる手段。
【００１７】
入力ピクセル値がソースとして何回使用されたかを検出することは、計算的には激しい動作であることが認められるであろう。汎用コンピュータはこの動作を行いうるが、好適な具体構成では、上記回数検出手段が次の手段を含む如き特殊用途ハードウェアを組込む。
【００１８】
上記出力ピクセル値列の各ピクセル位置のアドレスと、該アドレスに対応する動きベクトルとを発生する手段、
各々の上記アドレスに対応する動きベクトルに、上記２つの入力ピクセル値列に対する上記出力ピクセル値列の時間変位をそれぞれ乗算する手段、
各々の上記アドレスに、上記２つの入力ピクセル値列についての上記乗算結果をそれぞれ加算する手段、
上記２つの入力ピクセル値列の各入力ピクセル値に対応する記憶位置を有し、上記記憶位置のうち、上記加算結果が示すアドレスの入力ピクセル値に対応する記憶位置に記憶する使用回数をインクリメントする記憶手段。
【００１９】
本発明は、他の面からみて、時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する方法であって、次のステップを含むものを提供する。
【００２０】
出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出するステップ、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出ステップ、
動き補正補間を行う補間器を、上記回数検出ステップの検出結果に応じて制御する制御ステップ。
上記制御ステップは、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出するステップと、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットするステップと、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットするステップと、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせるステップとを含む。
【００２１】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、入力ピクセル値の入力アレイを形成する２つの時間的に隣接するフィールドを示し、それらの間で出力ピクセル値の出力フィールドを補間しようとするものである。レッカー車及びラジオアンテナ柱は、フィールド０及びフィールド１においてどちらも静止している。自動車は、フィールド０におけるレッカー車の前部からフィールド１におけるラジオアンテナ柱の前部へと動いている。したがって、フィールド１では、レッカー車の運転台の下方及び前輪が現れて見えるようになり、ラジオアンテナ柱の下部は隠れて見えなくなっている。
【００２２】
補間しようとする出力フィールドの相対的な時間位置に応じて、出力フィールドに、フィールド１で現れるか又は隠れた映像部分（領域）を含ませる必要がある。正確に補間するためには、補間されたフィールドの見える部分はフィールド１だけから導出すべきであり、逆に、見えない部分はもっぱらフィールド０から補間すべきである。このようにより正確な補間を可能とする補間の制御を行うためには、時間的に隣接するフィールド間で隠れたり現れたりする部分を検出しなければならない。
【００２３】
図２は、見え隠れする部分を検出するヒットボード技法の説明図である。ヒットボードとは、各ピクセルが補間のためのソースとして何回使用されたかを示すアレイのことである（後述参照）。フィールド０及びフィールド１は、静止（即ち、動きベクトルｖ＝０）ブロック２の背後を左方向に動く（即ち、ｖ＝−３）一連の文字を示す。補間しようとする出力フィールドは、フィールド１に向かう途中の２／３の位置にある（即ち、時間位置ｔ＝２／３）。
【００２４】
フィールド０では、一番右に見える文字はＤである。フィールド１では、一番右に見える文字はＧである。補間（された）フィールドでは、一番右に見えるべき文字はＦである。出力フィールドにおける全ピクセルに対して正しい動きベクトルは既に決まっている、と仮定する（即ち、文字Ａ〜Ｆに対してはｖ＝−３，ブロック２の全ピクセルに対してはｖ＝０）。
【００２５】
以前の装置による公知の動作では、各出力ピクセルは、その動きベクトルを時間的に隣接するフィールドに時間的順（前）方向及び逆（後）方向に投影し、各ピクセル値が出力フィールドの入力フィールドに対する相対的な時間近接度に従って加重（重み付け）された、指し示された入力ピクセル値の和を用いることにより、導出されている。本例では、文字Ｅ及びＦは、フィールド０には現れないので、フィールド０から何か補間に関与させれば、映像の質を低下させることになろう。
【００２６】
フィールド０に対するヒットボードであるヒットボード０は、各動きベクトルを用いて出力フィールド位置から時間的逆方向に投影し、フィールド０における対応ピクセルに対して記憶された値をインクリメントすることにより、導出される（後述参照）。フィールド０に示される入力ピクセル値はすべて、ブロック２の左端にある２入力フィールド値を除き、ソースとして１回使用されている。
【００２７】
時間的に逆方向におけるヒットボードの複数エントリ（データ）は、現れる部分を示す。２回ヒットが生じている２つのピクセルに対する、出力フィールドに関する制御フラグが「１」にセットされ、補間がもっぱらフィールド１から行われるべきであることを示す。更に、該制御フラグがセットされたピクセルの両側のピクセルにどんな動きベクトルが対応しているかが調べられる。該制御フラグはそれから、２回ヒットが生じたフィールドからの時間変位（ずれ）を乗じた、隣接ピクセルに対する動きベクトルによって与えられる距離だけ、どちらか一方の側に延長される。
【００２８】
１回しかヒットが生じなかった残りの制御フラグは「ｂ」にセットされ、フィールド０及びフィールド１の両方を補間用ソースとして使用すべきであることを示す。
【００２９】
このようにセットされた制御フラグを使えば、文字Ｅ及びＦに対する出力映像ピクセル値は、もっぱらフィールド１から導出され、フィールド０からの関与はなくなる。こうすると、補間された映像の質がよくなる。
【００３０】
上述から分かるように、ビットボードは、映像の隠れたり現れたりする部分が２入力フィールドの適切な方だけから導出されるように、補間器を制御するのに用いられている。この技法は、各出力ピクセルに対して正しい動きベクトルが選ばれている、と仮定するものである。
【００３１】
制御フラグ（出力フィールドのピクセル当たり１つ）のアレイは、次の選択事項のうち１つを示すためにセットされる。
（ａ）フィールド０のみから補間する。
（ｂ）フィールド１のみから補間する。
（ｃ）両フィールドから補間する。
【００３２】
これらのフラグは、次のようにして発生される。
１．２つのヒットボードについて倍数（又は複数）のエントリを調べる。ヒットボード０に１回より多いエントリがあれば、当該位置の出力ピクセルを発生するのにフィールド１のみを使用すべきである。同じく、ヒットボード１に１回より多いエントリがあれば、当該位置の出力ピクセルを発生するのにフィールド０のみを使用すべきである。それらの位置に対して、それに応じ
た制御フラグをセットする。
２．制御フラグがセットされて一方のフィールドのみを当該出力ピクセルの補間に使用すべきことが示された場合、或る数の隣接制御フラグをセットする。セットされた制御フラグの区域の端（エッジ）に隣接するｎ個の制御フラグを同一のセッティングにセットする。ここで、ｎは、出力フィールドの時間位置（ｔ）を乗じた、隣接フラグの方向（即ち、水平、垂直、上又は下）の当該エッジにおけるベクトル成分に等しい。即ち、左端における水平ベクトル成分がｘl であり、右端における水平ベクトル成分がｘr であり、上端における垂直成分がｙt であり、下端における垂直ベクトル成分がｙb であり、時間位置がｔ（ただし、０≦ｔ≦１）であれば、上記セットされた制御フラグの水平方向に−ｘl ｔ及び＋ｘr ｔピクセル、垂直方向に−ｙb ｔ及
び＋ｙt ｔピクセル内にある制御フラグを同じようにセットする。
【００３３】
図３は、上述の技法の他の例を示す。この例では、文字の列が左方向にｖ＝−６で動き、ブロック２が右方向にｖ＝＋３で動いている。出力フィールドから時間的逆方向に投影すると、文字Ｅ〜Ｊが、フィールド０のブロック２の左側６ピクセルの上に、出力フィールドのブロック２の左側６ピクセルからの真の投影に加えて投影される。したがって、これらの６ピクセルは倍数のヒットボード・エントリをもち、これらに対する補間はフィールド１のみから行うできべあることを示す。倍数のヒットボード・エントリに直接対応するこれらの制御フラグのセッティングに加えて、隣接するピクセル列ｐ，ｑに関する動きベクトルが夫々−６及び＋３と決定される。これらの各ベクトルに、倍のエントリが生じているフィールド０からの時間ずれ（ｔ＝２／３）を乗じることにより、制御フラグ「１」を左に４ピクセル位置、右に２ピクセル位置だけ延長する。
【００３４】
こうすると、ピクセルＥ〜Ｊがフィールド１だけから正しく補間され、補間された映像の質がよくなる。
【００３５】
図４は、時間的に順方向と逆方向に隣接するフィールド（又はフレーム）に対するヒットボードのエントリ（データ）を導出する回路を示す。ピクセルアドレスカウンタ８は、補間しようとする出力フィールド内を端から端まで動く一連のピクセルアドレスを発生する。ピクセルアドレスカウンタ８と同期して、ピクセルアドレスにおける動きベクトルが入力端１０より乗算器１２，１４に供給される。補間すべき出力フィールドは、時間的逆（後）方向のフィールド０と時間的順（前）方向のフィールド１との間の或る時間位置ｔにあるものとする。また、出力フィールドからフィールド０に対する時間ずれ「−ｔ」が乗算器１２に加えられ、出力フィールドからフィールド１に対する時間ずれを表す対応値「（１−ｔ）」が他方の乗算器１４に加えられる。
【００３６】
乗算器１２からの出力は、現在ピクセルアドレスカウンタ８から出力されているピクセルアドレスに対応するピクセル位置におけるベクトルを、フィールド０の上に時間的逆方向に投影して得られるピクセルアドレスに対する（からの）オフセット（ずれ）を表す。同様に、乗算器１４からの出力は、フィールド１への時間的順方向の投影で得られるピクセルアドレスに対するオフセットを表す。これらのアドレスオフセットは夫々加算器１６及び１８に供給され、そこで、ピクセルアドレスカウンタ１８からの現ピクセルアドレスと加算され、時間的に前後のフィールドに投影された補間のためのソースアドレスを生じる。これらのソースアドレスは、ヒットボード２０及び２２（各ピクセル位置に対する記憶位置をもつＲＡＭのアレイ）へ加えられ、そこで、それらは指し示されたアドレスに付随して値をインクリメントさせ、補間のソースとしての使用回数を表す。
【００３７】
図５は、ヒットボードを用いて補間を制御する回路を示す。公知の方法で発生されたベクトルは、ベクトル選択器２４に供給され、そこからベクトルバッファ２６及びヒットボード発生器２８に送られる。ヒットボード発生器２８は、図４について述べた構成を有する。ベクトルバッファ２６は、図５の回路の上部における処理遅延に対応する期間だけベクトルを遅らせる働きをする。出力フィールドから夫々時間的逆方向及び順方向に投影するためのヒットボード２０（ＨＢ０）及び２２（ＨＢ１）は、複数エントリ検出器３０と共に、映像における隠れたり現れたりする部分を検出する働きをする。複数エントリ検出器３０は、複数エントリを示す信号を制御フラグ発生器３２に供給し、該制御フラグ発生器は、補間器を制御すると共に上述した制御フラグのエッジ延長をも行う制御フラグを発生する。制御フラグ発生器３２には、ベクトルバッファからの遅れたベクトルと出力フィールドの時間位置ｔとが、複数エントリ検出器３０からの出力に加えて供給される。これらの情報は、補間用ソースとしてフィールド０，フィールド１又は両フィールドを使用するかどうかを制御する、補間器（下流）への制御フラグを発生するのに必要なものである。
【００３８】
図６は、前の又は次の入力フィールドからの動きベクトルを夫々見え隠れする物体の補間に強制的に使用することにより、後続の補間を制御するためのヒットボード・エントリの使い方を示す。一連の入力フィールドｉ／ｐ１，ｉ／ｐ２及びｉ／ｐ３は、左方向に動いている背景３６に対して右方向に動いているブロック３４を示す。出力フィールドｏ／ｐ１，ｏ／ｐ２は、入力フィールド間の位置で補間されるべきものを示す。「○」で示すピクセルは、夫々のシーン（場面）における分離（別れ）によって見えるようになったもので、それらの対応する正当な動きベクトルをもたない。
【００３９】
この見えるようになったピクセルａに対応するデフォルト（省略時）動きベクトルは、ゼロである。これは、入力フィールドｉ／ｐ１に対する（時間的）逆方向のヒットボードの「×」で示す点に倍数エントリを生じさせる。その他の見えるピクセルは、動きベクトルが動いているブロックから導出される位置にあり、その位置では、逆方向ヒットボードには倍数エントリを生じない。
【００４０】
逆方向ヒットボードの「×」位置にある倍数エントリは分離を示し、即ち、動きベクトルを後続のフィールド対ｉ／ｐ２及びｉ／ｐ３から取るべきであることを示す。これらの動きベクトル３８は、それまで動きベクトルが正しく特定されていなかった点４０の補間に使うことができる。補間はそれから、これらの補正された動きベクトルを用い、図２及び３に示した技法に従って行われる。
【００４１】
同様に、ピクセルｂが、入力フィールドｉ／ｐ２及びｉ／ｐ３間で現れ、逆方向ヒットボードに倍数エントリを生じる。したがって、次の入力フィールドに関する動きベクトルが、出力フィールドｏ／ｐ２の補間されるピクセル４２のために使用される。
【００４２】
図７は、収束する（近づく）場合の例を示す。本例では、ブロック３４と背景３６とがブロック３４の右端で収束している。入力フィールドｉ／ｐ１におけるピクセル位置ｃはこの収束によって隠れ、その結果それらはデフォルト・ゼロ動きベクトルをもち、入力フィールドｉ／ｐ２に対応する順方向ヒットボードに倍数のエントリを生じる。順方向ヒットボードは、それらの点（ｃ）に対するベクトルを逆方向から、即ち入力フィールドｉ／ｐ０（図示せず）及びｉ／ｐ１間で導出されたベクトルから取るべきであることを示す。前と同様、これらの補正された動きベクトルを補間に用いることができる。
【００４３】
上述と同じようにして、ピクセルｄに対する動きベクトルは、順方向に倍数ヒットボード・エントリがあることから、入力フィールドｉ／ｐ１及びｉ／ｐ２間のベクトルから取ることができる。
【００４４】
上述の動作は、次のように考えられる。
１．逆方向に収束するベクトル（即ち、倍数書込み）は離れてゆくシーンを示すので、ベクトルは次に出力されるベクトルから選択しなければならないであろう。
即ち、順方向に分離するベクトル（即ち、ゼロ書込み）は離れてゆくシーンを示すので、ベクトルは次に出力されるベクトルから選択しなければならないであろう。
２．逆方向に分離するベクトル（即ち、ゼロ書込み）は近づくシーンを示すので、ベクトルは前に出力されたベクトルから選択しなければならないであろう。
即ち、順方向に収束するベクトル（即ち、倍数書込み）は近づくシーンを示すので、ベクトルは前に出力されたベクトルから選択しなければならないであろう。
【００４５】
図８に、一連の入力フィールドｉ／ｐ１〜ｉ／ｐ６を示す。このフィールド列では、黒いブロックは、カメラがそれを追っている間に、背景に対して動き始めまた停止している。フィールドｉ／ｐ２及びｉ／ｐ３間では、該ブロックが動き、カメラが追っている間そのブロックはなお該フレームの中で動いている。この点は、フィールドｉ／ｐ３及びｉ／ｐ４間でも同様である。フィールドｉ／ｐ４及びｉ／ｐ５間では、カメラが該ブロックに追従するのに成功し、それを該フレーム内で静止状態に保持しており、他方背景は動いている。フィールドｉ／ｐ５及びｉ／ｐ６間では、該ブロックは動きを止めている。出力フィールドｏ／ｐ１，ｏ／ｐ２及びｏ／ｐ３は、入力フィールドの間の位置にある。
【００４６】
この例では、逆方向投影書込みにおいてゼロ書込みに相当するベクトル選択上の整合不良が起こる場合、ベクトルは、順方向に投影された前の出力フィールドに使用されたものを使用すべきであることが分かるであろう。
【００４７】
図８において、このようにして選択されたベクトルは、ａ，ｂ，ｃ，ｄ，ｉ及びｊである。ベクトルａ，ｂ，ｃ及びｄは、実際には正しくないベクトルであるが、この状況では最良の「使用可能な」ベクトルである。ベクトルｉ及びｊは、正しいベクトルである。
【００４８】
反対に、順方向投影書込みにおいてゼロ書込みに相当するベクトル選択上の整合不良がある場合、ベクトルは、逆方向に投影された次の出力フィールドに使用されるものを使用すべきである。この場合、これらのベクトルはｋ，ｌ，ｍ，ｎ，ｏ及びｐであり、これらは夫々正しいベクトルである。これは、ベクトルｅ，ｆ，ｇ及びｈについても同様である。
【００４９】
図９〜１３は、出力映像の質をよくするために、ヒットボード・エントリを後続の補間の修正に用いる第３の技法を示す。この場合、ヒットボードは、他の情報と共に、間違って選択された動きベクトルを補正するのに使用する。
【００５０】
その処理は、出力フィールドの補間の一部として行われる。まずテスト補間が行われ、動きベクトル及び補間器制御が（必要に応じて）修正され、補間は終了する。ヒットボード（逆方向及び順方向書込みフラグ）が、各出力ピクセルに対し選択された動きベクトルと２つの入力フィールドとの交差を示すために設けられる。更に、テスト補間で発生された出力フレームを、それを発生した入力フレーム上に投影する。それは、全動きベクトルを反対方向に向けること（即ち、一種の反対補間）によって行う。もしテスト補間が正確であったならば、この投影により入力フレームが再生される筈である（この比較を順方向及び逆方向投影と呼ぶことにする）。反対投影されたフレームをピクセル毎に真の入力フレームから差引いて、エラーフレームを作る。該補間が完全に正確であったならば、エラーフレームにおけるピクセルはすべてゼロとなるであろう。不正確な補間の位置は、エラーフレーム中の非ゼロ値で表される。
【００５１】
図９及び１０に示すように、ピクセル３８は、入力フレーム（ｎ）及び入力フレーム（ｎ＋１）間で水平方向に４ピクセルだけ動いている。従来手段で選択した動きベクトルをアレイ４０で示す。２つの入力フレーム及び動きベクトルをそれから、テスト出力フレーム４２の発生と、夫々順方向及び逆方向ヒットボード４４及び４６の発生とに用いる。図９の左側に示す中間の３ピクセル位置については、白ピクセルから白ピクセルへのゼロ動きベクトルとの整合は、動くピクセル３８について（黒ピクセルから黒ピクセルへ）の真の整合と同じ位に明瞭である。
【００５２】
それから、順方向及び逆方向投影を行い、その際、反対投影された各出力ピクセルを入力フレーム（ｎ）及び（ｎ＋１）内の対応する位置から差引いて、順方向及び逆方向エラーフレームを作る。入力ピクセルと順方向及び逆方向投影されたピクセルとの差は、入力フレーム座標内のエラー位置としてマークされる（４８，５０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークし、一部が或るピクセル内に入り一部がその隣りに入る物体や物体のエッジの影響を減らすため更にフィルタリングを使用する。）ヒットボードに２つ以上のエントリがあるピクセルは、このエラーマーキングでは無視（マスク）される。これを「＊」５２で示す。
【００５３】
動きベクトルはそれから、次の一連のルールによって訂正される。
（１）ヒットボードを調べ、順方向及び逆方向ヒットボードにゼロ・エントリをもつピクセル位置を探す。
（２）順方向又は逆方向エラーフレームのこの点（即ち、エラー位置）に相違（差）が生じているか？
（３）この位置で使用されたベクトルは、複数ヒットボード・エントリを指し示しているか？
（４）（２）及び（３）に対する回答がイエスならば、ベクトルは多分間違っていると判定できる。そのベクトルを捨て隣りの（異なる）ベクトルを試す。
不正ベクトルの位置は、次のようにして引き出せる。
現ベクトルが正でｔ＜０．５ならば、不正ベクトルの位置は、逆方向ヒットボードにおけるゼロ書込みフラグに対して＋（ｔ・ｖ）だけ変位して（ずれ）ている。
現ベクトルが正でｔ＞０．５ならば、不正ベクトルの位置は、順方向ヒットボードにおけるゼロ書込みフラグに対して−（（１−ｔ）・ｖ）だけずれている。
【００５４】
図１０に戻る。この図は、図９に示した映像部分に対するテスト補間及びヒットボード発生を示す。詳しくいえば、番号５４で示すように、各ピクセルがソースとして使用された回数がヒットボードに記録される。ピクセル３８は、順方向又は逆方向入力フレームのどちらにおいてもソースとして使用されず、したがって、補間された出力フレームはこの黒いピクセル３８を含まないことが見られるであろう。よって、逆方向及び順方向エラーフレームの、入力フレーム（ｎ）及び（ｎ＋１）の黒ピクセル３８に対応する位置に、エラー位置が検出されることになる。
【００５５】
図１１に示すように、図９の逆方向エラーフレームからのエラー位置４８は、ヒットボード４６内で見付けられると、それがソースとして使用されなかった位置に対応するものかどうかが調べられる。この場合はそれに対応するので、不正ベクトルが存在する可能性があることになる。このエラーは逆方向エラーフレームで検出されるので、順方向投影において同じエラーに対して補正する必要はない。このベクトルの位置は、逆方向の位置からｔ・ｖとして、即ち本例では、右に１ピクセルずれた位置５６が計算される。この位置の古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選ばれた代わりのベクトルで置換えられる（本例では、ｖ）。
【００５６】
図１２及び１３は、このテストがこの訂正された動きベクトルで行われた場合にどうなるか、即ちエラーが存在しなくなる状況を示す。図示のようにこの場合は、ピクセル３８が出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルに投影されないピクセルを含まない。
【００５７】
図１４〜１８は、黒いピクセル５８が静止した黒い区域６０の背後を通る、即ち収束する場合の第３技法の他の例を示す。図１４において、ピクセル５８は、入力フレーム（ｎ）及び入力フレーム（ｎ＋１）間で水平方向に４ピクセルだけ動いている。通常の手段で選択された動きベクトルをアレイ６２に示す。２入力フレーム及び動きベクトルはそれから、テスト出力フレーム６４の発生並びに順方向及び逆方向ヒットボード６６及び６８の発生に夫々使用される。
【００５８】
前と同様、順方向及び逆方向投影を行い、それからこれらのフレームを対応する入力フレームと比較し、順方向及び逆方向エラーフレームを発生する。入力ピクセルと順方向及び逆方向投影されたピクセルとの間の差が、入力フレーム座標でエラー位置としてマークされる（７０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークする。一部が或るピクセルに入り一部がその隣りに入る物体や物体のエッジの影響を減らすため更にフィルタリングを使用する。）２以上のエントリがヒットボードに存在するピクセルは、「＊」７２で示すようにこのエラーマーキングでは無視（マスク）する。
動きベクトルをそれから、上述した一連のルールによって訂正する。
【００５９】
図１５は、図１４に示した映像部分（領域）に対するテスト補間及びヒットボード発生を示す。詳しくいうと、各ピクセルがソースとして使用された回数が、番号７４で示すようにヒットボードに記録される。図より、ピクセル５８は、順方向又は逆方向入力フレームのどちらにもソースとして使用されず、したがって、補間された出力フレームはこの黒いピクセル５８を含まないことが見られるであろう。よって、エラー位置は、逆方向エラーフレームの、入力フレームｎにおける黒ピクセル５８と対応する位置に検出されることになる。
【００６０】
図１６に示すように、図１４の逆方向エラーフレームからのエラー位置７０がヒットボード６６及び６８において探し出されると、それがソースとして使用されない位置に対応するかどうかが調べられる。この場合はそれに対応するので、誤りベクトルが存在する可能性があることになる。このベクトルの位置は、逆方向における位置からｔ・ｖとして、即ち、この場合右へ１ピクセルずれた位置７７が計算される。この位置における古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選ばれた代わりのベクトルで置換される（この場合は、ｖ）。
【００６１】
図１７及び１８は、この訂正された動きベクトルでテストが行われる場合どうなるか、即ち、エラーが存在しなくなる状況を示す。図示のようにこの場合は、ピクセル５８が出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルへ投影されないピクセルを含まない。
【００６２】
図１９〜２３は、黒いピクセル７８が黒い静止区域８０の背後から現れる（離れる）場合の第３技法の例を示す。図１９において、黒ピクセル７８は、入力フレーム（ｎ）と入力フレーム（ｎ＋１）の間で水平方向に４ピクセルだけ動いている。通常の手段で選択された動きベクトルをアレイ８２で示す。２入力フレーム及び動きベクトルはそれから、テスト出力フレーム８４の発生と、順方向及び逆方向ヒットボード８６及び８８の発生とに夫々使用される。
【００６３】
順方向及び逆方向投影を行い、反対投影における各出力ピクセルを入力フレーム（ｎ）及び（ｎ＋１）における対応位置から差引いて、順方向及び逆方向エラーフレームを発生する。入力ピクセルと順方向及び逆方向投影されたピクセルとの間の差を、入力フレーム座標でエラー位置としてマークする（９０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークする。一部が或るピクセル内に入り一部がその隣りに入る物体や物体のエッジの影響を減らすために更にフィルタリングを用いる。）２以上のエントリがヒットボードに存在するピクセルは、このエラーマーキングでは「＊」９２で示すように無視（マスク）する。
動きベクトルをそれから、上述した一連のルールによって訂正する。
【００６４】
図２０は図１９に示した映像部分に対するテスト補間及びヒットボード発生を示す。詳しくいうと、各ピクセルがソースとして使用された回数が、番号９４で示すようにヒットボードに記録される。図から、ピクセル７８は順方向又は逆方向入力フレームのどちらにもソースとして使用されず、したがって、補間された出力フレームはこの黒ピクセル７８を含まないことが見られるであろう。よって、エラー位置は、順方向エラーフレームの、入力フレーム（ｎ＋１）における黒ピクセル７８と対応する位置に検出されることになる。
【００６５】
図２１に示すように、図１９の順方向エラーフレームからのエラー位置９０がヒットボード８６及び８８で見付けられると、それがソースとして使用されなかった位置に対応するかどうかが調べられる。この場合はそれに対応するので、誤りベクトルが存在する可能性があることになる。このエラーは順方向エラーフレーム８６で検出されるので、逆方向エラーフレームにおける同じエラーを訂正する必要はない。このベクトルの位置は順方向における位置から−（１−ｔ）・ｖとして、即ち、この場合左へ１ピクセルずれた位置９８が計算される。この位置における古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選んだ代わりのベクトルで置換える（本例では、ｖ）。
【００６６】
図２２及び２３は、この訂正された動きベクトルでテストが行われた場合どうなるか、即ちエラーが存在しなくなる状況を示す。この場合、ピクセル７８は出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルへ投影されないピクセルを含まない。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、入力映像の中に物体が隠れたり見えるようになったりする部分があっても、補間された映像の質が改善される効果がある。
【図面の簡単な説明】
【図１】隣接映像間で背景が見え隠れする例を示す正面図である。
【図２】見え隠れを検出するヒットボード技法の例を示す説明図である。
【図３】上記ヒットボード技法の他の例を示す説明図である。
【図４】ヒットボードのデータを発生する回路を示す図である。
【図５】ヒットボードのデータに基く補間制御回路を示す図である。
【図６】ヒットボード・データによる動きベクトル選択の例１を示す説明図である。
【図７】ヒットボード・データによる動きベクトル選択の例２を示す説明図である。
【図８】ヒットボード・データによる動きベクトル選択の例３を示す説明図である。
【図９】ヒットボード・データによる誤り動きベクトル検出の例１を示す説明図である。
【図１０】図９に示す映像部分に対するテスト補間及びヒットボード発生を示す説明図である。
【図１１】図９に示す誤り動きベクトルの訂正を示す説明図である。
【図１２】図１１の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図１３】図１２に関するテスト補間及びヒットボード発生を示す説明図である。
【図１４】ヒットボート・データによる誤り動きベクトル検出の例２を示す説明図である。
【図１５】図１４に示す映像部分に対するテスト補間及びヒットボード発生を示す説明図である。
【図１６】図１４に示す誤り動きベクトルの訂正を示す説明図である。
【図１７】図１６の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図１８】図１７に関するテスト補間及びビットボード発生を示す説明図である。
【図１９】ヒットボード・データによる誤り動きベクトル検出の例３を示す説明図である。
【図２０】図１９に関するテスト補間及びヒットボード発生を示す説明図である。
【図２１】図１９に示す誤り動きベクトルの訂正を示す説明図である。
【図２２】図２１の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図２３】図２２に関するテスト補間及びヒットボード発生を示す説明図である。
【符号の説明】
２０，２２ ヒットボード（投影する手段）
２４ ベクトル選択器
２６ ベクトルバッファ
２８ ヒットボード発生器
３０ 複数エントリ検出器
３２ 制御フラグ発生器
【産業上の利用分野】
本発明は、動き補正映像補間の分野に関するものである。
【０００２】
【従来の技術】
標準規格変換、例えばフィルムからテレビジョンへ又は或るテレビジョンフォーマットから他のテレビジョンフォーマットへの変換の如き目的に用いられる動き補正映像補間は、公知である。かような技法の例は、英国公開特許出願ＧＢ−Ａ−２２３１７４９号（ソニー株式会社）に記載されている。前景の物体と背景の物体との間に相対的な動きがある場合、これらの技法に起こる問題は、連続する入力映像の間で、背景の物体の一部が前景の物体により時に隠れたり、見えるようになったりする（見え隠れする）ことである。
【０００３】
背景物体が見え隠れする例を図１に示す。前景の自動車が静止背景を通過するとき、該自動車に隠れていたレッカー車の前輪が現れるようになり、ラジオアンテナ柱の根基が隠れる。図１に示す２フィールド間の出力フィールドの補間には、かような見え隠れを考慮に入れなければならない。詳しくいうと、出力フィールドでは、該出力フィールドの時間位置に応じてラジオアンテナ柱及びレッカー車の車輪が部分的に見え隠れする。この結果、フィールド０からのピクセルしかラジオアンテナ柱の可視部分の発生に使用できず、フィールド１からのピクセルしかレッカー車の前輪の可視部分の発生に使用できない。
【０００４】
したがって、入力フィールドの適切な一方（即ち、上の例ではラジオアンテナ柱に対してはフィールド０，レッカー車に対してはフィールド１）からのピクセルだけを補間に使用できるように、物体が隠れたり現れたりするのを検出する必要がある。これが達成できないか又は何か外の補正策を取らなければ、補間された映像は質の低下を免れない。
【０００５】
【発明が解決しようとする課題】
本発明の課題は、上述の問題を克服もしくは軽減することである。
【０００６】
【課題を解決するための手段及び作用】
本発明は、一面からみて、時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する装置であって、次の構成要素を具えるものを提供する。
【０００７】
出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出する手段、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出手段、
上記回数検出手段の検出結果に応じて補間を制御する制御手段。
上記制御手段の制御のもとで動き補正補間を行う補間器。
上記制御手段は、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出する手段と、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットする手段と、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットする手段と、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせる手段と
を含む。
【０００８】
動きベクトルを入力ピクセル値列に投影して、各入力ピクセル値が補間のためのソースとして何回使用されるかを決定することは、隠れるか又は現れる映像部分の検出に役立つ。
制御手段は、この使用回数の検出結果を使用して、２つの入力ピクセル値列のうちの一方の入力ピクセル値がソースとして１回より多く使用された場合、その入力ピクセル値に対応する出力ピクセル値列のピクセル値を、他方の入力ピクセル値列のみから動きベクトルを用いて補間するように補間器を制御する。
【０００９】
良好な実施例では、制御手段はさらに次の手段を有する。
【００１０】
補間器に補間させた出力ピクセル値列の各ピクセル位置における動きベクトルを反対方向に向けることにより、上記出力ピクセル値列の各ピクセル値を上記２つの入力ピクセル値列に投影する手段、
上記２つの入力ピクセル値列の入力ピクセル値のうち、上記投影された出力ピクセル値と差があり、且つ、上記回数検出手段でソースとして使用されないと検出された入力ピクセル値をエラー位置としてマークする手段、
上記出力ピクセル値列のうち上記エラー位置に対応するピクセル位置における動きベクトルと、上記入力ピクセル値列に対する上記出力ピクセル値列の時間変位とを乗算し、上記出力ピクセル値列のうち上記乗算結果だけ上記エラー位置からずれたピクセル位置を計算する手段、
上記出力ピクセル値列のうち上記計算されたピクセル位置における動きベクトルを、該出力ピクセル位置の近傍の出力ピクセル位置における動きベクトルに置き換えて、上記補間器に補間を行わせる手段。
【００１１】
この技法では、不正な（誤りの）動きベクトルを識別してこれを代わりのものと置換し、もっと良質の補間映像を作るという態様を取っている。
【００１５】
見え隠れする部分に対応する動きベクトルのエラーを考慮する、又は他に頼らずに用いるこの技法の改良として、本発明の好適な具体構成では、上記制御手段は次の如き手段をさらに含む。
【００１６】
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置のピクセル値について、上記他方の入力ピクセル値列のみから、上記他方の入力ピクセル値列と、上記他方の入力ピクセル値列からみて上記一方の入力ピクセル値列とは時間的に反対側に隣接する入力ピクセル値列との間の動きベクトルをさらに用いて上記補間器に補間を行わせる手段。
【００１７】
入力ピクセル値がソースとして何回使用されたかを検出することは、計算的には激しい動作であることが認められるであろう。汎用コンピュータはこの動作を行いうるが、好適な具体構成では、上記回数検出手段が次の手段を含む如き特殊用途ハードウェアを組込む。
【００１８】
上記出力ピクセル値列の各ピクセル位置のアドレスと、該アドレスに対応する動きベクトルとを発生する手段、
各々の上記アドレスに対応する動きベクトルに、上記２つの入力ピクセル値列に対する上記出力ピクセル値列の時間変位をそれぞれ乗算する手段、
各々の上記アドレスに、上記２つの入力ピクセル値列についての上記乗算結果をそれぞれ加算する手段、
上記２つの入力ピクセル値列の各入力ピクセル値に対応する記憶位置を有し、上記記憶位置のうち、上記加算結果が示すアドレスの入力ピクセル値に対応する記憶位置に記憶する使用回数をインクリメントする記憶手段。
【００１９】
本発明は、他の面からみて、時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する方法であって、次のステップを含むものを提供する。
【００２０】
出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出するステップ、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出ステップ、
動き補正補間を行う補間器を、上記回数検出ステップの検出結果に応じて制御する制御ステップ。
上記制御ステップは、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出するステップと、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットするステップと、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットするステップと、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせるステップとを含む。
【００２１】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、入力ピクセル値の入力アレイを形成する２つの時間的に隣接するフィールドを示し、それらの間で出力ピクセル値の出力フィールドを補間しようとするものである。レッカー車及びラジオアンテナ柱は、フィールド０及びフィールド１においてどちらも静止している。自動車は、フィールド０におけるレッカー車の前部からフィールド１におけるラジオアンテナ柱の前部へと動いている。したがって、フィールド１では、レッカー車の運転台の下方及び前輪が現れて見えるようになり、ラジオアンテナ柱の下部は隠れて見えなくなっている。
【００２２】
補間しようとする出力フィールドの相対的な時間位置に応じて、出力フィールドに、フィールド１で現れるか又は隠れた映像部分（領域）を含ませる必要がある。正確に補間するためには、補間されたフィールドの見える部分はフィールド１だけから導出すべきであり、逆に、見えない部分はもっぱらフィールド０から補間すべきである。このようにより正確な補間を可能とする補間の制御を行うためには、時間的に隣接するフィールド間で隠れたり現れたりする部分を検出しなければならない。
【００２３】
図２は、見え隠れする部分を検出するヒットボード技法の説明図である。ヒットボードとは、各ピクセルが補間のためのソースとして何回使用されたかを示すアレイのことである（後述参照）。フィールド０及びフィールド１は、静止（即ち、動きベクトルｖ＝０）ブロック２の背後を左方向に動く（即ち、ｖ＝−３）一連の文字を示す。補間しようとする出力フィールドは、フィールド１に向かう途中の２／３の位置にある（即ち、時間位置ｔ＝２／３）。
【００２４】
フィールド０では、一番右に見える文字はＤである。フィールド１では、一番右に見える文字はＧである。補間（された）フィールドでは、一番右に見えるべき文字はＦである。出力フィールドにおける全ピクセルに対して正しい動きベクトルは既に決まっている、と仮定する（即ち、文字Ａ〜Ｆに対してはｖ＝−３，ブロック２の全ピクセルに対してはｖ＝０）。
【００２５】
以前の装置による公知の動作では、各出力ピクセルは、その動きベクトルを時間的に隣接するフィールドに時間的順（前）方向及び逆（後）方向に投影し、各ピクセル値が出力フィールドの入力フィールドに対する相対的な時間近接度に従って加重（重み付け）された、指し示された入力ピクセル値の和を用いることにより、導出されている。本例では、文字Ｅ及びＦは、フィールド０には現れないので、フィールド０から何か補間に関与させれば、映像の質を低下させることになろう。
【００２６】
フィールド０に対するヒットボードであるヒットボード０は、各動きベクトルを用いて出力フィールド位置から時間的逆方向に投影し、フィールド０における対応ピクセルに対して記憶された値をインクリメントすることにより、導出される（後述参照）。フィールド０に示される入力ピクセル値はすべて、ブロック２の左端にある２入力フィールド値を除き、ソースとして１回使用されている。
【００２７】
時間的に逆方向におけるヒットボードの複数エントリ（データ）は、現れる部分を示す。２回ヒットが生じている２つのピクセルに対する、出力フィールドに関する制御フラグが「１」にセットされ、補間がもっぱらフィールド１から行われるべきであることを示す。更に、該制御フラグがセットされたピクセルの両側のピクセルにどんな動きベクトルが対応しているかが調べられる。該制御フラグはそれから、２回ヒットが生じたフィールドからの時間変位（ずれ）を乗じた、隣接ピクセルに対する動きベクトルによって与えられる距離だけ、どちらか一方の側に延長される。
【００２８】
１回しかヒットが生じなかった残りの制御フラグは「ｂ」にセットされ、フィールド０及びフィールド１の両方を補間用ソースとして使用すべきであることを示す。
【００２９】
このようにセットされた制御フラグを使えば、文字Ｅ及びＦに対する出力映像ピクセル値は、もっぱらフィールド１から導出され、フィールド０からの関与はなくなる。こうすると、補間された映像の質がよくなる。
【００３０】
上述から分かるように、ビットボードは、映像の隠れたり現れたりする部分が２入力フィールドの適切な方だけから導出されるように、補間器を制御するのに用いられている。この技法は、各出力ピクセルに対して正しい動きベクトルが選ばれている、と仮定するものである。
【００３１】
制御フラグ（出力フィールドのピクセル当たり１つ）のアレイは、次の選択事項のうち１つを示すためにセットされる。
（ａ）フィールド０のみから補間する。
（ｂ）フィールド１のみから補間する。
（ｃ）両フィールドから補間する。
【００３２】
これらのフラグは、次のようにして発生される。
１．２つのヒットボードについて倍数（又は複数）のエントリを調べる。ヒットボード０に１回より多いエントリがあれば、当該位置の出力ピクセルを発生するのにフィールド１のみを使用すべきである。同じく、ヒットボード１に１回より多いエントリがあれば、当該位置の出力ピクセルを発生するのにフィールド０のみを使用すべきである。それらの位置に対して、それに応じ
た制御フラグをセットする。
２．制御フラグがセットされて一方のフィールドのみを当該出力ピクセルの補間に使用すべきことが示された場合、或る数の隣接制御フラグをセットする。セットされた制御フラグの区域の端（エッジ）に隣接するｎ個の制御フラグを同一のセッティングにセットする。ここで、ｎは、出力フィールドの時間位置（ｔ）を乗じた、隣接フラグの方向（即ち、水平、垂直、上又は下）の当該エッジにおけるベクトル成分に等しい。即ち、左端における水平ベクトル成分がｘl であり、右端における水平ベクトル成分がｘr であり、上端における垂直成分がｙt であり、下端における垂直ベクトル成分がｙb であり、時間位置がｔ（ただし、０≦ｔ≦１）であれば、上記セットされた制御フラグの水平方向に−ｘl ｔ及び＋ｘr ｔピクセル、垂直方向に−ｙb ｔ及
び＋ｙt ｔピクセル内にある制御フラグを同じようにセットする。
【００３３】
図３は、上述の技法の他の例を示す。この例では、文字の列が左方向にｖ＝−６で動き、ブロック２が右方向にｖ＝＋３で動いている。出力フィールドから時間的逆方向に投影すると、文字Ｅ〜Ｊが、フィールド０のブロック２の左側６ピクセルの上に、出力フィールドのブロック２の左側６ピクセルからの真の投影に加えて投影される。したがって、これらの６ピクセルは倍数のヒットボード・エントリをもち、これらに対する補間はフィールド１のみから行うできべあることを示す。倍数のヒットボード・エントリに直接対応するこれらの制御フラグのセッティングに加えて、隣接するピクセル列ｐ，ｑに関する動きベクトルが夫々−６及び＋３と決定される。これらの各ベクトルに、倍のエントリが生じているフィールド０からの時間ずれ（ｔ＝２／３）を乗じることにより、制御フラグ「１」を左に４ピクセル位置、右に２ピクセル位置だけ延長する。
【００３４】
こうすると、ピクセルＥ〜Ｊがフィールド１だけから正しく補間され、補間された映像の質がよくなる。
【００３５】
図４は、時間的に順方向と逆方向に隣接するフィールド（又はフレーム）に対するヒットボードのエントリ（データ）を導出する回路を示す。ピクセルアドレスカウンタ８は、補間しようとする出力フィールド内を端から端まで動く一連のピクセルアドレスを発生する。ピクセルアドレスカウンタ８と同期して、ピクセルアドレスにおける動きベクトルが入力端１０より乗算器１２，１４に供給される。補間すべき出力フィールドは、時間的逆（後）方向のフィールド０と時間的順（前）方向のフィールド１との間の或る時間位置ｔにあるものとする。また、出力フィールドからフィールド０に対する時間ずれ「−ｔ」が乗算器１２に加えられ、出力フィールドからフィールド１に対する時間ずれを表す対応値「（１−ｔ）」が他方の乗算器１４に加えられる。
【００３６】
乗算器１２からの出力は、現在ピクセルアドレスカウンタ８から出力されているピクセルアドレスに対応するピクセル位置におけるベクトルを、フィールド０の上に時間的逆方向に投影して得られるピクセルアドレスに対する（からの）オフセット（ずれ）を表す。同様に、乗算器１４からの出力は、フィールド１への時間的順方向の投影で得られるピクセルアドレスに対するオフセットを表す。これらのアドレスオフセットは夫々加算器１６及び１８に供給され、そこで、ピクセルアドレスカウンタ１８からの現ピクセルアドレスと加算され、時間的に前後のフィールドに投影された補間のためのソースアドレスを生じる。これらのソースアドレスは、ヒットボード２０及び２２（各ピクセル位置に対する記憶位置をもつＲＡＭのアレイ）へ加えられ、そこで、それらは指し示されたアドレスに付随して値をインクリメントさせ、補間のソースとしての使用回数を表す。
【００３７】
図５は、ヒットボードを用いて補間を制御する回路を示す。公知の方法で発生されたベクトルは、ベクトル選択器２４に供給され、そこからベクトルバッファ２６及びヒットボード発生器２８に送られる。ヒットボード発生器２８は、図４について述べた構成を有する。ベクトルバッファ２６は、図５の回路の上部における処理遅延に対応する期間だけベクトルを遅らせる働きをする。出力フィールドから夫々時間的逆方向及び順方向に投影するためのヒットボード２０（ＨＢ０）及び２２（ＨＢ１）は、複数エントリ検出器３０と共に、映像における隠れたり現れたりする部分を検出する働きをする。複数エントリ検出器３０は、複数エントリを示す信号を制御フラグ発生器３２に供給し、該制御フラグ発生器は、補間器を制御すると共に上述した制御フラグのエッジ延長をも行う制御フラグを発生する。制御フラグ発生器３２には、ベクトルバッファからの遅れたベクトルと出力フィールドの時間位置ｔとが、複数エントリ検出器３０からの出力に加えて供給される。これらの情報は、補間用ソースとしてフィールド０，フィールド１又は両フィールドを使用するかどうかを制御する、補間器（下流）への制御フラグを発生するのに必要なものである。
【００３８】
図６は、前の又は次の入力フィールドからの動きベクトルを夫々見え隠れする物体の補間に強制的に使用することにより、後続の補間を制御するためのヒットボード・エントリの使い方を示す。一連の入力フィールドｉ／ｐ１，ｉ／ｐ２及びｉ／ｐ３は、左方向に動いている背景３６に対して右方向に動いているブロック３４を示す。出力フィールドｏ／ｐ１，ｏ／ｐ２は、入力フィールド間の位置で補間されるべきものを示す。「○」で示すピクセルは、夫々のシーン（場面）における分離（別れ）によって見えるようになったもので、それらの対応する正当な動きベクトルをもたない。
【００３９】
この見えるようになったピクセルａに対応するデフォルト（省略時）動きベクトルは、ゼロである。これは、入力フィールドｉ／ｐ１に対する（時間的）逆方向のヒットボードの「×」で示す点に倍数エントリを生じさせる。その他の見えるピクセルは、動きベクトルが動いているブロックから導出される位置にあり、その位置では、逆方向ヒットボードには倍数エントリを生じない。
【００４０】
逆方向ヒットボードの「×」位置にある倍数エントリは分離を示し、即ち、動きベクトルを後続のフィールド対ｉ／ｐ２及びｉ／ｐ３から取るべきであることを示す。これらの動きベクトル３８は、それまで動きベクトルが正しく特定されていなかった点４０の補間に使うことができる。補間はそれから、これらの補正された動きベクトルを用い、図２及び３に示した技法に従って行われる。
【００４１】
同様に、ピクセルｂが、入力フィールドｉ／ｐ２及びｉ／ｐ３間で現れ、逆方向ヒットボードに倍数エントリを生じる。したがって、次の入力フィールドに関する動きベクトルが、出力フィールドｏ／ｐ２の補間されるピクセル４２のために使用される。
【００４２】
図７は、収束する（近づく）場合の例を示す。本例では、ブロック３４と背景３６とがブロック３４の右端で収束している。入力フィールドｉ／ｐ１におけるピクセル位置ｃはこの収束によって隠れ、その結果それらはデフォルト・ゼロ動きベクトルをもち、入力フィールドｉ／ｐ２に対応する順方向ヒットボードに倍数のエントリを生じる。順方向ヒットボードは、それらの点（ｃ）に対するベクトルを逆方向から、即ち入力フィールドｉ／ｐ０（図示せず）及びｉ／ｐ１間で導出されたベクトルから取るべきであることを示す。前と同様、これらの補正された動きベクトルを補間に用いることができる。
【００４３】
上述と同じようにして、ピクセルｄに対する動きベクトルは、順方向に倍数ヒットボード・エントリがあることから、入力フィールドｉ／ｐ１及びｉ／ｐ２間のベクトルから取ることができる。
【００４４】
上述の動作は、次のように考えられる。
１．逆方向に収束するベクトル（即ち、倍数書込み）は離れてゆくシーンを示すので、ベクトルは次に出力されるベクトルから選択しなければならないであろう。
即ち、順方向に分離するベクトル（即ち、ゼロ書込み）は離れてゆくシーンを示すので、ベクトルは次に出力されるベクトルから選択しなければならないであろう。
２．逆方向に分離するベクトル（即ち、ゼロ書込み）は近づくシーンを示すので、ベクトルは前に出力されたベクトルから選択しなければならないであろう。
即ち、順方向に収束するベクトル（即ち、倍数書込み）は近づくシーンを示すので、ベクトルは前に出力されたベクトルから選択しなければならないであろう。
【００４５】
図８に、一連の入力フィールドｉ／ｐ１〜ｉ／ｐ６を示す。このフィールド列では、黒いブロックは、カメラがそれを追っている間に、背景に対して動き始めまた停止している。フィールドｉ／ｐ２及びｉ／ｐ３間では、該ブロックが動き、カメラが追っている間そのブロックはなお該フレームの中で動いている。この点は、フィールドｉ／ｐ３及びｉ／ｐ４間でも同様である。フィールドｉ／ｐ４及びｉ／ｐ５間では、カメラが該ブロックに追従するのに成功し、それを該フレーム内で静止状態に保持しており、他方背景は動いている。フィールドｉ／ｐ５及びｉ／ｐ６間では、該ブロックは動きを止めている。出力フィールドｏ／ｐ１，ｏ／ｐ２及びｏ／ｐ３は、入力フィールドの間の位置にある。
【００４６】
この例では、逆方向投影書込みにおいてゼロ書込みに相当するベクトル選択上の整合不良が起こる場合、ベクトルは、順方向に投影された前の出力フィールドに使用されたものを使用すべきであることが分かるであろう。
【００４７】
図８において、このようにして選択されたベクトルは、ａ，ｂ，ｃ，ｄ，ｉ及びｊである。ベクトルａ，ｂ，ｃ及びｄは、実際には正しくないベクトルであるが、この状況では最良の「使用可能な」ベクトルである。ベクトルｉ及びｊは、正しいベクトルである。
【００４８】
反対に、順方向投影書込みにおいてゼロ書込みに相当するベクトル選択上の整合不良がある場合、ベクトルは、逆方向に投影された次の出力フィールドに使用されるものを使用すべきである。この場合、これらのベクトルはｋ，ｌ，ｍ，ｎ，ｏ及びｐであり、これらは夫々正しいベクトルである。これは、ベクトルｅ，ｆ，ｇ及びｈについても同様である。
【００４９】
図９〜１３は、出力映像の質をよくするために、ヒットボード・エントリを後続の補間の修正に用いる第３の技法を示す。この場合、ヒットボードは、他の情報と共に、間違って選択された動きベクトルを補正するのに使用する。
【００５０】
その処理は、出力フィールドの補間の一部として行われる。まずテスト補間が行われ、動きベクトル及び補間器制御が（必要に応じて）修正され、補間は終了する。ヒットボード（逆方向及び順方向書込みフラグ）が、各出力ピクセルに対し選択された動きベクトルと２つの入力フィールドとの交差を示すために設けられる。更に、テスト補間で発生された出力フレームを、それを発生した入力フレーム上に投影する。それは、全動きベクトルを反対方向に向けること（即ち、一種の反対補間）によって行う。もしテスト補間が正確であったならば、この投影により入力フレームが再生される筈である（この比較を順方向及び逆方向投影と呼ぶことにする）。反対投影されたフレームをピクセル毎に真の入力フレームから差引いて、エラーフレームを作る。該補間が完全に正確であったならば、エラーフレームにおけるピクセルはすべてゼロとなるであろう。不正確な補間の位置は、エラーフレーム中の非ゼロ値で表される。
【００５１】
図９及び１０に示すように、ピクセル３８は、入力フレーム（ｎ）及び入力フレーム（ｎ＋１）間で水平方向に４ピクセルだけ動いている。従来手段で選択した動きベクトルをアレイ４０で示す。２つの入力フレーム及び動きベクトルをそれから、テスト出力フレーム４２の発生と、夫々順方向及び逆方向ヒットボード４４及び４６の発生とに用いる。図９の左側に示す中間の３ピクセル位置については、白ピクセルから白ピクセルへのゼロ動きベクトルとの整合は、動くピクセル３８について（黒ピクセルから黒ピクセルへ）の真の整合と同じ位に明瞭である。
【００５２】
それから、順方向及び逆方向投影を行い、その際、反対投影された各出力ピクセルを入力フレーム（ｎ）及び（ｎ＋１）内の対応する位置から差引いて、順方向及び逆方向エラーフレームを作る。入力ピクセルと順方向及び逆方向投影されたピクセルとの差は、入力フレーム座標内のエラー位置としてマークされる（４８，５０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークし、一部が或るピクセル内に入り一部がその隣りに入る物体や物体のエッジの影響を減らすため更にフィルタリングを使用する。）ヒットボードに２つ以上のエントリがあるピクセルは、このエラーマーキングでは無視（マスク）される。これを「＊」５２で示す。
【００５３】
動きベクトルはそれから、次の一連のルールによって訂正される。
（１）ヒットボードを調べ、順方向及び逆方向ヒットボードにゼロ・エントリをもつピクセル位置を探す。
（２）順方向又は逆方向エラーフレームのこの点（即ち、エラー位置）に相違（差）が生じているか？
（３）この位置で使用されたベクトルは、複数ヒットボード・エントリを指し示しているか？
（４）（２）及び（３）に対する回答がイエスならば、ベクトルは多分間違っていると判定できる。そのベクトルを捨て隣りの（異なる）ベクトルを試す。
不正ベクトルの位置は、次のようにして引き出せる。
現ベクトルが正でｔ＜０．５ならば、不正ベクトルの位置は、逆方向ヒットボードにおけるゼロ書込みフラグに対して＋（ｔ・ｖ）だけ変位して（ずれ）ている。
現ベクトルが正でｔ＞０．５ならば、不正ベクトルの位置は、順方向ヒットボードにおけるゼロ書込みフラグに対して−（（１−ｔ）・ｖ）だけずれている。
【００５４】
図１０に戻る。この図は、図９に示した映像部分に対するテスト補間及びヒットボード発生を示す。詳しくいえば、番号５４で示すように、各ピクセルがソースとして使用された回数がヒットボードに記録される。ピクセル３８は、順方向又は逆方向入力フレームのどちらにおいてもソースとして使用されず、したがって、補間された出力フレームはこの黒いピクセル３８を含まないことが見られるであろう。よって、逆方向及び順方向エラーフレームの、入力フレーム（ｎ）及び（ｎ＋１）の黒ピクセル３８に対応する位置に、エラー位置が検出されることになる。
【００５５】
図１１に示すように、図９の逆方向エラーフレームからのエラー位置４８は、ヒットボード４６内で見付けられると、それがソースとして使用されなかった位置に対応するものかどうかが調べられる。この場合はそれに対応するので、不正ベクトルが存在する可能性があることになる。このエラーは逆方向エラーフレームで検出されるので、順方向投影において同じエラーに対して補正する必要はない。このベクトルの位置は、逆方向の位置からｔ・ｖとして、即ち本例では、右に１ピクセルずれた位置５６が計算される。この位置の古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選ばれた代わりのベクトルで置換えられる（本例では、ｖ）。
【００５６】
図１２及び１３は、このテストがこの訂正された動きベクトルで行われた場合にどうなるか、即ちエラーが存在しなくなる状況を示す。図示のようにこの場合は、ピクセル３８が出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルに投影されないピクセルを含まない。
【００５７】
図１４〜１８は、黒いピクセル５８が静止した黒い区域６０の背後を通る、即ち収束する場合の第３技法の他の例を示す。図１４において、ピクセル５８は、入力フレーム（ｎ）及び入力フレーム（ｎ＋１）間で水平方向に４ピクセルだけ動いている。通常の手段で選択された動きベクトルをアレイ６２に示す。２入力フレーム及び動きベクトルはそれから、テスト出力フレーム６４の発生並びに順方向及び逆方向ヒットボード６６及び６８の発生に夫々使用される。
【００５８】
前と同様、順方向及び逆方向投影を行い、それからこれらのフレームを対応する入力フレームと比較し、順方向及び逆方向エラーフレームを発生する。入力ピクセルと順方向及び逆方向投影されたピクセルとの間の差が、入力フレーム座標でエラー位置としてマークされる（７０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークする。一部が或るピクセルに入り一部がその隣りに入る物体や物体のエッジの影響を減らすため更にフィルタリングを使用する。）２以上のエントリがヒットボードに存在するピクセルは、「＊」７２で示すようにこのエラーマーキングでは無視（マスク）する。
動きベクトルをそれから、上述した一連のルールによって訂正する。
【００５９】
図１５は、図１４に示した映像部分（領域）に対するテスト補間及びヒットボード発生を示す。詳しくいうと、各ピクセルがソースとして使用された回数が、番号７４で示すようにヒットボードに記録される。図より、ピクセル５８は、順方向又は逆方向入力フレームのどちらにもソースとして使用されず、したがって、補間された出力フレームはこの黒いピクセル５８を含まないことが見られるであろう。よって、エラー位置は、逆方向エラーフレームの、入力フレームｎにおける黒ピクセル５８と対応する位置に検出されることになる。
【００６０】
図１６に示すように、図１４の逆方向エラーフレームからのエラー位置７０がヒットボード６６及び６８において探し出されると、それがソースとして使用されない位置に対応するかどうかが調べられる。この場合はそれに対応するので、誤りベクトルが存在する可能性があることになる。このベクトルの位置は、逆方向における位置からｔ・ｖとして、即ち、この場合右へ１ピクセルずれた位置７７が計算される。この位置における古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選ばれた代わりのベクトルで置換される（この場合は、ｖ）。
【００６１】
図１７及び１８は、この訂正された動きベクトルでテストが行われる場合どうなるか、即ち、エラーが存在しなくなる状況を示す。図示のようにこの場合は、ピクセル５８が出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルへ投影されないピクセルを含まない。
【００６２】
図１９〜２３は、黒いピクセル７８が黒い静止区域８０の背後から現れる（離れる）場合の第３技法の例を示す。図１９において、黒ピクセル７８は、入力フレーム（ｎ）と入力フレーム（ｎ＋１）の間で水平方向に４ピクセルだけ動いている。通常の手段で選択された動きベクトルをアレイ８２で示す。２入力フレーム及び動きベクトルはそれから、テスト出力フレーム８４の発生と、順方向及び逆方向ヒットボード８６及び８８の発生とに夫々使用される。
【００６３】
順方向及び逆方向投影を行い、反対投影における各出力ピクセルを入力フレーム（ｎ）及び（ｎ＋１）における対応位置から差引いて、順方向及び逆方向エラーフレームを発生する。入力ピクセルと順方向及び逆方向投影されたピクセルとの間の差を、入力フレーム座標でエラー位置としてマークする（９０）。（上記の差を閾値と比較し、閾値を越える差をエラー位置としてマークする。一部が或るピクセル内に入り一部がその隣りに入る物体や物体のエッジの影響を減らすために更にフィルタリングを用いる。）２以上のエントリがヒットボードに存在するピクセルは、このエラーマーキングでは「＊」９２で示すように無視（マスク）する。
動きベクトルをそれから、上述した一連のルールによって訂正する。
【００６４】
図２０は図１９に示した映像部分に対するテスト補間及びヒットボード発生を示す。詳しくいうと、各ピクセルがソースとして使用された回数が、番号９４で示すようにヒットボードに記録される。図から、ピクセル７８は順方向又は逆方向入力フレームのどちらにもソースとして使用されず、したがって、補間された出力フレームはこの黒ピクセル７８を含まないことが見られるであろう。よって、エラー位置は、順方向エラーフレームの、入力フレーム（ｎ＋１）における黒ピクセル７８と対応する位置に検出されることになる。
【００６５】
図２１に示すように、図１９の順方向エラーフレームからのエラー位置９０がヒットボード８６及び８８で見付けられると、それがソースとして使用されなかった位置に対応するかどうかが調べられる。この場合はそれに対応するので、誤りベクトルが存在する可能性があることになる。このエラーは順方向エラーフレーム８６で検出されるので、逆方向エラーフレームにおける同じエラーを訂正する必要はない。このベクトルの位置は順方向における位置から−（１−ｔ）・ｖとして、即ち、この場合左へ１ピクセルずれた位置９８が計算される。この位置における古いベクトル（ゼロ動きベクトル）は、通常のベクトル選択慣行に従って近傍から選んだ代わりのベクトルで置換える（本例では、ｖ）。
【００６６】
図２２及び２３は、この訂正された動きベクトルでテストが行われた場合どうなるか、即ちエラーが存在しなくなる状況を示す。この場合、ピクセル７８は出力フレームに現れる。また、逆方向及び順方向エラーフレームは、どんなエラー位置も含まない。即ち、入力フレームのピクセルから出力フレームにおける対応ピクセルへ投影されないピクセルを含まない。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、入力映像の中に物体が隠れたり見えるようになったりする部分があっても、補間された映像の質が改善される効果がある。
【図面の簡単な説明】
【図１】隣接映像間で背景が見え隠れする例を示す正面図である。
【図２】見え隠れを検出するヒットボード技法の例を示す説明図である。
【図３】上記ヒットボード技法の他の例を示す説明図である。
【図４】ヒットボードのデータを発生する回路を示す図である。
【図５】ヒットボードのデータに基く補間制御回路を示す図である。
【図６】ヒットボード・データによる動きベクトル選択の例１を示す説明図である。
【図７】ヒットボード・データによる動きベクトル選択の例２を示す説明図である。
【図８】ヒットボード・データによる動きベクトル選択の例３を示す説明図である。
【図９】ヒットボード・データによる誤り動きベクトル検出の例１を示す説明図である。
【図１０】図９に示す映像部分に対するテスト補間及びヒットボード発生を示す説明図である。
【図１１】図９に示す誤り動きベクトルの訂正を示す説明図である。
【図１２】図１１の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図１３】図１２に関するテスト補間及びヒットボード発生を示す説明図である。
【図１４】ヒットボート・データによる誤り動きベクトル検出の例２を示す説明図である。
【図１５】図１４に示す映像部分に対するテスト補間及びヒットボード発生を示す説明図である。
【図１６】図１４に示す誤り動きベクトルの訂正を示す説明図である。
【図１７】図１６の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図１８】図１７に関するテスト補間及びビットボード発生を示す説明図である。
【図１９】ヒットボード・データによる誤り動きベクトル検出の例３を示す説明図である。
【図２０】図１９に関するテスト補間及びヒットボード発生を示す説明図である。
【図２１】図１９に示す誤り動きベクトルの訂正を示す説明図である。
【図２２】図２１の訂正動きベクトルを用いた場合の状況を示す説明図である。
【図２３】図２２に関するテスト補間及びヒットボード発生を示す説明図である。
【符号の説明】
２０，２２ ヒットボード（投影する手段）
２４ ベクトル選択器
２６ ベクトルバッファ
２８ ヒットボード発生器
３０ 複数エントリ検出器
３２ 制御フラグ発生器
Claims (10)
- 時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する装置であって、
上記出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出する手段と、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出手段と、
上記回数検出手段の検出結果に応じて補間を制御する制御手段と、
上記制御手段の制御のもとで動き補正補間を行う補間器と
を具え、
上記制御手段は、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出する手段と、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットする手段と、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットする手段と、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせる手段と
を含む動き補正映像補間装置。 - 上記制御手段は、
上記補間器に補間させた出力ピクセル値列の各ピクセル位置における動きベクトルを反対方向に向けることにより、上記出力ピクセル値列の各ピクセル値を上記２つの入力ピクセル値列に投影する手段と、
上記２つの入力ピクセル値列の入力ピクセル値のうち、上記投影された出力ピクセル値と差があり、且つ、上記回数検出手段でソースとして使用されないと検出された入力ピクセル値をエラー位置としてマークする手段と、
上記出力ピクセル値列のうち上記エラー位置に対応するピクセル位置における動きベクトルと、上記入力ピクセル値列に対する上記出力ピクセル値列の時間変位とを乗算し、上記出力ピクセル値列のうち上記乗算結果だけ上記エラー位置からずれたピクセル位置を計算する手段と、
上記出力ピクセル値列のうち上記計算されたピクセル位置における動きベクトルを、該出力ピクセル位置の近傍の出力ピクセル位置における動きベクトルに置き換えて、上記補間器に補間を行わせる手段と
をさらに含む請求項１の動き補正映像補間装置。 - 上記制御手段は、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置のピクセル値について、上記他方の入力ピクセル値列のみから、上記他方の入力ピクセル値列と、上記他方の入力ピクセル値列からみて上記一方の入力ピクセル値列とは時間的に反対側に隣接する入力ピクセル値列との間の動きベクトルをさらに用いて上記補間器に補間を行わせる手段
をさらに含む請求項１の動き補正映像補間装置。 - 上記回数検出手段は、
上記出力ピクセル値列の各ピクセル位置のアドレスと、該アドレスに対応する動きベクトルとを発生する手段と、
各々の上記アドレスに対応する動きベクトルに、上記２つの入力ピクセル値列に対する上記出力ピクセル値列の時間変位をそれぞれ乗算する手段と、
各々の上記アドレスに、上記２つの入力ピクセル値列についての上記乗算結果をそれぞれ加算する手段と、
上記２つの入力ピクセル値列の各入力ピクセル値に対応する記憶位置を有し、上記記憶位置のうち、上記加算結果が示すアドレスの入力ピクセル値に対応する記憶位置に記憶する使用回数をインクリメントする記憶手段と
を含む請求項１〜３のいずれか１項の動き補正映像補間装置。 - 上記制御手段は、
上記出力ピクセル値列のうち、上記フラグがセットされていないピクセル位置のピクセル値については、上記２つの入力ピクセル値列の両方から、上記動きベクトルを用いて上記補間器に補間を行わせる手段
さらに含む請求項１の動き補正映像補間装置。 - 時間的に隣接する２つの画面を構成する２つの入力ピクセル値列の間で動き補正補間を行うことによって、１画面を構成する出力ピクセル値列を発生する方法であって、
上記出力ピクセル値列の各ピクセル位置に対応し、該ピクセル位置における、上記２つの入力ピクセル値列の間の映像の動きを表す動きベクトルを検出するステップと、
上記動きベクトルを上記出力ピクセル値列の各ピクセル位置から上記２つの入力ピクセル値列に投影し、上記２つの入力ピクセル値列の各入力ピクセル値への投影回数を、各入力ピクセル値が上記出力ピクセル値列を補間するためのソースとして使用される回数として検出する回数検出ステップと、
動き補正補間を行う補間器を、上記回数検出ステップの検出結果に応じて制御する制御ステップと
を有し、
上記制御ステップは、
上記２つの入力ピクセル値列における、入力ピクセル値がソースとして１回より多く使用された複数エントリの位置を検出するステップと、
上記２つの入力ピクセル値列のうちの一方の入力ピクセル値列に上記複数エントリの位置が検出された場合、該複数エントリの位置に対応する上記出力ピクセル値列のピクセル位置に、上記２つの入力ピクセル値列のうちの他方の入力ピクセル値列のみから補間すべきであることを示すフラグをセットするステップと、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置に隣接するピクセル位置における動きベクトルに、上記一方の入力ピクセル値列に対する上記出力ピクセル値列の時間変位を乗算した大きさのエラー域内で、上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置の周りのピクセル位置に、上記フラグをセットするステップと、
上記出力ピクセル値列のうち、上記フラグがセットされたピクセル位置のピクセル値については、上記２つの入力ピクセル値列のうちの上記他方の入力ピクセル値列のみから、上記動きベクトルを用いて上記補間器に補間を行わせるステップと
を含む動き補正映像補間方法。 - 上記制御ステップは、
上記補間器に補間させた出力ピクセル値列の各ピクセル位置における動きベクトルを反対方向に向けることにより、上記出力ピクセル値列の各ピクセル値を上記２つの入力ピクセル値列に投影するステップと、
上記２つの入力ピクセル値列の入力ピクセル値のうち、上記投影された出力ピクセル値と差があり、且つ、上記回数検出手段でソースとして使用されないと検出された入力ピク セル値をエラー位置としてマークするステップと、
上記出力ピクセル値列のうち上記エラー位置に対応するピクセル位置における動きベクトルと、上記入力ピクセル値列に対する上記出力ピクセル値列の時間変位とを乗算し、上記出力ピクセル値列のうち上記乗算結果だけ上記エラー位置からずれたピクセル位置を計算するステップと、
上記出力ピクセル値列のうち上記計算されたピクセル位置における動きベクトルを、該出力ピクセル位置の近傍の出力ピクセル位置における動きベクトルに置き換えて、上記補間器に補間を行わせるステップと
をさらに含む請求項６の動き補正映像補間方法。 - 上記制御ステップは、
上記出力ピクセル値列のうち上記フラグがセットされたピクセル位置のピクセル値について、上記他方の入力ピクセル値列のみから、上記他方の入力ピクセル値列と、上記他方の入力ピクセル値列からみて上記一方の入力ピクセル値列とは時間的に反対側に隣接する入力ピクセル値列との間の動きベクトルをさらに用いて上記補間器に補間を行わせるステップ
をさらに含む請求項６の動き補正映像補間方法。 - 上記回数検出ステップは、
上記出力ピクセル値列の各ピクセル位置のアドレスと、該アドレスに対応する動きベクトルとを発生するステップと、
各々の上記アドレスに対応する動きベクトルに、上記２つの入力ピクセル値列に対する上記出力ピクセル値列の時間変位をそれぞれ乗算するステップと、
各々の上記アドレスに、上記２つの入力ピクセル値列についての上記乗算結果をそれぞれ加算するステップと、
上記２つの入力ピクセル値列の各入力ピクセル値に対応する記憶位置を有する記憶手段のうち、上記加算結果が示すアドレスの入力ピクセル値に対応する記憶位置に記憶する使用回数をインクリメントするステップと
を含む請求項６〜８のいずれか１項の動き補正映像補間方法。 - 上記制御ステップは、
上記出力ピクセル値列のうち、上記フラグがセットされていないピクセル位置のピクセル値については、上記２つの入力ピクセル値列の両方から、上記動きベクトルを用いて上記補間器に補間を行わせるステップ
をさらに含む請求項６の動き補正映像補間方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9313063A GB2279531B (en) | 1993-06-24 | 1993-06-24 | Motion compensated image interpolation |
| GB9313063:1 | 1994-06-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH089339A JPH089339A (ja) | 1996-01-12 |
| JP3830543B2 true JP3830543B2 (ja) | 2006-10-04 |
Family
ID=10737734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13203794A Expired - Fee Related JP3830543B2 (ja) | 1993-06-24 | 1994-06-14 | 動き補正映像補間方式 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3830543B2 (ja) |
| GB (1) | GB2279531B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105874783A (zh) * | 2014-02-04 | 2016-08-17 | 英特尔公司 | 用于在帧速率上变频中进行帧重复控制的技术 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999022520A2 (en) * | 1997-10-29 | 1999-05-06 | Koninklijke Philips Electronics N.V. | Motion vector estimation and detection of covered/uncovered image parts |
| EP1048170A1 (en) | 1998-08-21 | 2000-11-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| CA2647018A1 (en) | 1999-12-28 | 2001-07-05 | Sony Corporation | Signal processing device and method, and recording medium |
| KR100808395B1 (ko) * | 2000-05-19 | 2008-02-29 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 방법, 시스템 및 장치 |
| FR2813485B1 (fr) * | 2000-08-24 | 2003-12-26 | France Telecom | Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant |
| US6760376B1 (en) | 2000-11-06 | 2004-07-06 | Koninklijke Philips Electronics N.V. | Motion compensated upconversion for video scan rate conversion |
| FR2820255A1 (fr) * | 2001-01-26 | 2002-08-02 | France Telecom | Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants |
| JP4596203B2 (ja) | 2001-02-19 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596219B2 (ja) * | 2001-06-25 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2003067523A2 (en) * | 2002-02-05 | 2003-08-14 | Koninklijke Philips Electronics N.V. | Estimating a motion vector of a group of pixels by taking account of occlusion |
| US8374465B2 (en) | 2002-02-28 | 2013-02-12 | Entropic Communications, Inc. | Method and apparatus for field rate up-conversion |
| GB2394136B (en) * | 2002-09-12 | 2006-02-15 | Snell & Wilcox Ltd | Improved video motion processing |
| US7536031B2 (en) * | 2003-09-02 | 2009-05-19 | Nxp B.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| CN100459693C (zh) * | 2005-11-08 | 2009-02-04 | 逐点半导体（上海）有限公司 | 一种运动补偿插帧装置及插帧方法 |
| JP2009533887A (ja) * | 2005-11-30 | 2009-09-17 | エヌエックスピー ビー ヴィ | 動きベクトル場修正装置及び方法 |
| JP5453304B2 (ja) | 2007-12-20 | 2014-03-26 | クゥアルコム・インコーポレイテッド | 適応探索範囲を用いた動き推定 |
| JP5657391B2 (ja) * | 2007-12-20 | 2015-01-21 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ハローを低減する画像補間 |
| TWI490819B (zh) * | 2009-01-09 | 2015-07-01 | Mstar Semiconductor Inc | 影像處理方法及其裝置 |
| JP5107277B2 (ja) * | 2009-01-30 | 2012-12-26 | シャープ株式会社 | ベクトル補正装置、ベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| JP5179414B2 (ja) * | 2009-03-10 | 2013-04-10 | シャープ株式会社 | 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
| US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
| JP7091132B2 (ja) * | 2018-05-09 | 2022-06-27 | 矢崎エナジーシステム株式会社 | 外壁材及びその製造方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2259625B (en) * | 1990-06-19 | 1994-03-23 | British Broadcasting Corp | Video signal process |
| EP0549681B2 (en) * | 1990-09-20 | 2000-03-01 | British Broadcasting Corporation | Video image processing |
| EP0540714B1 (en) * | 1991-05-24 | 1998-01-07 | British Broadcasting Corporation | Video image processing |
-
1993
- 1993-06-24 GB GB9313063A patent/GB2279531B/en not_active Expired - Fee Related
-
1994
- 1994-06-14 JP JP13203794A patent/JP3830543B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105874783A (zh) * | 2014-02-04 | 2016-08-17 | 英特尔公司 | 用于在帧速率上变频中进行帧重复控制的技术 |
| CN105874783B (zh) * | 2014-02-04 | 2020-06-26 | 英特尔公司 | 一种用于对运动视频帧速率进行上变频的设备、方法和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB9313063D0 (en) | 1993-08-11 |
| GB2279531B (en) | 1997-07-16 |
| GB2279531A (en) | 1995-01-04 |
| JPH089339A (ja) | 1996-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3830543B2 (ja) | 動き補正映像補間方式 | |
| JP4633108B2 (ja) | フィルムソース映像検出 | |
| JP4847040B2 (ja) | ビデオシーケンスでのティッカー処理 | |
| US7936950B2 (en) | Apparatus for creating interpolation frame | |
| US7949205B2 (en) | Image processing unit with fall-back | |
| US6784927B1 (en) | Image processing apparatus and image processing method, and storage medium | |
| JP2000194867A (ja) | ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法 | |
| JPH0721946B2 (ja) | デイジタルテレビジヨン信号の誤り修正方法 | |
| US20130069922A1 (en) | Image processing device, image processing method, image display device, and image display method | |
| EP1481546A1 (en) | Method and apparatus for field rate up-conversion | |
| EP1654703B1 (en) | Graphics overlay detection | |
| JP3893263B2 (ja) | 動きベクトル検出装置 | |
| JPH07336650A (ja) | フィールド内挿方法 | |
| JP2009290828A (ja) | 画像処理装置及び画像処理方法 | |
| AU2004200237A1 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
| US20100013990A1 (en) | Method and system for detecting deinterlaced moving thin diagonal lines | |
| JP2647165B2 (ja) | 画像動き検出装置及び画像動き補正装置 | |
| JP3389984B2 (ja) | 順次走査変換装置及び方法 | |
| JP2000350233A (ja) | 動画像再生における静止画像処理方式および静止画像処理方法 | |
| KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 | |
| GB2264416A (en) | Motion compensated video signal processing | |
| JPH05252486A (ja) | 映像信号の走査変換装置 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 | |
| Tang | System of converting SDTV signal into HDTV signal and content dependent scaling | |
| JPH06348848A (ja) | 画像信号の動き検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060712 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |