JP3875286B2 - 動きベクトル発生方式 - Google Patents
動きベクトル発生方式 Download PDFInfo
- Publication number
- JP3875286B2 JP3875286B2 JP11111594A JP11111594A JP3875286B2 JP 3875286 B2 JP3875286 B2 JP 3875286B2 JP 11111594 A JP11111594 A JP 11111594A JP 11111594 A JP11111594 A JP 11111594A JP 3875286 B2 JP3875286 B2 JP 3875286B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- analysis
- plane
- data stream
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動き補正映像補間システムに使用されるタイプの動きベクトル発生方式（装置及び方法）に関するものである。
【０００２】
【従来の技術】
標準方式変更などの目的に、例えば、フィルムからテレビジョンへ、又は或るテレビジョンフォーマットから他のものへの変換に用いられる動き補正映像補間は、公知である。かようなシステムの例は、英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号（ソニー株式会社）に記載されている。
【０００３】
動き補正補間システムの重要なステップは、動きベクトルを特定するための相関面の発生及び解析である。もっと詳しくいえば、相関面を解析して最大相関点（これは、相関面における最小点に対応する。）を見付け、種々のテストによりこの点の有効性を判断し、相関面内の相関最大位置によって決まる適正な動きベクトルを出力することである。更に、プロセスの改良及び信頼性の向上のために、拡大、加重（重み付け）及び補間技法を使用することがある。
【０００４】
公知のシステムでは、各相関面は１回に１つずつ別々に相関面順次式で解析されている。解析は、１回に１つだけ既知の最良結果を求めて記憶することにより、相関面内の最大相関値を見付けるプロセスを容易にするため、このように行われている。この方法に関する問題は、システムが扱う入力映像データが全映像を横切るラスタ走査フォーマットで与えられることである。相関面を相関面順次式で解析できるようにするためには、実際に全映像の一部分のみから発生される各相関面に関するデータを、一緒に解析システムに与える必要がある。
【０００５】
これは、装置を通過するデータストリームを、映像全体に対するラスタ走査順序から映像の一部分のみを表す各相関面に対し連続してラスタ走査するようにフォーマットを変える（順序を変える又は「ツウィスト」させる）ことを要求する。このようなフォーマットの変更は、大容量のメモリを必要とする欠点がある。また、拡大や補間のような信頼性や相関面解析の精度を上げるのに用いる技法は、かかるツウィストされたデータを扱うのが一層困難になる。
【０００６】
【発明が解決しようとする課題】
本発明の課題は、上述の問題点を軽減することである。
【０００７】
【課題を解決するための手段及び作用】
本発明は、一面からみて、次の構成要素を具えた動きベクトル発生装置を提供する。
時間的に隣接する２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生する手段、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生する手段、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析手段であって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断する処理と、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開する処理と、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力する処理と
を行う解析手段
上記解析手段の検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生する手段。
【０００８】
こうすると、ツウィストされないデータを処理して、データのフォーマットを変えるための大容量のデータメモリを必要とすることなく所要の動きベクトルを発生することができる。
また、横方向に配列された複数個の相関面のデータを複数のラスタラインの形にすると、解析される映像データに多く見られるラスタフォーマットとよく合うので、好都合である。
【０００９】
バッファメモリは、多くの異なる態様（例えば、ＲＡＭ）を取りうるが、先入れ先出しメモリがよい。先入れ先出しメモリは、読出し及び書込みアドレスの発生及び供給を必要とせずに所望の機能を果たすことができる。
【００１１】
同様に、上記データストリームは、複数の相関面を横方向及び縦方向に含む区域を横幅一杯にラスタ走査することによって供給されるデータストリームのうちの、同じ横列に位置する相関面毎のデータストリームであり、複数のラスタラインを含むのがよい。
【００１２】
複数のデータストリームを受信してそれぞれ相関面を解析するには、上記解析手段は、１つのデータストリームの受信が完了する毎にバッファメモリを再初期化するのがよい。
【００１３】
本発明の有利な高速具体構成では、上記解析手段は、データストリームを並列に受信するように配列された複数のロジックブロックを有し、各々のロジックブロックは、最大相関点の検出のための解析をそれ以外の解析とを含む複数種類の解析のうち、互いに異なる種類の解析を行う。
【００１４】
本発明は、他の面からみて、次のステップを含む映像データからの動きベクトル発生方法を提供する。
時間的に隣接する２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生するステップ、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生するステップ、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析ステップであって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断するステップと、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開するステップと、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力するステップと
を有する解析ステップ、
上記解析ステップの検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生するステップ。
【００１５】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、本発明を用いる動き補正テレビジョン方式変換装置を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号５０（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号６０（例えば、１２５０／５０、２：１信号）を発生するものである。
【００１６】
入力ビデオ信号はまず、入力バッファ・パッカー１１０に供給される。通常精細度入力信号の場合、入力バッファ・パッカー１１０は、映像データを高精細度（１６：９縦横比）フォーマットに変え、必要に応じ黒ピクセルを詰める。ＨＤＶＳ入力の場合、入力バッファ・パッカー１１０は、単にデータを一時記憶するだけである。
【００１７】
データは、入力バッファ・パッカー１１０からマトリクス回路１２０に送られ、該回路では、必要に応じて入力ビデオ信号の測色法を標準の「ＣＣＩＲ勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）測色法に変換する。
【００１８】
入力ビデオ信号は、マトリクス回路１２０からタイムベース変換（ＴＢＣ）及びディレー（遅延）回路１３０に、またサブサンプラー１７０を介してサブサンプルされたＴＢＣ及びディレー回路１８０に送られる。ＴＢＣ及びディレー回路１３０は、出力ビデオ信号の各フィールドの時間位置を決め、出力フィールドの補間に用いるため、当該出力フィールドに時間的に最も近い２フィールドの入力ビデオ信号を選択する。出力ビデオ信号の各フィールドのために、上記ＴＢＣ回路で選択された２入力フィールドは、当該出力フィールドを補間する補間器１４０に送る前に適正に遅らされる。制御信号Ｔは、各出力フィールドの選択された２入力フィールドに対する時間位置を指示するもので、タイムベース変換（ＴＢＣ）及びディレー回路１３０から補間器１４０に供給される。
【００１９】
サブサンプルされたＴＢＣ及びディレー回路１８０も、同様な動作をするが、サブサンプラー１７０により供給される空間的にサブサンプルされたビデオを使用する点が異なる。上記ＴＢＣ回路１３０で選択されたフィールド対に対応するフィールド対が、サブサンプルされたＴＢＣ及びディレー回路１８０によりサブサンプルされたビデオから選択され、動きベクトルの発生に使用される。
【００２０】
ＴＢＣ回路１３０及び１８０は、入力ビデオ信号、出力ビデオ信号又はその双方に関連した同期信号に従って動作することができる。ただ１つの同期信号しか供給されない場合、上記２ビデオ信号の他方のフィールドのタイミングは、ＴＢＣ回路１３０，１８０で決定論的に発生することができる。
【００２１】
サブサンプルされたＴＢＣ及びディレー回路１８０によって選択された、サブサンプルされた入力ビデオ信号のフィールド対は、直接ブロック突合せ器１９０、相関面処理器２００、動きベクトル推定器２１０、動きベクトル減数器２２０、動きベクトル選択器２３０及び動きベクトルあと処理器２４０より成る動き処理装置１８５に供給さる。上記入力フィールド対はまず直接ブロック突合せ器１９０に送られ、そこで、選択された２入力フィールドのうち時間的に早いものにおけるサーチブロックと、上記２入力フィールドのうち時間的に遅いものにおけるより大きいサーチ領域との間の空間的相関を表す相関面を計算する。
【００２２】
相関面処理器２００は、ブロック突合せ器１９０より出力された相関面から多数の補間された相関面を発生し、これらは動きベクトル推定器２１０に送られる。動きベクトル推定器２１０は、補間された相関面における最大相関点を検出する。元の相関面は実際上２入力フィールドのブロック間の差を表すので、最大相関点は相関面では最小点になる。よって、以下「最小点」という。最小点を検出するために、相関面に点を補足して補間し、相関面発生のためにサブサンプルされたビデオを用いたことにより生じる解像度のロスを或る程度補償する。動きベクトル推定器２１０は、検出した各相関面における最小点から動きベクトルを発生し、これを動きベクトル減数器２２０に送る。
【００２３】
動きベクトル推定器２１０はまた、発生した各動きベクトルについて信頼性の確認テストを行い、当該動きベクトルが平均データレベルよりかなり上にあるかをどうかを確かめ、確認テストの結果を示す確認フラグを各動きベクトルに付ける。確認テストは、「閾値」テストとして知られ、前記ＧＢ−Ａ−２，２３１，７４９号に、図１の装置の幾つかの他の特色と共に記載されている。確認テストについては、あとでまた詳しく述べる。
【００２４】
動きベクトル推定器２１０はまた、各ベクトルが偽物であるかどうかを検出するテストも行う。このテストでは、相関面のうち、検出した最小点の周りの除外域を除く部分を調べて次の最小点を検出する。この２番目の最小点が除外域の端縁にない場合、最初の最小点から導出された動きベクトルは、偽物の可能性があるものとしてフラグが付けられる。
【００２５】
動きベクトル減数器２２０は、出力フィールドの各ピクセルについて可能性のある動きベクトルの選択幅を減らしてから、動きベクトルを動きベクトル選択器２３０に送る。出力フィールドは、概念的に複数のピクセルブロックに分割される。それら各ブロックは、出力フィールド内に上記選択された入力フィールドのうち早いものにおけるサーチブロックと対応する位置を有する。動きベクトル減数器は、４つの動きベクトルのグループを出力フィールドの各ブロックに対応させ、当該ブロック内の各ピクセルは、当該グループの４動きベクトルの選択された１つを用いて補間される。
【００２６】
「偽物」としてフラグを付けられたベクトルは、すぐ近くのブロックにおけるフラグの付かないベクトルと同一である場合、ベクトル減数時に再適格化される。
【００２７】
動きベクトル減数器２２０は、その機能の一部として、「適正な」動きベクトル（即ち、確認テスト及び偽物テストに合格した動きベクトル、又は偽物でないと再適格化されたもの）の発生頻度を、それらの動きベクトルを得るのに用いた入力フィールドのブロックの位置を考慮することなくカウントする。適正な動きベクトルをそれから、頻度が減少する順に格付けする。互いにかなり異なる適正動きベクトルのうち最も共通するものを、「広域」動きベクトルとして分類する。確認テストに合格した３つの動きベクトルがそれから、出力ピクセルの各ブロックに対して選択され、ゼロ動きベクトルと共に、動きベクトル選択器２３０に送られ更に処理される。これら３つの選択された動きベクトルは、所定の優先順で次のものから選択される。
（ｉ）対応するサーチブロックから発生された動きベクトル（「局部」動きベクトル）、
（ii) 周囲のサーチブロックから発生されたもの（「隣接」動きベクトル）、
(iii) 広域動きベクトル。
【００２８】
動きベクトル選択器２３０は、サブサンプルされたＴＢＣ及びディレー回路１８０によって選択され、動きベクトルの計算に使用された２入力フィールドをも入力として受信する。これらのフィールドは、適当に遅延されて、動きベクトル選択器２３０にこれらのフィールドから導出されたベクトルと同時に供給される。動きベクトル選択器２３０は、出力フィールドのピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器２２０によって供給される当該ブロックに対する４つの動きベクトルから選択される。
【００２９】
ベクトル選択プロセスは、テスト中の動きベクトルによって指し示される２つの入力フィールドのテストブロック間の相関度の検出を含んでいる。テストブロック間の最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。ベクトル選択器はまた、「動きフラグ」を発生する。このフラグは、ゼロ動きベクトルによって指し示されるブロック間の相関度がプリセットされた閾値より大きい場合、「静止」（動きなし）にセットされる。
【００３０】
ベクトルあと処理器２４０は、動きベクトル選択器２３０により選択された動きベクトルのフォーマットを、画像の垂直又は水平のスケーリングがある場合これを表すように改め、このフォーマットを変えたベクトルを補間器１４０に供給する。補間器１４０は、動きベクトルを用いて、ＴＢＣ及びディレー回路１３０により選択された対応する２つのサブサンプルされない飛越し入力フィールドから出力フィールドを補間する。この場合、現在補間器１４０に供給されている動きベクトルによって示されるいかなる映像の動きをも考慮する。
【００３１】
動きフラグが、現在の出力ピクセルが映像の動き部分内に在ることを示す場合、補間器に供給される２つの選択されたフィールドからのピクセルが、制御信号Ｔによって示される出力フィールドの上記２入力フィールドに対する時間位置に応じて、相対的比率で結合される。即ち、より近い入力フィールドがより大きな比率で結合される。動きフラグが「静止」にセットされている場合、時間的加重（重み付け）は各入力フィールドの５０％に固定される。補間器１４０の出力は、出力バッファ１５０に送られ高精細度出力信号として出力されると共に、ダウンコンバータ１６０に送られ通常精細度出力信号１６５として出力される。
【００３２】
ダウンコンバータ１６０は、本装置の出力（例えば、高精細度ビデオ信号）の表示を従来精細度の装置を用いてモニタしたり、送信したり、又は記録したりすることを可能とする。これは、従来精細度記録機器が高精細度機器よりかなり安価で、遙かに広く普及しているので、有益である。例えば、夫々地上及び衛星チャンネルによって送信するには、通常及び高精細度ビデオの同時出力が必要であろう。また、出力ビデオ信号を直接フィルムに、例えば、電子ビームレコーダを用いて記録する場合、ダウンコンバータ１６０はビデオテープへの同時記録を可能とする。
【００３３】
サブサンプラー１７０は、マトリクス１２０より受信した入力ビデオフィールドを水平及び垂直方向に空間的にサブサンプリングしてから、それらの入力フィールドをタイムベース変換（ＴＢＣ）及びディレー回路１８０に供給する。水平サブサンプリングは、例えば２：１に間引く場合には入力フィールドがまず半帯域幅ローパスフィルタにより予めフィルタリングされ、各ビデオラインに沿ってビデオサンプルが１つおきに捨てられ、これによって、各ビデオラインに沿うサンプルの数が半分に減るという点において、容易な動作である。
【００３４】
入力フィールドの垂直サブサンプリングは、入力ビデオ信号５０が飛越し走査されているため、複雑である。これは、各飛越しフィールドにおけるビデオサンプルの連続するラインが実効的に２つのビデオラインに分かれ、各フィールドにおけるラインが前後のフィールドのラインより完全フレームの１ビデオラインだけ垂直にずれていることを意味する。
【００３５】
垂直サブサンプリングの１つの方法は、プログレッシブ走査変換を行うことにより、各々が１１２５ラインをもつ連続するブログレッシブ走査されたビデオフレームを発生し、該プログレッシブ走査されたフレームを２の率でサブサンプルして、垂直サブサンプルを行うことであろう。しかし、効率のよいプログレッシブ走査変換は、或る程度の動き補正処理を必要とし、その処理が動き処理装置１８５の動作に悪い影響を与えることがある。更に、高精細度ビデオ信号の実時間プログレッシブ走査変換は、特別に強力で複雑な処理装置を必要とすることであろう。
【００３６】
垂直空間サブサンプリングのもっと簡単な方法は、エイリアシングを避けるために入力フィールドをまず垂直方向にローパスろ波し、次いで、偶数フィールドの場合には各ピクセルを垂直方向にビデオラインの１／２だけ下方に実効的にずらし、奇数フィールドの場合には各ピクセルを垂直方向にビデオラインの１／２だけ上方に実効的にずらす如きろ波を行うことである。その結果得られるずれたフィールドは、２の率で垂直方向にサブサンプルされたプログレッシブ走査フレームと広い意味で等価である。
【００３７】
したがって、要約すると、上述したサブサンプリング動作の結果、動き処理装置１８５は、水平及び垂直方向に２の率で空間的にサブサンプルされた入力フィールド対について動作することになる。これにより、動きベクトル推定に要する処理が１／４に減少する。
【００３８】
図２は、相関面の例を示す図である。相関面３００は、その発生源である２入力フィールドのうち早いもののサーチブロックと、該２入力フィールドのうち遅いもののより大きいサーチ領域との間の差を表すものである。よって、相関のピークは、相関面３００では最小点３１０で表される。相関面３００上の最小点３１０の位置は、相関面から導出される動きベクトルの大きさと方向を決定する。
【００３９】
図１の装置では、各動きベクトルは、夫々の相関面上の最小点を検出することによって発生される。動き処理装置１８５に供給される入力フィールドの各対について、総数で８０００個の相関面がベクトル推定器２１０に供給され、８０００個の動きベクトルの発生に使用される。
【００４０】
図１の装置の処理要求量を減らすために、相関面の上記総数の１／４のみを、ブロック突合せ器１９０に供給されるサブサンプルされた２入力フィールドのブロックの比較により発生する。動きベクトルの発生に用いるべき相関面はそれから、ブロック突合せにより発生した相関面から補間される。これは、２０００個の「原」相関面がブロック突合せ器１９０によって発生され、これらが相関面処理器２００に供給されることを意味する。相関面処理器２００は次に、該２０００個の原相関面から８０００個の「補間された」相関面を発生し、これが動きベクトルの推定に使用される。
【００４１】
図３は、以前に提案されたツウィストフォーマットすなわち相関面順次フォーマットの相関面データを示す説明図である。与えられた映像フィールドに対する、補間すべき相関面データは、６つの区域、即ち、左上、中上、右上、左下、中下及び右下に分けられる。これらの各区域は、複数の相関面３２０を含む。相関面データは、各個々の相関面におけるラスタ走査パターンの順序に従った順次データストリームである。即ち、相関面３２２におけるラスタ走査の次に、相関面３２４におけるラスタ走査が続く如き相関面データストリームである。こうして、相関面３２２に対する相関面解析が完了したあと、次の相関面３２４に対して同じ動作が行われる。
【００４２】
図４は、非ツウィストフォーマットすなわち非相関面順次フォーマットの相関面データを示す説明図である。全出力映像フィールドに対する、補間すべき相関面データは、やはり６つの区域に分けられるが、これらの各区域内では、幅一杯のラスタ走査が行われる。即ち、左上区域内の相関面の第１行（横列）３２５については、相関面データ値の第１ラスタライン３２６がデータストリームとして連続的に供給され、次に相関面データ値の第２ラスタライン３２８が供給される。第１ラスタライン３２６は、インタリーブ（間挿）された複数の相関面値のサブセット（部分集合）より成り、各サブセットは、図３に示したような相関面内の１ラスタラインである。このように異なる相関面からの複数相関面値を間挿すると、どうすればこのデータストリームを効率よく解析できるかという問題が与えられる。
【００４３】
図５は、図４のフォーマットにおける相関面の第１（最上）行をもっと詳細に示す図である。相関面の第１行は、（Ｎ＋１）個の相関面ＣＳ＃０〜ＣＳ＃Ｎを含んでいる。これら各相関面はＬラスタラインを含み、各ラスタラインはＰピクセルを有し、各ピクセルは１つの相関面データ値をもつ。したがって、相関面の第１行３２５は、Ｌ＊Ｐ＊（Ｎ＋１）相関面値を含む。これらの相関面値は、図示の相関面の行３２５全体に及んでラスタ走査されたデータストリームとして処理される。
【００４４】
図６及び７は、図４及び５に示したフォーマットをもつデータストリームについて相関面解析を行う装置を示すブロック図である。図６及び７の装置は、図１のベクトル推定器２１０の一部を構成する。本装置は、行クロック信号、相関面（ＣＳ）クロック信号及び相関面値（ピクセル）クロック信号を相関面解析器ロジック（論理）ブロック３３２に供給するアドレス発生器を具える。相関面値解析器ロジックブロック３３２は、先入れ先出し（ＦＩＦＯ）メモリ３３４に結合され、該メモリには部分（中間）結果が一時記憶される一方、そこからインタリーブされた相関面データが相関面値解析器ロジックブロック３３２に供給される。
【００４５】
動作時、相関面データストリームは各相関面からの１ラスタラインを順に相関面値解析器ロジックブロック３３２に供給する。こうして、各相関面について、小部分の（部分的な）解析が行われ、それから順に次のブロックについて小部分の解析が行われ、図５に示す相関面の行３２５の終わりに達するまで続けられる。行３２５が終わると、該行３２５内の各相関面に対する解析も終わり、相関面の各々に対する現在の相関最大値が最終結果を表すことになる。これらの値は、相関面値解析器ロジックブロック３３２から読出され、それから動きベクトルの発生に使用される。相関の最大は、相関面に対して行われる解析の１つにすぎず、他に、該相関面内の次に大きな相関最大の位置や値、これらの相関最大点の勾配、その他のパラメータがある。
【００４６】
各相関面の解析が、データストリームの非ツウィストすなわちインタリーブされたフォーマットによって実質的に中断されるので、ＦＩＦＯメモリ３３４は、当該相関面の次のデータが相関面値解析器ロジックブロック３３２に入力されるまで、部分結果を一時的に記憶する。ＦＩＦＯメモリ３３４のクロッキングは、システムへの相関面データのクロッキングから導出されるが、それは、既に計算された部分結果が、ＦＩＦＯメモリ３３４から相関面値解析器ロジックブロック３３２へ、当該相関面における次の相関面データ値の解析の間に使用される如く同期して出力されるように行われる。
【００４７】
図７は、図６の装置をもっと詳細に示す図である。相関面値解析器ロジックブロック３３２は、詳しくは複数の別個のロジックブロック３３６，３３８及び３４０を含み、これら各ブロックは、これに入力される相関面データに対して、例えば相関最大点、勾配、次に大きい相関最大点という異なる特定の解析を行う。ＦＩＦＯメモリ３３４は、与えられた相関面に対する相関面データが入力され始めると、当該与えられた相関面に対するこれまでの部分結果をロジックブロック３３６，３３８及び３４０のうち適切なものに出力する。行３２５の終わりに、最終結果がロジックブロック３３６，３３８及び３４０から読出される。
【００４８】
図８は、図６及び７の装置内の各種信号のタイミングを示す図である。一番上の信号は、相関面値入力の包絡線を表す。一連の相関面値３４２，３４４及び３４６は、図５に示した相関面内の相関面値のインタリーブされたサブセットの同一番号のものと対応している。もっと詳しくいえば、サブセット３４２及び３４４は、相関面の行３２５からのデータの最後のものであり、サブセット３４６は次の行の最初のデータである。
【００４９】
２番目の信号は、相関面クロック信号であり、入力相関面データストリームからのデータが発生源である相関面を切替える周期に対応する周期を有する。この相関面クロックは、ＦＩＦＯメモリ３３４の動作を制御するのに使用する。
【００５０】
次の信号は、行クロックである。行クロックは、図５に示したように、相関面の行３２５が終わった時を示すのに使用する。このような点３４８において、ＦＩＦＯメモリ３３４の内容を初期化することができる。というのは、該メモリが含む部分結果は、次に相関面の新しい行を解析するのにもはや必要でないからである。
【００５１】
次の信号は、ＦＩＦＯメモリ３３４へのデータ出力の包絡線を示す。これは、各相関面に対するこれまでの部分結果値であって、相関面値の各サブセット３４２，３４４の解析後ただちにＦＩＦＯメモリに出力される。即ち、相関面ＣＳ＃（Ｎ−３）についての部分結果値は、相関面ＣＳ＃（Ｎ−３）からのサブセット３５０の解析後ただちにＦＩＦＯメモリ３３４に出力される。
【００５２】
一番下の信号は、ＦＩＦＯメモリ３３４から相関面値解析器ロジックブロック３３２へ出力される部分結果値の包絡線を表す。各相関面に対するこれまでの部分結果値は、当該相関面に対する相関値の次のサブセットが到達する直前にＦＩＦＯメモリ３３４から出力される。即ち、相関面ＣＳ＃（Ｎ−２）についての部分結果値は、サブセット３５２の受信直前に相関面値解析器ロジックブロック３３２に入力される。図５に示すような相関面の行の終わりに達すると、ＦＩＦＯメモリ３３４は初期化される。これを、相関面の新しい行の先頭を形成する相関面ＣＳ＃０及びＣＳ＃１の解析の前に入力される０の部分結果値３５４及び３５６によって示す。
【００５３】
以上、本発明を図示の実施例について詳細に説明したが、本発明は、これら特定の具体構成に限定されるものではなく、特許請求の範囲内において種々の変形、変更をすることができるものである。
【００５４】
【発明の効果】
以上述べたとおり、本発明によれば、ツウィストされないデータのフォーマットを処理するため、従来のようにツウィスト・フォーマットのデータ処理のための大容量メモリを必要とすることなく、効率的に所要の動きベクトルを発生することができる。
【図面の簡単な説明】
【図１】本発明を用いる動き補正テレビジョン方式変換装置を示すブロック図である。
【図２】相関面の例を示す図である。
【図３】従来のツウィスト・フォーマットによる相関面データを示す説明図である。
【図４】本発明による非ツウィスト・フォーマットによる相関面データを示す説明図である。
【図５】図４のフォーマットによる相関面の１行を示す拡大詳細図である。
【図６】図４及び５のフォーマットによるデータで動作する相関面装置を示すブロック図である。
【図７】図６の装置の詳細を示すブロック図である。
【図８】図６及び７の装置内の各種信号の相対的タイミングを示す図である。
【符号の説明】
１９０ ブロック突合せ器（相関面値計算手段）
２００ 相関面処理器
２１０ ベクトル推定器（相関面値解析装置を含む。）
３３２ 相関面値解析器
３３４ バッファメモリ
３３０ アドレス発生器（最終結果値読出し手段）
３３６，３３８，３４０ ロジックブロック
【産業上の利用分野】
本発明は、動き補正映像補間システムに使用されるタイプの動きベクトル発生方式（装置及び方法）に関するものである。
【０００２】
【従来の技術】
標準方式変更などの目的に、例えば、フィルムからテレビジョンへ、又は或るテレビジョンフォーマットから他のものへの変換に用いられる動き補正映像補間は、公知である。かようなシステムの例は、英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号（ソニー株式会社）に記載されている。
【０００３】
動き補正補間システムの重要なステップは、動きベクトルを特定するための相関面の発生及び解析である。もっと詳しくいえば、相関面を解析して最大相関点（これは、相関面における最小点に対応する。）を見付け、種々のテストによりこの点の有効性を判断し、相関面内の相関最大位置によって決まる適正な動きベクトルを出力することである。更に、プロセスの改良及び信頼性の向上のために、拡大、加重（重み付け）及び補間技法を使用することがある。
【０００４】
公知のシステムでは、各相関面は１回に１つずつ別々に相関面順次式で解析されている。解析は、１回に１つだけ既知の最良結果を求めて記憶することにより、相関面内の最大相関値を見付けるプロセスを容易にするため、このように行われている。この方法に関する問題は、システムが扱う入力映像データが全映像を横切るラスタ走査フォーマットで与えられることである。相関面を相関面順次式で解析できるようにするためには、実際に全映像の一部分のみから発生される各相関面に関するデータを、一緒に解析システムに与える必要がある。
【０００５】
これは、装置を通過するデータストリームを、映像全体に対するラスタ走査順序から映像の一部分のみを表す各相関面に対し連続してラスタ走査するようにフォーマットを変える（順序を変える又は「ツウィスト」させる）ことを要求する。このようなフォーマットの変更は、大容量のメモリを必要とする欠点がある。また、拡大や補間のような信頼性や相関面解析の精度を上げるのに用いる技法は、かかるツウィストされたデータを扱うのが一層困難になる。
【０００６】
【発明が解決しようとする課題】
本発明の課題は、上述の問題点を軽減することである。
【０００７】
【課題を解決するための手段及び作用】
本発明は、一面からみて、次の構成要素を具えた動きベクトル発生装置を提供する。
時間的に隣接する２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生する手段、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生する手段、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析手段であって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断する処理と、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開する処理と、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力する処理と
を行う解析手段
上記解析手段の検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生する手段。
【０００８】
こうすると、ツウィストされないデータを処理して、データのフォーマットを変えるための大容量のデータメモリを必要とすることなく所要の動きベクトルを発生することができる。
また、横方向に配列された複数個の相関面のデータを複数のラスタラインの形にすると、解析される映像データに多く見られるラスタフォーマットとよく合うので、好都合である。
【０００９】
バッファメモリは、多くの異なる態様（例えば、ＲＡＭ）を取りうるが、先入れ先出しメモリがよい。先入れ先出しメモリは、読出し及び書込みアドレスの発生及び供給を必要とせずに所望の機能を果たすことができる。
【００１１】
同様に、上記データストリームは、複数の相関面を横方向及び縦方向に含む区域を横幅一杯にラスタ走査することによって供給されるデータストリームのうちの、同じ横列に位置する相関面毎のデータストリームであり、複数のラスタラインを含むのがよい。
【００１２】
複数のデータストリームを受信してそれぞれ相関面を解析するには、上記解析手段は、１つのデータストリームの受信が完了する毎にバッファメモリを再初期化するのがよい。
【００１３】
本発明の有利な高速具体構成では、上記解析手段は、データストリームを並列に受信するように配列された複数のロジックブロックを有し、各々のロジックブロックは、最大相関点の検出のための解析をそれ以外の解析とを含む複数種類の解析のうち、互いに異なる種類の解析を行う。
【００１４】
本発明は、他の面からみて、次のステップを含む映像データからの動きベクトル発生方法を提供する。
時間的に隣接する２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生するステップ、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生するステップ、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析ステップであって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断するステップと、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開するステップと、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力するステップと
を有する解析ステップ、
上記解析ステップの検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生するステップ。
【００１５】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、本発明を用いる動き補正テレビジョン方式変換装置を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号５０（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号６０（例えば、１２５０／５０、２：１信号）を発生するものである。
【００１６】
入力ビデオ信号はまず、入力バッファ・パッカー１１０に供給される。通常精細度入力信号の場合、入力バッファ・パッカー１１０は、映像データを高精細度（１６：９縦横比）フォーマットに変え、必要に応じ黒ピクセルを詰める。ＨＤＶＳ入力の場合、入力バッファ・パッカー１１０は、単にデータを一時記憶するだけである。
【００１７】
データは、入力バッファ・パッカー１１０からマトリクス回路１２０に送られ、該回路では、必要に応じて入力ビデオ信号の測色法を標準の「ＣＣＩＲ勧告６０１」（Ｙ，Ｃｒ，Ｃｂ）測色法に変換する。
【００１８】
入力ビデオ信号は、マトリクス回路１２０からタイムベース変換（ＴＢＣ）及びディレー（遅延）回路１３０に、またサブサンプラー１７０を介してサブサンプルされたＴＢＣ及びディレー回路１８０に送られる。ＴＢＣ及びディレー回路１３０は、出力ビデオ信号の各フィールドの時間位置を決め、出力フィールドの補間に用いるため、当該出力フィールドに時間的に最も近い２フィールドの入力ビデオ信号を選択する。出力ビデオ信号の各フィールドのために、上記ＴＢＣ回路で選択された２入力フィールドは、当該出力フィールドを補間する補間器１４０に送る前に適正に遅らされる。制御信号Ｔは、各出力フィールドの選択された２入力フィールドに対する時間位置を指示するもので、タイムベース変換（ＴＢＣ）及びディレー回路１３０から補間器１４０に供給される。
【００１９】
サブサンプルされたＴＢＣ及びディレー回路１８０も、同様な動作をするが、サブサンプラー１７０により供給される空間的にサブサンプルされたビデオを使用する点が異なる。上記ＴＢＣ回路１３０で選択されたフィールド対に対応するフィールド対が、サブサンプルされたＴＢＣ及びディレー回路１８０によりサブサンプルされたビデオから選択され、動きベクトルの発生に使用される。
【００２０】
ＴＢＣ回路１３０及び１８０は、入力ビデオ信号、出力ビデオ信号又はその双方に関連した同期信号に従って動作することができる。ただ１つの同期信号しか供給されない場合、上記２ビデオ信号の他方のフィールドのタイミングは、ＴＢＣ回路１３０，１８０で決定論的に発生することができる。
【００２１】
サブサンプルされたＴＢＣ及びディレー回路１８０によって選択された、サブサンプルされた入力ビデオ信号のフィールド対は、直接ブロック突合せ器１９０、相関面処理器２００、動きベクトル推定器２１０、動きベクトル減数器２２０、動きベクトル選択器２３０及び動きベクトルあと処理器２４０より成る動き処理装置１８５に供給さる。上記入力フィールド対はまず直接ブロック突合せ器１９０に送られ、そこで、選択された２入力フィールドのうち時間的に早いものにおけるサーチブロックと、上記２入力フィールドのうち時間的に遅いものにおけるより大きいサーチ領域との間の空間的相関を表す相関面を計算する。
【００２２】
相関面処理器２００は、ブロック突合せ器１９０より出力された相関面から多数の補間された相関面を発生し、これらは動きベクトル推定器２１０に送られる。動きベクトル推定器２１０は、補間された相関面における最大相関点を検出する。元の相関面は実際上２入力フィールドのブロック間の差を表すので、最大相関点は相関面では最小点になる。よって、以下「最小点」という。最小点を検出するために、相関面に点を補足して補間し、相関面発生のためにサブサンプルされたビデオを用いたことにより生じる解像度のロスを或る程度補償する。動きベクトル推定器２１０は、検出した各相関面における最小点から動きベクトルを発生し、これを動きベクトル減数器２２０に送る。
【００２３】
動きベクトル推定器２１０はまた、発生した各動きベクトルについて信頼性の確認テストを行い、当該動きベクトルが平均データレベルよりかなり上にあるかをどうかを確かめ、確認テストの結果を示す確認フラグを各動きベクトルに付ける。確認テストは、「閾値」テストとして知られ、前記ＧＢ−Ａ−２，２３１，７４９号に、図１の装置の幾つかの他の特色と共に記載されている。確認テストについては、あとでまた詳しく述べる。
【００２４】
動きベクトル推定器２１０はまた、各ベクトルが偽物であるかどうかを検出するテストも行う。このテストでは、相関面のうち、検出した最小点の周りの除外域を除く部分を調べて次の最小点を検出する。この２番目の最小点が除外域の端縁にない場合、最初の最小点から導出された動きベクトルは、偽物の可能性があるものとしてフラグが付けられる。
【００２５】
動きベクトル減数器２２０は、出力フィールドの各ピクセルについて可能性のある動きベクトルの選択幅を減らしてから、動きベクトルを動きベクトル選択器２３０に送る。出力フィールドは、概念的に複数のピクセルブロックに分割される。それら各ブロックは、出力フィールド内に上記選択された入力フィールドのうち早いものにおけるサーチブロックと対応する位置を有する。動きベクトル減数器は、４つの動きベクトルのグループを出力フィールドの各ブロックに対応させ、当該ブロック内の各ピクセルは、当該グループの４動きベクトルの選択された１つを用いて補間される。
【００２６】
「偽物」としてフラグを付けられたベクトルは、すぐ近くのブロックにおけるフラグの付かないベクトルと同一である場合、ベクトル減数時に再適格化される。
【００２７】
動きベクトル減数器２２０は、その機能の一部として、「適正な」動きベクトル（即ち、確認テスト及び偽物テストに合格した動きベクトル、又は偽物でないと再適格化されたもの）の発生頻度を、それらの動きベクトルを得るのに用いた入力フィールドのブロックの位置を考慮することなくカウントする。適正な動きベクトルをそれから、頻度が減少する順に格付けする。互いにかなり異なる適正動きベクトルのうち最も共通するものを、「広域」動きベクトルとして分類する。確認テストに合格した３つの動きベクトルがそれから、出力ピクセルの各ブロックに対して選択され、ゼロ動きベクトルと共に、動きベクトル選択器２３０に送られ更に処理される。これら３つの選択された動きベクトルは、所定の優先順で次のものから選択される。
（ｉ）対応するサーチブロックから発生された動きベクトル（「局部」動きベクトル）、
（ii) 周囲のサーチブロックから発生されたもの（「隣接」動きベクトル）、
(iii) 広域動きベクトル。
【００２８】
動きベクトル選択器２３０は、サブサンプルされたＴＢＣ及びディレー回路１８０によって選択され、動きベクトルの計算に使用された２入力フィールドをも入力として受信する。これらのフィールドは、適当に遅延されて、動きベクトル選択器２３０にこれらのフィールドから導出されたベクトルと同時に供給される。動きベクトル選択器２３０は、出力フィールドのピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器２２０によって供給される当該ブロックに対する４つの動きベクトルから選択される。
【００２９】
ベクトル選択プロセスは、テスト中の動きベクトルによって指し示される２つの入力フィールドのテストブロック間の相関度の検出を含んでいる。テストブロック間の最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。ベクトル選択器はまた、「動きフラグ」を発生する。このフラグは、ゼロ動きベクトルによって指し示されるブロック間の相関度がプリセットされた閾値より大きい場合、「静止」（動きなし）にセットされる。
【００３０】
ベクトルあと処理器２４０は、動きベクトル選択器２３０により選択された動きベクトルのフォーマットを、画像の垂直又は水平のスケーリングがある場合これを表すように改め、このフォーマットを変えたベクトルを補間器１４０に供給する。補間器１４０は、動きベクトルを用いて、ＴＢＣ及びディレー回路１３０により選択された対応する２つのサブサンプルされない飛越し入力フィールドから出力フィールドを補間する。この場合、現在補間器１４０に供給されている動きベクトルによって示されるいかなる映像の動きをも考慮する。
【００３１】
動きフラグが、現在の出力ピクセルが映像の動き部分内に在ることを示す場合、補間器に供給される２つの選択されたフィールドからのピクセルが、制御信号Ｔによって示される出力フィールドの上記２入力フィールドに対する時間位置に応じて、相対的比率で結合される。即ち、より近い入力フィールドがより大きな比率で結合される。動きフラグが「静止」にセットされている場合、時間的加重（重み付け）は各入力フィールドの５０％に固定される。補間器１４０の出力は、出力バッファ１５０に送られ高精細度出力信号として出力されると共に、ダウンコンバータ１６０に送られ通常精細度出力信号１６５として出力される。
【００３２】
ダウンコンバータ１６０は、本装置の出力（例えば、高精細度ビデオ信号）の表示を従来精細度の装置を用いてモニタしたり、送信したり、又は記録したりすることを可能とする。これは、従来精細度記録機器が高精細度機器よりかなり安価で、遙かに広く普及しているので、有益である。例えば、夫々地上及び衛星チャンネルによって送信するには、通常及び高精細度ビデオの同時出力が必要であろう。また、出力ビデオ信号を直接フィルムに、例えば、電子ビームレコーダを用いて記録する場合、ダウンコンバータ１６０はビデオテープへの同時記録を可能とする。
【００３３】
サブサンプラー１７０は、マトリクス１２０より受信した入力ビデオフィールドを水平及び垂直方向に空間的にサブサンプリングしてから、それらの入力フィールドをタイムベース変換（ＴＢＣ）及びディレー回路１８０に供給する。水平サブサンプリングは、例えば２：１に間引く場合には入力フィールドがまず半帯域幅ローパスフィルタにより予めフィルタリングされ、各ビデオラインに沿ってビデオサンプルが１つおきに捨てられ、これによって、各ビデオラインに沿うサンプルの数が半分に減るという点において、容易な動作である。
【００３４】
入力フィールドの垂直サブサンプリングは、入力ビデオ信号５０が飛越し走査されているため、複雑である。これは、各飛越しフィールドにおけるビデオサンプルの連続するラインが実効的に２つのビデオラインに分かれ、各フィールドにおけるラインが前後のフィールドのラインより完全フレームの１ビデオラインだけ垂直にずれていることを意味する。
【００３５】
垂直サブサンプリングの１つの方法は、プログレッシブ走査変換を行うことにより、各々が１１２５ラインをもつ連続するブログレッシブ走査されたビデオフレームを発生し、該プログレッシブ走査されたフレームを２の率でサブサンプルして、垂直サブサンプルを行うことであろう。しかし、効率のよいプログレッシブ走査変換は、或る程度の動き補正処理を必要とし、その処理が動き処理装置１８５の動作に悪い影響を与えることがある。更に、高精細度ビデオ信号の実時間プログレッシブ走査変換は、特別に強力で複雑な処理装置を必要とすることであろう。
【００３６】
垂直空間サブサンプリングのもっと簡単な方法は、エイリアシングを避けるために入力フィールドをまず垂直方向にローパスろ波し、次いで、偶数フィールドの場合には各ピクセルを垂直方向にビデオラインの１／２だけ下方に実効的にずらし、奇数フィールドの場合には各ピクセルを垂直方向にビデオラインの１／２だけ上方に実効的にずらす如きろ波を行うことである。その結果得られるずれたフィールドは、２の率で垂直方向にサブサンプルされたプログレッシブ走査フレームと広い意味で等価である。
【００３７】
したがって、要約すると、上述したサブサンプリング動作の結果、動き処理装置１８５は、水平及び垂直方向に２の率で空間的にサブサンプルされた入力フィールド対について動作することになる。これにより、動きベクトル推定に要する処理が１／４に減少する。
【００３８】
図２は、相関面の例を示す図である。相関面３００は、その発生源である２入力フィールドのうち早いもののサーチブロックと、該２入力フィールドのうち遅いもののより大きいサーチ領域との間の差を表すものである。よって、相関のピークは、相関面３００では最小点３１０で表される。相関面３００上の最小点３１０の位置は、相関面から導出される動きベクトルの大きさと方向を決定する。
【００３９】
図１の装置では、各動きベクトルは、夫々の相関面上の最小点を検出することによって発生される。動き処理装置１８５に供給される入力フィールドの各対について、総数で８０００個の相関面がベクトル推定器２１０に供給され、８０００個の動きベクトルの発生に使用される。
【００４０】
図１の装置の処理要求量を減らすために、相関面の上記総数の１／４のみを、ブロック突合せ器１９０に供給されるサブサンプルされた２入力フィールドのブロックの比較により発生する。動きベクトルの発生に用いるべき相関面はそれから、ブロック突合せにより発生した相関面から補間される。これは、２０００個の「原」相関面がブロック突合せ器１９０によって発生され、これらが相関面処理器２００に供給されることを意味する。相関面処理器２００は次に、該２０００個の原相関面から８０００個の「補間された」相関面を発生し、これが動きベクトルの推定に使用される。
【００４１】
図３は、以前に提案されたツウィストフォーマットすなわち相関面順次フォーマットの相関面データを示す説明図である。与えられた映像フィールドに対する、補間すべき相関面データは、６つの区域、即ち、左上、中上、右上、左下、中下及び右下に分けられる。これらの各区域は、複数の相関面３２０を含む。相関面データは、各個々の相関面におけるラスタ走査パターンの順序に従った順次データストリームである。即ち、相関面３２２におけるラスタ走査の次に、相関面３２４におけるラスタ走査が続く如き相関面データストリームである。こうして、相関面３２２に対する相関面解析が完了したあと、次の相関面３２４に対して同じ動作が行われる。
【００４２】
図４は、非ツウィストフォーマットすなわち非相関面順次フォーマットの相関面データを示す説明図である。全出力映像フィールドに対する、補間すべき相関面データは、やはり６つの区域に分けられるが、これらの各区域内では、幅一杯のラスタ走査が行われる。即ち、左上区域内の相関面の第１行（横列）３２５については、相関面データ値の第１ラスタライン３２６がデータストリームとして連続的に供給され、次に相関面データ値の第２ラスタライン３２８が供給される。第１ラスタライン３２６は、インタリーブ（間挿）された複数の相関面値のサブセット（部分集合）より成り、各サブセットは、図３に示したような相関面内の１ラスタラインである。このように異なる相関面からの複数相関面値を間挿すると、どうすればこのデータストリームを効率よく解析できるかという問題が与えられる。
【００４３】
図５は、図４のフォーマットにおける相関面の第１（最上）行をもっと詳細に示す図である。相関面の第１行は、（Ｎ＋１）個の相関面ＣＳ＃０〜ＣＳ＃Ｎを含んでいる。これら各相関面はＬラスタラインを含み、各ラスタラインはＰピクセルを有し、各ピクセルは１つの相関面データ値をもつ。したがって、相関面の第１行３２５は、Ｌ＊Ｐ＊（Ｎ＋１）相関面値を含む。これらの相関面値は、図示の相関面の行３２５全体に及んでラスタ走査されたデータストリームとして処理される。
【００４４】
図６及び７は、図４及び５に示したフォーマットをもつデータストリームについて相関面解析を行う装置を示すブロック図である。図６及び７の装置は、図１のベクトル推定器２１０の一部を構成する。本装置は、行クロック信号、相関面（ＣＳ）クロック信号及び相関面値（ピクセル）クロック信号を相関面解析器ロジック（論理）ブロック３３２に供給するアドレス発生器を具える。相関面値解析器ロジックブロック３３２は、先入れ先出し（ＦＩＦＯ）メモリ３３４に結合され、該メモリには部分（中間）結果が一時記憶される一方、そこからインタリーブされた相関面データが相関面値解析器ロジックブロック３３２に供給される。
【００４５】
動作時、相関面データストリームは各相関面からの１ラスタラインを順に相関面値解析器ロジックブロック３３２に供給する。こうして、各相関面について、小部分の（部分的な）解析が行われ、それから順に次のブロックについて小部分の解析が行われ、図５に示す相関面の行３２５の終わりに達するまで続けられる。行３２５が終わると、該行３２５内の各相関面に対する解析も終わり、相関面の各々に対する現在の相関最大値が最終結果を表すことになる。これらの値は、相関面値解析器ロジックブロック３３２から読出され、それから動きベクトルの発生に使用される。相関の最大は、相関面に対して行われる解析の１つにすぎず、他に、該相関面内の次に大きな相関最大の位置や値、これらの相関最大点の勾配、その他のパラメータがある。
【００４６】
各相関面の解析が、データストリームの非ツウィストすなわちインタリーブされたフォーマットによって実質的に中断されるので、ＦＩＦＯメモリ３３４は、当該相関面の次のデータが相関面値解析器ロジックブロック３３２に入力されるまで、部分結果を一時的に記憶する。ＦＩＦＯメモリ３３４のクロッキングは、システムへの相関面データのクロッキングから導出されるが、それは、既に計算された部分結果が、ＦＩＦＯメモリ３３４から相関面値解析器ロジックブロック３３２へ、当該相関面における次の相関面データ値の解析の間に使用される如く同期して出力されるように行われる。
【００４７】
図７は、図６の装置をもっと詳細に示す図である。相関面値解析器ロジックブロック３３２は、詳しくは複数の別個のロジックブロック３３６，３３８及び３４０を含み、これら各ブロックは、これに入力される相関面データに対して、例えば相関最大点、勾配、次に大きい相関最大点という異なる特定の解析を行う。ＦＩＦＯメモリ３３４は、与えられた相関面に対する相関面データが入力され始めると、当該与えられた相関面に対するこれまでの部分結果をロジックブロック３３６，３３８及び３４０のうち適切なものに出力する。行３２５の終わりに、最終結果がロジックブロック３３６，３３８及び３４０から読出される。
【００４８】
図８は、図６及び７の装置内の各種信号のタイミングを示す図である。一番上の信号は、相関面値入力の包絡線を表す。一連の相関面値３４２，３４４及び３４６は、図５に示した相関面内の相関面値のインタリーブされたサブセットの同一番号のものと対応している。もっと詳しくいえば、サブセット３４２及び３４４は、相関面の行３２５からのデータの最後のものであり、サブセット３４６は次の行の最初のデータである。
【００４９】
２番目の信号は、相関面クロック信号であり、入力相関面データストリームからのデータが発生源である相関面を切替える周期に対応する周期を有する。この相関面クロックは、ＦＩＦＯメモリ３３４の動作を制御するのに使用する。
【００５０】
次の信号は、行クロックである。行クロックは、図５に示したように、相関面の行３２５が終わった時を示すのに使用する。このような点３４８において、ＦＩＦＯメモリ３３４の内容を初期化することができる。というのは、該メモリが含む部分結果は、次に相関面の新しい行を解析するのにもはや必要でないからである。
【００５１】
次の信号は、ＦＩＦＯメモリ３３４へのデータ出力の包絡線を示す。これは、各相関面に対するこれまでの部分結果値であって、相関面値の各サブセット３４２，３４４の解析後ただちにＦＩＦＯメモリに出力される。即ち、相関面ＣＳ＃（Ｎ−３）についての部分結果値は、相関面ＣＳ＃（Ｎ−３）からのサブセット３５０の解析後ただちにＦＩＦＯメモリ３３４に出力される。
【００５２】
一番下の信号は、ＦＩＦＯメモリ３３４から相関面値解析器ロジックブロック３３２へ出力される部分結果値の包絡線を表す。各相関面に対するこれまでの部分結果値は、当該相関面に対する相関値の次のサブセットが到達する直前にＦＩＦＯメモリ３３４から出力される。即ち、相関面ＣＳ＃（Ｎ−２）についての部分結果値は、サブセット３５２の受信直前に相関面値解析器ロジックブロック３３２に入力される。図５に示すような相関面の行の終わりに達すると、ＦＩＦＯメモリ３３４は初期化される。これを、相関面の新しい行の先頭を形成する相関面ＣＳ＃０及びＣＳ＃１の解析の前に入力される０の部分結果値３５４及び３５６によって示す。
【００５３】
以上、本発明を図示の実施例について詳細に説明したが、本発明は、これら特定の具体構成に限定されるものではなく、特許請求の範囲内において種々の変形、変更をすることができるものである。
【００５４】
【発明の効果】
以上述べたとおり、本発明によれば、ツウィストされないデータのフォーマットを処理するため、従来のようにツウィスト・フォーマットのデータ処理のための大容量メモリを必要とすることなく、効率的に所要の動きベクトルを発生することができる。
【図面の簡単な説明】
【図１】本発明を用いる動き補正テレビジョン方式変換装置を示すブロック図である。
【図２】相関面の例を示す図である。
【図３】従来のツウィスト・フォーマットによる相関面データを示す説明図である。
【図４】本発明による非ツウィスト・フォーマットによる相関面データを示す説明図である。
【図５】図４のフォーマットによる相関面の１行を示す拡大詳細図である。
【図６】図４及び５のフォーマットによるデータで動作する相関面装置を示すブロック図である。
【図７】図６の装置の詳細を示すブロック図である。
【図８】図６及び７の装置内の各種信号の相対的タイミングを示す図である。
【符号の説明】
１９０ ブロック突合せ器（相関面値計算手段）
２００ 相関面処理器
２１０ ベクトル推定器（相関面値解析装置を含む。）
３３２ 相関面値解析器
３３４ バッファメモリ
３３０ アドレス発生器（最終結果値読出し手段）
３３６，３３８，３４０ ロジックブロック
Claims (7)
- 時間的に隣接する２つの入力映像対から動きベクトルを発生する装置であって、
上記２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生する手段と、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生する手段と、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析手段であって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断する処理と、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開する処理と、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力する処理と
を行う解析手段と、
上記解析手段の検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生する手段とを具えた動きベクトル発生装置。 - 上記バッファメモリは、先入れ先出しメモリである請求項１の装置。
- 上記データストリームは、複数の相関面を横方向及び縦方向に含む区域を横幅一杯にラスタ走査することによって供給されるデータストリームのうちの、同じ横列に位置する相関面毎のデータストリームであり、複数のラスタラインを含んでいる請求項１の装置。
- 上記解析手段は、１つの上記データストリームの受信が完了する毎に上記バッファメモリを再初期化する請求項１の装置。
- 上記解析手段は、上記データストリームを並列に受信するように配列された複数のロジックブロックを有し、各々のロジックブロックは、最大相関点の検出のための解析をそれ以外の解析とを含む複数種類の解析のうち、互いに異なる種類の解析を行う請求項１の装置。
- 時間的に隣接する２つの入力映像対から動きベクトルを発生する方法であって、
上記２つの入力映像対のうち時間的に早いほうの入力映像のサーチブロックと、上記２つの入力映像対のうち時間的に遅いほうの入力映像のサーチ領域との間の差を表す相関面を発生するステップと、
横方向に配列された複数個の相関面を横幅一杯にラスタ走査したデータストリームを発生するステップと、
上記データストリームを受信し、個々の相関面について、最大相関点を検出するための解析として、データ値が最小となる最小点の検出を行う解析ステップであって、
１個の相関面の１ラスタライン分のデータを受信する毎に、当該相関面についての上記解析を行い、解析結果を直ちにバッファメモリに一時的に記憶して、当該相関面についての上記解析を中断するステップと、
１個の相関面について上記バッファメモリに記憶した解析結果を、当該相関面の新たな１ラスタライン分のデータを受信する直前に上記バッファメモリから読み出して、当該相関面についての上記解析を再開するステップと、
上記データストリームを構成する複数個の相関面についての上記解析が終了した段階で、それぞれの相関面の最大相関点の検出結果を出力するステップと
を有する解析ステップと、
上記解析ステップの検出結果を用いて、各相関面における最大相関点からそれぞれ動きベクトルを発生するステップとを含む動きベクトル発生方法。 - 上記データストリームは、複数の相関面を横方向及び縦方向に含む区域を横幅一杯にラスタ走査することによって供給されるデータストリームのうちの、同じ横列に位置する相関面毎のデータストリームであり、複数のラスタラインを含んでいる請求項６の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9311852A GB2278972B (en) | 1993-06-09 | 1993-06-09 | Motion vector generation |
| GB9311852:9 | 1993-06-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0715701A JPH0715701A (ja) | 1995-01-17 |
| JP3875286B2 true JP3875286B2 (ja) | 2007-01-31 |
Family
ID=10736850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11111594A Expired - Fee Related JP3875286B2 (ja) | 1993-06-09 | 1994-05-25 | 動きベクトル発生方式 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5442409A (ja) |
| JP (1) | JP3875286B2 (ja) |
| GB (1) | GB2278972B (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5818969A (en) * | 1995-05-12 | 1998-10-06 | Intel Corporation | Intelligent start for motion estimation search |
| US5995142A (en) * | 1996-02-04 | 1999-11-30 | Sony Corporation | Automatic white balance control system for a color video camera |
| GB2319684B (en) * | 1996-11-26 | 2000-09-06 | Sony Uk Ltd | Scene change detection |
| FR2757296B1 (fr) * | 1996-12-13 | 2001-10-12 | Sgs Thomson Microelectronics | Procede et dispositif d'estimation de mouvement de portions d'images pour circuit de compression d'images mobiles |
| US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
| US6591398B1 (en) * | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
| KR100924401B1 (ko) * | 2001-06-05 | 2009-10-29 | 소니 가부시끼 가이샤 | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 기록 매체 및 촬상 장치 |
| US20170107450A1 (en) * | 2015-10-19 | 2017-04-20 | The Procter & Gamble Company | Associating a scent with an article of clothing worn on the body |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3685589T2 (de) * | 1986-03-19 | 1993-02-04 | British Broadcasting Corp | Videosignal-verarbeitung fuer bandbreitenverringerung. |
| JP2609263B2 (ja) * | 1986-03-19 | 1997-05-14 | ブリティッシュ・ブロードキャスティング・コーポレーション | テレビジョン画像における運動の測定方法及び装置 |
| GB2222498A (en) * | 1988-09-05 | 1990-03-07 | Philips Electronic Associated | Picture motion measurement |
| GB2222500A (en) * | 1988-09-05 | 1990-03-07 | Philips Electronic Associated | Picture motion measurement |
| GB2231749B (en) * | 1989-04-27 | 1993-09-29 | Sony Corp | Motion dependent video signal processing |
| GB2231752B (en) * | 1989-04-27 | 1993-08-04 | Sony Corp | Motion dependent video signal processing |
| GB2246925B (en) * | 1990-08-09 | 1994-04-27 | Sony Broadcast & Communication | Video signal processing |
| GB2263601B (en) * | 1992-01-24 | 1995-05-24 | Sony Broadcast & Communication | Motion compensated video signal processing |
-
1993
- 1993-06-09 GB GB9311852A patent/GB2278972B/en not_active Expired - Fee Related
-
1994
- 1994-02-24 US US08/201,359 patent/US5442409A/en not_active Expired - Lifetime
- 1994-05-25 JP JP11111594A patent/JP3875286B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| GB2278972B (en) | 1997-06-04 |
| JPH0715701A (ja) | 1995-01-17 |
| GB9311852D0 (en) | 1993-07-28 |
| GB2278972A (en) | 1994-12-14 |
| US5442409A (en) | 1995-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4941045A (en) | Method and apparatus for improving vertical definition of a television signal by scan conversion | |
| US5600377A (en) | Apparatus and method for motion compensating video signals to produce interpolated video signals | |
| US7477319B2 (en) | Systems and methods for deinterlacing video signals | |
| JP3845456B2 (ja) | 動き補正ビデオ信号処理方式 | |
| EP1139659A2 (en) | Method and apparatus for deinterlacing video images | |
| US5347312A (en) | Motion compensated video signal processing | |
| JPS63313979A (ja) | ディジタルテレビジョン画像の動きを補償した補間方法 | |
| JPS63313983A (ja) | テレビジョン画像の動きベクトル処理装置 | |
| JP3875286B2 (ja) | 動きベクトル発生方式 | |
| US5485224A (en) | Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same | |
| JPH06326980A (ja) | 動き補償映像信号処理方式 | |
| JP3212917B2 (ja) | 走査線補間装置および走査線補間方法 | |
| JP3814326B2 (ja) | 映像信号処理回路 | |
| KR100931110B1 (ko) | 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법 | |
| JP3469626B2 (ja) | 動き補償ビデオ信号処理装置及びビデオ信号処理方法 | |
| GB2277006A (en) | Generating motion vectors; subsampling video signals, interpolating correlation surfaces | |
| JP2002247529A (ja) | 順次走査変換装置 | |
| JPH0779417A (ja) | 動き補正ビデオ信号処理方式 | |
| JP3918759B2 (ja) | 画像データの生成装置および生成方法 | |
| JPH0715700A (ja) | 動き補正映像信号処理装置及び方法 | |
| JPH08163511A (ja) | 順次走査変換方法および順次走査変換装置 | |
| JP3308005B2 (ja) | 画像変換装置 | |
| JPH0832031B2 (ja) | 動き補正サブサンプル伝送方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061026 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |