JPH0698301A - ビデオ信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 フィールド内或はフレーム内情報に応じた動
き適合又は動き補償用にビデオ信号を処理するビデオ信
号処理装置を得ること。 【構成】 ビデオ信号処理装置、例えばテレビ標準コン
バータ１２は、磁気ディスクの如き記録媒体よりの時間
コードとして表現されているビデオ信号に関連する場面
の不連続情報を読むリーダ２１を有する。この装置は、
読まれた情報に応じてビデオ信号の処理を、場面の不連
続点で、フィールド間又はフレーム間情報に応ずるよう
に変化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオ信号の処理装置
に係わり、もっぱらではないが、特にビデオ信号の写真
フィルムへの変換の如き時間的フレーム間処理を含むビ
デオ信号処理装置に関する。

【０００２】

【従来の技術】図３０は、本願の発明者等が既に提案し
たビデオ信号を写真フィルム用に変換する装置のブロッ
ク図である。この装置は、図示の如く接続されたビデオ
テープレコーダ（ＶＴＲ）１、ビデオ信号変換器２、ガ
ンマ補正器３及び電子ビームレコーダ（ＥＢＲ）４より
成る。その動作を簡単に説明すれば、次の如くである。

【０００３】ＶＴＲ１は、１秒当り６０個の飛越し走査
フィールドの高精細度ビデオ信号（ＨＤＶＳ）を再生す
る。ビデオ信号変換器２は、比較的簡単な装置で、再生
ビデオ信号から、入力される５番目毎のフィールドをド
ロップし、残りの入力されるフィールドを組合せて、１
秒当り２４個の順次走査フレームに対応する変換ビデオ
信号を作り、電子ビームレコーダ４に供給し、写真フィ
ルム上に記録する。

【０００４】

【発明が解決しようとする課題】しかしながら、上記装
置は、若し大きな動きが場面に在ると、変換処理により
画面に６０Ｈｚで動く非常にじゃまな揺動成分が生ずる
と云う問題がある。

【０００５】より良いビデオ信号変換器（コンバータ）
がビデオ標準コンバータとして周知である。これは、ビ
デオ信号を１つのテレビジョン標準から他の標準へ変換
するのに使用される。例えば、１フレームにつき６２５
ラインで、１秒につき５０フィールドの標準のものを、
１フレームにつき５２５ラインで、１秒につき６０フィ
ールドの標準のものに変換する。ビデオ標準の変換は、
単なるリニア補間技術を用いるのみでは、良好に行うこ
とはできない。何故ならば、ビデオ信号に在る時間的且
つ垂直なエイリアス（歪みの一種）のためである。従っ
て、単なるリニア補間は、得られる絵（画像）に不要な
人工雑音を作る。特に、絵が時間的に揺動し垂直方向に
汚される。

【０００６】かかる問題を減少するため、ビデオ標準コ
ンバータが、入力するビデオ信号による絵に生ずる動き
の程度に応じて、リニア補間のパラメータを切換える付
加的技術を用いることが提案されている。

【０００７】例えば、ビデオ信号処理におけるデータを
減少するため、ブロックマッチング（突合せ）により入
力ビデオ信号から動きベクトルを生成することも提案さ
れている。これによれば、１フィールド或は１フレーム
におけるサーチブロックの内容が、次のフィールド又は
フレームのサーチ領域内の複数個のサーチブロックの繰
り返す内容と比較され、比較された内容間の最小の相違
を決定し、元のサーチブロックの内容の動き（若し在れ
ば）の方向及び距離を決定する。

【０００８】ソニー株式会社の欧州特許明細書第ＥＰ−
Ａ２−Ｏ ３９５２７６号には、ビデオ信号を写真フィ
ルム用に変換し、動き補償テレビジョン標準変換器を有
する装置が披瀝されている。この装置の問題は、動き適
合、動き補償ビデオ信号処理方法及び装置に一般的に生
ずるもので、信号処理を正確に行うために、像における
対象物の動きに関する情報は正確でなければならないと
いうことである。特に困難なことは、場面が変化し、実
際に場面のカットが通常起り、ワイプ、フェード及びそ
の他の事象が検出回路に、動きの迅速且つランダムな変
化として現れることである。このことは、出力画像に、
不愉快な人工雑音を生じ、且つこれは、ビデオ信号があ
と処理された時に、更に顕著となる。

【０００９】本発明は、上記問題に鑑み、これ等問題を
一掃したビデオ信号処理装置を提供するものである。

【００１０】

【課題を解決するための手段及び作用】本発明は、上記
の課題を特許請求の範囲の請求項１に記載した構成によ
って解決した。

【００１１】

【実施例】以下に述べる本発明によるビデオ信号処理装
置の一実施例は、ビデオ信号を写真フィルム用に変換す
るためのもので、特に、１フレーム当たり１１２５ライ
ンで、１秒当たり６０フィールドの高細精度ビデオ信号
（ＨＤＶＳ）を、１秒当たり２４フレームの３５ｍｍフ
ィルム用に変換する場合に使用するものである。然しな
がら、本発明は、この点にのみ限定されるのではなく、
他の態様のビデオ信号処理にも広く適用できることは、
勿論である。

【００１２】本発明の装置は、便宜的に２個の部分に分
けて考えることができる。第１の部分は、図１に示す如
く、入力するＨＤＶＳをＶＴＲに記録される１秒につき
２４フレームに相当する順次走査デジタルビデオ信号に
変換する部分であり、第２の部分は、図２に示す如く記
録されたビデオ信号を再生し、それを写真フィルムに転
送する部分である。

【００１３】図１に示す本発明の装置の第１の部分は、
記録されたビデオ信号に関連する時間コードを読む手段
を有する高精細度デジタルＶＴＲ１１と、テレビジョン
標準変換器（コンバータ）１２と、ビデオ信号を１秒ま
で記録できるフレームレコーダ１３と、第２の高精細度
デジタルＶＴＲ１４と、トラックボールコントロール１
６、キーボード１７、グラフィックディスプレー１８及
びその詳細は後述する編集リストディスクリーダ２１を
関連して有するシステムコントローラ１５と、テレビジ
ョンモニタ１９，２０とを図示の如く接続して有する。
なお、動作は後述する。

【００１４】本発明の装置の第２の部分は、図２に示す
如く、高精細度デジタルＶＴＲ３１と、デジタルインタ
ーフェース（Ｉ／Ｆ）ユニット３２と、ガンマ補正器３
３と、Ｄ／Ａコンバータ３４と、電子ビームレコーダ３
５と、テレビジョンモニタ３６と、スイッチ３７とを図
示の如く接続して有する。なお、動作は後述する。

【００１５】再び図１を参照するに、ビデオ信号の接続
Ｄはデジタル接続、即ちＹ，Ｕ／Ｖ信号を運び、ビデオ
信号接続Ａは、Ｒ，Ｇ，Ｂ信号を運ぶアナログ接続であ
る。フィルムに転送され、高精細度ビデオカメラから送
出される入力ビデオ信号は、デジタルＶＴＲ１１により
再生される磁気テープに記録される。デジタルＶＴＲ１
１は、記録されたビデオ信号を１／８速度で再生し得
る。何故ならば、この速度は後続の回路、特に標準コン
バータ１２の動作に適切な速度であるからである。素子
１１〜１４及び１９，２０は、システムコントローラ１
５により制御される。一方、このシステムコントローラ
１５は、トラックボールコントローラ１６及びキーボー
ド１７よりの入力により制御され、且つグラフィックデ
イスプレー１８及びディスクリーダ２１を関連して有す
る。なお、グラフィックディスプレー１８上には、変換
の進行状態に関連する情報が表示される。

【００１６】入力ＨＤＶＳの一部がデジタルＶＴＲ１１
より再生され、標準コンバータ１２へ供給される。その
詳細は後述するも、この標準コンバータ１２は、入力ビ
デオ信号である１秒につき６０フィールドの飛越し走査
ビデオ信号から、最初に、１秒につき６０フレームで動
き適合順次走査デジタルビデオ信号を得、次に、これよ
り、１秒当たり２４フレームに相当する必要な動き補償
順次走査デジタルビデオ信号を得る。なお、後者の比率
は必ずしも必要ではない。このビデオ信号はデジタルＶ
ＴＲ１４により記録される。フレームレコーダ１３は、
ビデオ信号をフィルム用に変換するのに要求される中間
動作を行う。何故ならば、デジタルＶＴＲ１４は低速記
録でもないからである。更に、フレームレコーダ１３
は、速い間隔で変換が良好に進行していることをチェッ
クする能力を持つ。かくして、変換されるべきビデオ信
号の内容に応じて、パラメータの調整、特に標準コンバ
ータ１２のパラメータの調整がなされることが必要であ
り、その結果が進行前に評価される。モニタ１９，２０
は、装置内の夫々の点におけるビデオ信号をチェックす
る手段として設けられている。ディスクリーダ２１の動
作を以下に述べる。

【００１７】図２に示す装置の第２の部分においては、
図１に示すデジタルＶＴＲ１４により記録された動き補
償順次走査デジタルビデオ信号が、デジタルＶＴＲ３１
により再生され、デジタルＩ／Ｆユニット３２を通じて
ガンマ補正器３３に送られる。この目的は、ビデオ信号
のガンマ特性を、使用されるフィルムのガンマ特性にマ
ッチさせるためである。続くデジタルＶＴＲ３１による
再生のために、図１に示すデジタルＶＴＲ１４による動
き補償順次走査デジタルビデオ信号の記録により許され
る分離動作は、ガンマ補償器３３による正確なガンマ補
正をセットする。何故ならば、間欠的及び繰り返し動作
が可能で、デジタルＶＴＲ３１からのビデオ信号の通常
非線型ガンマ特性の通常リニアなフィルムのガンマ特性
への種々のマッピング（写像）がテストできるからであ
る。このガンマのセットは、例えば階段状クサビを意味
する。ガンマ補正されたデジタルビデオ信号は、次にＤ
／Ａコンバータ３４によりアナログ信号に変換され、電
子ビームレコーダ３５に供給され、写真フィルムに記録
される。この記録は、例えばビデオ信号の各フレームに
対し、３個のモノクロームフレーム型式でよく、３個の
フレームは夫々赤、緑、青に対応する。テレビジョンモ
ニタ３６は、スイッチ３７により、選択的にデジタルＶ
ＴＲ３１の出力端又はＤ／Ａコンバータ３４の出力端に
接続でき、更には、２個の別々のテレビジョンモニタを
設けてもよいことは、勿論である。

【００１８】本発明の装置の特性は次の如くである。即
ち、フィルム上に良い動きを持った絵を、シャープで明
瞭に作り、特に動きにぼけが無く、如何なる付加的揺動
成分もない絵を作ることができる。更に、動き補償順次
走査デジタルビデオ信号をデジタルＶＴＲ１４上に記録
することによる分離動作は、一方では、装置のパラメー
タのチェックを簡単且つ度々行うことができる。従っ
て、フィルム上に得られる絵の画質を確実にする。繰返
し動作が完全に可能なので、結果は迅速に評価され、変
換はパラメータの調整により欠陥が補正され、繰返され
る。より早い動作を得るためには、装置の第１の部分、
即ち、図１に示す部分の模写を多く作り、デジタルＶＴ
Ｒ３１への付加的入力を作り、図２に示す部分を一層有
効に使用し、より早い全変換スピードを得る

【００１９】図３は標準コンバータ１２のブロック図
で、これを、以下詳細に述べる。標準コンバータ１２
は、入力ビデオ信号が供給される入力端子４１を有す
る。入力端子４１は順次走査コンバータ４２に接続さ
れ、そこで、入力ビデオフィールドがビデオフレームに
変換され、直接ブロックマッチャ（突合せ器）４３に供
給され、そこで相関表面が形成される。相関表面は、動
きベクトル推定器４４により分析される。この推定器４
４は動きベクトルを作り、これを動きベクトル減少器４
５に供給する。この減少器４５は、各画素（ピクセル）
に対する多数の動きベクトルを、動きベクトルセレクタ
４６に供給する前に、減少する。この動きベクトルセレ
クタ４６は、順次走査コンバータ４２の出力を受ける。
動きベクトルセレクタ４６の選択の不規則性は、動きベ
クトル・ポストプロセッサ４７により除去される。この
プロセッサ４７よりの処理された動きベクトルは、順次
走査コンバータ４２の出力が供給される補間器４８に供
給され、それを制御する。標準変換され、動き補償され
たビデオ信号である補間器４８の出力は、出力端子４９
へ供給される。標準コンバータ１２の各部及びその動作
を、以下詳細に述べる。

【００２０】順次走査コンバータ４２は、出力フレーム
を入力フィールドと同じレートで作る。従って、一連の
連続フィールドの一連の連続ライン、入力フィールドに
在るラインを示す×印及び補間ラインを示す□印を示す
図４を参照するに、各出力フレームは入力フィールドの
２倍の数のラインを含む。入力ビデオ信号よりのライン
と、後述の方法の１つにより補間されたラインとの管
で、ラインは交番される。補間されたラインは、入力フ
ィールドに対して反対の極性の補間フィールドと見なす
ことができるが、同一の時間的位置にある。順次走査変
換は次の２つの主たる理由により行われる。その第１
は、次の直接ブロック突合せ処理を先に行うことであ
り、その第２は最終出力ビデオフォーマットを考慮する
ためである。

【００２１】直接ブロック突合せに関しては、これを用
いて２個の続くビデオフィールド間の水平及び垂直運動
の正確な推定を得るもので、この点に関しては後に詳細
に述べる。然しながら、第１順次走査変換が最初に行わ
れないと、直接ブロック突合せが行われるビデオ信号飛
越し構造により問題が生ずる。

【００２２】最終出力ビデオフォーマットの考察に関し
ては、本発明のこの例においては、変換ビデオ信号は、
テープを介して電子ビームレコーダに供給され、１秒に
つき２４フレームの動画フィルムレートに対応するフレ
ームより成る必要がある。この理由により、順次走査変
換フレームの作成が必要であり、更に、順次走査変換フ
レームは、フォールバック（ｆａｌｌ−ｂａｃｋ）とし
て次の場合に使用し得る。すなわち、動き補償標準変換
が、例えば運動が充分に分析されるに余りに多用、或は
場面変化、又は他の場面の不連続があるため許されない
結果を生じると見られる場合である。かかる場合、要求
される出力フレームとして最も近い順次走査変換フレー
ムの使用により、理論的に受け入れられる結果が得られ
る。

【００２３】順次走査変換は、例えば前フィールド置
換、３個の空間的に連続するラインの検査（時間的にこ
れ等３個のラインは２個の連続するフィールドよりのも
の）される中間濾波、或は多方向リニア補間が続く多重
勾配動き検出を利用する動き補償技術等の多数の方法で
行われる。然し、この実施例では、良い方法としては、
動き適合順次走査変換で、そのステップは図５のブロッ
クで示されている。その概念は、フィールド内補間を完
全静止画領域で用いてできるだけ多くの垂直情報を保持
し、且つ大切な動きが在る時はフィールド間補間を用い
る。これにより絵の動きを助ける。動きが両極端間のど
こかに在る場面では、画面に在る局所的な動きの推定が
なされ、これを用いてフィールド内及びフィールド間補
間の異る比率を混合する。この事は欧州特許明細書によ
り詳細に記載されている。

【００２４】図３に戻って説明する。順次走査コンバー
タ４２よりのビデオフレームを用いて動きベクトルを得
る。動きベクトルの推定は２段のステップより成る。初
めに、相関表面を続くフレームより相関サーチブロック
で作る。次に、これ等の相関表面を得てから、それ等を
検査して位置、即ち相関が最も良い位置を決める。相関
表面を得る数個の異る方法が在り、２つの主たる方法は
位相相関及び直接ブロック突合せである。然しながら、
位相相関の使用に関連して、多くの問題が在る。これ等
の問題は、転送機構、ウインド機能、ブロックの大き
さ、作られた表面の輪郭の可変性質に関係する問題であ
る。それ故、本例では直接ブロック突合せが好ましい。

【００２５】直接ブロック突合せ器４３の動作は次の如
くである。即ち、夫々順次走査変換ビデオ信号の続くフ
レームよりの画素の矩形配列を含む２個のブロックは相
関して動きベクトルが得られる相関表面を形成する。

【００２６】図６を参照して説明する。始めに、２３ラ
インのサイズ３２画素のサーチブロックと称する小さな
ブロックをフレームから、図６に示す如く取り出す。次
に、６９ラインのサイズ１２８画素のサーチ領域と称す
る大きなブロックを次のフレームから取り出す。サーチ
ブロックＳＢを図７に示す如く、サーチ領域（ＳＡ）内
の各可能な位置に置き、各位置に対して２個のブロック
間の画素の輝度レベル間の絶対差の合計を計算する。こ
の値を、それが得られた点における相関表面の高さとし
て用いる。この値を、サーチ領域内のサーチブロックの
各可能な位置に対して得られた他の同様な値に関連して
用いて、相関表面を得る。その一例を図８に示す。明瞭
にするため、表面を逆にして示す。又、それは必要とす
る最小値なので、図８の必要な点は、主ピークである。

【００２７】サーチブロックのサイズは、動き補償に必
要な物体の最小値を検査することにより選択される。１
秒当たり５０フィールドで、１フレーム当たり６２５ラ
インのＰＡＬ信号に対して、８ラインで１６画素のサー
チブロックが、物体内ではないがサーチブロック内の周
囲情報を出すことなく小物体をトラッキングするのに適
切であることが分かり、これにより物体のトラッキング
ができる。それ故、これが本実施例で採用されたが、Ｐ
ＡＬ６２５／５０と比較して、１ライン当たりの有効画
素数、１フレーム当たりの有効ライン数及びＨＤＶＳの
縦横比が異ることを考慮して修正した。ＨＤＶＳを第１
とした比較数は、次の如くである。即ち、１ライン当た
りの有効画素は１９２０（７２０）、１フレーム当たり
の有効ラインは１０３５（５７５）、縦横比は３：５．
３３（３：４）である。

【００２８】大きなサーチブロックを用いることには論
議があることを付け加えるべきである。何故ならば、こ
れは大きな物体がトラッキングされ得るからである。他
方、小さなブロックを用いるのに論争がある。何故なら
ば、小さな物体が大きな物体、又は背景領域の効果によ
り大きくさえぎられることを阻止しなければならないか
らである。然しながら、小さなサーチブロックによれ
ば、それ等の各々より１個の動きベクトル以上の導出が
要求されないと云う利点がある。単一の動きベクトルを
有することは、１個以上の動きベクトルを持つことより
非常に容易なので、本実施例では、上述の如く小さなサ
ーチブロックより始める。次に、効果的な結果が得られ
ない時は、サーチブロックを大きなサーチブロックに拡
大する。これは小及び大なるサーチブロックの両者の利
点を含む。満足すべき結果の判断基準は、動きベクトル
推定器４４（図３参照）によりセットされる（これの詳
細は以下に述べる）。なお、これは与えられた相関表面
からの動きベクトルを決める。

【００２９】サーチブロックを拡大する技術は、大きな
物体のトラッキングに対する利点のみではなく、周期的
性質を持つパターンの形状を有する物体の動きをトラッ
キングするのにも役立つ。

【００３０】相関表面が示唆するならば、サーチブロッ
ク及びサーチ領域の両者を、水平又は垂直方向、実際は
両方向に拡大することができる。

【００３１】フレーム中の各サーチブロックに対して生
成された相関表面（図８）から、動きベクトル推定器４
４（図３）は、サーチブロック及びその対応サーチ領域
間の類似のフレーム内の動きを推定する。明確化のた
め、相関表面の全図面は逆に示されている、即ち、最小
値はピークとして示されていることに注意されたい。

【００３２】動きベクトル推定器４４（図３）は、動き
ベクトル推定アルゴリズムを用いて、各相関表面上の最
小点を検出する。これは、サーチブロック及びサーチ領
域間の最大相関点を示し、従って、両者間の可能な動き
を示す。原点に関する相関表面上のこの最小点の変移、
この場合は表面の中心は、１フレーム当たりの画素数で
動きを直接示すものである。相関表面が単一で、明瞭な
最小点を含む最も簡単な場合は、相関表面上の最小点の
検出は、サーチブロック及びサーチ領域間の動きを精確
に決めるだけでよい。上述したように、小さなサーチブ
ロックの使用により、動きの検出及び動きの推定の精確
さが改善されるが、小さな単一サーチブロックでは、後
述する多数の状況内の動きを検出することはできない。

【００３３】図９はフレームｔ内の３個のサーチブロッ
ク１Ａ，２Ａ，３Ａにまたがり、動きベクトル５，０を
有する物体を示す。サーチブロック１Ａ及び３Ａが、次
のフレームｔ＋１内の夫々のサーチ領域（１Ｂ及び３
Ｂ）に関して相関関係にある時は、図１０に示す相関表
面は、結果的には５，０における最小を示す（これはノ
イズの無いビデオ源）。然しながら、サーチブロック２
Ａが、その夫々のサーチ領域２Ｂと相関関係にある時
は、図１１に示す相関表面が作られ、そこでは、サーチ
ブロック２Ａが、ｙ−軸方向において各点でサーチ領域
２Ｂと相関関係にある。それ故、相関表面には単一の最
小値はなく、従って、サーチブロック２Ａとサーチ領域
２Ｂとの間では、動きを決定できない。

【００３４】さて、サーチブロック２Ａが拡大されて元
の３個のサーチブロック１Ａ，２Ａ，３Ａの全てを包含
した状態を考える。拡大されたサーチブロック２Ａが、
元のサーチブロック１Ｂ，２Ｂ，３Ｂをカバーするサー
チ領域と相関関係にあるときは、その時の相関表面は図
２の如くである。これは、元のサーチブロック２Ａの正
しい動きを指示する５，０における単一の最小値を示
す。この例は、精確に動きを検出するために、原映像に
独特の特徴が必要なことを示す。従って、サーチブロッ
ク１Ａ，３Ａは共に独特の垂直及び水平な特徴、即ち、
物体の縁を有し、従って動きを決定し得る。対照的に、
サーチブロック２Ａはユニークな垂直な特徴を有する
が、ユニークな水平方向の特徴は持たない。従って、水
平な動きを決定できない。然しながら、サーチブロック
を水平及び垂直な両ユニークな特徴を包含するまで拡大
させれば、サーチブロックの完全な動きを決めることが
できる。更に、サーチブロックを拡大することは、ビデ
オ源のノイズを考慮した時、有益である。

【００３５】図１３を参照して他の例を考える。この図
は、動きベクトルが（５，３）の場合のサーチブロック
に対する相関表面を示す。サーチブロック及びサーチ領
域間に生ずる他の多くの相関により、真の動きを検出す
ることは困難である。かかる相関表面を生ずるであろう
ビデオ源の例は、風で動く低コントラストの木である。
サーチブロック及びサーチ領域を拡大すると仮定する。
拡大は水平方向に生じ、又、前例の如く、垂直方向、或
は両方向に生ずる。隣接するサーチブロックが同じ動き
をすると仮定すると、得られる相関表面上の平均効果
は、５，３における最小値を他の相関ピークの値より大
なる比率で増加させる。これを図１４に示す。この図
は、正確な動きベクトルの検出が容易であることを示
す。

【００３６】サーチブロックを拡大する方法を図９を参
照して更に考える、ここでは、サーチブロック２Ａの領
域を、サーチブロック１Ａ，３Ａを含むように拡大さ
せ、相関表面を作る。実際、得られる相関表面は、サー
チブロック１Ａ，２Ａ，３Ａに対応する３個の相関表面
の素子を共に加えることにより直接作られる。実際に
は、各相関表面が点の大きさのマトリックスと考えられ
れば、拡大サーチブロック２Ａの相関表面は、元のサー
チブロック１Ａ，２Ａ，３Ａの相関表面のマトリックス
的付加である。

【００３７】サーチブロック２Ａの領域を、その上下の
サーチブロックの相関表面の加算により垂直に拡大させ
ることができる。一方、サーチブロック２Ａを水平及び
垂直に拡大させる時は、４個の隣接する対角線の相関表
面もまた加える必要がある。これより、サーチブロック
を隣接サーチブロックを包含するように拡大させる実際
のプロセスは、比較的容易であり、より困難なプロセス
は、拡大をいつ行うか、どの隣接サーチブロックを包含
させるかを決めることである。基本的には、サーチブロ
ックの領域を良い最小値又は良い動きベクトルが検出で
きるまで拡大させることである。それ故、動きベクトル
が良い動きベクトルと見なす時を特定することが必要で
このことは、実際には、上述の例より推定する。

【００３８】図９〜１２に関連して説明した例では、物
体の独特な水平方向の特徴を含み、従って単一な最小値
を得るために、サーチブロックを水平方向に拡大させる
ことが必要であった。この状態は図１１の相関表面上の
同一最小点の列及び図１２の相関表面の単一最小点によ
り特徴づけられる。これより、良い最小値に対する第１
の判断規準が得られ、良い最小値は、相関表面上の最小
の大きさの点である。なお、この点に対して、それと次
の最小点との差が所定の値を越える。この所定値は、閾
値として知られ、従って、このテストを以下閾値テスト
と称する。

【００３９】次の最小点は、後述の他のテストの区域内
から出ることが阻止され、以下、これをリングテストと
称する。３個のリングを用いるリングテストにおいて
は、次の最小点は、問題の点の３個の画素内の点より出
ない。図９〜１２の例では、図１１の相関表面は閾値テ
ストを通過できない。それ故、サーチ領域２Ａを拡大
し、適切な閾値が与えられると、図１２の相関表面は閾
値テストを通過する。閾値テストは、又、図１３及び１
４に関連して説明した例における拡大を行うのに使用さ
れる。サーチブロックの成長に先だって、正確な最小値
は、周囲の点の大きさが極めて似ているので、検出でき
ない。適切な閾値を与えても、相関表面の閾値テストは
通過できない。従って、サーチブロックを拡大する。そ
の結果、他の余分な点から最小値を検出ことができる。

【００４０】閾値の使用は、主観的テストであるが、テ
スト中の相関表面に対する正確な閾値を、相関表面内の
大きさの範囲の分数として閾値を正規化することにより
選択できる。これは、また例えばビデオ源のコントラス
トの効果を減少させる。

【００４１】簡単に述べた主観と遠くかけ離れたリング
テストを更に説明する。リングテストの基本は、良い最
小値（又は最大値）は、その周囲の増加（減少）する大
きさの点を持つことを仮定することである。図１５はこ
の仮定を図示し、周囲の３個のリングの点が減少する平
均の大きさを有する０，０の最小値を示す。これは、図
１６の相関表面と反対で、同図においては、リング、特
に第２の最内側リングは減少する平均的大きさを持たな
い。

【００４２】この場合、リングテストにより決められる
良い最小値の規準は、平均スロープが単調であることで
ある。それ故、問題の最小値を囲む点のリングの所定数
に対し、最内側リングから外側へ動く時の各リングの平
均の大きさは、前のリングの平均の大きさより大きくな
くてはならない。図９〜１２で述べた例に戻ると、図１
１及び１２よりわかる如く、図１１の相関表面はリング
テストに失敗しているが、図１２の相関表面はリングテ
ストをパスしている。リングテストは平均を比較してい
るが、絶対値の大きさを比較していないので、リングテ
ストは主観からかけ離れ、実際にリングテストで考えら
れる変数はリングの数のみである。

【００４３】サーチブロックを拡大させるメカニズムを
記載したが、いかにして相関表面の形状を検査して、サ
ーチブロックを拡大すべき最も有効な方向を決めるかを
考えることが必要である。

【００４４】図１１を参照するに、この相関表面は、独
特の垂直特徴があり、独特の水平特徴がないという結果
になる。これは、この方向に多数の相関がある故に、相
関表面を水平に横断する最小値により、相関表面に反映
されている。これより、サーチブロックは水平方向に拡
大すべきことが推定される。反対に、多くの相関のライ
ンが垂直方向にあるならば、これは、サーチブロックを
垂直方向に拡大する必要があることを指示する。多くの
相関の円形集合は、サーチブロックを水平及び垂直方向
に拡大させる必要性を指示する。

【００４５】この規準を用いると、相関表面の形状を量
的に測定することが、サーチブロックを拡大する方向を
決めるのに必要である。この測定は次のようにして行
う。第１に、閾値を決める。閾値の下の相関表面上のい
かなる点も考慮する。この閾値を閾値テストに用いたと
同じように、相関表面内の大きさの範囲の分数として正
規化する。この閾値を用いて、相関表面上の点を順次４
つの特殊段階で検査する。その各々で、相関表面の値が
閾値より下がる点がわかる。これ等４個の段階を図１７
に示す。同図において、上、下、左及び右の数字１，
２，３及び４が４個の段階を示し、斜線部分が閾値以下
の点を示す。

【００４６】段階１ これは、相関表面の上より閾値より下の点Ａへ下がるサ
ーチである。 段階２ これは、相関表面の下より閾値より下の点Ｃへ上がるサ
ーチである。 段階３ これは、相関表面の左より閾値より下の点Ｄへのサーチ
である。 段階４ これは、相関表面の右より閾値より下の点Ｂへのサーチ
である。

【００４７】得られる４個の点Ａ，Ｂ，Ｃ，Ｄの位置を
用いて図１７に示す２つの寸法Ｘ及びＹを計算する。こ
れ等の寸法Ｘ，Ｙは、閾値より下の点を含む斜線部分の
サイズを示す。従って、寸法Ｘ，Ｙより、形状がｘ方向
がｙ方向より長いか、その逆か、形状は略々円形かが推
定される。例えば１０％の限界的差により、形状が推定
される。即ち、形状がｘ方向に長いと考えられるために
は、寸法ｘが最小でも１０％、寸法Ｙより大きくなけれ
ばならない。これは、ｙ方向についても同様である。寸
法Ｘ及びＹが互いに１０％以内であれば、形状は円形と
考えられ、サーチブロックは両方向に拡大する。図１７
の例では、寸法Ｘは寸法Ｙより大きいので、サーチブロ
ックはｘ又は水平方向に拡大する。

【００４８】サーチブロックの拡大は、一つ又はそれ以
上の拡大限界まで続く。この限界は、相関表面の最小値
が閾値及びリングテストの両者をパスするか、ビデオフ
レームの縁に到達するか、或はサーチブロックが、水平
及び垂直方向に所定個数、既に拡大したかである。この
最後の限界は、ハードウエアに依存する。即ち、この限
界は、利用される回数行われる、処理量によって制限さ
れる。本発明による１つの特別の実施例においては、こ
の限界は、水平方向に２回、垂直方向に１回である。

【００４９】相関表面における最小値が閾値テスト及び
リングテストの両者をパスすると、良い動きベクトルが
決まり、動きベクトル減少器４５（図３）へ供給された
と仮定する。然し、フレームの縁に到達したか、又はサ
ーチブロックが既に水平及び垂直方向に所定回数拡大し
たならば、良い動きベクトルが特別のサーチブロックに
対して決まらなかったと仮定して、良い動きベクトルを
決める試みの代わりに、最良の利用し得るベクトルを重
み付けにより決める。

【００５０】相関表面を重み付けして、最良の利用し得
る動きベクトルの選択を、動きベクトルの静止、即ち中
心方向に重み付けする。これには、２つの理由がある。
その第１は、サーチブロックが拡大した後も、ビデオ源
の大きな平らな領域の一部であると、良い動きベクトル
を検出することができない。然しながら、ビデオ源が平
らな領域なので、静止的動きベクトルが続く処理におい
て正しい結果となる。第２は、重み付けを設計して、悪
い動きベクトルが動きベクトル減少器４５（図３）へ到
るのを減少させることである。これが行われるのは、良
い動きベクトルが決まらない時は、小さな不正確な動き
ベクトルの方が大きな不正確な動きベクトルより好まし
いからである。

【００５１】図１８は、どのように重み付け機能が相関
表面に与えられるかの一例を示す。この例では、相関表
面上の所定点に与えられる重みは、動きベクトルの静
止、即ち中心点よりの距離に直接比例している。相関表
面上の点の大きさは、重み付けファクタにより乗算され
る。例えば、重み付け機能の勾配は、中心、即ち静止動
きベクトルよりプラス又はマイナス３２画素の点が、フ
ァクタ３で乗算される。換言すれば、中心、即ち静止動
きベクトルが黒内で示されている図１８に示す如く、重
み付け機能は、中心、即ち静止動きベクトルを中心とす
る逆円錐である。

【００５２】相関表面は重み付けされた後は、閾値テス
ト及びリングテストを再びパスする。これ等のテストを
パスした最小値が決まると、これは良い動きベクトル
で、フラグを付して良い動きベクトルであるが、重み付
けを用いたと仮定する。このフラグは、動きベクトルと
共に動きベクトル減少器４５（図３）へ送られる。他
方、良い動きベクトルも、最良の利用し得る動きベクト
ルも共に決まらない場合は、重み付けの後も、フラグを
セットして、サーチブロックに対して動きベクトル減少
器４５（図３）へ送られたどの動きベクトルも不良ベク
トルであることを指示する。その理由は、不良動きベク
トルは、動きベクトル減少処理に使用されてはならず、
後述の如く代えられなければならないからである。

【００５３】従って、まとめれば、動きベクトル推定器
４４（図３）の動作は、直接ブロック突合せ器４３（図
３）より発生した相関表面から、最良の相関、即ち、最
小点を得ることである。この最小点を閾値テスト及びリ
ングテストする。この両者を、サーチブロックの動きを
示すと考えられるように最小値がパスする。なお、閾値
テスト及びリングテストに用いられる閾値は、絶対値又
は分数値のいずれでもよい。最小値が両テストに失敗し
た時は、サーチブロックを拡大し、新たに最小値を決
め、閾値テスト及びリングテストが再び用いられる。サ
ーチブロックを拡大させる最も効果的な方法は、相関表
面の形状から決められる。

【００５４】先ず図３を参照して、動きベクトルの減少
について記載する。ＨＤＶＳを用い、各サーチブロック
は２３ラインで、３２画素と仮定すると、最大２４５１
の動きベクトルに達する。サーチブロックのサイズの選
択は、解像度の維持と、過多のハードウエアの回避との
中間である。これ等すべての動きベクトルが、動きベク
トルセレクタ４６へ到ると必要な処理量により、動きベ
クトルの選択は実用的でない。この問題を解決するた
め、動きベクトル減少器４５が、動きベクトル推定器４
４と、動きベクトルセレクタ４６との間に設けられてい
る。動きベクトル減少器４５は、動きベクトル推定器４
４により作られた動きベクトルを取り込み、例えば４個
の動きベクトルのみを、境界領域にてこれ等を含むフレ
ームのサーチブロックに対し、動きベクトルセレクタ４
６に、そのフレームに対してのすべてのベクトルの代わ
りに、供給する。この効果は２つ在る。その１つは、正
しい動きベクトルが動きベクトルセレクタ４６に供給さ
れる４個の動きベクトルのグループ内に在る限り、その
選択が非常に容易である。その第２は、正しい動きベク
トルが４個のうちの１つとしてパスしない時は、動きベ
クトルセレクタ４６は正しい動きベクトルを選択できな
いことを意味する。それ故、動きベクトル減少器４５
が、動きベクトルセレクタ４６へ到る動きベクトル内に
正しい動きベクトルを確実に含むような試みが必要であ
る。４個の動きベクトルが動きベクトル減少器４５によ
り、動きベクトルセレクタ４６へ供給されるが、それ等
の３個のみが実際の動きを示し、４個の動きベクトルが
常に静止動きベクトルであり、このベクトルは、動きベ
クトルセレクタ４６が動きを示す動きベクトルを静止画
素に矯正的に供給しないことを確実とするために、含ま
れている。他の動きベクトルは動きベクトルセレクタ４
６へ供給され、例えば他の実施例では、動きを示す４個
の動きベクトル及び静止的動きベクトルが通過する。

【００５５】以下、「サンプルブロック」は、各画素が
動きベクトル減少器４５により同一の４個の動きベクト
ルとなされるビデオフレーム内のブロックを示す。従っ
て、サンプルブロックは、サーチブロックを拡大する前
は、サーチブロックと同じで、ビデオフレームでは、サ
ンプルブロック及びサーチブロックの初期位置は、同一
である。

【００５６】動きベクトル減少器４５は、動きベクトル
推定器４４よりの動きベクトル及びフラグを受け、フラ
グを検査して動きベクトルの質を決定する。動きベクト
ルが不明瞭な表面からのものである時、即ちそこに高度
の信頼がある時は、その動きベクトルは良い動きベクト
ルと称するが、多少の不明瞭性が在れば、その動きベク
トルは悪い動きベクトルとなす。動きベクトル減少処理
においては、悪い動きベクトルと分類されたすべての動
きベクトルは、無視される。何故ならば、悪い動きベク
トルが選択された場合は、不正確な動きベクトルは決し
て動きベクトルセレクタ４６に到達してはならないこと
が重要であるからである。かかる選択は、結果として最
終的絵に容易に見える余分なドットを発生することにな
る。

【００５７】動きベクトル減少器４５に供給される動き
ベクトルの各々は、特別のサーチブロック、従って特別
のサンプルブロックから得られ、それ等の位置は動きベ
クトルと共にわかる。悪い動きベクトルとして分類され
た動きベクトルは、どれも無視されるので、すべてのサ
ンプルブロックがその位置のサーチブロックからの動き
ベクトルを持つわけではない。良い動きベクトルとして
分類され、特別のサーチブロック、従って特別のサンプ
ルブロックに関連する動きベクトルは、局部的動きベク
トルと称される。何故ならば、それ等はサンプルブロッ
クが得られる領域に在るからである。これに加え、他の
動きベクトル減少処理は、良い動きベクトルが生ずる頻
度を計数する。この時、サーチブロックの実際の位置を
得るに使用されたその位置は考慮に入れない。これ等の
動きベクトルは、減少頻度の順にランク付けされ、共通
の動きベクトルと称される。最悪の場合、３個の動きベ
クトルのみが利用され、静止動きベクトルと組み合わさ
れ、動きベクトルセレクタ４６（図３）に送られる４個
の動きベクトルが作られる。然しながら、３個以上の共
通な動きベクトルが、しばしば在るので、数を減少して
統括的動きベクトルと称される少ない組の共通動きベク
トルを形成する。

【００５８】共通の動きベクトルの数を減少させる簡単
な方法は、３個の最大頻度の共通な動きベクトルを用
い、他は無視することである。然し、３個の最大頻度の
共通な動きベクトルは、しばしば互いに垂直及び（又
は）水平方向のプラス又はマイナス１画素運動内に初期
的に在る３個の動きベクトルである。換言すれば、これ
等の共通な動きベクトルは、それ等間に僅かな差を以て
同一運動をトラッキングするもので、無視される他の動
きベクトルは、実際には、異る運動をトラッキングす
る。

【００５９】場面内のすべて、或は大部分の動きを示す
共通な動きベクトルを選択するためには、同一の動きを
示す統括的動きベクトルを選ばないことが必要である。
従って、実際に用いられている方法は、先ず最大頻度で
生ずる３個の共通な動きベクトルを用い、その中の最小
頻度のベクトルが垂直方向にプラス又はマイナス１画素
運動内及び（又は）他の２個の共通は動きベクトルの両
者の水平方向のプラス、又はマイナス１画素運動内に在
るかを見るチェックを行う。若しそうならば、それを拒
否し、次の最大頻度で生ずる共通な動きベクトルをその
代わりに選ぶ。この処理を、すべての最大頻度で生ずる
共通な動きベクトルに対し、互に同様でない３個の共通
な動きベクトルが在るか、又は３個或はそれ以下の共通
な動きベクトルが残るまで続ける。然し、３個以上の共
通な動きベクトルが残った場合は、処理を繰返し、必要
ならば最大距離で、それ等の最小頻度のベクトルが垂直
方向にプラス又はマイナス２個の画素の運動内か、及び
（又は）他の水平方向のプラス又はマイナス２個の画素
の運動内か等を見るチェックを行う。これ等３個の共通
な動きベクトルは、必要な統括動きベクトルで、それ等
は頻度に応じてランク付けされていることが重要であ
る。

【００６０】動きベクトル減少処理及びビデオのフレー
ムのサンプルブロックを考慮すると、３個の異るタイプ
のサンプルブロックを調べることが必要である。これ等
のタイプはビデオフレームのそれ等の実際の位置に関連
し、図１９に領域として示されている。領域Ａは、全体
として他のサンプルブロックに囲まれ、絵の境界の近く
でないサンプルブロックを有する。領域Ｂは、部分的に
他のサンプルブロックに囲まれ、絵の境界の近くでない
サンプルブロックを含む。領域Ｃは、絵の境界に近いサ
ンプルブロックを含む。これ等領域の各々に対して用い
られる動きベクトル減少アルゴリズムは異る。これ等ア
ルゴリズムを以下に述べるも、始めに繰り返すが、ビデ
オフレーム内の或サンプルブロックには動きベクトルが
在り、更に、場面の主たる動きの大部分を示す３個の統
括的動きベクトルも在る。これ等の動きベクトルの選択
を用いて、各サンプルブロックに対する静止動きベクト
ルと共に３個の動きベクトルを進める。

【００６１】図２０は、領域Ａ内の動きベクトルの減少
を略線的に示す。これは扱うには最も複雑な領域であ
る。何故ならば、そこにはチェックされるべき動きベク
トルの数が最大であるからである。図２０は中央のサン
プルブロックを示し、これは斜線で示され、他のサンプ
ルブロックａ〜ｈで囲まれている。先ず、局部的に引き
出された動きベクトルを検査して、それが良い動きベク
トルとして分類されているかを調べる。良い動きベクト
ルであり、静止動きベクトルと同じでなければ、それを
進める。動きベクトルがいづれのテストもパスしなはれ
ば、それを無視する。サンプルブロックｄと関連する動
きベクトルをチェックし、それが良い動きベクトルとし
て分類されているかを調べる。それが良い動きベクトル
であり、且つ既に選択されたいかなる動きベクトルと同
一でもなく、静止動きベクトルとも同一でないときは、
それを進める。一方、それがどのテストにもパスしない
時は、それを無視する。この処理を、同様に他のサンプ
ルブロックｅ，ｂ，ｇ，ａ，ｈ，ｃ及びｆに対して、こ
の順序で行う。静止動きベクトルを含まない３個の動き
ベクトルが得られたならば、直ちにアルゴリズムを停止
する。何故ならば、それ等がそのサンプルブロックに対
して必要な動きベクトルの選択に必要なすべてであるか
らである。然し、３個の良い動きベクトルが得られなく
とも、上記すべてのチェックを行うことは可能である。
この場合であれば、残りのスペースは統括動きベクトル
で満たされ、優先権がより頻度の高い統括動きベクトル
に与えられる。

【００６２】図２１は、領域Ｂにおける動きベクトル減
少を示す。領域Ｂのサンプルブロックは、全体として他
のサンプルブロックに囲まれていない点を除けば、領域
Ａのサンプルブロックと同じである。従って、これ等の
サンプルブロックの処理は、領域Ａに対する処理と正確
に同じである。但し、この場合は、すべての周りのサン
プルブロックをサーチすることは可能ではない。従っ
て、図２１に示す如く、サンプルブロックａ〜ｅに対す
る動きベクトルのチェックは可能で、動きベクトルの残
りのどのスペースも前述の如く統括動きベクトルで満た
される。同様に図２１の斜線のサーチブロックが左へ２
位置ずつずらされると、統括動きベクトルをたよる前
に、３個の隣接する包囲ブロックのみがチェックされる
ことがわかる。

【００６３】図２２は、領域Ｃにおける動きベクトル減
少を示す。これは最も難しい場合である。何故ならば、
サンプルブロックは局所的に引き出された動きベクトル
も持たないし、その動きベクトルが利用され得る周囲の
多くのサンプルブロックも持たないからである。この問
題を扱う最も簡単な方法は、単に領域Ｃ内のサンプルブ
ロックに統括動きベクトルと静止動きベクトルとを与え
ることである。しかしながら、この方法は得られる絵に
ブロック状の効果を作る。これは、領域Ｂ内の隣接サン
プルブロックに比較して、領域Ｃ内のサンプルブロック
に対する動きベクトルに急激な変化があるからである。
それ故、良い対策は、領域Ｃ内のサンプルブロックに対
して、領域Ｂ内のサンプルブロックに対して、領域Ｂ内
のサンプルブロックに対して用いられたサンプル動きベ
クトルを用いて、急激な変化を阻止する。好ましくは、
領域Ｃ内の各サンプルブロックに、物質的に最も近い領
域Ｂ内のサンプルブロックと同じ動きベクトルを割り当
てる。従って、図２２の例においては、領域Ｃ内の斜線
で示すサンプルブロックの各々には、領域Ｂ内のサンプ
ルブロックａと同じ動きベクトルが割り当てられ、これ
により良い結果が得られた。

【００６４】図３に戻って説明する。動きベクトルセレ
クタ４６の目的は、供給される４個の動きベクトルの１
個をサンプルブロック内の個々の画素に割り当てること
である。このようにして、動きベクトルが正確に物体の
外枠に示される。この割当が行われる方法は、詳細部を
包囲する背景が、正確な動きベクトルにより作られるよ
り良いマッチング（整合）を作る可能性を回避するため
である。これを達成するため、動きベクトルの選択処理
を、２つの主段階に分ける。第１段階では、動きベクト
ルを入力フレーム内の各画素に対して作る。即ち、出力
フレーム位置の画素に対して動きベクトル値を決めな
い。第２の段階では、第１段階で作られた動きベクトル
値を用いて、出力フレーム中の各画素の動きベクトル値
を決める。

【００６５】図２３を参照するに、供給される４個の動
きベクトルの各々を用い入力フレーム２の各画素をテス
トして、ビデオデータの前及び次の入力フレーム１及び
３と整合する最良の輝度値を得る。画素の輝度差は次の
如く定まる。

【００６６】

【数１】 ここで、Ｐ１ｎｍはその位置がテストされた動きベクト
ルの座標をふれーむ２のテストされた画素の位置から引
くことにより得られる画素を囲む４×４ブロックの画素
内のフレーム１の画素の輝度値。Ｐ２ｎｍはテストされ
た画素を囲む４×４ブロックの画素内のフレーム２画素
の輝度値。Ｐ３ｎｍはその位置がテストされた動きベク
トルの座標を、フレーム２内のテストされた画素の位置
に加えることにより得られる画素の４×４ブロックの画
素内のフレーム３画素の輝度値。

【００６７】従って、最小の画素差は最良の輝度整合を
示し、画素に適用可能な正しい動きベクトルがテストさ
れる。正しい動きベクトルが利用できないか、覆われて
いないか覆われた領域又は連続しない場面（より詳細は
後述する）があれば、良い整合は生じない。

【００６８】悪い整合の指示は、使用されている画素の
ブロック内の平均画素差が或る閾値を越えた時に行われ
る。正しい動きベクトルがテストされた時にも、高頻度
の詳細により悪い整合が生ずるので、上記閾値は重要で
ある。この悪い整合の理由は、動きベクトル推定中の半
分の画素誤差の可能性による。どんな閾値が悪い整合を
示すかを決めるためには、動きベクトルが必要とされる
画素を囲むブロックのデータ内の屡々生ずる内容に閾値
を関連付けることが必要である。これを達成するには、
自動的に閾値を決める。そこでは、閾値がテストされる
画素の周りの最大水平又は垂直画素輝度差の半分に等し
い。得られた閾値が比較されるべきすべてのブロックの
データを必ず示すようにするためには、使用される４×
４ブロックの４個の中央画素に対して平均値を求める。

【００６９】４×４ブッロクを示す図２５を参照する
に、要求される閾値（ＣＴ）は次の如く得られる。 Ｔ＝（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４）／８ ここで、（Ｔ３）は、例えば、図２６に示すように、４
個の画素輝度差の値の最大値と等しいものと決められ
る。なお、上記４個の画素輝度差の値は次の値を含む。

【００７０】２個の垂直方向の差｜Ｂ２−Ｂ３｜と｜Ｂ
４−Ｂ３｜２個の水平方向の差｜Ａ３−Ｂ３｜と｜Ｃ３
−Ｂ３｜このようにして、図２４に示す如く、動きベク
トルのフレームが入力フレーム２に対して得られ、同様
に、動きベクトルのフレームが、入力フレーム３に対し
て得られる。

【００７１】場面が変わると、誤り整合が動きベクトル
の選択の第１段階で発生する。同様のことが、通常はカ
ット時、掃引時、フェード時及び少くとも像の実質的部
分の急激な変化を引き起こす他の現象時に発生する。か
かることは、本明細書を通じて「場面の不連続」と称す
る。

【００７２】場面の不連続は上述した回路で検出される
が、これはビデオ信号に実際にフラグを付し、場面の不
連続を指示する一方、この検出は、回路の複雑化を不要
に増加しない限り、信頼性を以てできない。

【００７３】それ故、本実施例では、場面の不連続に就
いての情報を編集リストより得る。編集リストが既に利
用できることは一般的であり、又利用できない時は、そ
れはＩＢＭＰＣ工業基準フロッピィディスクで容易に用
意できる。従って、資料が前もって記録され、共に編集
されている場合は、編集リストは編集機により自動的に
用意され、資料と共に送られる。生の資料を使用する際
は、ハードウエアによる或る形態の場面変化検出回路を
送出端に設ける。

【００７４】プロデューサや編集者用の記載において
は、編集リストは、図２７に示す如く指示され、場面の
順番数字、場面の内容を簡単に示す言葉、各場面変化の
時間コード、或はより一般的には各場面の不連続が記載
された欄を有する。本実施例に使用されるフロッピーデ
ィスクに記録されているように、編集リストは、各場面
の不連続の続く時間コード或は好ましくは対応フレーム
の時間コード内に指示されている場合の不連続を持つ続
く一連の時間コードである。従って、例えば使用される
時間コードが標準ＥＢＵ又はＳＭＰＴＥ時間コードであ
れば、使用者又は補助ビットの１つは、各場合の不連続
毎にその値が変わる。

【００７５】図１において、編集リストが記録されてい
るフロッピーディスクを、システムコントローラ１５に
接続されているディスクリーダ２１に装着する。動作
時、時間コード夫々が記録された編集リストよりディス
クリーダ２１で読まれ、システムコントローラ１５に供
給される。このシステムコントローラ１５は、ＶＴＲ１
１のビデオテープよりの時間コードも受ける。システム
コントローラ１５による時間コードの比較により、標準
コンバータ１２へ供給されるビデオ信号中の場面の不連
続が確認される。そこで、システムコントローラ１５
は、標準コンバータ１２へ信号を送り、少くとも場面の
不連続に続くフレームに対して得られた動きベクトルは
信頼できず、補間はフレーム内情報に基づくものから、
フレーム間情報に基づくものへ変更するべきことを指示
する。フレーム間情報は、場面の不連続の後のフレー
ム、場面の不連続の後の所定数のフレームにのみ使用さ
れる。

【００７６】場面の変化から離れて、ミス整合が動きベ
クトルの選択の上記第１段階に生ずるのは、覆われてい
ない／覆われている表面の現象による。物体、例えば車
がトンネルに入ると、車は覆われる。一方、車がトンネ
ルを通過すると、車は覆われない。フレーム１及び２で
覆われていない車の一部がフレーム３及び４で覆われる
と、基本のベクトル選択処理は、正しいベクトルを決め
ることができない。更に、トンネル内に向う車が覆われ
るようになると、車の後方の道路及び物体は覆われなく
なる。同様に、トンネルを後にする車は覆われなくなる
が、車の後方の道路及び物体は覆われる。それ故、一般
的には、覆われた物体と覆われていない物体の両者が同
時に存在する。これは、効果において、場面の不連続と
幾分似ている。かかる状況において動きベクトルを決定
する試みでは、輝度値ブロック整合を、図２３及び２４
の３フレーム整合の代りに、２フレーム整合に減少す
る。動きベクトル（フレーム２）が要求されるフレーム
は、４個の供給される動きベクトルを用いて、前及び次
のフレーム（フレーム２の場合、それぞれフレーム１及
びフレーム３）に個々にブロック整合される。最良の整
合を生ずる動きベクトルが、テストされる画素に適用可
能な動きベクトルとして選択される。この場合、フラグ
をセットして、２フレーム整合が用いられたことを指示
する。

【００７７】特に、積分型テレビカメラにおいては、整
合のない状態がある。物体が詳細な背景で動くと、積分
型カメラは、絵にユニーク（特別）な部分を発生する。
ここでは、物体の前縁及び後縁は詳細な背景と混合す
る。かかる状況では、２個のフレーム整合でも、閾値よ
り上で平均画素差を生ずる。これ等の場合、動きベクト
ル値はゼロにセットされ、エラーフラグもセットされ
る。

【００７８】動きベクトル選択の第２段階は、第１段階
で得た動きベクトルの２個のフレームを使用する。動き
ベクトルの１フレーム（入力フレーム２）は基準フレー
ムと考えられ、このフレームの次のフレーム（入力フレ
ーム３）も用いられる。出力フレームの位置は、動きベ
クトルの２個のフレーム間のどこかに在る。図２８にお
いて、各出力画素位置に対して、入力フレーム２のサン
プルブロックに関連する４個の可能な動きベクトルがテ
ストされる。テストされる動きベクトルの角で、出力画
素位置に引いた線は、両入力フレーム２及び入力フレー
ム３の位置を示す。奇数値の動きベクトル、例えば１，
３及び５の場合、２個入力フレーム画素間の中間の点
は、出力フレームが正確に入力フレーム１及び２の半分
に在るときに指示される。これを不正確とし、個々の画
素に対する感度を下げるには、動きベクトルの３×３ブ
ロックが各フレームに要求され、最も近い画素位置に中
心が置かれる。実際、ブロック整合は、動きベクトルの
２個の３×３ブロックの各々と、テストされる動きベク
トルを含むブロックとの間で行われる。使用される動き
ベクトル差は、次の如く与えられる２個の動きベクトル
値の空間的差を示す。

【００７９】

【数２】 ここで、ｘ１及びｙ１はブロックの１個内の動きベクト
ルのデカルト座標であり、ｘ２及びｙ２はテストされる
動きベクトルのデカルト座標である。

【００８０】１画素当たりの平均ベクトル差は、ブロッ
ク整合の結果として作られる。

【００８１】動きベクトル整合は、始めに上述の如く作
られる。ここで、３個の入力フレーム、即ち入力フレー
ム１，２及び３を入力フレーム２（図２３）に対し、入
力フレーム２，３及び４を入力フレーム３（図２４）に
対し用いて演算された動きベクトルのみを使用して得ら
れ、結果が概算される。好ましくは、少くとも４個の使
用され得る動きベクトルが９個のブロック内に在る。フ
レーム２及びフレーム３の両動きベクトルブロックが使
用できる時は、動きベクトル差の値は、フレーム２の動
きベクトル差の値の半分及びフレーム３の動きベクトル
差の値半分の加算とすることができる。動きベクトルが
上記技術を用いて最小動きベクトル差の値を作ること
は、テストされる出力画素に与え得る動きベクトルと考
えられる。３個のフレーム整合入力動きベクトル（図２
３及び２４）より作られる動きベクトル差の値が単位の
値より大きいならば、覆われた或は覆われない表面が検
出され、同じ処理が繰り返されるが、この時エラーフラ
グは無視する。即ち、２個の入力フレームを用いて演算
された動きベクトル値が用いられる。理論的には、これ
は覆われない及び覆われた表面にのみ必要であるが、実
際より通常の領域の絵に対して改良がなされる。

【００８２】上記テストが行われた後に、最小動きベク
トル整合が２より大きい時は、動きベクトル値をゼロに
セットし、エラーフラグを使用するため、動きベクトル
ポストプロセッサ４７（図３）にセットする。

【００８３】動きベクトルの選択に続いて、実際の絵の
状態において、或る画素に関連する余分の動きベクトル
が或る程度残ることは、略々確かである。かかる余分の
動きベクトルは、次の点に在ると仮定する。即ち、単一
画素が周囲の画素の動きベクトルと異る動きベクトルを
有する単一の点、３個の水平に配列された画素が周囲の
画素の動きベクトルと異る動きベクトルを持つ水平動き
ベクトルインパルス点、３個の垂直に配列された画素が
周囲の画素の動きベクトルとは異る動きベクトルを持つ
垂直動きベクトルインパルス点、３個の対角線上に配列
された画素が周囲のすべての画素の動きベクトルとは異
る動きベクトルを持つ対角線動きベクトルインパルス
点、垂直に交差するように配列された５個の画素が周囲
のすべての画素の動きベクトルと異る動きベクトルを持
つ水平プラス垂直動きベクトルインパルス点、及び対角
線上で交差する５個の画素が周囲のすべての画素の動き
ベクトルとは異なる動きベクトルを持つ２つの対角線動
きベクトルインパルス点である。

【００８４】上記６つの範畴のどれかに入る画素の動き
ベクトルは、実際の絵には属さず、不正確な動きベクト
ルの選択による結果と思われる。かかる動きベクトルを
補間処理の間、使用すると、最終的な絵にドットが生じ
やすい。従って、このような動きベクトルを確認し、除
去することが好ましい。これは、アルゴリズムを用い
て、上記動きベクトルのグループのすべてを検出し、フ
ラグを付ける。

【００８５】不良動きベクトルを確認したら、それ等を
補修することが必要で、これは、動きベクトルポストプ
ロセッサ４７（図３）により行われる。例えば補間又は
各数置換の如き種々の方法を使用できるが、実際は、簡
単な置換が良い結果を出すことがわかっている。

【００８６】図３に示す如く、各画素の最終的に選択し
た動きベクトルは、動きベクトルポストプロセッサ４７
より補間器４８へ、順次走査コンバータ４２よりの１秒
当たり６０フレームの順次走査変換フレームと共に供給
される。補間器４８は、図２９に示す如く、２個の順次
走査変換フレームのみを使用する比較的簡単な形状であ
る。続く入力フレーム、即ちフレーム１及びフレーム２
に対する出力フレームの一時的位置及び出力フレーム中
の画素の動きベクトルを用いて、補間器４８は周知の方
法で、第１フレームのどの部分が第２フレームのどの部
分と組合わされ、その重み付けが正しい出力画素値を作
るかを定める。換言すれば、補間器４８は、１秒につき
２４フレームに相当する動き補償順次走査フレームを作
る動きベクトルに依存する動きの方向に沿って補間を行
う。動きベクトルは画素の輝度値のみを使用して形成さ
れるが、同一動きベクトルを用いて必要な出力画素のク
ロミナンス値を作る。画素の８×８の配列を用いて、各
フレームから必要な出力を得る。従って、補間器４８
は、２次元の垂直／水平補間器で、補間器４８に使用さ
れる係数は、レムツ（Ｒｅｍｅｚ）交換アルゴリズムを
用いて形成される。尚、このアルゴリズムは、ローレン
ス アール ラビナー、バーナード ゴールド、プレン
テイス−ホール会社の「ディジタル信号処理の理論及び
応用」の１３６〜１４０頁及び２２７頁に充分説明され
ている。

【００８７】図２９は、３つの異る場合に対して補間器
４８（図３）が行う補間を略線的に示す図である。その
左側に示されている第１の場合は、覆われていない又は
覆われている表面がいづれもない場合であり、中央に示
されている第２の場合は、覆われている表面の場合であ
り、右側に示されている第３の場合は、覆われていない
表面の場合である。覆われている表面の場合は、補間は
フレーム１のみを使用し、覆われていない表面の場合
は、補間はフレーム２のみを使用する。

【００８８】補間器４８に、非動き補償補間をしない手
段を設ける。この場合、一時的に最も近い順次走査変換
フレームを用いる。

【００８９】本発明による方法及び装置は、テレビ標準
変換において、場面の不連続を用いて、補間をフレーム
内情報に基本をおくものから、フレーム間情報に基本を
おくものに変換するようにした場合につき記載したが、
本発明はより広く応用できることは勿論である。例え
ば、変更はフィールド内情報からフィールド間情報へで
も良い。

【００９０】本発明は、例えば、場面変化の際、フィー
ルドをドロップするＳＯＮＹ ＨＤＮ−２０００ＮＴＳ
Ｃダウンコンバータの如きビデオ信号処理装置にも適用
できる。

【００９１】又、本発明は動き補償及びディジタル補助
が使用されるデータレート減少対策であるＨＤ−ＭＡＣ
の如き動き適用及び動き補償伝送標準にも適用できる。
この場合、場面の不連続情報を用いて、エンコーダ及び
デコーダの処理を制御する。

【００９２】次の事実も注意されたい。即ち、上記欧州
特許出願は、次の出願番号の一連の１４の欧州出願の１
つである。即ち、ＥＰ−Ａ２−０ ３９５ ２６３，Ｅ
Ｐ−Ａ２−０ ３９５ ２６４，ＥＰ−Ａ２−０ ３９
５ ２６５，ＥＰ−Ａ２−０３９５ ２６６，ＥＰ−Ａ
２−０ ３９５ ２６７，ＥＰ−Ａ２−０ ３９５２６
８，ＥＰ−Ａ２−０ ３９５ ２６９，ＥＰ−Ａ２−０
３９５ ２７０，ＥＰ−Ａ２−０ ３９５ ２７１，
ＥＰ−Ａ２−０ ３９５ ２７２，ＥＰ−Ａ２−０ ３
９５ ２７３，ＥＰ−Ａ２−０ ３９５ ２７４，ＥＰ
−Ａ２−０３９５ ２７５及びＥＰ−Ａ２−０ ３９５
２７６。又、これ等の各々の記載は、この番号で本願
発明の明細書に用いられている。なお、本発明は上記実
施例に限定されず、多くの変化、変更が当該業者により
本発明の範囲を逸脱しないでなし得ることは容易に理解
されよう。

【００９３】

【発明の効果】本発明によるビデオ信号処理装置によれ
ば、動き適用、動き補償ビデオ信号の処理において生ず
る信号処理を正確に行い得るもので、特に、場面が変
化、例えば場面がカットされたりした場合等でも、出力
画像に不快な人工的雑音が現われるのを阻止し得る。

【図面の簡単な説明】

【図１】本発明によるビデオ信号を写真フィルム用に変
換する装置の一実施例の一部のブロック図である。

【図２】本実施例の他の部分のブロック図である。

【図３】本実施例の一部のより詳細なブロック図であ
る。

【図４】順次走査変換を略線的に示す図である。

【図５】動き適合順次走査変換のステップを示すブロッ
ク図である。

【図６】略線的にサーチブロック及びサーチ領域と両者
の関係を示す図である。

【図７】略線的にサーチブロック及びサーチ領域と両者
の関係を示す図である。

【図８】相関表面を示す斜視図である。

【図９】３個のサーチブロックに亘る動く物体を示す図
である。

【図１０】得られる３個の相関表面を示す斜視図であ
る。

【図１１】得られる３個の相関表面を示す斜視図であ
る。

【図１２】得られる３個の相関表面を示す斜視図であ
る。

【図１３】閾値テストの説明に用いる更に他の相関表面
を示す斜視図である。

【図１４】閾値テストの説明に用いる更に他の相関表面
を示す斜視図である。

【図１５】リングテストの説明に用いる更に他の相関表
面を示す斜視図である。

【図１６】リングテストの説明に用いる更に他の相関表
面を示す斜視図である。

【図１７】サーチブロックが成長する方向がいかに決ま
るかを示す略線図である。

【図１８】いかに相関表面が重み付けされるかを示す略
線図である。

【図１９】ビデオフレーム中の動きベクトルを示す略線
図である。

【図２０】ビデオフレームの夫々の領域の動きベクトル
の減少の説明に用いる略線図である。

【図２１】ビデオフレームの夫々の領域の動きベクトル
の減少の説明に用いる略線図である。

【図２２】ビデオフレームの夫々の領域の動きベクトル
の減少の説明に用いる略線図である。

【図２３】動きベクトルの選択の第１段階を示す概略図
である。

【図２４】動きベクトルの選択の第１段階を示す概略図
である。

【図２５】動きベクトルの選択中にいかに閾値が確定さ
れるかを示す略線図である。

【図２６】動きベクトルの選択中にいかに閾値が確定さ
れるかを示す略線図である。

【図２７】編集リストを示す概略図である。

【図２８】動きベクトル選択における第２段階を示す略
線図である。

【図２９】補間器の動作を示す略線図である。

【図３０】ビデオ信号を写真フィルム用に変換する従来
装置のブロック図である。

【符号の説明】

２１ 非連続情報を読む手段 １２ ビデオ信号処理変更手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】 記録媒体よりのビデオ信号に関する場面
   の非連続情報を読む手段と、 上記ビデオ信号の処理を場面の非連続時にフィールド内
   又はフレーム内情報に依存するように変更する手段とを
   有し、 ビデオ信号をフィールド間又はフレーム間情報に依存し
   て動き適合又は動き補償処理をするビデオ信号処理装
   置。