JPH0646384A

JPH0646384A - デジタルビデオ信号処理方法

Info

Publication number: JPH0646384A
Application number: JP5058286A
Authority: JP
Inventors: John W Richards; ウィリアムリチャーズジョン; Martin R Dorricott; レックスドリコットマーチン; Morgan W A David; ウィリアムエイモスデービッドモーガン; Stephen M Keating; マークキーティングスティーブン
Original assignee: Sony Broadcast and Communications Ltd
Current assignee: Sony Broadcast and Communications Ltd
Priority date: 1992-03-18
Filing date: 1993-03-18
Publication date: 1994-02-18
Also published as: US5355169A; EP0561561A3; GB2265275A; GB9205921D0; GB2265275B; EP0561561B1; EP0561561A2; DE69320223T2; DE69320223D1

Abstract

(57)【要約】【目的】少なくとも幾つかの入力フレームのそれぞれ
が、第１の付加特性（例えば６０Ｈｚ，２：１）となっ
ている第１の画像部分と、第２の付加特性（例えば３０
Ｈｚ，１：１）となっている第２の画像部分とを含む入
力フレーム（Ａ1、Ａ2、・・・）の連なりを表す入力デ
ジタルビデオ信号を処理して、全体的に同一の付加特性
（例えば２４Ｈｚ，１：１）となっている出力フレーム
の連なりを表す出力ビデオ信号を形成する。【構成】（例えば入力フィールドの対（ａ1，ａ2；ａ
3，ａ4；・・・）間の差異（列Ｃ）を測定するか、また
は入力ビデオ信号に伴うキー信号を検出することによっ
て）入力フレームの第１及び第２の画像部分を識別し、
第１と第２の画像部分を異なる方法にて処理し（列Ｅか
らＧ及び列ＨからＪ）出力フレームを作成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデジタルビデオ信号処理
方法及び装置に関し、特に入力フレームの連なりを表す
入力デジタルビデオ信号を処理し、出力フレームの連な
りを表す出力デジタルビデオ信号を形成する方法及び装
置に関する。本発明は、特に入力フレームの少なくとも
幾つかは、それぞれ第１の付加特性（例えば毎秒６０フ
ィールド２：１のインターレース）を有する第１の画像
部分と、第２の付加特性（例えば毎秒３０フレーム、
１：１のプログレッシブ走査）を有する第２の画像部分
とを含む場合に関する。更に本発明は、特に次のような
場合に限るわけではないが、出力信号が異なる付加特性
（例えば毎秒２４フレーム１：１プログレッシブ走査）
となっているフレームをシミュレートする場合、及び出
力信号が、入力信号（例えば毎秒６０フィールド、２：
１のインターレース）の画像部分のひとつの付加特性を
全体的に付加したフレームをシミュレートする場合にも
適用可能である。

【０００２】

【従来の技術】英国特許出願ＧＢ２２３１２２８号Ａで
は、毎秒６０フィールド、２：１インターレースのフォ
ーマットのデジタルビデオ信号を変換して、毎秒２４フ
レーム１：１のプログレッシブ走査フォーマットをシミ
ュレートするようにする。この方法の最も単純な形態で
は、１０個の入力フィールドの連なりのうち、プログレ
ッシブ走査フォーマットが時間順序に第１、第３、第
４、第６、第８、及び第９の順序に並べられ、先行する
フィールドと後続するフィールドとの間でフィールド間
補間を行うか、あるいは入力画像の検出された画像の動
きの分量に応じて各入力フィールドでのフィールド内補
間を行う。４個の対応する出力フレームの連なりにおい
て、第１及び第４のプログレッシブ走査変換されたフレ
ームは、第１及び第３の出力フレームとして直接用いら
れる。一方、第２及び第４の出力フレームは、第２及び
第３のプログレッシブ走査変換されたフレーム間で、時
間上中間点での運動補正によって形成されるとともに、
第５及び第６のプログレッシブ走査変換されたフレーム
においても、これらの中間点にて行われる。運動補正さ
れた時間補間の過程は、出力フレームの各ピクセルに対
して、プログレッシブ走査変換フレームの各対の間で、
ピクセルが表している物体の運動を表す運動ベクトルを
形成する過程を含んでいる。中間点における補間の場
合、出力フレームの各ピクセルの値は、運動ベクトルの
中間点だけオフセットされたプログレッシブ走査変換さ
れたフレームの各対に位置するピクセルの値を平均化す
ることによって、それぞれ出力フレームのピクセルの位
置から決定される。

【０００３】英国特許出願９０２４８３６．０では、英
国特許出願ＧＢ２２３１２２８Ａにて開示されている方
法を発展させた例が多数開示されており、例えば、運動
補正された時間補間によって、毎秒３０フレーム１：１
のプログレッシブ走査フォーマットを変換し、毎秒２４
フレーム１：１のプログレッシブ走査フォーマットの付
加をシミュレートする。

【０００４】英国特許ＧＢ２２３１２２８Ａ及びＧＢ９
０２４８３６．０の方法を用いて十分な変換を行うため
の必要条件は、入力信号が単一の（実際のまたはシミュ
レートされた）時間的付加特性を有することである。し
かしながら、この場合、変換方法が入力信号が２つの異
なる時間特性を有する複合信号である場合に十分な結果
となって知覚されるような一般性をもっていなければな
らない。例えば、ビデオカメラからの毎秒６０フィール
ド２：１インターレースの付加特性の素材と、毎秒３０
フレームコンピュータグラフィックシステムからの付加
特性の素材（ただし、毎秒６０フィールド、２：１イン
ターレースの信号で時間的に位置を共有（ｃｏ−ｓｉｔ
ｅｄ）している各対のフィールドを伴う信号も含む）と
の複合体である入力ビデオ信号を変換することができる
ことが望ましく、毎秒２４フレーム１：１のプログレッ
シブ走査フォーマットでの付加特性をシミュレートして
いる出力ビデオ信号を形成し、出力信号が例えば電子ビ
ーム記録機にて用いられ、毎秒２４フレームのフィルム
が形成される。この例ではフレームレートが変更され
る。さらに、例えば上述のように生のまま複合された入
力ビデオ信号を変換し、画像全体が毎秒６０フィールド
２：１のインターレースフォーマットとなっている付加
特性をシミュレートした出力信号を形成することができ
ることが望ましい。この後者の例はフレームレートの変
更を含んでいない。

【０００５】

【発明が解決しようとする課題】上述の事柄に鑑み、本
発明の第１の課題は、入力フレームの少なくとも幾つか
は、第１の付加特性となっている第１の画像部分と第２
の付加特性となっている第２の画像部分とをそれぞれ含
んでいるような入力フレームの連なりを表す入力デジタ
ルビデオ信号を処理し、出力フレームの連なりを表す出
力ビデオ信号を形成するための方法を提案することであ
る。

【０００６】

【課題を解決するための手段及び作用】上述の要件を満
たすために、本発明の第１の観点による方法は、入力フ
レームの第１及び第２の画像部分を識別するステップ
と、この第１及び第２の画像部分を処理して出力フレー
ムを形成し、この出力フレームが、一般的に同一の付加
特性となっている第１及び第２の画像部分の付加特性を
シミュレートするようにするステップとによって特徴付
けられる。

【０００７】この方法のひとつの例では、第１の画像部
分は、第１のフレームレート（例えば３０Ｈｚ、１：
１）でプログレッシブ走査フレームとして特性が付加さ
れ、第２の画像部分は第１のフレームレート（例えば６
０Ｈｚ、２：１）のインターレースフィールドとして特
性付加される。上記の識別ステップは、同一の入力フレ
ームのフィールド間における画像動作の検出過程から成
り、処理ステップは、一般的に比較的大きな検出運動の
領域の中の各入力フィールドのフィールド内補間、及び
運動がないかまたは比較的小さな検出運動しかない領域
の中の各入力フィールドの組合せによって、出力フレー
ムを形成することから成る。この場合、処理ステップ
は、各ピクセルに対して対応するフィールド内補間され
たピクセル値を、このピクセルの検出運動の程度に応じ
て、対応するフィールド結合したピクセル値と結合する
過程を含むことが望ましい。更に、この方法の例では、
運動補正された時間補間を用いて出力フレームを処理
し、（例えば２４Ｈｚ１：１の）異なる付加特性をシミ
ュレートするステップを更に含んでもよい。

【０００８】本発明の比較的直接的な第１の例は、時間
的なサンプリングレートのデシメーション（サンプリン
グレートを下げる動作）及びこれによる画像データの損
失を含んでいる。このことを回避するために、本発明の
方法の第２の例では、第１の画像部分は第１のフレーム
レート（例えば３０Ｈｚ，１：１）にてプログレッシブ
走査フレームとして特性が付加され、第２の画像部分は
第１フレームレート（例えば６０Ｈｚ，２：１）のイン
ターレースフィールドの対として特性が付加され、出力
信号は第１のフレームレートにて付加特性をシミュレー
トし、識別ステップは各入力フレームのフィールド間の
差異に対応する差異フレームの第１の連なりを形成する
ことを含んでもよい。さらに、処理ステップは、少なく
とも各フレームの１フィールドのフィールド内補間によ
ってプログレッシブ走査画像フレームの連なりを形成
し、補間された画像フレームが入力フレームの各１個の
第１画像部分によって位置が共有されるようにするステ
ップと、差異フレームの第１の連なりの運動が補間され
た時間補間によって第２の差異フレームの連なりを形成
し、第２の差異フレームが入力フレームの各１個の第１
画像部分に対して時間的に位置を共有するようにするこ
と、及び第２の差異フレームをキー信号として入力フレ
ーム及び補間画像フレームを突合わせることを含んでも
よい。

【０００９】本発明の第２の例の変形としては、出力ビ
デオ信号が（例えば２４Ｈｚ，１：１の）第３の異なる
付加特性をシミュレートする。識別ステップは、各入力
フレームのフィールド間における差異と対応する第１の
差異フレームを形成することを含んでよく、処理ステッ
プは運動補正された補間過程によって第１の中間フレー
ムの連なりを形成し、第１の画像領域を変換して第３の
付加特性をシュミレートすること、時間補間された補間
過程によって第２の中間フレームの連なりを形成し、第
２の画像領域を変換して第３の付加特性をシミュレート
し、各第２の中間フレームは第１の中間フレームの各１
個によって時間的に位置を共有するようにすること、運
動補正された時間補間によって第２の異なるフレームの
連なりを形成し、第１の差異フレームを変換して第３の
付加特性を形成し、各第２の差異フレームが第１の中間
フレームの各１個によって位置を共有するようにするこ
と、及び第１及び第２の中間フレームを第２の差異フレ
ームをキー信号として突合わせるとから成る。

【００１０】本発明の第２の例、及びこれの変形例は、
ソースビデオ信号から差異フレームを発生させることを
含む。多くの場合で、ソースビデオ信号はキー信号を用
いて後処理されてもよく、本発明の第３の例ではキー信
号は付加変換過程にて用いられている。一層詳しくいう
と、本発明の方法の第３の例では、第１画像部分が第１
のフレームレート（例えば３０Ｈｚ，１：１）にてプロ
グレッシブ走査フレームとして特性付加され、第２の画
像部分は、第１のフレームレート（例えば６０Ｈｚ，
２：１）の中間フィールドの組として特性付加され、入
力信号は第１及び第２の画像部分を示すキーフレームの
連なりを伴ない、さらに、出力信号は（例えば２４Ｈ
ｚ，１：１の）第３の異なる付加特性をシミュレートす
る。識別ステップは、キーフレームを検出することから
成り、処理ステップは運動補正された時間補間によって
第１の中間フレームの連なりを形成し、第１の画像領域
が第３の付加特性をシミュレートするように変換するこ
と、運動補正された時間補間によって中間フレームの第
２の連なりを形成し、第２の画像領域が第３の付加特性
をシミュレートするように変換し、第２の中間フレーム
が第１の中間フレームの各１個によって時間的に位置を
共有するようにすること、運動補正された時間補間によ
って第２のキーフレームの連なりを形成し、検出された
キーフレームを第３の付加特性に変換し、第２のキーフ
レームが第１の中間フレームの各１個によって時間的に
位置を共有するようにすること、及び第１と第２の中間
フレームを第２のキーフレームをキー信号として用いて
対に組むことからなる。

【００１１】本発明の更に別の例では、処理ステップ
は、入力フレームを処理し、運動ベクトルが画像内のピ
クセルに対して形成された（例えば英国特許ＧＢ２２３
１２２８ＡまたはＧＢ９０２４８３６．０）運動補正さ
れた時間補間を用いて第１の付加特性から出力の付加特
性へと変換し、各運動ベクトルに対し良度指数（ｆｉｇ
ｕｒｅｏｆｍｅｒｉｔ）を発生させる。また、この
例における識別ステップは、良度指数に応じて行われ
る。この場合、処理手段は、入力フレームを処理して第
２の付加特性から出力の付加特性へと運動が補間され
た、画像のピクセルに対して運動ベクトルが形成された
時間補間を用いて変換する第２の変換過程をシミュレー
トし、各運動ベクトルに対して良度指数を発生させる。
また、識別手段は、第１及び第２の変換の良度指数の比
較結果に応じて行われる。この識別手段は、第１及び第
２の変換の運動ベクトルの比較に応じて行なわれる。

【００１２】本発明では、上述の方法を行うのに適した
装置も提案している。以下に本発明の実施例を添付の図
面を参照しながら説明する。

【００１３】

【実施例】本発明の第１の実施例を、図１から図４を参
照して説明する。部分的には６０Ｈｚ，２：１で、部分
的には３０Ｈｚ１：１で特性付加された素材を、２４Ｈ
ｚ，１：１の特性付加状態にてシミュレートする変換に
つき説明する。簡単のため、図１では９本の走査線のみ
から成るフレームを示す。実際の高精細度ビデオでは、
１０００本単位の走査線がある。６０Ｈｚ、２：１／３
０Ｈｚ、１：１の複合ビデオ信号を変換し、２４Ｈｚ，
１：１の特性付加状態をシミュレートし、入力信号の時
間サンプルレートは、この例では、入力信号の２つの部
分の付加特性レートの最大公約数、すなわち３０Ｈｚ、
１：１にサンプリングレートがデシメートされる。

【００１４】図１の第１の例では、６０Ｈｚ、２：１の
入力フィールドの連なりを示し、ここでは画像の上部に
ある正方形の模様が左へ運動し、画像の底部にある矩形
が右へ運動し、背景は静止している。画像の中の点線の
左側の部分（つまり矩形を含んでいる部分）は、３０Ｈ
ｚ１：１にて作成され、画像の点線の右側部分（つまり
正方形を含む部分）が、６０Ｈｚ，２：１にて作成され
ている。３０Ｈｚ，１：１のフィールドの対に画像をデ
シメートするためには、フィールドの対が図１の列Ｂに
示すように直接結合される。このように行われた場合
は、背景及び３０Ｈｚ、１：１にて作成された矩形は、
結合図形３０Ｈｚ，１：１の画像の中で適切に表現され
る。しかしながら、６０Ｈｚ，２：１にて作成された矩
形は、図１のＢ列に示すようにインターレースのにじみ
が起こってしまう。このようなインターレースのにじみ
の問題を減少または防止するために、フィールドの対の
間にて大規模な運動が検出された画像領域（したがっ
て、６０Ｈｚ，２：１の付加特性領域のみにて）にて、
対となっているフィールドの１個のフィールド内補間に
よって画像が形成されるようにする。いくらか小規模の
運動が検出される領域では、画像は対となっているフィ
ールドの１個のフィールド内補間の組合せ及び対となっ
ている２個のフィールドの組合せによって形成される。
さらに、どのような運動も検出されないところでは、結
合によって出来たフレームの全体は対の２個のフィール
ドの組合せによって形成される。図１に示す正方形が大
規模に運動している場合は、図１のＣ列に示す出力フレ
ームがこの過程によって形成され、これは、図１のＢ列
によるフレームよりも３０Ｈｚ１：１のフォーマットの
画像としては良好な画像となる。

【００１５】上述の方法を実施するための装置を図２を
参照しながら説明する。ライン１０の入力フィールドｉ
ｆnは、フィールドメモリ１２、フィールド間補間器１
４、運動検出器１６、及びフィールド結合器１８に供給
される。フィールドメモリ１２によって遅延が発生し、
ここからライン２０に出力されるフィールドｉｆn-1
は、入力フィールドｉｆnよりも１周期遅れる。遅延し
たフィールドｉｆn-1は、運動検出器１６及びフィール
ド結合器に供給される。フィールド内補間されたフレー
ムは、補間器１４によって比例結合器２２に供給され、
フィールド結合されたフレームはフィールド結合器１８
によって比例結合器２２に供給される。出力されるべき
フィールド中の各ピクセルに関しては、運動検出器１６
は、このピクセルが表す物体の検出された運動を表す例
えば０から２５５までの範囲の運動予測値Ｐnを発生さ
せる。また、比例結合器２２は、フィールド内補間器１
４及びフィールド結合器１８によって形成された対応す
るピクセル値を運動予測値Ｐnに従って結合させ、出力
ピクセル値を発生させ、これが出力バッファ２４に供給
され、さらにこれが３０Ｈｚ、１：１の付加特性をシミ
ュレートする出力フレームＯＦn/2を形成する。

【００１６】フィールド間補間器１４は、ひとつおきの
出力フィールドｉｆ2，ｉｆ4，ｉｆ6，．．．から垂直
補間されたフレームＩＦn/2を形成する。単純な形態で
は、各ラインに対して、補間されたフレームＩＦn/2 の
中の位置（ｘ，ｙ）におけるピクセル値は、対応する偶
数入力フィールドｉｆnの中の同一位置（ｘ，ｙ）にお
けるピクセル値に等しくなる。一方、奇数のラインに関
しては、補間されたフレームＩＦn/2 の中の位置（ｘ，
ｙ）におけるピクセル値は、これに対応する偶数入力フ
ィールドｉｆnの中の位置の上方及び下方の位置（ｘ，
ｙ−１）及び（ｘ，ｙ＋１）におけるピクセル値の平均
となる。すなわち、偶数ラインに対しては（ｙが偶
数）、ＩＦn/2 （ｘ，ｙ）＝ｉｆn （ｘ，ｙ）；奇数ラインに対しては（ｙが奇数）、ＩＦn/2 （ｘ，ｙ）＝（１／２）｛ｉｆn （ｘ，ｙ−ｙ）＋ｉｆn（ｘ，ｙ＋１）｝となる。

【００１７】フィールド結合器１８は、結合フレームＣ
Ｆn/2を形成し、これが入力フィールドｉｆn-1 及びｉ
ｆnの各対の直接的な結合となり、結合フレームＣＦn/2
の偶数ラインは偶数入力フィールドｉｆnから取られ、
奇数ラインは先行する奇数入力フィールドｉｆn-1 から
取られる。すなわち、偶数ラインに対しては（ｙが偶
数）、ＣＦn/2 （ｘ，ｙ）＝ｉｆn （ｘ，ｙ）；奇数ラインに対しては（ｙが奇数）、ＣＦn/2 （ｘ，ｙ）＝ｉｆnー1 （ｘ，ｙ）；となる。

【００１８】比例結合器２２は、フィールド内補間され
たフレームの対応するピクセルの値ＩＦn/2の比例部分
Ｐn（ｘ，ｙ）と、結合フレームのフィールドの値ＣＦn
/2（ｘ，ｙ）の相補的比例部分２５５ーＰn（ｘ，ｙ）
とを加算することによって、出力フレームＯＦn/2の各
ピクセルの値ＯＰn/2（ｘ，ｙ）を発生させる。すなわ
ち、ＯＦn/2＝Ｐn（ｘ，ｙ）＊ＩＦn/2（ｘ，ｙ）／２５６＋（２５６−Ｐn（ｘ，ｙ））＊ＣＦn/2 （ｘ，ｙ）／２５６．

【００１９】運動検出器１６について図３を参照して更
に詳しく説明する。運動検出器の動作は、英国特許出願
ＧＢ２２３１２２８Ａの図８から図１４を参照して詳し
く説明される対応する装置の動作とある意味で似通って
いる。しかしながら、この場合、同一フレームの２個の
フィールドのフィールド間差異信号が運動を表すために
用いられ、英国特許出願ＧＢ２２３１２２８Ａの場合で
考慮されているように、フィールドのいずれかのサイド
の２個のフィールドの差異信号を用いてはいない。なぜ
なら、対となっているフィールドｉｆn-1，ｉｆnは極性
が逆になっており（すなわち奇数と偶数）、補間器２６
が奇数フィールドｉｆn-1に対して使用され、補間され
た偶数極性のフィールドｉｆn-1’が形成され、また、
フィルタ２８が偶数入力フィールドｉｆnに対して使用
され、補間器２６の応答と整合させ、ろ波された偶数フ
ィールドｉｆn’が形成されるからである。すなわち、
奇数のｙに対してｉｆn-1'（ｘ，ｙ）＝（１／２）ｉｆn-1（ｘ，ｙ−１）＋（１／２）ｉｆn-1 （ｘ，ｙ＋１）偶数のｙに対してｉｆn'（ｘ，ｙ）＝（１／４）ｉｆn（ｘ，ｙ−２）＋（１／２）ｉｆn（ｘ，ｙ）＋（１／４）ｉｆn（ｘ，ｙ＋２）

【００２０】差異モジュラスフィールドｄｆnは、減算
器３０及びモジュラス作動器３２によって補間フィール
ド及びろ波フィールドｉｆn-1’、ｉｆn’を作成する。
すなわち、偶数のｙに対しては、ｄｆn（ｘ，ｙ）＝｜ｉｆn'−ｉｆn-1'（ｘ，ｙ）｜となる。差異モジュラス値（ｄｉｆｆｅｒｅｎｃｅｍ
ｏｄｕｌｕｓｖａｌｕｅｓ）を正規化するために、補
間フィールド及びろ波フィールドｉｆn-1’、ｉｆn’対
応するピクセル値の和ｓｆnを加算器３４によって作成
する。すなわち偶数のｙに対して、ｓｆn（ｘ，ｙ）＝（１／２）ｉｆn-1’（ｘ，ｙ）＋（１／２）ｉｆn'（ｘ，ｙ）となり、また平均強度補正器３６は、例えばフォーミュ
ラ（ｆｏｒｍｕｌａ）にしたがって正規化された差異値
のフィールドｎｄｆn を作成する。すなわち、ｎｄｆn（ｘ，ｙ）＝ｄｆn（ｘ，ｙ）＊（１−（ｓｆn（ｘ，ｙ）／（ｉma x＋１）））となる。ここで、ｉmaxはピクセル値の最大値である。
正規化された差異フィールドｎｄｆnは、例えば１／
４、１／２、１／４を係数とする３タップフィルタを用
いて先行及び後続する正規化された差異フィールドｎｄ
ｆn-2，ｎｄｆn+2とともに垂直方向にろ波され、ろ波さ
れた差異フィールドｆｄｆnを作成する。すなわち、偶
数のｙに対して、ｆｄｆn（ｘ，ｙ）＝（１／４）ｆｄｆN-2（ｘ，ｙ−２）＋（１／２）ｆｄｆn（ｘ，ｙ）＋（１／４）ｆｄｆn+2（ｘ，ｙ＋２）となる。例えば垂直方向の折り返し歪の問題を減少させ
るため、とりわけ時間的な折り返し歪とかかわる問題を
最小限度にとどめるためにこの方法が用いられる。第１
のろ波された差異フィールドｆｄｆnは、空間フィール
ド内フィルタによってろ波され、差異フレームＤＦnが
例えば次のように作成される。偶数のｙに対してＤＦn（ｘ，ｙ）＝（１／４）ｆｄｆn（ｘ，ｙ−２）＋（１／２）ｆｄｆn （ｘ，ｙ）＋（１／４）ｆｄｆn（ｘ，ｙ＋２）；また奇数のｙに対してＤＦn（ｘ，ｙ）＝（１／２）ｆｄｆn（ｘ，ｙ−１）＋（１／２）ｆｄｆn （ｘ，ｙ＋１）となる。

【００２１】空間フィールド内補間器４０は、垂直方向
に、さらに水平方向により発展的にろ波を行うように構
成して、一層なめらかな差異値を発生するようにしても
よい。最後に、運動評価値Ｐnのフレームを作成するた
めに、差異フレームＤＦnを図４に示すような特性を持
った非線形マッピング関数器４２に適用し、ゼロからブ
レイクポイント１までの差異値ＤＦn（ｘ，ｙ）に対し
ては、運動評価値Ｐn（ｘ，ｙ）はゼロとし、ブレイク
ポイント２を越える差異値ＤＦn（ｘ，ｙ）に対して
は、運動評価値Ｐn（ｘ，ｙ）は、例えば２５５のよう
に最大値をとり、ブレイクポイント１からブレイクポイ
ント２の間での差異値ＤＦn（ｘ，ｙ）では、運動評価
値Ｐn（ｘ，ｙ）は累進的に増加するようにしてもよ
い。

【００２２】図１から図４までを参照して説明した構成
では、６０Ｈｚ２：１及び３０Ｈｚ１：１にて特性付加
された部分を含む素材を変換し、全体として３０Ｈｚ
１：１にて特性付加された状態をシミュレートする。変
換された素材を直接用いるか、または運動補正された時
間補間を用いて更に変換し、例えば英国特許出願ＧＢ９
０２４８３６．０の特に図７０を参照して詳細に説明し
ているように、２４Ｈｚ，１：１のような異なったフォ
ーマットにて特性の付加をシミュレートしてもよい。詳
細については、この先行出願を参照されたい。しかしな
がら、かいつまんでいえば、図５に示すように、列Ａは
６個の３０Ｈｚ、１：１の入力フレームＩＦ1からＩＦ6
の連なりを示しており、列Ｂは２４Ｈｚ，１：１の出
力フレームＯＦ1からＯＦ5の連なりを示している。第１
出力フレームＯＦ1は、第１入力フレームＩＦ1から直接
作成される。ただし、第２出力フレームＯＦ2は、第２
及び第３の入力フレームＩＦ2及びＩＦ3 の１／４案分
点にて運動補正するように時間補間される。第３の出力
フレームＯＦ3は、第３及び第４の入力フレームＩＦ3，
ＩＦ4中心案分点にて運動補正されるように時間補間さ
れる。さらに、第４の出力フレームＯＦ4は、第４及び
第５の入力フレームＩＦ4及びＩＦ5の３／４案分点にて
運動補正するように時間補間される。このプロセスは次
の５つの入力フレームＩＦ6からＩＦ10 及び次の４個の
出力フレームＯＦ5からＯＦ8に関して繰り返され、同様
に繰り返す。運動補正された時間補間によって、出力フ
レームの各ピクセルに対して、補間されるべき２個の対
応する入力フレーム間に対してピクセルが表す物体の運
動を表現する運動ベクトルが形成されることを意味して
いる。出力ピクセルの値は、２個の入力フレームの中の
ピクセルの値が出力ピクセルの位置から運動ベクトル及
び時間補間比に応じた分量だけ移動することに起因して
決まる。このように、例えば第２出力フレームＯＦ2に
関しては、位置（ｘ，ｙ）における出力ピクセル値ＯＦ
2（ｘ，ｙ）は、以下のように与えられる。ＯＦ2（ｘ，ｙ）＝０．７５＊ＩＦ2｛（ｘ，ｙ）−０．２５＊Ｍ2（ｘ，ｙ）｝＋０．２５＊ＩＦ3｛（ｘ，ｙ）＋０．７５＊Ｍ2（ｘ，ｙ）｝ここでＭ2（ｘ，ｙ）は、出力フレームＯＦ2における位
置（ｘ，ｙ）のピクセルに対する運動ベクトルであっ
て、ＩＦ2｛｝及びＩＦ3｛｝は、入力フレームＩＦ
2，ＩＦ3 中の適当な位置におけるピクセル値を表して
いる。本発明の構成では、全体的に６０Ｈｚ、２：１で
特性付加されている素材を２４Ｈｚ、１：１の特性に変
換させる場合の画質ほどは良好な画質とはならない。な
ぜなら運動補正は１／３０秒の時間スペーシングの２倍
にてフレームに対して作用するからである。さらに、本
発明の別の構成では、時間サンプリングレートをデシメ
ートする必要がなく、以下これについて説明する。

【００２３】図６の場合、列Ａは６０Ｈｚ，２：１のイ
ンターレース素材の６個のフレームＡ1からＡ6の連な
り、または１２個のフィールドａ1からａ12 の連なりを
表している。６０Ｈｚ，２：１のインターレースの形を
とっているが、画像のある部分は６０Ｈｚ，２：１のイ
ンターレースにてビデオカメラで特性付加され、従って
各フレームの２個のフィールドは時間的にオフセットさ
れ、一方画像のその他の部分は３０Ｈｚ，１：１でコン
ピュータグラフィックによって特性付加され、従ってこ
の部分では各フレームの２個のフィールドは時間的に同
期している。入力フィールドａ1からａ12は、垂直に補
間され、列Ｂに示すような１２個のフルフレームＢ1か
らＢ12 を作成し、同一の入力フレームに由来する垂直
補間されたフレームの各対を減算処理して６個の差異フ
レームＣ1からＣ6の連なりを作成する。差異フレームは
単純な減算から作成してもよいが、図３を参照して説明
した構成要素３０及び３６と類似の構成によって差異値
を正規化することがいっそう好ましい。この６個の差異
フレームを運動補正された時間補間によって３０Ｈｚ，
１：１から２４Ｈｚ、１：１へと変換し、列Ｄに示すよ
うな４個のキーフレームＤ1からＤ4の連なりを作成す
る。この場合、第１のキーフレームＤ1は第１及び第２
の差異フレームＣ1、Ｃ2間で３／４の案分点にて補間す
ることによって作成し、第２のキーフレームＤ2は第３
の差異フレームＣ3から直接形成され、第３のキーフレ
ームは、第４及び第５の差異フレームＣ4、Ｃ5間で１／
４の案分点にて補間することによって作成する。第４の
キーフレームＤ4は、第５及び第６の差異フレームＣ5及
びＣ6の中心点にて補間することによって作成する。

【００２４】図６の列Ｅも、６個の入力フレームＡ1か
らＡ6、あるいは１２個の入力フィールドａ1からａ12
を示している。各フレームの２個のフィールドは列Ｆに
よって示される６個のフルフレームＦ1からＦ6を直接結
合し、列Ｆに示すような６個のフルフレームＦ1からＦ6
の連なりを作成する。３０Ｈｚ，１：１のフルフレーム
を３０Ｈｚ，１：１のフォーマットから２４Ｈｚ，１：
１に運動補正された時間補間を用いて変換し、列Ｇに示
すような４個のフレームＧ1からＧ4 を作成する。第１
の変換フレームＧ1は、第２の３０ＨｚのフレームＦ2か
ら直接形成される。第２の変換フレームＧ2は、第３及
び第４の３０ＨｚフレームＦ3、Ｆ4の間の１／４案分点
にて補間することによって作成する。第３の変換フレー
ムＧ3は第４及び第５の３０ＨｚフレームＦ4、Ｆ5の中
心点にて補間することによって作成する。第４の変換フ
レームＧ4は、第５及び第６の３０ＨｚフレームＦ5及び
Ｆ6を３／４の案分点にて補間することによって作成す
る。

【００２５】図６の列Ｈも、６個の入力フレームＡ1か
らＡ6、あるいは１２個の入力フィールドａ1からａ12
を示している。この場合、フィールドのうちの決まった
幾つかは（英国特許ＧＢ２２３１２２８Ａに詳しく説明
されているように）運動補正されたフィールド内補間及
びフィールド間補間を用いてプログレッシブ走査変換
し、列Ｉに示すような６個のフルフレームＩ1からＩ6を
作成する。特に、第１から第６までのプログレッシブ走
査変換フレームＩ1からＩ6を、第３、第５、第６、第
８、第１０及び第１１それぞれから作成し、選択的に直
前及び直後のフィールドから作成する。６個のプログレ
ッシブ走査変換されたフレームＩ1からＩ6 を運動補正
された時間補間を用いて変換し、列Ｊに示すような４個
の変換フレームＪ1、Ｊ4を６０Ｈｚ２：１から２４Ｈ
ｚ、１：１に変換して作成する。特に、第１及び第３の
２４Ｈｚ，１：１のフレームＪ1、Ｊ3は、第１及び第４
のプログレッシブ走査変換フレームＩ1及びＩ4から直接
作成する。ただし、第２及び第４の２４Ｈｚ１：１のフ
レームＪ2及びＪ4は、運動補正された時間補間を用いて
第２及び第３のプログレッシブ走査変換フレームＩ2及
びＩ3中心案分点、及び第５と第６のプログレッシブ走
査変換フレームＩ5とＩ6の中心案分点にて補間すること
によってそれぞれ作成する。

【００２６】図６からわかることは、列Ｄにおける４個
のキーフレームＤ1からＤ4は、列Ｇにおける３０Ｈｚ
１：１から２４Ｈｚ１：１に変換された４個のフレーム
Ｇ1からＧ4のそれぞれの１個と時間的に位置合わせされ
ており、さらに、列Ｊにおける６０Ｈｚ２：１から２４
Ｈｚ１：１に変換することによって作成される４個のフ
レームＪ1及びＪ4 の４個のうちのそれぞれの１個とも
時間的に位置合わせされている。

【００２７】出力画像信号は、考慮の対象としているピ
クセルの２４Ｈｚ、１：１のキー信号（列Ｄ）の値に応
じて、３０Ｈｚ，１：１から２４Ｈｚ１：１へ変換され
た信号（列Ｇ）または６０Ｈｚ，２：１から２４Ｈｚ
１：１に変換された信号（列Ｊ）のいずれかを選択する
ことによって形成される。特に、キー信号が所定のしき
い値よりも小さいときは、３０Ｈｚ１：１から２４Ｈｚ
１：１に変換された信号の対応するピクセル値を選択す
る。また、このピクセルに対するキー信号がしきい値よ
りも大きいときは、６０Ｈｚ，２：１から２４Ｈｚ１：
１に変換された信号の対応するピクセル値を選択する。

【００２８】図７は、上述の装置がどのように動作する
かを説明するものである。図７の列Ａは、６０Ｈｚ，
２：１で入力されたビデオ信号の５個のフィールドａ3
からａ7を示したものである。画像の上部では、６０Ｈ
ｚ，２：１にて特性付加された円状の物体が左に向かっ
て運動しているものとする。一方、画像の底部では３０
Ｈｚ，１：１にて特性付加された矩形の物体が右に運動
しているものとする。背景は静止状態にある。（簡単の
ため、図７ではフレームの偶数ラインと奇数ラインとを
区別する試みはしていない。）円状物体は、６０Ｈｚ，
２：１にて特性付加されているため、図７の列Ａの５つ
のフィールドａ3からａ7 にわたって物体の位置は漸進
的に運動するようにみえる。しかしながら、矩形の物体
は３０Ｈｚ１：１にて特性付加されているため、これの
位置は第１及び第２のフィールドａ3、ａ4（第１のフレ
ーム）の中で同一であり、第３及び第４のフィールドａ
5、ａ6（第２フレーム）の中でも同一である。図７の列
Ｃでは、３個の対応する差異フレームＣ2、Ｃ4が示され
ている。ひとつのフレームの２つのフィールド間の運動
は、円状物体の運動のみであり、差異フレームはひとつ
の対のフィールド間でカバーされ、またはカバーされな
い差異フレームは、円状物体の部分を含む。図７の列Ｄ
は、対応するキー信号フレームＤ1、Ｄ2を表し、図７の
列Ｊは、６０Ｈｚ，２：１から２４Ｈｚ，１：１に変換
された対応するフレームＪ1、Ｊ2を示している。この２
個のフレームのうち第２のフレームＪ2では、円状物体
は正確に位置するとともに、列Ａの第３及び第４のフィ
ールドａ5ａ6の位置間に時間的に補間される。しかしな
がら、矩形の物体の位置は正しくない。なぜならこれの
位置は、列Ａにおける第３及び第４のフィールドａ5、
ａ6の位置に由来するというよりも、列Ａにおける第２
及び第３のフレームＡ3及びＡ4の間にて補間された位置
であらねばならないからである。図７の列Ｇは、３０Ｈ
ｚ，１：１から２４Ｈｚ，１：１に変換された２個の対
応するフレームＧ1、Ｇ2 を示している。これら２個の
フレームのうちの２番目において、矩形の物体は正しく
位置付けられており、図７の第２及び第３のフレームＡ
3及びＡ4における位置の間にて時間補間されている。と
ころが、円形物体は垂直方向の解像度を低下させてお
り、画像が２重になっている。図７の列Ｋは、列Ｄのキ
ーフレームに従って列Ｊ及びＧのフレームを対に組んで
できたフレームを示す。２個の物体は正しく位置付けら
れており、円形物体（６０Ｈｚ，２：１にて特性付加さ
れている）は、２重画像になっていないし、垂直方向の
解像度も実質的に失われていない。

【００２９】図６及び図７を参照して説明した方法を行
うための装置を図８を参照して説明する。ソースデジタ
ルビデオテープレコーダ（ＤＶＴＲ）４４は、入力フィ
ールドをキー信号処理器４６、フレームメモリ４８、及
び６０Ｈｚ，２：１から２４Ｈｚ，１：１に運動補正し
て時間補間する補間器５０に供給する。

【００３０】キー信号処理器４６は、偶数入力フィール
ドａ2，ａ4，ａ6に対してフルフレームＢevenを作成す
るための垂直補間器５２と、奇数入力フィールドａ1，
ａ3，ａ5に対してフルフレームＢoddを作成するための
フィールドメモリ５４及び垂直補間器５６とを含んでい
る。偶数及び奇数のフルフレームＢeven，Ｂoddは、減
算器３０とモジュラス動作器３２及び加算器３４に供給
され、さらに図３を参照して説明した方法によって動作
する平均強度補正器３６に（フィールドではなくフルフ
レームで）供給し、差異フレームＣを作成する。差異フ
レームＣは、上述した英国特許９０２４８３６．０の図
７０を参照して更に詳しく説明したように、３０Ｈｚ，
１：１から２４Ｈｚ１：１に運動補正して時間補正する
補間器５７に供給し、ここで、ＤＶＴＲ５６上に記録さ
れるキーフレームＤを作成する。

【００３１】フレームメモリ４８は、入力フィールドの
対ａ1，ａ2；ａ3，ａ4；ａ5，ａ6・・・を結合させ、結
合フレームＦを作成し、これが補間器５７に供給されて
３０Ｈｚ，１：１から２４Ｈｚ，１：１変換されたフレ
ームＧに作成され、さらにＤＶＴＲ５８に記録される。

【００３２】補間器５０は、英国特許ＧＢ２２３１２２
８Ａの図１から図４８に説明されているようなものであ
り、６０Ｈｚ，２：１から２４Ｈｚ１：１に変換して出
来るフレームＪを入力フィールドから作成し、ＤＶＴＲ
６０に記録する。

【００３３】このＤＶＴＲ５６は、しきい値器６２を介
して記録されたキーフレームＤをマルチプレクサ６４の
制御入力端に入力する。しきい値器６２はキーフレーム
の入力信号の最重要ビットを単に通過させ、しきい値を
８ビットビデオデータに対して１２８に設定してもよ
く、あるいは、さらに複雑な構成を含んでもよい。ＤＶ
ＴＲ５８、６０は、３０Ｈｚ，１：１から２４Ｈｚ，
１：１に変換されたフレームＧと、６０Ｈｚ，２：１か
ら２４Ｈｚ，１：１に変換されたフレームＪとを同期さ
せてマルチプレクサ６４の入力端に供給し、そこでマル
チプレクサ６４が対に組まれた出力フレームＫを作成
し、これがＤＶＴＲ６６に記録される。図８の構成の要
素は、様々な制御信号Ｃ1からＣ10 の供給を受けてシス
テムコントローラ６８によって制御される。

【００３４】図６から図８の例において、３０Ｈｚ，
１：１と６０Ｈｚ，２：１の複合特性付加された入力ビ
デオ信号は、２４Ｈｚ，１：１にて特性付加された状態
をシミュレートすべく処理される。出力フレームレート
は、入力フレームレートとは異なっている必要はない。
例えば３０Ｈｚ，１：１と６０Ｈｚ，２：１の両方で複
合特性付加されたビデオ信号を、全体的に３０Ｈｚ，
１：１の特性のようにシミュレートすることに用いても
よい。これを行うためには、運動補正された時間補間
を、入力フィールドの各対に対して適用し、フィールド
の結合によって３０Ｈｚ，１：１のフルフレームを発生
させたり、運動補正されたフィールド内補間またはフィ
ールド間補間を用いて３０Ｈｚ，１：１のプログレッシ
ブ走査変換フレームを発生させたり、３０Ｈｚの差異フ
レームを発生させてもよい。この場合、３個のフレーム
全部は運動補正された時間補間過程によって３個のフレ
ームはすべて時間的に同期している。

【００３５】図６から図８を参照して説明した構成で
は、差異信号を形成することによってキー信号を発生
し、次に運動補正された時間補間によってこのキー信号
を所望の出力フォーマットに変換する。このキー信号は
２個の異なる変換を受けた画像信号を対に組むことに用
いられる。多くの場合において、入力複合ビデオ信号
は、キー信号を用いてポストプロダクション（後処理）
され、本発明の第３の例では、画像信号の後処理に用い
られるキー信号は画像信号とともに用いられる。キー信
号のフォーマットが所望の出力フォーマトとは異なって
いるときは、キー信号は出力フォーマットに変換される
が、キー信号は図８に示すものと類似した装置における
マルチプレクサ６４の入力として直接用いる場合もあ
る。

【００３６】いっそう詳しくいうと、図９において、列
Ａは図７の列Ａと同様に６０Ｈｚ，２：１の入力画像フ
レームＡ2からＡ4、すなわちａ3からａ7を示すものであ
る。列Ｌは、画像フィールドａ3からａ7の供給を受けた
対応するキー信号フィールドＩ3からＩ7を示すものであ
る。この例では、キー信号は３０Ｈｚ，１：１というよ
りはむしろ６０Ｈｚ，２：１となっている。キーフィー
ルドＩ3からＩ7において、無垢にて示してある部分は３
０Ｈｚ，１：１にて特性付加された画像領域を示し、網
掛けをしてある部分は６０Ｈｚ，２：１にて特性付加さ
れた画像領域を示している。出力フレームに時間順序で
もっとも近い列Ｌにおけるキー信号のフィールドは、プ
ログレッシブ走査変換され、図９の列Ｍに示すように変
換キー信号を形成する。例えば変換されたキー信号フレ
ームＭ1は、入力キー信号フィールドＩ3に基づくプログ
レッシブ走査変換によって作成され、変換されたキー信
号フレームＭ2は、入力キー信号フィールドＩ5に基づい
てプログレッシブ走査変換によって形成される。列Ａに
おける入力画像フィールドは、６０Ｈｚ，２：１から２
４Ｈｚ，１：１に変換されると共に、３０Ｈｚ，１：１
から２４Ｈｚ，１：１に変換され、図６及び図７を参照
して説明したのと同様に、それぞれ列Ｊ及びＧのフレー
ムが作成される。従って、列Ｊのフレームでは、物体の
位置が間違って決められ、列Ｇのフレームでは、垂直方
向の解像度が低下するとともに、２重画像現象が起こり
うる。列Ｊ及びＧのフレームは、列Ｍの変換キー信号を
用いて対に組み、列Ｋに示す出力フレームを作成する。

【００３７】図９の方法を行うための装置を図１０を参
照しながら説明する。ここでは、図８の装置の類似する
対応要素には、同様な参照符号を記す。

【００３８】ソースＤＶＴＲ４４は、入力画像フィール
ドをフレームメモリ４８に供給し、ここで３０Ｈｚ，
１：１の画像のフルフレームＦが形成される。このフレ
ームは運動補正された時間補間器５７によって２４Ｈ
ｚ，１：１に変換され、３０Ｈｚ，１：１から２４Ｈ
ｚ，１：１に変換された画像フレームＧは、ＤＶＴＲ５
８に記録される。ソースＤＶＴＲ４４は入力画像フィー
ルドを補間器５０に供給し、ここでこれらフィールドは
運動補正された時間補間処理によって６０Ｈｚ，２：１
から２４Ｈｚ，１：１へ変換し、この変換画像フレーム
ＪがＤＶＴＲ６０に記録される。

【００３９】６０Ｈｚ，２：１のキー信号フィールド
は、ＤＶＴＲ４４と同期して動作するＤＶＴＲ６８によ
って、英国特許ＧＢ２２３１２２８Ａの図５から図１４
によって説明したプログレッシブ走査変換器７０に供給
され、ここで各５個の入力フィールドＩの第１及び第３
の入力フィールドに基づいてプログレッシブ走査キーフ
レームＭを作成するとともにこれら変換キーフレームＭ
がＤＶＴＲ５６に記録される。この３個のＤＶＴＲ５
６、６８、６０は、変換されたキーフレームＭ及び変換
された画像フレームＧ、Ｊを同期して再生し、マルチプ
レクサ６４は、変換キー信号Ｍに応じて３０Ｈｚ，１：
１から２４Ｈｚ、１：１に変換されたフレームＧか、ま
たは６０Ｈｚ，２：１から２４Ｈｚ，１：１に変換され
たフレームＪのピクセルを選択し、２４Ｈｚ，１：１の
フレームＫを作成し、これをＤＶＴＲ６６に記録する。
システムコントローラ６８は、様々な制御信号Ｃ1から
Ｃ9を発生させて装置の構成要素を制御する。

【００４０】図１１及び図１２は、本発明の更に別な実
施例を示している。ここでは、キー信号がソースビデオ
の供給を受ける必要がない。

【００４１】図１１では、スローモーションにて動作す
るＤＶＴＲ１００からのソースビデオ信号は、英国特許
出願ＧＢ２２３１２２８Ａにて説明されている６０Ｈ
ｚ，２：１から２４Ｈｚ，１：１への運動補正された時
間補間器１０２と、英国特許出願９０２４８３６．０に
て説明されている３０Ｈｚ，２：１から２４Ｈｚ，１：
１への運動補正された時間補間器に供給される。それぞ
れの出力ピクセルに対して、マルチプレクサ１０６は、
画像の良度指数を比較するための良度指数比較器１０８
から供給される信号に応じて補間器１０２または補間器
１０４の出力を選択し、シリコンフレームレコーダ１１
０は、マルチプレクサ１０６から実時間レートよりは低
いレートにて出力されるフレームを、バーストモードに
て動作する出力ＤＶＴＲ１１２に記録される前にグルー
プにまとめる。

【００４２】一層詳しくいうと、６０Ｈｚ，２：１から
２４Ｈｚ１：１に変換する補間器１０２は、プログレッ
シブ走査変換器１１４を具え、これが運動適合フィール
ド内補間またはフィールド間補間によって入力フィール
ドのおのおのからプログレッシブ走査フレームを作成す
る。このプログレッシブ走査フレームは、タイムベース
補正器１１６ａに供給され、これが今度はフレームを適
当なタイミングにて直接ブロック突合せ器、運動ベクト
ル選択器１２０ａ及び補間器１２２ａに供給する。英国
特許ＧＢ２２３１２２８Ａに詳しく述べられているよう
に、直接ブロック突合せ器１１８ａは相関面を作成し、
これによって運動ベクトル評価器１２４ａは、画像のサ
ンプルブロックの運動を表す運動ベクトルの組と、この
運動ベクトルがどのように推定されたかを示すフラグと
を推定する。この運動ベクトルの組及びこれのフラグ
は、運動ベクトル削減器１２６ａによって処理され、削
減された運動ベクトルの組が作成され、これが運動ベク
トル選択器１２０ａに送られる。運動ベクトル選択器１
２０ａは、削減されたセットの運動ベクトルの１個をサ
ンプルブロックの各ピクセルに割り当てる。第１段階で
は、運動ベクトルがプログレッシブ走査変換フレームの
各ピクセルに対して割り当てられる。第２段階では、第
１段階にて作成した運動ベクトルを、プログレッシブ走
査変換フレームの対の間で時間的に位置付けられている
出力フレームの各ピクセルに対して運動ベクトルを決定
することに用いられる。英国特許出願ＧＢ２２３１２２
８Ａの図３６から図４８を参照して詳しく説明したよう
に、各出力フレームが関係した運動ベクトルを決定する
ために、様々な試験が実行され、組合せの程度が評価さ
れる。本発明の場合、各出力ピクセルに対する運動ベク
トルを作成することに加えて、良度指数ＦＯＭａが運動
ベクトル選択器１２０ａによって実行される試験の結果
に応じて各運動ベクトルに対して作成され、この良度指
数が良度指数比較器１０８に供給される。英国特許出願
ＧＢ２２３１２２８Ａにて説明しているように、補間器
１２２ａは、各運動ベクトル及び出力フレームの時間上
の位置に応じた分量だけ出力フレームのピクセルの位置
からずらされたプログレッシブ走査変換フレームの中の
ピクセルの値から、プログレッシブ走査変換フレームの
対間で時間的に位置付けられている出力フレーム中の各
出力ピクセルの値を補間する。

【００４３】３０Ｈｚ，１：１から２４Ｈｚ，に変換す
る補間器１０４は、運動適合プログレッシブ走査変換器
１１４を採用するかわりに、入力ビデオ信号の各フレー
ムのフィールドを補間するフィールド結合器１２８によ
ってプログレッシブ走査フレームが作成されるという点
を除いて、補間器１０２と類似している。補間器１０２
のように、補間器１０４は、英国特許出願ＧＢ２２３１
２２８Ａ及びＧＢ９０２４８３６．０にて説明した方法
によって動作するタイムベース補正器１１６ｂ、直接ブ
ロック突合せ器１１８ｂ、運動ベクトル評価器１２４
ｂ、運動ベクトル削減器１２６ｂ、運動ベクトル選択器
１２０ｂ、及び補間器１２２ｂを含んでいる。ただし、
さらに加えて運動ベクトル選択器１２０ａのように、運
動ベクトル選択器１２０ｂが各運動ベクトルに対して画
像上のメリットＦＯＭｂを作成し、これを良度指数比較
器１０８の第２の入力に供給している。

【００４４】基本的な実施例において、良度指数比較器
１０８は、良度指数ＦＯＭａ，ＦＯＭｂを比較し、ＦＯ
Ｍａ≧ＦＯＭｂのときは値１を発生させてマルチプレク
サ１０６が６０Ｈｚ，２：１から２４Ｈｚ，１：１への
変換の補間器１０２からのピクセル値を選択するように
し、ＦＯＭａ＜ＦＯＭｂのときは、値０を発生させマル
チプレクサ１０６が３０Ｈｚ，１：１から２４Ｈｚ１：
１の変換の補間器１０４を選択するようにする。

【００４５】基本となる実施例の改良形では、良度指数
比較器１０８は、良度指数ＦＯＭａ，ＦＯＭｂと関係付
けられた２個の運動ベクトルＶａ及びＶｂを用いてどち
らの比較器を選択するか決定してもよい。例えば、両方
の運動ベクトルが殆ど同一のときは、たとえ良度指数が
別のことを表示したとしても、良度指数ＦＯＭａの正確
度に対して逆方向に作用するので、６０Ｈｚ，２：１か
ら２４Ｈｚ１：１の補間器１０２を選択することが望ま
しい。良度指数比較器１０８の動作は、以下のように記
述される。ＩＦ（ＦＯＭａ≧ＦＯＭｂ）ＯＲ（｜Ｖａ−Ｖｂ｜＜
ｔ）ＴＨＥＮＯＵＴＰＵＴ１，ＥＬＳＥＯＵＴＰＵＴ０ここでｔはしきい値となるへだたりである。

【００４６】英国特許出願ＧＢ２２３１２２８Ａでは、
運動ベクトル選択器と補間器との間に運動ベクトル後処
理器を用い、各運動ベクトルをこれを取り囲んでいるピ
クセルの運動ベクトルと比較し、疑似の不正確な運動ベ
クトルの検出を試み、周囲の運動ベクトルに応じて変形
を加えている。このような運動ベクトル後処理器は、図
１１の構成における運動ベクトル選択器１０２ａ，１２
０ｂ及び補間器１２２ａ，１２２ｂの間に設けてもよ
い。この場合、運動ベクトル後処理器は、画像のメリッ
トＦＯＭａ，ＦＯＭｂを、それぞれの運動ベクトルが不
正確に決定されたかどうか、及びあらゆる作用が運動ベ
クトルを訂正するためになされたかどうかに応じて変形
してもよい。

【００４７】３０Ｈｚ，１：１にて特性付加され、１フ
レームあたりＶピクセルの速度で運動している物体の場
合、この物体を表すピクセルに対して、６０Ｈｚ、２：
１から２４Ｈｚ、１：１に変換する補間器によって作成
された運動ベクトルは、プログレッシブ走査変換器によ
って作成された連続するフレームに対して０、Ｖ、０、
Ｖ・・・となる。このような運動ベクトルの交互の連な
りは、ピクセルが３０Ｈｚ，１：１にて特性付加された
ことの明確な印となる。従って、図１１の実施例の改良
例では、運動ベクトル減縮器１２６ａは、このような交
互にかわる運動ベクトルの流れを検出するように変形し
てもよいし、さらに、運動ベクトル選択器１２０ａを通
過することを抑圧するか、または画像のメリット選択を
支援してもよい。

【００４８】図１１の構成にて発生するフィールド及び
フレームの時間的関係を、図１２を参照して説明する。

【００４９】列Ａは、６０Ｈｚ，２：１のフォーマット
にて形成されたインターレースの素材の５個の入力フレ
ームＡ1からＡ5、または１０個のフィールドａ1からａ1
0を示したもので、これらの一部は６０Ｈｚ，２：１の
インターレースにて、また別の部分は３０Ｈｚ，１：１
にて特性付加されている。入力フィールドａ1からａ10
は、図１１の変換器１１４によってそれぞれプログレッ
シブ走査変換され、１０個のフレームＢ1からＢ10が作
成される。６０Ｈｚ，２：１から２４Ｈｚ，１：１に変
換されたフレームＣ1からＣ10の連なりがここで作成さ
れる。第１及び第３のフレームＣ1及びＣ3は、第１及び
第６のプログレッシブ走査変換フレームＢ1、Ｂ6から形
成される。第２及び第４のフレームＣ2、Ｃ4が、第３及
び第４のプログレッシブ走査変換フレームＢ3及びＢ4、
第８及び第９のプログレッシブ走査変換フレームＢ8及
びＢ9のそれぞれを中心点にて運動補正された時間補間
によって作成される。さらに、画像上のメリットのフレ
ームＤ2及びＤ4が、フレームＣ2及びＣ4を作成するとき
に用いられる運動ベクトルとの関連で作成される。フレ
ームＣ1及びＣ3は、運動補正された時間補間によって形
成される必要はないのであるが、フレームＣ1及びＣ3と
関連した運動ベクトルのフレーム、及びそれぞれの画像
上のメリットのフレームＤ1、Ｄ3を作成するために、補
間器１０２がここでも用いられている。（明瞭さのため
に、プログレッシブ走査変換フレームＢ2、Ｂ5、Ｂ7、
Ｂ10 は示していないが、これらはフレームＣ1、Ｃ2、
Ｃ3、Ｃ4と関連する運動ベクトルを作成する前にフレー
ムＢ1、Ｂ3；Ｂ4 、Ｂ6；Ｂ6、Ｂ8；Ｂ9と関連した運動
ベクトルを作成するために用いられていることに留意さ
れたい。）

【００５０】図１２における列Ｉは、やはり５個の入力
フレームＡ1からＡ5、または１０個の入力フレームａ1
からａ10の連なりを示している。フィールドの対は、図
１１のフィールド結合器１２８によって用いられ、結合
フレームＨ1からＨ5の連なりが作成される。３０Ｈｚ，
１：１から２４Ｈｚ、１：１へ変換されたフレームＧ1
からＧ4の列がここで作成される。第１の変換フレーム
Ｇ1は、第１のフィールド結合フレームＨ1から直接形成
され、第２及び第４の変換フレームＧ2、Ｇ3、Ｇ4は、
それぞれフィールド結合フレームＨ2とＨ3、Ｈ3 とＨ
4、Ｈ4とＨ5を、１／４案分点、１／２案分点、３／４
案分点にて運動補正された時間補間によって作成され
る。良度指数のフレームＦ2からＦ4は、変換フレームＧ
2からＧ4のおのおのから作成される。第１のフレームＧ
1は、運動補正された時間補間によって作成される必要
はないものであるが、良度指数のフレームは第１のフレ
ームＧ1のために作成される。

【００５１】各ピクセル位置に対して、フレームＤiに
おける良度指数及び対応するフレームＦiにおける良度
指数が良度指数比較器１０８によって比較され、（上述
のように）この結果に応じて対応するフレームＣiまた
はＧiの対応するピクセル値が、マルチプレクサ１０６
によって、対応する出力フレームＥiの対応するピクセ
ル値として選択される。このように、４個の出力フレー
ムＥ1からＥ4の連なりが作成される。

【００５２】本発明は６０Ｈｚ，２：１と３０Ｈｚ，
１：１の複合ソースを処理して、全体的に２４Ｈｚ，
１：１のフォーマットをシミュレートする場合を例にと
って説明してきたが、下記のようなその他の変換の場合
にも変形して適用できる。複合ソース出力シミュレーション 60Hz,2:1／30Hz,1:1 30Hz,1:1 60Hz,2:1／30Hz,1:1 60Hz,2:1 60Hz,2:1／30Hz,1:1 50Hz,2:1 50Hz,2:1／25Hz,1:1 50Hz,2:1 50Hz,2:1／25Hz,1:1 25Hz,1:1 50Hz,2:1／25Hz,1:1 60Hz,2:1 50Hz,2:1／25Hz,1:1 30Hz,1:1

【００５３】

【発明の効果】本発明によって、異なるフォーマットの
ビデオ信号からなる複合ソースを処理して、単一のフォ
ーマットにて特性付加されたビデオ信号を形成する方法
が提供される。

【図面の簡単な説明】

【図１】本発明の基づくビデオ信号処理方法の第１の実
施例を示す図である。

【図２】図１に示す方法を行うための装置のブロック図
である。

【図３】図２に示す装置の運動検出器を一層詳しく示し
たブロック図である。

【図４】図３の装置の非線形運動マッピング関数の特性
の例を示す図である。

【図５】３０Ｈｚ，１：１から２４Ｈｚ，１：１の変換
における入力及び出力フレームの時間的な関係を示す図
である。

【図６】本発明によるビデオ信号処理の第２の例を示す
図。

【図７】図６の方法における画像の例を示す図である。

【図８】図６の方法を行う装置のブロック図である。

【図９】本発明によるビデオ信号処理方法の第３の例に
おける画像の例を示す図である。

【図１０】図９の方法を行うための装置のブロック図で
ある。

【図１１】本発明の方法の第４の例を行うための装置の
ブロック図である。

【図１２】本発明の第４の例を示す図である。

【符号の説明】

１２フィールドメモリ１４フィールド内補間器１６運動検出器１８フィールド結合器２２比例結合器２４出力バッファ

フロントページの続き (72)発明者ジョンウィリアムリチャーズイギリス国ＳＯ20 ６ＡＰ，ハンプシャー，ストックブリッジ，チルボルトン，ダーンフォードクロース 17 (72)発明者マーチンレックスドリコットイギリス国ＲＧ24 ０ＥＤ，ハンプシャー，ベージングストーク，ベージング，リングフィールドクロース６ (72)発明者モーガンウィリアムエイモスデービッドイギリス国ＧＵ９８ＮＷ，サリー，ファーンハム，リッジウエイロード 34 (72)発明者スティーブンマークキーティングイギリス国ＲＧ６３ＡＢ，バークシャー，レディング，ローワーアーリー，ハンティングドンクロース 28

Claims

【特許請求の範囲】

【請求項１】入力フレームの少なくとも幾つかは、そ
れぞれ第１の付加特性を有する第１の画像部分と、第２
の付加特性を有する第２の画像部分とを含む入力ビデオ
信号を処理して、一連の出力フレームを表す出力ビデオ
信号を作成する方法であって、上記入力フレームの第１及び第２の画像部分を識別する
ステップ及び上記第１及び第２の画像部分を異なる方法
によって処理して出力フレームを作成し、出力フレーム
が全体的に同一の付加特性にて上記第１及び第２の画像
部分の付加特性をシミュレートするステップから成る方
法。
【請求項２】上記第１の画像部分は第１フレームレー
トのプログレッシブ走査フレームとして特性付加され、
上記第２の画像部分は第１フレームレートのインターレ
ースフィールドとして特性付加された請求項１の方法に
おいて、上記識別ステップは、同一の入力フレームのフィールド
間での画像の運動を検出するステップから成り、上記処理ステップは、比較的大きな運動が検出される領
域では一般的に各入力フィールドのフィールド内補間に
よって、また運動が検出されないかまたは比較的小さな
運動しか検出されない領域では一般的に各入力フィール
ドの組合せによって出力フレームを作成することから成
る方法。
【請求項３】上記処理ステップは、各ピクセルに対し
て対応するフィールド内補間ピクセル値を、対応するフ
ィールド結合ピクセル値と、このピクセルにて検出され
た運動の程度に比例させて結合させることを含む請求項
２の方法。
【請求項４】上記出力フレームを運動補正された時間
補間によって更に処理し、異なった付加特性をシミュレ
ートする請求項２または３の方法。
【請求項５】上記第１の画像部分は、第１のフレーム
レートにてプログレッシブ走査フレームとして特性付加
され、上記第２の画像部分は第１のフレームレートにて
インターレースフィールドの対として特性付加され、上
記出力信号は、第１のフレームレートの付加特性をシミ
ュレートする請求項１の方法において、上記識別ステップは、各入力フレームのフィールド間の
差異に対応する第１の差異フレームの連なりを作成する
ことを含み、上記処理ステップは、各フレームの１フィールドの少な
くともフィールド内補間によってプログレッシブ走査画
像フレームの連なりを作成し、上記補間された画像フレ
ームが上記入力フレームの各１個の１画像部分によって
時間的に位置が共有されるようにすること、上記第１の
差異フレームの連なりに関して運動補正された時間補間
によって第２の差異フレームの連なりを作成し、該第２
の差異フレームが、上記入力フレームの各１個の第１画
像部分に関して時間的に位置を共有するようにするこ
と、及び上記入力フレームと上記補間された画像フレー
ムとを第２の差異フレームをキー信号として用いること
によって対に組むことを含む方法。
【請求項６】上記第１の画像部分は、第１のフレーム
レートにてプログレッシブ走査フレームとして特性付加
され、上記第２の画像部分は第１のフレームレートにて
インターレースフィールドの対として特性付加され、上
記出力ビデオ信号は、第３の異なる付加特性をシミュレ
ートする請求項１の方法において、上記識別ステップは、各入力フレームのフィールド間の
差異に対応する第１の差異フレームの連なりを作成する
ことを含み、上記処理ステップは、運動補正された時間補間によって
第１の中間フレームの連なりを作成し、上記第１の画像
部分を変換して上記第３の付加特性をシミュレートする
こと、運動補正された時間補間過程によって第２の中間
フレームの連なりを作成し、上記第２の画像部分を変換
して上記第３の付加特性をシミュレートし、各第２の中
間フレームが上記第１の中間フレームのそれぞれによっ
て時間的に位置を共有するようにすること、運動補正さ
れた時間補間によって第２の差異フレームの連なりを作
成し、上記第１の差異フレームを変換して第３の付加特
性を付与し、各第２の差異フレームは上記第１の中間フ
レームの各１個によって時間的に位置を共有するように
すること、及び上記第２の差異フレームをキー信号とし
て用いて上記第１及び第２の中間フレームを対に組むこ
とから成る方法。
【請求項７】上記第１の画像部分は、第１のフレーム
レートにてプログレッシブ走査フレームとして特性付加
され、上記第２の画像部分は第１のフレームレートにて
インターレースフィールドの対として特性付加され、上
記入力信号は、上記第１及び第２の画像部分を表すキー
フレームの連なりを伴なっており、上記出力ビデオ信号
は、第３の異なる付加特性をシミュレートする請求項１
の方法において、上記識別ステップは、キーフレームを検出することから
成り、上記処理ステップは、運動補正された時間補間によって
第１の中間フレームの連なりを作成し、上記第１の画像
部分を変換して上記第３の付加特性をシミュレートする
こと、運動補正された時間補間によって第２の中間フレ
ームの連なりを作成し、上記第２の画像部分を変換して
上記第３の付加特性をシミュレートし、第２の中間フレ
ームが上記第１の中間フレームの各１個によって時間的
に位置を共有するようにすること、運動補正された時間
補間によって第２のキーフレームの連なりを作成し、上
記検出されたキーフレームを変換して第３の付加特性を
付与し、各第２のキーフレームは上記第１の中間フレー
ムの各１個によって位置を共有するようにすること、及
び上記第２のキーフレームをキー信号として用いて上記
第１及び第２の中間フレームを対に組むことから成る方
法。
【請求項８】上記処理ステップは、運動ベクトルが画
像のピクセルに対して形成された運動補正された時間補
間を用いて、上記入力フレームを処理して上記第１の付
加特性から上記出力付加特性への変換をシミュレートす
ること、及び各運動ベクトルに対して良度指数を発生さ
せることを含み、上記識別ステップは、上記良度指数に応じて行う請求項
１の方法。
【請求項９】上記処理ステップは、運動ベクトルが画
像のピクセルに対して形成された運動補正された時間補
間を用いて、上記入力フレームを処理して上記第２の付
加特性から上記出力付加特性への変換をシミュレートす
ること、及び各運動ベクトルに対して良度指数を発生さ
せることを含み、上記識別ステップは、上記第１及び第２の変換の上記良
度指数の比較に応じて行う請求項８の方法。
【請求項１０】上記識別ステップは、上記第１及び第
２の変換における運動ベクトルの比較に応じても行われ
る請求項９の方法。