JP4766567B2 - 第１のフォーマットのピクチャ・シーケンスから第２のフォーマットのピクチャ・シーケンスを構築するための、第１のフォーマットのピクチャ・シーケンスへの追加フィールドまたは追加フレームの挿入を制御する方法および装置 - Google Patents

Description

本発明は、例えば毎秒２４プログレッシブ・フレームなどの第１のフォーマットのピクチャ・シーケンスから例えば毎秒２５フレームなどの第２のフォーマットのピクチャ・シーケンスを構築するための、第１のフォーマットのピクチャ・シーケンスへの追加フィールドまたは追加フレームの挿入を制御する方法および装置に関する。

世界の大半のテレビジョン（ＴＶ）システムは、インタレース走査方式を利用しており、そのフィールド周波数は５０Ｈｚ（例えば欧州や中国のＰＡＬおよびＳＥＣＡＭ）、または６０Ｈｚもしくはほぼ６０Ｈｚ（例えば米国や日本のＮＴＳＣ）である。これらはそれぞれ、５０ｉおよび６０ｉと呼ばれる。しかし、映画は、２４ｐと呼ばれる２４Ｈｚのフレーム周波数の順次走査で製作される。この値は、インタレース方式で表すと４８ｉに相当する。

現在、２４ｐの映画から６０Ｈｚのインタレース表示への変換は、図２に示すように「３：２プル・ダウン（ｐｕｌｌ−ｄｏｗｎ）」で行われる。３：２プル・ダウンでは、フィールド繰返しによって、５フィールドごとに１つのフィールドを挿入する。オリジナル・フィルム・フレームＯＲＧＦＦから複数のインタレース・フィールドＩＬＦを得る。第１のオリジナル・フィルム・フレームＯＦＲ１から、３つの出力フィールドＯＦ１〜ＯＦ３が生成され、第３のオリジナル・フィルム・フレームＯＦＲ３から、３つの出力フィールドＯＦ６〜ＯＦ８が生成される。第２のオリジナル・フィルム・フレームＯＦＲ２から、２つの出力フィールドＯＦ４およびＯＦ５が生成され、第４のオリジナル・フィルム・フレームＯＦＲ４から、２つの出力フィールドＯＦ９およびＯＦ１０が生成される。以下、同様の動作が行われる。

例えばＤＶＤなどのパッケージ・メディア・タイトルのそれぞれについて少なくとも５０Ｈｚバージョンと６０Ｈｚバージョンが存在する現在の状況よりは、世界中で再生可能な単一フォーマットのビデオおよびオーディオ・トラックを配布メディアが有することが望ましい。多くのソースは２４ｆｐｓ（フレーム毎秒）フィルムからなるので、この２４ｐフォーマットが、このような単一フォーマットのビデオ・トラックの望ましいフォーマットであることが好ましい。従って、このフォーマットは、５０Ｈｚを採用している国々および６０Ｈｚを採用している国々の両方で、ディスプレイ装置で適切な表示が行われるように再生時に適応させる必要がある。

以下は、２４ｐから２５ｐまたは５０ｉへの変換、より一般的には、２５ｆｐｓ変換のための既知の解決策である。
− ４．２％速く再生する。これは、コンテンツ長を変化させ、高コストの実時間オーディオ・ピッチ変換を必要とするので、消費者製品に適用することはできない。実際に、現在の映画放送およびＤＶＤでは、この解決策をビデオに適用しているが、消費者側でオーディオ・ピッチの変換を行う必要がないように、必要なオーディオ速度またはピッチの変換はコンテンツ・プロバイダ側で既に行われている。５０Ｈｚの国々で販売されるＤＶＤビデオ・ディスクは、ＤＶＤプレーヤのデコーダが正しい速度またはピッチのオーディオ信号を自動的に出力するように既に符号化されたオーディオ・データ・ストリームを収容している。
− 規則的なフィールド／フレーム複製方式を適用する。この解決策では、許容できない規則的なモーション・ジャダ（ｍｏｔｉｏｎ ｊｕｄｄｅｒ）が生じるので、実際には適用されない。
− 動き補償フレーム・レート変換を適用する。これは、このような変換問題に関する一般的な解決策である。非常にコストがかかるので、消費者製品に適用することはできない。

現在では、オリジナルの２４ｐフォーマットの映画のビデオ・データ・ストリームおよびオーディオ・データ・ストリームから５０Ｈｚインタレース表示への変換は、映画を約４％速く再生することによって行っている。しかし、これは、５０Ｈｚの国々においては、その映画の芸術的内容（時間、声のピッチ）が変更されることを意味する。３：２プル・ダウンに類似したフィールド／フレーム繰返し方式は、１つの追加フィールドを１２フレームごとに挿入するなど定期的に適用すると許容できないモーション・ジャダ・アーチファクトを示すので、使用されない。

本発明が解決しようとする課題は、改善された方法で２４ｐフォーマットから２５ｆｐｓフォーマットへの変換を行うためのフィールドまたはフレーム挿入方式を提供し、モーション・ジャダ・アーチファクトを最小限に抑えることである。この課題は、請求項１に開示の方法によって解決される。この方法を利用した装置を、請求項２に開示する。

複製または繰返しフレーム／フィールドを主観的に不快でない位置に適用するために、グローバル・モーション（ｇｌｏｂａｌ ｍｏｔｉｏｎ）や輝度／強度レベル、シーン変更位置など、現在の映画のシーンの特徴を評価する。換言すれば、本発明では、２４ｐから２５ｆｐｓに変換する素材に関する比較的容易に入手できる情報を使用して、その結果得られる挿入アーチファクトが最小限になる等間隔でない位置に、繰返しフィールド／フレームを適応的に挿入する。

本発明は、元のフレーム・レートと目標フレーム・レートの間の差が小さいすべてのフレーム・レート変換問題に対して使用することができるので有利である。２４ｆｐｓから３０ｆｐｓへの変換など、これらのフレーム・レートの差が大きい場合には、繰り返すフィールドまたはフレームを時間的にシフトさせる自由度はほとんどない。

本発明は、モーション・ジャダを最小限に抑えて、２４ｆｐｓフォーマット・ピクチャ・シーケンスから２５ｆｐｓフォーマット・ピクチャ・シーケンス（例示的な値）への計算コストの低い変換を容易にする。

基本的に、本発明の方法は、第１のフォーマットのピクチャ・シーケンスから、第１のフォーマットのピクチャ・シーケンスより高い一定のフレーム周波数を有する第２のフォーマットのピクチャ・シーケンスを構築するための、第１のフォーマットのピクチャ・シーケンスへの追加のフィールドまたはフレームの挿入を制御するのに適しており、この方法は、
− 対応する追加のフィールドまたはフレームの挿入によって第２のフォーマットのピクチャ・シーケンス中に生じる可視モーション・ジャダが最小である、第１のフォーマットのピクチャ・シーケンス内のフィールドまたはフレームの位置を決定するステップと、
− 全体として任意の隣接するフレーム間の平均距離が前記第２のフォーマットのピクチャ・シーケンスの平均距離に相当するように、上記の位置のいくつかにおいて不規則なフィールドまたはフレーム挿入距離で、前記第１のフォーマットのピクチャ・シーケンスにフィールドまたはフレームを挿入するステップと、
− 前記第１のフォーマットのピクチャ・シーケンスを、前記不規則に挿入されたフィールドおよび／またはフレームと共に、前記第２のフォーマットのピクチャ・シーケンスのフォーマットで提示するステップとを含む。

基本的に、本発明の装置は、第１のフォーマットのピクチャ・シーケンスから、第１のフォーマットのピクチャ・シーケンスより高い一定のフレーム周波数を有する第２のフォーマットのピクチャ・シーケンスを構築するための、第１のフォーマットのピクチャ・シーケンスへの追加のフィールドまたはフレームの挿入を制御するのに適しており、この装置は、
対応する追加のフィールドまたはフレームの挿入によって前記第２のフォーマットのピクチャ・シーケンス中に生じる可視モーション・ジャダが最小である、前記第１のフォーマットのピクチャ・シーケンス内のフィールドまたはフレームの位置を決定し、
全体として任意の隣接するフレーム間の平均距離が前記第２のフォーマットのピクチャ・シーケンスの平均距離に相当するように、上記の位置のいくつかにおいて不規則なフィールドまたはフレーム挿入距離で、前記第１のフォーマットのピクチャ・シーケンスにフィールドまたはフレームを挿入し、
前記第１のフォーマットのピクチャ・シーケンスを、前記不規則に挿入されたフィールドおよび／またはフレームと共に、前記第２のフォーマットのピクチャ・シーケンスのフォーマットで提示するようになされている手段を含む。

本発明の有利なさらなる実施形態は、各従属請求項に開示してある。

添付の図面を参照して、本発明の例示的な実施形態について述べる。

図１において、ピックアップおよびエラー補正ステージＰＥＣを含むディスク・ドライブは、ディスクＤから２４ｐフォーマットの符号化されたビデオおよびオーディオ信号を読み取る。その出力信号は、トラック・バッファおよびデマルチプレクサ・ステージＴＢＭを通ってビデオ・デコーダＶＤＥＣおよびオーディオ・デコーダＡＤＥＣにそれぞれ送られる。制御装置ＣＴＲＬは、ＰＥＣ、ＴＢＭ、ＶＤＥＣおよびＡＤＥＣを制御することができる。ＴＶ受信機またはディスプレイ（図示せず）とディスク・プレーヤの間のユーザ・インターフェースＵＩおよび／またはインターフェースＩＦを使用して、プレーヤ出力を２４ｆｐｓモードまたは２５ｆｐｓモードの何れかに切り替える。インターフェースＩＦは、どのモード（１つまたは複数）をＴＶ受信機またはディスプレイが処理し提示することができるかを自動的に確認することができる。

再生モード情報は、有線もしくは無線により、または光学的にＴＶ受信機またはディスプレイ装置に接続されたインターフェースＩＦが受信する特徴データ（すなわちＴＶ受信機またはディスプレイにおいてどの表示モードが利用可能であるかに関するデータ）から、自動的に得られる。前記インターフェースＩＦは、特徴データを定期的に受信することも、あるいは前記ＴＶ受信機またはディスプレイ装置に対して対応する要求を送信した後で受信することもできる。あるいは、再生モード情報は、対応する要求をユーザに対して表示した後で、ユーザ・インターフェースＵＩにより入力される。ビデオ・デコーダＶＤＥＣからの出力が２５ｆｐｓ出力の場合には、制御装置ＣＴＲＬまたはビデオ・デコーダＶＤＥＣ自体が、どの時間的位置においてビデオ・デコーダがフィールドまたはフレームを繰り返すかを、復号されたビデオ信号の特性から決定する。本発明のいくつかの実施形態では、これらの時間的位置は、以下で説明するようにオーディオ・デコーダＡＤＥＣから入来する１つまたは複数のオーディオ信号によっても制御される。

本発明は、例えばディジタル・セット・トップ・ボックスやディジタルＴＶ受信機など、ディスク・プレーヤ以外のタイプの装置で使用することもできる。その場合には、ディスク・ドライブおよびトラック・バッファを含むフロントエンドが、ディジタル信号用のチューナで置き換えられる。

図３は、既知の２４ｐから２５ｆｐｓへの変換を行うために２４フレームごと、すなわちｔ_ｎ秒、ｔ_ｎ＋１秒、ｔ_ｎ＋２秒、ｔ_ｎ＋３秒などの時点で１つのフレームが繰り返される、規則的なパターンの繰返しフレームを示す。図４は、既知の２４ｐから２５ｆｐｓへの変換を行うために２４フィールドごと、すなわちｔ_ｎ秒、ｔ_ｎ＋０．５秒、ｔ_ｎ＋１秒、ｔ_ｎ＋１．５秒、ｔ_ｎ＋２秒などの時点で１つのフィールドが繰り返される、規則的なパターンの繰返しフィールドを示す。この種の処理は、ディスプレイ装置がインタレース出力を有する場合に適用することができる。フレーム繰返しに比べて、ジャダが生じる時間軸上の位置の数は２倍になるが、各「ジャダ・インスタンス（ｊｕｄｄｅｒ ｉｎｓｔａｎｃｅ）」の強度は半分になる。トップ・フィールドは、ソース・シーケンスの指示されたフレームの第１のライン、第３のライン、第５のラインなどから得られ、ボトム・フィールドはソース・シーケンスの指示されたフレームの第２のライン、第４のライン、第６のラインなどから得られる。

図５は、フレーム繰返しが起こる時間的位置ｔ_ｎ秒、ｔ_ｎ＋１秒、ｔ_ｎ＋２秒、ｔ_ｎ＋３秒などの時点に印を付した、図３による規則的なフレーム繰返しの時間表を示す図である。

本発明の、等距離でない（または不規則な）位置における繰返しフィールドまたは繰返しフレームの適応型挿入を行うためには、対応する制御情報が必要である。素材に関するコンテンツ情報およびピクチャ信号特性は、ＭＰＥＧ−２ ＶｉｄｅｏやＭＰＥＧ−４ Ｖｉｄｅｏ、ＭＰＥＧ−４ Ｖｉｄｅｏ ｐａｒｔ １０などの方式によってピクチャ・シーケンスが圧縮されると直ちに入手可能になる。これらの方式は、おそらくＤＶＤなど現世代の放送およびパッケージ・メディアだけなく、ブルー・レーザ技術に基づくディスクなど、将来のメディアにも使用されることになるものと思われる。

本発明の文脈において有用なピクチャ信号特性または情報としては、以下が挙げられる。
− 生成および／または伝送される動きベクトル、
− エンコーダによって生成されるシーン変更情報、
− ＤＣ変換係数の分析により得られる平均輝度または強度情報、および
− ＡＣ変換係数の分析により得られる平均テクスチャ強度情報。

このようなピクチャ信号特性は、エンコーダから、ディスクまたは放送を介して、ＭＰＥＧユーザ・データまたは私用データとしてデコーダに転送することができる。あるいは、ビデオ・デコーダがこれらの情報を収集または計算し、提供することもできる。

動きベクトル情報を活用するために、目に見える動きのある大きな領域を現在のフレームが含むかどうかを判定することができるように、各フレームの動きベクトルＭＶのセットを収集して処理する。これは、フレームまたはフィールドを複製する際に、最もモーション・ジャダが生じやすいのがこれらの領域だからである。このような領域の有無を判定するためには、以下のように、パン動作の指標として、フレームについて平均絶対ベクトル長ＡｖｇＭＶｉを計算すればよい。

ここで、「ｉ」はフレーム番号を示し、「ＶＸ」および「ＶＹ」は画像のｘ（水平）方向およびｙ（垂直）方向の動きベクトルの数である。従って、ＶＸおよびＶＹは、通常は、それぞれの方向の画像サイズを動き推定のブロック・サイズで割ることによって得られる。

１つのフレーム内の複数の動きベクトルが、現在のフレームまでの時間的距離が異なる別々の参照フレームを指す場合には、この距離の正規化因子ＲＤｉｓｔｘ，ｙがさらに必要となる。

さらに複雑な処理を用いる別の実施形態では、各画像の動きセグメンテーションを計算する。すなわち、長さおよび方向が類似した動きベクトルを有する隣接したブロックの１つまたは複数のクラスタを決定して、動きの方向が異なる、十分に大きな複数の動いている領域を検出する。このような場合には、例えば以下のように平均動きベクトルを計算することができる。

ここで、ＡｖｇＭＶｃは識別されたクラスタ「ｃ」の平均動きベクトル長である。

この手法は、識別されたどのブロック・クラスタの動きの一部でもなく、またモーション・ジャダの視認性に有意な寄与をしない、画像内の無作為に動く小さなオブジェクトの動きベクトルの影響がなくなるので有利である。この処理では、動いている領域が強いテクスチャを有する、または鮮鋭な縁部を有するかどうかを、ＡｖｇＭＶ_ｉの重み係数として考慮に入れることもできる。これは、それによりモーション・ジャダの視認性が高まるからである。テクスチャ強度に関する情報は、送信もしくは受信された、または再生された予測誤差のＡＣ変換係数を統計分析することによって最も好都合に得ることができる。

原則として、テクスチャ強度は、オリジナルの画像ブロックを分析することによって決定すべきである。しかし、多くの場合に、動き補償予測を用いた符号化後のこのような強いテクスチャを有するブロックでは、テクスチャの少ないブロックよりも高い予測誤差エネルギーがそれらのＡＣ係数に存在することになる。従って、ビデオ・シーケンスの特定の時間的位置におけるモーション・ジャダの許容差ＭＪＴは、以下のように表すことができる。

ここで、以下のような一般的特性があるものとする。
− テクスチャ強度および縁部強度の値が一定であれば、ＭＪＴは１／ＡｖｇＭＶに比例する。
− ＡｖｇＭＶおよび縁部強度の値が一定であれば、ＭＪＴは１／（テクスチャ強度）に比例する。
− ＡｖｇＭＶおよびテクスチャ強度の値が一定であれば、ＭＪＴは１／（縁部強度）に比例する。

図６は、ソース・シーケンスの例示的なモーション・ジャダ許容差値ＭＪＴ（ｔ）を示す図である。

モーション・ジャダ許容差値の現在の大きさは、図７ａに示すように、得られる２５ｆｐｓシーケンスにおける挿入された繰返しフレームまたはフィールドの分布、すなわちフレームまたはフィールドの繰返し距離ＦＲＤに影響を及ぼすことが好ましい。繰返しフレームの挿入が早い、または遅いと、図７ｂに示すように、ビデオ・トラックに対してオーディオ・トラックの負または正の遅延が生じる。すなわち、様々なビデオ提示遅延が生じる。モーション・ジャダ許容差ＭＪＴからフレームまたはフィールドの繰返し距離ＦＲＤへのマッピングを適用する際には、オーディオに対する両方向への許容可能な最大のビデオ遅延を考慮する。

この制御問題の１つの考えられる解決策を、図８に示す。フレームまたはフィールドの繰返し距離ＦＲＤは、ビデオ遅延ＶＤおよびモーション・ジャダ許容差ＭＪＴの関数として表される。

ここで、以下の一般的特性があるものとする。
− ＶＤの値が一定であれば、ＦＲＤは１／ＭＪＴに比例する。
− ＭＪＴの値が一定であれば、ＦＲＤは１／ＶＤに比例する。

この関係は、図８に示すように、モーション・ジャダ許容差が小さい（例えば動きの程度が高い）場合には挿入された繰返しフレーム間の最適な間隔より長いことが好ましく、モーション・ジャダ許容差が大きい（例えば動きの程度が平均より低い）場合には最適な間隔より短いことが好ましい、モーション・ジャダ許容差値に応じて変化するＦＲＤ＝ｆ（ＶＤ）の特性関数で表すことができる。最適なフィールドまたはフレームの繰返し距離は、ＦＲＤ_ｏｐｔで示してある。最大許容ビデオ遅延は、ＶＤ_ｍａｘで示してある。負方向への最大許容ビデオ遅延は、ＶＤ_ｍｉｎで示してある。

シーン変更位置における短いフリーズ・フレーム効果が気にならないものと考えられるので、ビデオ・エンコーダ（またはビデオ・デコーダ）が生成するシーン変更情報を利用して、これらの位置において１つまたは複数の繰返しフィールドまたはフレームを挿入することができる。繰返し数は、現在のビデオ遅延の程度によって決まる。同じ理由から、繰返しフィールドまたはフレームは、フェード・トゥ・ブラック（ｆａｄｅ−ｔｏ−ｂｌａｃｋ）シーケンス、フェード・トゥ・ホワイト（ｆａｄｅ−ｔｏ−ｗｈｉｔｅ）シーケンス、または任意の色へのフェードの後で挿入することができる。これらの位置はすべて、非常に高いＭＪＴ値を有する。

特に、その他のピクチャ・コンテンツにおいて、個々の位置でのモーション・ジャダ強度を低減するためにフィールドのみが繰り返される場合でも、これらの位置では繰返しフレームを使用することができる。一般に、繰返しフレームおよび繰返しフィールドは変換後のピクチャ・シーケンス内に共存することができる。

通常は、少なくとも１人の話者が実際にシーン内に見えていれば、知覚されるリップ・シンク（ｌｉｐ−ｓｙｎｃ）の許容遅延範囲を観察するだけでよい。従って、オーディオ提示とビデオ提示の間の遅延は、視認できる話者がいない間に上述の範囲より大きくなる可能性がある。このようなことは、通常、動きの速いシーン中に起こる。従って、図９に示すように、ビデオ遅延限界ＶＤ_ｍｉｎおよびＶＤ_ｍａｘを、
− 発話または短い音声ピーク（音を立ててドアを閉じるような特殊な事象によって引き起こされる）が検出され、且つ動きの遅いシーンまたは静止したシーンが検出された場合の、リップ・シンク許容可能値ＶＤ_{ｍｉｎＬｉｐＳｙｎｃ}およびＶＤ_{ｍａｘＬｉｐＳｙｎｃ}と、
− それ以外の場合の、より大きなＶＤの値ＶＤ_ｍｉｎとＶＤ_ｍａｘと
の間で切り替える、または滑らかに移行させるという、付加的な制御を行うことができる。

例えば、主に用いられるマルチチャネル・オーディオの場合には、映画中の発話の大部分が中心チャネルに符号化されるので、中心チャネルを左チャネルおよび右チャネルに対して評価することによって、発話の検出を得ることができる。中心チャネルが、左チャネルおよび右チャネルのエネルギー分布とは大きく異なる集中的なエネルギーの時間分布を示す場合には、発話が存在する可能性が高い。

局所的なフレーム繰返し距離を適応的に決定する上述のすべての制御は、ビデオ・シーケンスの単一パスに有効である。しかし、本発明の制御は、多くのプロフェッショナルＭＰＥＧ−２エンコーダで実行される２パス・エンコード処理の恩恵を受ける。その場合、第１のパスは、動き強度曲線、シーンカット位置、ならびに厳密なリップ・シンクを必要とするシーンやブラック・フレームなどの数、番号、位置および長さを収集するために使用される。その後、現在処理中のフレームおよびその過去についての利用可能な情報だけでなく、過去のフレームおよび将来のフレームの近傍についての利用可能な情報も考慮に入れた、修正した制御方式を適用することができる。

ここで、「ｉ」は現在のフレーム番号を示し、「ｋ」はその隣のフレームを指す通し番号である。この各関数の一般的特徴は、ＭＪＴ（ｉ）がその周囲のＭＪＴの値より小さい場合にはＦＲＤが増大し、ＭＪＴ（ｉ）がその周囲のＭＪＴの値より大きい場合にはＦＲＤが減少する、というものである。

関連するピクチャ信号特性は、ＭＰＥＧユーザ・データまたは私用データとして、エンコーダからディスクまたは放送信号を介してデコーダに転送することができる。

本発明の別の実施形態では、特定の状況において、計算コストをかけずに、フレームの繰返しではなくフレームの動き補償補間を適用することができる。このような動き補償補間では、伝送された現在のフレームの動きベクトルを利用することができる。一般に、これらの動きベクトルは、シーンの実際の動きを示すのではなく、最適な予測利得が得られるように最適化されているので、動き補償フレーム補間には適さない。しかし、受信した動きベクトルをデコーダで分析した結果、そのシーンで均一なパンが行われていることが分かった場合には、現在のフレームとその前のフレームの間を確度の高いフレームで補間することができる。パンを行うということは、フレーム内のすべての動きベクトルの長さおよび方向が同じ、またはほぼ同じであることを意味する。従って、補間されるフレームは、その直前のフレームを、現在のフレームの平均動きベクトルが示す距離の半分だけ平行移動することによって生成することができる。直前のフレームが現在のフレームの動き補償予測の参照フレームであり、補間されるフレームが現在のフレームと直前のフレームの間でその両方から等距離に位置すると仮定する。予測フレームが直前のフレームではない場合には、平均動きベクトルの適当なスケーリングを行う。受信した動きベクトルからズームを決定することができる場合にも、同じように考えればよい。ズームは、ズーム中心で動きベクトルがゼロになり、このズーム中心の周りの中心向き（反対向き）の動きベクトルの長さが増大し、動きベクトルの長さがズーム中心からの距離に関連して増大することを特徴とする。

図１０のａから図１１のｂに示すように、この種の動き補償補間は、フレームを繰り返す場合に比べて改善されたモーション・ジャダの挙動を生じるので有利である。２４ｆｐｓフォーマットの図１０ａおよび２５ｆｐｓフォーマットへの変換後の図１０ｂは、フレーム（垂直方向のバーで示す）および垂直方向に移動するオブジェクトの動きの軌道、ならびに「フリーズ・フレーム」を生じる１回のフレーム繰返しを示す。図１１ａは、動き補間フレームの挿入を示す。このフレームは、図１１ｂに示すように、増大させた目標フレーム・レート２５ｆｐｓで提示されたときに、「フリーズ・フレーム」ではなく「動きの遅いフレーム」となる。

上記に開示したフレームおよび／またはフィールドの繰返しならびにフレーム・レート変換の補間の制御は、ＭＰＥＧ−２（またはそれと同様の）圧縮システムのエンコーダ側およびデコーダ側の両方で適用することができる。これは、場合によっては信頼性の高いシーン変更指示が含まれないこともあるが、ほとんどのサイド情報が、何れの側でも利用可能であるからである。しかし、エンコーダの高品質のピクチャ・シーケンス特性の知識を活用するために、繰返しまたは補間の対象となるフィールドまたはフレームの位置を、（ＭＰＥＧ−２またはその他の方式で）圧縮された２４ｆｐｓビデオ信号によって搬送することができる。フィールドの時間的順序を示すフラグ（ｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔ）および第１のフィールドの表示のための繰返しを示すフラグ（ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄ）は、ＭＰＥＧ−２のシンタックスに既に存在している。同じビデオ信号についての２４ｆｐｓから３０ｆｐｓへの変換および２４ｆｐｓから２５ｆｐｓへの変換の両方の変換パターンを通知する必要がある場合には、２つの一連のフラグのうちの一方を各ピクチャの適当なユーザ・データ・フィールドで搬送することができる。

２４ｆｐｓおよび２５ｆｐｓという値ならびに上述のその他の数値は、本発明のその他の適用分野にも同様に適応可能な例示的な値である。

本発明は、
− パッケージ・メディア（ＤＶＤ、ブルーレーザ・ディスクなど）、
− ビデオ・オン・デマンドやニア・ビデオ・オン・デマンドなどのダウンロード・メディア、および
− 放送メディア、に適用することができる。

本発明は、光ディスク・プレーヤまたは光ディスク・レコーダ、例えばＨＤＤレコーダやＰＣなどのハードディスク・レコーダ、セットトップ・ボックス、あるいはＴＶ受信機に適用することができる。

本発明のディスク・プレーヤを示す簡略ブロック図である。 ２４ｐソース・ピクチャ・シーケンスに３：２プル・ダウンを適用して６０ｉピクチャ・シーケンスを生成する様子を示す図である。 規則的なパターンの繰返しフレームを示す図である。 規則的なパターンの繰返しフィールドを示す図である。 図３による規則的なフレーム繰返しの時間表である。 ビデオ・シーケンスの例示的なモーション・ジャダ許容値を示す図である。 フィールドまたはフレーム繰返しの例示的な不規則な時間的位置と、その結果生じる様々な提示遅延を示す図である。 フィールドまたはフレーム繰返しの例示的な不規則な時間的位置と、その結果生じる様々な提示遅延を示す図である。 ビデオ遅延およびモーション・ジャダ許容差の関数として表されるフレームまたはフィールドの繰返し距離を示す図である。 最大および最小のビデオ遅延が、必要とされるリップ・シンクの程度によって決まる、図８のフレームまたはフィールドの繰返し距離関数を示す図である。 図１０ａは動き補償を行わない、繰返しフレームを含む２４ｆｐｓフォーマットのフレームを示す図である。図１０ｂは図１０ａに関連する２５ｆｐｓフォーマットのフレーム出力を示す図である。 図１１ａは動き補償を行う、繰返しフレームを含む２４ｆｐｓフォーマットのフレームを示す図である。図１１ｂは図１１ａに関連する２５ｆｐｓフォーマットのフレーム出力を示す図である。

Claims (19)

1. 第１のフレーム周波数を有する第１のフォーマットのピクチャ・シーケンスから、前記第１のフレーム周波数より高い一定のフレーム周波数を有する第２のフォーマットのピクチャ・シーケンスを構築するための、前記第１のフォーマットのピクチャ・シーケンスへの追加のフィールドまたはフレームの挿入を制御する方法であり、
   対応する追加のフィールドまたはフレームの挿入によって前記第２のフォーマットのピクチャ・シーケンス中に生じる可視モーション・ジャダが最小である、前記第１のフォーマットのピクチャ・シーケンス内のフィールドまたはフレームの位置を決定するステップと、
   全体として任意の隣接するフレーム間の平均距離が前記第２のフォーマットのピクチャ・シーケンスの平均距離に相当するように、前記位置のいくつかにおいて、不規則なフィールドまたはフレーム挿入距離で、前記第１のフォーマットのピクチャ・シーケンスにフィールドまたはフレームを挿入するステップと、
   前記第１のフォーマットのピクチャ・シーケンスを、前記不規則に挿入されたフィールドおよび／またはフレームと共に、前記第２のフォーマットのピクチャ・シーケンスのフォーマットで提示するステップとを含む方法であって、
   オーディオ・トラックに対するビデオ・トラックの遅延量は所定の許容遅延範囲内に制限され、
   以下の各条件が満たされる場合には、即ち、
   −動きの遅いシーンまたは静止したシーンが検出され、および
   −前記第１のフォーマットのピクチャ・シーケンスに割り当てられたオーディオ情報中で発話または短い音声ピークが検出される場合には、
   知覚リップ・シンクを得るために、前記第２のフォーマットのピクチャ・シーケンスにおいて、前記許容遅延範囲を小さくする、前記方法。
2. 前記第１のフォーマットのピクチャ・シーケンスに割り当てられたオーディオ情報中の発話が、マルチチャネル・オーディオにおいて、左チャネルおよび右チャネルに対して、中心チャネルが、左チャネルおよび右チャネルのエネルギー分布とは大きく異なる集中的なエネルギーの時間分布を示すかどうかを評価することによって検出される、請求項１に記載の方法。
3. 前記第１のフォーマットのピクチャ・シーケンスが、記憶媒体に記憶または記録される、あるいはディジタルＴＶ信号として放送または転送される、請求項１または２に記載の方法。
4. 前記記憶媒体が光ディスクまたはハードディスクである、請求項３に記載の方法。
5. 前記第１のフォーマットのピクチャ・シーケンス中の前記フィールドまたはフレームの挿入位置が、ピクチャ・コンテンツが動く大きな領域を含まないフレームまたはフィールドであり、前記動きが、動きベクトルを評価することによって決定される、請求項１から４の何れか１つに記載の方法。
6. 前記第１のフォーマットのピクチャ・シーケンス中の前記フィールドまたはフレームの挿入位置が、シーン変更、あるいはフェード・トゥ・ブラック、フェード・トゥ・ホワイト、または任意の色へのフェードが起きるフレームまたはフィールドである、請求項１から５の何れか１つに記載の方法。
7. 前記挿入されるフィールドまたはフレームが、前記第２のフォーマットのピクチャ・シーケンスにおいて出力される前に動き補償される、請求項１から６の何れか１つに記載の方法。
8. 前記第１のフォーマットのピクチャ・シーケンスがＭＰＥＧ−２ピクチャ・シーケンスであり、前記第１のフォーマットのピクチャ・シーケンス中へのフィールドまたはフレームの前記挿入が、フィールドの時間的順序を示すフラグ、または第１のフィールドの表示のための繰返しを示すフラグを評価することによって制御され、前記フラグが、前記第１のフォーマットのピクチャ・シーケンスの各ピクチャのユーザ・データ・フィールドに入った状態で搬送される、請求項１から７の何れか１つに記載の方法。
9. 前記第１のフレーム周波数が２４Ｈｚであり、前記第２のフォーマットのピクチャ・シーケンスのフレーム周波数が２５Ｈｚである、請求項１から８の何れか１つに記載の方法。
10. 挿入するフィールドまたはフレームについての位置を示すフラグが、前記第１のフォーマットのピクチャ・シーケンスのユーザ・データ・フィールドで搬送される、請求項１に記載の方法。
11. 第１のフレーム周波数を有する第１のフォーマットのピクチャ・シーケンスから、前記第１のフレーム周波数より高い一定のフレーム周波数を有する第２のフォーマットのピクチャ・シーケンスを構築するための、前記第１のフォーマットのピクチャ・シーケンスへの追加のフィールドまたはフレームの挿入を制御する装置であり、
    対応する追加のフィールドまたはフレームの挿入によって前記第２のフォーマットのピクチャ・シーケンス中に生じる可視モーション・ジャダが最小である、前記第１のフォーマットのピクチャ・シーケンス内のフィールドまたはフレームの位置を決定し、
    全体として任意の隣接するフレーム間の平均距離が前記第２のフォーマットのピクチャ・シーケンスの平均距離に相当するように、前記位置のいくつかにおいて不規則なフィールドまたはフレーム挿入距離で、前記第１のフォーマットのピクチャ・シーケンスにフィールドまたはフレームを挿入し、
    前記第１のフォーマットのピクチャ・シーケンスを、前記不規則に挿入されたフィールドおよび／またはフレームと共に、前記第２のフォーマットのピクチャ・シーケンスのフォーマットで提示するようになされた手段を含む装置であって、
    前記手段によって、
    オーディオ・トラックに対するビデオ・トラックの遅延量は所定の許容遅延範囲内に制限され、
    以下の各条件が満たされる場合には、即ち、
    −動きの遅いシーンまたは静止したシーンが検出され、および
    −前記第１のフォーマットのピクチャ・シーケンスに割り当てられたオーディオ情報中で発話または短い音声ピークが検出される場合には、
    知覚リップ・シンクを得るために、前記第２のフォーマットのピクチャ・シーケンスにおいて、前記許容遅延範囲を小さくする、前記装置。
12. 光ディスク・プレーヤ、光ディスク・レコーダ、ハードディスク・レコーダ、セットトップ・ボックス、ＴＶ受信機またはＰＣである装置であって、オリジナルの第１のフォーマットのピクチャ・シーケンス、または前記第２のフォーマットのピクチャ・シーケンスの何れかを出力し、その選択が、ディスプレイ装置を含む装置に接続されたインターフェースから自動的に受信される、またはユーザ・インターフェースから受信される再生モード情報によって制御される、請求項１１に記載の装置。
13. 前記第１のフォーマットのピクチャ・シーケンスに割り当てられたオーディオ情報中の発話が、マルチチャネル・オーディオにおいて、左チャネルおよび右チャネルに対して、中心チャネルが、左チャネルおよび右チャネルのエネルギー分布とは大きく異なる集中的なエネルギーの時間分布を示すかどうかを評価することによって検出される、請求項１１または１２に記載の装置。
14. 前記第１のフォーマットのピクチャ・シーケンスが、記憶媒体に記憶または記録される、あるいはディジタルＴＶ信号として放送または転送される、請求項１１から１３の何れか１つに記載の装置。
15. 前記第１のフォーマットのピクチャ・シーケンス中の前記フィールドまたはフレームの挿入位置が、ピクチャ・コンテンツが動く大きな領域を含まないフレームまたはフィールドであり、前記動きが、動きベクトルを評価することによって決定される、請求項１１から１４の何れか１つに記載の装置。
16. 前記第１のフォーマットのピクチャ・シーケンス中の前記フィールドまたはフレームの挿入位置が、シーン変更、あるいはフェード・トゥ・ブラック、フェード・トゥ・ホワイト、または任意の色へのフェードが起きるフレームまたはフィールドである、請求項１１から１５の何れか１つに記載の装置。
17. 前記挿入されるフィールドまたはフレームが、前記第２のフォーマットのピクチャ・シーケンスにおいて出力される前に動き補償される、請求項１１から１６の何れか１つに記載の装置。
18. 前記第１のフォーマットのピクチャ・シーケンスがＭＰＥＧ−２ピクチャ・シーケンスであり、前記第１のフォーマットのピクチャ・シーケンス中へのフィールドまたはフレームの前記挿入が、フィールドの時間的順序を示すフラグ、または第１のフィールドの表示のための繰返しを示すフラグを評価することによって制御され、前記フラグが、前記第１のフォーマットのピクチャ・シーケンスの各ピクチャのユーザ・データ・フィールドに入った状態で搬送される、請求項１１から１７の何れか１つに記載の装置。
19. 前記第１のフレーム周波数が２４Ｈｚであり、前記第２のフォーマットのピクチャ・シーケンスのフレーム周波数が２５Ｈｚである、請求項１１から１８の何れか１つに記載の装置。

Images