JP3742431B2 - Ｍｐｅｇコンパチブル・ディジタル画像を表わす信号を生成する方法、その信号を記録する方法、並びにその信号を生成して記録する方法 - Google Patents

Description

本発明は、ディジタル・ビデオの記録の分野に関し、特に、非標準速度のＭＰＥＧ形のＡＴＶ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ：次世代テレビジョン方式）信号の生成、記録、および再生に関する。
発明の背景
ヘリカル走査フォーマット（形式）を用いたディジタル・ビデオカセット記録装置（ＤＶＣＲ）が標準化委員会により提案された。この提案された標準は、例えば、ＮＴＳＣ方式またはＰＡＬ方式等の標準精細度ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）テレビジョン信号、および提案されたグランド・アライアンス（Ｇｒａｎｄ Ａｌｌｉａｎｃｅ）方式の信号すなわちＧＡ信号のようなＭＰＥＧコンパチブル（ｃｏｍｐａｔｉｂｌｅ：両立性）構成を有する高精細度テレビジョン信号のディジタル記録を規定している。ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ：標準精細度）記録装置は、適応型量子化および可変長符号化（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）によるイントラ（ｉｎｔｒａ）・フィールド／フレームＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）を用いた圧縮コンポーネント（成分）ビデオ信号フォーマットを用いる。この標準精細度のディジタルＶＣＲすなわちＤＶＣＲは、ＮＴＳＣ方式またはＰＡＬ方式のいずれかのＴＶ信号をディジタル的に記録するものであり、またＡＴＶ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ：次世代テレビジョン方式）信号を記録するのに十分なデータ記録機能を有する。
ＧＡ方式の信号に関する規格は、“第４８回年次放送エンジニアリング会議プロシーディングズの１９９４年プロシーディング”（１９９４ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ４８ｔｈ Ａｎｎｕａｌ Ｂｒｏａｄｃａｓｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇｓ）において刊行された“グランド・アライアンス方式ＨＤＴＶシステム規格”（Ｇｒａｎｄ Ａｌｌｉａｎｃｅ ＨＤＴＶ Ｓｙｓｔｅｍ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）（１９９４年３月２０〜２４日）と題する規格書案に記載されている。このＧＡ方式信号に用いられているＭＰＥＧコンパチブル符号化法は、Ｉフレームというイントラ・フレーム符号化画面、Ｐフレームという前方予測フレーム、およびＢフレームという両方向予測フレームを用いる。これら３つのタイプのフレームは、ＧＯＰ、グループ・オブ・ビクチャすなわち画面群（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）として知られているグループ中に生じる。ＧＯＰ中のフレームの数は、ユーザが定義できるものであるが、例えば１５個のフレームから成る。各ＧＯＰには１つのＩフレームが含まれており、そのＩフレームに隣接して２つのＢフレームが存在し、そのＢフレームの後にＰフレームが続く。
消費者向けアナログＶＣＲ（ＶＴＲ）において、各記録（レコード）トラックには、一般的に、１つのテレビジョン・フィールドが含まれているので、“トリック再生（Ｔｒｉｃｋ Ｐｌａｙ）”機能すなわちＴＰ機能、例えば順方向（ｆｏｒｗａｒｄ）または逆方向（ｒｅｖｅｒｓｅ）に反復（シャトル：ｓｈｕｔｔｌｅ）する高速再生（ｆａｓｔ ｍｏｔｉｏｎ）または低速再生（ｓｌｏｗ ｍｏｔｉｏｎ）がすぐに実行できる。従って、標準速度以外の速度で再生すると、１つまたは複数の再生ヘッドが複数のトラックを横切って認識可能な画面（ピクチャ）セグメント（ｓｅｇｍｅｎｔ）が復元される。この画面セグメントは、互いに隣接していて、認識可能で有用な画像を形成する。一方、ＡＴＶ信号またはＭＰＥＧ形信号には画面群すなわちＧＯＰ（Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ）が含まれている。このＧＯＰは、例えば１５フレームを含んでおり、各フレームはテープ上の複数のトラックを占有するように記録される。例えば、各フレームに１０本のトラックが割り当てられると、１５フレームのＧＯＰは１５０本のトラックを含んでいる。再生速度の動作の間、Ｉフレーム・データが復元され、これにより、予測符号化されたＰフレームとＢフレームの復号化（ｄｅｃｏｄｉｎｇ）と再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）が可能となる。しかしながら、ＤＶＣＲが非標準再生速度で動作するとき、再生ヘッドは複数のトラック中の各セクション（ｓｅｃｔｉｏｎ）または各セグメントを変換処理（ｔｒａｎｓｄｕｃｅ）する。都合の悪いことに、これらのＤＶＣＲのトラックは、連続する画像フィールドの個々のレコードを表わしておらず、これらのセグメントは主に予測フレームから得られたデータを含んでいる。しかしながら、予測Ｐフレームおよび予測Ｂフレームは、復号化を容易にするための先行データを必要とするので、再生された各部分のデータから使用可能な何らかのフレームを再構成できる可能性は大幅に減少する。また、ＭＰＥＧデータ・ストリームの場合、特に、データの欠落（ｍｉｓｓｉｎｇ）や乱れ（ｇａｒｂｌｅ）は許容されない。従って、“トリック再生”機能または非標準速度再生機能を与えるためには、ＴＰ（Ｔｒｉｃｋ Ｐｌａｙ：トリック再生）モードで再生するとき、隣接するフレーム情報または先行するフレーム情報を用いることなく画像を再構成することを可能にする特定のデータを記録する必要がある。この特定のデータまたは“トリック再生”用のデータは、ＭＰＥＧ復号化が可能となるように意味的に（ｓｅｍａｎｔｉｃａｌｌｙ）正しいものでなければならない。さらに、“トリック再生”の速度の選択を行うには、種々の異なるＴＰデータの導出（ｄｅｒｉｖａｔｉｏｎ）が必要であり、ＴＰ速度に特有の記録トラック位置が必要になる。
先行するフレーム・データを用いることなく画像の再構成を行うには、“トリック再生”に特有のデータをＩフレームから取り出す必要がある。“トリック再生”に特有のデータは、例えばＧＡ方式またはＭＰＥＧ方式とコンパチブルな（両立する）復号器等で復号化することができるように構文上および意味的に（ｓｙｎｔａｃｔｉｃａｌｌｙ ａｎｄ ｓｅｍａｎｔｉｃａｌｌｙ）正しいものでなければならない。また、“トリック再生”データすなわちＴＰデータは、ＭＰＥＧ形データストリームに挿入して、通常再生（ＮＰ：Ｎｏｒｍａｌ Ｐｌａｙ）用ＭＰＥＧ形信号と共に記録しなければならない。このように、記録用チャンネル・データ容量を共用すると、利用可能なトラック容量の範囲内に設定されるＴＰデータ・ビット・レート（周波数、率、速度）に関して制限が課せられることになる。ＴＰデータ・ビット・レートは、導出されまたは再構成されたＴＰ画像における空間解像度および／または時間解像度間で種々の形態で共用または使用することができる。
再生された“トリック再生”画像の品質は、ＴＰデータ導出の複雑さによって決まる。例えば、消費者用ＤＶＣＲでは、記録動作中に、基本的にリアルタイムでＴＰデータを取り出さなければならず、しかもＤＶＣＲのコストに上乗せされる追加データ処理コストが名目だけのもの（僅か）でなければならない。従って、リアルタイム形の消費者用ＤＶＣＲの“トリック再生”画像の品質は、高度のディジタル画像処理を用いた非リアルタイムの画像処理により取り出されるＴＰ画像データに比べて劣ったものになることがある。一方、非リアルタイムのＴＰ画像処理では、例えば、番組（プログラム）編集の処理が行われ、場合によっては各場面（シーン）毎の処理が行われ、また場合によっては非リアルタイムの再生速度で処理が行われて、高度のディジタル画像処理技術を用いることが可能になる。このような非リアルタイムの処理では、本来的に、リアルタイム処理で達成可能な“トリック再生”画像に比べて高品質の“トリック再生”画像を得ることができる。
発明の概要
本発明は、１つの速度より多い速度で再生を行うことを容易にする記録のためのＭＰＥＧコンパチブル・ディジタル画像を表わす信号を生成する方法である。この方法は、ディジタル画像を表わす信号を受け取るステップと、このディジタル画像を表わす信号をトリック再生速度に関連したレート（ｒａｔｅ）で時間的にサブサンプリングするステップと、時間的にサブサンプリングされた信号を符号化してＭＰＥＧコンパチブルのトリック再生信号を発生するステップと、ディジタル画像を表わす信号を符号化して通常再生のＭＰＥＧコンパチブルの信号を発生するステップと、トリック再生のＭＰＥＧコンパチブル信号と通常再生のＭＰＥＧコンパチブル信号間の選択を行ないレコード・フォーマット化ビットストリームを生成するステップと、このレコード・フォーマット化ビットストリームを記録するステップと、を含んでいる。
請求の範囲に記載された事項と実施例との対応関係を、図面で使われている参照符号で示すと次の通りである。
１．複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を生成して記録する方法であって、
ａ）ディジタル画像を表わす信号（０９）を受け取るステップと、
ｂ）トリック再生速度に関連したレートで上記ディジタル画像を表わす信号を時間的にサブサンプリングするステップと、
ｃ）上記時間的にサブサンプリングされた信号（５６、６６、７６）を符号化して、ＭＰＥＧコンパチブルのトリック再生信号（１２１、１３１、１４１）を生成するステップと、
ｄ）上記ディジタル画像を表わす信号（０９）を符号化して、通常再生ＭＰＥＧコンパチブル信号（１０１）を生成するステップと、
ｅ）上記トリック再生ＭＰＥＧコンパチブル信号（１２１、１３１、１４１）と上記通常再生ＭＰＥＧコンパチブル信号（１０１）の間の選択を行って、記録フォーマット化ビットストリーム（２００）を生成するステップと、
ｆ）上記記録フォーマット化ビットストリーム（２００）を記録するステップ（２１０）と、
を含む方法。
２．上記トリック再生ＭＰＥＧコンパチブル信号（１２１、１３１、１４１）がＩフレームを含むものである、請求項１に記載の方法。
３．上記トリック再生ＭＰＥＧコンパチブル信号（１２１、１３１、１４１）は、記録されるときに、上記トリック再生ＭＰＥＧコンパチブルのビットストリーム（１２１、１３１、１４１）が上記トリック再生速度で再生されるような上記記録フォーマット化ビットストリーム（２００）の形式で発生するように選択される、請求項１に記載の方法。
４．上記Ｉフレームが少なくともＤＣ離散コサイン変換係数とＡＣ離散コサイン変換係数を含む、請求項２に記載の方法。
５．上記時間的サブサンプリングが所定のフレーム反復レートにより決まるレートで生じる、請求項１に記載の方法。
６．上記Ｉフレームを反復するために、上記ＭＰＥＧコンパチブル・トリック再生信号（１２１、１３１、１４１）のパケッタイズド・エレメンタリ・ストリーム（ＰＥＳ）層にＤＳＭトリック再生フラグ（ＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇ）を設定するステップを含む、請求項２に記載の方法。
７．複数の速度で再生を行うことを容易にするために記録フォーマット化を行うためのＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を生成する方法であって、
ａ）ディジタル画像を表わす信号（０９）を受け取るステップと、
ｂ）上記ディジタル画像を表わす信号（０９）を時間的にサブサンプリングして（５５、６５、７５）、トリック再生速度に関連したフレームレートを有する信号（５６、６６、７６）を発生するステップと、
ｃ）上記トリック再生速度に関連した上記フレームレートを有する上記信号（５５、６６、７６）を符号化して（１００）記憶し（５６０、５７０、５８０）、トリック再生速度ＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を生成するステップと、
ｄ）上記ディジタル画像を表わす信号（０９）を符号化して（１００）記憶して、通常再生速度のＭＰＥＧコンパチブル信号（５０１）を生成するステップと、
ｅ）上記記憶されたトリック再生速度および通常再生速度のＭＰＥＧコンパチブル信号（５０１、５２１、５３１、５４１）を取り出すステップと、
ｆ）上記取り出されたトリック再生速度のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）と上記取り出された通常再生速度のＭＰＥＧコンパチブル信号（５０１）の間の選択を行って、上記通常再生速度および上記トリック再生速度で再生を行うことを容易にするフォーマット化ビットストリーム（２００）を生成するステップと、
ｇ）上記フォーマット化ビットストリーム（２００）を記録するステップと、
を含む方法。
８．上記トリック再生速度のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）は、記録されるときに、上記トリック再生速度のＭＰＥＧコンパチブルのビットストリーム（５２１、５３１、５４１）が上記トリック再生速度で再生されるような上記記録フォーマット化ビットストリーム（２００）の形式で発生するように選択される、請求項７に記載の方法。
９．上記選択するステップは、上記フォーマット化ビットストリーム（２００）を記録する記録手段（２１０）から得られるフォーマット化制御信号（ＦＭＴＣＴＲＬ）に応答して制御される、請求項８に記載の方法。
１０．複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を導出して記録する方法であって、
ａ）ディジタル画像を表わす信号（０９）を受け取るステップと、
ｂ）上記ディジタル画像を表わす信号を時間的にサブサンプリングして（５５、６５、７５）、トリック再生速度に関連したフレームレートを有する信号を発生するステップと、
ｄ）上記トリック再生速度に特有の信号（５６、６６、７６）をＭＰＥＧ符号化して（１００）記憶して（５６０、５７０、５８０）、トリック再生速度に特有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を生成するステップと、
ｅ）上記ディジタル画像を表わす信号（０９）を符号化（１００）して記憶して（５５０）、通常再生速度に特有のＭＰＥＧコンパチブル信号（５０１）を生成するステップと、
ｆ）上記トリック再生速度に特有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）を記憶手段から読み出すステップと、
ｇ）上記通常再生速度に特有のＭＰＥＧコンパチブル信号（５０１）を記憶手段から読み出すステップと、
ｈ）ユーザ制御指令（ＲＥＭ ＣＴＲＬ）に応答して、上記トリック再生速度に特有のＭＰＥＧコンパチブル信号（５２１、５３１、５４１）と上記通常再生速度に特有のＭＰＥＧコンパチブル信号（５０１）の間の選択を行って、ＭＰＥＧコンパチブル信号（２０２）を出力し、上記通常再生速度および上記トリック再生速度で上記ディジタル画像を表わす信号（２０２）を見ることを容易にするように復号化する（０７）ステップと、
を含む方法。
【図面の簡単な説明】
図１は、本発明による、低解像度の“トリック再生”データストリームをリアルタイムで発生するシステムの簡単化したブロック図である。
図２は、本発明による、最高解像度の“トリック再生”データストリームをリアルタイムで発生する別のシステムの簡単化したブロック図である。
図３は、本発明による、プリレコード形のディジタル・レコードに含ませて記録する低解像度の“トリック再生”データストリームを発生する方法を例示する簡単化したブロック図である。
図４は、本発明による、プリレコード形のディジタル・レコードに含ませて用いられる“トリック再生”データストリームを生成する別の方法を例示する簡単化したブロック図である。
図５は、予測マクロブロックのＤＣ係数の導出法を例示している。
図６は、本発明による、プリレコード形レコードを非リアルタイムで発生する別の方法を例示する簡単化された部分ブロック図である。
図７は、本発明による、プリレコード形レコードを非リアルタイムで生成する別の方法を例示する簡単化された部分ブロック図である。
詳細な説明
消費者用のディジタル・ビデオカセット記録装置において、トリック再生のデータストリームをリアルタイムで生成するには、必要な処理の複雑さおよびコストを考慮し、またそのコストを適当なレベルに抑えるように考慮する必要がある。このため、リアルタイム形のトリック再生データストリームの生成において用いられる処理は、存在するビットストリームの各部分を抽出して、ビットストリーム・パラメータに小さな変更（ｍｏｄｉｆｉｃａｔｉｏｎ）を加えることに制限される。
“トリック再生”データストリームは、元のデータストリームの中から、独立した（個々の）イントラ情報の各部分を抽出することによりリアルタイムで生成しなければならない。このイントラ情報は、イントラ・フレーム、イントラ・スライス、および／またはイントラ・マクロブロックから得られる。Ｉフレーム・データの生成に用いられるソース（供給源）は、元のストリームで用いられるイントラ・リフレッシュ（ｒｅｆｒｅｓｈ）形式（形態）に応じて選択され、このリフレッシュ方法の典型例として、イントラ・フレームまたはイントラ・スライスのリフレッシュ方法が用いられるものと仮定する。
本発明によるリアルタイム生成の第１の方法においては、低空間解像度の“トリック再生”データストリームが生成される。この低空間解像度のトリック再生データストリームは、元のＨＤＴＶデータストリームの解像度とは関係がなく、例えばＣＣＩＲ６０１標準（７２０×４８０ビクセル）に準拠した解像度を有する。トリック再生データストリームに利用可能な実効ビット・レートは公称（ｎｏｍｉｎａｌ）２Ｍビット／秒に制限されるので、このような方式の低空間解像度を採用すると、フレーム当たりの使用ビット数が少なくなり、従って、時間解像度が相対的に高くなる。しかしながら、この低空間解像度方式は、ＡＴＶ復号器および表示装置でそのような解像度が形成可能な場合にのみ実際に実現可能なものである。
本発明によるリアルタイム生成の第２の方法においては、元のＨＤＴＶのデータ（ｍａｔｅｒｉａｌ：マテリアル）と同じ解像度またはピクセル総数（カウント）を有するトリック再生データストリームが生成される。しかしながら、使用可能なトリック再生ビット・レートは、公称２Ｍビット／秒の記録チャンネル容量に制限されるので、空間解像度と時間解像度の間で両者の関係を考慮して妥当なビット・レート配分を行う。従って、最高空間解像度または完全（ｆｕｌｌ）空間解像度の“トリック再生”モードを実現するには、時間解像度をＴＰデータ・チャンネル容量との整合関係を維持するように実効的に低下させる必要がある。
図１には、本発明による、低空間解像度の“トリック再生”データをリアルタイムで生成するための第１の方法が例示されている。この例示のブロック図において、トリック再生の速度、５×（倍）、１８×および３５×が形成される。各ＴＰ速度について、低解像度のイントラ符号化フレームが、受け取られたＭＰＥＧ形トランスポート・ストリームから形成される（組み立てられる）。トランスポート・ストリーム中のＭＰＥＧヘッダ情報を検出して下位のスライス・レベルを検出することによって、イントラ・スライスを抽出し、処理し、それを使用してメモリ１１０に単一のＩフレームが形成される。この抽出および処理段１００は、ＴＰ・Ｉフレームを形成するためのマクロブロックの抽出、必要に応じてＤＰＣＭ符号化法を用いたＤＣ変換係数の再符号化、および必要に応じた不要なＡＣ変換係数の廃棄、の３つのタスク（処理）を実行する。低解像度のＴＰ・Ｉフレームを形成しメモリ１１０に記憶した後、その低解像度ＴＰ・Ｉフレームは各トリック再生速度について、その速度に特有のデータストリームを生成するのに使用される。
受信機０５は、ＭＰＥＧコンパチブル信号に応じて変調された無線周波数（ＲＦ）搬送波を受信する。この変調された搬送波は、図示されていないアンテナまたはケーブルのいずれかのソース（供給源）から供給される。受信機０５は、受信搬送波を復調し処理して、ＭＰＥＧコンパチブルのＡＴＶトランスポート・ストリーム０９を生成する。
ＡＴＶトランスポート・ストリーム０９は、ブロック２０でデマルチプレクス（ｄｅｍｕｌｔｉｐｌｅｘ：分離、逆多重）され、ＡＴＶビデオ情報に対応するパケッタイズド・エレメンタリ・ストリーム（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｌ Ｓｔｒｅａｍ）すなわちＰＥＳストリームだけが得られる。ＰＥＳストリームはブロック３０で復号化されて、パケットからＭＰＥＧ符号化ビデオ・ストリーム・ペイロード（ｐａｙｌｏａｄ）が抽出される。ＭＰＥＧ符号化ストリームを抽出した後で、必要なイントラ符号化情報が検出されて抽出される。シーケンス検出ブロック４０は、ビットストリームを検査して開始コードの出現を検出する。この開始コード（ｓｔａｒｔ ｃｏｄｅ）は、２５個の０を有し、その後に１が続き、さらにその後に８ビットのアドレス表示ＭＰＥＧビデオ・ヘッダが続くという特徴を有する。ブロック５０においてピクチャ（画面または画像）検出が行われ、ブロック６０においてスライス層（ｌａｙｅｒ）が検出される。イントラ符号化された“トリック再生”用のＩフレームが形成されるので、イントラ・スライスだけが抽出される。イントラ・スライスは、イントラ符号化マクロブロックだけを含んでおり、スライス・ヘッダ中の１ビットのイントラ・スライス・フラグｉｎｔｒａ＿ｓｌｉｃｅ＿ｆｌａｇによって判別できる。従って、イントラ・スライス・フラグｉｎｔｒａ＿ｓｌｉｃｅ ｆｌａｇが１に設定されているときは、１つのスライス全体が“データ抽出および処理”段１００に転送される。ブロック７０のイントラ検出処理において、イントラ・フレームまたはイントラ・スライスのいずれかのリフレッシュ技術が用いられ、またスライス・ヘッダ中のイントラ・スライス・フラグが適宜設定されているものと仮定している。イントラ・スライス・フラグｉｎｔｒａ＿ｓｌｉｃｅ＿ｆｌａｇが設定されていないか、またはイントラ・マクロブロック・リフレッシュが使用されている場合には、下位のマクロブロックのレベルまでを検出する別の検出レベルが必要である。
データ抽出および処理段１００は、ブロック７０で抽出されたイントラ符号化マクロブロックの中から、種々のトリック再生データストリームを形成するのに使用されるイントラ情報だけを選別する。また、ブロック１００は、得られる再構成されたＴＰ・ＩフレームのＭＰＥＧコンパチビリティ（両立性）を確保するために、構文上の正しさおよび意味的な正しさを確実にするために必要な任意の処理を実行する。再構成されたＴＰ・Ｉフレームは元のＭＰＥＧストリームに比べて低い空間解像度を有するので、検出されたイントラ・マクロブロックの部分集合（ｓｕｂ−ｓｅｔ：一部）だけが必要になる。どのマクロブロックすなわちＭＢを保存し、どのマクロブロックを捨てるかを決定するために、数学的関数または予め定義されたルックアップ・テーブルが使用される。得られた低空間解像度フレームは選択されたマクロブロックのパッチワーク（ｐａｔｃｈｗｏｒｋ：はぎ合わせ）から得られる。コントローラ段９０は、処理段１００に結合され、数学的関数に必要な計算を行うか、またはマクロブロックの選択を決定するためのルックアップ・テーブルを供給する。
新しい低解像度ＩフレームにおけるＭＢ位置と（但し、ｍｂ（ｉ，ｊ）、ｉ＝０，１，２，…ｎ−１、ｊ＝０，１，２，…ｍ−１である。ｍとｎはそれぞれ新しいＩフレームのＭＢ単位の幅と高さであり、ｉとｊはＭＢの行と列を表わす。）元の最高解像度フレームと（但し、（ＭＢ（Ｉ，Ｊ）、Ｉ＝０，１，…Ｎ−１、Ｊ＝０，１，２，…Ｍ−１である。ＭとＮはそれぞれ元のフレームの幅と高さであり、ＩとＪはＭＢの行と列を表わす。）の関係は次の式で与えられる。
ｉ（低解像度行）＝［Ｉ・（ｎ−１）／（Ｎ−１）］
ｊ（低解像度列）＝［Ｊ・（ｍ−１）／（Ｍ−１）］
ここで、カギ括弧［×］の演算結果（ｐｒｏｄｕｃｔ）は×に最も近い整数を表わす。
低解像度のＴＰ・Ｉフレームは元のフレーム中のマクロブロックの部分集合（一部）を使用し、残りの非選択ＭＢは捨てられる。図５は、一例として４：２：０でサンプリングされた信号を示しており、このサンプル信号は３つのイントラ符号化マクロブロックＭＢ１、ＭＢ２、およびＭＢ３を含んでおり、この各マクロブロックはブロック０、１、２、３、４、および５を含んでいる。解像度の低下したＴＰ・Ｉフレームを形成するときに使用しないマクロブロック２には、×印が付されている。図５において、ルミナンス（輝度）およびクロミナンスの各ブロックのＤＣ係数は黒いストライプで示されている。ＤＣ係数は各マクロブロックの範囲から予測され、ＭＢの第１（最初）のブロックＤＣ係数は、そのスライスにおける直前の先行ＭＢの最後のＤＣ係数から予測される。図５中の矢印は予測シーケンスを示している。即ち、先行するＭＢ、例えば図５のＭＢ２を選択しない場合は、図５に矢印ＮＥＷ（新）で示されているように新しい隣接マクロブロックから或るＤＣ係数を計算し直して、ＤＰＣＭを用いて再符号化しなければならない。この再符号化処理は、マクロブロックをＩフレーム・メモリ１１０に書込むときに実行される。
ＨＤＴＶビデオ・シーケンスがインタレース（飛越し）走査形のソースから供給されたものである場合は、動きを含んでいるインタレース形フィールドの凍結または固定化（ｆｒｅｅｚｅ）によって生じるインタレース形の“フリッカ”を除去するための処理ステップをオプションとして含ませることができる。再構成されたトリック再生ストリームの時間解像度が、同じフレーム（２つのフィールド）が１フレーム期間より長い期間にわたって表示されるようなものである場合は、そのようなインタレース形の“フリッカ”が非常に目立つよう（顕著）になる。フィールド符号化マクロブロックでは、この“フリッカ”のアーティファクト（ａｒｔｉｆａｃｔ：不自然さ）は、マクロブロック中の上の２つのブロック、ブロック０および１を、下の２つのブロック、ブロック２および３にコピーすることにより除去することができる。このマクロブロック内のコピーによって、２つのフィールドを効果的に同じにし、従って、そのフレームからフィールド−フィールド間の動きを除去することができる。この再符号化処理は、マクロブロックをＩフレーム・メモリ１１０に書込むときに実行される。
また、処理段１００によって実行される別の機能として、トリック再生ストリームに利用可能なビット・レートが低いまたは少ないために新しく形成されたＴＰ・Ｉフレーム内に収容できないＡＣ係数を各マクロブロックから除去する機能がある。この機能を実現するために、まず、ブロックの残りが０でパッド（ｐａｄ）され（埋め込まれ）かつブロックの最後の係数を示す点（位置）まで、各ブロックが可変長復号化される。各ブロックのビット数はバッファに記憶され累積または蓄積される。このビット数が計数され、計数値（総数）が所定の数を越えたときに残りのＡＣ係数が使用されなくなり、または除去される。ＴＰのＭＢ当たりのビット数は、各トリック再生データストリームで許容される全レート（ｏｖｅｒａｌｌ ｒａｔｅ）に応じて、また時間解像度または毎秒のフレーム更新数に応じて決まる。
図１のブロック図は、同じ割り当てビット・レートを有する各トリック再生データストリームの形成法を例示している。一方、ビット・レートが各ＴＰ速度間でかなり（有意な程度）異なり、例えば各速度において相異なる解像度を形成する場合は、Ｉフレーム・メモリ１１０に保持されるＡＣ係数の数も各速度毎に異なってくる。それ故、Ｉフレーム・メモリ１１０を共用することができず、各ＴＰ速度または各ビット・レートに対して別々のＩフレーム・メモリが必要となる。
本発明によってＩフレーム・メモリ１１０において組み立てられた低解像度のＴＰ・Ｉフレームは、３つのトリック再生ストリーム生成段、即ち５倍のブロック１４５、１８倍のブロック１６０および３５倍のブロック１７０に結合される。図１の典型例において、好ましい構成として、各トリック再生ストリームには同じビット・レートおよび同じ時間解像度が割り当てられる。しかしながら、必ずしも再構成された全てのＴＰ・Ｉフレームが各ＴＰ速度に対して用いられる訳ではない。例えば、元のストリームにおけるＩフレームのリフレッシュ・レートが１５フレーム毎に１回（Ｍ＝１５）であり、各トリック再生ストリームで使用される時間解像度が３に、即ち或るフレーム更新と次のフレーム更新の間のフレーム度数（保持度数）が３に選択された場合は、５倍の速度に対して、
（５×の速度）・（３フレーム反復）／（15フレーム・リフレッシュ）＝1.0
となり、従って、全ての各ＴＰ・Ｉフレームが使用される。同様に、１８×および３５×の速度に対しては次のようになる。
（１８）・（３）／（１５）＝３．６
（３５）・（３）／（１５）＝７．０
従って、１８×速度では約３つ目または４つ目毎（２つまたは３つおき）のＩフレームが使用され、３５×の速度では７つ目毎（６つおき）のＩフレームが使用される。ＡＴＶストリームにおけるイントラ・リフレッシュ期間が０．５秒（３０ｆｐｓのソースに対してＭ＝１５）と仮定した場合は、５×の速度に対する３フレームの保持時間が、実現可能な最高のＴＰ時間解像度である。システムを簡単化し統一化するためには、他のＴＰ速度に対しても３フレームの保持時間を使用すればよい。しかし、高いＴＰ速度において時間解像度を低くすると、実際のトリック再生速度よりも低速であるかのような誤った感覚を与えることがあるので、高いＴＰ速度に対しては、フレーム保持時間を２フレーム保持時間または１フレーム保持時間とする高い時間解像度を用いてもよい。但し、実効トリック再生ビット・レートが一定であるものと仮定すると、高い時間解像度を形成すると結果的に空間解像度品質を低くする必要がある。
再構成されたＴＰ・Ｉフレームは、メモリ１１０から読み出されて、ＴＰ速度に応じてブロック１４５、１６０、および１７０によりパッケージ（ｐａｃｋａｇｅ）化され、また、その各ブロックによって適当なＭＰＥＧピクチャ・ヘッダおよびＰＥＳ層が付加される。また、ＡＴＶトランスポート・ストリーム０９はバッファ１５で緩衝され、このバッファ１５は信号１０の通常再生速度処理用のトランスポート・ストリームを供給する。通常再生トランスポート・ストリーム１０はマルチプレクサ（多重化器）ＭＵＸ１５０に結合される。マルチプレクサＭＵＸ１５０は、記録装置２１０のサーボ信号に応答して制御され、記録されるときに所定のトラック・フォーマット（形式）を形成するシーケンスを有する出力ビットストリームを生成する。記録トラック・フォーマットは、所望の記録ＴＰビット・レートが形成されるように、また特定の記録トラック内に速度に固有のＴＰ・Ｉフレーム・パケットの特定の物理的位置が容易に形成されるように選択される。従って、記録トラック・フォーマットによって、通常速度および所定のトリック再生速度での再生が容易になる。ＴＰ・Ｉフレーム・パケットである５×信号１２１、１８×信号１３１、および３５×信号１４１はマルチプレクサＭＵＸ１５０に結合され、マルチプレクサ１５０は通常再生トランスポート・ストリームに各ＴＰ速度用のＩフレーム・パケットを挿入する。従って、有用なＭＰＥＧ形トランスポート・ストリームが、記録装置２１０によって記録処理してテープ２２０上に記録するための形式にフォーマット化される。
ＴＰビット・レートを最小にする方法として、反復ＴＰ・Ｉフレーム、フレーム反復、またはフレーム保持時間（度数）に代えて、ビデオ・ストリーム中のＩフレーム間に空の（ｅｍｐｔｙ）Ｐフレームを書き込んでもよい。空のＰフレームを用いると、復号器は前フレーム即ちＴＰ・Ｉフレームから予測を行うこととなる。これとは別の方法として、フレーム反復を行うために、ＰＥＳ層にＤＳＭ（Ｄｉｇｉｔａｌ Ｓｔｏｒａｇｅ Ｍｅｄｉａ）トリック・モード・フラグＤＳＭ＿ｔｒｉｃｋ＿ｍｏｄｅ＿ｆｌａｇを設定し、またプレゼンテーション時間スタンプ（再生出力時刻管理情報）（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）および復号時間スタンプ（復号時刻管理情報）（Ｄｅｃｏｄｅ Ｔｉｍｅ Ｓｔａｍｐ）のＰＴＳ／ＤＴＳ値を計算して、各ＴＰ・Ｉフレームがそれぞれ所要のフレーム度数だけ発生するようにしてもよい。いずれのフレーム反復方法でも同じ結果が得られる。しかしながら、この後者の第２の方法では、再生においてＴＰストリームを余分に処理する必要がなく、従って、ユニット（装置）に余分なコストがかからない。但し、この第２の方法では、ＡＴＶ復号器においてオプションとしてＤＳＭ＿ｔｒｉｃｋ＿ｍｏｄｅ＿ｆｌａｇが支援（サポート）されている必要がある。この第２の方法では、ＡＴＶ復号器においてその分だけ余分な処理が行われる。いずれのフレーム反復方法についても、ブロック１４５、１６０、および１７０において速度に特有のストリームが生成されている間にその処理が行われる。
上述の本発明によるトリック再生ストリーム生成技術を用いて、７２０×４８０ピクセルの空間の空間解像度で、かつ２．０Ｍｂｐｓの実効トリック再生データ・レートで、５×、１８×および３５×のトリック再生速度を形成した。その種々のトリック再生速度を評価した結果は、次のように要約できる。
各トリック再生速度用のデータとして、互いに独立した（個々の）低解像度（７２０×４８０ピクセル）のＭＰＥＧコンパチブル・トランスポート・ストリームを表わすデータが生成された。
各ＴＰストリームはイントラ符号化フレームだけを含んでおり、従って、同じトリック再生ストリームを高速順方向ＴＰモードと高速逆方向ＴＰモードの両モードで使用することができる。
アスペクト比１６：９を維持するために、実際の空間的画像サイズが７２０×３８４ピクセルになるようにサンプリングが行われ、ＴＰ画像の上下の残りの領域は黒くされる。
時間解像度は、一定の３フレーム保持時間を用いて毎秒１０フレームの実効レートが得られるようにする。
トリック再生ストリームの各Ｉフレームは、元のストリームから選択されたサンプリングされたマクロブロックを含んでいる。ビット・レート２．０Ｍビット／秒と３フレーム保持時間の設定では、典型的テストデータに対して、選択されたマクロブロック内に大部分のＡＣ係数を残すことができる。
ソース・データ（ｓｏｕｒｃｅ ｍａｔｅｒｉａｌ）における動きの量および画像の複雑さに応じて異なるが、全体的な主観的空間解像度はまずまずの可（ｆａｉｒ）のレベルである。ピクチャ・レート１０ｆｐｓにおける時間解像度は良（ｇｏｏｄ）のレベルである。トリック再生データストリームは、復号化して観察（鑑賞）可能または認識可能なトリック再生ビデオ画像を生成することができ、従ってテープ・サーチ用として許容できるもの（合格レベル）である。
前述した本発明による低解像度リアルタイム形トリック再生モードにおいては、認識可能な空間的画像が相対的に高い時間解像度で生成される。しかしながら、既に述べたように、この再生モードは、ＡＴＶ受信機／復号器ユニットが低解像度で処理動作可能な場合、例えばＣＣＩＲ勧告６０１に従って形成される低解像度で処理動作可能な場合に用いることができる。しかしながら、低解像度での処理動作が行えない場合は、元のソースと公称的に同じ空間解像度を有する、即ち元のソースと同じピクセル総数を有するトリック再生データが生成されることになる。図２は、本発明による、最高解像度のリアルタイム形トリック再生ストリームを生成する典型的なシステムを例示している。３つのトリック再生速度、５倍、１８倍、３５倍が例示されている。図２の最高解像度方式（ｓｃｈｅｍｅ）と図１の低解像度方式とでは、データ抽出および処理ブロック１０５とストリーム生成ブロック１５５、１６５、および１７５が異なっている。
ブロック２０、３０、４０、５０、６０、および７０に示されているトランスポート・ストリーム復号化とイントラ検出の手段は、図１の低解像度ＴＰシステムについて説明したのと同様に動作し機能する。低解像度ＴＰシステムについて説明したように、データ抽出および処理段、ブロック１０５は、トリック再生ストリームの形成に必要なイントラ情報だけを抽出し、得られるＴＰ・Ｉフレームの構文上の正しさおよび意味的な正しさを保証するのに必要な何らかの処理を実行するためのものである。ブロック１０５の機能は、再生されるＩフレームが元のデータストリームと同じ解像度またはピクセル総数を有する点で、ブロック１００の機能と相違する。従って、全てのイントラ・マクロブロックを用いて新しいＴＰ・Ｉフレームが再構成される。ＭＢが削除されないので、ＤＣ変換係数を再符号化する必要はない。
処理ブロック１０５の主要機能は、トリック再生ビット・レートの制約により新しいＴＰ・Ｉフレームに収容できないＡＣ係数を各マクロブロックから除去することである。この低いＴＰチャンネル・ビット・レート、公称２Ｍビット／秒の制約上、使用するＡＣ係数の数、即ち空間解像度と、時間解像度、またはトリック再生ストリームのフレーム更新レートとの間でレートの配分調整をせざるを得ない。この空間解像度と時間解像度の間の配分調整（ｔｒａｄｅ−ｏｆｆ：トレードオフ）は、低解像度ストリームの生成においても必要であった。しかしながら、最高解像度フレーム、即ち元のソースと同じピクセル総数においては、そのＤＣ係数のビット数だけでも、低解像度のＴＰフレームでアセンブル（ａｓｓｅｍｂｌｅ）されたＡＣ係数とＤＣ係数の全てのビット数よりも多くなりそうである。従って、最高解像度のマクロブロックに数個のＡＣ係数だけを含ませるような制限を行うだけでは、時間解像度が問題となる（重大な）低下を来し、即ちフレーム更新時間が長くなり、フレーム反復数が多くなる。従って、最高解像度トリック再生ストリームにおいて、一定の時間解像度の形成を容易にするためには、システムが各マクロブロックのＤＣ係数だけを用いて全てのＡＣ係数を捨てるようにすればよい。さらに、ＡＣ係数を捨てると、ＤＣ係数だけのＤＰＣＭ値を可変長復号化すればよいので、処理の複雑さが低下する。図２は、各トリック再生速度が同じビット・レートを有し、従って、３つのＴＰ速度に対して同じＩフレーム・メモリを共用することのできるシステムの一例を示している。
前述のように、元のＨＤＴＶビデオ画像がインタレース走査により生成されたものである場合は、動きを含んでいるフィールドの固定化（凍結）によって生じるインタレースによる“フリッカ（ｆｌｉｃｋｅｒ）”を除去するための処理ステップをオプションとして含ませてもよい。既にその１つの方法を説明した。しかしながら、この一例の高解像度ＴＰシステムはＤＣ変換係数だけを使用するので、ピクチャ符号化拡張部ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｔｉｏｎ ｓｅｃｔｉｏｎ中のフレーム予測フレームＤＣＴフラグｆｒａｍｅ＿ｐｒｅｄ＿ｆｒａｍｅ＿ｄｃｔ ｆｌａｇを“１”に設定すれば、より簡単でより効率的な方法が実現できる。このフラグは、全てのＭＢがフレーム符号化され、従って、“フリッカ”を生じさせ得る前フィールド符号化ブロックがフレーム符号化ブロックとして復号化されることを示している。その結果、各フィールドが１つのブロックの上部分または下部分のいずれかに置かれて、“フリッカ”が除去される。フレーム予測フレームＤＣＴフラグｆｒａｍｅ＿ｐｒｅｄ＿ｆｒａｍｅ＿ｄｃｔ ｆｌａｇを“１”に設定すると、ＤＣＴタイプ・フラグｄｃｔ＿ｔｙｐｅ ｆｌａｇが存在しなくなるで、このフリッカ除去方法でも、マクロブロック・モード部ｍａｃｒｏｂｌｏｃｋ＿ｍｏｄｅｓ ｓｅｃｔｉｏｎ中で用いられるビット数を減少させることができる。
再構成されたＴＰ・Ｉフレームは、メモリ１１５中でアセンブルされて、３つのトリック再生ストリーム生成段、ブロック１５５中に示した５倍速度、ブロック１６５中の１８倍速度、およびブロック１７５中の３５倍速度の各段に結合される。図２の例示的なシステムでは、各トリック再生ストリームが同じ実効ビット・レートを有し、従って、近似的に同じ時間解像度を有するものと仮定している。前述のように、全ての各再構成ＴＰ・Ｉフレームが各速度に対して用いられる訳ではない。しかしながら、ＴＰ・Ｉフレームを使用する上で次の理由による別の制限を受ける。各ＴＰ・Ｉフレームは同じ個数の係数、例えばＤＣ係数だけを有するが、ＤＣ係数は可変長符号化されているので、各ＴＰ・Ｉフレームは同じビット数を持つとは限らない。従って、各トリック再生ストリームに対して時間解像度または保持時間を一定に固定することはできない。むしろ、フレーム保持時間は、各ＴＰ・Ｉフレームを符号化または形成するのに必要となるビット数の場合より時間が僅かに長くなるように変化する。各トリック再生速度に対して、それぞれの“ストリーム生成”段１５５、１６５、１７５は、ＴＰ・Ｉフレームを符号化するのに十分なビットがバッファ１０５に蓄積（累積）されるまで待つ。その時、バッファに蓄積（累積）されたＴＰ・Ｉフレームが新しいＴＰ・Ｉフレーム即ち特定のトリック再生速度用にまだ符号化されていないＴＰ・Ｉフレームである場合は、そのＴＰ・Ｉフレームは符号化され、使用したビット数が利用可能なビット数から減算される。仮に各Ｉフレームが同じサイズで、各トリック再生速度に対して同じ実効ビット・レートが割り当てられるとすると、この方式（ｓｃｈｅｍｅ）は低解像度のシステムについて説明した方式と同等のものとなり、フレーム・リフレッシュ期間（周期）が全ての速度（ａｌｌ ｓｐｅｅｄｓ）に対して一定になる。再構成されたＴＰ・Ｉフレームは、メモリ１１５から読み出され、ストリーム生成器１５５、１６５、および１７５によってパッケージ化されて、低解像度のシステムについて詳細に説明したのと全く同じ形で、ＭＰＥＧコンパチブル・トランスポート・ストリームが生成される。
上述の本発明による最高空間解像度トリック再生ストリーム生成技術は、トリック再生速度５×、１８×、および３５×に対して実効トリック再生データ・レート２．０Ｍｂｐｓで評価された。その性能は次のように要約できる。
各トリック再生速度に対して、互いに独立した（個々の）ＴＰ・ＩフレームだけのＭＰＥＧコンパチブル・トランスポート・ストリームが記録される。
時間解像度は、場面の複雑さに応じて変化し、前述の低空間解像度トリック再生システムにおける時間解像度より低く、そのフレーム保持時間はより長い。典型的なソース・データに対して経験した保持時間の平均値および時間変動は、次の表（テーブル）に示す通りである。

各ＴＰ・ＩフレームはＤＣ係数だけを使用する。
空間解像度の全体的な品質は、ＤＣ係数だけが使用されるので、可の（ｆａｉｒ）レベルに過ぎない。時間解像度の品質は、ＴＰ符号化されたデータ内の複雑さのレベルに応じて劣（ｐｏｏｒ）と可の間の範囲で変化する。しかしながら、その結果得られるトリック再生画像は、認識可能なもの（ｒｅｃｏｇｎｉｚａｂｌｅ）であり、テープ・サーチ用として許容レベルのものである。
リアルタイム形のトリック再生データストリームの生成とプリレコード（予記録）形の（即ち予め記録される）トリック再生データストリームの生成の間の主な相違は、消費者用記録装置／再生装置に対して課されたコスト面および複雑さの排除による制約から生じる。即ち、消費者用ユニットは、通常再生データを記録している間にトリック再生データ・ストリームを生成して記録し、即ち、トリック再生データストリームをリアルタイムで生成しなければならない。一方、プリレコード形のデータにおけるトリック再生データストリームは、圧縮されたＭＰＥＧ符号化ストリームからではなくて、元のピクチャ・ソースから直接生成してもよい。速度に特有のＴＰデータストリームは、互いに独立の関係で（個々に）かつ実際の記録イベント（ｅｖｅｎｔ：事象）からも独立して生成することができる。従って、プリレコード形のトリック再生データは非リアルタイムで生成され、場合によっては、非標準レートまたは低い（ゆっくりした）フレーム反復レートで生成することができる。プリレコード形のデータによって達成されるトリック再生の再生画像品質は、もはや消費者用のリアルタイム式の方法における制約を受けないので、かなり（有意な程度に）高くなる。
本発明によるプリレコード形のＴＰデータを生成する第１の方法では、元のＨＤＴＶストリームの解像度に関係なく、例えば７２０×４８０ピクセルの解像度を有するＣＣＩＲ勧告６０１の空間解像度が得られる。また、本発明による第２の方法では、元のＨＤＴＶのデータと同じ解像度、即ち同じピクセル総数のトリック再生ストリームを生成する。
図３は、本発明による、低解像度のプリレコード形のトリック再生データストリームを生成する方法を示す一例のブロック図を示している。時間的処理ブロック３０は、元のＨＤＴＶビデオ・マテリアル（ｍａｔｅｒｉａｌ）０９のフォーマットに関係なく、３０Ｈｚの順次（ｐｒｏｇｒｅｓｓｉｖｅ：プログレッシブ）信号３１を生成する時間的サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ：副サンプリング）を実行する。この段の動作は、元のソース・データが５９．９４／６０Ｈｚフレーム・レートの順次形であるか、または２９．９７／３０Ｈｚフレーム・レートのインタレース形であるかに応じて異なる。順次走査形ソース・データを用いる場合は、フレーム・レートはシーケンスから各２つ目毎（１つ置き）のフレームを落とすことによって低下させることができる。１つ置き（交互）のフレームを落とすことによって、元のソース・データの時間解像度の半分の時間解像度を有する順次形シーケンスが得られる。一方、インタレース形のソース・データを用いる場合は、フレーム・レートは元のものと同じであるが、各フレーム中の１フィールドだけが使用される。この処理によって、半分の垂直解像度および同じフレーム・レートを有する順次シーケンスが得られる。
順次走査フレーム、信号３１は、ブロック４０に結合され、ブロック４０は、例えばＣＣＩＲ勧告６０１によって規定された解像度を有する低解像度信号を生成する。各順次走査フレームは、７２０×３８４ピクセルに再サンプリングされてアスペクト比１６：９が維持され、上下の黒枠でパディング（ｐａｄｄｅｄ）されて、７２０×４８０ピクセルの“レター・ボックス”フォーマットが生成される。
こうして、ＨＤＴＶ信号は、１フレーム・レート３０Ｈｚの順次走査形の低空間解像度７２０×４８０ピクセルを有する信号４１により表わされる。信号４１は、速度に応じた時間的サブサンプリングを行うブロッ５０、６０、および７０に結合される。各トリック再生ストリームが、同じ時間解像度または２フレームのフレーム保持時間を有し即ち各フレームが、１回反復されるように形成される。従って、Ｎ倍のトリック再生速度においてはフレーム・レートが３０Ｈｚから３０／２Ｎ Ｈｚに低下する。従って、その結果得られる記録フレーム・レートは、５×では３０／１０Ｈｚに、１８×では３０／３６Ｈｚに、３５×では３０／７０Ｈｚになる。各フレームが２回発生し、また表示レートが３０Ｈｚなので、場面の内容の実効速度は各ＴＰ速度において正確に維持される。
時間的サブサンプリング・ブロック５０、６０、および７０はそれぞれ出力ビットストリーム５１、６１、および７１を生成し、その各出力ビットストリーム５１、６１、および７１は、それぞれのＭＰＥＧ符号化器１２０、１３０、および１４０に結合されて、ＭＰＥＧコンパチブル・ビットストリームがフォーマット化される。ＭＰＥＧコンパチブル符号化法は各速度に対して同じなので、またプリレコーディングの（予め記録する）環境においてはリアルタイム処理が不要なので、同じＭＰＥＧ符号化ハードウェアを用いて通常再生ストリームおよび各トリック再生ストリームを符号化することができる。この共通使用部分は、ＭＰＥＧ符号化器ブロック１００、１２０、１３０、および１４０を囲む破線によって示されている。時間的にサブサンプリングされたビットストリーム５１、６１、および７１はＩフレームとしてＭＰＥＧ符号化される。各Ｉフレームは前述のようにＰＥＳ層中に位置するＤＳＭトリック再生フラグＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇを用いて１回反復される。その結果得られる通常再生速度ＮＰのストリーム１０１、トリック再生速度５×のストリーム１２１、１８×のストリーム１３１および３５×のストリーム１４１を表わす各ＭＰＥＧコンパチブル・ストリームは、マルチプレクサ１５０によってレコード（記録）フォーマット化されるように結合される。マルチプレクサ１５０は、効率的に種々のＭＰＥＧストリームの間の選択を行って、記録再生システム２１０による記録処理およびテープ２２０への書き込みに適した同期（ｓｙｎｃ）ブロック・フォーマット信号２００を生成する。先に説明したように、所定の各ＴＰ速度の使用を実現するために、速度に特有のＴＰデータを記録トラック内の特定の同期ブロック位置に位置合わせして記録する。従って、マルチプレクサ１５０は、記録トラック内の特定の同期ブロック位置に記録された速度特有のＴＰ・Ｉフレーム・データの位置を求めるための同期ブロック信号２００をフォーマット化する。この特定の位置を用いることによって種々の特有のＴＰ速度での再生が容易になる。
図６は、本発明による、図３の非リアルタイム形“トリック再生”装置の別の構成を例示する部分ブロック図である。速度に特有の処理を施されたＴＰ信号５１、６１、および７１はメモリ５２０、５３０、および５４０に結合される。このメモリ５２０、５３０、および５４０は、それぞれ５倍、１８倍および３５倍に処理されたディジタル画像信号を記憶する。この記憶用のメモリは、ディスクまたは磁気テープ等の記録／読出しシステムにより与えられる。また、元のＨＤＴＶ信号０９はメモリ（蓄積装置）５００に記憶される。プリレコードされた（予め記録された）メディアまたはテープの形成は、種々の蓄積ディジタル信号源間の順次選択によって容易になり、符号化器１００によりＭＰＥＧ符号化され、そのメディアに記録される出力信号が形成される。マルチプレクサ１５０は、種々のディジタル信号源間の選択を行うように制御されて、ＭＰＥＧ符号化用の出力信号を形成する。ＭＰＥＧ符号化信号２００は、１つの記録内容が通常再生速度とトリック再生速度で再生されるように構成または配置された種々の信号成分を有する。従って、本発明による図６の構成によって、非リアルタイムで、通常再生およびトリック再生の両ディジタル信号源を互に独立に（個々に）生成して、ＭＰＥＧコンパチブル・ビットストリームとして符号化することができる。
本発明による別の構成がブロック６００に例示されており、ブロック６００は、ＭＵＸ１５０により生成されマルチプレクスされた通常再生およびトリック再生のＭＰＥＧ符号化データストリームに対して用いられる別の構成である。ブロック６００の別のシステムは、ＭＰＥＧ符号化データストリーム２００、記録装置２１０、フォーマット制御信号ＦＭＴ ＣＴＬ、復号器０７および表示手段３００に代替するものである。ブロック６００において、ＭＰＥＧ符号化データストリーム２０２は送信機４００に伝送され、復号器０７と表示手段３００に結合される。ユーザ観察用表示手段３００は、観察中のデータを進めるためにマルチプレクサ１５０に伝送される遠隔制御指令ＲＥＭ ＣＴＲＬを選択して、その指令を起動させることができる。マルチプレクサ１５０は、ユーザの遠隔制御指令に応答して、例えば５倍速度ビットストリーム５２１を選択して、これをＭＰＥＧ符号化とその後の伝送、復号化および表示を行うように結合させる。同様に、ユーザは、例えば５倍速度で逆方向で観察するように選択することもできる。この選択は５倍再生速度メモリ５２０を逆方向に読むことによって容易に行われる。従って、ブロック６００の構成では、ユーザの制御により通常再生およびトリック再生の各ＭＰＥＧ符号化データストリーム間の選択が行われる。
図７は、本発明による、図３の非リアルタイム形“トリック再生”装置の別の構成例を示す部分ブロック図である。図７において、通常再生およびトリック再生処理されたディジタル信号０９、５１、６１、および７１は、符号化器１００によってＭＰＥＧコンパチブル・ビットストリームの形に符号化するように結合される。非リアルタイム信号処理およびプリレコード形データの生成またはプリレコードされたマテリアルの作成の場合、信号０９、５１、６１、および７１は別々に個々に取り出されて、単一の符号化器１００によってＭＰＥＧ符号化するように結合される。個々に符号化されたＭＰＥＧビットストリーム１０１、１２１、１３１、および１４１は、それぞれ通常再生、５×、１８×および３５×の各ビットストリーム用のメモリ５５０、５６０、５７０、および５８０に記憶される。蓄積メモリ５５０、５６０、５７０、および５８０は、固体、ディスクまたは磁気の記録媒体で形成され、マルチプレクサ１５０に結合される出力信号５０１、５２１、５３１、および５４１を供給する。マルチプレクサ１５０は、記録装置２１０に応答して制御され、通常再生速度と所定の“トリック再生”速度で再生を行うようにフォーマット化されたＭＰＥＧコンパチブル・レコード・ビットストリームを生成する。
本発明による別の構成がブロック６００に例示されており、このブロック６００は、ＭＵＸ１５０により生成されマルチプレクスされた通常再生およびトリック再生のＭＰＥＧ符号化データストリームに対して用いられる別の構成が示されている。ブロック６００の別のシステムは、ＭＰＥＧ符号化データストリーム２００、記録装置２１０、フォーマット制御信号ＦＭＴ ＣＴＬ、復号器１７、および表示手段３００に代替するものである。ブロック６００において、ＭＰＥＧ符号化データストリーム２０２は、送信機４００に伝送されて復号器０７と表示手段３００に結合される。ユーザ観察用表示手段３００は、観察中のデータを進めるためにマルチプレクサ１５０に伝送する遠隔制御指令ＲＥＭ ＣＴＲＬを選択して、その指令を開始させることができる。マルチプレクサ１５０は、ユーザの遠隔制御指令に応答して、例えば５倍速度ビットストリーム５２１を選択して、これをＭＰＥＧ符号化とその後の伝送、復号および表示を行うように結合させる。同様に、ユーザは、例えば５倍速度で逆方向で観察するように選択することもできる。この選択は５倍再生速度メモリ５２０を逆方向に読むことによって容易に行われる。従って、ブロック６００の構成では、ユーザの制御によって通常再生およびトリック再生の各ＭＰＥＧ符号化データストリーム間の選択が行われる。
図３に示し先に説明した典型例の低空間解像度ＴＰシステムによって、リアルタイムで生成されたトリック再生ストリームから得られる品質に比べてかなり（有意な程度）高いトリック再生品質が形成される。その結果は次のように要約できる。
記録動作の間、各トリック再生速度に対して、互いに独立してＩフレームだけの低解像度（７２０×４８０ピクセル）ＭＰＥＧコンパチブル・ストリームがテープに書き込まれる。
実際の空間画像サイズは、“レター・ボックス”フォーマットにおいて、１６：９のアスペクト比を維持するための７２０×３８４ピクセルである。
時間解像度は、各トリック再生速度に対して実効１５フレーム／秒であり、良〜優（ｅｘｃｅｌｌｅｎｔ）の品質を形成し、その品質は各速度に対して一定に維持される。
２．０Ｍｂｐｓのデータ・レートと７２０×４８０ピクセルの解像度によって形成される空間解像度は、ソース・マテリアルの複雑さに応じて良〜非常に良である。
全体的にこの方式（ｓｃｈｅｍｅ）で得られるトリック再生画像品質は非常に高い。
図３に示し先に説明した低解像度のプリレコード形トリック再生システムは、良の品質の空間画像を相対的に高い時間解像度で生成する。しかしながら、そのような低解像度方法は、ＡＴＶ復号器／受信機ユニットが低解像度表示フォーマットを支援できる場合にだけ使用できる。
図４は、本発明による、トリック再生速度を５×、１８×、および３５×とした場合の最高解像度のプリレコード形トリック再生ストリームを生成するシステムの典型例のブロック図である。前述したように、プリレコード形トリック再生データストリームは、元の未圧縮のソース・データ（ｓｏｕｒｃｅ ｍａｔｅｒｉａｌ）から生成することができる。図４は、通常再生およびトリック再生のビットストリームの生成を示しているが、それらは互いに独立に、ＨＤＴＶソース・データから直接生成される。このシステムは最高解像度を形成するので、空間的サブサンプリングは必要でなく、従って、必要な処理は図３に示された処理より少ない。元の未圧縮のソース・データを用いると、符号化ストリームの中のＩフレームを選択することなく、イントラ符号化すべきフレームをトリック再生速度に確実に適合するように選択することができる。また、ユーザにとってより快適である一定の時間的リフレッシュ・レートを維持することができる。
図示のように、元のＨＤＴＶビデオ信号０９はＭＰＥＧ符号化器１００に結合され、ＭＰＥＧ符号化器１００は通常再生速度処理用のＭＰＥＧストリーム１０１を生成する。また、信号０９は、それぞれブロック５５、６５、および７５において時間的サブサンプリングを行うように結合される。Ｎ倍のトリック再生速度に対して符号化に用いるＮ個目毎のソース・フレームだけが使用される。しかしながら、許容できる空間解像度を形成するには、空間解像度と時間解像度の間の望ましい妥当なレート配分の仕方に応じて、符号化に用いる実際のフレームはほぼ５Ｎ個目または８Ｎ個目毎のフレームである。従って、フレーム保持時間または時間解像度は、先に述べたリアルタイム形式の最高解像度システムのフレーム保持時間または時間解像度と同程度になる。
フレーム保持時間またはフレーム更新時間をＮ倍のトリック再生速度の各々に対して、例えば５Ｎ個目毎のフレームに選択して、各ＴＰ速度に対するＨＤＴＶストリームの信号０９の時間的サブサンプリングを行う。５倍のＴＰストリームはブロック５５で生成され、ブロック５５は、１／５Ｎまたは１／２５の比率または係数（ｆａｃｔｏｒ：ファクタ）で時間的サブサンプリングを行い、即ち２５フレーム中の１フレームを選択して、出力信号５６を生成する。同様に、１８倍のＴＰストリームはブロック６５で生成され、ブロック６５は、１／５Ｎまたは１／９０の比率で時間的サブサンプリングを行い、出力信号６６を生成する。また、３５倍のＴＰストリームはブロック７５で生成され、ブロック７５は、１／５Ｎまたは１／１７５の比率で時間的サブサンプリングを行い、出力信号７６を生成する。この３つのサブサンプリングされたＴＰビットストリーム信号５６、６６、７６は、それぞれ符号化ブロック１２０、１３０、および１４０でＭＰＥＧ符号化されるように結合される。
ＭＰＥＧコンパチブル符号化は各速度について同じであるから、またプリレコーディングの（予め記録を行う）環境においてはリアルタイム処理は不要なので、同じＭＰＥＧ符号化ハードウェアを用いて通常再生ストリームおよび各トリック再生ストリームを符号化できる。この共通使用部分は、ＭＰＥＧ符号化器ブロック１００、１２０、１３０、および１４０を囲む破線により示されている。時間的にサブサンプリングされたビットストリーム５６、６６、および７６はＩフレームの形にＭＰＥＧ符号化される。フレーム更新時間は各トリック再生ストリームについて一定なので、各Ｉフレームに対して割り当てられるビット数も一定である。そのフレーム保持時間またはＩフレーム反復は、前述のようなＤＳＭトリック再生フラグＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇを用いて実現される。この結果得られる、通常再生速度ＮＰのストリーム１０１、トリック再生速度５×のストリーム１２１、１８×のストリーム１３１、および３５×のストリーム１４１を表わす各ＭＰＥＧトランスポート・ストリームは、マルチプレクサ１５０によりレコード・フォーマット化されるように結合される。マルチプレクサ１５０は効率的に種々のＭＰＥＧストリームの間の選択を行って、記録再生システム２１０による記録処理およびテープ２２０への書き込みに適した同期（ｓｙｎｃ）ブロック・フォーマット信号２００を生成する。先に説明したように、所定の各ＴＰ速度を実現するために、速度の特有のＴＰデータを記録トラック内の特定位置に位置合わせしまたは記録する。従って、マルチプレクサ１５０は、特定の同期（ｓｙｎｃ）ブロック位置に記録された速度特有のＴＰ・Ｉフレーム・データの位置を求めるための同期（ｓｙｎｃ）ブロック信号２００をフォーマット化する。この特定の位置を用いることにより種々の特有のＴＰ速度での再生が容易になる。
また、本発明による図６および図７の構成は、図４の非リアルタイム式の“トリック再生”の生成の構成にも適用できる。前述のように、図６および図７の構成によって、通常再生およびトリック再生のディジタル信号を非リアルタイムで互いに独立に生成し、ＭＰＥＧコンパチブル・ビットストリームへの符号化を行うことが容易になる。
図７の蓄積および検索用メモリ５５０、５６０、５７０、および５８０は、図示のようにＭＰＥＧコンパチブル出力信号５０１、５２１、５３１、および５４１を生成し、この信号がマルチプレクサＭＵＸ１５０を介して結合される。本発明による別の実施形態においては、ＭＵＸ１５０によって生成されたＭＰＥＧ出力ストリーム２００は、ユーザの表示手段に分配するための伝送システムに結合される。マルチプレクサＭＵＸ１５０は、ユーザの指令に応答して、メモリに生成された各ＭＰＥＧコンパチブル出力信号の間の選択を行うように制御される。例えば、通常速度で番組（プログラム）を見ようとするユーザは、ビットストリーム信号５０１を受信して復号化するようにする。ユーザは、例えば５倍速のＭＰＥＧビットストリームの観察（表示）を遠隔的に選択して番組を進めまたは早送りする。ユーザが５×再生用の遠隔的指令を与えるとマルチプレクサ１５０がＭＰＥＧビットストリーム５２１を選択し、それがユーザに対して出力される。
最高空間解像度および時間解像度を維持するという制約があるために、そのトリック再生品質は最高解像度のリアルタイムの方法により達成されるトリック再生品質に非常に近くなる。しかしながら、このプリレコーディング方法（予め記録する方法）にはフレーム保持時間が一定であるという利点がある。前述のトリック再生ストリーム生成技術によって、最高解像度および実効トリック再生ビット・レート２．０Ｍｂｐｓでトリック再生速度５×、１８×、および３５×が形成される。その性能は次のように制約できる。
記録動作の間、各トリック再生速度に対して、互いに独立したＩフレームだけのＭＰＥＧストリームがテープに書き込まれる。
空間解像度はソース・データと同じである。
時間解像度は５フレーム保持時間に固定される。
各Ｉフレームでは全てのＤＣ係数と幾つかのＡＣ係数とが用いられる。
全体的な空間的品質は可（ｆａｉｒ）のレベルである。復元されたトリック再生画像は、認識可能なものであり、テープ・サーチ用として許容レベルのものである。
次の表は前述の本発明による種々の方法によって達成されるトリック再生品質を要約したものである。

前述の制約を考慮して、低解像度トリック再生データを用いることにより、リアルタイム形およびプリレコード形のデータ（ｍａｔｅｒｉａ：マテリアル）において最高のトリック再生品質が達成できる。しかしながら、そのＡＴＶ受信機／復号器は低解像度モードの使用を支援するものでなければならない。最高解像度トリック再生モードを用いる場合には、種々のパラメータを調整することにより、得られる品質を改善することができる。例えば、各トリック再生速度に対して利用可能な実効ビット・レートを上げることによって解像度を上げることができる。しかしながら、最低ビット・レートとして約２．０Ｍｂｐｓが要求される。設定される“トリック再生”速度の数を減少させ、例えば正逆の各方向にそれぞれ２つの速度とすると、残りの各速度に対する実効ビット・レートは増大する。実効的時間解像度またはフレーム反復数は時間解像度と空間解像度の間の配分調整の結果に応じて決められる。従って、所望の適用例に応じていずれかのパラメータを最適化すればよい。

Claims (10)

1. 複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を生成して記録する方法であって、
   ａ）ディジタル画像を表わす信号を受け取るステップと、
   ｂ）トリック再生速度に関連したレートで上記ディジタル画像を表わす信号を時間的にサブサンプリングするステップと、
   ｃ）上記時間的にサブサンプリングされた信号を符号化して、ＭＰＥＧコンパチブルのトリック再生信号を生成するステップと、
   ｄ）上記ディジタル画像を表わす信号を符号化して、通常再生ＭＰＥＧコンパチブル信号を生成するステップと、
   ｅ）上記トリック再生ＭＰＥＧコンパチブル信号と上記通常再生ＭＰＥＧコンパチブル信号の間の選択を行って、記録フォーマット化ビットストリームを生成するステップと、
   ｆ）上記記録フォーマット化ビットストリームを記録するステップと、
   を含む方法。
2. 上記トリック再生ＭＰＥＧコンパチブル信号がＩフレームを含むものである、請求項１に記載の方法。
3. 上記トリック再生ＭＰＥＧコンパチブル信号は、記録されるときに、上記トリック再生ＭＰＥＧコンパチブルのビットストリームが上記トリック再生速度で再生されるような上記記録フォーマット化ビットストリームの形式で発生するように選択される、請求項１に記載の方法。
4. 上記Ｉフレームが少なくともＤＣ離散コサイン変換係数とＡＣ離散コサイン変換係数を含む、請求項２に記載の方法。
5. 上記時間的サブサンプリングが所定のフレーム反復レートにより決まるレートで生じる、請求項１に記載の方法。
6. 上記Ｉフレームを反復するために、上記ＭＰＥＧコンパチブル・トリック再生信号のパケッタイズド・エレメンタリ・ストリーム（ＰＥＳ）層にＤＳＭトリック再生フラグ（ＤＳＭ＿ｔｒｉｃｋ＿ｐｌａｙ＿ｆｌａｇ）を設定するステップを含む、請求項２に記載の方法。
7. 複数の速度で再生を行うことを容易にするために記録フォーマット化を行うためのＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を生成する方法であって、
   ａ）ディジタル画像を表わす信号を受け取るステップと、
   ｂ）上記ディジタル画像を表わす信号を時間的にサブサンプリングして、トリック再生速度に関連したフレームレートを有する信号を発生するステップと、
   ｃ）上記トリック再生速度に関連した上記フレームレートを有する上記信号を符号化して記憶し、トリック再生速度ＭＰＥＧコンパチブル信号を生成するステップと、
   ｄ）上記ディジタル画像を表わす信号を符号化して記憶して、通常再生速度のＭＰＥＧコンパチブル信号を生成するステップと、
   ｅ）上記記憶されたトリック再生速度および通常再生速度のＭＰＥＧコンパチブル信号を取り出すステップと、
   ｆ）上記取り出されたトリック再生速度のＭＰＥＧコンパチブル信号と上記取り出された通常再生速度のＭＰＥＧコンパチブル信号の間の選択を行って、上記通常再生速度および上記トリック再生速度で再生を行うことを容易にするフォーマット化ビットストリームを生成するステップと、
   ｇ）上記フォーマット化ビットストリームを記録するステップと、
   を含む方法。
8. 上記トリック再生速度のＭＰＥＧコンパチブル信号は、記録されるときに、上記トリック再生速度のＭＰＥＧコンパチブルのビットストリームが上記トリック再生速度で再生されるような上記記録フォーマット化ビットストリームの形式で発生するように選択される、請求項７に記載の方法。
9. 上記選択するステップは、上記フォーマット化ビットストリームを記録する記録手段から得られるフォーマット化制御信号に応答して制御される、請求項８に記載の方法。
10. 複数の速度で再生を行うことを容易にするためにＭＰＥＧコンパチブル（両立性）ディジタル画像を表わす信号を導出して記録する方法であって、
    ａ）ディジタル画像を表わす信号を受け取るステップと、
    ｂ）上記ディジタル画像を表わす信号を時間的にサブサンプリングして、トリック再生速度に関連したフレームレートを有する信号を発生するステップと、
    ｄ）上記トリック再生速度に特有の信号をＭＰＥＧ符号化して記憶して、トリック再生速度に特有のＭＰＥＧコンパチブル信号を生成するステップと、
    ｅ）上記ディジタル画像を表わす信号を符号化して記憶して、通常再生速度に特有のＭＰＥＧコンパチブル信号を生成するステップと、
    ｆ）上記トリック再生速度に特有のＭＰＥＧコンパチブル信号を記憶手段から読み出すステップと、
    ｇ）上記通常再生速度に特有のＭＰＥＧコンパチブル信号を記憶手段から読み出すステップと、
    ｈ）ユーザ制御指令に応答して、上記トリック再生速度に特有のＭＰＥＧコンパチブル信号と上記通常再生速度に特有のＭＰＥＧコンパチブル信号の間の選択を行って、ＭＰＥＧコンパチブル信号を出力し、上記通常再生速度および上記トリック再生速度で上記ディジタル画像を表わす信号を見ることを容易にするように復号化するステップと、
    を含む方法。

Images