WO2001033832A1

WO2001033832A1 - Appareil de reproduction d'images et appareil d'enregistrement/reproduction d'images

Info

Publication number: WO2001033832A1
Application number: PCT/JP1999/006053
Authority: WO
Inventors: Yukihiro Abiko; Hideo Kato; Tetsuo Koezuka
Original assignee: Fujitsu Limited
Priority date: 1999-10-29
Filing date: 1999-10-29
Publication date: 2001-05-10
Also published as: JP4421156B2; US6807363B1

Description

明細書画像再生装置および画像記録再生装置技術分野

本発明は、符号化された画像の再生装置、画像を符号化して記録、再生する装置、画像の記録再生方法及び画像の記録再生プログラムを記録した記録媒体に関する。背景技術

近年、膨大な情報量をもつデジタル動画像の蓄積や伝送を実現するために、 I SO/I EC 1 1 172 (MP E G 1 ) や I S〇 I E C— 13818 (M PEG 2) などの MP EG (Moving Picture Experts Group) 方式が国際標準化されており、これらの MP EGストリームの記録再生装置が開発されている。一方、光ディスク、光磁気ディスク及び磁気ディスクのようなランダムァクセス可能な記録媒体の大容量化、低価格化が進んでおり、磁気テープによる記録に置き換わりつつある。また、ランダムアクセス可能な記録媒体を用いることで、任意倍速での特殊再生、特殊録画再生等も実現可能となっている。

MP EGストリームについて、任意倍速再生等の特殊再生を行うためには、フレーム、 GOP、パケットなどの先頭にシークすることで実現できる。例えば、頭出しなどのジヤンプを行うにはジヤンプ先の位置を予め知っていることが必要である。

例えば、特願平 5— 306567号公報には、磁気テープのサブコードエリァに GO Pスタートコードや Iピクチャの有無の情報を記録する技術が開示されている。特願平 7— 2 9 8 0 4 8号公報には、 G〇Pスタートコードを利用した頭出しテーブルにファイル先頭からのバイトオフセッ卜と累積フレーム数を情報として記録することが記載されている。

特願平 7— 3 6 4 6 1号公報には、 G O Pスタートコードを利用した特殊再生用テーブルにセクタアドレスと G O Pタイムコードを情報として記録することが記載されている。

M P E G形式で圧縮された画像を記録、再生する装置においては、通常の記録ゃ再生を行うだけでも符号化、復号化のために必要な回路規模が大きくなり、装置のコストが上昇するという問題点がある。このような記録再生装置で任意倍速での再生や、クリップ編集などの特殊再生、特殊録画を可能とするためには、回路規模がさらに増大し、装置のコストも上昇する。加えて、特殊再生や特殊録画では再生データと録画データを同時に転送したり、転送プロックサイズを可変にすることが必要となるが、このようなデ一夕転送を制御するためのファームウェアの記述は複雑化し、開発工数の増大によるコスト上昇や、制御コードゃ制御回路の大規模化により、さらにコストが上昇するという問題点がある。

また、オーディオパケットとビデオパケットを同期させる場合に、従来のように G O Pスタートコ一ドゃ G O Pヘッダの中に符号化されている G O Pタイムコードを利用する方法では、テーブル作成時の処理の煩雑さや、これに伴う D S Pの回路規模増大が問題となる。

特殊再生に利用する情報については、記録媒体やフレームレ一トなどに依存しないものであることが必要である。特に M P E Gストリームのようなデジ夕ル情報は、記録再生装置やパソコンで同等に扱われるため、磁気ディスクから光ディスクのように異なるフォーマットの記録媒体間でデ一夕の移動や複写が行えることが必要となる。また、ネットワークの発達により M P E Gストリ一ムは世界的に流通しているが、フレームレ一卜が異なる N T S C方式と P A L 方式の何れの方式でもその情報を同じように利用できるようにする必要がある。前述した特願平 5— 3 0 6 5 6 7号の発明は、磁気テープに特化したものであり、リストやテーブルの形をとつていない。また性質上ランダムアクセスを前提として特殊再生を行うものではない。

特願平 7— 2 9 8 0 4 8号の発明は、記録されている情報がフレームであるので、時間でシーク先を指定して頭出しする場合を考えると、フレームレートが唯一であることが前提となり、異なるフレームレートの M P E Gストリームを扱うことができない。

特願平 7— 3 6 4 6 1は、 G O Pタイムコードが記録されているので、時間でシーク先を指定して頭出しするような場合には対応できるが、セクタ単位で情報が記述されるため、記録媒体を変更した場合にテーブルを再度作成しなくてはならないというデメリツ卜がある。

特殊再生、特殊録画再生機能を効率よく行うためには、デ一夕に直接ァクセスするために必要なデータ位置を、アプリケーションやユーザから指定された時間情報から簡単に求められることが必要である。

その方法として、 G O Pタイムコードゃフレーム数でカウントすることも考えられる。しかしながら、前者は G O Pタイムコードを抽出する必要があるが、これを利用する場合は M P E Gストリームから G O Pスタートコ一ドの位置と G O Pスタートコードを含むバケツ卜の位置の両方をみる必要があるので効率的ではない。後者はフレーム数をカウントする処理が必要となり、フレームレ一卜が異なった場合の対応が必要となり効率的ではない。

特殊再生を行う場合、データの転送速度が一定ではなぐなるので、これに対処する必要がある。また、録画と組み合わせた特殊再生を行う場合には、システム内のデータトラフィックが煩雑となるため処理が複雑になる。さらに、光ディスク、光磁気ディスク、磁気ディスクのような記録媒体では、内部パラメ一夕の調整や記録領域の欠陥が検出されて別の領域にデ一夕を書き込む際に数秒間読出しや書込み不能になることがある。 R ead/Wr i te時の DM A転送中にこのような現象が発生した場合、録画中であればデータが欠落し、再生中であれば映像が停止するという問題が生じる。

本発明の課題は、符号化された画像データを再生する画像再生装置において、任意倍速再生等の特殊再生、特殊録画再生を簡易に行えるようにすることである。また、他の課題は、録画、再生、デ一夕転送を効率的に行えるようにすることである。発明の開示

図 1 Aは、請求項 1記載の発明の原理説明図であり、図 1 Bは、請求項 1記載の発明において、バケツト情報作成手段を有する発明の原理説明図である。請求項 1記載の発明は、符号化された画像データのバケツ卜ヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるバケツト情報を参照するバケツト情報参照手段 1と、バケツト情報参照手段 1により参照されたバケツト情報に基づいて、符号化された画像を復号する復号化手段 2とを備える。

この発明によれば、パケットヘッダ部に含まれるタイムスタンプと、バケツトへッダ部を指す情報とからなるパケット情報を参照することで任意の再生位置を容易に求めることができる。

請求項 1記載の発明において、符号された画像データのパケットヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるバケツト情報を作成するパケット情報作成手段 3を備えるようにしても良い。

この発明によれば、パケット情報作成手段により、他の装置で符号化された画像デ一夕のバケツト情報を作成することができるので、そのバケツト情報に基づいて任意の再生位置を求めることができる。

例えば、符号化された画像デ一夕が MP EGストリームの場合には、 MPE Gストリームのバケツ卜ヘッダに含まれるプレゼンテーションタイムスタンプ PTSと、パケットヘッダのファイルアドレスとからなるパケット情報が作成され、さらにパケット情報のリストが作成される。

MP EGストリームのビデオバケツトのプレゼンテーションタイムスタンプ PTSは、全てのピクチャスタートコ一ドに対応して付加され、オーディオパケットの PTSは全てのバケツトに付加される。 MP EGストリームから得られる P T Sや復号化手段で得られるシステムタイムクロック STCなどのタイムスタンプは、 MPEG 1であれば、 90kHz のカウン夕でカウントされる全てのストリームで共通の情報である。従って、この PTSを利用することで、フレームレートに依存しない時間情報を得ることができる。

例えば、再生位置が画像データの先頭のバケツ卜からの時間で指定された場合に、その時間をタイムスタンプ TSに変換し、タイムスタンプ TSの値に近い値を有するバケツト情報をバケツト情報リストから探すことで、該当するパケットのファイルアドレスを取得することができ、任意倍速再生などの特殊再生、特殊録画再生を容易に実現できる。

さらに、画像を符号化して外部または内部の記録媒体に記録させる符号化手段を備えるようにしても良い。

この発明によれば、画像を符号化して記録する際に、符号化された画像デ一夕のバケツトヘッダ部のタイムスタンプと、バケツトヘッダを指す情報とからなるパケット情報を作成することができる。これにより、任意倍速での画像の正逆再生、ランダムアクセス等の特殊再生、ライブモニタ、リアルタイムシフト等の特殊録画を、ハードウェアを増やさず、録画、再生処理を複雑にせずに実現できる。

また、符号化手段の画像の符号化処理、符号化された画像データを記録手段に転送する録画データ転送処理、記録手段に記録された画像デー夕を復号化手段へ転送する再生データ転送処理及び復号化手段における画像データの複号化処理をマルチタスク化するようにしても良い。

この場合、録画データ転送タスクと、再生データ転送タスクを別タスクとすることで、データ転送処理の記述を簡素化できる。

また、データ転送タスク毎にデ一夕転送のブロックサイズを個別に設定することで、特殊再生、特殊録画再生時のデータ転送の効率化を実現できる。

さらに、録画データの転送タスクの優先順位を、再生デ一夕の転送タスクの優先順位より高く設定できるようにしても良い。

この場合、録画データ転送タスクの優先順位を高くすることにより、記録すべきデータが欠落するのを抑制できる。

本発明の 1つの形態では。データ位置としてバケツトヘッダのアドレス情報 (ファイルポインタ）を、時間情報としてパケットヘッダに含まれる P T Sを利用する。 M P E G形式でデータを符号化する場合、符号化手段で P T Sをパケッ卜に付加するので、バケツト情報作成手段は特殊再生用に特別にデータを作成することなしに P T Sを利用することで特殊再生用のリストの作成が簡単に行える。また符号化手段は、 G O Pヘッダを含むパケットヘッダを抽出する際に、 G O Pスタートコードを利用しているので、 G O Pスタートコードを含むパケッ卜のパケット情報を得ることも容易となる。図面の簡単な説明

図 1 A、 1 Bは本発明の原理構成図である。

図 2は、第 1の実施の形態の構成を示す図である。図 3は、 MP EGストリームの構成の説明図である。

図 4は、 MP EGビデオストリームの構成の説明図である。

図 5は、 MP EGビデオストリ一ムのフレームの構成の説明図である。

図 6は、第 1のバケツト情報参照方法に基づく処理のフローチャートである。図 7は、第 2のパケット情報参照方法に基づく処理のフローチャートである。図 8は、第 3のバケツト情報参照方法に基づく処理のフローチャートである。図 9は、 N倍速再生の処理のフローチャートである。

図 10は、簡易再生処理のフローチャートである。

図 1 1は、クリップ編集処理のフローチャートである。

図 12は、第 1の実施の形態のタスクの説明図である。

図 13は、第 2の実施の形態の構成を示す図である。

図 14は、第 2の実施の形態のタスクの説明図である。

図 15は、ュ一ザインターフェースタスクの処理のフローチャートである。図 16は、メインタスクの処理のフローチャートである。

図 17は、再生タスクの処理のフローチャートである。

図 18は、再生デ一夕転送タスク 34 a、 64 aの処理のフローチャートである。

図 19は、再生データ転送タスク 34 b、 64 bの処理のフローチャートである。

図 20は、録画タスクの処理のフローチャートである。

図 21は、録画デ一夕転送タスク 35 a、 65 aの処理のフローチャートである。

図 21は、録画デ一夕転送タスク 35 b、 65 bの処理のフローチャートである。

図 23は、第 3の実施の形態の構成を示す図である。図 24は、記録媒体を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態を図面を参照しながら説明する。図 2は、本発明の第 1の実施の形態の MP EGストリームの記録再生装置の構成を示す図である。

符号化部 21は、入力される画像を MP EG形式の画像データ（MPEGストリ一ム）に変換し、変換した MPEGストリームをメモリ 22に出力する。パケット情報作成部 23は、 MP EGストリームのパケットヘッダに含まれるプレゼンテーションタイムスタンプ P T S (Presentation Time Stamp) と、バケツトヘッダのファイルァドレスとからなるバケツト情報を作成し、 GOP を含むバケツトヘッダのバケツト情報からなるバケツト情報リストを作成する。なお、符号化部 21がビデオ符号化とオーディオ符号化が可能なときには、パケット情報に GOPと同期しているオーディオバケツ卜の PTSとファイルァドレスを加える。

図 3は、 MP EGストリームの構成を示す図である。ビデオパケット、ォーディォパケットには、アクセスユニットと呼ばれる復号再生の単位毎に、いつ復号再生すべきかを示すタイムスタンプ TSと呼ばれる情報が付加される。図 3に示すように MP EGストリームの上位階層は、ストリーム全体の概要を記述したシステムヘッダとパックとからなる。 1つのパックは、パックの開始コード、識別コード等を含むパックヘッダと複数のパケットからなる。パケットは、パケットヘッダとビデオエレメンタリストリーム（Video Elementary Stream) やオーディオエレメン夕リストリーム（Audio Elementary Stream) を含むパケットデータとからなる。パケットヘッダには、 MPEGストリームを再生出力する際の時刻管理情報として用いられるプレゼンテーションタイム (Presentation Time Stamp) が含まれる。

図 4は、 MPEGビデオストリームの構成を示す図である。 MPEGビデオストリ一ムは、シーケンス層と GO P層とピクチャ層とスライス層とマクロブロック層とから構成されている。

シーケンス層 41は、画面サイズ、マクロブロック数等の情報からなるシ一ケンスヘッダと、 G〇Pとシーケンスェンドコードとから構成されている。

00?層42は、 GOPヘッダ情報と 1つの GOPに属する Iピクチャ、 B ピクチャ、 Pピクチ等から構成されている。 Iピクチャはフレーム間予測を行わず 1つのフレームの情報から生成される画像デ一夕であり、 Pピクチャは、 Iピクチャまたは Pピクチャからの予測により生成される画像データであり、 Bピクチャは、 Iピクチャと Pピクチャの双方向予測により生成される画像デ一夕である。

ピクチャ層 43は、ピクチャヘッダ情報と複数のスライスとから構成されている。スライス層 44は、スライスヘッダ情報と複数のマクロブロックとから構成されている。マクロブロック層 45は、マクロブロック情報と複数のプロックとから構成されている。

図 5は、 MP EGビデオストリームのフレーム構成を示す図である。シ一ケンスは複数の GOPからなり、 1つの GOPは複数のピクチャからなり、 1つのピクチャは複数のマクロブロックから構成されている。

図 2に戻り、符号化部 21で符号化されメモリ 22に格納された MP EGストリームは、図示しない制御部により、ハードディスク、光磁気ディスク等からなる情報蓄積部 24に格納される。

例えば、ュ一ザにより時間で再生位置が指定されると、制御部は、パケット情報参照部 25により参照されるバケツト情報に基づいて M P E Gストリームの再生位置を求め、該当する MPEGストリームを情報蓄積部 24から読み出して復号化部 2 6に出力する。復号化部 2 6は、その M P E Gストリームを復号して出力する。

ここで、パケット参照部 2 5におけるパケット情報の参照方法を、図 6〜図 8を参照して説明する。

本実施の形態では、 M P E Gストリームの G O Pヘッダを含むパケットのパケッ卜情報を項番号順に記憶したバケツ卜情報リストを作成し、項番号により再生位置を指定する方法（これを第 1のパケット情報参照方法と言う）と、 M P E Gストリームの先頭を基準とした時間で再生位置を指定する方法（これを第 2のパケット情報参照方法と言う）と、復号処理中のパケットを基準とした時間で再生位置を指定する方法（これを第 3のパケット情報参照方法と言う）の 3種類の方法を用いている。

第 1のバケツト情報の参照方法では、バケツト情報作成部 2 3が M P E Gストリ一ムの G〇 Pへッダを含むパケットへッダの P T Sとパケットへッダのフアイルアドレスとからなるパケット情報に順に項番号を付与してバケツト情報リストを作成する。

以下、上記のようなパケット情報リストが作成されていることを前提にして、第 1のパケット情報参照方法に基づく処理を、図 6のフローチャートを参照して説明する。

例えば、ユーザから k倍速での再生が指定された場合には、パケット情報リストから k個おきにパケット情報を読み出すために、項番号 kを指定する（図 6， S 1 1 )。次に、その項番号 kのファイルアドレス Akを取得する（S 1 2 )。そして、そのファイルアドレス Ak に基づいて情報蓄積部 2 6の該当する位置にヘッドを移動させ、順にデータを読み出し、読み出したデ一夕を復号化部 2 6で復号して画像を再生する。

この第 1のバケツ卜情報参照方法によれば、バケツト情報リストの項番号を指定することにより情報蓄積部 24から該当する MPEGストリームを読み出す為のファイルアドレスを取得することができるので、ランダムアクセス、任意倍速での正逆再生処理、あるいは後述するリアルタイムシフト、ライブモニ夕等の特殊録画再生処理における読み出し位置あるいは書き込み位置を決定するための処理が簡略化でき、処理時間を短縮することができる。

次に、第 2のパケット情報参照方法について説明する。第 2のパケット情報参照方法においては、パケット情報作成部 23が、 MPEGストリームの G〇 Pを含むバケツ卜のヘッダに含まれるプレゼンテーションタイムスタンプ PT Sと、該当するパケットヘッダのファイルアドレスとからなるバケツト情報を作成し、そのバケツ卜情報に記録順に項番号を付与したバケツ卜情報リストを作成する。なお、第 2のパケット情報参照方法では、項番号を付与しないパケット情報リストを作成することもできる。

上記のようなパケット情報リストが作成されていることを前提にして、第 2 のバケツト情報参照方法について図 7のフローチャートを参照して説明する。アプリケーションまたはユーザにより MP EGストリームの先頭からの時間で再生位置が指定されると（図 7, S 21)、指定された時間がタイムスタンプ TSに変換される（S 22)。

例えば、 MP EGストリームの先頭を基準にして H時 M分 S秒の位置から再生を開始したい場合には、時間を秒単位に変換し、その時間をシステムクロックの周波数で除算した値をタイムスタンプ TSとして求める。この演算は次式で表すことができる。

TS= (HX60X60 + MX60+S) / (システムクロックの周波数）（1) 次に、バケツト情報リストの項番号 1のタイムスタンプ PTS 1を取得し、そのタイムスタンプ PTS 1に上記の（1) 式により求めたタイムスタンプ T Sを加算して、指定された時間をタイムスタンプ PTS n' に変換する（S 2 3)o (1) 式で求めたタイムスタンプ TSと項番号 1のプレゼンテーション夕ィムスタンプ PTS 1とから次式により PTS n' を求めることができる。

PTSn' =PTS 1 +TS · · · · (2)

次に、パケット情報リストから項番号 n (例えば、初期値 n= l) のタイムスタンプ PTS nを読み出し、そのタイムスタンプ PTS nの値が目的とする再生位置のタイムスタンプ PTSn' に最も近いか否かを判別する（S 24)。項番号 nのタイムスタンプ PTS nの値が目的とする再生位置のタイムス夕ンプ PTSn' の値と所定値以上離れているいる場合には（S 24， NO), ステップ S 25に進み項番号 nを更新した後、ステップ S 24に戻り、更新された項番号 nのタイムスタンプ PTS nをバケツト情報リストから読み出し、上述した判別を行う。

ステップ S 24， S 25の処理を繰り返し、目的とする再生位置のタイムスタンプ PTSn' に最も近いタイムスタンプ PTS nを有する項番号が得られたなら（S 24， YES), パケット情報リストから該当する項番号 nのファィルアドレス An を取得する（S 26)。そして、そのファイルアドレス An のパケットデータを情報蓄積部 24から読み出して復号化部 26へ出力し、 MP EGストリームを復号再生する。これにより、指定された時間に対応する位置から画像を再生することができる。

次に、第 3のバケツト情報参照方法について説明する。この第 3のバケツト情報参照方法においても第 2のバケツト情報参照方法と同様に、パケット情報作成部 23が、 MP EGストリームの G〇Pヘッダを含むバケツトヘッダを抽出し、バケツトヘッダに含まれるプレゼンテ一ションタイムスタンプ PTSと、バケツトヘッダのファイルァドレスとからなるバケツト情報を作成する。さらに、そのパケット情報に順に項番号を付与したバケツト情報リストを作成する。以下、このパケット情報リストが作成されたことを前提にして、第 3のパケット情報参照方法に基づく処理を図 8のフローチャートを参照して説明する。復号処理中のバケツトを基準として時間 H時 M分 S秒が指定されると（図 8， S 3 1)、指定された時間を、上述した（1) 式によりタイムスタンプ TSに変換する（S 32)。次に、復号化部 26においてカウントされている復号処理中のバケツ卜のシステムタイムクロック STCに上記のタイムスタンプ TS を加算し、目的とする再生位置のタイムスタンプ PTSn' を算出する（S 3 3)。この演算は次式で表すことができる。

PTSn' =STC + TS · · · · (3)

次に、パケット情報リストから項番号 n (例えば、初期値 n= lとする）のタイムスタンプ PTS nを読み出し、そのタイムスタンプ PTS nの値が目的とする再生位置のタイムスタンプ PTSn' に最も近いか否かを判別する（S 34)。

項番号 nのタイムスタンプ PTS nの値が目的とする再生位置のタイムス夕ンプ PTSn' の値と所定値以上離れているいる場合には（S 34， NO)、ステップ S 36に進み項番号 nを更新した後、ステップ S 34に進み、新たに指定された項番号 nのタイムスタンプ PTS nをバケツ卜情報リストから読み出し、上述した判別を行う。

ステップ S 34， S 35の処理を繰り返し、目的とする再生位置のタイムスタンプ PTSn' に最も近いタイムスタンプ PTS nが検出されたなら（S 3 4, YES)、パケット情報リストから該当する項番号 nのファイルアドレス An を取得する（S 36)。そして、そのファイルアドレス An のパケットデ一夕を情報蓄積部 24から読み出して複号化部 26へ出力し、 MPEGストリームの復号を行わせる。これにより、指定された時間に対応する位置から MP E Gストリームの再生が開始される。

上述した第 2及び第 3のパケット情報参照方法によれば、 MPEGストリ一ムの先頭を基準とした時間、あるいは再生処理中のバケツトを基準とした時間で再生位置が指定された場合に、バケツト情報リストを参照してそれぞれの時間に対応する再生位置を簡易に求めることができる。

次に、第 1の実施の形態の MP E Gストリームの記録再生装置における特殊再生機能、特殊録画再生機能について説明する。特殊再生機能としては、ランダムアクセス、任意倍速再生（早送り再生、簡易逆再生）、クリップ編集、リピート再生があり、特殊録画再生機能としては、リアルタイムシフト、ライブモニタがある。

最初に、 GOPを N個おきに再生する任意倍速再生処理を図 9のフローチヤートを参照して説明する。

先ず、タイムスタンプ T S = 0にして第 3のバケツト情報参照方法により、現在復号中のデータに対応するバケツト情報リストの項番号 kのファイルァドレス Akを取得する（図 9, S41)。次に、パケット情報リストを参照して次の項番号 k+ 1のファイルアドレス Ak+ 1を取得する（S 42)。そして、それらのアドレス情報から読み出し開始点のアドレスとして" Ak" を、読み出し終了点のアドレスとして項番号 k + 1のファイルアドレス" Ak+1" の 1つ前のアドレス" Ak+1— l" を求める。

次に、情報蓄積部 24のヘッダ（読み取りノ書き込み部）をファイルァドレス Ak に対応する位置へ移動させる（S 43)。そして、ファイルアドレス Ak から Ak+ 1までのストリームを読み出し、読み出したストリームを複号化部 26へ出力する（S 44)。

次に、 kの値に Nを加算した値を新たな kの値として設定した後（S 45)、ステップ S 41に戻り、項番号 kのパケット情報を読み出す。これらの処理により、バケツト情報リストに登録されているファイルァドレスが N個おきに読み出され、そのファイルアドレスで指定される GOPを読み出すことで N+ 1 倍速の再生を実現できる。

なお、復号化部 26がフレームスキップ機能を有する場合には、そのフレームスキップ機能と上述した任意倍速の再生処理とを組み合わせることでより滑らかな再生を行うことができる。例えば、複号化部 26が Bピクチャのスキップ機能を有する場合に、 GOPが" Ι ΒΒΡΒΒΡΒΒΡ · · · " のように構成されるストリームに対して Bピクチャをスキップさせ、上述したように G〇 Pを N個おきに再生することで 3 (N+ 1) 倍速の再生を実現できる。また、 Bピクチャをスキップさせると、 GOPの先頭にあって GOP間で双方向の動きべクトルの参照が行われる Bピクチャを表示しないので、 GOP境界部後続の G〇 Pへッダの変更なしに G O P境界部での画像ノィズの発生を抑えることができる。

上述した任意倍速の再生処理において、 Nを負の値とすることで簡易逆再生を実現できる。以下、この簡易逆再生処理を図 10のフローチャートを参照して説明する。

先ず、タイムスタンプ TS = 0に設定し、第 3のパケット情報参照方法により、現在復号中のデータに対応するバケツト情報リストの項番号 kのファイルアドレス Akを取得する（図 10， S 51)。この場合逆再生であるので、パケット情報リストの項番号が 1つ前の項番号 k— 1のファイルアドレス Ak- 1 を取得する（S 52)。次に、情報蓄積部 24の読み取り書き込み部をフアイルアドレス Ak- 1 の位置に移動させる（S 53)。そして、ファイルアドレス A k-1 から Ak までのストリームを読み出し、読み出したストリームを復号化部 26を出力する（S 54)。次に、 kの値から Nを減算した値を新たな kの値として設定した後（S 55)、ステップ S 5 1に戻り、項番号 kのパケット情報を読み出す。これらの処理により、パケット情報リストに登録されているフアイルアドレスが N— 1個おきに読み出され、そのファイルアドレスで指定される G O Pを読み出すことで N倍速の簡易逆再生を実現できる。

なお、この簡易逆再生では、 1 G〇Pの画像データが時間軸上で正順に再生されるので、この点を改善するために、 1 G O Pにっき Iピクチャ相当分のデ一夕しか読み出さないようすることで、視覚的違和感を除去することができる。このときの再生開始点のアドレスは" Ak"、終了点のアドレスは" Ak+ ( I ピクチャ相当分のデータ）となる。

また、復号化部 2 6が Bピクチヤスキップ機能と Pピクチャスキップ機能とを有する場合には、それらの機能を利用することで Iピクチャのデ一夕量を調ベる必要が無くなるのでより処理を軽減できる。

また、所望の位置から再生を開始するランダムアクセスを実行したい場合には、アプリケーションからは通常、再生開始点が時間情報で与えられるので、上述した第 2または第 3のバケツ卜情報参照方法により再生開始位置を求め、アクセスしたい位置へ情報蓄積部 2 4のへッドを移動させ、連続的にストリ一ムを読み出す。

次に、クリップ編集処理について説明する。 1つ以上ストリームに対して、任意の 1組以上の開始点、終了点で指定されるストリームをクリップと呼ぶ。このクリップを編集する際に、開始点、終了点をファイルを直接分割や結合を行わずに、クリップの開始点と終了点をストリーム先頭からの時間またはパケッ卜情報のリストの項番号で指定する。

以下、クリップ編集処理を図 1 1のフローチャートを参照して説明する。パケット情報を参照して再生開始点として項番号、 P T S、ファイルアドレスの何れか 1つを取得する（図 1 1， S 6 1 )。次に、パケット情報リストを参照して指定されたデータの項番号、 P T S、ファイルアドレスの何れかを終了点の情報として取得する（S 6 2 )。そして、それらの開始点、終了点をクリツプの情報として登録する。クリップの再生時は、開始点と終了点で指定されるストリームのみを第 1、第 2または第 3のバケツト情報参照方法によって読出すことで、効率よい処理が可能となる。また、クリップしたストリームを削除する場合には、登録されている開始点、終了点以外のストリームを削除する。

上述したクリップ編集処理では、クリップの開始点と終了点に関する情報のみが情報蓄積部 2 6に記憶され、従来のようにクリップする画像全体がコピーされるわけではないので、情報蓄積部の容量を節約することができる。

また、同じ区間のストリームを任意の回数再生するリピート再生を行う場合にも、パケット情報リストを利用して効率的に再生を行うことができる。リピート再生の開始点と終了点をバケツト情報リストを参照して第 1、第 2または第 3のバケツト情報参照方法により取得することにより、リピート再生処理を効率的に行うことができる。また、リピート再生が指定されたときの再生位置を再生開始点として取得することで、リピート再生の開始点または終了点の一方のみ指定するば良いのでユーザのリピート再生を指定するときの操作が簡単になる。

例えば、再生中に M分後までのリピート再生を指定する場合、開始点は上述した第 3のパケット情報参照方法により T S = 0して自動的に決まるので、ュ一ザ開始点を指定する必要がない。また、逆に M分前からのリピート再生を指定する場合には、ユーザが終了点を指定しなくとも、自動的に決めことができ、リピ一ト再生の操作を簡略化できる。

次に、録画と再生を同時に行うリアルタイムシフト、ライブモニタ等の特殊録画再生機能について説明する。

M P E Gストリームの録画再生装置において、情報蓄積部がランダムァクセス可能で、かつアクセススピードが十分速い場合には、録画と再生を同時に行うことが低コス卜で実現できる。同一ストリームに対して同時に録画と再生が行われることをリアルタイムシフトと呼ぶ。情報蓄積媒体の容量が無限であれば、常にストリームの終端に録画を行えばよい。しかし、無限容量の蓄積媒体は現状では実現不可能である。そこで、既に再生された位置に録画を行えば、再生停止や一時停止、逆再生などを行わない限り、無限に録画できることになる。

現在再生中のストリームのファイルアドレスは、例えば、第 3のパケット情報参照方法でタイムスタンプ TS = 0としたときに、（3) 式から PTSn' が得られるので、その PTSn' の値からパケット情報リストを参照して取得することができる。そして、タイムスタンプ TS≤0となるファイルアドレスを録画開始点とすることで、既に再生された情報記憶部 24の記憶領域に MP EGストリームを連続的に録画することができる。

なお、情報蓄積部 24の容量が一定であるため、ストリームサイズはあらかじめ決められている必要がある。バケツト情報に記述されるファイルアドレス ADDRES S' がストリームサイズ S Sを超える場合には、以下のようにして実際のファイルアドレス ADDRES Sを決定する。

ADDRES S=ADDRES S' %S S · · · · (4)

ここで、" %" は剰余を求める演算記号である。

リアルタイムシフトを行う場合のパケット情報リストの更新は、例えば、第 3のパケット情報参照方法により T S≤ 0の条件で得られる P T Sより小さい PTSを持つ項目を削除し、新たに録画されたストリームのバケツト情報を追加することで実現できる。

また、リアルタイムシフトにおいて、録画開始点に対して復号中のストリームが十分近い場合、直前に記録されたストリームを読み出して再生することことにより、ストリームが記録されたか否かを確実に確認することができる。このような特殊録画再生をライブモニタと呼ぶ。例えば、監視システムにおいては、映像などが本当に記録されているかを確認する必要があり重要な機能である。

上述した特殊再生機能、特殊録画再生機能においては、再生するストリームや録画されたストリーム、パケット情報など、同時に複数のデータが流れ、デ —夕転送処理が煩雑になる。加えて、特殊再生時ではフレームスキップを行う場合もありデー夕転送頻度が変化することもあるので、データ転送処理が一層煩雑になる。そこで、システムの制御を簡単化するため、本実施の形態では、マルチタスク〇Sにより符号化部 2 1、複号化部 2 6、メモリ 2 2、情報蓄積部 2 4などを制御している。本実施の形態においては、再生、録画といった基本的機能をタスク化し、それぞれの処理を別個に制御可能とすることでデータ転送処理等の煩雑さを低減している。

図 1 2は、第 1の実施の形態の画像記録再生装置において、マルチタスク O Sにより少なくとも 1チャネル分の録画、再生タスクを管理する場合のタスクの説明図である。

再生タスク 3 2、録画タスク 3 3はメインタスク 3 1により、再生開始 Z停止、録画開始 Z停止の命令を受けて処理を行う。そして、再生タス 3 2クと録画タスク 3 3はデ一夕転送処理を行うタスクを制御する。

再生タスク 3 2は、情報蓄積部 2 4からメモリ 2 2へのデータ転送を行う再生デ一夕転送タスク 3 4 aと、メモリ 2 2から複号化部 2 6へのデータ転送を行う再生データ転送タスク 3 4 bとを制御する。

録画タスク 3 3は、符号化部 2 1からメモリ 2 2へのデータ転送を行う録画デ一夕転送タスク 3 5 aと、メモリ 2 2から情報蓄積部 2 4へのデータ転送を行う録画データ転送タスク 3 5 bとを制御する。これらのタスクの処理内容については後述する第 2の実施の形態において説明する。

情報蓄積部 2 4では、内部パラメータの調整や記録領域の欠陥等が検出されて別領域に書き込みを行う交代処理等の内部処理により、デ一夕の書き込み Z 読み出しが数秒間停止することがある。本実施の形態では、デ一夕転送ブロック毎にタスクを分割することで、情報蓄積部 24での処理の中断があっても、他のタスクへの影響を低減し、安定したデータ転送を続けることが可能となる。次に、図 13は、本発明の第 2の実施の形態の MPEGストリームの記録再生装置の構成を示す図である。

この第 2の実施の形態は、記録再生装置がビデオ信号とオーディオ信号の符号化、復号化機能を有し、 MPEGストリームを複数の情報蓄積部に記録できるようになっている。以下の説明では。図 2で説明したブロックと同じブロックには同じ符号を付けてそれらの説明を省略する。

オーディオ信号、ビデオ信号は、それぞれオーディオ符号化部 41，ビデオ符号化部 42において、 MP EG形式のオーディオストリーム、ビデオストリ —ムに符号化される。そして、多重化部 43において、ビデオストリームとォ一ディォストリームが多重化されてデータバス 44に出力される。

多重化された MP EGストリームは、 MPU 45の制御の元にデータ入出力インターフヱース部 46を介して複数の情報蓄積部 47 a、 47 b - · ·の何れかに格納される。デ一夕入出力イン夕一フエ一ス部 46は、 SCS I、 AT AP I、または I EEE 1394等の規格に準拠したものである。

画像の再生時には、情報情報蓄積部 47 aまたは 47 bから読み出される多重化された MP EGストリームが分離部 48においてオーディオストリームとビデオストリームに分離され、それぞれオーディオ複号化部 40，ビデオ復号化部 50において元のオーディオ信号、ビデオ信号に復号される。

この記録再生装置は、データ入出力ィンターフェ一ス部 46を介して計算機 51と接続されており、計算機 51と互換性のあるファイルシステムを用いている。従って、第 2の実施の形態の記録再生装置に接続される情報蓄積部 47 a、 47 bが可換性記録媒体でも、非可換性記録媒体でも、それらの記録媒体に記録した画像データを計算機 51との間で交換することが可能となる。さらに、計算機 51が符号化した MPEGストリーム、あるいは計算機 51がネットワーク経由でダウンロードした MP EGストリームを記録再生装置で再生、編集することが可能となる。

この第 2の実施の形態においては、 MPU45はマルチタスク OS環境下で動作し、図 14に示すように複数チャネルの再生タスク 32, 62，録画タスク 33， 63を実行することができる。

図 14において、ユーザインターフエ一ス（U I) タスクは、 GU Iの制御、リモコンの操作信号の検出、パネルポタンの操作信号の検出等を行うタスクであり、検出内容をメッセージとしてメインタスク 33に通知する。

図 15は、このュ一ザイン夕一フェースタスク 61の処理フローチャートである。ユーザインターフェースタスク 61は、リモコンやパネルボタンが操作されたか否かを判別し（図 15， S 7 1)、リモコン、あるいはパネルポタンが押されていないときには、それらの検出処理を繰り返す。

リモコンまたはパネルポタンが押された場合には（S 72、 YES), メインタスク 31に操作内容を通知する（S 72)。

メインタスク 33は、ユーザインタ一フェースタスク 61、録画タスク 33, 63、再生タスク 32， 62からのメッセージに従って録画タスク 33, 63，再生タスク 32， 62を制御する。

図 16は、メインタスク 31の処理のフローチャートである。メインタスク 31は、最初にパラメ一夕の設定等の初期化処理を実行する（図 16， S 81)。次に、他のタスクからのメッセージを受信し（S 82)、そのメッセージが終了メッセージか否かを判別する（S 83)。

受信したメッセージが終了メッセージではないときには（S 83， NO)、 'S 84に進み、メッセージの内容に応じて再生中、録画中等の状態を示す情報を設定する。さらに、設定した情報に基づいて再生タスク 32， 62、あるいは録画タスク 33, 63に再生または録画の開始、あるいは終了のメッセージを送信し（S 84)、その後ステップ S 82に戻る。

受信したメッセージが終了メッセ一ジのときには（S 8 3, YES), すなわち、ユーザイン夕一フェースタスク 6 1がユーザの録画、あるいは再生の終了操作を検出し、ュ一ザイン夕一フェースタスク 6 1からメインタスク 33へ終了メッセージが送信された場合には、終了処理を実行し、設定したパラメ一夕を元に戻してタスクを終了させる（S 86)。

再生タスク 32、 62，録画タスク 33、 63は、メインタスク 3 1からの再生開始 Z停止、録画開始 Z停止のメッセージを受信すると、再生処理、録画処理を実行する。

図 1 7は、再生タスク 32， 62の処理のフローチャートである。再生タスク 32、 62は、最初にパラメータの設定等の初期化処理を実行する（図 17， S 9 1)。次に、他のタスクからのメッセージを受信し（S 92)、そのメッセ —ジが終了メッセージか否かを判別する（S 93)。

受信したメッセージが終了メッセージではないときには（S 93， NO)、ステップ S 94に進み、例えば、受信メッセージが再生の開始を指示するものであれば、再生開始状態に設定を変更する。そして、メインタスク 3 1から指示された命令に従って再生データ転送タスク 34 a、 34 bまたは 64 a、 6 4 bに実行する処理内容を指示するメッセージを送信し（S 9 5)、ステップ S 92に戻る。

受信したメッセージがタスクの終了を指示するメッセージの場合には（S 9 3， YES), ステップ S 96に進み、終了処理を実行してタスクを終了させる。図 18は、情報蓄積部 27 a、 27 b - ·から読み出した符号化されたデー夕をデ一夕入出力イン夕フェース部 46を介してメモリ 22へ転送する再生デ —夕転送タスク 34 a、 64 aの処理内容を示すフロ一チャートである。

再生データ転送タスク 34 a、 64 aは、最初に初期設定処理を実行してパラメ一夕の設定を行う（図 18， S 1 0 1)。次に、他のタスクからメッセ一ジを受信し（S 102)、そのメッセージがタスクの終了を指示する終了メッセージか否かを判別する（S 103)。

受信したメッセージが終了メッセージではないときには（S 103， NO), そのメッセ一ジが特殊再生または特殊録画再生に関するメッセージか否かを判別する（S 104)。

受信したメッセージが特殊再生または特殊録画再生に関するメッセージであつた場合には（S 104, YES), ステップ S I 05に進み、メッセージの指示内容に基づいてバケツト情報リストを参照する。

例えば、メッセージが N倍速の再生を指示するものであれば、前述した第 1 のパケット情報参照方法によりパケット情報リストから N— 1個おきに G O P のファイルアドレスを読み出す。

受信したメッセージが特殊再生、特殊録画再生を指示するメッセージでなければ（S 104, NO)、そのままステップ S 106に進む。

次に、メッセージで指示された再生または録画の内容に応じて必要なデ一夕転送量を算出する（S 106)。

このデータ量の算出処理では、例えば、メッセージで指示された処理内容が任意倍速の順方向の再生であれば、上述したステップ S 105で参照したパケット情報リストのファイルアドレスから 1 G〇P分のデ一夕転送量を算出する。また、録画と再生を同時に行うリアルタイムシフトで、早送り再生を行った場合には、再生位置が録画位置を超えないようなデータ転送量を算出する。次に、上述したバケツト情報リストを参照して取得したファイルアドレスに基づいて情報蓄積部 47 a、 47 b - ·からのデータの読み出し位置をデータ入出力インターフェース部 46に指示し、データ入出力イン夕一フェース部 4 6から出力されるデ一夕をメモリ 22へ転送し、ライトポィン夕の指す位置に書き込む（S 107)„ デ一夕転送後、メモリ 22のライトポインタの値を変更する（S 108)。さらに、データ転送処理の終了、継続、エラーなどの結果を知らせるメッセージを再生タスクに送信する（S 109)。その後、ステップ S 102に戻り、上述した処理を繰り返す。

また、ステップ S 103で受信したメッセージが終了メッセージと判別された場合には（S 103， YES), ステップ S I 10に進み、終了処理を実行してタスクを終了させる。

次に、図 19は、メモリ 22から分離部 48へデ一夕を転送する再生データ転送タスク 34b、 64 bの処理のフローチャートである。

図 19のステップ S 1 1 1〜S 1 14及び S 120の処理は、図 18のステップ S 101〜S 104及び S 1 10の処理と同じである。

ステップ S 1 14で、受信したメッセージが特殊再生 ·特集録画再生を指示するメッセージと判別された場合には（図 19， S 1 14, YES), ステツプ S 1 1 5に進み、オーディオ復号化部 49，ビデオ復号化部 50の設定を変更する。この設定の変更は、例えば、特殊再生、特殊録画再生の場合には、フレームスキップなどを行わせるように変更する。

次に、メモリ 22に記憶されている再生データのデ一夕転送量を算出し（S 1 16)、リードポインタの指すデータをメモリ 22から読み出し、読み出した再生データをオーディオ復号化部 49及びビデオ複号化部 50へ転送する (S 1 17)。転送が終了したなら、リードポインタの値を変更する（S 1 1 8 )。そして、データ転送処理の終了、継続、エラ一などの結果を知らせるメッセージを、データの転送指示を行った再生タスク 32または 62へ送信する (S 1 19)。その後、ステップ S 1 12に戻り、上述した処理を繰り返す。図 20は、録画タスク 33, 63の処理のフローチャートである。録画タスク 33， 63は、最初に、初期化処理を実行してパラメ一夕の設定を行う（図 20, S 121)₀ 次に、他のタスクからのメッセ一ジを受信し（S 122)、そのメッセージが終了メッセージか否かを判別する（S 123)。

受信したメッセージが終了メッセージではないときには（S 123, N〇）、ステップ S 124に進み、設定変更処理を実行する。この設定変更処理では、例えば、受信メッセージが録画の開始を指示するものであれば、タスクの状態を録画開始状態に設定し、録画の中止を指示するものであれば、録画中止状態に設定する。

次に、指示されたメッセージの内容に応じて録画データ転送タスク 35 a、 35 bまたは 65 a、 65 に、データの転送の開始または終了を指示するメッセージを送信する（S 125)。その後、ステップ S 122に戻る。

受信したメッセージが終了メッセージであった場合には（S 123， YES), ステップ S 126に進みタスクを終了させる。

次に、図 21は、録画時に、オーディオ符号化部 41，ビデオ符号化部 42 からメモリ 22へのデータ転送を行う録画データ転送タスク 35 a、 65 aの処理のフローチヤ一トである。

録画データ転送タスク 35 a、 65 aは、最初に、パラメータの設定等を行う初期化処理を実行する（図 21， S 131)。次に、メッセージを受信し（S 132)、そのメッセージが終了メッセージか否かを判別する（S 132)。

受信したメッセージが終了メッセージではない場合には（S 133， ΝΌ)、ステップ S 134に進み、メッセージが特殊録画再生を指示するメッセージか否かを判別する（S 134)。受信メッセージが特殊録画再生を指示するメッセージの場合には（S 134， YES), ステップ S 1 35に進み、バケツト情報を更新した後、ステップ S 136に進む。このバケツト情報の更新処理では、バケツト情報リストの再生済の MP EGストリームのバケツト情報を、新たに録画する MPEGストリームのビデオバケツトとそのビデオバケツトと同期するオーディオパケットのタィムスタンプ等のバケツト情報で上書きする。

他方、受信メッセージが特殊録画再生を指示するメッセージではない場合（S 134, N〇）、つまり通常の録画の場合には、オーディオ符号化部 41及びビデオ符号化部 42で符号化されたオーディオ及びビデオバケツトのタイムスタンプ等のバケツト情報をパケット情報リストに追加し、ステップ S 136に進む。

ステップ S 136では、メモリ 22の最後の書き込みアドレスを示すライトポインタと読み出しァドレスを示すリードポインタとを元にしてデータ転送量を算出する。そして、算出したデータ転送量分のデータを、オーディオ符号化部 41及びビデオ符号化部 42から多重化部 45を介してメモリ 22へ転送する（S 137)。デ一夕の転送が終了したなら、メモリの書き込み位置を示すライトポインタを最後に書き込みを行ったアドレスに変更する（S 138)。そして、録画データの転送の終了、継続、エラーなどの結果を知らせるメッセ —ジを、メモリ 22へのデータの転送を指示した録画タスク 33または 63へ送信する（S 139)。

ステップ S 133で、受信したメッセージが終了メッセージであると判別された場合には（S 133, YES), 終了処理を実行しタスクを終了させる。次に、図 22は、メモリ 22からデータ入出力インタ一フェース部 46へ録画データを転送する録画データ転送タスク 35 b、 65 bの処理のフローチヤ一卜である。図 22のステップ S 141〜S 143の処理は、図 2 1のステップ S 131 〜S 33の処理と同じであり、ステップ S 148の処理は、図 21のステップ S 140の終了処理と同じである。

ステップ S 143で、受信したメッセージが終了メッセ一ジではないと判別された場合には（S 143, NO), ステップ S I 44に進み、メモリ 22に記憶されているデ一夕量からデータ入出力インターフェース部 46へ転送するデータ量を算出する。そして、算出したデータ量分のデータをメモリ 22から読み出しデータ入出力インターフェース部 46へ転送する（S 145)。メモリ 22からのデータの転送が終了したなら、リードポインタの値を最後の読み出し位置に変更する（S 146)。そして、録画デ一夕の転送の終了、継続、エラ一などの結果を知らせるメッセージを、デ一夕入出力インターフェースへ部 46への録画データの転送を指示した録画タスク 33または 63へ送信し (S 147)、ステップ S I 42に戻る。

この第 2実施の形態によれば、ビデオ信号とオーディォ信号の符号化及び復号化機能有する記録再生装置において、画像及び音声を MP EGストリームに変換する際に、パケットヘッダに含まれる PTSと、パケットヘッダのフアイルアドレスとからなるバケツト情報を作成し、そのバケツト情報を参照することで、任意倍速再生、ランダムアクセス、クリップ編集 '再生等の特殊再生、録画と再生を同時に行うリアルタイムシフト、録画しながら直前に録画した画像を再生するライブモニタ等の特殊録画再生の録画及び再生位置を簡易に求めることができ、特殊再生、特殊再生録画処理の効率化を図れる。

さらに、録画、再生及びデータ転送処理を、マルチタスク化することで、それぞれの処理の記述を簡素化できる。また、マルチタスク処理の特長の一つとして、タスクの優先順位を設定できることがあげれらる。この特長を利用することで、複数のタスクが存在する場合でも、優先順位を高く設定したタスクは安定して動作させることができる。再生タスクと録画タスクの 2つのタスクがある場合でも、録画タスクの優先順位を高く設定することで、記録すべきデー夕の欠落を防止し、信頼性を向上させることができる。

また、オーディオ符号化部 4 1及びビデオ符号化部 4 2からメモリ 2 2へのデ一夕転送、メモリ 2 2からデータ入出力インターフエ一ス部 4 6へのデータ転送というようなデータ転送パス毎にデータ転送処理をタスク化することで、それぞれのタスクの動作頻度や転送プロックサイズを独立に設定することが可能となる。これにより、例えば、オーディオ符号化部 4 1及びビデオ符号化部 4 2からメモリ 2 2へデータを転送するデータ転送タスクのデータ転送量、あるいはタスクの動作頻度を、メモリ 2 2からデータ入出力インタ一フェース部 4 6へデータを転送するデータ転送タスクより大きく設定することで、情報蓄積部 4 7 a、 4 7 b等で一時的にデータの書き込みができなくなった場合でも、録画すべきデータが欠落してしまうという問題を防止でき、信頼性を向上させることができる。

さらに、データ転送サイズは、ストリームの読出し開始点や終了点で決まるので、通常再生時と特殊再生時とでデータ転送サイズが異なる場合には処理が煩雑となってしまうが、デ一夕転送ブロック毎にタスク化することでデータ転送量の調整が容易になる。

なお、情報蓄積部 2 4が数秒間処理が中断する場合でも、中断の頻度が小さく、中断時間に相当するデ一夕量以上のデータを転送可能であれば、タスク構成を簡略化して再生データ転送タスク 3 4 aで情報蓄積部 2 4から復号化部 2 6へ直接データ転送を行うようにしても良い。この場合、再生デ一夕転送タスク 3 4 bによるデータ転送が不要となりデ一夕転送効率が向上するので、より高いビットレートの M P E Gストリームを復号化することが可能となる。一般的にビットレートと画質には相関があり、ビットレートが高いほど画質も良くなる。従って、上述のようなタスクの簡略化が可能であれば、より高画質のストリームを扱うことが可能になり、フレームスキップ機能によりフレームスキップを行った場合でも、より滑らかな高倍速再生が可能になる。

特殊録画再生のァリルタイムシフトゃライブモニタを実行する場合、録画した M P E Gストリームのバケツト情報を速やかにバケツト情報リストに追加する必要がある。そこで、録画データ転送タスク 3 5 aで M P E Gストリームとバケツト情報を同時あるいは非常に近いタイミングで転送することで、常にパケット情報リストを最新のものに更新することができる。そして、そのバケツト情報リストを参照することで、リアルタイムシフトゃライブモニタを実現することができる。

本実施の形態の M P E Gストリームの記録再生装置で録画したストリームについては、パケット情報作成部 2 3でパケット情報をほぼリアルタイムに作成することができる。一方、パケット情報の作成機能を有しない他の装置で記録された M P E Gストリームについては、特殊再生の要求に対応するためにパケッ卜情報を作成する必要がある。そこで、パケット情報作成部 2 3は、情報蓄積部 2 4に記録される M P E Gストリームの中でバケツト情報が作成されていないものを自動的に検出、あるいはュ一ザの指定により選択されたものを、情報蓄積部 2 4からメモリ 2 2に読み出し、パケットヘッダ、 G O Pヘッダをサーチしてバケツト情報を作成する。この処理を再生や録画が行われていない時に行うことによって他のタスクへの影響を少なくできる。

また、本実施の形態の M P E Gストリームの記録再生装置では S C S I， A TA P I， I E E E 1 3 9 4などのデ一夕入出力ィンタフエース部 4 6を設けることにより、複数の情報蓄積部 4 7 a、 4 7 b · · ·、あるいは他の計算機を利用することができる。

例えば、ハードディスクなどの非可換性記録媒体の情報蓄積部 4 7 a、 4 7 b - · ·を複数もつことで、より長時間の記録が可能となり、装置の信頼性も向上する。また、ハードディスクなどの非可換性記録媒体と、光磁気ディスク、光ディスクなどの可換性記録媒体との両方を持つことで、長時間の記録が可能となり、さらに記録した M P E Gストリームを他の M P E Gストリーム再生装置で再生することも可能となる。また、ファイルシステムを他の計算機 5 1と同じものを採用することによって、 M P E Gストリームの記録再生装置の可換性記録媒体に記録した M P E Gストリームを計算機 5 1で再生や編集することが可能となる。逆に計算機 5 1で符号化して記録した M P E Gストリームゃネットワークからダウンロードした M P E Gストリームを、 M P E Gストリームの記録再生装置で再生や編集することが可能となる。さらに、計算機 5 1が、本発明の記録再生装置がサポートする記憶媒体と同一または異なる記憶媒体をサポートしている場合でも、データ入出力インタフェース部 4 6を介して、両者の記録媒体間で M P E Gストリームや他の符号化されたデータを交換することが可能となる。

次に、図 2 3は、本発明の第 3の実施の形態の記録再生装置の構成を示す図である。

この第 3の実施の形態は、録画用データ転送バス 7 3と再生用データ転送バス 7 4の 2つのデータバスを有し、デ一夕転送時のデータバスにおける転送時間のロスを低減したものである。

さらに、 2つのデ一夕バスに対応させて録画用の転送デ一夕を記憶するメモリ 7 2と、再生用デ一夕を記憶するメモリ 7 1の 2つのメモリとが設けられている。

オーディオ符号化部 4 1及びビデオ符号化部 4 2で符号され、多重化部 4 3 で多重化されたデータは、録画用データ転送バス 7 3を介してメモり 7 2へ転送され、さらに、メモリ 7 2からデータ入出力インタ一フェース部 4 6に転送されて情報蓄積部 4 7 a、 4 7 bに格納される。

また、再生時には、情報蓄積部 4 7 a、 4 7 bから読み出されたデータはデ —夕入出力インタ一フェース部 4 6から再生用デ一夕転送バス 7 4を介してメモり 7 1へ転送され、さらに、メモリ 7 1から再生用デ一夕転送バス 7 4を介して分離部 4 8へ転送される。そして、分離部 4 8において、ビデオパケット、オーディオパケットに分離され、ビデオ復号化部 5 0 , オーディオ復号化部 4 9において、それぞれビデオ信号、オーディオ信号に復号される。

この第 3の実施の形態によれば、録画用データ転送バス 7 3と再生用データ転送バス 7 4の 2つのデータ転送バスを設けることで、録画から再生への切り換え時、あるいはその逆のときに、データバス上に他のデータが存在しているか否かを考慮する必要がないので、データ転送の効率化を図れる。

図 2 4は、上述した実施の形態の記録再生装置の録画再生機能を実現するプログラムを C D _ R OM、フロッピ一ディスク等の可搬記録媒体 8 1、あるいはプログラム提供者の有する記憶装置 8 4に記憶しておいて、そのプログラムをユーザの情報処理装置 8 2にロードして実行する場合の説明図である。

記録再生プログラムが C D— R〇M、フロッピーディスク等の可搬記録媒体 8 1に記憶されている場合には、その可搬記録媒体 8 1を情報処理装置 8 2のドライブ装置に挿入してプログラムを読み取り、読み取つたプログラムを R A M、ハードディスク等のメモリ 8 3に格納してプログラムを実行する。また、プログラム提供者から通信回線を介してプログラムが提供される場合には、プログラム提供者の記憶装置 8 4、あるいはメモリ等に格納されているプロダラムを通信回線を介して情報処理装置 8 2で受信し、受信したプログラムを R A M、ハードディスク等のメモリ 8 3に格納して実行する。なお、記録媒体 8 1 に記録するプログラムは、実施の形態で述べた記録再生機能の一部の機能を実現するものであっても良い。上述した実施の形態によれば、パケットヘッダに含まれる P T Sと、バケツトヘッダのファイルァドレスとで構成されるバケツト情報を作成し、そのパケット情報を参照することで、ランダムアクセス、任意倍速再生、クリップ編集' 再生、リピート再生などの特殊再生機能、リアルタイムシフト、ライブモニタなどの特殊録画再生機能を効率的に実現できる。さらに、再生、録画、再生デ一夕転送、録画データ転送をマルチタスク化することで、それぞれの処理の記述、特にデータ転送処理の記述を簡素化できる。

さらに、録画に関わるタスクの優先順位をより高くすることで記録すべきデ一夕の欠落を抑制することができる。また、再生、録画、データ転送タスクを多チャネル化することにより、それぞれの処理に関する記述の煩雑さを低減することができる。データ転送ブロック毎にタスク化し、メモリに十分データを蓄積しておくことで、情報蓄積部で書込みや読出しが中断した場合にデータ転送が滞ってしまうことを防止できる。

データ転送ブロック毎にデータ転送量を個別に設定可能とすることで、特殊再生、特殊録画時に効率よくデータ転送を可能とすることができる。

符号化部からメモリへデ一夕転送するときに、 M P E Gストリームとともにバケツト情報を転送して常にパケット情報リストを更新することで、リアル夕ィムシフトのように予め録画時間が決められておらず、バケツト情報が未確定な場合でも、更新されたバケツト情報を用いることで録画可能な記憶領域が分かるので、特殊録画再生を容易に実現できる。

外部で符号化された M P E Gストリームでパケット情報リストを持たないものに対して、再生も録画も行われていない時にバケツト情報を作成することで、外部で符号化された M P E Gストリームの特殊再生が可能となる。

さらに、ファイルシステムを他の計算機 5 1と互換性のあるものを採用することで、他の計算機 5 1で符号化した M P E Gストリーム、計算機 5 1がネットワークからダウンロードした M P E Gストリームを、 M P E Gストリームの記録再生装置で再生や編集することが可能となる。

また、ファイルシステムを他のシステムと互換性のあるものを採用することにより、本発明に係る記録再生装置の情報蓄積部 4 7 a、 4 7 bが非可換性記録媒体であっても、可換性記録媒体であっても、他のシステムと M P E Gストリームやデータの交換が可能となり、記録再生装置の性能向上、コスト削減に寄与するところが大きい。

さらに、データ入出力インタ一フェース部 4 6を設けることにより、記録再生装置が複数の情報蓄積部 4 7 a、 4 7 b · · ·及びその他の記録媒体を利用可能となる。

上述した実施の形態は、本発明を M P E Gストリームの記録再生装置に適用した場合について説明したが、 M P E G形式のデ一夕に限らず他の形式の符号化データにも本発明は適用できる。また、録画、再生機能の両方を有する装置に限らず、再生機能のみを有する装置であっても良い。その場合、再生装置が外部または内部の記録媒体に記録された符号化されたデータから上述したパケット情報を作成する機能を有するようにしても良いし、バケツ卜情報の作成機能は持たず、他の装置で作成されたパケッ卜情報に基づいてデ一夕を再生するようにしても良い。また、符号化されたデータを記録する記録媒体は、磁気デイスク、光ディスク、光磁気ディスク等に限らず、半導体メモリ等でも良い。さらに、本発明の再生装置、記録再生装置は専用の装置であっても良いし、本発明の記録再生機能、あるいは再生機能をパーソナルコンピュータ等の情報処理装置に組み込んでも良い。

付記：本発明は、以下のような構成の画像再生装置、画像記録再生装置、画像記録再生方法及び記録媒体を含む。

( 1 ) 符号化された画像データのパケットヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるパケッ卜情報を参照するバケツト情報参照手段と、前記バケツト情報参照手段により参照されたバケツト情報に基づいて、符号化された画像データを復号する復号化手段とを備えることを特徴とする画像再生装置。

(2) 符号された画像データのパケットヘッダ部に含まれるタイムスタンプと、パケットへッダ部を指す情報とからなるパケット情報を作成するパケット情報作成手段とを備える上記（1) 記載の画像再生装置。

(3) 画像を符号化して外部または内部の記録媒体に記録させる符号化手段を備える（2) 記載の画像再生装置。

(4) 前記符号された画像デ一夕は MPEG形式で符号化された画像であり、前記バケツト情報は MP EGストリームのバケツトヘッダに含まれるプレゼンテ一シヨンタイムスタンプと、パケットヘッダのファイルアドレスとからなることを特徴とする（1)、 (2) または（3) 記載の画像再生装置。

(5) 前記パケット情報作成手段は、 MP EGストリームの GO Pヘッダを含むパケットヘッダを抽出し、 GOPヘッダを含むパケットヘッダのパケット情報からなるパケット情報リストを作成することを特徴とする（4) 記載の画像再生装置。

(6) 前記パケット情報作成手段は、任意倍速の再生が可能となるようにパケット情報に順に項番号を付与したバケツト情報リスト作成し、前記複号化手段は、前記パケット情報リストの項番号に基づいて、符号化された画像データの再生開始位置または終了位置を求めることを特徴とする（1)、 (2), (3) または（4) 記載の画像再生装置。

(7) 前記復号化手段は、 MP EGストリームの先頭からの時間を基準にして再生する場合に、前記時間をタイムスタンプに変換し、前記パケット情報に基づいて、変換したタイムスタンプに近い時間情報を有するパケットヘッダのファイルアドレスを取得し、再生を行うことを特徴とする（4) または（5) 記載の画像再生装置。

(8) 前記復号化手段は、復号処理中のパケットを基準とした時間で再生する場合に、前記時間をタイムスタンプに変換し、前記パケット情報に基づいて、変換したタイムスタンプと復号処理中の基準となる時間情報とから得られる値に近い値を有するバケツトのファイルァドレスを取得し、再生を行うことを特徴とする（4) または（5) 記載の画像再生装置。

(9) 前記複号化手段は、前記パケット情報に基づいて MPEGストリームのパケット単位でランダムにアクセスすることを特徴とする（4) または（5) 記載の画像再生装置。

(10) 前記複号化手段は、前記パケット情報リストに基づいて、 N (正または負の整数）個先の GO Pをアクセスする操作を繰り返すことで任意倍速の再生を行うことを特徴とする（1)、（2)、（3)、（4)、 (5) または（6) 記載の画像再生装置。

(1 1) 前記復号化手段は、逆再生を行う場合に、 N個前の GOPの 1フレーム分の画像を復号し、残りのフレームをスキップして再生することを特徴とする（10) 記載の画像再生装置。

(12) MP EGストリームからクリップを作成する場合に、クリップの開始点及び終了点を、前記 MPEGストリームの先頭からの時間または前記パケット情報リストの項番号により指定することを特徴とする（4) 記載の画像再

(13) リピート再生を行う場合に、再生開始点と終了点を MPEGストリ —ムの先頭からの時間または前記バケツト情報情報リストの項番号で指定することを特徴とする（4) 記載の画像再生装置。

(14) 再生済のストリームに上書記録するリアルタイムシフトを行う場合に、上書開始点と上書終了点をス卜リーム先頭からの時間またはパケット情報リス卜の項番号で指定することを特徴とする（4) 記載の画像再生装置。

(1 5) 録画と同時に、直前に録画した画像を再生する場合に、再生開始点及び終了点をストリーム先頭からの時間またはバケツト情報リストの項番号で指定することを特徴とする（4) 記載の画像再生装置。

(16) 前記符号化手段、復号化手段、符号化された画像データの転送の制御をマルチタスク OS上のタスク化することを特徴とする（3) 記載の画像再

(17) 前記復号化手段による復号化処理及び前記符号化手段による符号化処理をを複数チャネル分設け、それぞれの処理をマルチタスク OSのタスク化することを特徴とする（3) 記載の画像再生装置。

(18) 前記符号化手段の画像の符号化処理、符号化された画像データを記録手段に転送する録画データ転送処理、前記記録手段に記録された画像データを復号化手段へ転送する再生データ転送処理及び複号化手段の符号化された画像データの復号化処理をマルチタスク化することを特徴とする（3) 記載の画像再生装置。

(19) 符号化手段からメモリへの録画デ一夕を転送する転送処理、前記メモリから記録手段への録画データの転送処理、前記記録手段から前記メモリへの再生データの転送処理及び前記メモリから前記複号化手段への再生デー夕の転送処理をそれぞれマルチタスク化し、録画に関わるタスクの優先順位を再生に関わるタスクの優先順位より高く設定することを特徴とする（3) 記載の画像再生装置。

(20) 録画データの転送タスク及び再生データの転送タスクのデ一夕の転送ブロックサイズを個別に設定できるようにしたことを特徴とする（18) 記載の画像再生装置。 (21) 前記記録手段からメモリへ再生デ一夕を転送する第 1の再生データ転送タスク、前記メモリから前記復号化手段へ再生データを転送する第 2の再生デー夕転送タスク、前記符号化手段から前記メモリへ録画デー夕を転送する第 1の録画デー夕転送タスク及び前記メモリから前記記録手段へ録画データを転送する第 2の録画デ一夕転送タスクの転送データブロックサイズを、タスク毎に個別に設定できるようにしたことを特徴とする（3) 記載の画像再生装置。

(22) 特殊再生を行わない場合、前記第 1の再生データ転送タスクと前記第 2の再生デー夕転送タスクを 1つのタスクで構成し、前記記録手段から前記復号化手段へ直接再生データを転送することを特徴とする（21) 記載の画像再生装置。

(23) 録画時に、前記符号化手段からメモリまたは記録手段へ録画データを転送するタスクが、前記パケット情報作成手段により作成されるバケツト情報を同時に転送することを特徴とする（3) 記載の画像再生装置。

(24) 前記パケット情報作成手段は、録画、再生を行っていないときに、バケツト情報が作成されていない画像データのバケツトヘッダからタイムス夕ンプを抽出してパケット情報リストを作成することを特徴とする（1)、 (2) または（3) 記載の画像再生装置。

(25) 外部または内部の複数の記録手段を接続できるようにデ一夕入出力インタ一フェース手段を備えたことを特徴とする（1)、 (2) または（3) 記載の画像再生装置。

(26) ファイルシステムを他の情報処理装置と互換性があるようにし、他の情報処理装置との間で画像データを共通に録画または再生できるようにしたことを特徴とする（1)、 (2) または（3) 記載の画像再生装置。

(27) 画像を符号化して外部または内部の記録媒体に記録させ、

符号化された画像デ一夕のバケツトヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるバケツト情報を参照し、参照されたパケット情報に基づいて、符号化された画像データを復号することを特徴とする画像記録再生方法。

( 2 8 ) 符号された画像データのバケツトヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるバケツト情報を作成することを特徴とする（2 7 ) 記載の画像記録再生方法。

( 2 9 ) 前記パケット情報は、 M P E Gストリームのパケットヘッダに含まとからなることを特徴とする（2 7 ) 記載の画像記録再生方法。

( 3 0 ) 画像の符号化処理、符号化された画像データを記録媒体に転送する録画データ転送処理、記録媒体に記録されたデータを再生のために転送する再生データ転送処理及び符号化された画像データの複号化処理をマルチタスク化することを特徴とする（2 7 ) 記載の画像記録再生方法。

( 3 1 ) 録画時に、符号化した録画データをメモリへ転送する第 1の録画デ一夕転送処理、前記メモリから記録媒体へ録画データを転送する第 2の録画デ一夕の転送処理を、再生時に、記録媒体から前記メモリへ再生データを転送する第 1の再生データ転送処理及び前記メモリのデータを復号化処理を実行するタスクへ転送する第 2の再生データ転送処理を、それぞれマルチタスク化し、録画に関わるタスクの優先順位を再生に関わるタスクの優先順位より高く設定することを特徴とする（2 7 ) 記載の画像記録再生方法。

( 3 2 ) 画像を符号化して外部または内部の記録媒体に記録させ、符号化された画像データのバケツトヘッダ部に含まれるタイムスタンプと、バケツ卜へッダ部を指す情報とからなるパケット情報を参照させ、参照されたバケツト情報に基づいて、符号化された画像データを復号させるプログラムを記録したコンピュ一夕読み取り可能な記録媒体。 ( 3 3 ) 符号された画像デ一夕のバケツトヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるバケツト情報を作成させることを特徴とする（3 2 ) 記載のコンピュータ読み取り可能な記録媒体。産業上の利用可能性

本発明によれば、パケットヘッダに含まれる P T Sと、パケットヘッダを指す情報とで構成されるバケツト情報を作成し、そのバケツト情報を参照することで、ランダムアクセス、任意倍速再生、クリップ編集 ·再生、リピート再生などの特殊再生、リアルタイムシフト、ライブモニタなどの特殊録画再生を効率的に行うことができる。さらに、再生、録画、再生データ転送、録画データ転送をマルチタスク化することで、それぞれの処理の記述、特にデータ転送処理の記述を簡素化できる。また、データ転送タスクの転送データのブロックサィズをタスク毎に個別に設定できるようにすることで、特殊再生、特殊録画再生時に効率良くデータを転送することができる。

Claims

求の範囲

1 . 符号化された画像データのバケツトヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるパケット情報を参照するバケツト情報参照手段と、

前記バケツト情報参照手段により参照されたバケツト情報に基づいて、符号化された画像データを復号する復号化手段とを備えることを特徴とする画像再

2 . 画像を符号化する符号化手段と、

符号された画像データのバケツトヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるバケツト情報を作成するバケツト情報作成手段と、

前記バケツト情報を参照するバケツト情報参照手段と、

前記バケツト情報参照手段により参照されたバケツト情報に基づいて符号化された画像データを復号する復号化手段とを備えることを特徴とする画像記録

3 . 画像を符号化して外部または内部の記録媒体に記録させ、

符号化された画像データのバケツトヘッダ部に含まれるタイムスタンプと、パケットヘッダ部を指す情報とからなるバケツト情報を参照し、

参照されたバケツト情報に基づいて、符号化された画像データを復号することを特徴とする画像記録再生方法。

4 . 画像を符号化して外部または内部の記録媒体に記録させ、

符号化された画像デ一夕のバケツトヘッダ部に含まれるタイムスタンプと、バケツトヘッダ部を指す情報とからなるバケツト情報を参照させ、

参照されたパケット情報に基づいて、符号化された画像データを復号させるプログラムを記録したコンピュータ読み取り可能な記録媒体。