JP3510783B2 - 動画像記録再生方法及び動画像記録再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、圧縮された映像、
音声データをディスク媒体や半導体メモリに記録、再生
する方法及び装置に関する。

【０００２】

【従来の技術】近年、動画像符号化方式として、ＭＰＥ
Ｇ１（ＩＳＯ／ＩＥＣ １１１７２）、ＭＰＥＧ２（Ｉ
ＳＯ／ＩＥＣ １３８１８）方式が蓄積、通信、放送の
分野で用いられている。ＭＰＥＧ方式ではフレーム毎に
フレーム内符号化、前方向のフレーム間予測符号化、両
方向のフレーム間予測符号化を切り替えて用いる。

【０００３】以下では、フレーム内符号化するフレーム
をＩフレーム、前方向のフレーム間予測符号化するフレ
ームをＰフレーム、両方向のフレーム間予測符号化する
フレームをＢフレームと呼ぶ。

【０００４】図１９にＩフレーム、Ｐフレーム、Ｂフレ
ームの並びの例を示す。ＭＰＥＧ方式では図１９に示す
ように、１枚以上のＩフレームを含む複数のフレーム群
をＧｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ（以下ではＧＯ
Ｐと略す）と呼ぶ。

【０００５】ＭＰＥＧ方式で圧縮した符号化データをビ
デオシーケンスの途中から再生する場合、Ｉピクチャか
ら復号する必要がある。これは、ＰピクチャやＢピクチ
ャはフレーム間予測符号化されているため、予測に用い
る画像を先に復号しておく必要があり、この依存関係を
たどると全てのＰピクチャやＢピクチャはＩピクチャに
依存しているためである。

【０００６】ところで、ＭＰＥＧ方式は可変長符号化で
あり、時間と符号量が比例しない。即ち、ランダムアク
セス等で符号化データの途中から再生する場合などで
は、再生開始時刻がわかっても、その時刻のデータがど
こに記録されているかはわからない。そのため、どの時
刻のデータがメディアのどの位置に記録してあるかを予
め管理しておく必要がある。

【０００７】ＭＰＥＧ方式でアクセスの単位となるＧＯ
Ｐの位置を管理し、ランダムアクセスを効率良く行う装
置が特開平７−２８４０６０号公報に記載されている。
特開平７−２８４０６０号公報では、ｎ個（ｎは１以上
の整数）のＧＯＰをデータユニット（ＤＵＴ）とてまと
めて光ディスクに記録し、ＤＵＴの記録位置も別途記録
する。

【０００８】図２０に特開平７−２８４０６０号公報で
用いるＤＵＴの構成を示す。

【０００９】ＤＵＴ２０１はＤＵＴヘッダ２０２、副映
像データ２０３、音声データ２０４、主映像データ２０
５で構成され、副映像データ２０３には主映像データ２
０５の時間に対応するサブピクチャ（字幕データ）な
ど、音声データ２０４には主映像データ２０５の時間に
対応する音声データ、主映像データ２０５にはＭＰＥＧ
方式で圧縮された映像データが記録される。

【００１０】ここで、ＤＵＴヘッダ２０２以外のデータ
は、ＤＵＴ毎にデータ長が異なる。そして、ＤＵＴを構
成する各データは、光ディスクの物理セクタ長の整数倍
となるように長さが決められている。

【００１１】ＤＵＴの先頭が記録されるセクタ番号は、
ディスクの管理ファイルに別途記録されており、ランダ
ムアクセスや高速再生時には管理ファイルの情報から目
的のＤＵＴの開始位置を検索、ジャンプし、ＧＯＰの先
頭から再生する。

【００１２】

【発明が解決しようとする課題】しかしながら、特開平
７−２８４０６０号公報に記載の方式（以下では従来例
と呼ぶ）では、下記に記述する５つの問題点がある。

【００１３】第１に従来例では、ＤＵＴの開始位置しか
管理していないため、２〜３倍速の高速再生時になめら
かな表示ができないという問題がある。

【００１４】高速再生時には、圧縮データの中からＩピ
クチャの符号の読み出しを繰り返す。

【００１５】図２１を用いてこの様子を説明する。

【００１６】図２１において、まずＤＵＴ２１１の先頭
にジャンプし、ＤＵＴ２１１内のＩピクチャ２１３を読
み出す。Ｉピクチャの終了を検出するとＤＵＴ２１２の
先頭にジャンプし、ＤＵＴ２１２内のＩピクチャ２１４
を読み出し、以下同様の動作を繰り返す。

【００１７】一例として、ＧＯＰを構成するフレーム数
を１５枚、ＤＵＴが４ＧＯＰで構成されているとすると
１ＤＵＴは約２秒のデータに相当し、約２秒毎のデータ
のうちの１枚のＩピクチャの再生を繰り返す。この場合
に、１秒当たり１枚のＩピクチャを再生すると２倍速と
なり、１秒当たり２枚のＩピクチャを再生すると４倍速
になる。言い変えると２倍速の場合は１秒間に１枚、４
倍速の場合は１秒間に２枚の画像しか表示できず、なめ
らかな高速再生にならない。

【００１８】従来例において、ＤＵＴを構成するＧＯＰ
の数を少なくすれば、より多くのＩピクチャを再生する
ことはできる。例えばＤＵＴを１ＧＯＰで構成するとす
ると、１秒当たり４枚のＩピクチャを再生すると２倍速
となる。しかしながら、単位時間当たりに読み出し可能
なＩピクチャの枚数がより多い場合には、表示可能枚数
よりも少ない枚数しか表示できない。

【００１９】第２に、従来例では、高速再生時に無駄な
読み出しが生じるという問題がある。

【００２０】図２１に示した通り、高速再生時にはまず
ＤＵＴの先頭にジャンプする。読み出すべきＩピクチャ
のデータは図２０の主映像データ２０５に記録記録され
ているが、それまでにＤＵＴヘッダ２０２、副映像デー
タ２０３、音声データ２０４を読み出す必要がある。

【００２１】また、高速再生時には、Ｉピクチャの読み
出しが終了した後に次のＤＵＴにジャンプするが、Ｉピ
クチャの終了位置は別途検出する必要がある。

【００２２】図２２にディスクに映像を記録、再生する
装置のブロック図を示す。

【００２３】図２２において、コントローラ２２９が記
録メディア２３１を制御し、記録メディア２３１からは
ＤＩＵの先頭からのデータが出力される。出力データ
は、ＥＣＣ（誤り訂正）符号化されており、ＥＣＣ部２
３０でデコードされる。

【００２４】デコードされたデータは多重化・分離回路
２２７でＤＵＴヘッダ、副映像データ、音声データ、主
映像データに分離され、メモリ２２８に保持される。Ｄ
ＵＴヘッダは図示しないシステムコントローラに入力さ
れ、副映像データは図示しない副映像デコード回路に入
力される。そして音声データはオーディオコーデック２
２５でデコードされ、主映像データはビデオコーデック
２２６でデコードされる。通常、ビデオデータのデコー
ドは、ビデオコーデック２２６で行われるため、Ｉピク
チャの終了もビデオコーデック２２６で検出される。

【００２５】図２２において、記録メディア２３１から
データが読み出されてから、ビデオコーデック２２６に
主映像データが入力されるまでにはＥＣＣ部２３０、多
重化・分離回路２２７での処理時間の遅延がある。

【００２６】ＥＣＣ部２３０は、３２ＫＢといった大き
な単位で処理を行うので、最低でも単位分のデータが蓄
積する時間の遅延が発生する。従って、ビデオコーデッ
ク２２６でＩピクチャの終了を検出した時点で、既に次
の不要なデータが読み出されていることになる。

【００２７】第３に、従来例において記録メディアにリ
アルタイムで記録を行う場合には、ＤＵＴを構成するた
めに大容量のメモリが必要になるという問題がある。

【００２８】図２０に示したように、従来例ではまず音
声データを記録し、次に主映像データを記録する。即
ち、ＤＵＴの音声データが得られるまで、主映像データ
はメモリに保持しておく必要がある。

【００２９】例えば、映像の符号化データレートが平均
で４Ｍｂｐｓ、ＤＵＴが約２秒のデータで構成されてい
る場合、 ４Ｍｂｉｔ × ２ ＝ ８Ｍｂｉｔ の容量のメモリが必要になる。

【００３０】さらには、映像の符号化データは可変長の
ため、一時的な発生符号量はより多くなるため、平均符
号量以上のメモリ容量を備えておく必要がある。

【００３１】第４に、従来例では、ＤＵＴより細かい単
位での符号化データの加工ができないという問題があ
る。

【００３２】ディスク媒体の場合には、記録されている
データは変更せず、再生順序をポインタで示すプログラ
ム再生や編集を行うことが可能である。従来例でＤＵＴ
が複数のＧＯＰで構成されている場合、ＧＯＰの境界が
わからないために最小の編集単位はＤＵＴとなってしま
い、ＭＰＥＧのアクセス単位であるＧＯＰ毎の編集がで
きないという問題がある。

【００３３】第５に、従来例ではオーディオデータとビ
デオデータの同期のための情報がないため、オーディオ
とビデオの同期を確保できないという問題もある。

【００３４】従来例では、ＤＵＴはＧＯＰを構成する時
間に対応する符号化データで構成される。ここで、ビデ
オフレームの周期は ３００００／１００１ Ｈｚ で
あり、符号化も１周期毎に行われる。これに対して、オ
ーディオデータのサンプリング周波数は４４．１ＫＨｚ
で、ＭＰＥＧ１方式の場合は１１５２データをオーディ
オフレームとし、ＡＴＲＡＣ方式、ＡＴＲＡＣ２方式で
は１０２４データをオーディオフレームとして符号化す
ることが多い。

【００３５】ビデオフレームは約３３ｍ秒、オーディオ
フレームは約２６ｍ秒や約２３ｍ秒となり、ＧＯＰに対
応する主映像データと音声データの時間を完全に一致さ
せることはできない。即ち、ＤＵＴ単位で主映像データ
と音声データの再生開始時刻が完全に一致しているのは
最初のＤＵＴだけで、以降のＤＵＴの開始点では主映像
の再生時刻と音声データの再生時刻は一致しない。

【００３６】ＤＵＴを構成する主映像データと音声デー
タの時間が異なるため、再生開始点と終了点をポインタ
で指定するプログラム再生を連続して行った場合には、
主映像データと音声データの時間の誤差が蓄積し、同期
がとれない問題が発生する。

【００３７】本発明は、このような問題点に鑑みてなさ
れたものであり、高速再生時において無駄なデータを読
み出すことがなく、単位時間当たりの表示枚数を増やし
てなめらかな高速再生を実現する動画像記録再生方法及
び装置、及びリアルタイム記録の場合においても大容量
のメモリを必要しない動画像記録再生方法及び装置、及
びＧＯＰ単位でのランダムアクセスや編集が可能で、編
集を行ってもオーディオデータとビデオデータの同期を
確保できる動画像記録再生方法及び装置を提供すること
を目的とする。

【００３８】

【課題を解決するための手段】本発明では、多重化デー
タとは別に管理ファイルを備え、管理ファイルにＧＯＰ
毎の位置情報と再生時刻情報、及び複数のＧＯＰでパケ
ットを構成する場合のパケット情報を備え、不要な多重
化データを読み出さない高速再生、ランダムアクセス
と、オーディオとビデオの同期の確保を従来例に比較し
て小さいメモリ容量で実現する。

【００３９】従って、請求項１記載の本発明は、少なく
ともオーディオ符号化データとビデオ符号化データを多
重化した多重化データを記録する動画像記録方法であっ
て、少なくとも多重化データの記録メディア上での位
置、再生時刻を含む管理ファイルを備え、該記録メディ
ア上での位置を、複数のフレームで構成されるＧＯＰ毎
の多重化データ毎に該ＧＯＰの開始位置と、少なくとも
フレーム内符号化されるフレームの終了位置で構成する
工程と、前記再生時刻を、前記ＧＯＰの先頭のビデオフ
レームの再生時刻と、前記ＧＯＰの先頭のオーディオフ
レームの再生時刻で構成する工程とを備えたことを要旨
とする動画像記録再生方法で実現できる。

【００４０】請求項２記載の本発明は、請求項１記載の
動画像記録再生方法において、１または複数の前記ＧＯ
Ｐでパケットを構成し、前記管理ファイルは、パケット
毎に１つのパケット情報を備え、該パケット情報を、パ
ケットの開始位置と、ＧＯＰ毎のＧＯＰの開始位置と、
少なくとも前記フレーム内符号化されるフレームの終了
位置と、前記ＧＯＰの先頭のビデオフレームの再生時刻
と、前記ＧＯＰの先頭のオーディオフレームの再生時刻
で構成する工程を備えたことを要旨とするものである。

【００４１】請求項３記載の本発明は、請求項１または
請求項２記載の動画像記録再生方法において、ＧＯＰに
対応する多重化データは、ＧＯＰを構成するビデオフレ
ームを符号化したビデオ符号化データと、該ビデオフレ
ームに対応するオーディオフレームを符号化したオーデ
ィオ符号化データを時分割に多重化したものであり、前
記ＧＯＰを構成する前記ビデオフレームの開始時刻と該
ビデオフレームに対応する前記オーディオフレームの開
始時刻の差が、第１の閾値以下または第１の閾値未満で
あり、前記ＧＯＰを構成するビデオフレームの終了時刻
と該ビデオフレームに対応するオーディオフレームの終
了時刻の差が、第２の閾値以下または第２の閾値未満と
なる工程を備えたことを要旨とするものである。

【００４２】請求項４記載の本発明は、請求項３記載の
動画像記録再生方法において、第１の閾値、または、第
２の閾値は、オーディオフレーム期間であることを要旨
とするものである。

【００４３】請求項５記載の本発明は、請求項１乃至請
求項４のいずれかに記載の動画像記録再生方法におい
て、ＧＯＰの境界で、前のＧＯＰに対応するオーディオ
フレームの再生終了時刻と該ＧＯＰを構成するビデオフ
レームの再生終了時刻の差を第１の差分とし、後のＧＯ
Ｐに対応するオーディオフレームの再生終了時刻と該Ｇ
ＯＰを構成するビデオフレームの再生終了時刻の差を第
２の差分とし、前記第１の差分と前記第２の差分の差を
ずれ量とし、ずれ量の値によって、少なくとも、通常再
生、ビデオフレームのフリーズ、ビデオフレームのスキ
ップ、オーディオフレームのフリーズ、オーディオフレ
ームのスキップを切り替える工程を備えたことを要旨と
するものである。

【００４４】請求項６記載の本発明は、請求項５記載の
動画像記録再生方法において、切り替えは、ずれ量が正
の値であって絶対値が第３の閾値以上の場合にはビデオ
フレームをフリーズさせ、ずれ量が負の値であって絶対
値が第４の閾値以上の場合にはビデオフレームをスキッ
プさせることを要旨とするものである。

【００４５】請求項７載の本発明は、請求項６記載の動
画像記録再生方法において、第３の閾値はオーディオフ
レーム期間またはビデオフレーム期間であり、第４の閾
値はオーディオフレーム期間またはビデオフレーム期間
であることを要旨とするものである。

【００４６】請求項８記載の本発明は、請求項１乃至請
求項７のいずれかに記載の動画像記録再生方法におい
て、前記管理ファイルに記録されているＧＯＰの開始位
置を再生開始位置または再生終了位置とし、該再生開始
位置または再生終了位置を１つまたはは複数指定するユ
ーザプログラムを備えたことを要旨とするものである。

【００４７】請求項９記載の本発明は、請求項３乃至請
求項８のいずれかに記載の動画像記録再生方法におい
て、前記多重化データは、ＧＯＰを構成するビデオフレ
ームを符号化したビデオ符号化データとビデオフレーム
に対応するオーディオフレームを符号化したオーディオ
符号化データを、１ビデオフレーム毎に時分割に多重化
したものであることを要旨とするものである。

【００４８】請求項１０記載の本発明は、請求項３乃至
請求項９のいずれかに記載の動画像記録再生方法におい
て、前記管理ファイルに、少なくとも多重化データを構
成するビデオ符号化データとオーディオ符号化データの
境界を示す情報を付加したことを要旨とするものであ
る。

【００４９】請求項１１記載の本発明は、請求項２乃至
請求項１０のいずれかに記載の動画像記録再生方法にお
いて、管理ファイルのパケット情報は、パケットの開始
位置と、ＧＯＰ毎にＧＯＰの開始位置を含み、少なくと
も前記フレーム内符号化されるフレームの終了位置と、
前記ＧＯＰの先頭のビデオフレームの再生時刻と、前記
ＧＯＰの先頭のオーディオフレームの再生時刻、及び／
または、ビデオ符号化データとオーディオ符号化データ
の境界を示す情報の内、１つまたは複数の情報を管理フ
ァイルに記録する工程と、前記１つまたは複数の情報
を、ＧＯＰの多重化データの先頭に記録する工程を備え
たことを要旨とするものである。

【００５０】請求項１２記載の本発明は、請求項１乃至
請求項１１のいずれかに記載の動画像記録再生方法を用
いる動画像記録再生装置であって、映像信号を圧縮、伸
長するビデオコーデックと、音声信号を圧縮、伸長する
オーディオコーデックと、ビデオ符号化データを多重
化、分離する多重化・分離回路と、符号化データを蓄積
するメモリと、記録メディアの記録、再生を制御するコ
ントローラを備え、前記多重化・分離回路では、パケッ
トの開始位置、ＧＯＰの開始位置、少なくともフレーム
内符号化されるフレームの終了位置、ＧＯＰの先頭のビ
デオフレームの再生時刻、ＧＯＰの先頭のオーディオフ
レームの再生時刻を出力し、前記コントローラは、多重
化・分離回路から入力される情報から管理ファイルを構
築することを要旨とするものである。

【００５１】

【発明の実施の形態】以下図面を参照しながら、本発明
の実施の形態を詳細に説明する。

【００５２】〔第１の実施の形態〕図１に本発明の動画
像記録再生装置の第１の実施の形態の構成をブロック図
で示す。

【００５３】図１の実施の形態はオーディオコーデック
１５、ビデオコーデック１６、多重化・分離回路１７、
メモリ１８、コントローラ１９、ＥＣＣ部２０、ディス
ク２１で構成され、本発明では、多重化・分離回路１７
とコントローラ１９の動作に特徴がある。

【００５４】なお、ディスク２１は磁気ディスク、光磁
気ディスク、相変化ディスクなどの書き換え可能な記録
媒体全てを指すが、ディスクに限らず半導体メモリと置
き換えても構わない。

【００５５】図１の実施の形態の記録時の動作を説明す
る。

【００５６】記録時にはオーディオ入力端子１１からオ
ーディオデータが入力され、オーディオコーデック１５
で符号化される。ビデオ入力端子１３からはビデオデー
タが入力され、ビデオコーデック１６で符号化される。
オーディオコーデック１５からはオーディオ符号化デー
タが出力され、ビデオコーデック１６からはビデオ符号
化データが出力され、それぞれ多重化・分離回路１７に
入力される。

【００５７】多重化・分離回路１７は符号化データを一
旦メモリ１８に出力し、後述する順序でメモリ１８から
符号化データを読み出し、多重化データとしてＥＣＣ部
２０に出力する。多重化データはＥＣＣ部２０で誤り訂
正符号化され、ディスク２１に記録される。コントロー
ラ１９は記録メディアの制御を行う。

【００５８】図２を用いて多重化・分離回路１７から出
力される多重化データについて説明する。

【００５９】図２（ａ）は、ＧＯＰを構成するビデオフ
レームとＧＯＰに対応するオーディオフレームの時間関
係を示す図である。

【００６０】図２（ａ）は、１５ビデオフレームで１Ｇ
ＯＰが構成され、オーディオフレームの期間がビデオフ
レームの期間よりも短い場合の例であり、１５ビデオフ
レームの期間をＧＯＰ期間２２としている。ビデオフレ
ームとオーディオフレームの期間が異なる場合、オーデ
ィオフレームを複数集めてもＧＯＰ期間２２とは一致し
ない。そのためにＧＯＰ期間２２の先頭からのずれと後
端からのずれがそれぞれ１オーディオフレーム期間未満
となる期間をオーディオ期間２３とし、ＧＯＰ期間２２
のビデオフレームの符号化データとオーディオ期間２３
のオーディオフレームの符号化データをまとめて多重化
を行う。

【００６１】図２（ｂ）に多重化データにおけるビデオ
符号化データとオーディオ符号化データの並びを示す。

【００６２】多重化データは、ＧＯＰ毎に図２（ａ）で
示したＧＯＰ期間２２のビデオ符号化データ、オーディ
オ期間２３のオーディオ符号化データの順に出力する。
そして、複数のＧＯＰをまとめたパケットという単位で
ディスクに記録する。図２（ｂ）には４つのＧＯＰをパ
ケットとする例を示している。

【００６３】図３に、多重化・分離部回路１７において
図２（ｂ）で示した多重化データを出力する動作をフロ
ーチャートで示す。図３は、請求項３、４に対応するも
のである。

【００６４】多重化・分離回路１７では、オーディオコ
ーデック１５から入力されるオーディオ符号化データと
ビデオコーデック１６から入力されるビデオ符号化デー
タを一旦メモリ１８に記録する。

【００６５】図３のフローチャートは、メモリ１８に記
録された符号化データを読み出す動作を示す。

【００６６】図３において、ステップＳ３２〜Ｓ３５で
は図２（ａ）に示したＧＯＰ期間２２のビデオ符号化デ
ータを出力し、ステップＳ３６〜Ｓ３９ではオーディオ
期間２３のオーディオ符号化データを読み出す。

【００６７】まずステップＳ３１でビデオフレームの時
刻を示すＶＰＴＳ、オーディオフレームの時刻を示すＡ
ＰＴＳを０にセットする。そしてステップＳ３２でメモ
リ１８からビデオ符号化データを読み出し、ＥＣＣ部２
０に出力する。

【００６８】次にステップＳ３３では、ビデオフレーム
の終了かどうかを判定する。ビデオフレームの終了かど
うかはビデオフレームの符号量がわかっていれば判定が
できる。このために、多重化・分離回路１７にビデオフ
レームのヘッダを検出する回路を付加してメモリ１８へ
のビデオ符号化データ書き込み時にビデオフレームの区
切りを検出し、予めビデオフレーム毎の符号量を算出し
ておく、あるいはビデオコーデック１６にビデオフレー
ムの符号量を算出する回路を付加しておき、ビデオコー
デックからビデオフレーム毎の符号量の通知を受けるよ
うにしておく。

【００６９】ステップＳ３３でビデオフレームの終了と
判定された場合、ステップＳ３４でＶＰＴＳをビデオフ
レーム期間分増加させる。ステップＳ３５ではＧＯＰの
終了かどうかを判定し、ＧＯＰの終了でない場合はステ
ップＳ３２〜Ｓ３４を繰り返す。ＧＯＰの終了かどうか
は、ビデオフレームの終了となる回数をカウントしてお
き、ＧＯＰを構成するビデオフレーム数と一致するかど
うかを比較すればよい。ステップＳ３５までの過程でＧ
ＯＰ期間のビデオ符号化データを全て出力することにな
る。また、ステップＳ３１でＶＰＴＳを０とし、以降１
ビデオフレームのビデオ符号化データを出力する毎にス
テップＳ３４でＶＰＴＳをインクリメントするため、Ｖ
ＰＴＳは常にメモリ１８から読み出すビデオ符号化デー
タの時刻を指すことになる。

【００７０】ステップＳ３５でＧＯＰの終了と判定され
た場合は、ステップＳ３６でメモリ１８からオーディオ
符号化データを読み出し、ＥＣＣ部２０に出力する。次
にステップＳ３７ではオーディオフレームの終了かどう
かを判定する。

【００７１】ＭＰＥＧ１方式、ＡＴＲＡＣ方式などの主
なオーディオ符号化方式では、オーディオフレームの符
号量は一定になるので、ステップＳ３６での読み出しデ
ータ量を用いてオーディオフレームの終了かどうかを判
定できる。ステップＳ３７でオーディオフレームの終了
と判定された場合、ステップＳ３８でＡＰＴＳをオーデ
ィオフレーム期間分増加させる。ステップＳ３９ではＡ
ＰＴＳとＶＰＴＳを比較し、ＡＰＴＳが小さい場合には
ステップＳ３６〜Ｓ３８を繰り返し、次のオーディオ符
号化データを読み出す。

【００７２】このとき、ＧＯＰ期間のビデオ符号化デー
タは全て出力され、ＶＰＴＳは次のＧＯＰ期間の先頭を
示しているので、ステップＳ３９の判定がＮｏとなるの
はオーディオ期間のオーディオ符号化データを全て読み
出し、ＡＰＴＳがＧＯＰ期間外を指した時になる。

【００７３】図３は、多重化・分離回路１７内でＶＰＴ
ＳやＡＰＴＳを計算して求める例であるが、ＶＰＴＳを
ビデオコーデック１６から入力し、ＡＰＴＳをオーディ
オコーデック１５から入力する構成としてもよい。

【００７４】ステップＳ３２〜Ｓ３９で１ＧＯＰ期間に
対応するビデオ符号化データ、オーディオ符号化データ
の順でメモリ１８から読み出され、図２（ｂ）で示した
多重化データが出力されることになる。そしてステップ
Ｓ４０で符号化データの終了かどうかを判定し、符号化
データが終了するまでステップＳ３２〜Ｓ３９を繰り返
す。

【００７５】従来例では、ＤＵＴのビデオ符号化データ
全てを一旦メモリに格納しておく必要があり、大容量の
メモリが必要であったが、本実施の形態ではビデオ符号
化データは順次メモリから読み出すため、大容量のメモ
リは必要ない。

【００７６】ＧＯＰに対応するオーディオ符号化データ
はメモリに格納しておく必要があるが、オーディオ符号
化データはビデオ符号化データと比較してデータ量が非
常に小さいので、従来例と比較すると格段に小さい容量
のメモリを備えるだけでよい。

【００７７】なお、記録媒体への多重化データの記録
は、２Ｋバイトや３２Ｋバイトといった一定の記録単位
毎に行われる。そこで、ＧＯＰ期間のビデオ符号化デー
タ毎、ＧＯＰ期間の多重化データ毎、あるいはパケット
毎に記録単位となるようにスタッフィングとよばれるデ
ータを付加してもよい。スタッフィングは全てが０又は
１のデータで、復号処理の際には無視されるデータであ
る。

【００７８】ＧＯＰ期間のビデオ符号化データ毎に記録
単位となるようにするには、ステップＳ３５でＧＯＰの
終了と判定された後に記録単位まで０又は１を付加し、
ＧＯＰ期間の多重化データ毎に記録単位となるようにす
るには、ステップＳ３９でＮｏと判定された後に記録単
位まで０又は１を付加し、パケット毎に記録単位となる
ようにするには、ステップＳ３９でＮｏと判定された後
にパケットの終了かどうかの判定を行い、パケットの終
了の場合には記録単位まで０又は１を付加すればよい。

【００７９】本実施の形態では、パケットは４つのＧＯ
Ｐで構成されているので、ＧＯＰの数を積算し、ＧＯＰ
の数が４の倍数の場合にパケットの終了と判定できる。

【００８０】次にコントローラ１９の動作について説明
する。コントローラ１９はディスク２１に記録される多
重化データをファイルとして管理し、ディスクの記録制
御、再生制御を行う。

【００８１】ディスク２１には、多重化ファイルを記録
する領域とは別の領域にディスク全体の情報として管理
ファイルが記録されている。管理ファイルは、動画像記
録再生装置の起動時やディスク媒体が装置に挿入された
時にディスク２１から読み出され、コントローラ１９に
保持される。コントローラ１９は、記録時にはディスク
の空き領域に多重化データを記録するようにディスクを
制御するとともに、随時管理ファイルの内容を更新す
る。

【００８２】図４に管理ファイルの一例を示す。管理フ
ァイルはディスクのタイトルなどの「ディスク情報４
１」、ファイル（即ち多重化データ）の記録位置情報や
ファイルが不連続領域に分割して記録されている場合の
つながりを示す情報などの「ファイル情報４２」、ディ
スクの空き情報である「空き領域情報４３」、パケット
毎の情報を記録する「パケット情報４４」で構成され
る。

【００８３】図２（ｂ）で示したように、本実施の形態
では４つのＧＯＰをまとめたものをパケットと呼び、パ
ケット単位で管理を行う。「パケット情報」は１パケッ
トに１つあり、記録時にはディスク２１にパケットを記
録する毎に記録したパケットの「パケット情報」が追記
される。

【００８４】「パケット情報」は「パケット開始位
置」、「次のアドレス」とＧＯＰ毎に「ＧＯＰ開始位
置」、「ＶＰＴＳ」、「ＡＰＴＳ」、「Ｉ終了位置」、
「Ｐ終了位置」が記録される。

【００８５】図５に、記録時に図４で示した管理ファイ
ルの「パケット情報」を更新する動作をフローチャート
で示す。図５は請求項１、２に対応するものである。

【００８６】この動作は図３で示した、多重化・分離回
路１７でパケットを構成する動作に、「パケットの開始
位置」、「ＧＯＰの開始位置」、「ＶＰＴＳ」、「ＡＰ
ＴＳ」、「Ｉ終了位置」、「Ｐ終了位置」を出力する動
作を付加したもので、図３と同じ動作の部分は同じ記号
を付与して説明は省略する。

【００８７】コントローラ１９では多重化・分離回路１
７から入力される位置情報を取り込み、パケット毎に
「パケット情報」を追記する。このため、コントローラ
１９は管理ファイル上の「パケット情報」を書き込む空
き領域も管理する。「パケット情報」の「次のアドレ
ス」は現パケットに続くパケットの「パケット情報」の
アドレスを示すもので、コントローラ１９で付与され
る。

【００８８】本実施の形態では、「パケット開始位置」
や「Ｉ終了位置」、「Ｐ終了位置」（以降ではまとめて
位置情報と呼ぶ）は多重化データの先頭からの相対位置
であり、例えばアクセスの単位が３２Ｋバイトの場合は
最初の３２Ｋバイトが０、次の３２Ｋバイトが１とな
り、以降３２Ｋバイト毎にインクリメントされる値であ
る。相対位置からディスクの物理アドレスへの変換は図
示しないファイルシステムが行う。多重化・分離回路１
７ではメモリ１８に記録するデータ量やＥＣＣ部２０に
出力するデータ量をカウントしておき、位置情報の算出
に用いる。

【００８９】図５において、まずステップＳ５１で「パ
ケット開始位置」をコントローラ１９に出力する。次に
ステップＳ５２で「ＧＯＰ開始位置」と「ＶＰＴＳ」を
コントローラ１９に出力する。次にＳ３２〜Ｓ３３で１
ビデオフレームの符号化データの読み出しが終了した後
に、Ｉピクチャの終了かどうかを判定する（ステップＳ
５３）。

【００９０】Ｉピクチャの終了の場合は「Ｉ終了位置」
をコントローラ１９に出力し（ステップＳ５４）、Ｉピ
クチャの終了でない場合はＧＯＰ内で１枚目のＰピクチ
ャの終了かどうかを判定する（ステップＳ５５）。ＧＯ
Ｐ内で１枚目のＰピクチャの終了の場合は「Ｐ終了位
置」をコントローラ１９に出力する（ステップＳ５
６）。ステップＳ３２〜Ｓ３５のループでＧＯＰのビデ
オ符号化データの出力が終了すると、ステップＳ５７で
ＡＰＴＳを出力し、Ｓ３６〜Ｓ３９でＧＯＰのオーディ
オ符号化データを読み出した後に、パケットの終了かど
うかを判定する（ステップＳ５８）。

【００９１】パケットの終了でない場合はＳ５２〜Ｓ３
９を繰り返し実行し、パケットが終了するまでＧＯＰ毎
の処理を行う。パケットの終了の場合はステップＳ４０
で符号化データの終了かどうかを判定し、符号化データ
の終了でない場合はステップＳ５１〜Ｓ５８を繰り返し
実行し、パケット毎の処理を繰り返す。

【００９２】ステップＳ５１はパケット毎に１回実行さ
れ、Ｓ５２、Ｓ５４、Ｓ５６、Ｓ５７はＧＯＰ毎に１回
実行され、パケット情報を構成するのに必要な情報が多
重化・分離回路１７からコントローラ１９に出力され
る。

【００９３】本実施の形態では、管理ファイルにパケッ
ト毎の位置情報及びＧＯＰ毎の位置情報を記録すること
に特徴があるのであり、管理ファイルの内容は図４で示
した例に限定するものではない。例えば管理ファイルに
多重化データ毎の管理情報を付加してもよいし、パケッ
ト情報にパケットの符号量やＧＯＰ毎の符号量を付加し
もよい。また、図４の例ではディスク全体の多重化デー
タに対するパケット情報がまとまって管理されている
が、多重化データ毎に分離して管理しても構わない。

【００９４】更に、図４に示した管理ファイルは一例で
あり、例えば「Ｐ終了位置」は２つ以上であっても構わ
ない。

【００９５】次に、本実施の形態における通常再生の動
作について説明する。

【００９６】通常再生時には、コントローラ１９がディ
スク２１に再生するファイル（即ち多重化データ）を読
み出すように制御する。再生するファイルのディスク上
での位置は図４の「ファイル情報４２」に記録されてい
る。

【００９７】ディスクから読み出されたデータはＥＣＣ
部２０で誤り訂正復号され、多重化データとなる。多重
化データは多重化・分離回路１７でオーディオ符号化デ
ータとビデオ符号化データに分離され、一旦メモリ１８
に記録される。メモリ１８からはオーディオ符号化デー
タがオーディオコーデック１５に出力され、デコードさ
れる。ビデオ符号化データはビデオコーデック１６に出
力され、デコードされる。

【００９８】ディスク媒体では、記録されている多重化
は変更せず、ランダムアクセスで連続していないデータ
をあたかも連続したデータであるかのように再生するこ
とが可能である。この場合、オーディオとビデオの同期
を確保するための処理が必要になる。

【００９９】図６に２つのＧＯＰを連続したデータであ
るかのように再生する場合の例を示す。

【０１００】図２（ａ）で示したように一般的にはＧＯ
Ｐを構成するビデオフレームの期間であるＧＯＰ期間と
ＧＯＰに対応するオーディオフレームの期間であるオー
ディオ期間は一致しない。図６において、（ａ）で示し
たＧＯＰ期間６１とオーディオ期間６２で構成される多
重化データと、（ｂ）で示したＧＯＰ期間６３とオーデ
ィオ期間６４で構成される多重化データを連続して再生
した場合を（ｃ）に示す。図６（ａ）、（ｂ）のように
ＧＯＰ期間よりもオーディオ期間の方が長い場合、ＧＯ
Ｐを連続して再生すると、（ｃ）にようにオーディオフ
レームとビデオフレームの再生時刻の誤差が蓄積する問
題がある。

【０１０１】そこで、本実施の形態では管理ファイルの
パケット情報の中の「ＶＰＴＳ」、「ＡＰＴＳ」を用い
て再生時刻補正を行う。

【０１０２】例えば、図６（ｃ）のようにビデオフレー
ムがオーディオフレームに先行する場合は、ビデオのデ
コードを１フレーム中断させるフリーズ期間６５を設定
して同期を確保する。この様子を図６（ｄ）に示す。ま
た、逆にオーディオフレームがビデオフレームに先行す
る場合は、ビデオの１フレームをスキップするスキップ
期間を設定する。

【０１０３】図７を用いてビデオのフリーズ期間とスキ
ップ期間を設定する方法について説明する。図７は連続
して再生するビデオ符号化データとオーディオ符号化デ
ータのＧＯＰの境界での再生時刻を示すものである。図
７（ａ）はデコードされるビデオフレーム、（ｂ）、
（ｃ）はデコードされるオーディオフレームを示し、ビ
デオのＧＯＰ期間７１は記録時、再生時とも時刻１から
始まり、記録時のオーディオ期間７２は時刻２から始ま
るが、再生時にはオーディオ期間３として時刻３から始
まることを示している。

【０１０４】図６（ｂ）、（ｃ）で示したように、再生
時のビデオフレームとオーディオフレームの関係は、記
録時のビデオフレームとオーディオフレームの関係と一
致しないことがある。図７において、記録時には時刻１
が「ＶＰＴＳ」、時刻２が「ＡＰＴＳ」として管理ファ
イルに記録されるが、再生時にオーディオ期間は時刻２
からずれ量７４だけ遅れて始まる。本実施の形態では、
この「ずれ量」の大きさによってビデオのフリーズ期間
とスキップ期間を設定する。

【０１０５】図８を用いて図７のずれ量７４の求め方を
説明する。

【０１０６】図８は多重化データの先頭から再生を開始
し、途中のＧＯＰ８１を再生した後、ＧＯＰ８３にジャ
ンプしＧＯＰ８３から再生を行う例を示している。

【０１０７】図８において、ＧＯＰ８２の「ＶＰＴ
Ｓ」、「ＡＰＴＳ」をそれぞれＶＰＴＳ８２、ＡＰＴＳ
８２とし、ＧＯＰ８３の「ＶＰＴＳ」、「ＡＰＴＳ」を
それぞれＶＰＴＳ８３、ＡＰＴＳ８３とする。ここで、
（ＶＰＴＳ８２ − ＡＰＴＳ８２）と （ＶＰＴＳ８
３ − ＡＰＴＳ８３）が一致しない場合にＧＯＰ８３
の再生でオーディオフレームの再生時刻にずれが生じ
る。図７（ｃ）で示した、再生が遅れるずれ量を正の値
とすると、図８の場合のずれ量は、 （ＡＰＴＳ８２ − ＶＰＴＳ８２） − （ＡＰＴＳ
８３ − ＶＰＴＳ８３） となる。

【０１０８】図９に、正のずれ量がビデオフレーム期間
以上となった場合にビデオのデコードを１フレーム期間
停止してビデオ出力をフリーズ（静止）させ、負のずれ
量がオーディオフレーム期間以上となった場合にビデオ
デコードを１フレーム分スキップさせる動作をフローチ
ャートで示す。図９は請求項５〜７に対応するものであ
る。

【０１０９】図９において、まずステップＳ９１でずれ
量を０にセットする。そして、ステップＳ９２でずれ量
がビデオフレーム期間以上の場合は、オーディオデコー
ドが遅れているので、ステップＳ９３でビデオデコード
を１フレーム分停止し、ビデオ出力をフリーズさせ、ス
テップＳ９４でずれ量からビデオフレーム期間を減算す
る。ステップＳ９２でずれ量がビデオフレーム期間未満
の場合は、ステップＳ９５でずれ量が負のオーディオフ
レーム期間より小さいかどうかを判定する。

【０１１０】ステップＳ９５でＹｅｓとなった場合は、
ビデオデコードが遅れているので、ステップＳ９６でビ
デオのデコードをスキップしてビデオを１フレーム分先
に進める。ステップＳ９６では、ＧＯＰの最初のＩピク
チャは通常通り再生し、次のＢピクチャをスキップす
る。これは、ＩピクチャをスキップするとＧＯＰ全体が
デコードできなくなるためである。

【０１１１】また、Ｂピクチャは符号量が少なくスキッ
プが容易に行えるという効果もある。ＧＯＰにＢピクチ
ャがない場合は、ＧＯＰの最後のＰピクチャをスキップ
する。そしてステップＳ９７でずれ量にビデオフレーム
期間を加算する。次にステップＳ９８、Ｓ９９でＧＯＰ
が終了するまでオーディオデータとビデオデータのデコ
ードを行う。ＧＯＰのデコードが終了するとステップＳ
１００で次のＧＯＰの先頭でのずれ量を計算する。

【０１１２】ステップＳ１００で［次に記録されている
ＧＯＰ］とは記録時に連続していたＧＯＰであり、［次
に再生するＧＯＰ］とはランダムアクセスで次に再生す
るＧＯＰを示す。図８の例では、［次に記録されている
ＧＯＰ］がＧＯＰ８２であり、［次に再生するＧＯＰ］
はＧＯＰ８３である。［次に記録されているＧＯＰ］と
［次に再生するＧＯＰ］は現在のＧＯＰと次に再生する
ＧＯＰが連続して記録されていない場合にのみ異なり、
記録された順に再生する場合には同じＧＯＰを指し、ず
れ量も変化しない。

【０１１３】ステップＳ１０１で符号化データが終了す
るまでステップＳ９２〜Ｓ１００を繰り返し実行し、Ｇ
ＯＰの先頭でずれ量の絶対値が大きい場合にはずれ量を
補正するようにビデオフリーズやビデオスキップが行わ
れ、常にオーディオとビデオの同期が保たれる。

【０１１４】次に、本実施の形態における高速再生の動
作について説明する。

【０１１５】高速再生時の動作は、図２１で示した通
り、ランダムアクセスとＩピクチャの読み出しを繰り返
すことになる。

【０１１６】本実施の形態では、管理ファイルの「パケ
ット情報」のうちの「ＧＯＰ開始位置」から「Ｉ終了位
置」までがＩピクチャのビデオ符号化データとなる。従
来の実施の形態では「Ｉ終了位置」を管理していなかっ
たため、別途Ｉピクチャの終了を検出する必要があり、
ディスクからのデータ読み出しからＩピクチャの終了を
検出するまでに時間差があるために不要なデータまで読
み出していたが、本実施の形態では予め読み出すべきデ
ータがわかっているので、無駄なデータを読み出すこと
がなく、高速再生時の表示枚数がより多くなる。

【０１１７】高速再生時に全てのＧＯＰのＩピクチャを
読み出すのか、間引いて読み出すのかは、高速再生時の
表示枚数との速度によって判定すればよい。

【０１１８】全てのＩピクチャよりも、より多くの画像
を表示できる場合にはＩピクチャに加えてＰピクチャも
表示することで、よりなめらかな高速再生が実現でき
る。高速再生時にＩピクチャとＰピクチャを表示する場
合に読み出すデータを図１０を用いて説明する。

【０１１９】図１０は図１９で示したＧＯＰ構成で符号
化したの場合の例で、ＧＯＰの符号化データはＩ、Ｂ、
Ｂ、Ｐ、．．．という順序で記録される。一般的にビデ
オフレーム当たりの符号量は、Ｉピクチャが最も多く、
次にＰピクチャが多く、Ｂピクチャが最も少ない。そし
て、Ｂピクチャの符号量はＩピクチャやＰピクチャに比
べるとかなり少ないことが多い。

【０１２０】そのため、同一ＧＯＰ内のＩピクチャとＰ
ピクチャを読み出す場合に、Ｉピクチャ、Ｐピクチャそ
れぞれにランダムアクセスするよりは、Ｉピクチャの開
始位置からＰピクチャの終了位置まで読み出し、不要な
Ｂピクチャを捨てる方が効率がよい。

【０１２１】従って、本実施の形態では、Ｉピクチャと
Ｐピクチャを読み出す場合は、「パケット情報」の「Ｇ
ＯＰ開始位置」から「Ｐ終了位置」までを読み出し、ビ
デオコーデック１６でＩピクチャ１０１を再生し、不要
になるＢピクチャ１０２、１０３の符号を捨て、次にＰ
ピクチャ１０４を再生する。

【０１２２】高速再生時には、コントローラ１９がＩピ
クチャ、あるいはＩピクチャから最初のＰピクチャまで
の符号化データを再生するように制御し、その他は通常
動作と同じ動作を行う。

【０１２３】次に、ディスク２１に記録された多重化デ
ータの再生開始点と終了点をポインタで指定し、記録さ
れている多重化データを変更せずに再生編集を行うプロ
グラム再生について説明する。これは請求項８に対応す
るものである。

【０１２４】図１１にプログラム再生の例を示す。図１
１は多重化データのうち、ＧＯＰ１１１〜１１２、ＧＯ
Ｐ１１４〜１１５だけを選択して再生する例で、再生開
始点と終了点を示す管理ファイルのアドレスをユーザプ
ログラムとして多重化データと別に記録する。図１１に
おいて、ユーザプログラムは２組の開始アドレスと終了
アドレスを持ち、開始アドレス１はＧＯＰ１１１の開始
位置を示し、終了アドレス１はＧＯＰ１１２の終了位置
を示す。また開始アドレス２はＧＯＰ１１３の開始位置
を示し、終了アドレス２はＧＯＰ１１４の終了位置を示
す。ユーザプログラムは管理ファイルのアドレスを指す
ため、開始アドレス１はＧＯＰ１１１を含むパケットの
パケット情報の「ＧＯＰ先頭位置」が記録されるアドレ
スを示し、終了アドレス１はＧＯＰ１１３を含むパケッ
トのパケット情報の「ＧＯＰ先頭位置」が記録されるア
ドレスを示す。本実施の形態では、ＧＯＰの終了位置は
管理していないので、次のＧＯＰの「ＧＯＰ開始位置」
の１前の位置をＧＯＰの終了位置とする。

【０１２５】プログラム再生時にも、コントローラ１９
が指定された多重化データをディスク２１から読み出す
ように制御し、その他は通常動作と同じ動作を行う。

【０１２６】本実施の形態において、多重化データを削
除する場合は、多重化データそのものを削除するととも
に、削除する多重化データに対応するパケット情報も削
除する。削除して空き領域となったパケット情報部分は
別途空き領域を管理するテーブルを用いて管理するか、
多重化データを削除する毎に空き領域部分を詰めるよう
にパケット情報部分の書き換えを行う。

【０１２７】なお、本実施の形態では、多重化データを
構成するオーディオ符号化データとビデオビデオ符号化
データの境界を示す情報は備えていない。オーディオ符
号化データとビデオ符号化データの境界は、例えばビデ
オの復号を行い、ＧＯＰの復号が終了した時点をビデオ
符号化データとオーディオ符号化データの境界とする、
あるいは各符号化データの先頭に符号化データの種類を
示すヘッダを付加するなどで認識することができる。

【０１２８】〔第１の実施の形態の変形例〕第１の実施
の形態では、図２（ｂ）に示したようにＧＯＰ毎のビデ
オ符号化データとオーディオ符号化データをまとめて記
録しているが、図１２に示すようにＧＯＰのビデオ符号
化データとオーディオ符号化データを分割して記録して
もよい。

【０１２９】図２（ｂ）で示した多重化データを構成す
るには、ＧＯＰ期間のオーディオデータを全てメモリ１
８に保持しておく必要があったが、図１２で示した多重
化データを構成する場合は、オーディオ符号化データを
順次出力することができ、メモリ１８の容量をより少な
くすることができる。

【０１３０】図１３に、多重化・分離部回路１７におい
て図１２で示した多重化データを出力する動作をフロー
チャートで示す。図１２のフローチャートと図２（ｂ）
の多重化データを構成する動作を示す図３のフローチャ
ートでは、図３ではステップＳ３２〜Ｓ３５でＧＯＰ毎
のビデオ符号化データの読み出しを行い、ステップＳ３
６〜Ｓ３９でＧＯＰに対応するオーディオ符号化データ
の読み出しを行っているのに対し、図１３ではステップ
Ｓ３２〜Ｓ３４で１ビデオフレームのビデオ符号化デー
タの読み出しを行い、ステップＳ３６〜Ｓ３９で１ビデ
オフレームに対応するオーディオ符号化データの読み出
しを実行し、ステップＳ３２〜Ｓ３４とステップＳ３６
〜Ｓ３９をＧＯＰが終了するまで繰り返し実行する点が
異なるが、各ステップで実行する処理は同一である。

【０１３１】なお、本実施の形態では、ビデオフレーム
の符号化データは、再生するビデオフレーム順には入力
されない。例えば図１９で示したＧＯＰの場合、ＧＯＰ
はＢピクチャから始まるが、符号化データはＢピクチャ
の後のＩピクチャから入力される。従って、ビデオフレ
ームに対応するオーディオフレームとは符号化データ順
での対応のことである。

【０１３２】〔第２の実施の形態〕第１の実施の形態で
は、多重化データを構成するオーディオ符号化データと
ビデオ符号化データの境界は、多重化データを入力しな
ければわからなかった。本実施の形態では、境界を示す
情報を管理ファイルに含め、予めオーディオ符号化デー
タとビデオ符号化データの境界を認識できるようにした
ものである。

【０１３３】本実施の形態では、例えば高速再生時にも
ビデオフレームとオーディオフレームを選択して読み出
すことができ、音声を再生しながらの高速再生が可能に
なる。

【０１３４】本実施の形態における管理ファイルの構成
を図１４に示す。これは請求項１０に対応するものであ
る。

【０１３５】図１４の管理ファイルと図４に示した第１
の実施の形態の管理ファイルとでは、図１４の管理ファ
イルにはパケット情報にＧＯＰのビデオ符号化データ量
を示す「ビデオ符号量」が含まれている点が異なる。

【０１３６】本実施の形態では図２（ｂ）で示したよう
に、ＧＯＰのビデオ符号化データがＧＯＰの先頭から記
録されているので、「ＧＯＰ開始位置」と「ＧＯＰ符号
量」からオーディオ符号化データの開始位置がわかる。

【０１３７】図１５に、記録時に図１４で示した管理フ
ァイルの「パケット情報」を更新する動作をフローチャ
ートで示す。この動作は図５で示した、管理ファイルの
「パケット情報」を更新する動作のフローチャートにお
いて、図５ではステップＳ３５で「ＡＰＴＳ」を出力し
ていた動作を、「ビデオ符号量」と「ＡＰＴＳ」を出力
するステップ１５１に変更したもので、ステップ１５１
以外は図５のフローチャートと同じ動作を行う。「ビデ
オ符号量」はステップＳ３２でビデオ符号化データを読
み出す際に、符号量をカウントすることで算出する。

【０１３８】〔第３の実施の形態〕第１、第２の実施の
形態では、ディスク全体の管理ファイルにＧＯＰ毎の
「ＧＯＰ開始位置」、「ＶＰＴＳ」、「ＡＰＴＳ」「Ｉ
終了位置」、「Ｐ終了位置」を記録していたが、記録時
間が長くなると管理ファイルのデータ量が多くなるとい
う問題ある。第３の実施の形態では、ＧＯＰの位置情報
の一部を多重化データに記録し、管理ファイルのデータ
量を削減する。

【０１３９】図１６に本発明の第３の実施の形態におけ
る多重化データの構成を示す。これは請求項１１に対応
するものである。

【０１４０】図１６は、図２（ｂ）で示した多重化デー
タの構成に加え、ＧＯＰの先頭にＧＯＰの管理データを
付加したものである。ＧＯＰの管理データには、第１の
実施の形態では管理ファイルに記録していた「ＶＰＴ
Ｓ」、「ＡＰＴＳ」、「Ｉ終了位置」、「Ｐ終了位置」
を記録する。この場合の管理ファイルの構成を図１７に
示す。

【０１４１】図１８に、記録時に図１７で示した管理フ
ァイルの「パケット情報」を更新する動作をフローチャ
ートで示す。この動作は図５で示した、管理ファイルの
「パケット情報」を更新する動作のフローチャートにお
いて、「ＧＯＰ開始位置」、「ＶＰＴＳ」、「ＡＰＴ
Ｓ」、「Ｉ終了位置」、「Ｐ終了位置」を出力する動作
部分をステップＳ１８１〜Ｓ１８６に変更したもので、
図５と同じ動作の部分は同じ番号を付して説明を省略す
る。

【０１４２】図１８において、パケットの先頭で「パケ
ット開始位置」をコントローラ１９に出力する（ステッ
プＳ５１）。次にステップＳ１８１で「ＧＯＰ開始位
置」、「ＶＰＴＳ」、「ＡＰＴＳ」をＥＣＣ部２０に出
力する。次にビデオコーデック１６からＩピクチャの符
号化データの入力が終了すると、「Ｉ終了位置」をＥＣ
Ｃ部２０に出力し（ステップＳ１８３）、ＧＯＰの最初
のＰピクチャの符号化データの入力が終了すると、「Ｐ
終了位置」をＥＣＣ部２０に出力する（ステップＳ１８
５）。

【０１４３】ステップＳ１８１〜Ｓ１８５はＧＯＰの先
頭で実行され、ビデオエンコーダ１６からＰピクチャの
符号化データの入力が終了した時点でＧＯＰ毎の位置情
報や時刻情報が出力され、その後にステップＳ３２〜Ｓ
３９でＧＯＰのビデオ符号化データとオーディオ符号化
データが出力される。

【０１４４】

【発明の効果】請求項１記載の本発明によれば、多重化
データとは別に記録される管理ファイルにＧＯＰ毎の位
置情報とＩピクチャやＰピクチャの終了位置を記録し、
高速再生時には記録メディアから必要なデータだけを読
み出すことができ、高速再生時の表示枚数が多くなる。

【０１４５】また、Ｉピクチャ、Ｐピクチャ両方の終了
位置を管理しているため、２〜３倍の高速再生において
も多くの画像を表示することができ、なめらかに画面を
変化させることができる。

【０１４６】また、管理ファイルだけで高速再生に読み
出すべき多重化データの記録位置がわかるので、ビデオ
コーデックや多重化・分離回路からの制御信号は必要な
く、高速再生の読み出し制御が単純になる効果もある。

【０１４７】さらに、位置情報は多重化データとは別の
管理ファイルに記録し、多重化データにはヘッダなどの
付加的な情報を付加しないため、記録メディアの記録速
度を全て多重化データに割り当てることができ、画質が
向上する効果がある。

【０１４８】さらに、本発明では管理ファイルにＧＯＰ
毎の位置情報とともにオーディオとビデオの再生時刻を
記録しているため、ＧＯＰ単位でランダムアクセスが可
能で、かつオーディオとビデオで再生時間にずれが生じ
た場合にも補正することができ、常にオーディオとビデ
オで同期を確保できる。

【０１４９】請求項２記載の本発明によれば、複数のＧ
ＯＰでパケットを構成し、多重化データ、管理データと
もにパケット毎に記録するため、パケット単位でのデー
タの削除や編集が容易に行える。

【０１５０】請求項３、または、請求項４記載の本発明
によれば、ＧＯＰの多重化データをビデオ符号化デー
タ、オーディオ符号化データの順に構成するので、ビデ
オコーデックから出力されるビデオ符号化データは順次
記録することができ、符号化データをバッファリングす
る大容量のメモリを備える必要がない効果がある。

【０１５１】また、ＧＯＰの多重化データを構成するビ
デオフレームとオーディオフレームのずれが一定の閾値
以下になっているので、編集等でＧＯＰ単位やパケット
単位で多重化データを入れ換えてもビデオフレームとオ
ーディオフレームのずれが一定の閾値以下にすることが
できる。

【０１５２】請求項５、または、請求項６、または、請
求項７記載の本発明によれば、ＧＯＰの境界毎にビデオ
フレームの再生時刻とオーディオフレームの再生時刻の
ずれ量が大きい場合に補正が行われるため、ずれ量が蓄
積することがない。

【０１５３】また、ずれ量の補正はビデオフレームのフ
リーズまたはスキップで容易に実現できる。

【０１５４】また、ずれ量の補正はビデオフレームで行
い、オーディオフレームは連続して再生するので不快な
音を発生させることがない効果がある。

【０１５５】請求項８記載の本発明によれば、管理ファ
イルの位置を示すポインタだけでプログラム再生が表現
できる。管理ファイルはコントローラに保持されてお
り、多重化データを読み出すことなく、容易にプログラ
ム再生を指定できる効果がある。

【０１５６】請求項９記載の本発明によれば、ビデオフ
レーム毎に多重化データを構成するので、ビデオ符号化
データだけでなく、オーディオ符号化データも順次記録
することができるので、バッファリング用のメモリがよ
り少ない容量とすることができる。

【０１５７】請求項１０記載の本発明によれば、ビデオ
符号化データとオーディオ符号化データの境界が管理デ
ータに記録されているので、境界を検出する回路を削減
できる。

【０１５８】また、高速再生時には予めビデオ符号化デ
ータとオーディオ符号化データを読み出すことができ、
不要なデータを読み出すことなく音声を再生しながらの
高速再生が実現できる。

【０１５９】請求項１１記載の本発明によれば、ＧＯＰ
毎の位置情報や時刻情報を多重化データに多重化して記
録するため、管理ファイルの大きさを大幅に小さくする
ことができる。

【図面の簡単な説明】

【図１】本発明の動画像記録再生装置の実施の形態のブ
ロック図である。

【図２】第１の実施の形態における多重化データの構成
を示す図である。

【図３】第１の実施の形態における多重化データを出力
する動作を示すフローチャートである。

【図４】第１の実施の形態における管理ファイルの構成
を示す図である。

【図５】第１の実施の形態における管理ファイルを構成
する動作を示すフローチャートである。

【図６】オーディオフレームとビデオフレームのずれが
蓄積する様子を説明する図である。

【図７】オーディオフレームとビデオフレームのずれ量
を説明する図である。

【図８】ランダムアクセス後のオーディオフレームとビ
デオフレームのずれ量を説明する図である。

【図９】オーディオフレームとビデオフレームの同期を
とる動作を説明するフローチャートである。

【図１０】高速再生時にディスクから読み出すデータを
説明する図である。

【図１１】ユーザプログラムを説明する図である。

【図１２】第１の実施の形態におけるその他の多重化デ
ータの構成を示す図である。

【図１３】第１の実施の形態におけるその他の多重化デ
ータを出力する動作を示すフローチャートである。

【図１４】第２の実施の形態における管理ファイルの構
成を示す図である。

【図１５】第２の実施の形態における管理ファイルを構
成する動作を示すフローチャートである。

【図１６】第３の実施の形態における多重化データの構
成を示す図である。

【図１７】第３の実施の形態における管理ファイルの構
成を示す図である。

【図１８】第３の実施の形態における管理ファイルを構
成する動作を示すフローチャートである。

【図１９】ＧＯＰを説明する図である。

【図２０】従来例におけるＤＵＴを説明する図である。

【図２１】従来例における高速再生時の動作を説明する
図である。

【図２２】従来の動画像符号化装置のブロック図であ
る。

【符号の説明】

１１ オーディオ入力端子 １２ オーディオ出力端子 １３ ビデオ入力端子 １４ ビデオ出力端子 １５ オーディオコーデック １６ ビデオコーデック １７ 多重化・分離回路 １８ メモリ １９ コントローラ ２０ ＥＣＣ部 ２１ ディスク ２２ ＧＯＰ期間 ２３ オーディオ期間 ４１ ディスク情報 ４２ ファイル情報 ４３ 空き領域情報 ４４ パケット情報 ６１ ＧＯＰ期間 ６２ オーディオ期間 ６３ ＧＯＰ期間 ６４ オーディオ期間 ６５ フリーズ期間 ７１ ＧＯＰ期間 ７２ オーディオ期間 ７３ オーディオ期間 ７４ ずれ量 ８１ ＧＯＰ ８２ ＧＯＰ ８３ ＧＯＰ ８４ ＧＯＰ １０１ Ｉピクチャ １０２ Ｂピクチャ １０３ Ｂピクチャ １０４ Ｐピクチャ １１１ ＧＯＰ １１２ ＧＯＰ １１３ ＧＯＰ １１４ ＧＯＰ １１５ ＧＯＰ １１６ ＧＯＰ ２０１ ＤＵＴ ２０２ ＤＵＴヘッダ ２０３ 副映像データ ２０４ 音声データ ２０５ 主音声データ ２１１ ＤＵＴ ２１２ ＤＵＴ ２１３ Ｉピクチャの符号化データ ２１４ Ｉピクチャの符号化データ ２２１ オーディオ入力端子 ２２２ オーディオ出力端子 ２２３ ビデオ入力端子 ２２４ ビデオ出力端子 ２２５ オーディオコーデック ２２６ ビデオコーデック ２２７ 多重化・分離回路 ２２８ メモリ ２２９ コントローラ ２３０ ＥＣＣ部 ２３１ 記録メディア

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−45249（ＪＰ，Ａ) 特開 平７−170488（ＪＰ，Ａ) 特開 平７−170492（ＪＰ，Ａ) 特開 平７−177459（ＪＰ，Ａ) 特開 平10−70703（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 G11B 20/12

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 少なくともオーディオ符号化データとビ
   デオ符号化データを多重化した多重化データを記録再生
   する動画像記録再生方法であって、 少なくとも多重化データの記録メディア上での位置、再
   生時刻を含む管理ファイルを備え、 該記録メディア上での位置を、複数のフレームで構成さ
   れるフレーム群毎の多重化データ毎に該フレーム群の開
   始位置と、少なくともフレーム内 符号化されるフレームの終了位置
   で構成する構成と、 前記再生時刻を、前記フレーム群の先頭のビデオフレー
   ムの再生時刻と、 前記フレーム群の先頭のオーディオフレームの再生時刻
   で構成する工程とを備えたことを特徴とする動画像記録
   再生方法。
2. 【請求項２】 １または複数の前記フレーム群でパケッ
   トを構成し、前記管理ファイルは、パケット毎に１つの
   パケット情報を備え、 該パケット情報を、前記パケットの開始位置と、 前 記フレーム群毎の前記フレーム群の開始位置と、少なくとも 前記フレーム内符号化されるフレームの終了
   位置と、 前 記フレーム群の先頭のビデオフレームの再生時刻と、 前記フレーム群の先頭のオーディオフレームの再生時刻
   で構成する工程を備えたことを特徴とする請求項１記載
   の動画像記録再生方法。
3. 【請求項３】 フレーム群に対応する多重化データは、
   該フレーム群を構成するビデオフレームを符号化したビ
   デオ符号化データと、該ビデオフレームに対応するオー
   ディオフレームを符号化したオーディオ符号化データを
   時分割に多重化したものであり、 前記フレーム群を構成する前記ビデオフレームの開始時
   刻と前記ビデオフレームに対応する前記オーディオフレ
   ームの開始時刻の差が、第１の閾値以下または第１の閾
   値未満であり、 前記フレーム群を構成するビデオフレームの終了時刻と
   該ビデオフレームに対応するオーディオフレームの終了
   時刻の差が、第２の閾値以下または第２の閾値未満とな
   る工程を備えたことを特徴とする請求項１、または、請
   求項２記載の動画像記録再生方法。
4. 【請求項４】 前記第１の閾値、または、第２の閾値
   は、オーディオフレーム期間であることを特徴とする請
   求項３記載の動画像記録再生方法。
5. 【請求項５】 フレーム群の境界で、前のフレーム群に
   対応するオーディオフレームの再生終了時刻と該フレー
   ム群を構成するビデオフレームの再生終了時刻の差を第
   １の差分とし、後のフレーム群に対応するオーディオフ
   レームの再生終了時刻と該フレーム群を構成するビデオ
   フレームの再生終了時刻の差を第２の差分とし、 前記第１の差分と前記第２の差分の差をずれ量とし、ず
   れ量の値によって、少なくとも、通常再生、ビデオフレ
   ームのフリーズ、ビデオフレームのスキップ、オーディ
   オフレームのフリーズ、オーディオフレームのスキップ
   を切り替える工程を備えたことを特徴とする請求項１乃
   至請求項４のいずれかに記載の動画像記録再生方法。
6. 【請求項６】 前記切り替えは、ずれ量が正の値であっ
   て絶対値が第３の閾値以上の場合にはビデオフレームを
   フリーズさせ、 ずれ量が負の値であって絶対値が第４の閾値以上の場合
   にはビデオフレームをスキップさせることを特徴とする
   請求項５記載の動画像記録再生方法。
7. 【請求項７】 前記第３の閾値はオーディオフレーム期
   間またはビデオフレーム期間であり、前記第４の閾値は
   オーディオフレーム期間またはビデオフレーム期間であ
   ることを特徴とする請求項６記載の動画像記録再生方
   法。
8. 【請求項８】 前記管理ファイルに記録されているフレ
   ーム群の開始位置を再生開始位置または再生終了位置と
   し、該再生開始位置または再生終了位置を１つまたは複
   数指定するユーザプログラム備えたことを特徴とする請
   求項１乃至請求項７のいずれかに記載の動画像記録再生
   方法。
9. 【請求項９】 前記多重化データは、フレーム群を構成
   するビデオフレームを符号化したビデオ符号化データと
   ビデオフレームに対応するオーディオフレームを符号化
   したオーディオ符号化データを、１ビデオフレーム毎に
   時分割に多重化したものであることを特徴とする請求項
   ３乃至請求項８のいずれかに記載の動画像記録再生方
   法。
10. 【請求項１０】 前記管理ファイルに、少なくとも多重
    化データを構成するビデオ符号化データとオーディオ符
    号化データの境界を示す情報を付加したことを特徴とす
    る請求項３乃至請求項９のいずれかに記載の動画像記録
    再生方法。
11. 【請求項１１】 前記管理ファイルのパケット情報は、
    パケットの開始位置と、フレーム群毎のフレーム群の開
    始位置を含み、少なくとも 前記フレーム内符号化されるフレームの終了
    位置と、 前 記フレーム群の先頭のビデオフレームの再生時刻と、 前記フレーム群の先頭のオーディオフレームの再生時
    刻、及び／または、ビデオ符号化データとオーディオ符
    号化データの境界を示す情報の内、１つまたは複数の情
    報を管理ファイルに記録する工程と、 前記１つまたは複数の情報を、フレーム群の多重化デー
    タの先頭に記録する工程を備えたことを特徴とする請求
    項２乃至請求項１０のいずれかに記載の動画像記録再生
    方法。
12. 【請求項１２】 映像信号を圧縮、伸長するビデオコー
    デックと、 音声信号を圧縮、伸長するオーディオコーデックと、 ビデオ符号化データを多重化、分離する多重化・分離回
    路と、 符号化データを蓄積するメモリと、 記録メディアの記録、再生を制御するコントローラを備
    え、 前記多重化・分離回路では、パケットの開始位置、フレ
    ーム群の開始位置、少なくともフレーム内符号化される
    フレームの終了位置、フレーム群の先頭のビデオフレー
    ムの再生時刻、フレーム群の先頭のオーディオフレーム
    の再生時刻を出力し、 前記コントローラは、前記多重化・分離回路から入力さ
    れる情報から管理ファイルを構築し、請求項１乃至請求
    項１１のいずれかに記載の動画像記録再生方法を実現す
    る動画像記録再生装置。