JP4446669B2

JP4446669B2 - Moving image data recording method and reproducing method thereof, moving image data recording device and reproducing device thereof

Info

Publication number: JP4446669B2
Application number: JP2003063825A
Authority: JP
Inventors: 公祐入江
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-03-10
Filing date: 2003-03-10
Publication date: 2010-04-07
Anticipated expiration: 2023-03-10
Also published as: JP2004274488A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号を複数のフレームデータから構成されるフレームグループを最小単位として符号化して、符号化された複数のフレームグループを時系列に沿って配列された動画ストリームをストレージメディアに記録する動画データの記録方法及び装置、並びに前記動画データを複合化して再生する再生方法及び装置に関する。
【０００２】
【従来の技術】
アナログの映像信号をデジタルデータに変換し、変換された映像データを符号化（エンコード）して記録する動画データの記録方法が知られている。動画データの符号化方式の代表的なものに、ＭＰＥＧ(Moving Pictures Experts Group) 方式がある。ＭＰＥＧ方式で符号化された動画データは、ＭＰＥＧストリームと呼ばれる。このＭＰＥＧストリームが、動画ファイル（ＭＰＥＧファイルなど）として、ハードディスク，メモリーカード，ＤＶＤメディアなどの各種のストレージメディアに記録される。
【０００３】
ＭＰＥＧストリームには、一般的には、映像（ビデオ）ストリームに加えて、そのビデオストリームに対応する音声（サウンド）ストリームが付加される。ビデオストリームは、複数のＧＯＰ（Group Of Picture）と呼ばれる単位に分割される。これら複数のＧＯＰは時系列に沿って配列される。サウンドストリームが付加される場合には、サウンドストリームがＧＯＰに対応するサイズに時分割されて、分割されたデータが各ＧＯＰに対応する位置に挿入されて多重化される。
【０００４】
ＧＯＰは、複数のフレーム（静止画）データからなるピクチャデータと、このピクチャデータの先頭に付加されるＧＯＰヘッダとから構成されるフレームグループであり、エンコードはこのＧＯＰを単位として行われる。ピクチャデータは、例えば、１５枚分のフレームデータから構成される。フレームレートを３０フレーム／秒とすると、１ＧＯＰは約０．５秒程度の動画像になる。
【０００５】
１枚のフレームは、隣接するピクセルが類似しているというように空間的な冗長性を持っており、また、時間的に連続する複数のフレームは、前後のフレームが類似しているというように時間的な冗長性を持っている。ＭＰＥＧ方式では、１フレームの空間的な冗長性を排除するフレーム内圧縮と、複数フレーム間の時間的な冗長性を排除するフレーム間圧縮とを行うことで、データ圧縮が行われる。フレーム間圧縮では、フレーム間予測や動き補償といった手法を用いて、ＧＯＰ内の各フレームを符号化する。
【０００６】
動画再生を行う場合には、符号化されたＧＯＰが復号化されるが、ＭＰＥＧ方式では、各ＧＯＰ単位で復号化できるようにＧＯＰの独立性を確保している。このため、ＭＰＥＧストリームから任意のＧＯＰを取り出してこれを再生することもできる。ＧＯＰヘッダは、ＭＰＥＧストリームからＧＯＰを取り込む際のエントリポイントとして使用される。
【０００７】
記録されたフレームレートで再生する標準再生では、まず、ストリームの先頭のＧＯＰを読み出し、これをデコードしてＧＯＰ内の全フレームを復元して、各フレームを順番に再生する。次のＧＯＰは、既に取り込み済みの先頭ＧＯＰの終端位置を基準にヘッダが検出されて読み出されて、再生される。こうした処理を繰り返して標準再生が行われる。
【０００８】
ＭＰＥＧストリームの再生装置としては、各種のものが開発されている（例えば、特許文献１）が、こうした再生装置には、標準再生の他に、逆再生，早送り再生，早戻し再生などの特殊再生を行えるものもある。例えば、１ＧＯＰが１５枚のフレームから構成されている場合には、各ＧＯＰ毎に１枚のフレームのみを再生していけば、１５倍速で早送り再生を行うことができる。また、１つのＧＯＰを飛ばしながら各ＧＯＰ毎に１枚のフレームのみを再生していけば、３０倍速で早送り再生を行うことができる。
【０００９】
こうした特殊再生を行う場合にも、ＧＯＰサーチ方法は、上述した標準再生と同様であり、既に読み出し済みのＧＯＰの格納位置を基準にそこからＭＰＥＧストリームのデータを読み出して、そのデータを解析することにより、所望のＧＯＰのヘッダを検出している。
【００１０】
【特許文献１】
特開平８−１６８０４２号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上述したＧＯＰサーチ方法では、取り込んだＧＯＰの先頭又は終端アドレスから、次のＧＯＰのヘッダが検出されるまでデータを読み出して解析していかなければならない。こうしたサーチ方法は、標準再生の場合には、取り込んだＧＯＰの終端位置の直後のＧＯＰを取り込めばよいので、それほど問題にはならないが、逆再生，早送り再生，早戻し再生などの特殊再生では、取り込んだＧＯＰの先頭位置又は終端位置から、エントリーポイントであるＧＯＰヘッダまでの間隔が空くのでＧＯＰサーチ処理の負荷が大きくなってしまうという問題があった。
【００１２】
例えば、逆再生の場合には、取り込んだＧＯＰの直前のＧＯＰを取り込まなければならない。この場合には、取り込んだＧＯＰの先頭位置と直前のＧＯＰのヘッダとの間には、直前のＧＯＰのピクチャデータが配置される。そのため、標準再生と比較すると、ＧＯＰ間の間隔が空くため、ＧＯＰサーチ処理の負荷が大きい。また、ＧＯＰを１つおきに取り込んでいかなければならない早送り再生や早戻し再生では、ＧＯＰ間の間隔が大きく空くため、ＧＯＰサーチ処理の負荷はより大きくなる。
【００１３】
ＣＰＵの処理能力が低く、また、メモリの容量も少ないというようにマシンリソースが少ない場合には、ＧＯＰサーチ処理の負荷が大きいと、処理をスムーズに行うことができず、早送り再生や早戻し再生の速度を上げることができないばかりか、逆再生の場合など再生速度が比較的低速である場合でもスムーズに再生ができない場合もある。
【００１４】
そこで、ＤＶＤ規格の制定や普及を推進する組織であるＤＶＤフォーラムが規格化した動画再生専用の記録フォーマットであるＤＶＤ−Ｖｉｄｅｏフォーマットでは、ＭＰＥＧストリーム（動画ファイル）とは別に、ＭＰＥＧストリーム内の各ＧＯＰの格納位置を記録したインフォメーションファイルを用意し、これをＭＰＥＧストリームとともにメディア内に格納するようにしている。この場合には、次に復号化すべきＧＯＰの格納位置を、インフォメーションファイルを参照して取得することができるので、ＧＯＰのサーチ処理の負荷を軽減することができる。
【００１５】
しかし、ＭＰＥＧストリームは、ＤＶＤ−Ｖｉｄｅｏフォーマットで使用される以外でも様々な場面で利用されており、そうした場面の多くでは、ＭＰＥＧストリーム単体で取り扱われることが多い。そのため、ＤＶＤ−Ｖｉｄｅｏフォーマットのように、ＭＰＥＧストリームとは別にＧＯＰ位置参照用のインフォメーションファイルを付属させる方式は、ファイルコピーやファイル移動などを行う場合には、ファイルの取り扱いが煩雑化する要因ともなる。
【００１６】
本発明は、少ないマシンリソースでもスムーズな特殊再生が可能で、かつ取り扱いの簡便性を維持した形態で動画データを記録する動画データの記録方法及び装置並びに前記記録方法及び装置によって記録された動画データの再生方法及び再生装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
前記目的を達成するために、本発明は、複数のフレームデータから構成されるフレームグループを単位として符号化し、符号化された複数のフレームグループが時系列に沿って配列されたビデオストリームをストレージメディアに記録する動画データの記録方法において、各フレームグループの先頭に付加されるグループヘッダに、各フレームグループと時間的に前後する他のフレームグループのアドレス情報を格納して、前記ビデオストリームを記録することを特徴とする。
【００１８】
前記アドレス情報は、各フレームグループの格納位置と、そのフレームグループと時間的に前後する他のフレームグループの格納位置との間の相対的な位置関係を表す相対アドレスであることが好ましい。
【００１９】
前記グループヘッダには、直前のフレームグループ，２つ前のフレームグループ，直後のフレームグループ，２つ後のフレームグループの少なくとも４つのフレームグループのアドレス情報が格納される。
【００２０】
前記ビデオストリームは、ＭＰＥＧ規格のビデオストリームであり、前記フレームグループはＧＯＰである。
【００２１】
本発明の動画データ記録装置は、複数のフレームデータから構成されるフレームグループを単位として符号化し、符号化された複数のフレームグループを時系列に沿って配列した映像ストリームをストレージメディアに記録する動画データの記録装置において、各フレームグループの先頭に付加されるグループヘッダに、各フレームグループと時間的に前後する他のフレームグループのアドレス情報を格納するアドレス格納手段を備えたことを特徴とする。
【００２２】
本発明の動画データ再生方法は、複数のフレームデータから構成されるフレームグループを最小単位として符号化され、符号化された複数のフレームグループが時系列に沿って配列されたビデオストリームを、前記フレームグループを単位として復号化して再生する動画データの再生方法において、各フレームグループの先頭に付加されるグループヘッダに、各フレームグループと時間的に前後する他のフレームグループのアドレス情報が含まれている場合には、前記アドレス情報に基づいて、次に復号化すべきフレームグループの格納位置へダイレクトにアクセスすることを特徴とする。
【００２３】
本発明の動画データの再生装置は、複数のフレームデータから構成されるフレームグループを最小単位として符号化され、符号化された複数のフレームグループが時系列に沿って配列された動画ストリームを、前記フレームグループを単位として復号化して再生する動画データの再生装置において、各フレームグループの先頭に付加されるグループヘッダに、各フレームグループと時間的に前後する他のフレームグループのアドレス情報が含まれている場合には、前記アドレス情報に基づいて、次に復号化すべきフレームグループの格納位置へダイレクトにアクセスするアクセス手段を備えたことを特徴とする。
【００２４】
【発明の実施の形態】
図１は、本発明を適用したデジタルカメラ１０の電気構成の概略を示すブロック図である。デジタルカメラ１０は、静止画撮影機能の他、動画撮影機能を備えており、撮像部１１で撮影した静止画や動画をメモリーカード１２に記録する。メモリーカード１２は、カメラ本体に設けられたカードスロットに着脱自在にセットされる。メモリーカード１２としては、例えば、スマートメディア（商品名），ｘＤピクチャカード（商品名），コンパクトフラッシュ（登録商標）などのストレージメディアが使用される。もちろん、メモリーカード１２の他に、マイクロドライブ（商品名）などのストレージメディアを使用してもよい。
【００２５】
ＣＰＵ１３は、デジタルカメラ１０の各部とデータバス１４等を介して接続されており、操作部１６からの操作信号に基づいて、カメラ各部を統括的に制御する。ＥＥＰＲＯＭ１７には、制御プログラムや各種の設定情報が記録されている。ＣＰＵ１３は、この制御プログラムを読み出して、そのプログラムに記述された処理ステップを実行することにより各種の処理を実行する。
【００２６】
操作部１６は、モード選択ダイヤル１８，レリーズボタン１９，十字キー２１などからなる。モード選択ダイヤル１８は、静止画撮影モード，動画撮影モード，再生モードなどの各種動作モードを選択する。再生モードでは、メモリーカード１２に記録した静止画データや動画データをＬＣＤパネル２３に再生表示する。レリーズボタン２４は、撮影実行ボタンであり、静止画撮影モードにおいては、これを１回押下すると１回の静止画撮影が実行される。他方、動画撮影モードでは、レリーズボタン２４を１回押すと動画撮影が開始され、もう１回押すと動画撮影が終了する。
【００２７】
十字キー２１は、動作モードに応じて複数の役割を持つ汎用キーである。十字キー２１は、例えば、略円板状のキー本体を有し、その表面の上下左右がそれぞれ押圧部になっており、各押圧部にはそれぞれ上下左右の矢印がマーキングされている。静止画及び動画の各撮影モードでは、上下の押圧部がズームキーに割り当てられる。また、ＬＣＤパネル２３に画像選択用のインデックス画面やセットアップ画面が表示されている場合には、十字キー２１は、画面上に表示される画像又は項目を選択するためのカーソルを移動するカーソル移動キーに割り当てられる。
【００２８】
また、再生モードにおいて動画を再生する場合には、十字キー２１が動画再生キーとなる。上下の各押圧部がそれぞれ再生開始キーと再生停止キーに割り当てられ、上押圧部を押下すると、記録したフレームレートで再生を行う標準再生が開始され、下押圧部を押下すると、再生が停止される。このデジタルカメラ１０は、標準再生の他に、標準速度で逆方向に再生する逆再生や、順方向及び逆方向のそれぞれの再生を倍速で行う早送り再生及び早戻し再生などの特殊再生ができるようになっている。早送り再生及び早戻し再生の再生速度は、それぞれ１５倍速と３０倍速の２段階で切り替えられるようになっている。
【００２９】
動画再生をした場合には、左右の各押圧部は、それぞれ特殊再生キーとなる。右押圧部は早送りキーとなり、左の押圧部は早戻しキーとなる。標準再生が開始された後、右押圧部が１回押されると、１５倍速で早送り再生が開始される。さらにもう１回押すと、再生速度が３０倍速に切り替えられる。他方、標準再生が行われているときに、左押圧部を１回押すと、逆再生が行われる。もう１回押下すると再生速度が１５倍速の早戻し再生が行われ、さらにもう１回押下すると再生速度が３０倍速になる。
【００３０】
ＲＡＭ２６は、ＣＰＵ１３などが各種処理を実行する際に使用するための作業用メモリである。ＲＡＭ２６としては、例えば、バスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。メディアＩ／Ｆ２７は、メモリーカード１２へのデータの書き込みと書き込まれたデータの読み出しを行う。
【００３１】
撮像部１１は、撮影光学系３１，ＣＣＤイメージセンサ３２，Ａ／Ｄコンバータ３３からなる。ＣＣＤイメージセンサ３２は、周知のように、多数の受光素子をマトリックス状に配列された光電面を備えており、撮影光学系３１を通過して光電面に結像した被写体光を光電変換する。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、各画素がそれぞれＲ，Ｇ，Ｂのいずれかに対応するように各色のフイルタが規則的に配列されたカラーフイルタアレイとが配置されている。ＣＣＤイメージセンサ３２は、垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルな撮像信号として出力する。
【００３２】
動画撮影は、ＣＣＤイメージセンサ３２がフレーム（静止画）を所定の周期で連続的に取り込むことにより行われる。フレームの取り込み周期（フレームレート）は、例えば、３０フレーム／秒に設定されている。また、１フレーム分の取り込み画素数は、動画撮影時と静止画時とでは異なり、動画撮影の場合には、静止画よりも少ない画素数に設定されている。
【００３３】
ＣＣＤイメージセンサ３２から出力されたＲＧＢのアナログの撮像信号は、Ａ／Ｄコンバータ３３によってデジタルデータに変換されて、フレーム単位で一端ＲＡＭ２６に書き込まれる。ＲＡＭ２６に書き込まれたフレームデータは、図示しない画像補正部によってガンマ補正，シャープネス補正などの各種の画像処理が施された後、ＹＣ処理回路２８によって、画素データが、ＲＧＢの濃度データから構成されるＲＧＢデータから、輝度データＹと、青色色差データＣｂ，赤色色差データＣｒとから構成されるＹＣデータへ変換される。
【００３４】
ＪＰＥＧ圧縮伸張処理回路２９は、ＲＡＭ２６にアクセスして、静止画撮影モードで取り込まれた１フレーム分のＹＣデータを読み出し、このＹＣデータをＪＰＥＧ（Joint Photograrhic Expart Group)方式で符号化（エンコード）してデータを圧縮する。エンコードされたデータは、ＲＡＭ２６に順次書き出される。１フレーム分のエンコードが終了した後、エンコード済みデータがＪＰＥＧファイルとして、メディアＩ／Ｆ３１を介してメモリーカード１２に記録される。また、ＪＰＥＧ圧縮伸張処理回路２９は、いったんメモリーカード１２に記録されたＪＰＥＧファイルを再生する際に、復号化（デコード）してデータを伸張する。
【００３５】
マイク３５は、動画撮影モードにおいて音声を記録するためのもので、このマイク３５によって取り込まれたアナログの音声信号は、Ａ／Ｄコンバータ３４によって所定のサンプリング周波数でデジタルデータに変換される。変換された音声データは、いったんＲＡＭ２６に記録される。
【００３６】
ＭＰＥＧ圧縮伸張処理回路３６は、動画撮影モードで取り込まれた複数フレーム分のＹＣデータを、ＭＰＥＧ方式で符号化（エンコード）してデータ圧縮する。また、マイク３５によって取り込まれた音声データも所定の方式で符号化がされてデータが圧縮される。なお、ＭＰＥＧ方式では、音声データについては非圧縮データもサポートしているので、音声データについては圧縮しなくてもよい。
【００３７】
ＭＰＥＧ圧縮伸張処理回路３６は、ＭＰＥＧ圧縮部４２とＭＰＥＧ伸張部４３とからなる。ＭＰＥＧ圧縮部４２は、圧縮済みのビデオデータと音声データとを多重化してＭＰＥＧストリームを生成する。生成されたＭＰＥＧストリームが動画ファイルとしてメモリーカード１２に記録される。また、ＭＰＥＧ伸張部４３は、いったんメモリーカード１２に記録されたＭＰＥＧストリームを再生する際に、データを復号化（デコード）してデータを伸張する。
【００３８】
デコードされたフレームデータ（ＹＣデータ）は、ＲＧＢ変換処理回路３７でＲＧＢデータに変換される。ＬＣＤドライバ３８は、このＲＧＢデータに基づいてＬＣＤパネル２３を駆動する。また、動画再生の場合には、デコードされた音声データは、Ｄ／Ａコンバータ３９によってアナログ信号に変換されてスピーカ４１に出力される。
【００３９】
図２に示すように、ＭＰＥＧ圧縮部４２は、サウンドエンコーダ４４，ビデオエンコーダ４６，多重化部４７，ＧＯＰヘッダ位置検出部４８からなる。サウンドエンコーダ４４は、マイク３５によって取り込まれた音声データをＲＡＭ２６から読み出し、読み出したデータを順次エンコードして、圧縮済みの音声データが時系列に配列されたオーディオストリームを生成する。
【００４０】
ビデオエンコーダ４６は、ＲＡＭ２６にアクセスしてフレームデータを読み出し、読み出したフレームデータを順次エンコードして、フレームデータを圧縮する。ビデオエンコーダ４６は、例えば、１５フレーム分のフレームデータを単位としてエンコードを行い１つのＧＯＰを生成する。こうした処理を入力されたフレームデータに対して順次行うことにより、複数のＧＯＰが時系列に配列されたビデオストリームが生成される。図上、ＧＯＰ１は、ビデオストリームの先頭のＧＯＰであり、このＧＯＰ１に続いてＧＯＰ２以下の各ＧＯＰが時系列に沿って配列される。
【００４１】
各ＧＯＰ１〜ｎは、複数のフレーム（静止画）データからなるピクチャデータと、このピクチャデータの先頭に付加されるＧＯＰヘッダとから構成される。ピクチャデータは、Ｉ(Intra) ピクチャ，Ｐ(Predictive)ピクチャ，Ｂ(Bidirectionally-predictive)ピクチャの３種類のピクチャデータから構成される。
【００４２】
Ｉピクチャは、フレーム内圧縮のみが行われたフレームであり、単独で原画像を復元可能なフレームデータである。Ｐピクチャ及びＢピクチャは、このＩピクチャを含む他のピクチャを参照して原画像が復元されるフレームデータである。Ｐピクチャは、前（過去）のフレームを参照して時間的に後（未来）のフレームを予測するフレーム間順方向予測を用いて生成されるフレームデータであり、Ｂピクチャは、前後のフレームを参照してその間のフレームを予測するフレーム間双方向予測を用いて生成されるフレームデータである。
【００４３】
ＭＰＥＧ方式では、１つのＧＯＰに少なくとも１つのＩピクチャを含めるとともに、各ＧＯＰの最初のフレームは必ずＩピクチャとなるように規定されている。こうして各ＧＯＰの独立性を確保することで、動画再生の際にＧＯＰ単位で復号化（デコード）ができるようにしている。
【００４４】
ＧＯＰヘッダには、１つのＧＯＰの開始を示すスタートコード，音声データと同期を取るためのタイムコードなどが格納される。また、ＭＰＥＧ規格では、このＧＯＰヘッダに、ＭＰＥＧストリームを作成するユーザーが任意のデータを格納することができる領域であるユーザーデータ領域５１を確保することが許容されている。ビデオエンコーダ４６は、各ＧＯＰ１〜ｎのヘッダにこのユーザーデータ領域５１を確保して、ビデオストリームを生成する。各ＧＯＰ１〜ｎのユーザーデータ領域５１には、後述するように、各ＧＯＰと時間的に前後するＧＯＰのアドレス情報が格納される。このＧＯＰアドレス情報は、動画再生の際に、ストリーム中の所望のＧＯＰへアクセスする際に参照される。
【００４５】
多重化部４７は、オーディオストリームとビデオストリームとを多重化してＭＰＥＧストリームを生成する。この多重化処理では、オーディオストリームが、各ＧＯＰ１〜ｎの再生時間と対応するサイズに分割され、それぞれのオーディオデータＡ１〜ｎが、各ＧＯＰ１〜ｎと対応する位置に配置される。
【００４６】
ＧＯＰヘッダ位置検出部４８は、ＭＥＰＧストリームをＲＡＭ２６に書き出す際に、ストリーム中の各ＧＯＰ１〜ｎのＧＯＰヘッダ位置を検出する。ＲＡＭ２６には、アドレスバッファエリア２６ａが確保されており、ＧＯＰヘッダ位置検出部４８は、検出した各ＧＯＰ１〜ｎのストリーム中の絶対アドレスをこのアドレスバッファエリア２６ａに書き込む。例えば、図３に示すように、ＭＰＥＧストリーム内の各ＧＯＰ１〜ｎの先頭位置の絶対アドレスをそれぞれａｄ１〜ａｄｎとすると、アドレスバッファエリア２６ａには、各ＧＯＰ１〜ｎの絶対アドレスａｄ１〜ａｄｎが順次スタックされていく。ＣＰＵ１３は、スタックされた絶対アドレスに基づいて、各ＧＯＰと、それらＧＯＰと時間的に前後するＧＯＰとの相対位置を表す相対アドレスを計算して求める。
【００４７】
ＭＰＥＧ圧縮部４２からＲＡＭ２６に出力されたＭＰＥＧストリームは、先頭のＧＯＰ１から順にメモリーカード１２へ書き出される。ＣＰＵ１３は、この書き出しの際に、求めた相対アドレスをＧＯＰアドレス情報として、ＧＯＰヘッダのユーザーデータ領域５１に格納する。動画撮影時間が長い場合には、ＭＰＥＧストリーム全体をＲＡＭ２６に記憶しておくことはできないので、ＧＯＰアドレス情報を格納済みのＧＯＰは、動画撮影終了を待たずに、順次メモリーカード１２へ書き出される。
【００４８】
図４に示すように、各ＧＯＰヘッダｈ１〜ｈｎのユーザーデータ領域５１には、前後のＧＯＰの相対アドレスが２つずつ、合計４つの相対アドレスが格納される。すなわち、直前のＧＯＰと２つ前のＧＯＰのそれぞれの相対アドレスと、直後のＧＯＰと２つ後のＧＯＰのそれぞれの相対アドレスが格納される。ＧＯＰ１の場合には、時間的に前（過去）のＧＯＰは存在しないので、その相対アドレスとしては「０」が格納される。時間的に後（未来）のＧＯＰは、直後のＧＯＰがＧＯＰ２となるので、ＧＯＰ２の絶対アドレスａｄ２からＧＯＰ１の絶対アドレスａｄ１を引いた値「ａｄ２−ａｄ１」が直後のＧＯＰの相対アドレスとなる。２つ後のＧＯＰは、ＧＯＰ３となるので、ＧＯＰ３の絶対アドレスａｄ３からＧＯＰ１の絶対アドレスａｄ１を引いた値が２つ後のＧＯＰの相対アドレスとなる。
【００４９】
また、ＧＯＰ５の場合には、直前のＧＯＰがＧＯＰ４となり、２つ前のＧＯＰがＧＯＰ３となる。したがって、時間的に前のＧＯＰとして、直前のＧＯＰ４との相対アドレス「ａｄ４−ａｄ５」と、２つ前のＧＯＰ３との相対アドレス「ａｄ３−ａｄ５」が格納される。他方、直後のＧＯＰはＧＯＰ６となり、２つ後のＧＯＰはＧＯＰ７となる。したがって、時間的に後のＧＯＰとして、直後のＧＯＰ６との相対アドレス「ａｄ６−ａｄ５」と、２つ後のＧＯＰ７との相対アドレス「ａｄ７−ａｄ５」が格納される。他のＧＯＰのユーザーデータ領域５１についても、同様に前後のＧＯＰとの相対アドレスが格納される。
【００５０】
図５に示すように、ＭＰＥＧ伸張部４３は、ＧＯＰ取り込み部５２，バッファメモリ５３，分離部５４，サウンドデコーダ５５，ビデオデコーダ５６からなる。動画再生時には、メモリーカード１２に記録されたＭＰＥＧストリームがいったんＲＡＭ２６に読み出される。ＭＰＥＧ伸張部４３は、ＲＡＭ２６に読み出されたＭＰＥＧストリームを、ＧＯＰ単位でデコードする。ＧＯＰ取り込み部５２は、ＲＡＭ２６にアクセスして、ＣＰＵ１３からの再生命令の内容に応じて、ＭＰＥＧストリームから取り込むべきＧＯＰをサーチして取り込む処理を行う。
【００５１】
ＧＯＰ取り込み部５２は、取り込んだＧＯＰのヘッダからＧＯＰアドレス情報（相対アドレス）を抽出し、これをバッファメモリ５３に格納する。このバッファメモリ５３としては、例えば、ＤＲＡＭと比較して高速に読み出し可能なＳＲＡＭ(Static-ＲＡＭ）が使用される。バッファメモリ５３には、例えば、デコード中の１ＧＯＰ分のＧＯＰアドレス情報が格納される。バッファメモリ５３のＧＯＰアドレス情報は、次のＧＯＰが取り込まれたときに、そのＧＯＰのＧＯＰアドレス情報によって順次上書き更新される。もちろん、デコード中のＧＯＰに加えて、既にデコード済みのＧＯＰから抽出したＧＯＰアドレス情報を所定のＧＯＰ数分格納しておいてもよい。
【００５２】
なお、他の機種で撮影されたＭＰＥＧストリームのように、ＧＯＰアドレス情報が格納されていない場合には、取り込んだＧＯＰの先頭位置と終端位置の絶対アドレスをバッファメモリ５３に格納し、その絶対アドレスを基準に所望のＧＯＰをサーチする。
【００５３】
分離部５４は、取り込まれたＭＰＥＧストリームをビデオストリームとオーディオストリームとに分離する。サウンドデコーダ５５は、分離されたオーディオストリームをデコードして、音声データとして出力する。出力された音声データに基づいてスピーカ４１が駆動されて、音声が再生される。ビデオデコーダ５６は、分離されたビデオストリームをＧＯＰ単位で復号化してフレームデータを復元する。このフレームデータがＬＣＤパネル２３に出力されて映像が再生される。映像と音声とはＧＯＰヘッダ内のタイムコードによって同期が取られて再生される。
【００５４】
図６に示すように、ＣＰＵ１３から標準再生命令を受けた場合には、ＧＯＰ取り込み部５２は、ＭＰＥＧストリームの先頭のＧＯＰ１から順に取り込みを行う。そして、ビデオデコーダ５６は、取り込まれたＧＯＰ１のフレームｆ１〜ｆ１５をデコードして、復元された全フレームをｆ１から順に出力する。ＧＯＰ１のデコードが終了した後、その直後のＧＯＰ２をデコードして再生する。こうした処理が順次繰り返されて標準再生が行われる。
【００５５】
この標準再生が開始された後、ＣＰＵ１３から特殊再生命令を受けた場合には、ＭＰＥＧ伸張部４３は、その内容に応じたＧＯＰの取り込み及びデコード処理を行う。図７は、早送り再生のフレーム再生順序を示す。図７（Ａ）に示すように、１５倍速の早送り再生の場合には、ＧＯＰ取り込み部５２は、標準再生と同様に、各ＧＯＰを順に取り込む。そして、ビデオデコーダ５６は、取り込まれたＧＯＰのＩピクチャのみをデコードして、復元されたフレームｆ１のみを出力する。各ＧＯＰ毎に１フレームずつ出力されるので、１５倍速で早送り再生が行われる。
【００５６】
図７（Ｂ）のように、３０倍速の早送り再生の場合には、ＧＯＰ取り込み部５２は、各ＧＯＰを１つおきに取り込む。そして、ビデオデコーダ５６は、取り込まれたＧＯＰのＩピクチャのみをデコードして、復元されたフレームｆ１のみを出力する。１つおきにＧＯＰが取り込まれ、各ＧＯＰ毎に１フレームずつ出力されるので、３０倍速で早送り再生が行われる。
【００５７】
図８は、逆再生のフレーム再生順序を示す。逆再生を行う場合には、ＧＯＰ取り込み部５２は、ＧＯＰ３，ＧＯＰ２，ＧＯＰ１というように、標準再生とは逆方向に各ＧＯＰを順に取り込む。そして、ビデオデコーダ５６は、取り込まれたＧＯＰの全ピクチャをデコードし、復元された全フレームｆ１〜ｆ１５を、フレームｆ１５から順に出力する。早戻し再生をする場合には、早送りとは逆方向にＧＯＰを取り込み、各ＧＯＰ毎にＩピクチャのみデコードして、復元された１フレームを出力する。
【００５８】
ＧＯＰ取り込み部５２は、ＧＯＰの取り込みの際に、バッファメモリ５３内にＧＯＰアドレス情報を参照して、次にデコードすべきＧＯＰの格納位置を取得し、ＭＰＥＧストリーム中の所望のＧＯＰの格納位置へダイレクトにアクセスする。このため、ＧＯＰ取り込み部５２のＧＯＰサーチ処理の負荷が軽減される。特に、逆再生の場合や、図９及び図１０に示す３０倍速の早送り再生や早戻し再生を行う場合のように、既に取り込んだＧＯＰと、次にデコードすべきＧＯＰとの間隔が空く場合には、各ＧＯＰ間のデータを逐次読み出して解析する処理が不要となるので、ＧＯＰサーチ処理の負荷が大きく軽減される。早送り及び早戻しの再生速度をさらに上げる場合には、取り込んだＧＯＰと次にデコードすべきＧＯＰとの間隔がさらに大きく空くので、その効果はより大きなものとなる。
【００５９】
以下、上記構成による作用について、図１１及び図１２のフローチャートを参照しながら説明する。デジタルカメラ１０で動画撮影をする場合には、モード選択ダイヤル１８を動画モードにセットして、レリーズボタン１９を押下する。これにより動画撮影が開始される。動画撮影が開始されると、撮像部１１が３０フレーム／秒のフレームレートでフレームデータを取り込む。同時にマイク３５から音声データが取り込まれる。ＭＰＥＧ圧縮部４２は、ＲＡＭ２６にアクセスして、取り込まれたフレームデータ及び音声データを取り込み、サウンドエンコーダ４４及びビデオエンコーダ４４によってそれぞれのデータをエンコードする。ビデオエンコーダ４６は、１５フレーム分のフレームデータを単位としてＭＰＥＧ方式で順次エンコードを行いＧＯＰを生成する。そして、各ＧＯＰのＧＯＰヘッダにユーザーデータ領域５１を確保してビデオストリームを生成する。
【００６０】
多重化部４７は、このビデオストリームと、サウンドエンコーダ４４から出力されるオーディオストリームとを多重化してＭＰＥＧストリームを生成する。ＧＯＰヘッダ位置検出部４８は、ＭＰＥＧストリームをＲＡＭ２６に書き出す際に、各ＧＯＰのＭＰＥＧストリーム内の格納アドレス（絶対アドレス）を検出して、アドレスバッファエリア２６ａにスタックする。ＣＰＵ１３は、ＭＰＥＧストリームをメモリーカード１２に書き出す際に、各ＧＯＰのユーザーデータ領域５１に前後のＧＯＰとの相対アドレスを格納する。こうした処理をレリーズボタン１９がもう１度押されるまで繰り返される。レリーズボタン１９が押されると、動画撮影が終了する。
【００６１】
メモリーカード１２へ記録した動画を再生する場合には、モード選択ダイヤル１８で再生モードに切り替える。そうすると、ＬＣＤパネル２３にメモリーカード１２に記録された動画及び静止画のインデックス画面が表示される。十字キー２１を操作して画面上のカーソルを移動して所望の動画を選択する。選択を確定し、十字キー２１の上押圧部を押下すると標準再生が開始される。
【００６２】
ＣＰＵ１３は、メモリーカード１２から選択されたＭＰＥＧストリームをＲＡＭ２６に読み出す。ＭＰＥＧ伸張部４３は、ＲＡＭ２６にアクセスしてＭＰＥＧストリームの先頭から１ＧＯＰ取り込む。取り込んだＧＯＰ１は、全フレームが復元されて再生される。ＧＯＰ取り込み部５２は、取り込んだＧＯＰのヘッダにその前後のＧＯＰアドレス情報が格納されている場合には、それをバッファメモリ５３に格納する。再生停止指示又は特殊再生指示がない限り、デコードしたＧＯＰの直後のＧＯＰを順次取り込んで標準再生が行われる。
【００６３】
早送り再生，逆再生，早戻し再生などの特殊再生指示があった場合には、ＭＰＥＧ伸張部４３は、その内容に応じて、ＧＯＰの取り込み及びデコードを行う。ＧＯＰの取り込みは、バッファメモリ５３に格納されたＧＯＰアドレス情報に基づいて次にデコードすべきＧＯＰへダイレクトにアクセスできるので、ＧＯＰサーチ処理の負荷が少ない。このため、マシンリソースが少ない場合でもスムーズな特殊再生を行うことができる。
【００６４】
また、ＧＯＰアドレス情報は、ＭＰＥＧ規格で許容されているユーザーデータ領域に格納される。このため、ＤＶＤ−Ｖｉｄｅｏフォーマットのように、ＧＯＰ位置参照用のインフォメーションファイルを必要としないので、ＭＰＥＧストリームの取り扱いが煩雑化することはない。また、ＧＯＰアドレス情報が格納されたＭＰＥＧストリームを、ＧＯＰアドレス情報に対応していない再生装置で再生した場合でも問題なく再生することができる。
【００６５】
本例では、動画記録の際に、ＭＰＥＧストリームをＲＡＭにいったん書き出した後、ユーザーデータ領域にＧＯＰアドレス情報を格納しているが、ＭＰＥＧストリームをＲＡＭに書き出す前、すなわちＭＰＥＧストリームを生成中に、リアルタイムでＧＯＰアドレス情報を格納してもよい。この場合には、例えば、図１３に示すＭＰＥＧ圧縮部６１のように、ＧＯＰアドレス情報格納部６２を設ける。そして、多重化部４７が、多重化する際に、多重化処理済みの各ＧＯＰの格納アドレスを検出して、そのアドレス（絶対アドレス）をバッファメモリ６３にスタックする。ＧＯＰアドレス情報格納部６２は、スタックされた格納アドレスに基づいて相対アドレスを計算し、各ＧＯＰヘッダのユーザーデータ領域にアドレス情報を格納する。ＭＰＥＧストリームは、ＧＯＰアドレス情報が格納された状態でＲＡＭ２６に書き出される。
【００６６】
例えば、ＧＯＰ１，ＧＯＰ２，ＧＯＰ３というように多重化処理がなされる場合に、これらの絶対アドレスがバッファメモリ６３にスタックされる。そして、ＧＯＰアドレス情報格納部６２は、ＧＯＰ２をＲＡＭ２６へ書き出す際に、ＧＯＰ２のＧＯＰヘッダに、ＧＯＰ１とＧＯＰ２との相対アドレスを格納する。同様に、ＧＯＰ３をＲＡＭ２６へ書き出す際には、ＧＯＰ２とＧＯＰ３との相対アドレスが格納される。ただし、この方式の場合には、ＧＯＰ２のヘッダには、時間的に前のＧＯＰ１との相対アドレスしか格納することはできず、時間的に後のＧＯＰ３との相対アドレスを格納することはできない。しかし、上述したように、ＧＯＰサーチ処理は、順方向再生よりも逆方向再生の方が負荷が大きいので、時間的に前のＧＯＰとの相対アドレスを格納するだけでも十分な効果を期待できる。
【００６７】
上記実施形態では、相対アドレスを、時間的に前と後でそれぞれ２つずつ格納するようにしているが、前後それぞれ３つあるいは４つというように、２つ以上のＧＯＰの相対アドレスを格納してもよい。また、相対アドレスを格納するようにしているが、絶対アドレスを使用してもよい。ただし、絶対アドレスを使用すると、記録後、ＭＰＥＧストリームが分割されたり他のストリームと結合された場合には、格納した絶対アドレスが使用できなくなるおそれがある。こうした場合を考慮して、相対アドレスを使用することが好ましい。
【００６８】
また、ＧＯＰアドレス情報として、ストリーム中のアドレス値を例に説明したが、アドレス値の代わりに、ストリーム中のパック数を使用してもよい。図１４（Ａ）に示すように、ＭＰＥＧストリームは、そのコンテンツデータが、２ＫＢｙｔｅ（２０４８Ｂｙｔｅ）のサイズを持つ複数のパックに格納される。各パックには、それぞれパックヘッダが設けられている。ＧＯＰアドレス情報として、アドレス値の代わりに各ＧＯＰ間のパック数を使用しても、ＧＯＰの相対位置を示す情報として使用することができる。
【００６９】
パック数を使用する場合には、例えば、ユーザーデータ領域として、１つのＧＯＰのアドレス情報につき１６ｂｉｔ程度を確保しておけばよい。１６ｂｉｔのうちの先頭１４ｂｉｔがパック数に割り当てられ、残りの２ｂｉｔがＧＯＰ識別情報に割り当てられる。ＧＯＰ識別情報に２ｂｉｔを割り当てておけば、２×２で４通りの値を表すことができるので、直前と２つ前のＧＯＰと、直後と２つ後のＧＯＰの計４つのＧＯＰを識別することができる。パック数に１４ｂｉｔを割り当てておけば、約１万６千パックまで表すことができる。１パックが２ＫＢｙｔｅなので、約４０ＭＢｙｔｅのＧＯＰ間隔を表すことができる。ＧＯＰの間隔は、実際上、大きくても数ＭＢｙｔｅ以内に収まるので、この程度のｂｉｔ数を割り当てておけば十分である。もちろん、これは１例であり、これよりも大きな領域を確保してもよいし、小さくてもよい。
【００７０】
また、上記実施形態では、早送り再生，早戻し再生の例として、１５倍速と３０倍速の例で説明したが、これ以外の速度の再生ができるようにしてもよい。例えば、１つのＧＯＰ内の１５フレームを１つおきに再生すれば、２倍速再生となり、２つおきに再生すれば、約４倍速再生となる。また、ＧＯＰを２つおきに飛ばして取り込み、取り込んだＧＯＰ内のフレームを１フレームずつ再生していけば、６０倍速再生となる。
【００７１】
上記実施形態では、ＭＰＥＧストリームをビデオストリームに音声データを加えたものとして説明したが、音声データはなくてもよい。また、デジタルカメラを例に説明したが、本発明を、カメラ付き携帯電話やカメラ付きＰＤＡ（Personal Digital Assistant) などの各種携帯端末に適用してもよい。少ないマシンリソースを利用してスムーズな特殊再生を行うという本発明の目的に照らせば、こうした携帯用機器には特に有効である。
【００７２】
また、動画データ再生方法及び装置をデジタルカメラに適用した例で説明したが、デジタルカメラに限らず、ＤＶＤプレーヤーやＣＤプレーヤーなど動画データを再生する各種再生装置に適用することができる。もちろん、パーソナルコンピュータ上で動作する動画再生ソフトウエアにも適用することができる。また、動画データを記録するストレージメディアの例としてメモリーカードやマイクロドライブを例に説明しているが、この他、ハードディスク，ＤＶＤメディア，ＣＤメディア，ＭＯメディアなど各種のストレージメディアに適用することができる。
【００７３】
【発明の効果】
以上詳細に説明したように、本発明は、ビデオストリームの各フレームグループの先頭に付加されるグループヘッダに、各フレームグループと時間的に前後する他のフレームグループのアドレス情報を格納することにより、前記アドレス情報を参照して所望のフレームグループへダイレクトにアクセスできるようにしたから、フレームグループのサーチ処理の負荷を軽減することができる。このため、少ないマシンリソースでもスムーズな特殊再生が可能となる。また、ビデオストリーム内にアドレス情報を格納したので、ビデオストリームとは別に、フレームグループの格納位置を記録した参照用データを利用しなくて済む。そのため、データの取り扱いが煩雑化することもない。
【図面の簡単な説明】
【図１】本発明を適用したデジタルカメラの電気構成の概略を示すブロック図である。
【図２】ＭＰＥＧ圧縮部の構成図である。
【図３】アドレスバッファエリアへのＧＯＰアドレスの取り込み方法を示す説明図である。
【図４】ユーザーデータ領域へのＧＯＰアドレス格納方法を示す説明図である。
【図５】ＭＰＥＧ伸張部の構成図である。
【図６】標準再生のフレーム再生順序を示す説明図である。
【図７】早送り再生のフレーム再生順序を示す説明図である。
【図８】逆再生のフレーム再生順序を示す説明図である。
【図９】３０倍速早送り時のＧＯＰ取り込み手順を示す説明図である。
【図１０】３０倍速早戻し時のＧＯＰ取り込み手順を示す説明図である。
【図１１】動画記録手順を示すフローチャートである。
【図１２】動画再生手順を示すフローチャートである。
【図１３】本発明の別の実施形態を示す図である。
【図１４】本発明のさらに別の実施形態を示す図である。
【符号の説明】
１０デジタルカメラ
１３ＣＰＵ
２６ＲＡＭ
２６ａアドレスバッファエリア
３６ＭＰＥＧ圧縮伸張処理回路
４２ＭＰＥＧ圧縮部
４３ＭＰＥＧ伸張部
４６ビデオエンコーダ
４８ＧＯＰヘッダ位置検出部
５１ユーザーデータ領域
５２ＧＯＰ取り込み部
５３バッファメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention encodes a video signal with a frame group composed of a plurality of frame data as a minimum unit, and records a moving image stream in which the plurality of encoded frame groups are arranged in time series on a storage medium. The present invention relates to a moving image data recording method and apparatus, and a reproducing method and apparatus for reproducing the moving image data in a composite manner.
[0002]
[Prior art]
A moving image data recording method is known in which an analog video signal is converted into digital data, and the converted video data is encoded and recorded. A typical moving picture data encoding method is the MPEG (Moving Pictures Experts Group) method. The moving image data encoded by the MPEG method is called an MPEG stream. The MPEG stream is recorded as a moving image file (MPEG file or the like) on various storage media such as a hard disk, a memory card, and a DVD medium.
[0003]
In general, in addition to a video (video) stream, an audio (sound) stream corresponding to the video stream is added to the MPEG stream. The video stream is divided into a plurality of units called GOP (Group Of Picture). The plurality of GOPs are arranged in time series. When a sound stream is added, the sound stream is time-divided into a size corresponding to the GOP, and the divided data is inserted into a position corresponding to each GOP and multiplexed.
[0004]
The GOP is a frame group composed of picture data composed of a plurality of frame (still image) data and a GOP header added to the head of the picture data. Encoding is performed in units of the GOP. The picture data is composed of, for example, 15 frames of frame data. If the frame rate is 30 frames / second, 1 GOP becomes a moving image of about 0.5 seconds.
[0005]
One frame has spatial redundancy such that adjacent pixels are similar, and multiple frames that are temporally continuous are similar in the preceding and following frames. Has temporal redundancy. In the MPEG system, data compression is performed by performing intra-frame compression that eliminates spatial redundancy of one frame and inter-frame compression that eliminates temporal redundancy between a plurality of frames. In inter-frame compression, each frame in a GOP is encoded using a technique such as inter-frame prediction or motion compensation.
[0006]
When playing back a moving image, the encoded GOP is decoded. In the MPEG system, the independence of the GOP is ensured so that it can be decoded in units of each GOP. Therefore, an arbitrary GOP can be taken out from the MPEG stream and reproduced. The GOP header is used as an entry point when capturing a GOP from an MPEG stream.
[0007]
In standard reproduction in which reproduction is performed at the recorded frame rate, first the GOP at the head of the stream is read out, decoded to restore all the frames in the GOP, and each frame is reproduced in order. For the next GOP, the header is detected with reference to the end position of the first GOP that has already been captured, and is reproduced. Such a process is repeated to perform standard reproduction.
[0008]
Various types of MPEG stream playback devices have been developed (for example, Patent Document 1). In addition to standard playback, special playback such as reverse playback, fast forward playback, and fast reverse playback is available for such playback devices. Some can do this. For example, if one GOP is composed of 15 frames, fast-forward playback can be performed at 15 times speed by reproducing only one frame for each GOP. Also, if only one frame is reproduced for each GOP while skipping one GOP, fast-forward reproduction can be performed at 30 times speed.
[0009]
When performing such special playback, the GOP search method is the same as the standard playback described above, and the MPEG stream data is read from the GOP storage position that has already been read and analyzed. Thus, the header of the desired GOP is detected.
[0010]
[Patent Document 1]
JP-A-8-168042
[0011]
[Problems to be solved by the invention]
However, in the GOP search method described above, data must be read and analyzed from the start or end address of the fetched GOP until the next GOP header is detected. In the case of standard playback, this search method is not a problem because it is sufficient to capture the GOP immediately after the end position of the captured GOP, but in special playback such as reverse playback, fast forward playback, and fast reverse playback, There is a problem that the load on the GOP search process increases because the interval from the start position or the end position of the fetched GOP to the GOP header as the entry point is large.
[0012]
For example, in the case of reverse reproduction, the GOP immediately before the captured GOP must be captured. In this case, the picture data of the immediately preceding GOP is arranged between the head position of the captured GOP and the header of the immediately preceding GOP. For this reason, the GOP search processing load is larger because the interval between GOPs is larger than that in the standard reproduction. Further, in fast forward playback and fast reverse playback in which every other GOP must be taken in, the gap between GOPs is greatly increased, and the load of the GOP search processing becomes larger.
[0013]
If the processing power of the CPU is low and the machine resources are small, such as a small amount of memory, if the load of the GOP search processing is large, the processing cannot be performed smoothly, and fast-forward playback and fast-rewind playback are possible. In addition to being able to increase the speed, there are cases where smooth playback is not possible even when the playback speed is relatively low, such as in reverse playback.
[0014]
Therefore, in the DVD-Video format, which is a recording format dedicated to video playback standardized by the DVD Forum, an organization that promotes the establishment and spread of the DVD standard, each GOP in the MPEG stream is separate from the MPEG stream (video file). An information file in which the storage location is recorded is prepared and stored in the medium together with the MPEG stream. In this case, since the GOP storage position to be decoded next can be obtained by referring to the information file, the load of the GOP search process can be reduced.
[0015]
However, the MPEG stream is used in various scenes other than being used in the DVD-Video format, and in many such scenes, the MPEG stream alone is often handled. For this reason, the method of attaching an information file for referring to the GOP position separately from the MPEG stream, such as the DVD-Video format, causes a complicated handling of the file when performing file copying or file movement. .
[0016]
The present invention relates to a moving image data recording method and apparatus for recording moving image data in a form capable of smooth special reproduction with few machine resources and maintaining ease of handling, and moving image data recorded by the recording method and apparatus An object of the present invention is to provide a reproducing method and a reproducing apparatus.
[0017]
[Means for Solving the Problems]
To achieve the above object, the present invention encodes a frame group composed of a plurality of frame data as a unit, and stores a video stream in which the plurality of encoded frame groups are arranged in time series as a storage medium. In the method of recording moving image data to be recorded, the video stream is recorded by storing address information of other frame groups temporally before and after each frame group in a group header added to the head of each frame group. It is characterized by that.
[0018]
The address information is preferably a relative address representing a relative positional relationship between the storage position of each frame group and the storage positions of other frame groups that are temporally adjacent to the frame group.
[0019]
The group header stores address information of at least four frame groups of the immediately preceding frame group, the immediately preceding frame group, the immediately following frame group, and the immediately following frame group.
[0020]
The video stream is an MPEG standard video stream, and the frame group is a GOP.
[0021]
The moving image data recording apparatus of the present invention encodes a frame group composed of a plurality of frame data as a unit, and records a video stream in which a plurality of encoded frame groups are arranged in time series on a storage medium. The data recording apparatus is characterized by comprising address storage means for storing address information of other frame groups temporally preceding and following each frame group in a group header added to the head of each frame group.
[0022]
The moving image data reproduction method of the present invention encodes a video stream in which a plurality of encoded frame groups are arranged in chronological order by encoding a frame group composed of a plurality of frame data as a minimum unit. In the moving image data reproducing method for decoding and reproducing in units of groups, the group header added to the head of each frame group includes the address information of other frame groups temporally surrounding each frame group. In this case, the storage location of the frame group to be decoded next is directly accessed based on the address information.
[0023]
The moving image data reproducing apparatus of the present invention encodes a moving image stream in which a plurality of encoded frame groups are arranged in a time series encoded with a frame group composed of a plurality of frame data as a minimum unit. In a moving image data reproducing apparatus that decodes and reproduces a frame group as a unit, the group header added to the head of each frame group includes address information of other frame groups that are temporally mixed with each frame group. If there is, access means for directly accessing the storage position of the next frame group to be decoded based on the address information is provided.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing an outline of an electrical configuration of a digital camera 10 to which the present invention is applied. The digital camera 10 has a moving image shooting function in addition to a still image shooting function, and records a still image or a moving image shot by the imaging unit 11 in the memory card 12. The memory card 12 is detachably set in a card slot provided in the camera body. As the memory card 12, for example, a storage medium such as smart media (product name), xD picture card (product name), and compact flash (registered trademark) is used. Of course, in addition to the memory card 12, a storage medium such as a microdrive (trade name) may be used.
[0025]
The CPU 13 is connected to each unit of the digital camera 10 via the data bus 14 and the like, and comprehensively controls each unit of the camera based on an operation signal from the operation unit 16. In the EEPROM 17, a control program and various setting information are recorded. The CPU 13 reads out this control program and executes various processes by executing the processing steps described in the program.
[0026]
The operation unit 16 includes a mode selection dial 18, a release button 19, a cross key 21, and the like. The mode selection dial 18 selects various operation modes such as a still image shooting mode, a moving image shooting mode, and a playback mode. In the reproduction mode, still image data and moving image data recorded on the memory card 12 are reproduced and displayed on the LCD panel 23. The release button 24 is a shooting execution button. In the still image shooting mode, when the release button 24 is pressed once, one still image shooting is executed. On the other hand, in the moving image shooting mode, moving image shooting starts when the release button 24 is pressed once, and moving image shooting ends when the release button 24 is pressed once again.
[0027]
The cross key 21 is a general-purpose key having a plurality of roles according to the operation mode. The cross key 21 has, for example, a substantially disc-shaped key body, and the upper, lower, left, and right surfaces of the cross key 21 serve as pressing portions, and the upper, lower, left, and right arrows are marked on each pressing portion. In each still image and moving image shooting mode, the upper and lower pressing portions are assigned to the zoom keys. Further, when an index screen for image selection or a setup screen is displayed on the LCD panel 23, the cross key 21 is a cursor movement key for moving a cursor for selecting an image or item displayed on the screen. Assigned to.
[0028]
In addition, when a moving image is reproduced in the reproduction mode, the cross key 21 becomes a moving image reproduction key. The upper and lower pressing parts are assigned to the playback start key and the playback stop key, respectively. When the upper pressing part is pressed, standard playback is started at the recorded frame rate, and when the lower pressing part is pressed, playback is stopped. The In addition to the standard playback, the digital camera 10 can perform special playback such as reverse playback in the reverse direction at the standard speed, fast forward playback and fast reverse playback in which the playback in the forward direction and the reverse direction is performed at double speed, respectively. It has become. The playback speed of fast forward playback and fast reverse playback can be switched in two stages of 15 × speed and 30 × speed, respectively.
[0029]
When the moving image is played back, the left and right pressing parts become special playback keys. The right pressing part serves as a fast forward key, and the left pressing part serves as a fast reverse key. When the right pressing portion is pressed once after the standard reproduction is started, fast-forward reproduction is started at 15 times speed. When pressed once more, the playback speed is switched to 30 times speed. On the other hand, when standard reproduction is being performed, if the left pressing portion is pressed once, reverse reproduction is performed. When the button is pressed once again, fast-rewind playback is performed at a playback speed of 15 times. When the button is pressed again, the playback speed is 30 times faster.
[0030]
The RAM 26 is a working memory that is used when the CPU 13 or the like executes various processes. As the RAM 26, for example, an SDRAM (Synchronous Dynamic Random Access Memory) that performs data transfer in synchronization with a bus clock signal is used. The media I / F 27 writes data to the memory card 12 and reads the written data.
[0031]
The imaging unit 11 includes a photographing optical system 31, a CCD image sensor 32, and an A / D converter 33. As is well known, the CCD image sensor 32 includes a photoelectric surface in which a large number of light receiving elements are arranged in a matrix, and photoelectrically converts subject light that has passed through the photographing optical system 31 and formed an image on the photoelectric surface. In front of the photocathode, a microlens array for condensing light on each pixel, and a color in which filters of each color are regularly arranged so that each pixel corresponds to one of R, G, and B, respectively. A filter array is arranged. The CCD image sensor 32 outputs the charge accumulated for each pixel as a serial imaging signal line by line in synchronization with the vertical transfer clock and the horizontal transfer clock.
[0032]
Moving image shooting is performed when the CCD image sensor 32 continuously captures frames (still images) at a predetermined cycle. The frame capture period (frame rate) is set to 30 frames / second, for example. Also, the number of captured pixels for one frame is different between when shooting a moving image and when shooting a still image. In the case of moving image shooting, the number of pixels is set to be smaller than that of a still image.
[0033]
The RGB analog imaging signals output from the CCD image sensor 32 are converted into digital data by the A / D converter 33 and written to the RAM 26 in units of frames. The frame data written in the RAM 26 is subjected to various image processing such as gamma correction and sharpness correction by an image correction unit (not shown), and then the pixel data is composed of RGB density data by the YC processing circuit 28. The RGB data is converted into YC data composed of luminance data Y, blue color difference data Cb, and red color difference data Cr.
[0034]
The JPEG compression / decompression processing circuit 29 accesses the RAM 26, reads YC data for one frame captured in the still image shooting mode, and encodes (encodes) the YC data using the JPEG (Joint Photograrhic Expart Group) method. Compress the data. The encoded data is sequentially written to the RAM 26. After encoding for one frame is completed, the encoded data is recorded as a JPEG file on the memory card 12 via the media I / F 31. Further, the JPEG compression / decompression processing circuit 29 decompresses data by decoding (decoding) when reproducing a JPEG file once recorded on the memory card 12.
[0035]
The microphone 35 is for recording audio in the moving image shooting mode, and the analog audio signal captured by the microphone 35 is converted into digital data by the A / D converter 34 at a predetermined sampling frequency. The converted audio data is once recorded in the RAM 26.
[0036]
The MPEG compression / decompression processing circuit 36 encodes (encodes) YC data for a plurality of frames captured in the moving image shooting mode by the MPEG method and compresses the data. Also, the audio data captured by the microphone 35 is encoded by a predetermined method and the data is compressed. Note that since the MPEG system supports uncompressed data for audio data, the audio data need not be compressed.
[0037]
The MPEG compression / decompression processing circuit 36 includes an MPEG compression unit 42 and an MPEG expansion unit 43. The MPEG compression unit 42 multiplexes compressed video data and audio data to generate an MPEG stream. The generated MPEG stream is recorded on the memory card 12 as a moving image file. The MPEG decompression unit 43 decompresses data by decoding (decoding) data when the MPEG stream once recorded on the memory card 12 is reproduced.
[0038]
The decoded frame data (YC data) is converted into RGB data by the RGB conversion processing circuit 37. The LCD driver 38 drives the LCD panel 23 based on the RGB data. In the case of moving image reproduction, the decoded audio data is converted into an analog signal by the D / A converter 39 and output to the speaker 41.
[0039]
As shown in FIG. 2, the MPEG compression unit 42 includes a sound encoder 44, a video encoder 46, a multiplexing unit 47, and a GOP header position detection unit 48. The sound encoder 44 reads out the audio data captured by the microphone 35 from the RAM 26, sequentially encodes the read data, and generates an audio stream in which the compressed audio data is arranged in time series.
[0040]
The video encoder 46 accesses the RAM 26 to read frame data, sequentially encodes the read frame data, and compresses the frame data. For example, the video encoder 46 encodes frame data for 15 frames as a unit to generate one GOP. By sequentially performing such processing on the input frame data, a video stream in which a plurality of GOPs are arranged in time series is generated. In the figure, GOP1 is the first GOP of the video stream, and following this GOP1, GOPs below GOP2 are arranged in time series.
[0041]
Each GOP 1 to n is composed of picture data composed of a plurality of frame (still image) data and a GOP header added to the head of the picture data. The picture data is composed of three types of picture data: an I (Intra) picture, a P (Predictive) picture, and a B (Bidirectionally-predictive) picture.
[0042]
An I picture is a frame that has been subjected only to intra-frame compression, and is frame data that can independently restore an original image. The P picture and the B picture are frame data in which the original image is restored with reference to other pictures including the I picture. A P picture is frame data generated using inter-frame forward prediction that refers to a previous (past) frame and predicts a temporally subsequent (future) frame. It is frame data generated using inter-frame bi-directional prediction that refers to and predicts frames between them.
[0043]
In the MPEG system, at least one I picture is included in one GOP, and the first frame of each GOP is defined to be an I picture. By ensuring the independence of each GOP in this way, decoding (decoding) can be performed in units of GOPs during moving image reproduction.
[0044]
The GOP header stores a start code indicating the start of one GOP, a time code for synchronizing with audio data, and the like. Further, according to the MPEG standard, it is allowed to secure a user data area 51, which is an area in which a user who creates an MPEG stream can store arbitrary data, in this GOP header. The video encoder 46 secures this user data area 51 in the header of each GOP 1 to n to generate a video stream. In the user data areas 51 of the GOPs 1 to n, address information of GOPs that temporally precede and follow each GOP is stored, as will be described later. This GOP address information is referred to when a desired GOP in the stream is accessed during moving image reproduction.
[0045]
The multiplexing unit 47 multiplexes the audio stream and the video stream to generate an MPEG stream. In this multiplexing process, the audio stream is divided into sizes corresponding to the playback times of the GOPs 1 to n, and the audio data A1 to n are arranged at positions corresponding to the GOPs 1 to n.
[0046]
The GOP header position detector 48 detects the GOP header position of each GOP 1 to n in the stream when writing the MPEG stream to the RAM 26. An address buffer area 26a is secured in the RAM 26, and the GOP header position detector 48 writes the detected absolute addresses in the streams of the GOP1 to n to the address buffer area 26a. For example, as shown in FIG. 3, if the absolute addresses at the head positions of the GOPs 1 to n in the MPEG stream are ad1 to adn, the absolute addresses ad1 to adn of the GOPs 1 to n are sequentially stored in the address buffer area 26a. It will be stacked. Based on the stacked absolute addresses, the CPU 13 calculates and obtains relative addresses that represent the relative positions of the GOPs and the GOPs that are temporally adjacent to the GOPs.
[0047]
The MPEG stream output from the MPEG compression unit 42 to the RAM 26 is written to the memory card 12 in order from the first GOP1. At the time of writing, the CPU 13 stores the obtained relative address as GOP address information in the user data area 51 of the GOP header. When the moving image shooting time is long, the entire MPEG stream cannot be stored in the RAM 26, and thus the GOP in which the GOP address information has been stored is sequentially written to the memory card 12 without waiting for the end of moving image shooting.
[0048]
As shown in FIG. 4, the user data area 51 of each GOP header h1 to hn stores a total of four relative addresses, two for each of the preceding and succeeding GOPs. That is, the relative addresses of the immediately preceding GOP and the immediately preceding GOP and the relative addresses of the immediately following GOP and the immediately following GOP are stored. In the case of GOP1, since there is no previous (past) GOP in time, “0” is stored as its relative address. Since the immediately following GOP becomes GOP2 in the later (future) GOP, the value “ad2-ad1” obtained by subtracting the absolute address ad1 of GOP1 from the absolute address ad2 of GOP2 becomes the relative address of the immediately following GOP. Since the second GOP becomes GOP3, the value obtained by subtracting the absolute address ad1 of GOP1 from the absolute address ad3 of GOP3 becomes the relative address of the second GOP.
[0049]
In the case of GOP5, the immediately preceding GOP becomes GOP4, and the previous GOP becomes GOP3. Therefore, the relative address “ad4-ad5” with the previous GOP4 and the relative address “ad3-ad5” with the previous GOP3 are stored as the previous GOP in terms of time. On the other hand, the next GOP becomes GOP6, and the second GOP becomes GOP7. Therefore, the relative address “ad6-ad5” with the immediately subsequent GOP6 and the relative address “ad7-ad5” with the second subsequent GOP7 are stored as the temporally subsequent GOP. Similarly, the user data area 51 of the other GOP stores relative addresses with the preceding and succeeding GOPs.
[0050]
As shown in FIG. 5, the MPEG decompression unit 43 includes a GOP capturing unit 52, a buffer memory 53, a separation unit 54, a sound decoder 55, and a video decoder 56. At the time of moving image reproduction, the MPEG stream recorded on the memory card 12 is once read into the RAM 26. The MPEG decompression unit 43 decodes the MPEG stream read to the RAM 26 in units of GOP. The GOP capturing unit 52 accesses the RAM 26 and performs a process of searching for and capturing a GOP to be captured from the MPEG stream in accordance with the content of the reproduction command from the CPU 13.
[0051]
The GOP capturing unit 52 extracts GOP address information (relative address) from the header of the captured GOP and stores it in the buffer memory 53. As the buffer memory 53, for example, an SRAM (Static-RAM) that can be read at a higher speed than a DRAM is used. In the buffer memory 53, for example, GOP address information for 1 GOP being decoded is stored. The GOP address information in the buffer memory 53 is sequentially overwritten and updated by the GOP address information of the GOP when the next GOP is fetched. Of course, in addition to the GOP being decoded, GOP address information extracted from a GOP that has already been decoded may be stored for a predetermined number of GOPs.
[0052]
When GOP address information is not stored as in an MPEG stream shot with another model, the absolute addresses of the head position and end position of the captured GOP are stored in the buffer memory 53, and the absolute address is stored. The desired GOP is searched based on the above.
[0053]
The separation unit 54 separates the captured MPEG stream into a video stream and an audio stream. The sound decoder 55 decodes the separated audio stream and outputs it as audio data. The speaker 41 is driven based on the output audio data, and audio is reproduced. The video decoder 56 restores the frame data by decoding the separated video stream in GOP units. This frame data is output to the LCD panel 23 to reproduce the video. Video and audio are played back in synchronization with the time code in the GOP header.
[0054]
As shown in FIG. 6, when the standard reproduction command is received from the CPU 13, the GOP capturing unit 52 captures sequentially from the first GOP1 of the MPEG stream. Then, the video decoder 56 decodes the captured frames f1 to f15 of GOP1 and outputs all restored frames in order from f1. After the decoding of GOP1 is completed, GOP2 immediately after that is decoded and reproduced. These processes are sequentially repeated to perform standard reproduction.
[0055]
When the special reproduction command is received from the CPU 13 after the standard reproduction is started, the MPEG decompression unit 43 performs GOP capturing and decoding processing according to the contents. FIG. 7 shows the frame playback order for fast-forward playback. As shown in FIG. 7A, in the case of 15-times fast-forward playback, the GOP capturing unit 52 captures each GOP in order as in the standard playback. Then, the video decoder 56 decodes only the captured I picture of the GOP and outputs only the restored frame f1. Since one frame is output for each GOP, fast-forward playback is performed at 15 times speed.
[0056]
As shown in FIG. 7B, in the case of fast-forward playback at 30 times speed, the GOP capturing unit 52 captures every other GOP. Then, the video decoder 56 decodes only the captured I picture of the GOP and outputs only the restored frame f1. Since every other GOP is taken in and one frame is output for each GOP, fast-forward playback is performed at 30 times speed.
[0057]
FIG. 8 shows the frame playback order of reverse playback. When reverse playback is performed, the GOP capturing unit 52 captures each GOP in order in the reverse direction to the standard playback, such as GOP3, GOP2, and GOP1. Then, the video decoder 56 decodes all the pictures of the captured GOP, and outputs all the restored frames f1 to f15 in order from the frame f15. In the case of fast reverse playback, GOP is taken in the direction opposite to fast forward, only I pictures are decoded for each GOP, and one restored frame is output.
[0058]
The GOP capturing unit 52 refers to the GOP address information in the buffer memory 53 at the time of capturing the GOP, acquires the storage position of the GOP to be decoded next, and moves to the storage position of the desired GOP in the MPEG stream. Direct access. For this reason, the load of the GOP search process of the GOP capturing unit 52 is reduced. In particular, in the case of reverse playback, or when there is a gap between the GOP that has already been captured and the GOP to be decoded next, such as when performing 30-times fast-forward playback or fast-rewind playback as shown in FIGS. Since the process of sequentially reading and analyzing the data between the GOPs is unnecessary, the load of the GOP search process is greatly reduced. When the fast-forward and fast-rewind playback speeds are further increased, the effect becomes even greater because the gap between the captured GOP and the GOP to be decoded next is further increased.
[0059]
Hereinafter, the operation of the above configuration will be described with reference to the flowcharts of FIGS. 11 and 12. When shooting a moving image with the digital camera 10, the mode selection dial 18 is set to the moving image mode and the release button 19 is pressed. Thereby, moving image shooting is started. When moving image shooting starts, the imaging unit 11 captures frame data at a frame rate of 30 frames / second. At the same time, audio data is taken from the microphone 35. The MPEG compression unit 42 accesses the RAM 26, takes in the fetched frame data and audio data, and encodes each data by the sound encoder 44 and the video encoder 44. The video encoder 46 sequentially encodes the frame data for 15 frames by the MPEG method to generate a GOP. Then, a user data area 51 is secured in the GOP header of each GOP to generate a video stream.
[0060]
The multiplexing unit 47 multiplexes the video stream and the audio stream output from the sound encoder 44 to generate an MPEG stream. The GOP header position detection unit 48 detects the storage address (absolute address) in the MPEG stream of each GOP when writing the MPEG stream to the RAM 26 and stacks it in the address buffer area 26a. When the CPU 13 writes the MPEG stream to the memory card 12, the CPU 13 stores a relative address with the preceding and succeeding GOPs in the user data area 51 of each GOP. Such a process is repeated until the release button 19 is pressed again. When the release button 19 is pressed, the moving image shooting ends.
[0061]
When the moving image recorded on the memory card 12 is reproduced, the mode selection dial 18 is used to switch to the reproduction mode. Then, an index screen for moving images and still images recorded on the memory card 12 is displayed on the LCD panel 23. The desired moving image is selected by operating the cross key 21 and moving the cursor on the screen. When the selection is confirmed and the upper pressing portion of the cross key 21 is pressed, standard reproduction is started.
[0062]
The CPU 13 reads the selected MPEG stream from the memory card 12 into the RAM 26. The MPEG decompression unit 43 accesses the RAM 26 and captures 1 GOP from the beginning of the MPEG stream. The captured GOP1 is reproduced with all frames restored. The GOP capturing unit 52 stores the GOP address information before and after the captured GOP in the header of the captured GOP in the buffer memory 53. Unless there is a reproduction stop instruction or a special reproduction instruction, standard reproduction is performed by sequentially fetching the GOP immediately after the decoded GOP.
[0063]
When there is a special playback instruction such as fast forward playback, reverse playback, and fast reverse playback, the MPEG decompression unit 43 captures and decodes the GOP according to the contents. Since the GOP is fetched, the GOP to be decoded next can be directly accessed based on the GOP address information stored in the buffer memory 53, so that the load of the GOP search process is small. Therefore, smooth special playback can be performed even when machine resources are small.
[0064]
The GOP address information is stored in a user data area permitted by the MPEG standard. Therefore, unlike the DVD-Video format, an information file for referring to the GOP position is not required, so that handling of the MPEG stream is not complicated. Also, even when an MPEG stream storing GOP address information is played back by a playback device that does not support GOP address information, it can be played back without any problem.
[0065]
In this example, the GOP address information is stored in the user data area after the MPEG stream is once written to the RAM at the time of moving image recording. However, before the MPEG stream is written to the RAM, that is, during the generation of the MPEG stream, GOP address information may be stored in real time. In this case, for example, a GOP address information storage unit 62 is provided as in the MPEG compression unit 61 shown in FIG. Then, when multiplexing, the multiplexing unit 47 detects the storage address of each multiplexed GOP and stacks the address (absolute address) in the buffer memory 63. The GOP address information storage unit 62 calculates a relative address based on the stacked storage address, and stores the address information in the user data area of each GOP header. The MPEG stream is written to the RAM 26 with the GOP address information stored therein.
[0066]
For example, when multiplexing processing is performed such as GOP1, GOP2, and GOP3, these absolute addresses are stacked in the buffer memory 63. The GOP address information storage unit 62 stores the relative addresses of GOP1 and GOP2 in the GOP header of GOP2 when writing GOP2 to the RAM 26. Similarly, when writing GOP3 to the RAM 26, the relative addresses of GOP2 and GOP3 are stored. However, in this method, the GOP2 header can store only the relative address with respect to the previous GOP1 in time, and cannot store the relative address with respect to the subsequent GOP3 in terms of time. However, as described above, since the GOP search process has a larger load in the backward reproduction than in the forward reproduction, a sufficient effect can be expected only by storing the relative address with respect to the previous GOP in terms of time.
[0067]
In the above embodiment, two relative addresses are stored before and after in time, but relative addresses of two or more GOPs are stored, such as three or four each before and after. May be. Further, although a relative address is stored, an absolute address may be used. However, if an absolute address is used, if the MPEG stream is divided or combined with another stream after recording, the stored absolute address may not be usable. In consideration of such a case, it is preferable to use a relative address.
[0068]
Further, although the address value in the stream has been described as an example of the GOP address information, the number of packs in the stream may be used instead of the address value. As shown in FIG. 14A, the content data of the MPEG stream is stored in a plurality of packs having a size of 2 KB (2048 bytes). Each pack is provided with a pack header. Even if the number of packs between each GOP is used as the GOP address information instead of the address value, it can be used as information indicating the relative position of the GOP.
[0069]
When the number of packs is used, for example, about 16 bits may be secured for the address information of one GOP as the user data area. The first 14 bits of 16 bits are assigned to the number of packs, and the remaining 2 bits are assigned to GOP identification information. If 2 bits are allocated to the GOP identification information, 4 values can be represented by 2 × 2, and therefore, a total of 4 GOPs, i.e., the immediately preceding and 2 previous GOPs and the immediately following and 2 subsequent GOPs are identified. be able to. If 14 bits are assigned to the number of packs, about 16,000 packs can be represented. Since one pack is 2 KBytes, a GOP interval of about 40 MBytes can be expressed. Since the GOP interval is practically within a few MBytes at most, it is sufficient to allocate this number of bits. Of course, this is only an example, and a larger area may be secured or smaller.
[0070]
In the above-described embodiment, the examples of 15-times speed and 30-times speed have been described as examples of fast-forward reproduction and fast-rewind reproduction. However, reproduction at other speeds may be performed. For example, if every 15 frames in one GOP are played back, the playback is double speed playback, and if every other frame is played back, playback is about 4 times speed playback. If every two GOPs are skipped and fetched, and the frames in the fetched GOP are played back one frame at a time, 60 × speed playback is achieved.
[0071]
In the above-described embodiment, the MPEG stream has been described as the audio data added to the video stream, but the audio data may not be present. Further, although the digital camera has been described as an example, the present invention may be applied to various portable terminals such as a camera-equipped mobile phone and a camera-equipped PDA (Personal Digital Assistant). In light of the object of the present invention to perform smooth special reproduction using a small number of machine resources, it is particularly effective for such portable devices.
[0072]
Further, although the example in which the moving image data reproducing method and apparatus are applied to a digital camera has been described, the present invention can be applied not only to a digital camera but also to various reproducing apparatuses that reproduce moving image data such as a DVD player and a CD player. Of course, the present invention can also be applied to moving image reproduction software that runs on a personal computer. In addition, a memory card and a micro drive have been described as examples of storage media for recording moving image data. However, the present invention can be applied to various storage media such as hard disks, DVD media, CD media, and MO media. .
[0073]
【The invention's effect】
As described in detail above, the present invention stores the address information of other frame groups temporally surrounding each frame group in the group header added to the head of each frame group of the video stream, Since the desired frame group can be directly accessed with reference to the address information, the load of the frame group search process can be reduced. For this reason, smooth special playback is possible even with a small number of machine resources. In addition, since the address information is stored in the video stream, it is not necessary to use the reference data in which the storage position of the frame group is recorded separately from the video stream. Therefore, handling of data is not complicated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of an electrical configuration of a digital camera to which the present invention is applied.
FIG. 2 is a configuration diagram of an MPEG compression unit.
FIG. 3 is an explanatory diagram showing a method for fetching a GOP address into an address buffer area.
FIG. 4 is an explanatory diagram showing a method for storing a GOP address in a user data area.
FIG. 5 is a configuration diagram of an MPEG decompression unit.
FIG. 6 is an explanatory diagram showing a frame playback order of standard playback.
FIG. 7 is an explanatory diagram showing a frame playback order for fast-forward playback.
FIG. 8 is an explanatory diagram showing a frame playback order in reverse playback.
FIG. 9 is an explanatory diagram showing a GOP capturing procedure at the time of 30-times fast forward.
FIG. 10 is an explanatory diagram showing a GOP loading procedure at the time of 30 × fast reverse.
FIG. 11 is a flowchart showing a moving image recording procedure.
FIG. 12 is a flowchart showing a moving image playback procedure.
FIG. 13 is a diagram showing another embodiment of the present invention.
FIG. 14 is a diagram showing still another embodiment of the present invention.
[Explanation of symbols]
10 Digital camera
13 CPU
26 RAM
26a Address buffer area
36 MPEG compression / decompression processing circuit
42 MPEG compression section
43 MPEG decompression section
46 Video encoder
48 GOP header position detector
51 User data area
52 GOP importer
53 Buffer memory

Claims

In a method for recording moving image data in which a GOP composed of a plurality of frame data is encoded as a unit and an MPEG stream in which a plurality of encoded GOPs are arranged in time series is recorded on a storage medium.
In the user data area in the GOP header added to the head of each GOP, the number of packs between each GOP is stored as GOP address information indicating the relative position between each GOP and other GOPs temporally preceding and following. A moving image data recording method, wherein an MPEG stream is recorded.

The GOP address information of at least four GOPs of the immediately preceding GOP, the immediately preceding GOP, the immediately following GOP, and the 2nd succeeding GOP is stored in the user data area . Video data recording method.

In a moving image data recording apparatus that records a MPEG stream in which a GOP composed of a plurality of frame data is encoded as a unit and the plurality of encoded GOPs are arranged in time series on a storage medium,
Address storage means for storing GOP address information indicating the relative position of other GOPs temporally preceding and following each GOP is provided in the user data area in the GOP header added to the head of each GOP, and the GOP address A moving image data recording apparatus using the number of packs between GOPs as information.

Video data that is encoded with a GOP composed of a plurality of frame data as a minimum unit, and is decoded and played back by decoding the MPEG stream in which the plurality of encoded GOPs are arranged in time series. In the playback method,
When the number of packs between GOPs is included in the user data area in the GOP header added to the head of each GOP as GOP address information of each GOP and other GOPs that are temporally mixed, A method of reproducing moving image data, characterized in that, based on GOP address information, a storage location of a GOP to be decoded next is directly accessed.

Video data that is encoded with a GOP composed of a plurality of frame data as a minimum unit, and is decoded and played back by decoding the MPEG stream in which the plurality of encoded GOPs are arranged in time series. In the playback device,
When the user data area in the GOP header added to the head of each GOP contains the number of packs between each GOP as GOP address information with other GOPs that are temporally mixed with each GOP, the GOP An apparatus for reproducing moving image data, comprising access means for directly accessing a storage location of a GOP to be decoded next based on address information.