JP5811037B2 - 記録装置および記録制御方法 - Google Patents

Description

本発明は、記録装置および記録制御方法に関し、特に記録媒体にプリレコードする記録装置および記録制御方法に関する。

プリレコード機能を搭載したカメラレコーダが提案されている（例えば、特許文献１参照）。このようなカメラレコーダでは、撮影されたデータを記録媒体に記録していない期間にも、撮影されたデータをバッファに一定時間記憶している。したがって撮影者により記録開始が指示されたタイミングから一定時間前のデータに遡って記録媒体への記録を開始できる。例えばスクープシーンに気づいた撮影者が記録開始操作をした場合に、プリレコード機能があれば、遡ったシーンから記録開始できる。

国際公開第２００９／０７２２７６号

ところで、業務用用途で撮影された映像は編集して使用されることが多い。例えば撮影者があるシーンの記録停止操作をした後、被写体が思わぬ動きをした等により、すぐに記録再開操作をした場合、二つのクリップに分割されて記録される。後に編集者が二つのクリップをつなぎ合わせる場合、後のクリップがプリレコードされていれば、欠落シーンなくつなぎ合わせることができるが、そのつなぎ目の位置をシークする必要がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、符号化された映像データと音声データの多重化データを、編集容易なデータファイルで記録する技術を提供することにある。

上記課題を解決するために、本発明のある態様の記録装置は、符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化部と、多重化部により多重化されて生成される多重化データを一時記憶する一時記憶部と、一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御部と、を備える。多重化部は、符号化映像データと符号化音声データとの復号タイミングを対応させるべく、符号化音声データを符号化映像データに対して遅延させて多重化し、一時記憶部に記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、記録制御部は、多重化データの記録媒体への記録中に記録停止指示を受け付けると、次に出現する第１タイプの映像データ群の一つ前の映像データ群とそれに対応する音声データ群の記録完了をもって、多重化データの記録媒体への記録を停止する。

本発明の別の態様もまた、記録装置である。この装置は、符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化部と、多重化部により多重化されて生成される多重化データを一時記憶する一時記憶部と、一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御部と、を備える。一時記憶部に記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、記録制御部は、多重化データの記録媒体への記録開始指示を受け付けると、その時点より過去の一時記憶部に記憶されている第１タイプの映像データ群の先頭まで遡って記録媒体への記録を開始する。

本発明のさらに別の態様は、記録制御方法である。この方法は、符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化ステップと、多重化されて生成される多重化データを一時記憶する一時記憶ステップと、一時記憶される多重化データを操作指示にもとづき記録媒体に記録する記録制御ステップと、を備える。多重化ステップは、符号化映像データと符号化音声データとの復号タイミングを対応させるべく、符号化音声データを符号化映像データに対して遅延させて多重化し、一時記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、記録制御ステップは、多重化データの記録媒体への記録中に記録停止指示を受け付けると、次に出現する第１タイプの映像データ群の一つ前の映像データ群とそれに対応する音声データ群の記録完了をもって、多重化データの記録媒体への記録を停止する。

本発明のさらに別の態様もまた、記録制御方法である。この方法は、符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化ステップと、多重化されて生成される多重化データを一時記憶する一時記憶ステップと、一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御ステップと、を備える。一時記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、記録制御ステップは、多重化データの記録媒体への記録開始指示を受け付けると、その時点より過去の、一時記憶されている第１タイプの映像データ群の先頭まで遡って記録媒体への記録を開始する。

本発明によれば、符号化された映像データと音声データの多重化データを、編集容易なデータファイルで記録できる。

本発明の実施の形態に係る撮像装置の構成を示す図である。 ＭＰＥＧ２−ＴＳに準拠して生成されるデータファイルのデータ構造例を示す図である。 ＭＰＥＧ２−ＴＳに準拠して生成されるデータストリームの多重化例を示す図である。 図３のデータストリームからＧＯＰ２を抜き出す場合を説明するための図である。 図５（ａ）−（ｂ）は、ＧＯＰの種類を説明するための図である。 多重化バッファに記憶される蓄積データの一例を示す図である。 記録媒体への記録開始処理を説明するための図である。 記録媒体への記録開始処理を説明するためのフローチャートである。 記録停止処理を説明するための、多重化バッファの蓄積データを示す図である。 記録媒体への記録停止処理を説明するための図である。 記録媒体への記録停止処理を説明するためのフローチャートである。

図１は、本発明の実施の形態に係る撮像装置５００の構成を示す図である。撮像装置５００は、撮像部２００、音声取得部３００、記録装置１００、記録媒体４００を備える。撮像装置５００には、例えば業務用カメラレコーダなどが該当する。

撮像部２００は、ＣＣＤ（Charge Coupled Device Image Sensor) イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を備える。撮像部２００は、固体撮像素子により光から電気に変換された信号に所定の信号処理を施し、映像信号として記録装置１００に出力する。音声取得部３００はマイクを備える。音声取得部３００は、マイクにより音から電気に変換された信号に所定の信号処理を施し、音声信号として記録装置１００に出力する。

記録装置１００は、映像符号化部１０、映像バッファ２０、音声符号化部３０、音声バッファ４０、多重化部５０、多重化バッファ６０、記録媒体インタフェース部７０、ユーザインタフェース部８０、制御部９０を備える。映像符号化部１０、音声符号化部３０、多重化部５０はそれぞれの専用のハードウェアで構成される。映像バッファ２０、音声バッファ４０、多重化バッファ６０はそれぞれ、ＦＩＦＯ（first-in first-out）形式またはリングバッファ形式のＲＡＭ（Random Access Memory）で構築される。制御部９０はマイクロコンピュータで構成される。なお、これらの構成方法は一例である。例えば映像符号化部１０、音声符号化部３０、多重化部５０の少なくとも一部の機能を、マイクロコンピュータによるソフトウェア処理で実現してもよい。

映像符号化部１０は、撮像部２００から入力される映像信号を所定のフォーマットで符号化する。当該フォーマットとして例えば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などを採用できる。映像符号化部１０は、符号化した映像信号（以下、符号化映像データという）を映像バッファ２０に出力する。映像バッファ２０は、映像符号化部１０から入力される符号化映像データを一時記憶する。

音声符号化部３０は、音声取得部３００から入力される音声信号を所定のフォーマットで符号化する。当該フォーマットとして例えば、ＭＰ３、ＡＡＣ、ＡＣ３などを採用できる。音声符号化部３０は、符号化した音声信号（以下、符号化音声データという）を音声バッファ４０に出力する。音声バッファ４０は、音声符号化部３０から入力される符号化音声データを一時記憶する。

多重化部５０は、映像バッファ２０に記憶されている符号化映像データと、音声バッファ４０に記憶されている符号化音声データを所定のフォーマットで多重化する。当該フォーマットとして例えば、ＭＰＥＧ２−ＴＳ（Transport Stream）、ＭＰＥＧ２−ＰＳ（Program Stream）などを採用できる。これらのフォーマットでは、多重化部５０は、エレメントストリームである、符号化映像データおよび符号化音声データをそれぞれパケットに分割して多重化する。

また多重化部５０は、符号化映像データと符号化音声データとの復号タイミングを対応させるべく、符号化音声データを符号化映像データに対して遅延させて多重化する。一般的に符号化映像データの復号のほうが符号化音声データの復号より時間がかかる。したがって符号化音声データの多重化位置を後ろにずらすことにより、各シーンにおける両者の復号完了時刻が一致しやすくなる。

多重化部５０は、生成した多重化データを多重化バッファ６０に出力する。多重化バッファ６０は、多重化部５０により生成された多重化データを一時記憶する。

記録媒体インタフェース部７０は、多重化バッファ６０に記憶された多重化データを記録媒体４００に記録するためのインタフェースである。記録媒体４００は、半導体メモリカード、光ディスク、ハードディスクなどのランダムアクセス可能な記録媒体である。例えば記録媒体４００は、スロットに装着された半導体メモリカードであってもよい。

ユーザインタフェース部８０は、ユーザからの操作指示を受け付けるとともに、撮影映像、メニュー画面、ステータスなどを表示する。ユーザインタフェース部８０はボタン、モニタ、タッチパネルなどの既知のデバイスを用いて実現できる。ユーザインタフェース部８０は記録操作部８１を含む。記録操作部８１は、記録媒体４００への記録開始／停止の操作指示を受け付ける。記録操作部８１は、記録媒体４００への記録開始／停止の操作指示を受け付けると、その操作指示を制御部９０に通知する。

制御部９０は記録装置１００の各構成要素を統括的に制御する。本実施の形態では映像符号化部１０、音声符号化部３０、多重化部５０、記録媒体インタフェース部７０に動作指示および動作タイミングを与える。なお本実施の形態では多重化バッファ６０に記憶されている多重化データの記録媒体４００への記録制御に注目するため、制御部９０のその他の機能の説明は省略する。

制御部９０は、記録操作受付部９１および記録制御部９２を含む。記録操作受付部９１は、記録操作部８１からの記録開始／停止の操作指示を受け付ける。記録操作受付部９１は、受け付けた操作指示に応じて記録媒体４００への記録開始／停止指示を記録制御部９２に通知する。記録制御部９２は、記録操作受付部９１からの指示にもとづき多重化バッファ６０に記憶されている多重化データを、記録媒体４００に記録する。

図２は、ＭＰＥＧ２−ＴＳに準拠して生成されるデータファイルのデータ構造例を示す図である。以下、多重化部５０がＭＰＥＧ２−ＴＳに準拠した多重化ストリームを生成する例を説明する。ＭＰＥＧ２−ＴＳでは映像データおよび音声データがそれぞれ最大１８４バイト単位で分割される。分割された各データにはＴＳヘッダが付加され、１８８バイトのＴＳパケットが生成される。なお、ＴＳパケットの先頭に，4バイトのＡＴＳ（Arrival Time Stamp）情報を追加して１９２バイト単位でパケット構成されるものもある。各ＴＳヘッダにはパケット識別子（ＰＩＤ；PacketIdentification）と呼ばれる１３ビットの情報が含められる。

図２に示すＭＰＥＧ２−ＴＳストリームには、ＰＡＴ（Program Association Table）パケット、ＰＭＴ（Program Map Table）パケット、ＳＩＴ（Selection Information Table）パケット、ＰＣＲ(Program Clock Reference)パケット、ＮＵＬＬパケット、Ｖｉｄｅｏパケット、Ａｕｄｉｏパケットを含む。なお図２ではＶｉｄｅｏパケットを単に”Ｖ”、Ａｕｄｉｏパケットを単に”Ａ”と表記している。

ＰＡＴパケットは、ＭＰＥＧ２−ＴＳストリームに含まれる映像／音声などを含んで構成されるプログラム（コンテンツ）の一覧を、それぞれのプログラムに対応するＰＭＴパケットを示すＰＩＤの一覧として格納したパケットである。ＰＭＴパケットは、対応する一つのプログラムにに含まれる映像／音声などのデータを格納するＶｉｄｅｏパケット／Ａｕｄｉｏパケットなどを示す各ＰＩＤを格納したパケットである。ＳＩＴパケットは、パーシャルトランスポートストリームに含まれるプログラムに関する情報を格納したパケットである。ＰＣＲパケットは、同期に使用される基準クロックを含むパケットである。ＭＰＥＧ２−ＴＳではＰＣＲパケットが１００ｍｓ間隔で挿入されることが推奨されている。ＮＵＬＬパケットは、データを含まないダミーパケットである。ビットレート調整、後述する不要なデータのマスクに使用される。再生側は、ＰＡＴパケット、ＰＭＴパケット、ＳＩＴパケット、ＰＣＲパケットなどの管理パケットを参照することにより、指定されたプログラムを的確に再生できる。

図３は、ＭＰＥＧ２−ＴＳに準拠して生成されるデータストリームの多重化例を示す図である。図３において空白のボックスはＶｉｄｅｏパケットを示し、斜線のボックスはＡｕｄｉｏパケットを示している。なおＰＡＴパケットなどの管理パケットは省略している。ＭＰＥＧシリーズの圧縮符号化方式では映像データは、一般的に、複数のピクチャを含むＧＯＰ（Group Of Pictures）単位で符号化される。ＧＯＰｎ（Ａｕｄｉｏ）は、ＧＯＰｎ（Ｖｉｄｅｏ）のシーンに対応する音声データ群を示している。上述したように復号側での復号タイミングを合わせるため、符号化音声データが符号化映像データに遅延して多重化される。即ち、符号化音声データの多重化位置が、符号化映像データに対して後ろにずれる。

図４は、図３のデータストリームからＧＯＰ２を抜き出す場合を説明するための図である。多重化バッファ６０に記憶されている多重化データストリームから、必要な時間軸分の映像データと音声データをそのまま抜き出すと、余分なデータの混入または必要なデータの欠落が発生する。当該データストリームから、ＧＯＰ２（Ｖｉｄｅｏ）の先頭からＧＯＰ２（Ａｕｄｉｏ）の後尾までのデータを抜き出すと、ＧＯＰ１（Ａｕｄｉｏ）の後方の一部データと、ＧＯＰ３（Ｖｉｄｅｏ）の前方の一部データが混入してしまう。またＧＯＰ２（Ｖｉｄｅｏ）の先頭からＧＯＰ２（Ｖｉｄｅｏ）の後尾までのデータを抜き出すと、ＧＯＰ１（Ａｕｄｉｏ）の後方の一部データが混入するとともに、ＧＯＰ２（Ａｕｄｉｏ）の後方の一部データが欠落する。この解決方法については後述する。

図５（ａ）−（ｂ）は、ＧＯＰの種類を説明するための図である。図５（ａ）はＯｐｅｎＧＯＰの一例を示し、図５（ｂ）はＣｌｏｓｅｄＧＯＰの一例を示す。ＭＰＥＧシリーズでは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの三種類のピクチャが使用される。Ｉピクチャは他のピクチャを参照せずに単独で復号できるピクチャである。ピクチャ内予測を用いて符号化される。Ｐピクチャは順方向予測のみを用いて符号化されるピクチャである。過去の一枚のピクチャを参照ピクチャとするピクチャ間予測を用いて符号化される。Ｂピクチャは双方向予測を用いて符号化されるピクチャである。過去および未来の二枚のピクチャを参照ピクチャとするピクチャ間予測を用いて符号化される。なおＨ．２６４／ＡＶＣでは過去の二枚のピクチャ、または未来の二枚のピクチャを参照ピクチャとすることもできる。

一般的に、Ｉピクチャが最もデータ量が多く、Ｐピクチャが次にデータ量が多く、Ｂピクチャが最もデータ量が少なくなる。したがってＢピクチャを増やすほど圧縮効率が向上する。ただしＩピクチャが減るため再生開始ポイントが少なくなる。

図５（ａ）に示すＧＯＰは、Ｂピクチャ、Ｂピクチャ、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャの順に六枚のピクチャを含む。このＧＯＰの先頭の二枚のＢピクチャは、当該ＧＯＰの一つ前のＧＯＰの最後のＰピクチャを参照する必要がある。このように前のＧＯＰに含まれるピクチャを参照する必要があるＢピクチャを含むＧＯＰをＯｐｅｎＧＯＰという。多重化ストリームの先頭がＯｐｅｎＧＯＰの場合、この先頭の二枚のＢピクチャが復号できないため、再生時にフレーム落ちが発生する。

図５（ｂ）に示すＧＯＰは、ピクチャの並びは図５（ａ）と同じだが、先頭の２枚のＢピクチャは、その後に続くＩピクチャのみを参照する。このように前のＧＯＰのピクチャを参照するピクチャを含まないＧＯＰをＣｌｏｓｅｄＧＯＰという。多重化ストリームの先頭がＣｌｏｓｅｄＧＯＰの場合、再生時に先頭でのフレーム落ちが発生しない。

なおＨ．２６４／ＡＶＣでは、Ｐピクチャの参照ピクチャが直前のＩピクチャまたはＰピクチャに限定されない。またＢピクチャの過去方向の参照ピクチャも直前のＩピクチャまたはＰピクチャに限定されない。このようにＨ．２６４／ＡＶＣでは、ＰピクチャまたはＢピクチャが過去方向にＩピクチャを跨いで当該Ｉピクチャより過去のピクチャを参照することがある。即ちＩピクチャがアンカーにならない場合がある。そこでＨ．２６４／ＡＶＣでは、アンカーとなるＩピクチャを特にＩＤＲピクチャに指定する。Ｈ．２６４／ＡＶＣでは、ＩＤＲピクチャから始まるＧＯＰがＣｌｏｓｅｄＧＯＰとなる。

映像符号化部１０は、フレームまたはスライス毎のピクチャタイプの指定、ＧＯＰの境界を周期的または規則的に設定する。または、それらを処理負荷、データ量もしくは外部命令に応じて適応的に変化させる。

図６は、多重化バッファ６０に記憶される蓄積データの一例を示す図である。図６に示す多重化バッファ６０は一定数のＧＯＰを記憶できるリングバッファで構成される。図６では多重化バッファ６０に七つのＧＯＰ（ＧＯＰｍ＋１〜ＧＯＰｍ＋７）が記憶されている。まだ空き領域が存在する。空き領域がなくなると、最も先に入力されたＧＯＰ（図６ではＧＯＰｍ＋１）から新しく入力されるＧＯＰに上書きされる。このように多重化ストリームを構成する各ＧＯＰは、多重化バッファ６０に有限時間保存される。

図６では横線のブロックを含むＧＯＰがＣｌｏｓｅｄＧＯＰを示している。即ち、ＧＯＰｍ＋１、ＧＯＰｍ＋３、ＧＯＰｍ＋５、ＧＯＰｍ＋７がＣｌｏｓｅｄＧＯＰであり、ＧＯＰｍ＋２、ＧＯＰｍ＋４、ＧＯＰｍ＋６がＯｐｅｎＧＯＰである。このように図６に示す多重化バッファ６０に一時記憶される多重化ストリームは、二つのＧＯＰに一つ、周期的にＣｌｏｓｅｄＧＯＰが挿入されるストリームである。なおこの周期は一例であり、例えば四つのＧＯＰに一つＣｌｏｓｅｄＧＯＰが挿入されるストリームであってもよい。

以下、記録媒体４００への記録開始指示が発行された際の記録制御部９２の処理について説明する。記録制御部９２は、記録媒体４００への記録停止中に、多重化データの記録媒体４００への記録開始指示を受け付けると、当該多重化データの記録を開始する。その際、多重化バッファ６０には、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在している。当該第１タイプの映像データ群が上述のＣｌｏｓｅｄＧＯＰに、当該第２タイプの映像データ群が上述のＯｐｅｎＧＯＰにそれぞれ対応する。

記録制御部９２は、記録開始指示を受け付けた時点より過去の、多重化バッファ６０に記憶されている第１タイプの映像データ群の先頭まで遡って記録媒体４００への記録を開始する。即ちプリレコードする。具体的には記録制御部は、多重化バッファ６０に記憶されている複数の第１タイプの映像データ群のうち、最新の第１タイプの映像データ群から設定数、遡った第１タイプの映像データ群から記録媒体４００への記録を開始する。最大、多重化バッファ６０に記憶されている最も古い第１タイプの映像データ群まで遡って記録することができる。上述の設定数は、多重化バッファ６０の容量の制限内において設計者またはユーザが任意に設定可能である。

また記録制御部９２は、記録媒体４００への記録開始後、記録媒体４００に記録すべき多重化データの各パケットを識別するための管理情報を、記録媒体４００へ記録すべき多重化データの先頭に付加する。当該管理情報には、上述のＰＡＴパケット、ＰＭＴパケット、ＰＣＲパケットなどの管理パケットが該当する。

さらに記録制御部９２は、記録媒体４００への記録開始後、記録媒体４００に最初に記録する映像データ群の前半と、その前の映像データ群に対応する音声データ群の後半とが重複する重複期間において、その重複期間に格納されるべき当該音声データ群の格納を無効にする。以下、具体例を挙げながら、記録制御部９２による記録媒体４００への記録開始処理をより詳細に説明する。

図７は、記録媒体４００への記録開始処理を説明するための図である。上段の多重化ストリームは、多重化バッファ６０に蓄積されているストリームを示している。下段の多重化ストリームは、多重化バッファ６０から記録媒体４００へ記録されるストリームを示している。図において空白のボックスはＶｉｄｅｏパケットを示し、斜線のボックスはＡｕｄｉｏパケットを示し、黒塗りのボックスはＣｌｏｓｅｄＧＯＰ処理されたパケットを示す。ＣｌｏｓｅｄＧＯＰ処理されたパケットは、Ｉピクチャ（Ｈ．２６４／ＡＶＣの場合はＩＤＲピクチャ）のパケットになる。

以下、記録開始指示のタイミングから遡って記録するＧＯＰの数を、四以上でＣｌｏｓｅｄＧＯＰが出現するまでとする条件を前提に具体例を挙げる。図６に示すように多重化バッファ６０に記録されている最新のＧＯＰがＧＯＰｍ＋７の状態のときに記録開始指示が発行されると、記録制御部９２はＧＯＰｍ＋３まで遡り、ＧＯＰｍ＋３から記録媒体４００への記録を開始する。

図７は、ＧＯＰｍ＋３から記録媒体４００に記録される場合を示している。ＧＯＰｍ＋２（Ａｕｄｉｏ）のデータ区間とＧＯＰｍ＋３（Ｖｉｄｅｏ）のデータ区間とが重複する区間が上書処理エリアとなる。記録制御部９２は当該上書処理エリアのデータの一部を変更する。具体的には記録制御部９２はＧＯＰｍ＋３の先頭の前にＰＡＴパケット（図７中、パケット「０」と表記）、ＰＭＴパケット（図７中、パケット「１」と表記）、ＳＩＴパケット（図７中、パケット「２」と表記）、ＰＣＲパケット（図７中、パケット「３」と表記）を挿入する。より厳密にはＰＡＴパケット、ＰＭＴパケット、ＳＩＴパケット、ＰＣＲパケットをＧＯＰｍ＋３の一つ前のＧＯＰｍ＋２の対応パケットに上書きする。さらに記録制御部９２はＧＯＰｍ＋２のＡｕｄｉｏパケットをＮｕｌｌパケット（図７中、パケット「４」と表記）に書き換える。

図８は、記録媒体４００への記録開始処理を説明するためのフローチャートである。記録制御部９２は、記録媒体４００への記録開始指示を受け付ける（Ｓ１０）。記録制御部９２は、多重化バッファ６０内の設定条件に合致するＣｌｏｓｅｄＧＯＰを選択する（Ｓ１２）。記録制御部９２は、そのＣｌｏｓｅｄＧＯＰから記録媒体４００への記録を開始する（Ｓ１４）。その際、その記録開始すべきＧＯＰの前にＰＡＴパケット、ＰＭＴパケット、ＳＩＴパケット、ＰＣＲパケットを付加し（Ｓ１６）、その記録開始すべきＧＯＰの一つ前のＧＯＰのＡｕｄｉｏパケットをＮＵＬＬパケットに置換する（Ｓ１８）。以下、多重化バッファ６０に記憶されているＧＯＰを順番に記録していく。

以下、記録媒体４００への記録中に、記録停止指示が発行された際の記録制御部９２の処理について説明する。記録制御部９２は、多重化バッファ６０に記憶されている多重化データの記録媒体４００への記録中に記録停止指示を受け付けると、次の第１タイプの映像データ群の一つ前の映像データ群とそれに対応する音声データ群の記録完了をもって、当該多重化データの記録媒体４００への記録を停止する。その停止位置で記録を停止させるために、記録制御部９２は以下の二つの方法を採用できる。

第１の方法は、次に記録すべき多重化データの映像データ群を第１タイプで生成するよう映像符号化部１０に指示する方法である。この方法を採用する場合、映像符号化部１０が外部命令に応じて、任意のフレームに任意のピクチャタイプを指定する機能を備えている必要があるが、記録停止指示を受け付けたタイミングのＧＯＰで記録を停止できる。

第２の方法では、上述したように映像符号化部１０が第１タイプの映像データ群と第２タイプの映像群が周期的に混在する符号化映像データを生成することを前提とする。第２の方法は、記録停止指示を受け付けた時点を基準として、次に第１タイプの映像データ群が出現するまで、当該多重化データの記録媒体４００への記録停止を保留する。この方法を採用する場合、映像符号化部１０が上述の機能を備えている必要がない。

さらに記録制御部９２は、記録媒体４００への記録を停止する際、その停止前に最後に記録する映像データ群に対応する音声データ群の後半と、当該映像データ群の次の映像データ群の前半とが重複する重複期間において、その重複期間に格納されるべき当該次の映像データ群の格納を無効にする。

記録制御部９２は、多重化データの記録媒体４００への記録を停止した後、記録再開指示を受け付けた場合、多重化バッファ６０に上述の次に出現する第１タイプの映像データ群が存在するか否かを検索する。記録を停止した後、記録再生指示を受け付けるまでの時間が短い場合、または多重化バッファ６０の容量が大きい場合、多重化バッファ６０に存在する確率が高くなる。存在する場合、記録制御部９２はその映像データ群の先頭から記録媒体４００への記録を再開する。既に上書きされて存在しなくなった場合、記録制御部９２は上述した通常の記録開始処理を行う。

以下、具体例を挙げながら、記録制御部９２による記録媒体４００への記録停止処理をより詳細に説明する。

図９は、記録停止処理を説明するための、多重化バッファ６０の蓄積データを示す図である。図１０は、記録媒体４００への記録停止処理を説明するための図である。上段の多重化ストリームは、多重化バッファ６０に蓄積されるストリームを示している。下段の多重化ストリームは、多重化バッファ６０から記録媒体４００へ記録されるストリームを示している。

図９の多重化ストリームを前提とし、多重化バッファ６０にＧＯＰｋ＋５が蓄積される段階で記録停止指示が発行されると、次のＧＯＰｋ＋６がＣｌｏｓｅｄＧＯＰではないため、ＧＯＰｋ＋５の記録完了をもって記録停止しない。ＧＯＰｋ＋６の次のＧＯＰｋ＋７はＣｌｏｓｅｄＧＯＰであるため、ＧＯＰｋ＋６の記録完了をもって記録停止する。

図１０において、ＧＯＰｋ＋６（Ａｕｄｉｏ）のデータ区間とＧＯＰｋ＋７（Ｖｉｄｅｏ）のデータ区間とが重複する区間が差替処理エリアとなる。記録制御部９２は当該差替処理エリアのデータを図示しないワークエリアに読み出し、当該差替処理エリアのＧＯＰｋ＋７のＶｉｄｅｏパケットをＮｕｌｌパケット（図１０中、パケット「５」、パケット「６」、パケット「７」、パケット「８」、パケット「９」と表記）に上書きする。記録制御部９２はその上書きされたデータを記録媒体４００に記録する。なおＮｕｌｌパケットに置換するのではなく、記録制御部９２は当該差替処理エリアにおいてＧＯＰｋ＋６のＶｉｄｅｏパケットを除く他のパケットをシークして、そのパケットのみを抜き出して記録媒体４００に記録してもよい。

以下、この記録停止処理後、すぐに記録再開のための記録開始指示が発行された場合について考える。この場合、記録制御部９２は、記録再開時の映像データが記録再開前の映像データとシームレスにつながるように、ＧＯＰｋ＋７から記録再開する。その際、記録開始するＧＯＰの選択以外の処理は、上述の記録開始処理と同じものを採用する。

図１１は、記録媒体４００への記録停止処理を説明するためのフローチャートである。記録制御部９２は、多重化ストリームの記録媒体４００への記録中に記録停止指示を受け付ける（Ｓ２０）。記録制御部９２は、次に出現するＣｌｏｓｅｄＧＯＰを特定する（Ｓ２２）。記録制御部９２は、当該ＧＯＰのＶｉｄｅｏパケットをＮＵＬＬパケットに置換する（Ｓ２４）。記録制御部９２は、当該ＧＯＰの一つ前の、記録を停止すべきＧＯＰのＡｕｄｉｏパケットの記録が完了すると記録媒体４００への記録を停止する（Ｓ２６）。

以上説明したように本実施の形態によれば、符号化された映像データと音声データの多重化データを、高品質かつ編集容易なデータファイルで記録できる。即ち、多重化データを記録媒体に記録する際に、多重化バッファに蓄積されているデータを使用してプリレコードする。これにより、記録開始操作が指示されたタイミングの映像データおよび音声データを逃さずに記録できる。

その際、記録制御部はＣｌｏｓｅｄＧＯＰを先頭に記録する。これにより、再生時に先頭から少なくとも一枚のＢフレームがコマ落ちすることを抑制できる。また記録制御部は、記録開始する多重化データの先頭に管理パケットを挿入する。これにより先頭部分の映像データおよび音声データの再生不能を抑制できる。ＭＰＥＧ−ＴＳでは一般に、データファイルの先頭にＰＡＴパケット、ＰＭＴパケットが付加されていないと、先頭部分の映像データおよび音声データを再生することができない。再生側ではＰＡＴパケット、ＰＭＴパケットに格納されているＰＩＤ情報により、再生すべき映像データおよび音声データが格納されているパケットを特定する必要があるためである。また記録制御部は、記録開始するＧＯＰの映像データの前半と、一つ前のＧＯＰの音声データの後半とが重複する区間において、その一つ前のＧＯＰのＡｕｄｉｏパケットをＮＵＬＬパケットに置換する。これにより再生開始時に映像に合わない音声ノイズが再生されることを抑制できる。

また、記録媒体に記録していた多重化データの記録を停止する際、記録制御部は、記録する最後のＧＯＰを、次のＣｌｏｓｅｄＧＯＰの直前のＧＯＰとする。これにより編集容易なデータファイルを生成できる。例えば、記録停止直後に記録再開された場合、二つのデータファイルが生成される。後のデータファイルの先頭を当該ＣｌｏｓｅｄＧＯＰとすれば、二つのデータファイルがシームレスにつながることになる。したがって、後の編集作業で二つのデータファイルを統合する場合、そのつなぎ目の位置が自動的に一致するため、編集作業が容易となる。なお、後のデータファイルが前のデータファイルとオーバーラップするように、当該ＣｌｏｓｅｄＧＯＰよりさらに遡ったＣｌｏｓｅｄＧＯＰから記録を再開してもよい。多重化バッファに蓄積されている最も古いＣｌｏｓｅｄＧＯＰまで常に遡るようにしてもよい。この場合、記録開始時の処理を統一できる。

また、記録媒体に記録していた多重化データの記録を停止する際、記録制御部は、最後に記録するｏｐｅｎＧＯＰの音声データの後半と、その次のＣｌｏｓｅｄＧＯＰの映像データの前半とが重複する区間において、そのＣｌｏｓｅｄＧＯＰのＶｉｄｅｏパケットをＮＵＬＬパケットに置換する。これにより再生終了時に音声に合わない画像ノイズが再生されることを抑制できる。

なお本実施の形態に係る記録制御方式と同様の効果を得るため、すべてのＧＯＰをＣｌｏｓｅｄＧＯＰで生成することも考えられるが、その場合、多重化データの圧縮効率が低下する。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態ではＭＰＥＧ２−ＴＳに準拠した多重化データを生成する例を説明した。この多重化データのフォーマットは、ＭＰＥＧ２−ＴＳに限定されるものではない。例えば、ＭＰＥＧ２−ＰＳに準拠して多重化データを生成してもよい。ＭＰＥＧ２−ＰＳではＭＰＥＧ２−ＴＳと比較して一つのパケットのサイズが大きくなるが、基本的に上述の実施の形態に係る記録制御方法を適用できる。

また上述の実施の形態では記録装置をカメラレコーダに適用する例を説明したがそれに限るものではない。例えば、映像データおよび音声データが外部入力される記録再生装置にも適用できる。この記録再生装置はＴＶチューナを備え、放送されるテレビ番号を録画する機能を備えるものであってもよい。また、光ディスクドライブを備え、光ディスクドライブに装着された光ディスクに記録されたパッケージコンテンツを再生する機能を備えるものであってもよい。また、その両方の機能を備えるものであってもよい。

また本発明は上述した記録装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

１００ 記録装置、 １０ 映像符号化部、 ２０ 映像バッファ、 ３０ 音声符号化部、 ４０ 音声バッファ、 ５０ 多重化部、 ６０ 多重化バッファ、 ７０ 記録媒体インタフェース部、 ８０ ユーザインタフェース部、 ８１ 記録操作部、 ９０ 制御部、 ９１ 記録操作受付部、 ９２ 記録制御部、 ２００ 撮像部、 ３００ 音声取得部、 ４００ 記録媒体、 ５００ 撮像装置。

Claims (8)

1. 符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化部と、
   前記多重化部により多重化されて生成される多重化データを一時記憶する一時記憶部と、
   前記一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御部と、を備え、
   前記多重化部は、前記符号化映像データと前記符号化音声データとの復号タイミングを対応させるべく、前記符号化音声データを前記符号化映像データに対して遅延させて多重化し、
   前記一時記憶部に記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、
   前記記録制御部は、前記多重化データの前記記録媒体への記録中に記録停止指示を受け付けると、次に出現する前記第１タイプの映像データ群の一つ前の映像データ群とそれに対応する音声データ群の記録完了をもって、前記多重化データの前記記録媒体への記録を停止することを特徴とする記録装置。
2. 前記記録制御部は、前記多重化データの次に記録すべき映像データ群を前記第１タイプで生成するよう、前記符号化映像データを生成している映像符号化部に指示することを特徴とする請求項１に記載の記録装置。
3. 前記符号化映像データには、前記第１タイプの映像データ群と前記第２タイプの映像データ群が周期的に混在し、
   前記記録制御部は、前記記録停止指示を受け付けた時点で記録している前記多重化データの次の映像データ群が前記第２タイプの映像データ群である場合、前記第１タイプの映像データ群が出現するまで、前記多重化データの前記記録媒体への記録停止を保留することを特徴とする請求項１に記載の記録装置。
4. 前記記録制御部は、前記多重化データの前記記録媒体への記録を停止する際、その停止前に最後に記録する映像データ群に対応する音声データ群の後半と、当該映像データ群の次の映像データ群の前半とが重複する重複期間において、その重複期間に格納されるべき当該次の映像データ群の格納を無効にすることを特徴とする請求項１から３のいずれかに記載の記録装置。
5. 前記記録制御部は、前記多重化データの前記記録媒体への記録を停止した後、記録再開指示を受け付けた場合、前記一時記憶部に前記次に出現する前記第１タイプの映像データ群が存在するか否かを検索し、存在する場合、その映像データ群から記録を再開することを特徴とする請求項１から４のいずれかに記載の記録装置。
6. 符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化部と、
   前記多重化部により多重化されて生成される多重化データを一時記憶する一時記憶部と、
   前記一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御部と、を備え、
   前記多重化部は、符号化映像データおよび符号化音声データをそれぞれパケットに分割して、分割したパケットを多重化し、
   前記一時記憶部に記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、
   前記記録制御部は、前記多重化データの前記記録媒体への記録開始指示を受け付けると、その時点より過去の前記一時記憶部に記憶されている前記第１タイプの映像データ群の先頭まで遡って前記記録媒体への記録を開始し、前記記録媒体への記録開始後、前記記録媒体に記録すべき多重化データの各パケットを識別するための管理情報を、前記記録媒体へ記録すべき多重化データの先頭に付加することを特徴とする記録装置。
7. 符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化部と、
   前記多重化部により多重化されて生成される多重化データを一時記憶する一時記憶部と、
   前記一時記憶部に記憶された多重化データを操作指示にもとづき記録媒体に記録する記録制御部と、を備え、
   前記多重化部は、前記符号化映像データと前記符号化音声データとの復号タイミングを対応させるべく、前記符号化音声データを前記符号化映像データに対して遅延させて多重化し、
   前記一時記憶部に記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、
   前記記録制御部は、前記多重化データの前記記録媒体への記録開始指示を受け付けると、その時点より過去の前記一時記憶部に記憶されている前記第１タイプの映像データ群の先頭まで遡って前記記録媒体への記録を開始し、前記記録媒体への記録開始後、最初に記録する映像データ群の前半と、その前の映像データ群に対応する音声データ群の後半とが重複する重複期間において、その重複期間に格納されるべき当該音声データ群の格納を無効にすることを特徴とする記録装置。
8. 符号化映像データおよび符号化音声データをそれぞれ分割して多重化する多重化ステップと、
   多重化されて生成される多重化データを一時記憶する一時記憶ステップと、
   一時記憶される多重化データを操作指示にもとづき記録媒体に記録する記録制御ステップと、を備え、
   前記多重化ステップは、前記符号化映像データと前記符号化音声データとの復号タイミングを対応させるべく、前記符号化音声データを前記符号化映像データに対して遅延させて多重化し、
   一時記憶される多重化データには、前の映像データ群を参照せずに復号可能な第１タイプの映像データ群と、前の映像データ群を参照して復号する第２タイプの映像データ群が混在し、
   前記記録制御ステップは、前記多重化データの前記記録媒体への記録中に記録停止指示を受け付けると、次に出現する前記第１タイプの映像データ群の一つ前の映像データ群とそれに対応する音声データ群の記録完了をもって、前記多重化データの前記記録媒体への記録を停止することを特徴とする記録制御方法。

Images