JP5678807B2 - 映像・音声データ処理装置およびデータ多重化方法 - Google Patents

Description

本発明は、映像・音声データ処理装置およびデータ多重化方法に関する。

近年、映像データおよび音声データを扱うファイルフォーマットとして、ＭＰ４ファイルフォーマットが普及している。ＭＰ４ファイルフォーマットは、ＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ １４４９６−１）で規定されている。ＭＰ４ファイルフォーマットは、パーソナルコンピュータ（以下、ＰＣとも称する）等での処理が容易であるため、ＰＣアプリケーションの分野で広く使用されている。例えば、ＭＰ４ファイルフォーマットを使用することにより、映像および音声のストリームデータの編集等を容易に実行できる。

ＭＰ４ファイルは、映像データおよび音声データが格納されるデータ部分と、付属情報が格納されるヘッダ部分とを有している。なお、ＭＰ４ファイルでは、映像データおよび音声データを、サンプルおよびチャンクの単位で管理する。サンプルは、映像データおよび音声データを管理する際の最小単位である。例えば、映像データでは、１サンプルは、１映像フレームである。また、音声データでは、１サンプルは、１音声フレームである。そして、データ部分にまとめて配置された複数のサンプルは、チャンクとして管理される。なお、ＭＰ４ファイルでは、同一のチャンク内のサンプルは、データ部分に連続して配置されている。

チャンク内のサンプルの数は、ＭＰ４ファイルフォーマットでは規定されていない。このため、チャンクのサンプル数は、ユーザにより任意に決められる。一般的な方式では、映像データの１ＧＯＰ（Group of Picture）分のフレームを１チャンクにまとめる。例えば、チャンクの先頭フレームがＩピクチャ（Ｉフレーム）になるように、各チャンクのサンプル数（フレーム数）が設定される。なお、ＧＯＰは、Ｉピクチャを少なくとも１枚含むピクチャの集合体であり、Ｉピクチャの他にＰピクチャ（フレーム）、Ｂピクチャ（フレーム）を含むこともある。この方式では、Ｉピクチャの間隔が長いとき、チャンクのサンプル数は増加する。なお、チャンク内のフレーム（サンプル）の最大数を予め設定し、チャンク内のフレームが予め設定した最大数以上になることを防止する方式が提案されている（例えば、特許文献１参照）。

一般に、コーデックＬＳＩ等の映像・音声データ処理装置では、内部メモリの容量が限られているため、ＭＰ４ファイルを内部で生成することは現実的でない。このため、例えば、コーデックＬＳＩで符号化された映像データおよび音声データをＭＰ４ファイルに格納するシステムでは、ＭＰ４ファイルは、コーデックＬＳＩの外部のモジュールで生成される。例えば、コーデックＬＳＩは、ＭＰ４ファイルのデータ部分に格納されるデータとヘッダ部分に格納される付属情報とを、個別に出力する。そして、例えば、コーデックＬＳＩの外部のモジュールは、データと付属情報とを合成し、ＭＰ４ファイルを生成する。

特開２００４−１２８９３８号公報

コーデックＬＳＩ等の映像・音声データ処理装置は、映像データおよび音声データを、チャンク単位で交互に出力する。このため、映像データおよび音声データの一方を出力している期間では、他方は待たされる。出力待ちの期間が長いとき、映像データを一時的に記憶するメモリおよび音声データを一時的に記憶するメモリのいずれかがオーバーフローするおそれがある。オーバーフローが発生したとき、有効なデータは消失する。

出力待ちの期間は、例えば、チャンクのサンプル数が多いとき、長くなる。なお、チャンク内のサンプルの最大数を予め設定する方式では、メモリの空き容量が大きいときにも、チャンクが不要に細分化されるおそれがある。ＭＰ４ファイルのヘッダ部分に格納される付属情報は、チャンク毎に生成される。このため、チャンクが不要に細分化されたとき、ＭＰ４ファイルのヘッダ部分のサイズが増加するおそれがある。ＭＰ４ファイルのヘッダ部分のサイズの増加に伴い、ＭＰ４ファイル全体のサイズは増加する。サイズの大きいＭＰ４ファイルは、ＰＣアプリケーションでは扱い難い。

本発明の目的は、映像データおよび音声データのオーバーフローを低減することである。

本発明の一形態では、映像・音声データ処理装置は、符号化された映像データを記憶する第１記憶部と、符号化された音声データを記憶する第２記憶部と、第１記憶部および第２記憶部のそれぞれの占有量を監視し、第１記憶部の占有量が所定の第１閾値以上である第１条件および第２記憶部の占有量が所定の第２閾値以上である第２条件の少なくとも一方を満たすとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくするチャンク確定部とを有している。

映像データおよび音声データのオーバーフローを低減できる。

一実施形態における映像・音声データ処理装置の例を示している。 ＭＰ４ファイルフォーマットの概要を示している。 図１に示した映像・音声データ処理装置から出力されるデータの一例を示している。 チャンクとランダムアクセスポイントとの関係の一例を示している。 チャンクとランダムアクセスポイントとの関係の別の例を示している。 メモリの占有量が閾値以上のときのチャンクの一例を示している。 メモリの占有量が閾値以上のときのチャンクの別の例を示している。 メモリの占有量が閾値以上のときのチャンクの別の例を示している。 メモリの占有量が閾値以上のときのチャンクの別の例を示している。 別の実施形態における映像・音声データ処理装置の一例を示している。 図１０に示した映像・音声データ処理装置の動作の一例を示している。

以下、実施形態を図面を用いて説明する。

図１は、一実施形態における映像・音声データ処理装置１０の例を示している。

映像・音声データ処理装置１０は、例えば、ＭＰ４ファイルを生成するシステムに、搭載される。ＭＰ４ファイルフォーマットは、ＭＰＥＧ４システム規格（ＩＳＯ／ＩＥＣ １４４９６−１）で規定されている。例えば、映像・音声データ処理装置１０は、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ １４４９６）等に準拠した符号化方式で符号化された映像データおよび音声データを、外部装置にチャンク単位で交互に出力する。そして、外部装置は、例えば、映像・音声データ処理装置１０から受けた映像データおよび音声データをＭＰ４ファイルに格納し、ＭＰ４ファイルを生成する。

映像・音声データ処理装置１０は、チャンク確定部２０およびメモリ３０を有している。メモリ３０は、例えば、ＭＰＥＧ−４等に準拠した符号化方式で符号化された映像データおよび音声データを順次記憶する。なお、メモリ３０に記憶された映像データおよび音声データは、順次出力される。すなわち、メモリ３０は、符号化された映像データおよび音声データを一時的に記憶する。

例えば、メモリ３０は、符号化された映像データを一時的に記憶する映像領域３２と、符号化された音声データを一時的に記憶する音声領域３４とを有している。すなわち、メモリ３０の映像領域３２は、符号化された映像データを一時的に記憶する記憶部として機能する。また、メモリ３０の音声領域３４は、符号化された音声データを一時的に記憶する記憶部として機能する。なお、映像領域３２および音声領域３４は、互いに異なるメモリに設けられてもよい。

チャンク確定部２０は、映像領域３２の占有量および音声領域３４の占有量をそれぞれ監視する。例えば、チャンク確定部２０は、映像データや音声データの符号化に関する情報を用いて、映像領域３２や音声領域３４の占有量を算出する。符号化に関する情報は、例えば、符号化された映像データや音声データのサイズ等であり、映像データや音声データを符号化する際に生成される。なお、チャンク確定部２０は、メモリ３０の映像領域３２や音声領域３４に対する書き込みアドレスや読み出しアドレスに基づいて、映像領域３２や音声領域３４の占有量を算出してもよい。

そして、チャンク確定部２０は、例えば、映像領域３２の占有量と所定の第１閾値とを比較するとともに、音声領域３４の占有量と所定の第２閾値とを比較する。そして、チャンク確定部２０は、映像領域３２の占有量が第１閾値以上である第１条件および音声領域３４の占有量が第２閾値以上である第２条件の少なくとも一方を満たすとき、チャンクのフレーム数（サンプル数）をＧＯＰ（Group of Picture）のフレーム数より少なくする。ＧＯＰは、複数のピクチャを有するデータ単位であり、少なくとも１つのＩピクチャ（Ｉフレーム）を有している。

このように、チャンク確定部２０は、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくする。例えば、映像・音声データ処理装置１０は、符号化された映像データおよび音声データを、チャンク確定部２０により設定されたチャンクのフレーム数に基づいて多重化する。

なお、映像データおよび音声データの符号化は、映像・音声データ処理装置１０で実施されてもよいし、映像・音声データ処理装置１０の外部で実施されてもよい。したがって、映像・音声データ処理装置１０は、映像データおよび音声データを符号化する機能を有してもよいし、映像データおよび音声データを符号化する機能を有していなくてもよい。例えば、映像・音声データ処理装置１０は、映像データおよび音声データを符号化する機能を有していなとき、外部のコーデックＬＳＩ等で符号化された映像データおよび音声データを順次受ける。そして、映像・音声データ処理装置１０は、符号化された映像データおよび音声データを映像領域３２および音声領域３４に順次記憶する。

図２は、ＭＰ４ファイルフォーマットの概要を示している。ＭＰ４ファイルＦＩＬは、例えば、ボックスＢ１０、Ｂ２０、Ｂ３０を有している。ファイルタイプボックス（ｆｔｙｐ）Ｂ１０は、ファイルの先頭に１つのみ存在する。ファイルタイプボックス（ｆｔｙｐ）Ｂ１０には、ＭＰ４ファイルＦＩＬの構造を示すブランド名が格納される。ムービーボックス（ｍｏｏｖ）Ｂ２０は、１つのファイルに１つのみ存在する。ムービーボックス（ｍｏｏｖ）Ｂ２０には、ｍｄａｔに関する全てのヘッダ情報が格納される。例えば、各サンプルのサイズ、各サンプルの再生期間、ファイル全体の再生期間および各チャンクの位置情報等がムービーボックス（ｍｏｏｖ）Ｂ２０に格納される。メディアデータボックス（ｍｄａｔ）Ｂ３０には、例えば、符号化された映像データおよび音声データが格納される。なお、メディアデータボックス（ｍｄａｔ）Ｂ３０は、１つのファイルに複数存在してもよい。

図３は、図１に示した映像・音声データ処理装置１０から出力されるデータの一例を示している。なお、図中の網掛けは、映像データのチャンクＣＮＫおよび映像データのメッセージＭＥＳを示している。また、メッセージＭＥＳの括弧内の数字およびチャンクＣＮＫの括弧内の数字は、出力された順番を示している。

映像・音声データ処理装置１０は、映像領域３２および音声領域３４のそれぞれに記憶された映像データおよび音声データを、外部装置１００に、チャンクＣＮＫ単位で交互に出力する。チャンクＣＮＫは、複数のサンプルを有している。サンプルは、映像データおよび音声データを管理する際の最小単位である。例えば、映像データのチャンクＣＮＫの１サンプルは、１映像フレームＦＲＭである。また、例えば、音声データのチャンクＣＮＫの１サンプルは、１音声フレームである。

すなわち、チャンクＣＮＫは、複数のフレームＦＲＭを有している。例えば、映像データのチャンクＣＮＫ（１）は、フレームＦＲＭ（１）−ＦＲＭ（ｎ）を有している。また、例えば、音声データのチャンクＣＮＫ（２）は、フレームＦＲＭ（ｎ＋１）−ＦＲＭ（ｍ）を有している。

また、映像・音声データ処理装置１０は、各チャンクＣＮＫに対応するメッセージＭＥＳを外部装置１００に出力する。例えば、映像・音声データ処理装置１０は、映像データおよび音声データを出力するインターフェースとは別のインターフェースからメッセージＭＥＳを出力する。

ＭＰ４ファイルでは、映像データおよび音声データは、サンプル（フレームＦＲＭ）およびチャンクＣＮＫの単位で管理される。このため、例えば、映像・音声データ処理装置１０は、メッセージＭＥＳを、チャンクＣＮＫ毎に生成する。メッセージＭＥＳは、例えば、チャンクＣＮＫに関するヘッダ情報である。したがって、例えば、映像・音声データ処理装置１０は、各メッセージＭＥＳを、各チャンクＣＮＫに対応付けて出力する。図の破線は、各メッセージＭＥＳが各チャンクＣＮＫに対応付けされていることを示している。

外部装置１００は、映像・音声データ処理装置１０からチャンクＣＮＫ単位で受けた映像データおよび音声データとメッセージＭＥＳとを元に、ＭＰ４ファイルを生成する。例えば、外部装置１００は、映像・音声データ処理装置１０から受けたメッセージＭＥＳを、図２に示したムービーボックス（ｍｏｏｖ）Ｂ２０に格納する。また、例えば、外部装置１００は、映像・音声データ処理装置１０から受けた映像データおよび音声データを、図２に示したメディアデータボックス（ｍｄａｔ）Ｂ３０に格納する。なお、ＭＰ４ファイルでは、同一のチャンクＣＮＫ内のサンプル（フレームＦＲＭ）は、メディアデータボックス（ｍｄａｔ）Ｂ３０に連続して配置される。

このため、映像・音声データ処理装置１０は、映像領域３２および音声領域３４のそれぞれに記憶された映像データおよび音声データを、チャンクＣＮＫ単位で交互に出力する。したがって、映像データおよび音声データの出力待機時間（出力待ちの期間）は、例えば、チャンクのフレーム数を少なくすることにより、短くなる。例えば、映像・音声データ処理装置１０は、図１で説明したように、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくする。

すなわち、この実施形態では、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくすることにより、映像データおよび音声データの出力待ちの期間を短くできる。これにより、この実施形態では、映像領域３２および音声領域３４の一方からデータが出力されている期間（他方の出力待ちの期間）に、映像領域３２および音声領域３４の他方がオーバーフローすることを低減できる。すなわち、この実施形態では、映像データおよび音声データのオーバーフローを低減できる。

図４は、チャンクＣＮＫとランダムアクセスポイントＲＡＰとの関係の一例を示している。なお、図４は、２つのＧＯＰのフレームＦＲＭｖが１つのチャンクＣＮＫｖにまとめられたときの例を示している。図の太線で示したフレームＦＲＭｖは、ＩＤＲピクチャおよびＩピクチャを示している。また、フレームＦＲＭｖは、映像データのフレームＦＲＭを示し、フレームＦＲＭａは、音声データのフレームＦＲＭを示している。チャンクＣＮＫｖは、映像データのチャンクＣＮＫを示し、チャンクＣＮＫａは、音声データのチャンクＣＮＫを示している。

なお、フレームＦＲＭａの括弧内の数字は、括弧内の数字が同じフレームＦＲＭｖに対応していることを示している。例えば、フレームＦＲＭａ（１）は、フレームＦＲＭｖ（１）に対応する音声データのフレームＦＲＭである。また、チャンクＣＮＫａの括弧内の数字は、括弧内の数字が同じチャンクＣＮＫｖに対応していることを示している。例えば、チャンクＣＮＫａ（１）は、チャンクＣＮＫｖ（１）に対応する音声データのチャンクＣＮＫである。

ランダムアクセスポイントＲＡＰは、特定の位置からＭＰ４ファイルを再生する際の復帰ポイントおよび再生ポイントを意味する。例えば、早送り再生の際に、ランダムアクセスポイントＲＡＰが探索される。ランダムアクセスポイントＲＡＰのフレームＦＲＭｖ（サンプル）は、映像データの参照画像が不要なＩＤＲピクチャやＩピクチャに対応するフレームＦＲＭである。また、ランダムアクセスポイントＲＡＰのフレームＦＲＭａ（サンプル）は、映像データのＩＤＲピクチャやＩピクチャに対応する音声データのフレームＦＲＭである。

例えば、フレームＦＲＭｖ（１）、ＦＲＭｖ（ｎ＋１）、ＦＲＭｖ（ｍ＋１）は、映像データのランダムアクセスポイントＲＡＰである。また、フレームＦＲＭａ（１）、ＦＲＭａ（ｎ＋１）、ＦＲＭａ（ｍ＋１）は、音声データのランダムアクセスポイントＲＡＰである。ランダムアクセスポイントＲＡＰの情報は、図２に示したムービーボックス（ｍｏｏｖ）Ｂ２０内の“ＳＴＳＳ”と呼ばれるボックスに格納される。

ボックス“ＳＴＳＳ”に格納される情報（ランダムアクセスポイントＲＡＰの情報）は、ランダムアクセスポイントＲＡＰに対応するフレームＦＲＭのサンプル番号（ファイルの先頭から数えた順番）である。例えば、映像データでは、フレームＦＲＭｖ（１）、ＦＲＭｖ（ｎ＋１）等のサンプル番号（“１”、“ｎ＋１”等）がボックス“ＳＴＳＳ”に格納される。また、例えば、音声データでは、フレームＦＲＭａ（１）、ＦＲＭａ（ｎ＋１）等のサンプル番号（“チャンクＣＮＫｖ（１）のフレーム数＋１”、“チャンクＣＮＫｖ（１）のフレーム数＋ｎ＋１”等）がボックス“ＳＴＳＳ”に格納される。

図５は、チャンクＣＮＫとランダムアクセスポイントＲＡＰとの関係の別の例を示している。なお、図５は、１つのＧＯＰのフレームＦＲＭｖが１つのチャンクＣＮＫｖにまとめられたときの例を示している。図の太線で示したフレームＦＲＭｖの意味は、図４と同じである。また、フレームＦＲＭの括弧内の数字およびチャンクＣＮＫの括弧内の数字の意味は、図４と同じである。

図５の例では、１つのＧＯＰのフレームＦＲＭｖが１つのチャンクＣＮＫｖにまとめられているため、チャンクＣＮＫの先頭フレームＦＲＭがランダムアクセスポイントＲＡＰに対応する。ＭＰ４ファイルでは、チャンクＣＮＫの先頭フレームＦＲＭの位置を示す情報（ファイルの先頭からのオフセットアドレス）が、図２に示したムービーボックス（ｍｏｏｖ）Ｂ２０内の“ＳＴＣＯ”と呼ばれるボックスに格納される。このため、１つのチャンクＣＮＫが１つのＧＯＰに対応しているＭＰ４ファイルでは、ランダムアクセスポイントＲＡＰの探索を効率よく実施できる。

したがって、例えば、映像領域３２および音声領域３４の空き容量が大きいときには、チャンク確定部２０は、１つのチャンクＣＮＫが１つのＧＯＰに対応するように、各チャンクＣＮＫのフレームＦＲＭの数を設定する。なお、チャンクＣＮＫのフレームＦＲＭの数をＧＯＰのフレーム数より少なくするとき、チャンク確定部２０は、ランダムアクセスポイントＲＡＰがチャンクＣＮＫの先頭フレームＦＲＭに対応するように、各チャンクＣＮＫのフレームＦＲＭの数を設定する。

例えば、チャンク確定部２０は、ＩピクチャあるいはＩＤＲピクチャがチャンクＣＮＫの先頭フレームＦＲＭになるように、各チャンクＣＮＫのフレームＦＲＭの数を設定する。これにより、この実施形態では、ランダムアクセスポイントＲＡＰの探索効率を向上できる。例えば、ＭＰ４ファイルを再生する装置では、ランダムアクセスポイントＲＡＰを効率よく探索できる。

また、チャンク確定部２０は、チャンクＣＮＫのフレームＦＲＭの数をＧＯＰのフレーム数より少なくするとき、ＭＰ４ファイルを再生する際の表示順序と符号化の処理順序との関係がチャンクＣＮＫ内で閉じるように、各チャンクＣＮＫのフレームＦＲＭの数を設定する。例えば、チャンク確定部２０は、ＭＰ４ファイルを再生する際の表示順序にフレームＦＲＭの順序を各チャンクＣＮＫ内で変更できるように、チャンクＣＮＫのフレームＦＲＭの数を設定する。これにより、この実施形態では、順序変更の対象フレームＦＲＭの探索効率を向上できる。例えば、ＭＰ４ファイルを再生する装置では、フレームＦＲＭの順序を表示順序にする際に、順序変更の対象フレームＦＲＭを効率よく探索できる。

図６は、メモリ３０の占有量が閾値以上のときのチャンクＣＮＫの一例を示している。すなわち、図６は、映像領域３２の占有量が第１閾値以上である第１条件および音声領域３４の占有量が第２閾値以上である第２条件の少なくとも一方を満たすときのチャンクＣＮＫの一例を示している。なお、図６は、ＧＯＰがＩＢＢＰ構造のときのチャンクＣＮＫｖの一例を示している。図の太線で示したフレームＦＲＭｖは、Ｉピクチャを示している。また、フレームＦＲＭｖの括弧内の数字は、符号化の処理順序を示している。

図６の例では、ＧＯＰは、１５個のフレームＦＲＭを有している。ＩＢＢＰ構造のＧＯＰでは、先ず、ＩピクチャのフレームＦＲＭｖ（１）が符号化される。次に、ＢピクチャのフレームＦＲＭｖ（２）、ＦＲＭｖ（３）が順次符号化される。そして、Ｐピクチャ、Ｂピクチャ、Ｂピクチャの順に符号化される処理が、フレームＦＲＭｖ（４）−ＦＲＭｖ（１５）まで繰り返される。例えば、フレームＦＲＭｖ（３）の次に、ＰピクチャのフレームＦＲＭｖ（４）が符号化される。フレームＦＲＭｖ（４）の次に、ＢピクチャのフレームＦＲＭｖ（５）、ＦＲＭｖ（６）が順次符号化される。

また、ＩＢＢＰ構造のＧＯＰでは、ＭＰ４ファイルを再生したとき、ＢピクチャのフレームＦＲＭｖは、先に符号化処理が実施されたＩピクチャやＰピクチャのフレームＦＲＭｖより先に表示される。例えば、ＩピクチャのフレームＦＲＭｖ（１）は、ＢピクチャのフレームＦＲＭｖ（３）の次に表示される。そして、ＰピクチャのフレームＦＲＭｖ（４）は、ＢピクチャのフレームＦＲＭｖ（６）の次に表示される。

したがって、ＩＢＢＰ構造のＧＯＰでは、チャンクＣＮＫｖのフレームＦＲＭｖの数は、３の倍数に設定される。例えば、チャンク確定部２０は、３の倍数のうち、２以上の最小値（図６では、“３”）に、チャンクＣＮＫｖのフレームＦＲＭｖの数を設定する。これにより、例えば、フレームＦＲＭｖ（１）、ＦＲＭｖ（２）、ＦＲＭｖ（３）は、チャンクＣＮＫｖ（１）として管理される。また、フレームＦＲＭｖ（４）、ＦＲＭｖ（５）、ＦＲＭｖ（６）は、チャンクＣＮＫｖ（２）として管理される。そして、フレームＦＲＭｖ（１３）、ＦＲＭｖ（１４）、ＦＲＭｖ（１５）は、チャンクＣＮＫｖ（５）として管理される。

このように、チャンク確定部２０は、ＭＰ４ファイルを再生する際の表示順序にフレームＦＲＭｖの順序をチャンクＣＮＫｖ内で変更可能なフレーム数のうち、２以上の最小値に、チャンクＣＮＫｖのフレーム数を設定する。なお、チャンクＣＮＫｖのフレーム数の設定は、この例に限定されない。例えば、１つのＧＯＰは、フレームＦＲＭｖ（１）−ＦＲＭｖ（６）のチャンクＣＮＫｖと、フレームＦＲＭｖ（７）−ＦＲＭｖ（１２）のチャンクＣＮＫｖと、フレームＦＲＭｖ（１３）−ＦＲＭｖ（１５）のチャンクＣＮＫｖとにより管理されてもよい。

また、音声データのチャンクＣＮＫａは、映像データのチャンクＣＮＫｖに対応するように設定される。例えば、チャンク確定部２０は、チャンクＣＮＫａのフレームＦＲＭａの数を、チャンクＣＮＫｖのフレームＦＲＭｖの数と同じ数に設定する。

図７は、メモリ３０の占有量が閾値以上のときのチャンクＣＮＫの別の例を示している。なお、図７は、ＧＯＰがＩＰＰＰ構造でＧＯＰのフレーム数が奇数のときのチャンクＣＮＫｖの一例を示している。図の太線で示したフレームＦＲＭｖの意味は、図６と同じである。また、フレームＦＲＭｖの括弧内の数字の意味は、図６と同じである。

図７の例では、ＧＯＰは、１５個のフレームＦＲＭを有している。ＩＰＰＰ構造のＧＯＰでは、先ず、ＩピクチャのフレームＦＲＭｖ（１）が符号化される。次に、ＰピクチャのフレームＦＲＭｖ（２）−ＦＲＭｖ（１５）が順次符号化される。また、ＩＰＰＰ構造のＧＯＰでは、ＭＰ４ファイルを再生する際の表示順序は、符号化の処理順序と同じである。

したがって、ＩＰＰＰ構造のＧＯＰでは、例えば、チャンク確定部２０は、チャンクＣＮＫｖのフレームＦＲＭｖの数を３に設定する。これにより、１つのＧＯＰに含まれる複数のチャンクＣＮＫｖは、互いに同じ数のフレーム数に設定される。例えば、フレームＦＲＭｖ（１）、ＦＲＭｖ（２）、ＦＲＭｖ（３）は、チャンクＣＮＫｖ（１）として管理される。また、フレームＦＲＭｖ（４）、ＦＲＭｖ（５）、ＦＲＭｖ（６）は、チャンクＣＮＫｖ（２）として管理される。そして、フレームＦＲＭｖ（１３）、ＦＲＭｖ（１４）、ＦＲＭｖ（１５）は、チャンクＣＮＫｖ（５）として管理される。

なお、チャンクＣＮＫｖのフレームＦＲＭｖの数は、３以外の２以上の値に設定されてもよい。例えば、チャンク確定部２０は、チャンクＣＮＫｖのフレームＦＲＭｖの数を５に設定してもよい。この実施形態では、チャンクＣＮＫｖのフレームＦＲＭｖの数を２以上に設定することにより、ＭＰ４ファイルのサイズが増加することを抑制している。

例えば、メッセージＭＥＳは、図３で説明したように、チャンクＣＮＫ毎に生成される。このため、チャンクＣＮＫｖのフレームＦＲＭｖの数を１に設定したとき、メッセージＭＥＳの数が増加し、メッセージＭＥＳの合計のサイズが増加する。メッセージＭＥＳは、図２に示したムービーボックス（ｍｏｏｖ）Ｂ２０に格納される。このため、ムービーボックス（ｍｏｏｖ）Ｂ２０のサイズが増加し、ＭＰ４ファイルのサイズが増加する。なお、この実施形態では、チャンクＣＮＫｖのフレームＦＲＭｖの数を２以上に設定するため、ＭＰ４ファイルのサイズが増加することを抑制できる。

また、音声データのチャンクＣＮＫａは、映像データのチャンクＣＮＫｖに対応するように設定される。例えば、チャンク確定部２０は、チャンクＣＮＫａのフレームＦＲＭａの数を、チャンクＣＮＫｖのフレームＦＲＭｖの数と同じ数に設定する。

図８は、メモリ３０の占有量が閾値以上のときのチャンクＣＮＫの別の例を示している。なお、図８は、ＧＯＰがＩＰＰＰ構造でＧＯＰのフレーム数が偶数のときのチャンクＣＮＫｖの一例を示している。図の太線で示したフレームＦＲＭｖの意味は、図６と同じである。また、フレームＦＲＭｖの括弧内の数字の意味は、図６と同じである。

図８の例では、ＧＯＰは、１６個のフレームＦＲＭを有している。ＩＰＰＰ構造のＧＯＰでは、先ず、ＩピクチャのフレームＦＲＭｖ（１）が符号化される。次に、ＰピクチャのフレームＦＲＭｖ（２）−ＦＲＭｖ（１６）が順次符号化される。また、ＩＰＰＰ構造のＧＯＰでは、ＭＰ４ファイルを再生する際の表示順序は、符号化の処理順序と同じである。

したがって、ＩＰＰＰ構造のＧＯＰでは、例えば、チャンク確定部２０は、チャンクＣＮＫｖのフレームＦＲＭｖの数を２に設定する。これにより、１つのＧＯＰに含まれる複数のチャンクＣＮＫｖは、互いに同じ数のフレーム数に設定される。例えば、フレームＦＲＭｖ（１）、ＦＲＭｖ（２）は、チャンクＣＮＫｖ（１）として管理される。また、フレームＦＲＭｖ（３）、ＦＲＭｖ（４）は、チャンクＣＮＫｖ（２）として管理される。フレームＦＲＭｖ（５）、ＦＲＭｖ（６）は、チャンクＣＮＫｖ（３）として管理される。そして、フレームＦＲＭｖ（１５）、ＦＲＭｖ（１６）は、チャンクＣＮＫｖ（８）として管理される。

なお、チャンクＣＮＫｖのフレームＦＲＭｖの数は、２以外の２以上の値に設定されてもよい。例えば、チャンク確定部２０は、チャンクＣＮＫｖのフレームＦＲＭｖの数を４に設定してもよいし、チャンクＣＮＫｖのフレームＦＲＭｖの数を８に設定してもよい。このように、この実施形態では、チャンクＣＮＫｖのフレームＦＲＭｖの数を２以上に設定するため、ＭＰ４ファイルのサイズが増加することを抑制できる。

また、音声データのチャンクＣＮＫａは、映像データのチャンクＣＮＫｖに対応するように設定される。例えば、チャンク確定部２０は、チャンクＣＮＫａのフレームＦＲＭａの数を、チャンクＣＮＫｖのフレームＦＲＭｖの数と同じ数に設定する。

図９は、メモリ３０の占有量が閾値以上のときのチャンクＣＮＫの別の例を示している。なお、図９は、ＧＯＰがＩＢＰ構造のときのチャンクＣＮＫｖの一例を示している。図の太線で示したフレームＦＲＭｖの意味は、図６と同じである。また、フレームＦＲＭｖの括弧内の数字の意味は、図６と同じである。

図９の例では、ＧＯＰは、１６個のフレームＦＲＭを有している。ＩＢＰ構造のＧＯＰでは、先ず、ＩピクチャのフレームＦＲＭｖ（１）が符号化される。次に、ＢピクチャのフレームＦＲＭｖ（２）が符号化される。そして、Ｐピクチャ、Ｂピクチャの順に符号化される処理が、フレームＦＲＭｖ（３）−ＦＲＭｖ（１６）まで繰り返される。例えば、フレームＦＲＭｖ（２）の次に、ＰピクチャのフレームＦＲＭｖ（３）が符号化される。フレームＦＲＭｖ（３）の次に、ＢピクチャのフレームＦＲＭｖ（４）が符号化される。

また、ＩＢＰ構造のＧＯＰでは、ＭＰ４ファイルを再生したとき、ＢピクチャのフレームＦＲＭｖは、先に符号化処理が実施されたＩピクチャやＰピクチャのフレームＦＲＭｖより先に表示される。例えば、ＩピクチャのフレームＦＲＭｖ（１）は、ＢピクチャのフレームＦＲＭｖ（２）の次に表示される。そして、ＰピクチャのフレームＦＲＭｖ（３）は、ＢピクチャのフレームＦＲＭｖ（４）の次に表示される。

したがって、ＩＢＰ構造のＧＯＰでは、チャンクＣＮＫｖのフレームＦＲＭｖの数は、２の倍数に設定される。例えば、チャンク確定部２０は、２の倍数のうち、２以上の最小値（図９では、“２”）に、チャンクＣＮＫｖのフレームＦＲＭｖの数を設定する。これにより、例えば、フレームＦＲＭｖ（１）、ＦＲＭｖ（２）は、チャンクＣＮＫｖ（１）として管理される。また、フレームＦＲＭｖ（３）、ＦＲＭｖ（４）は、チャンクＣＮＫｖ（２）として管理される。フレームＦＲＭｖ（５）、ＦＲＭｖ（６）は、チャンクＣＮＫｖ（３）として管理される。そして、フレームＦＲＭｖ（１５）、ＦＲＭｖ（１６）は、チャンクＣＮＫｖ（８）として管理される。

なお、チャンクＣＮＫｖのフレームＦＲＭｖの数は、２以外の２の倍数に設定されてもよい。例えば、チャンク確定部２０は、チャンクＣＮＫｖのフレームＦＲＭｖの数を４に設定してもよいし、チャンクＣＮＫｖのフレームＦＲＭｖの数を８に設定してもよい。このように、この実施形態では、チャンクＣＮＫｖのフレームＦＲＭｖの数を２以上に設定するため、ＭＰ４ファイルのサイズが増加することを抑制できる。

また、音声データのチャンクＣＮＫａは、映像データのチャンクＣＮＫｖに対応するように設定される。例えば、チャンク確定部２０は、チャンクＣＮＫａのフレームＦＲＭａの数を、チャンクＣＮＫｖのフレームＦＲＭｖの数と同じ数に設定する。

図６−図９で説明したように、チャンク確定部２０は、チャンクＣＮＫのフレームＦＲＭの数をＧＯＰのフレーム数より少なくするとき、ＧＯＰの構造およびＧＯＰのサイズ（フレーム数）に基づいて、チャンクＣＮＫのフレーム数を設定する。

なお、映像・音声データ処理装置１０の動作は、この例に限定されない。例えば、チャンク確定部２０は、映像領域３２および音声領域３４の空き容量に応じて、チャンクＣＮＫのフレーム数を段階的に変更してもよい。例えば、映像領域３２の第１閾値および音声領域３４の第２閾値の少なくとも一方は、複数の値を有してもよい。そして、チャンク確定部２０は、複数の値と比較される占有量に応じて、チャンクＣＮＫのフレーム数を段階的に変更してもよい。

例えば、チャンク確定部２０は、映像領域３２の閾値に複数の値を設定し、映像領域３２の占有量と複数の値との比較結果に応じて、チャンクＣＮＫのフレーム数を段階的に変更してもよい。あるいは、チャンク確定部２０は、音声領域３４の閾値に複数の値を設定し、音声領域３４の占有量と複数の値との比較結果に応じて、チャンクＣＮＫのフレーム数を段階的に変更してもよい。

以上、この実施形態では、映像・音声データ処理装置１０は、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくする。例えば、チャンクＣＮＫのフレーム数は、ＭＰ４ファイルを再生する際の表示順序と符号化の処理順序との関係がチャンクＣＮＫ内で閉じる条件と、ＩピクチャあるいはＩＤＲピクチャがチャンクＣＮＫの先頭フレームＦＲＭになる条件との両方を満たす数に設定される。これにより、この実施形態では、ランダムアクセスポイントＲＡＰの探索効率と順序変更の対象フレームＦＲＭの探索効率とを向上できる。この結果、例えば、ＭＰ４ファイルを再生する装置では、ランダムアクセスポイントＲＡＰを効率よく探索できる。また、例えば、ＭＰ４ファイルを再生する装置では、フレームＦＲＭの順序を表示順序にする際に、順序変更の対象フレームＦＲＭを効率よく探索できる。

図１０は、別の実施形態における映像・音声データ処理装置１２の一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。映像・音声データ処理装置１２は、例えば、ＭＰ４ファイルを生成するシステムに、搭載される。

映像・音声データ処理装置１２は、例えば、システム部２２、メモリ３０、データ符号化部４０および多重化部５０を有している。メモリ３０は、例えば、映像領域３２、音声領域３４、設定領域３６および付属情報領域３８を有している。映像領域３２および音声領域３４は、上述した実施形態と同じである。設定領域３６には、例えば、外部ホスト等により指定されるＧＯＰの構造等が記憶される。付属情報領域３８は、符号化された映像データＶＤＡおよび音声データＡＤＡに関するヘッダ情報等が記憶される。なお、付属情報領域３８は、映像データＶＤＡ用と音声データＡＤＡ用とに分けられてもよい。

データ符号化部４０は、例えば、映像データＶＤＡおよび音声データＡＤＡを順次受け、受けた映像データＶＤＡおよび音声データＡＤＡをＭＰＥＧ−４等に準拠した符号化方式で順次符号化する。例えば、データ符号化部４０は、符号化制御部４２、映像符号化部４４および音声符号化部４６を有している。

符号化制御部４２は、外部ホスト等により指定されたＧＯＰの構造等を、メモリ３０の設定領域３６から取得する。そして、符号化制御部４２は、取得したＧＯＰの構造等を、映像符号化部４４および音声符号化部４６の符号化処理に反映させる。また、符号化制御部４２は、例えば、映像データＶＤＡの符号化に関するヘッダ情報を、映像符号化部４４による１映像フレームの符号化に同期させて、メモリ３０の付属情報領域３８に格納する。映像データＶＤＡの符号化に関するヘッダ情報は、例えば、ＧＯＰの構造、ピクチャタイプおよび１映像フレームのサイズである。さらに、符号化制御部４２は、例えば、１映像フレームの符号化が完了したとき、１映像フレームの符号化が完了したことをシステム部２２のシステム制御部２６に通知する。

また、符号化制御部４２は、例えば、音声データＡＤＡの符号化に関するヘッダ情報を、音声符号化部４６による１音声フレームの符号化に同期させて、メモリ３０の付属情報領域３８に格納する。さらに、符号化制御部４２は、例えば、１音声フレームの符号化が完了したとき、１音声フレームの符号化が完了したことをシステム部２２のシステム制御部２６に通知する。

映像符号化部４４は、例えば、映像データＶＤＡを順次受け、受けた映像データＶＤＡをＭＰＥＧ−４等に準拠した符号化方式で順次符号化し、符号化映像データＶＥＤ（符号化された映像データＶＤＡ）を生成する。例えば、映像符号化部４４は、符号化制御部４２がメモリ３０の設定領域３６から取得したＧＯＰの構造等に基づいて、映像データＶＤＡを符号化する。そして、映像符号化部４４は、符号化映像データＶＥＤをメモリ３０の映像領域３２に格納する。

音声符号化部４６は、例えば、音声データＡＤＡを順次受け、受けた音声データＡＤＡをＭＰＥＧ−４等に準拠した符号化方式で順次符号化し、符号化音声データＡＥＤ（符号化された音声データＡＤＡ）を生成する。そして、音声符号化部４６は、符号化音声データＡＥＤをメモリ３０の音声領域３４に格納する。

システム部２２は、例えば、多重化部５０の制御およびメッセージＭＥＳの生成を実施する。例えば、システム部２２は、チャンク確定部２４、システム制御部２６およびメッセージ生成部２８を有している。システム制御部２６は、１映像フレームの符号化の完了通知を符号化制御部４２から受けたとき、映像データＶＤＡの符号化に関するヘッダ情報を、メモリ３０の付属情報領域３８から取得する。すなわち、システム制御部２６は、１映像フレームの符号化の完了に応答して、ＧＯＰの構造、ピクチャタイプおよび１映像フレームのサイズ等を取得する。そして、システム制御部２６は、例えば、映像データＶＤＡの符号化に関するヘッダ情報（ＧＯＰの構造、ピクチャタイプおよび１映像フレームのサイズ等）を、チャンク確定部２４およびメッセージ生成部２８に通知する。

また、システム制御部２６は、１音声フレームの符号化の完了通知を符号化制御部４２から受けたとき、音声データＡＤＡの符号化に関するヘッダ情報を、メモリ３０の付属情報領域３８から取得する。そして、システム制御部２６は、例えば、音声データＡＤＡの符号化に関するヘッダ情報を、チャンク確定部２４およびメッセージ生成部２８に通知する。

チャンク確定部２４は、映像領域３２の占有量および音声領域３４の占有量をそれぞれ監視する。そして、チャンク確定部２４は、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、図６−図９で説明したように、ＧＯＰの構造およびピクチャタイプ等に基づいて、チャンクのフレーム数を設定する。

例えば、チャンク確定部２４は、システム制御部２６から受けた映像データＶＤＡの符号化に関するヘッダ情報および音声データＡＤＡの符号化に関するヘッダ情報に基づいて、チャンクのフレーム数を設定する。そして、チャンク確定部２４は、例えば、設定したチャンクのフレーム数の情報（以下、チャンク設定通知とも称する）を、多重化部５０の多重化制御部５２にシステム制御部２６を介して通知する。

メッセージ生成部２８は、例えば、システム制御部２６から受けた情報（ＧＯＰの構造、ピクチャタイプおよび１映像フレームのサイズ等）に基づいて、チャンクに対応するメッセージＭＥＳを生成する。そして、メッセージ生成部２８は、生成したメッセージＭＥＳを、対応するチャンクの出力に同期させて、外部（例えば、図３に示した外部装置１００）に出力する。

多重化部５０は、映像領域３２および音声領域３４にそれぞれ記憶された符号化映像データＶＥＤおよび符号化音声データＡＥＤを多重化して、外部（例えば、図３に示した外部装置１００）に出力する。例えば、多重化部５０は、多重化制御部５２、入力部５４、多重化バッファ５６、暗号化部５８および出力バッファ６０を有している。

多重化制御部５２は、例えば、システム部２２からの情報に基づいて入力部５４等を制御する。例えば、多重化制御部５２は、システム制御部２６から受けるチャンク設定通知に応答して、入力部５４を起動する。入力部５４は、例えば、１チャンク分の符号化映像データＶＥＤを映像領域３２から読み出す処理と１チャンク分の符号化音声データＡＥＤを音声領域３４から読み出す処理とを、交互に実施する。なお、映像領域３２および音声領域３４から読み出された符号化映像データＶＥＤおよび符号化音声データＡＥＤは、多重化バッファ５６に順次出力される。

多重化バッファ５６は、入力部５４から受けた符号化映像データＶＥＤおよび符号化音声データＡＥＤを、暗号化部５８に順次出力する。これにより、暗号化部５８は、１チャンク分の符号化映像データＶＥＤおよび１チャンク分の符号化音声データＡＥＤを交互に受ける。暗号化部５８は、多重化バッファ５６から受ける符号化映像データＶＥＤおよび符号化音声データＡＥＤを、順次暗号化する。暗号化の方式等は、例えば、システム部２２により予め指定される。例えば、暗号化部５８は、システム部２２のシステム制御部２６から多重化制御部５２を介して、暗号化の方式等に関する情報を受ける。

暗号化部５８で暗号化された符号化映像データＶＥＤおよび符号化音声データＡＥＤは、出力バッファ６０に順次出力される。すなわち、出力バッファ６０は、暗号化された１チャンク分の符号化映像データＶＥＤおよび暗号化された１チャンク分の符号化音声データＡＥＤを交互に受ける。出力バッファ６０は、暗号化された１チャンク分の符号化映像データＶＥＤと暗号化された１チャンク分の符号化音声データＡＥＤとを交互に出力する。

すなわち、出力バッファ６０は、１チャンク分の符号化映像データＶＥＤと１チャンク分の符号化音声データＡＥＤとを多重化したストリームデータＳＤＡを、外部（例えば、図３に示した外部装置１００）に出力する。例えば、ストリームデータＳＤＡおよびメッセージＭＥＳを受けた外部装置は、ストリームデータＳＤＡおよびメッセージＭＥＳをＭＰ４ファイルに格納し、ＭＰ４ファイルを生成する。

このように、映像・音声データ処理装置１２は、ＭＰＥＧ−４等に準拠したエンコーダとして機能する。なお、映像・音声データ処理装置１２の構成は、この例に限定されない。例えば、映像・音声データ処理装置１２は、符号化された映像データおよび音声データを復号する機能を有してもよい。すなわち、映像・音声データ処理装置１２は、コーデックやトランスコーダとして機能するように形成されてもよい。

図１１は、図１０に示した映像・音声データ処理装置１２の動作の一例を示している。図１１の動作は、ハードウエアのみで実現されてもよく、ハードウエハをソフトウエアにより制御することにより実現されてもよい。

処理Ｓ１００では、データ符号化部４０は、入力データ（映像データＶＤＡおよび音声データＡＤＡ）を符号化し、符号化した入力データをメモリ３０に書き込む。例えば、データ符号化部４０の映像符号化部４４は、映像データＶＤＡを符号化して生成した符号化映像データＶＥＤを、メモリ３０の映像領域３２に書き込む。また、例えば、データ符号化部４０の音声符号化部４６は、音声データＡＤＡを符号化して生成した符号化音声データＡＥＤを、メモリ３０の音声領域３４に書き込む。

処理Ｓ１１０では、チャンク確定部２４は、映像領域３２および音声領域３４の占有量が閾値以上か否かを判定する。例えば、チャンク確定部２４は、システム制御部２６から受けた１映像フレームのサイズ情報（符号化されたフレームのサイズ情報）を用いて、映像領域３２の占有量を算出する。なお、チャンク確定部２４は、映像領域３２や音声領域３４に対する書き込みアドレスや読み出しアドレスに基づいて、映像領域３２や音声領域３４の占有量を算出してもよい。

そして、チャンク確定部２４は、算出した占有量と映像領域３２の閾値（以下、第１閾値とも称する）とを比較する。第１閾値は、例えば、映像領域３２のサイズに基づいて、予め設定されている。なお、音声領域３４の占有量と閾値（以下、第２閾値とも称する）との比較も、映像領域３２の占有量と第１閾値との比較と同様の方法により実施される。第２閾値は、例えば、音声領域３４のサイズに基づいて、予め設定されている。

映像領域３２の占有量が第１閾値以上である第１条件および音声領域３４の占有量が第２閾値以上である第２条件の少なくとも一方を満たすとき（処理Ｓ１１０のＹｅｓ）、チャンク確定部２４の動作は、処理Ｓ１３０に移る。すなわち、映像領域３２および音声領域３４の空き容量が小さいとき、チャンク確定部２４の動作は、処理Ｓ１３０に移る。第１条件および第２条件のいずれも満たさないとき（処理Ｓ１１０のＮｏ）、チャンク確定部２４の動作は、処理Ｓ１２０に移る。すなわち、映像領域３２および音声領域３４の空き容量が大きいとき、チャンク確定部２４の動作は、処理Ｓ１２０に移る。

処理Ｓ１２０では、チャンク確定部２４は、チャンクのフレーム数を、１ＧＯＰのフレーム数と同じ数に設定する。例えば、処理Ｓ１２０で設定されたチャンクのフレーム数の情報（チャンク設定通知）は、多重化部５０に通知される。このように、映像領域３２および音声領域３４の空き容量が大きいときには、チャンクのフレーム数は、１ＧＯＰのフレーム数と同じ数に設定される。一方、映像領域３２および音声領域３４の空き容量が小さいときには、処理Ｓ１３０、Ｓ１４０において、チャンクのフレーム数は、１ＧＯＰのフレーム数より少ない数に設定される。

処理Ｓ１３０では、チャンク確定部２４は、例えば、システム制御部２６から受けた情報（ＧＯＰの構造、ピクチャタイプおよび１映像フレームのサイズ等）に基づいて、１チャンク当たりのフレーム数（“ｊ”）を決定する。処理Ｓ１４０では、チャンク確定部２４は、処理Ｓ１３０で決定したフレーム数（“ｊ”）に、チャンクのフレーム数を設定する。例えば、チャンク確定部２４は、処理Ｓ１３０で決定したチャンクのフレーム数の情報（チャンク設定通知）を、多重化部５０に通知する。

処理Ｓ１５０では、例えば、多重化部５０は、処理Ｓ１２０、Ｓ１４０で設定されたチャンクに基づいて、符号化データ（符号化映像データＶＥＤあるいは符号化音声データＡＥＤ）を順次出力する。そして、例えば、システム制御部２６は、１チャンク分の符号化データの出力が終了したか否かを判定する。１チャンク分の符号化データの出力が終了したとき（処理Ｓ１５０のＹｅｓ）、処理Ｓ１８０において、メッセージ生成部２８は、出力したチャンクに対応するメッセージＭＥＳを出力する。一方、１チャンク分の符号化データの出力が終了していないとき（処理Ｓ１５０のＮｏ）、映像・音声データ処理装置１２の動作は、処理Ｓ１６０に移る。

処理Ｓ１６０では、例えば、システム制御部２６は、メモリ３０の映像領域３２および音声領域３４のいずれかがオーバーフローしたか否かを判定する。なお、オーバーフローの判定は、システム制御部２６以外のモジュール（例えば、チャンク確定部２４）により実施されてもよい。メモリ３０の映像領域３２および音声領域３４のいずれかがオーバーフローしたとき（処理Ｓ１６０のＹｅｓ）、処理Ｓ１７０において、オーバーフローした領域（映像領域３２や音声領域３４）のデータが削除される。一方、メモリ３０がオーバーフローしていないとき処理Ｓ１６０のＮｏ）、映像・音声データ処理装置１２の動作は、処理Ｓ１５０に戻る。

このように、映像・音声データ処理装置１２は、映像領域３２および音声領域３４の少なくとも一方の空き容量が小さいとき、チャンクのフレーム数をＧＯＰのフレーム数より少なくする。なお、チャンクのフレーム数の条件は、上述した実施形態と同じである。また、映像・音声データ処理装置１２の動作は、この例に限定されない。例えば、チャンク確定部２４は、映像領域３２および音声領域３４の空き容量に応じて、チャンクのフレーム数を段階的に変更してもよい。

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０、１２‥映像・音声データ処理装置；２０、２４‥チャンク確定部；２２‥システム部；２６‥システム制御部；２８‥メッセージ生成部；３０‥メモリ；３２‥映像領域；３４‥音声領域；３６‥設定領域；３８‥付属情報領域；４０‥データ符号化部；４２‥符号化制御部；４４‥映像符号化部；４６‥音声符号化部；５０‥多重化部；５２‥多重化制御部；５４‥入力部；５６‥多重化バッファ；５８‥暗号化部；６０‥出力バッファ；１００‥外部装置

Claims (5)

1. 符号化された映像データを記憶する第１記憶部と、
   符号化された音声データを記憶する第２記憶部と、
   前記第１記憶部および前記第２記憶部のそれぞれの占有量を監視し、前記第１記憶部の占有量が所定の第１閾値以上である第１条件および前記第２記憶部の占有量が所定の第２閾値以上である第２条件の少なくとも一方を満たすとき、チャンクのフレーム数をＧＯＰ（Group Of Picture）のフレーム数より少なくするチャンク確定部と
   を備えていることを特徴とする映像・音声データ処理装置。
2. 前記チャンク確定部は、前記映像データを再生する際の表示順序に前記フレームの順序を前記チャンク内で変更できるように、前記チャンクの前記フレーム数を設定すること
   を特徴とする請求項１記載の動画像符号化装置。
3. 前記チャンク確定部は、前記映像データを再生する際の表示順序に前記フレームの順序を前記チャンク内で変更可能な前記フレーム数のうち、２以上の最小値に前記チャンクの前記フレーム数を設定すること
   を特徴とする請求項２記載の映像・音声データ処理装置。
4. 前記第１閾値および前記第２閾値の少なくとも一方は、複数の値を有し、
   前記チャンク確定部は、前記複数の値と比較される前記占有量に応じて前記チャンクの前記フレーム数を段階的に変更すること
   を特徴とする請求項１記載の映像・音声データ処理装置。
5. 符号化された映像データと符号化された音声データとを多重化するデータ多重化方法において、
   符号化された前記映像データを記憶する第１記憶部の占有量と所定の第１閾値とを比較し、
   符号化された前記音声データを記憶する第２記憶部の占有量と所定の第２閾値とを比較し、
   前記第１記憶部の占有量が前記第１閾値以上である第１条件および前記第２記憶部の占有量が前記第２閾値以上である第２条件の少なくとも一方を満たすとき、チャンクのフレーム数をＧＯＰ（Group Of Picture）のフレーム数より少なくすること
   を特徴とするデータ多重化方法。

Images