JP4242581B2 - データ変換装置 - Google Patents
データ変換装置 Download PDFInfo
- Publication number
- JP4242581B2 JP4242581B2 JP2001374697A JP2001374697A JP4242581B2 JP 4242581 B2 JP4242581 B2 JP 4242581B2 JP 2001374697 A JP2001374697 A JP 2001374697A JP 2001374697 A JP2001374697 A JP 2001374697A JP 4242581 B2 JP4242581 B2 JP 4242581B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- time stamp
- encoded data
- frame
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するデータ変換装置、データ符号化装置、及びデータ記録装置に関する。
【０００２】
【従来の技術】
近年、インターネットや移動体端末などの低帯域環境下で映像を配信する環境が普及しつつある。そして、これら低帯域環境下での映像の圧縮符号化方式としては、ＩＴＵ−Ｔで標準化されるＨ．２６３や、ＩＳＯ／ＩＥＣで標準化されるＭＰＥＧ−４などが用いられる。
【０００３】
上記ＭＰＥＧ−４は、ＤＶＤに採用され広く普及しているＭＰＥＧ−２と異なり、可変フレームレートの符号化が可能である。ここで、可変フレームレートの符号化とは、任意のフレームの表示時間間隔を設定できる符号化のことであり、映像信号の圧縮における映像信号の複雑さや、映像信号の性質（動きの有無等）などに応じて、最適な符号化を行う際に一般的に用いられているものである。
【０００４】
図１０は、可変フレームレートの符号化データの例である。図では、３０Ｈｚの映像信号を、前半はフレームを１枚毎にスキップさせて１５Ｈｚで符号化し、後半は２枚毎にスキップさせて１０Ｈｚで符号化している。
【０００５】
以下、図１１〜図１６を用いて、図１０に示すような可変フレームレートでの符号化処理について説明する。
まず、図１１を用いて、従来のデータ符号化装置の構成について説明する。
図１１は、従来における、データ符号化装置の構成を示す図である。
【０００６】
図１１において、従来のデータ符号化装置は、カメラから入力される映像をとりこむ映像取り込み手段８１と、取りこまれた映像のフレーム信号を符号化するか否かを判定する符号化判定手段８２と、その取りこまれたデータを符号化処理する符号化手段８３と、該符号化手段８３により符号化された符号化データを、ＭＰＥＧ−４標準のファイルフォーマット規格（以下、「ＭＰ４」と称す。）に変換するＭＰ４ファイル符号化手段８５と、ＭＰ４ファイルを記録する記録媒体８６とを備えるものである。
【０００７】
以下、上述した構成を有する、従来のデータ符号化装置の一連の処理動作について説明する。
まず、データ符号化装置は、カメラから入力される映像を、映像取り込み手段８１にて映像フレーム信号（以下、「フレーム」と呼ぶ。）に変換し、該フレームを映像の取り込み開始時から、カメラのフレームレート（例えば、３０Ｈｚ）で増加していくフレーム番号とともに、符号化判定手段８２に出力する。
【０００８】
そして、符号化判定手段８２では、上記フレーム番号と、予め与えられているカメラのフレーム情報とから、入力されたフレームのタイムスタンプを計算し、該タイムスタンプと、これまでに符号化したデータ量の合計と、出力のビットレートとから、その入力されたフレームを符号化するか否かの判定を行う。
【０００９】
なお、この入力されたフレームを符号化するか否かの判定の条件は、ビットレートの可変／固定、規定に定められているバッファモデルの遵守／無視、フレームの画質重視／フレームレート重視などの、データ符号化装置の様々な条件、利用目的に依存するものであり、ここでは具体的な判定条件については示さないとする。
【００１０】
そして、上記符号化判定手段８２において、その入力されたフレームを符号化すると判定された場合は、入力されたフレームと、該フレームのタイムスタンプとを、符号化手段８３へ出力し、符号化処理を行う。ここで、フレームのタイムスタンプは、スケールの変換やオフセットの処理を行って、ＭＰ４ファイルに記録するＭＰ４タイムスタンプに変換される。
【００１１】
一方、上記符号化判定手段８２において、そのフレームを符号化しないと判定された場合は、フレーム、及びそのタイムスタンプ等を符号化手段８３には出力せずに破棄し、次のフレームが上記映像取り込み手段８１から入力されるのを待つ。
【００１２】
一般的に、上記符号化手段８３におけるデータの符号化処理は、時間がかかるものであり、さらに、入力されたフレームの映像の性質によっては、上記映像取り込み手段８１により、その次に取りこまれるフレームが上記符号化判定手段８２へ出力されるまでに、符号化処理を終了できない場合がある。このような場合に、次に取りこまれたフレームを、符号化判定手段８２において破棄するようにし、該破棄されたフレームは符号化手段８３には出力されないので、符号化データにおいては、スキップされることになる。
【００１３】
そして、上記符号化手段８３において符号化された符号化データ、及びその符号化データ量は、ＭＰ４ファイル符号化手段８５に出力される。また、上記符号化データ量は、上記符号化判定手段８２にも出力される。この上記符号化判定手段８２に出力される符号化データ量は、上述した、入力されたフレームを符号化するか否かの判定条件のうち、ビットレート固定の条件や、バッファモデル遵守の条件に利用される。
【００１４】
そして、ＭＰ４ファイル符号化手段８５において、上記符号化データ、及び符号化データ量は、ＭＰ４ファイルに変換され、記録媒体８６に記録される。
【００１５】
ここで、図１２を用いて、ＭＰ４ファイルの構成について説明する。
図１２は、可変フレームレートの符号化データ例（図(a)）、及びその符号化データのＭＰ４ファイルの構成を示す図(図(b))である。
ＭＰ４ファイルは、符号化データのサイズを格納するSample Size Atom、表示間隔を格納するSample-To-TimeStamp Atom、符号化データを格納するMovie data Atom等、入力される各フレームの情報をテーブル化したAtomから構成される。
【００１６】
まず、Sample-To-TimeStamp Atom には、フレームレート一定の区間毎に、符号化データの先頭から順次、フレームの枚数ｎｕｍとフレームの間隔ｄｕｒの組を記述し、該フレーム枚数とフレーム間隔とからなるテーブルの前に区間数を記述する構造になっている。また、Sample Size Atomは、フレームの番号順に各フレームのサイズを記述し、該フレームサイズのテーブルの前にフレームの総数である要素数を記述する構造になっている。そして、Movie data Atomには、各サンプルのデータを連続して格納していく。
【００１７】
例えば、上記映像取り込み手段８１から取りこまれたフレームが、上記符号化手段８３において、図１２（ａ）に示すような、３つの異なるフレームレートを有する可変フレームレートの符号化データに符号化された場合、ＭＰ４ファイル符号手段８５において、図１２（ｂ）に示すように、Sample Size Atomには、要素数９と、フレームの番号順に１番目のサンプルから９番目のサンプルまでの各フレームの符号化データのサイズとが記述され、Movie data Atomには、１番目のサンプルから９番目のサンプルまでのサンプルのデータが連続して格納され、Sample-To-TimeStamp Atomには、上記符号化データが、最初の３フレームの間隔が２、次の２フレームの間隔が３、次の４フレームの間隔が１であることより、要素数３と、区間１としてフレーム数num＝３，フレーム間隔dur＝２、区間２としてnum＝２，dur＝３、区間３としてnum＝４，dur＝１とが記述される。なお、ここでは、説明を簡単にするために、１サンプル＝１フレームとしているが、音声データのように、例えば、１０２４サンプル＝１フレームとした場合でも、各Atomへのデータの格納方法は同様である。
【００１８】
次に、符号化データを、以上のようなＭＰ４ファイルに変換するＭＰ４ファイル符号化手段８５について、図１３及び図１４を用いて説明する。図１３は、従来における、ＭＰ４ファイル符号化手段の構成の一例を示す図であり、図１４は、従来におけるＭＰ４ファイル符号化手段の一連の処理動作を示すフローチャート図である。
【００１９】
まず、図１３を用いて、ＭＰ４ファイル符号化手段８５の構成について説明する。
ＭＰ４ファイル符号化手段８５には、符号化データと符号化データ量、及び、その符号化データに関してＭＰ４ファイル記録する際のＭＰ４タイムスタンプが入力されるものであり、該入力された符号化データとその符号化データ量を一時的に記憶する符号化データ一時記憶手段４１と、該符号化データ一時記憶手段４１から入力される符号化データを用いて、ＭＰ４ファイル内の符号化データを記録するデータ領域であるMovie Data Atomを、mdat atom一時記憶手段４６上に一時的に生成するmdat atom作成手段４３と、上記符号化データ一時記憶手段４１から入力される符号化データ量を用いて、ＭＰ４ファイル内の符号化データ量を記録するデータ領域であるSample Size Atomを、stsz atom一時記憶手段４７上に生成するstsz atom作成手段４４と、外部より入力されたＭＰ４タイムスタンプを用いて、ＭＰ４ファイル内のフレームの時間間隔を記録するデータ領域であるSample-To-TimeStamp Atomを、stts atom一時記憶手段４８上に作成するstts atom生成手段４５と、上述した各生成手段４３〜４５により、各一時記憶手段４６〜４８上に個別に生成された各Atomを、記録したい符号化データの入力が全て終了した後に連結する一時データ連結手段４９と、を備えるものである。なお、ＭＰ４ファイル符号化手段８５に外部よりＭＰ４タイムスタンプが入力されない場合は、符号化データ一時記憶手段４１に記憶されている符号化データから、符号化データのタイムスタンプを読み取り、スケールの変換やオフセットの処理を行って、ＭＰ４ファイルに記録するＭＰ４タイムスタンプに変換するＭＰ４タイムスタンプ読み取り手段４２を備えるようにする。
【００２０】
ここで、上記mdat atom作成手段４３による、Movie Data Atomの作成方法については、目的に応じていろいろあるが、本発明を説明する上では関わりがないため、ここでは詳細な説明は行わないものとする。また、上記stsz atom作成手段４４による、Sample Size Atomの作成方法については、先頭から符号化データ量を並べるものである。さらに、上記stts atom生成手段４５によるSample-To-Time Stamp Atomの作成方法については、後述する。
【００２１】
そして、記録したい符号化データの入力が全て終了した後、ＭＰ４ファイル符号化手段８５に、ストリーム終了信号が入力され、このストリーム終了信号が入力されると、各atom作成手段４３〜４５は、テーブルの要素数の書き込みなど、各Atomを完成させる処理を行う。そしてその後、一時データ連結手段４９により、各Atomを適切な位置に再配置し、記録媒体８６に作成したＭＰ４ファイルを出力するものである。
【００２２】
以下、図１４のフローチャートに従って、ＭＰ４ファイル符号化手段８５のstts atom生成手段４５による、Sample-To-Time Stamp Atomの作成方法について説明する。
まず、本データ符号化装置において、データ処理が開始されると、ＭＰ４ファイル符号化手段８５において、初期化が行われる（ステップＳ１）。ここで、ｉｎはＭＰ４符号化手段８５に入力されたフレームの総数を示し、indexはSample-To-TimeStamp atomにおける、ある時点での区間番号を示し、ｎは本データ符号化装置へ入力されたフレームのうち、Sample-To-TimeStamp Atomに記述されていないという意味での、未処理のフレーム数を示し、Ｔｐは直前の符号化データのＭＰ４タイムスタンプを示している。
【００２３】
そして、ＭＰ４ファイル符号化手段８５に、符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力されると、ＭＰ４タイムスタンプをＴｓに設定し、入力フレーム数ｉｎを１増加させ、未処理フレーム数ｎを１増加させる（ステップＳ２）。
【００２４】
そして次に、入力フレーム数ｉｎ≧３であるか否かを判断し、ｉｎ≦２ならば、ステップＳ６へ進み、ｉｎ≧３であれば、ステップＳ４に進む。この分岐は、上記Sample-To-TimeStamp Atomが、フレームの時間間隔を記述するものであるため、最低２枚のフレームが必要であり、また、Sample-To-TimeStamp Atomは、同じフレーム間隔のフレームの枚数を記述するものであるため、最低３枚のフレームが無いと１つめの要素の書き出し処理は行えないことによるものである。
【００２５】
そして、ｉｎ≦２である場合、フレーム間隔ｄを計算し、今入力されたフレームのＭＰ４タイムスタンプＴｓを一つ前のフレームのＭＰ４タイムスタンプＴｐとして記録する（ステップＳ６）。そして、以上のようなステップＳ２〜Ｓ６の処理を、stts atom生成手段４５に、符号化データ入力の終了を意味するストリーム終了信号が入力されるまで繰り返す（ステップＳ７）。
【００２６】
以上のような繰り返しの中で、ステップＳ３において、ｉｎ≧３である場合には、今のフレームと前のフレームとのフレーム間隔ｄ（＝Ｔｓ−Ｔｐ）が、これまでに計算したフレーム間隔ｄと一致するかを判定し（ステップＳ４）、その判定において、フレーム間隔ｄが一致しなかった場合は、Sample-To-TimeStamp Atomの定義に基づき、Sample-To-TimeStamp Atomのテーブルの要素を追加する（ステップＳ５）。つまり、Sample-To-TimeStamp Atomに、フレーム枚数num＝ｎ−２、及びフレーム間隔dur＝ｄを追加し、さらに、Sample-To-TimeStamp Atomへの要素の追加後には、区間番号indexを一つ増加させ、未処理フレーム枚数ｎ＝２とする。この２枚は、新しいフレーム間隔ｄ（＝Ｔｓ−Ｔｐ）となった区間の１枚目（１つ前のＭＰ４タイムスタンプＴｐ）のフレームと、２枚目（現在のＭＰ４タイムスタンプＴｓ）のフレームである。
【００２７】
そして、stts atom生成手段４５にストリーム終了信号が入力されると（ステップＳ７）、stts atom生成手段４５は、テーブルの要素数の書き込みなど、Sample-To-TimeStamp Atomを完成させる処理を行っていく。
つまり、ステップＳ５において説明した通り、ステップＳ７の時点では、２枚分のフレームに関するフレーム間隔情報が、stts atom生成手段４５の内部に一時的に保持されたままで、Sample-To-TimeStamp Atomのテーブルの要素に追加されていない。したがって、上記ストリーム終了信号が入力されたならば、その２枚分に対する処理を行う必要がある。なお、通常はありえないが、入力フレーム枚数ｉｎが２よりも少ない場合は、通常と異なる動作をしなければならない。
【００２８】
まず、通常ありえない状態である、上記ストリーム終了信号が入力されたときに、入力フレーム数ｉｎ＝０あるいは１である場合について説明する。
入力フレーム数ｉｎ＝０、つまりフレームが一枚も入力されなかった場合は、ステップＳ９へと進む。この場合は、当然、Sample-To-TimeStamp Atomに、何も要素を追加する必要がない。そして、区間番号ｉｎｄｅｘ＝０とし（ステップＳ９）、その値をSample-To-TimeStamp Atomの要素数として０を書きこむ（ステップＳ１２）。
【００２９】
また、入力フレーム数ｉｎ＝１であるとき、フレーム数num＝１、フレーム間隔dur＝du（du；任意の数）の要素を追加し、さらに、区間番号ｉｎｄｅｘ＝１とした後（ステップＳ９）、その値をSample-To-TimeStamp Atomの要素数として１を書きこむ（ステップＳ１２）。なお、フレーム間隔durは、２枚のフレームが無ければ定義されないので、ここでフレーム間隔durとして追加されるフレーム間隔duは、意味のある値ではなく、任意に決定して構わない。
【００３０】
そして、入力フレーム数ｉｎ≧２である時、これは通常の状態であるが、この場合は、ｎ枚のフレームが未処理のまま残っているので、Sample-To-TimeStamp Atomにこれを追加する。つまり、フレーム枚数num＝ｎ、フレーム間隔dur＝ｄの要素を追加し、さらに、区間番号ｉｎｄｅｘも１増加させた後（ステップＳ１１）、Sample-To-TimeStamp Atomの要素数として、その１増加させたｉｎｄｅｘの値を書きこむ（ステップＳ１２）。これで、Sample-To-TimeStamp Atomのテーブル作成処理は終了である。
【００３１】
次に、図１７を用いて、ＲＴＰ（リアルタイム・トランスポート・プロトコル）により、ＭＰＥＧ−４のデータが、基地局からデータ記録装置に送信される場合の処理について説明する。
図１７は、従来における移動体端末であるデータ記録装置の構成を示す図であり、送信手段からのＭＰＥＧ−４データは、ＲＴＰを用いて伝送される。
【００３２】
以下、従来におけるデータ記録装置について説明する。
データ記録装置は、ＲＴＰ受信装置９１、ＲＴＰ受信バッファ９２、ＲＴＰ復号手段９３、ＭＰ４ファイル符号化手段９５、記録媒体９６とからなるものであり、まず、ＲＴＰ受信手段９１は、基地局であるＲＴＰ送信手段９０から、ビデオパケット単位に分割され、ＲＴＰパケットに格納されたＭＰＥＧ−４の符号化データを受信すると、該ＲＴＰパケットを受信バッファ９２に格納する。
【００３３】
ここで、上記ビデオパケットとは、フレームをさらに分割したデータの単位であり、あるビデオパケットが消失したり、あるビデオパケットにエラーが混入したりしても、その他のビデオパケットは正しく復号化できるものである。また、上記ＲＴＰパケットには、ＲＴＰタイムスタンプが付けられており、そのＲＴＰパケットに格納されている符号化データが有する符号化データタイムスタンプに、ランダムなオフセットを加えた値がセットされている。通常、１フレームの符号化データを複数のＲＴＰパケットに分割した場合、これらの分割された複数のＲＴＰパケットのＲＴＰタイムスタンプには同じ値が付けられる。また、上記ＲＴＰパケットには、連続する番号（シーケンス番号）が付けられていて、受信側、つまりデータ記録装置は、このシーケンス番号の連続性をチェックすることで、パケットの消失を確認できる。
【００３４】
そして、ＲＴＰ復号手段９３は、上記受信バッフア８２から、同一タイムスタンプを持つ１つ以上のＲＴＰパケットを受け取り、該ＲＴＰパケットからＲＴＰヘッダを除去するなどしてＭＰＥＧ−４データに復元し、ＭＰ４ファイル符号化手段９５は、該ＲＴＰ復号手段９３からのＭＰＥＧ−４のデータをＭＰ４ファイルに変換して、記録媒体９６に格納するものである。なお、ＭＰ４ファイルへの変換に必要なＭＰ４タイムスタンプやフレームのサイズ等の情報は、上記ＲＴＰ復号手段９３で、ＲＴＰパケットにつけられたＲＴＰタイムスタンプとサイズとから取得することができる。
【００３５】
なお、基地局であるＲＴＰ送信手段９０から、移動体端末であるデータ記録装置に、ＲＴＰを用いてＭＰＥＧ−４データを伝送する際に、上記ＲＴＰ送信手段９０からデータ記録装置にパケットが届かなかった場合、例えば、ＲＴＰ送信手段９０から、フレームが複数のＲＴＰパケットに分割された状態で送信される際に、そのいくつかのＲＴＰパケットが消失したり、あるフレームを構成するＲＴＰパケット全てが消失したりした場合には、データ記録装置は、上記ＲＴＰ受信手段９１で正しく受信できなかったデータはスキップさせ、上記ＲＴＰ受信手段９１で正しく受信できたデータのみを記録媒体９６にＭＰ４ファイル記録する。
【００３６】
【発明が解決しようとする課題】
しかしながら、上述した可変フレームレートの符号化データは、固定フレームレートの符号化データに比べて、映像信号の圧縮に応じた符号化が可能であるという長所がある一方、フレームレートに自由度があるため、その符号化データをＭＰ４ファイルに変換する際に、ＭＰ４ファイルのフレーム間隔を記録するSample-To-TimeStamp Atomのテーブルサイズが符号化データに左右されるものとなり、そのテーブルサイズを見積もることができなかったり、装置に異常が発生した場合にデータの復元が困難であったり、また、符号化データをＭＰ４ファイル記録した後、そのＭＰ４ファイルからデータを復号する際のデータ処理量が大きくなる、という問題がある。
【００３７】
具体的に説明すると、例えば、図１１に示す、従来のデータ符号化装置において、可変フレームレートの符号化データを、上記ＭＰ４ファイル符号化手段８５でＭＰ４ファイルに変換する際には、上記符号化判定手段８２における判定の結果によって、符号化データのフレーム間隔が変化する毎に、Sample-To-TimeStamp Atomに新しい要素を格納する必要がある。これにより、ＭＰ４ファイルにおいて、Sample Size Atom及びMovie Data Atomと同様、Sample-To-TimeStamp Atomのテーブルサイズも増えるので、固定フレームレートの符号化データをＭＰ４ファイル記録するより、記録媒体８６の容量がさらに必要になる。このSample-To-TimeStamp Atomのテーブルサイズが大きくなることは、固定フレームレートの符号化データをＭＰ４ファイルに変換した場合のＭＰ４ファイルの構成図（図１２）と、可変フレームレートの符号化データのＭＰ４ファイルの構成図（図１５）とを比較すれば明らかである。つまり、図１５のように、符号化データが固定フレームレートの場合は、フレーム間隔が常にdur＝１であるため、Sample-To-TimeStamp Atomのテーブルの要素は１つであり、そのテーブルのサイズは変化しない。
【００３８】
また、可変フレームレートの符号化データをＭＰ４ファイルに変換する場合、上記Sample-To-TimeStamp Atomの作成方法は、Sample Size Atom及びMovie Data Atomの作成方法と異なり、入力されたフレームを符号化判定手段８２において判定した結果に応じてそのテーブルを増やしていくものであるので、上記符号化データのＭＰ４ファイル記録開始時に、最終的なテーブルサイズを見積もることが不可能である。
【００３９】
また、上記従来のデータ符号化装置では、上記ＭＰ４ファイル符号化手段８５で、可変フレームレートの符号化データをＭＰ４ファイルに変換する際に、上記Sample Size Atom及びMovie Data Atom を作成する場合は、１フレームの符号化データ単位でmdat atom一時記憶手段４６、stsz atom一時記憶手段４７に逐次書き込みながら処理していくため、データ符号化装置に異常が発生した場合でも、データ復元が可能であるが、Sample-To-TimeStamp Atomを作成する場合は、フレームレートが変化した時点でそのテーブルの要素が決定されるものであるため、データ符号化装置に異常が発生した場合、Sample-To-TimeStamp Atomのテーブルのデータを完全に復元することができない。
【００４０】
また、上記ＭＰ４ファイルのSample-To-TimeStamp Atomのテーブルサイズが大きくなると、記録媒体８６に記録されたデータを再生する際に、その処理量が大きくなることについて、以下に説明する。
【００４１】
まず、Sample-To-TimeStamp Atomを解釈して、ＭＰ４タイムスタンプからサンプル番号の算出、あるいはサンプル番号からＭＰ４タイムスタンプを算出する処理が行われる。
ここで、図１６を用いて、Sample-To-TimeStamp Atomから、与えられたＭＰ４タイムスタンプ（Ｔ）に対応するサンプル番号Ｎを求める処理について説明する。
図１６は、Sample-To-TimeStamp Atomを用いて、与えられたＭＰ４タイムスタンプに対応するサンプルを探し出す処理の一連の流れを示すフローチャート図である。
【００４２】
まず、ＭＰ４タイムスタンプＴをセットし（ステップＳ２１）、区間番号ｉｎｄｅｘ、該区間番号ｉｎｄｅｘの指す区間の最初のフレームのＭＰ４タイムスタンプＴ０、及び該区間番号ｉｎｄｅｘの指す区間までに含まれるフレーム数Ｎ０の値を初期化する（ステップＳ２２）。そして、今現在ｉｎｄｅｘが指す区間に含まれるフレーム数ｎｕｍと、そのフレーム間隔ｄｕｒとを、Sample-To-TimeStamp Atomから取得し（ステップＳ２３）、さらに、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅを計算する（ステップＳ２４）。なお、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅは、Ｔ０＋ｎｕｍ＊ｄｕｒにより得られる。
【００４３】
そして、以上のようにして得た、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅと、ＭＰ４タイムスタンプＴとを比較し、ＭＰ４タイムスタンプＴが、その区間に含まれているか否かを判定する（ステップＳ２５）。
【００４４】
ステップＳ２５において、Ｔ＜Ｔｅである場合は、ＭＰ４タイムスタンプＴが、今現在ｉｎｄｅｘが指す区間に含まれていると判定し、そのＭＰ４タイムスタンプＴのサンプル番号を決定する（ステップＳ２７）。このサンプル番号の決定は、今現在ｉｎｄｅｘが指す区間までの時間が、該区間番号ｉｎｄｅｘの指す区間の最初のフレームのＭＰ４タイムスタンプＴ０であるので、ＭＰ４タイムスタンプＴが示すフレームまでの時間はＴ−Ｔ０であり、またこの区間のフレーム間隔ｄｕｒであることより、そのＭＰ４タイムスタンプＴが示すサンプルのフレームは、当該区間の先頭から｛（Ｔ−Ｔ０）／ｄｕｒ｝番目のフレームとなる。よって、フレームのサンプル番号Ｎは、Ｎ０＋（Ｔ−Ｔ０）／ｄｕｒとなる。
【００４５】
一方、ステップＳ２５において、Ｔ＞Ｔｅであった場合には、その今現在ｉｎｄｅｘが指す区間には、ＭＰ４タイムスタンプＴが含まれていないと判定され、Sample-To-TimeStamp Atomのテーブルの次の要素へと移動する（ステップＳ２６）。つまり、次の区間の開始時間Ｔ０として、ステップＳ２４で求めた区間の終了時間Ｔｅをセットし、次の区間までの要素数Ｎ０として、当該区間までの要素数Ｎ０と、当該区間のフレーム数ｎｕｍとの和をセットし、区間番号ｉｎｄｅｘを１増加させる。そしてその後、再びステップＳ２３に戻り、ステップＳ２５において、Ｔ＜Ｔｅになるまで、上述した処理を繰り返すものである。なお、ステップＳ２６において、ｉｎｄｅｘが要素数以上になった場合は、ＭＰ４タイムスタンプＴが示すフレームが見つからなかったことを意味する。
【００４６】
以上のことより、Sample-To-TimeStamp Atomのテーブルの要素数が増えると、そのＭＰ４タイムスタンプＴが含まれる区間を探しだすまで、ステップＳ２３〜ステップＳ２６の処理を繰り返す必要があり、ＭＰ４タイムスタンプＴから、該ＭＰ４タイムスタンプが示すフレームのサンプル番号Ｎを探し出すのにかかる手間が非常に大きくなることがわかる。また、上述した逆の処理である、サンプル番号ＮからＭＰ４タイムスタンプＴを求める処理についても、上述した処理と同様、Sample-To-TimeStamp Atomの要素数に比例してその処理量が増える。
【００４７】
また、図１７に示したＲＴＰを用いたデータ送信では、パケット再送処理を行わないので、パケットの遅延が累積することがなく、リアルタイムの伝送に向いている反面、ネットワークの遅延や一時な切断等が生じると、パケットが消失してしまい、受信側であるデータ記録装置にパケットが届かない場合がある。そして、このようなＲＴＰの性質上、基地局のＲＴＰ送信手段９０から、ＲＴＰを用いて受信したＭＥＰＧ−４データをＭＰ４ファイルとして記録するデータ記録装置では、その送信された符号化データが消失する可能性が大きく、また、データが消失すれば、受信した符号化データのフレームレートが頻繁に変わることになるため、フレームの表示間隔を格納するSample-To-TimeStamp Atomのテーブルの増加が特に著しくなる、という問題がある。
【００４８】
さらに、上記データ符号化装置、あるいはデータ記録装置が、その物理的な大きさや消費電力、あるいは記録媒体の容量に、著しく制限をうける移動体端末に搭載されるとすれば、上述したSample-To-TimeStamp Atomのデータサイズの増大や、Sample-To-TimeStamp Atomのデータの完全復元が困難であること、さらにはデータを再生する際の処理量が大きいというような問題は、さまざまな問題を引き起こす可能性がある。
【００４９】
本発明は、以上の課題に鑑みてなされたものであり、可変フレームレートのＭＰＥＧ−４の符号化データをＭＰ４ファイルに変換して記録する際に、可変フレームレートを固定フレームレートに変換するデータ変換装置、データ符号化装置、及びデータ記録装置を提供することを目的とする。
【００５０】
【課題を解決するための手段】
本発明（請求項１）にかかるデータ変換装置は、符号化データを格納するデータテーブルと上記符号化データの異なるタイムスタンプ間隔を格納するタイムテーブルと上記符号化データのデータサイズを格納するサイズテーブルとを有するファイルに格納するためのデータを変換するデータ変換装置であって、可変フレームレートで入力された映像信号データの符号化データ及び該符号化データのデータサイズを一時格納する一時記憶手段と、上記一時記憶手段に格納された上記符号化データから、該符号化データの時間情報である入力タイムスタンプを読み取るタイムスタンプ読み取り手段と、上記符号化データの入力タイムスタンプと、外部より初期情報として入力されたタイムスタンプ間隔に基づき決定された固定フレームレートの出力タイムスタンプとを比較する判断手段と、データサイズが０であることを意味する符号化データを作成し、該データサイズが０であることを意味する符号化データに、上記入力タイムスタンプとして任意の値を付す挿入手段と、上記符号化データ、データサイズ、及びタイムスタンプに基づいて、上記データテーブル、タイムテーブル、及びサイズテーブルを作成するテーブル作成手段とを備え、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプ以下であると判断された場合には、上記一時記憶手段に格納されている上記符号化データと該符号化データのデータサイズが上記テーブル作成手段に出力されるとともに、上記判断手段が上記出力タイムスタンプを上記テーブル作成手段に出力し、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプよりも大きいと判断された場合には、上記挿入手段が、データサイズが０であることを意味する符号化データと、該符号化データのデータサイズ及びタイムスタンプとを出力し、上記テーブル作成手段は、上記一時記憶手段と上記挿入手段から出力された上記符号化データを連続して格納したデータテーブルを作成し、上記一時記憶手段と上記挿入手段から出力された上記データサイズを連続して格納したサイズテーブルを作成し、上記判断手段から出力された上記出力タイムスタンプと上記挿入手段から出力された上記タイムスタンプとに基づいてタイムスタンプ間隔を示すタイムテーブルを作成し、作成した上記データテーブル、サイズテーブル、及びタイムテーブルを出力する、ことを特徴とするものである。
【００６６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本発明は、入力されたデータを、ＭＰ４ファイルに記録する際に、固定フレームレートで記録するものであり、上記入力されるデータが、実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオ符号化データ、実施の形態２においては、符号化されていない映像データ、実施の形態３においては、伝送プロトコルＲＴＰにおいて受信したＲＴＰデータである、３種類の異なるデータの場合を例に挙げて説明する。
【００６７】
（実施の形態１）
以下、図１〜図７を用いて、本実施の形態１における、データ変換装置について説明する。
本実施の形態１のデータ変換装置は、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するものである。
【００６８】
まず、図１を用いて、本実施の形態１におけるデータ変換装置１００の構成について説明する。
図１は、本実施の形態１における、データ変換装置の構成を示す図である。
図において、データ変換装置１００は、符号化データ一時記憶手段１０１と、符号化データタイムスタンプ読み取り手段１０２と、タイムスタンプ変換手段１０３と、固定化ＦＰＳ手段１０４と、からなるものである。
【００６９】
符号化データ一時記憶手段１０１は、本データ変換装置１００に入力される符号化データを記憶するものであり、符号化データタイムスタンプ読み取り手段１０２は、上記符号化データ一時記憶手段１０１に記憶された符号化データから符号化データタイムスタンプを取得するものである。
【００７０】
ここで、符号化データからの符号化データタイムスタンプの取得は、最初の符号化データ、あるいは何フレームかおきに符号化データの前に付与されるＶＯＬヘッダから、符号化データタイムスタンプのスケール（vop-time-increment-resolution）を取得し、さらに、各符号化データのＶＯＰヘッダから、符号化データタイムスタンプの増加分（modulo-time-base,vop-time-increment）を取得して、適切な計算を行うことにより求めるものである。
【００７１】
また、タイムスタンプ変換手段１０３は、該符号化データタイムスタンプ読み取り手段１０２により読み取られた符号化データタイムスタンプを、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプに変換するものであり、ここでいう、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプとは、０から開始する形式で、ＭＰ４ファイルのSample-To-TimeStamp Atomに記録するタイムスタンプである。
また、固定ＦＰＳ化手段１０４は、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するものである。
【００７２】
ここで、図２及び図３を用いて、上記固定ＦＰＳ化手段１０４の構成について詳細に説明する。図２は、固定ＦＰＳ化手段の構成を示す図であり、図３は、非更新フレーム挿入手段（図3(a)）、サイズ０フレーム挿入手段（図3(b)）、符号化データタイムスタンプ連続化手段（図3(c)）の構成を示す図である。
【００７３】
図２及び図３において、上記固定ＦＰＳ化手段１０４は、非更新フレーム挿入手段２０１と、サイズ０フレーム挿入手段２０２と、符号化データタイムスタンプ連続化手段２０３とからなるものであり、可変フレームレートにおいて、従来では入力符号化データがスキップされていたタイムスタンプ、例えば、図１２に示される可変フレームレートの符号化データの、スキップされてデータがないＭＰ４タイムスタンプ１，３，５…、のところに、架空のフレームを挿入することによって、固定フレームレートの符号化データとするものである。
【００７４】
上記固定ＦＰＳ化手段１０４内の、非更新フレーム挿入手段２０１は、スイッチ３１４の切り替え信号を出力する処理手段３１１と、非更新フレームを生成する非更新フレーム生成手段３１２と、上記符号化データ一時記憶手段１０１に保持されていたデータを記憶する一時記憶手段３１３と、上記非更新フレーム生成手段３１２か、上記一時記憶手段３１３かを選択するスイッチ３１４とからなり、上述した架空のフレームとして、非更新を意味する特別なサンプルである非更新フレームを挿入するものである。ここで、非更新フレームとは、前フレームとの映像信号の差分情報を含まない符号化データであり、例えば、ＶＯＰヘッダ内のvop_codedを０にしたフレームのことである。そして、非更新フレームは、映像信号の差分情報を含まないもの（例えば、vop_coded＝０）であるので、そのデータ量は、数十バイトであり、通常の符号化フレームのデータ量と比べて少ないものである。また、上記非更新フレームにも、通常のフレームと同じく符号化データタイムスタンプのフィールドがあり、上記非更新フレーム挿入手段２０１では、このフィールドに任意の値がつけられるものとする。なお、この非更新フレームにおいて、形状符号化の有無、透明度チャンネルの有無により、vop_coded＝０が非更新を意味しない場合があるが、この場合は、全マクロブロックをMB_not_codedの状態にしたフレームを出力するものとする。
【００７５】
また、上記固定ＦＰＳ化手段１０４内の、サイズ０フレーム挿入手段２０２は、スイッチ３２４の切り替え信号を出力する処理手段３２１と、サイズ０のフレームを生成するサイズ０フレーム生成手段３２２と、上記符号化データ一時記憶手段１０１で保持されていた符号化データを記憶する一時記憶手段３２３と、上記サイズ０フレーム生成手段３２２か、上記一時記憶手段３２３かを選択するスイッチ３２４とからなり、上述した架空のフレームとして、サイズが０のサンプルであるサイズ０フレームを挿入するものである。ここで、サイズ０フレームとは、データサイズが０で、符号化データには意味のある値を持たないフレームのことをいう。
【００７６】
そして、上記固定ＦＰＳ化手段１０４内の、符号化データタイムスタンプ連続化手段２０３は、非更新フレーム挿入手段２０１、サイズ０フレーム挿入手段２０２から出力される符号化データの符号化データタイムスタンプを、上記非更新フレームあるいはサイズ０フレームのＭＰ４タイムスタンプより、符号化データの規格に従って正しい符号化データタイムスタンプに変換して、上書きする符号化データタイムスタンプ書き換え手段３３１と、上記各手段２０１，２０２から出力される符号化データと符号化データ量とを記憶する一時記憶手段３３２とからなるものである。
【００７７】
通常、記録媒体１２０に記録されたＭＰ４ファイルを復号する場合、ＭＰ４タイムスタンプのみを参照して復号されるため、そのフレームの符号化データタイムスタンプの値がどのような値であっても問題はないが、ＭＰ４ファイルから符号化データのみのファイル等を作成する場合には、符号化データがもつ符号化データタイムスタンプが正しくなければ、ファイルを作成することができないため、符号化データタイムスタンプを正しく付けなおさなければならない。上記符号化データタイムスタンプ連続化手段２０３は、上記ＭＰ４ファイルから上述したようなファイルを作成することを想定して、予め、フレームに付けられた符号化データタイムスタンプを、正しい符号化データタイムスタンプに付けなおす処理を行うものである。
【００７８】
なお、ＭＰ４ファイル符号化手段１１０、及び記録媒体１２０については、従来におけるデータ符号化装置において説明したものと同様の構成を有するものであるため、ここでは説明を省略する。
【００７９】
以下、図４〜図７を用いて、上述した構成を有する、本実施の形態１におけるデータ変換装置１００の一連の処理動作について説明する。なお、説明を簡略化するため、本実施の形態１においては、本装置に入力される符号化データが、Ｉ−ＶＯＰ、またはＰ−ＶＯＰのみであるとする。
図４は、本実施の形態１における、非更新フレーム挿入手段、あるいはサイズ０フレーム挿入手段の一連の動作を示すフローチャートである。
【００８０】
まず、本データ変換装置１００における処理が開始されると、符号化データ一時記憶手段１０１に、符号化データが保持される。そして、符号化データタイムスタンプ読み取り手段１０２より、上記符号化データ一時記憶手段１０１に記憶された符号化データより、符号化データタイムスタンプを取得する。この符号化データタイムスタンプの取得は、上述したように、最初の符号化データ、あるいは何フレームかおきに符号化データの前に付与されるＶＯＬヘッダから、符号化データタイムスタンプのスケール（vop-time-increment-resolution）を取得し、さらに、各符号化データのＶＯＰヘッダから、符号化データタイムスタンプの増加分（modulo-time-base,vop-time-increment）を取得して、適切な計算を行うことにより求める。
そして、タイムスタンプ変換手段１０３より、上記符号化データをＭＰ４タイムスタンプに変換し、固定ＦＰＳ化手段１０４に符号化データ一時記憶手段１０１に記憶された符号化データ、及びそのデータサイズと共に出力する。
【００８１】
上記符号化データ、データサイズ、ＭＰ４タイムスタンプを取得した固定ＦＰＳ化手段１０４は、図４に示すフローチャートに従って、その可変フレームレートの符号化データを、固定フレームレートの符号化データに変換していく。
まず、入力された符号化データ、符号化データ量、及び入力フレームのＭＰ４タイムスタンプＩＴＳは、固定ＦＰＳ化手段１０４内の、非更新フレーム挿入手段２０１か、サイズ０フレーム挿入手段２０２かのどちらかに入力される。
【００８２】
まず、上記非更新フレーム挿入手段２０１に、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力された場合について説明する。
本データ変換装置１００において処理が開始されると、上記非更新フレーム挿入手段２０１の処理手段３１１は、保持している出力フレームのＭＰ４タイムスタンプＯＴＳの値を初期化し、外部から初期条件として入力される、要求タイムスタンプ間隔ＤＴＳを取得する（ステップＳ４１）。そして、上記符号化データ一時記憶手段１０１から符号化データ、及び符号化データ量、そして、上記タイムスタンプ変換手段１０３からＭＰ４タイムスタンプが入力されると、上記符号化データ及びデータサイズは、一時記憶手段３１３に記憶され、上記ＭＰ４タイムスタンプは、入力フレームのＭＰ４タイムスタンプＩＴＳとして処理手段３１１に入力される（ステップＳ４２）。
そして、処理手段３１１において、ステップＳ４２で取得した入力フレームのＭＰ４タイムスタンプＩＴＳと、処理手段３１１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳとを比較する（ステップＳ４３）。
【００８３】
ステップＳ４３において、ＩＴＳ≦ＯＴＳである場合は、処理手段３１１から一時記憶手段３１３を選択するよう、切り替え信号が出力され、上記一時記憶手段３１３に記憶されている符号化データと、その符号化データのＭＰ４タイムスタンプＩＴＳを処理手段３３１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳに書き換えて出力する（ステップＳ４４）。そして、その後、処理手段３１１において保持されている出力フレームのＭＰ４タイムスタンプに、要求タイムスタンプ間隔ＤＴＳを加算し、次の出力フレームのＭＰ４タイムスタンプＯＴＳとする。
【００８４】
一方、ステップＳ４３において、ＩＴＳ≧ＯＴＳである場合は、処理手段３１１より非更新フレーム生成手段３１２を選択するよう、切り替え信号が出力され、上記非更新フレーム生成手段３１２において作成された非更新フレームと、処理手段３３１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳとを出力する。そして、その後、上述と同様、処理手段３１１において保持されている出力フレームのＭＰ４タイムスタンプに、要求タイムスタンプ間隔ＤＴＳを加算し、次の出力フレームのＭＰ４タイムスタンプＯＴＳとする。
【００８５】
以上の処理の後、上記非更新フレーム挿入手段２０１から出力された符号化データは、最終的に記録媒体１２０にＭＰ４ファイル記録されるのであるが、上記記録媒体１２０に記録された後に、そのＭＰ４ファイルから符号化データのみを取り出し符号化データ単独の独自ファイルを作成する等の上記ＭＰ４ファイルの利用方法をする場合は、ＭＰ４ファイルに記録された符号化データすべてが正しい符号化データタイムスタンプが必要であるため、符号化データタイムスタンプ連続化手段２０３を選択し、上記符号化データタイムスタンプ書き換え手段３３１において、入力される符号化データが有する符号化データタイムスタンプを、そのＭＰ４タイムスタンプを用いて正しい符号化データタイムスタンプに変換し、一時記憶手段３３２に記憶されている符号化データ内の符号化データタイムスタンプを保持するフィールドに、上記符号化データタイムスタンプ書き換え手段３３１より作成された正しい符号化データタイムスタンプを上書きする処理を行う。なお、上述したような符号化データタイムスタンプを正しい値にする処理が必要ない場合には、符号化データタイムスタンプ連続化手段２０３を選択することなく、非更新フレーム挿入手段２０１から出力される符号化データ、符号化データ量、及びＭＰ４タイムスタンプを出力すればよい。
【００８６】
そして、上記固定ＦＰＳ化手段１０４より出力された上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプは、上記ＭＰ４ファイル符号化手段１１０に出力され、該ＭＰ４ファイル符号化手段１１０において、従来と同様の処理を行うことにより、符号化データをＭＰ４ファイルに変換し、記録媒体１２０にＭＰ４ファイル記録する。
【００８７】
ここで、図５、及び図１２を用いて、非更新フレーム挿入手段２０１を経由することによって得られる、符号化データ、及びＭＰ４ファイルの構成について説明する。
図５は、非更新フレーム挿入手段を経由し、ＭＰ４ファイル記録した際の、符号化データ（図(a)）、及びＭＰ４ファイルのデータ構造（図(b)）を示す図である。
【００８８】
図５に示すように、上記データ変換装置１００により、固定フレームレートに変換された符号化データは、図１２に示す従来の可変フレームレートの場合と比べて、タイムスタンプの時間間隔が一定となるため、Sample-To-TimeStamp Atomの要素が一つになることがわかる。しかし、非更新フレームとして、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新のフレームを追加しているため、Movie data Atom と Sample Size Atom が大きくなる。
【００８９】
また、上述したように、Sample-To-TimeStamp Atom の要素が常に一つになることより、ＭＰタイムスタンプからフレーム番号の算出、あるいはフレーム番号からＭＰタイムスタンプの算出が簡単になる。
【００９０】
例えば、ＭＰ４タイムスタンプをＴ、フレーム番号をＮ、フレーム間隔ｄｕｒをｄとすれば、Ｔ＝ｄ＊Ｎの関係が成り立つので、ＭＰ４タイムスタンプからフレーム番号の算出は、Ｎ＝Ｔ／ｄであり、また、フレーム番号からＭＰ４タイムスタンプの算出導出は Ｔ＝ｄ＊Ｎであるため、一回の除算あるいは乗算のみで算出可能となる。
【００９１】
なお、上記固定ＦＰＳ化手段１０４において、上記各手段２０１，２０２から出力された符号化データ、データサイズＭＰ４タイムスタンプが、上記符号化データタイムスタンプ連続化手段２０３を経由してもしなくても、ＭＰ４ファイルのデータ構造に影響を与えず同じとなる。なぜなら、ＭＰ４ファイルのＭＰ４タイムスタンプは、符号化データとは無関係に決定されているものであるからであり、規格上問題はない。
【００９２】
次に、上記サイズ０フレーム挿入手段２０２に、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力された場合について説明する。
この場合も、上述した非更新フレーム挿入手段２０１と同様、図４のフローチャートに従って処理される。上記非更新フレーム挿入手段２０１と異なるところは、上記非更新フレーム挿入手段２０１においては、非更新フレームを挿入していたところに、サイズが０であるフレームを挿入するようにするものである。
【００９３】
ここで、図６、及び図１２を用いて、サイズ０フレーム挿入手段２０２を経由することによって得られる、符号化データ、及びＭＰ４ファイルの構成について説明する。
図６は、サイズ０フレーム挿入手段を経由し、ＭＰ４ファイル記録した際の、符号化データ（図(a)）、及びＭＰ４ファイルのデータ構造（図(b)）を示す図である。
【００９４】
図６に示すように、上記データ変換装置１００により、固定フレームレートに変換された符号化データは、図１２に示す従来の可変フレームレートの符号化データと比べて、Sample-To-TimeStamp Atom の要素が一つなっている。また、上記非更新フレーム挿入手段２０１とは異なり、サイズが０であるフレームを挿入して、符号化データは追加していないので、上記Movie Data Atom のテーブルサイズは、従来の可変フレームレートの符号化データと変らない。しかし、上記Sample Size Atom のテーブルサイズについては、上記非更新フレーム挿入手段２０１と同じく、サイズが０であることを示すものを追加することとなるので、図１２に示す、従来の可変フレームレートの場合よりは大きくなる。
【００９５】
また、上記非更新フレーム挿入手段２０１と同様、Sample-To-TimeStamp Atomの要素が常に一つになるため、ＭＰタイムスタンプからフレーム番号の算出、あるいはフレーム番号からＭＰタイムスタンプの算出が簡単になる。
なお、上記非更新フレーム挿入手段２０１の場合と同様、上記固定ＦＰＳ化手段１０４における上記符号化データタイムスタンプ連続化手段２０３の経由の有無は、ＭＰ４ファイルのデータ構造に影響を与えない。
【００９６】
上述の説明より明らかなように、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが、上記非更新フレームレート挿入手段２０１、あるいは上記サイズ０フレーム挿入手段２０２のどちらに入力されても、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するという同じ効果が得られる。しかし、サイズ０フレーム挿入手段２０２に入力された場合、サイズ０フレームが挿入されることになるので、復号化装置によっては復号できない可能性がある。従って、データの可搬性を重視する場合には、非更新フレームレート挿入手段２０１に入力するようにすればよい。
【００９７】
以上のように、本実施の形態１によれば、入力される可変フレームレートのＭＰＥＧ−４符号化データを、記録媒体１２０にＭＰ４ファイル記録する際に、上記可変フレームレートの符号化データを、上記固定ＦＰＳ化手段１０４を経由させることによって、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新フレーム、あるいはサイズ０フレームを挿入し、固定フレームレートの符号化データにデータ変換した後、ＭＰ４ファイル符号化手段１１０によりＭＰ４ファイル変換し、上記記録媒体１２０にＭＰ４ファイル記録するようにしたので、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ変換装置１００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【００９８】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態１におけるデータ変換装置１００を、その物理的な大きさや消費電力、あるいは記録媒体の容量が著しく制限を受ける移動体端末に搭載し、移動体端末内の記録媒体にＭＰ４ファイル記録するようにしたとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、上記移動体端末内の記録媒体の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【００９９】
なお、本実施の形態１の説明では、図４のステップＳ４３における、入力された符号化データを出力するか、非更新フレームあるいはサイズ０フレームを挿入するかを判定する判定条件を、ＩＴＳ≦ＯＴＳとしたが、通常、データ符号化装置に入力される符号化データに付与される入力タイムスタンプＩＴＳは、要求タイムスタンプ間隔ＤＴＳの倍数に正確に一致せず、前後にゆらぐ、つまり、ＩＴＳ＝ｎ＊ＯＴＳ±α（ｎ：整数）となる。ここで、αはゆらぎの成分を示すものである。
【０１００】
このゆらぎの発生原因は、ＮＴＳＣ方式のＴＶ信号のフレーム間隔が、１００１／３００００＝０．０３３３６６６６６…秒（２９．９７００２９…Ｈｚ）であり、これが割り切れない数であるため、符号化データを作成する際に、各機器の都合で丸め処理が行われるためである。そして、この丸め処理の方法（四捨五入、切り捨て、切り上げ）、及びそのフレーム間隔の桁数は、各機器に依存するものであり、ＭＰ４記録する際には、その情報を知ることはできない。
【０１０１】
以下、図７を用いて、上述した理由により、ゆらぎが発生した場合について説明する。図７は、入力フレームに付与されるタイムスタンプＩＴＳが若干前後にゆらぐ状態を示す図であり、図(a)は、判定条件がＩＴＳ≦ＯＴＳの場合であり、図(b)は、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２の場合である。なお、ここでは、要求タイムスタンプ間隔ＤＴＳ＝１００とする。
【０１０２】
図７（ａ）に示すように、判定条件がＩＴＳ≦ＯＴＳである場合、（ｎ−１）番目のフレームのように、ＩＴＳがＯＴＳより小さいほうにゆらげば、この（ｎ−１）番目のフレームは正しいＯＴＳ（＝８００）のフレームとして判断され、問題ないのであるが、ｎ番目のフレームのように、ＩＴＳがＯＴＳよりわずかでも大きいほうにゆらげば、このｎ番目のフレームは、正しいＯＴＳ（＝９００）のフレームとしてではなく、次のＯＴＳ(＝１０００)のフレームとして判断されてしまう。
【０１０３】
このような場合、図４のステップＳ４３の判定条件を、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２とすれば、図７（ｂ）に示すように、ｎ番目のフレームが、正しいＯＴＳ（＝９００）のフレームとして判断され、上述したような理由により発生するゆらぎを、データ変換して記録媒体１２０にＭＰ４記録する前に解消することができる。なお、ここでは、判定条件の一例して、ＯＴＳにＤＴＳ／２を加算したものと比較するようにしたが、ＤＴＳ／２以外の、一定の値を加算するようにしてもよい。
【０１０４】
（実施の形態２）
以下、図８を用いて、本実施の形態２における、データ符号化装置について説明する。
上記実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するデータ変換装置について説明したが、本実施の形態２においては、カメラ等から符号化されていない映像信号が入力され、該映像信号を固定フレームレートの符号化データに符号化した後、ＭＰ４ファイル記録するデータ符号化装置について説明する。
【０１０５】
まず、図８用いて、本実施の形態２における、データ符号化装置２００の構成について説明する。
図８は、本実施の形態２における、データ符号化装置の構成を示す図である。図８において、データ符号化装置２００は、図１１に示す従来のデータ符号化装置に、非更新フレーム作成手段８４を備えたものであり、上述した符号化判定手段８２は、取り込まれたフレームを、符号化するか否かを判定して、その判定結果に基づいて、符号化手段８３か、非更新フレーム作成手段８４かを選択するスイッチ選択信号を出力するものとする。なお、その他の構成は、従来のデータ符号化装置と同様であるため、ここでは説明を省略する。
【０１０６】
上記非更新フレーム作成手段８４は、上記実施の形態１で説明した非更新フレームを作成し、ＭＰ４タイムスタンプを挿入するものである。なお、非更新フレームの符号化データタイムスタンプは、実施の形態１と同様、この非更新フレーム作成手段８４においては、任意の値をつけるものとする。
【０１０７】
以下、本実施の形態２における、データ符号化装置２００の処理動作について説明する。
まず、データ符号化装置２００は、カメラから入力される映像を、映像取り込み手段８１にてフレームに変換し、該フレームを映像の取り込み開始時から、カメラのフレームレートで増加していくフレーム番号とともに、符号化判定手段８２に出力する。
【０１０８】
そして、符号化判定手段８２では、上記フレーム番号と、予め与えられているカメラのフレーム情報とから、入力されたフレームのＭＰ４タイムスタンプを計算し、該タイムスタンプと、これまでに符号化したデータ量の合計と、出力のビットレートとから、その入力されたフレームを符号化するか否かの判定を行う。ここまでは、従来と同様である。
【０１０９】
上記符号化判定手段８２において、その入力されたフレームを符号化すると判定された場合、該符号化判定手段８２は、符号化手段８３を選択するスイッチ選択信号を出力し、カメラより入力されたフレームと、該フレームのタイムスタンプとを、符号化手段８３へ出力する。
そして、符号化手段８３において、上記フレームの符号化処理が行われた後、符号化データ、符号化データ量、及びＭＰ４タイムスタンプが、ＭＰ４ファイル符号化手段１１０に出力される。
【０１１０】
一方、上記符号化判定手段８２において、そのフレームを符号化しないと判定された場合、該符号化判定手段８２は、非更新フレーム作成手段８４を選択するスイッチ選択信号を出力し、非更新フレーム作成手段８４において、非更新フレームを作成し、その非更新フレームのＭＰ４タイムスタンプを挿入して、上記非更新フレーム、非更新フレームのサイズ、及びＭＰ４タイムスタンプが、上記ＭＰ４ファイル符号化手段１１０に出力される。なお、上記非更新フレームは、実施の形態１で説明したものと同様である。
【０１１１】
この後、上記ＭＰ４ファイル符号化手段１１０において、上記符号化手段８３、あるいは非更新フレーム作成手段８４から出力される、符号化データ、あるいは非更新フレームがＭＰ４ファイルに変換され、記録媒体１２０にＭＰ４ファイル記録される（図５参照）。
【０１１２】
また、以上の説明においては、上記符号化判定手段８２の判定に応じて、従来ではデータがスキップしていたＭＰ４タイムスタンプのところに、非更新フレーム作成手段８４によって、非更新フレームを挿入するようにしたが、上記非更新フレーム作成手段８４のかわりに、サイズが０であるサイズ０フレーム作成し、ＭＰ４タイムスタンプを挿入するサイズ０フレーム作成手段を備えるようにしてもよい（図示せず）。この場合、符号化判定手段８２の判定に応じて、従来ではデータがスキップしていたＭＰ４タイムスタンプのところに、サイズ０フレームを挿入されることとなり、上記非更新フレームレート作成手段８４の場合と同様の効果が得られる（図６参照）。ただし、上記サイズ０フレーム作成手段により、サイズ０フレームを挿入した符号化データをＭＰ４ファイルに変換して、記録媒体１２０に記録した場合、上記非更新フレーム作成手段８４により得られるＭＰ４ファイルのサイズより小さくなるという長所があるが、該ＭＰ４ファイルを復号する際に、復号化装置によっては復号できない可能性がある。従って、データの可搬性を重視する場合には、上述した非更新フレーム作成手段８４を備えるようにする。
【０１１３】
なお、上記記録媒体１２０に記録された上記ＭＰ４ファイルから、符号化データのみのファイル等を作成する場合は、符号化データの符号化データタイムスタンプが正しくなければファイルを作成することができないので、ＭＰ４ファイルから、このようなファイル等の作成が想定される際には、上記符号化手段８３あるいは非更新フレーム作成手段８４（または、サイズ０フレーム作成手段）と、ＭＰ４ファイル符号化手段１１０との間に、上記実施の形態１で説明した、上記符合化データタイムスタンプ連続化手段２０３をさらに備えるようにし、上記符号化手段８３あるいは非更新フレーム作成手段８４から出力される符号化データの符号化タイムスタンプを、ＭＰ４タイムスタンプを用いて正しい符号化データタイムスタンプに変換して上書きする処理を行うようにするとよい。
【０１１４】
以上のように、本実施の形態２によれば、カメラから入力される映像信号を符号化する際に、符号化判定手段８２の判定により、符号化すると判定された場合には、入力された映像信号を符号化手段８３において符号化し、符号化しないと判定されて、従来ではスキップされていたところには、非更新フレーム作成手段８４、あるいはサイズ０フレーム作成手段（図示せず）により非更新フレームあるいは、サイズ０フレームを作成して挿入するようにしたので、該データをＭＰ４ファイル符号化手段１１０によりＭＰ４ファイルに変換して、記録媒体１２０にＭＰ４ファイル記録する際、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ符号化装置２００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【０１１５】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態２におけるデータ符号化装置２００を、その物理的な大きさや消費電力、記録媒体の容量が著しく制限を受ける移動体端末に搭載したとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、記録媒体１２０の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【０１１６】
（実施の形態３）
以下、図９を用いて、本実施の形態３における、データ記録装置について説明する。
上記実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するデータ変換装置について説明したが、本実施の形態３においては、送信局から、ＲＴＰ（リアルタイム・トランスポート・プロトコル）を用いて送信されるＭＰＥＧ−４データを受信して復号して、記録媒体にＭＰ４ファイル記録する、データ記録装置について説明する。
【０１１７】
まず、図９を用いて、本実施の形態３におけるデータ記録装置３００の構成について説明する。
図９は、本実施の形態３における、データ記録装置３００の構成を示す図である。
図９において、データ記録装置３００は、図１７に示す従来のデータ記録装置に、ＲＴＰタイムスタンプ変換手段９４と、固定ＦＰＳ化手段１０４とを備えるものであり、ＲＴＰタイムスタンプ変換手段９４は、上記ＲＴＰ復号化手段８３において取得されたＲＴＰパケットのタイムスタンプであるＲＴＰタイムスタンプを、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプに変換するものである。ここでいう、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプとは、０から開始する形式で、ＭＰ４ファイルのSample-To-TimeStamp Atomに記録するタイムスタンプである。
【０１１８】
上記ＲＴＰタイムスタンプ変換手段９４における、ＲＴＰタイムスタンプからＭＰ４タイムスタンプへの変換は、従来のデータ記録装置で説明したように、ＲＴＰタイムスタンプは、ランダムなオフセットが加えられているため、このオフセットを全ＲＴＰパケットのＲＴＰタイムスタンプから減算し、先頭の符号化データのタイムスタンプが０から開始するようにし、さらに、上記ＲＴＰタイムスタンプのスケールを本発明共通のＭＰ４タイムスタンプのスケールになるように、乗除算をすることにより行うものである。
【０１１９】
なお、上記固定ＦＰＳ化手段１０４は、上記実施の形態１において、図２及び図３を用いて説明したものと同様の構成を有するものであり、また、本データ記録装置のその他の構成は、従来のデータ記録装置と同様の構成を有するものであるため、ここでは説明を省略する。
【０１２０】
以下、上述した構成を有する、本実施の形態３におけるデータ記録装置３００の一連の処理動作について説明する。なお、本実施の形態３においては、データ記録装置３００が移動端末であるものとして説明するが、このデータ記録装置３００は、移動端末にかぎらず、送信局よりＲＴＰを用いてデータを受信して、ＭＰ４記録するものであればよい。
【０１２１】
まず、基地局のＲＴＰ送信手段９０から、ＭＰＥＧ−４の符号化データをビデオパケット単位に分割し、その各ビデオパケットが格納されたＲＴＰパケットを、データ記録装置のＲＴＰ受信手段９１が受信する。
そして、上記ＲＴＰ受信手段９１において受信したＲＴＰパケットは、適当な数分がＲＴＰ受信バッファ９２に一時的に格納される。
【０１２２】
この上記ＲＴＰ受信バッファ９２では、上記ＲＴＰパケットが、伝送中に順番がいれかわる現象を並び替えにより解消したり、１フレーム分の符号化データが複数のＲＴＰパケットに分割されて伝送される場合に、１フレーム分以上のパケットが蓄積されるまで保持したりする。
そして、上記ＲＴＰ受信バッファ９２から取り出されたＲＴＰパケットは、ＲＴＰ復号手段９３においてＭＰＥＧ−４データに復号され、その符号化データ及び符号化データ量は、固定ＦＰＳ化手段１０４に出力されると共に、ＲＴＰパケットよりＲＴＰタイムスタンプが取得され、該取得されたＲＴＰタイムスタンプは、ＲＴＰタイムスタンプ変換手段９４に出力される。
【０１２３】
上記ＲＴＰタイムスタンプ変換手段９４に出力されたＲＴＰタイムスタンプは、上述したようにしてＭＰ４タイムスタンプに変換され、固定ＦＰＳ化手段１０４に出力される。
この後の、固定ＦＰＳ化手段１０４における処理、及びＭＰ４ファイル符号化手段１１０における処理は、上記実施の形態１で説明したのと同様であるため、ここでは説明を省略する。
【０１２４】
以上のように、本実施の形態３によれば、ＲＴＰ送信手段９０から、ＲＴＰ（リアルタイム・トランスポート・プロトコル）を用いて送信される、ＲＴＰパケットに格納されたＭＰＥＧ−４データをＲＴＰ受信手段９１において受信し、該ＲＴＰパケットをＲＴＰ復号化手段９３において、ＭＰＥＧ−４データに復号すると共に、ＲＴＰタイムスタンプを取得し、ＲＴＰタイムスタンプ変換手段９４において、ＲＴＰタイムスタンプをＭＰ４タイムスタンプに変換し、上記固定ＦＰＳ化手段１０４は、上記ＲＴＰ復号化手段９３から符号化データ及び符号化データ量を、そして上記ＲＴＰタイムスタンプ変換手段９４からＭＰ４タイムスタンプを取得し、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新フレーム、あるいはサイズ０フレームを挿入して、固定フレームレートの符号化データにデータ変換した後、ＭＰ４ファイル符号化手段１１０によりＭＰ４ファイル変換し、上記記録媒体１２０にＭＰ４ファイル記録するようにしたので、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ記録装置３００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【０１２５】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態３におけるデータ記録装置３００を、その物理的な大きさや消費電力、記録媒体の容量が著しく制限を受ける移動体端末に搭載したとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、記録媒体１２０の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【０１２６】
なお、本実施の形態３において、上記送信局より伝送されたＲＴＰパケットを復号した符号化データを出力するか、非更新フレームあるいはサイズ０フレームを挿入するかを判定する判定条件を、ＩＴＳ≦ＯＴＳとしたが、上記実施の形態１と同様、ＲＴＰパケットに付与される入力タイムスタンプＩＴＳは、上述した理由により、通常、要求タイムスタンプ間隔ＤＴＳの倍数に正確に一致せず、前後にゆらぐ。このような場合、上記判定条件を、上記実施の形態１で説明したように、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２とすれば、上述の理由により発生するゆらぎを、記録媒体１２０にＭＰ４記録する前に解消することができる。なお、ここでは、判定条件の一例して、ＯＴＳにＤＴＳ／２を加算したものと比較するようにしたが、ＤＴＳ／２以外の、一定の値を加算するようにしてもよい。
【０１２７】
【発明の効果】
以上のことにより、本発明の請求項１に記載のデータ変換装置によれば、符号化データを格納するデータテーブルと上記符号化データの異なるタイムスタンプ間隔を格納するタイムテーブルと上記符号化データのデータサイズを格納するサイズテーブルとを有するファイルに格納するためのデータを変換するデータ変換装置であって、可変フレームレートで入力された映像信号データの符号化データ及び該符号化データのデータサイズを一時格納する一時記憶手段と、上記一時記憶手段に格納された上記符号化データから、該符号化データの時間情報である入力タイムスタンプを読み取るタイムスタンプ読み取り手段と、上記符号化データの入力タイムスタンプと、外部より初期情報として入力されたタイムスタンプ間隔に基づき決定された固定フレームレートの出力タイムスタンプとを比較する判断手段と、データサイズが０であることを意味する符号化データを作成し、該データサイズが０であることを意味する符号化データに、上記入力タイムスタンプとして任意の値を付す挿入手段と、上記符号化データ、データサイズ、及びタイムスタンプに基づいて、上記データテーブル、タイムテーブル、及びサイズテーブルを作成するテーブル作成手段とを備え、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプ以下であると判断された場合には、上記一時記憶手段に格納されている上記符号化データと該符号化データのデータサイズが上記テーブル作成手段に出力されるとともに、上記判断手段が上記出力タイムスタンプを上記テーブル作成手段に出力し、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプよりも大きいと判断された場合には、上記挿入手段が、データサイズが０であることを意味する符号化データと、該符号化データのデータサイズ及びタイムスタンプとを出力し、上記テーブル作成手段は、上記一時記憶手段と上記挿入手段から出力された上記符号化データを連続して格納したデータテーブルを作成し、上記一時記憶手段と上記挿入手段から出力された上記データサイズを連続して格納したサイズテーブルを作成し、上記判断手段から出力された上記出力タイムスタンプと上記挿入手段から出力された上記タイムスタンプとに基づいてタイムスタンプ間隔を示すタイムテーブルを作成し、作成した上記データテーブル、サイズテーブル、及びタイムテーブルを出力するようにしたので、可変フレームレートで入力された符号化データを固定フレームレートの符号化データに変換することができ、その結果、符号化データを標準のファイルフォーマットで記録する場合に、符号化データのシーク処理が簡単になる等、符号化データの利便性向上という効果が期待できる。また、上記符号化データを標準のファイルフォーマットで記録媒体等に記録する場合に、その記録に要する容量を小さくすることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における、データ変換装置の構成を示す図である。
【図２】 本発明の実施の形態１におけるデータ変換装置の、固定ＦＰＳ化手段の構成を示す図である。
【図３】 本発明の実施の形態１におけるデータ変換装置の、固定ＦＰＳ化手段内の、非更新フレーム手段、サイズ０フレーム挿入手段、及び符号化データタイムスタンプ連続化手段の構成を示す図である。
【図４】 本発明の実施の形態１における、データ変換装置の固定ＦＰＳ化手段の処理動作の一連の流れを示すフローチャート図である。
【図５】本発明の実施の形態１のデータ変換装置において、非更新フレーム挿入手段により作成された、符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図６】本発明の実施の形態１のデータ変換装置において、サイズ０フレーム挿入手段により作成された、符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図７】本発明の実施の形態１における、入力フレームのＭＰ４タイムスタンプＩＴＳがゆらぐ状態を示す図である。
【図８】本発明の実施の形態２における、データ符号化装置の構成を示す図である。
【図９】本発明の実施の形態３における、データ記録装置の構成を示す図である。
【図１０】 従来の可変フレームレートの符号化データのフレーム間隔を示す図である。
【図１１】 従来のデータ符号化装置の構成を示す図である。
【図１２】 従来のＭＰ４ファイル符号化手段により作成された、可変フレームレートの符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図１３】 従来のＭＰ４ファイル符号化手段の構成を示す図である。
【図１４】従来のＭＰ４ファイル符号化手段の処理動作の一連の流れを示すフローチャート図である。
【図１５】固定フレームレートの符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図１６】従来における、Sample-To-TimeStamp Atomを用いて、与えられたＭＰ４タイムスタンプに対応するサンプルを探し出す処理の一連の流れを示すフローチャート図である。
【図１７】従来のデータ記録装置の構成を示す図である。
【符号の説明】
４２ ＭＰ４タイムスタンプ読み取り手段
４３ ｍｄａｔ ａｔｏｍ作成手段
４４ ｓｔｓｚ ａｔｏｍ作成手段
４５ ｓｔｔｓ ａｔｏｍ作成手段
４６ ｍｄａｔ ａｔｏｍ一時記憶手段
４７ ｓｔｓｚ ａｔｏｍ一時記憶手段
４８ ｓｔｔｓ ａｔｏｍ一時記憶手段
４９ 一時データ連結手段
８１ 映像取り込み手段
８２ 符号化判定手段
８３ 符号化手段
８４ 非更新フレーム作成手段
９０ ＲＴＰ送信手段
９１ ＲＴＰ受信手段
９２ ＲＴＰ受信バッファ
９３ ＲＴＰ復号化手段
９４ ＲＴＰタイムスタンプ変換手段
１００ データ変換装置
４１，１０１ 符号化データ一時記憶手段
１０２ 符号化データタイムスタンプ読み取り手段
１０３ タイムスタンプ変換手段
１０４ 固定ＦＰＳ化手段
８５，９５，１１０ ＭＰ４ファイル符号化手段
８６，９６，１２０ 記録媒体
２００ データ符号化装置
２０１ 非更新フレーム挿入手段
２０２ サイズ０フレーム挿入手段
２０３ 符号化データタイムスタンプ連続化手段
３００ データ記録装置
３１１，３２１ 処理手段
３１２ 非更新フレーム生成手段
３１３，３２３，３３２ 一時記憶手段
３１４，３２４ スイッチ
３３１ 符号化データタイムスタンプ書き換え手段
【発明の属する技術分野】
本発明は、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するデータ変換装置、データ符号化装置、及びデータ記録装置に関する。
【０００２】
【従来の技術】
近年、インターネットや移動体端末などの低帯域環境下で映像を配信する環境が普及しつつある。そして、これら低帯域環境下での映像の圧縮符号化方式としては、ＩＴＵ−Ｔで標準化されるＨ．２６３や、ＩＳＯ／ＩＥＣで標準化されるＭＰＥＧ−４などが用いられる。
【０００３】
上記ＭＰＥＧ−４は、ＤＶＤに採用され広く普及しているＭＰＥＧ−２と異なり、可変フレームレートの符号化が可能である。ここで、可変フレームレートの符号化とは、任意のフレームの表示時間間隔を設定できる符号化のことであり、映像信号の圧縮における映像信号の複雑さや、映像信号の性質（動きの有無等）などに応じて、最適な符号化を行う際に一般的に用いられているものである。
【０００４】
図１０は、可変フレームレートの符号化データの例である。図では、３０Ｈｚの映像信号を、前半はフレームを１枚毎にスキップさせて１５Ｈｚで符号化し、後半は２枚毎にスキップさせて１０Ｈｚで符号化している。
【０００５】
以下、図１１〜図１６を用いて、図１０に示すような可変フレームレートでの符号化処理について説明する。
まず、図１１を用いて、従来のデータ符号化装置の構成について説明する。
図１１は、従来における、データ符号化装置の構成を示す図である。
【０００６】
図１１において、従来のデータ符号化装置は、カメラから入力される映像をとりこむ映像取り込み手段８１と、取りこまれた映像のフレーム信号を符号化するか否かを判定する符号化判定手段８２と、その取りこまれたデータを符号化処理する符号化手段８３と、該符号化手段８３により符号化された符号化データを、ＭＰＥＧ−４標準のファイルフォーマット規格（以下、「ＭＰ４」と称す。）に変換するＭＰ４ファイル符号化手段８５と、ＭＰ４ファイルを記録する記録媒体８６とを備えるものである。
【０００７】
以下、上述した構成を有する、従来のデータ符号化装置の一連の処理動作について説明する。
まず、データ符号化装置は、カメラから入力される映像を、映像取り込み手段８１にて映像フレーム信号（以下、「フレーム」と呼ぶ。）に変換し、該フレームを映像の取り込み開始時から、カメラのフレームレート（例えば、３０Ｈｚ）で増加していくフレーム番号とともに、符号化判定手段８２に出力する。
【０００８】
そして、符号化判定手段８２では、上記フレーム番号と、予め与えられているカメラのフレーム情報とから、入力されたフレームのタイムスタンプを計算し、該タイムスタンプと、これまでに符号化したデータ量の合計と、出力のビットレートとから、その入力されたフレームを符号化するか否かの判定を行う。
【０００９】
なお、この入力されたフレームを符号化するか否かの判定の条件は、ビットレートの可変／固定、規定に定められているバッファモデルの遵守／無視、フレームの画質重視／フレームレート重視などの、データ符号化装置の様々な条件、利用目的に依存するものであり、ここでは具体的な判定条件については示さないとする。
【００１０】
そして、上記符号化判定手段８２において、その入力されたフレームを符号化すると判定された場合は、入力されたフレームと、該フレームのタイムスタンプとを、符号化手段８３へ出力し、符号化処理を行う。ここで、フレームのタイムスタンプは、スケールの変換やオフセットの処理を行って、ＭＰ４ファイルに記録するＭＰ４タイムスタンプに変換される。
【００１１】
一方、上記符号化判定手段８２において、そのフレームを符号化しないと判定された場合は、フレーム、及びそのタイムスタンプ等を符号化手段８３には出力せずに破棄し、次のフレームが上記映像取り込み手段８１から入力されるのを待つ。
【００１２】
一般的に、上記符号化手段８３におけるデータの符号化処理は、時間がかかるものであり、さらに、入力されたフレームの映像の性質によっては、上記映像取り込み手段８１により、その次に取りこまれるフレームが上記符号化判定手段８２へ出力されるまでに、符号化処理を終了できない場合がある。このような場合に、次に取りこまれたフレームを、符号化判定手段８２において破棄するようにし、該破棄されたフレームは符号化手段８３には出力されないので、符号化データにおいては、スキップされることになる。
【００１３】
そして、上記符号化手段８３において符号化された符号化データ、及びその符号化データ量は、ＭＰ４ファイル符号化手段８５に出力される。また、上記符号化データ量は、上記符号化判定手段８２にも出力される。この上記符号化判定手段８２に出力される符号化データ量は、上述した、入力されたフレームを符号化するか否かの判定条件のうち、ビットレート固定の条件や、バッファモデル遵守の条件に利用される。
【００１４】
そして、ＭＰ４ファイル符号化手段８５において、上記符号化データ、及び符号化データ量は、ＭＰ４ファイルに変換され、記録媒体８６に記録される。
【００１５】
ここで、図１２を用いて、ＭＰ４ファイルの構成について説明する。
図１２は、可変フレームレートの符号化データ例（図(a)）、及びその符号化データのＭＰ４ファイルの構成を示す図(図(b))である。
ＭＰ４ファイルは、符号化データのサイズを格納するSample Size Atom、表示間隔を格納するSample-To-TimeStamp Atom、符号化データを格納するMovie data Atom等、入力される各フレームの情報をテーブル化したAtomから構成される。
【００１６】
まず、Sample-To-TimeStamp Atom には、フレームレート一定の区間毎に、符号化データの先頭から順次、フレームの枚数ｎｕｍとフレームの間隔ｄｕｒの組を記述し、該フレーム枚数とフレーム間隔とからなるテーブルの前に区間数を記述する構造になっている。また、Sample Size Atomは、フレームの番号順に各フレームのサイズを記述し、該フレームサイズのテーブルの前にフレームの総数である要素数を記述する構造になっている。そして、Movie data Atomには、各サンプルのデータを連続して格納していく。
【００１７】
例えば、上記映像取り込み手段８１から取りこまれたフレームが、上記符号化手段８３において、図１２（ａ）に示すような、３つの異なるフレームレートを有する可変フレームレートの符号化データに符号化された場合、ＭＰ４ファイル符号手段８５において、図１２（ｂ）に示すように、Sample Size Atomには、要素数９と、フレームの番号順に１番目のサンプルから９番目のサンプルまでの各フレームの符号化データのサイズとが記述され、Movie data Atomには、１番目のサンプルから９番目のサンプルまでのサンプルのデータが連続して格納され、Sample-To-TimeStamp Atomには、上記符号化データが、最初の３フレームの間隔が２、次の２フレームの間隔が３、次の４フレームの間隔が１であることより、要素数３と、区間１としてフレーム数num＝３，フレーム間隔dur＝２、区間２としてnum＝２，dur＝３、区間３としてnum＝４，dur＝１とが記述される。なお、ここでは、説明を簡単にするために、１サンプル＝１フレームとしているが、音声データのように、例えば、１０２４サンプル＝１フレームとした場合でも、各Atomへのデータの格納方法は同様である。
【００１８】
次に、符号化データを、以上のようなＭＰ４ファイルに変換するＭＰ４ファイル符号化手段８５について、図１３及び図１４を用いて説明する。図１３は、従来における、ＭＰ４ファイル符号化手段の構成の一例を示す図であり、図１４は、従来におけるＭＰ４ファイル符号化手段の一連の処理動作を示すフローチャート図である。
【００１９】
まず、図１３を用いて、ＭＰ４ファイル符号化手段８５の構成について説明する。
ＭＰ４ファイル符号化手段８５には、符号化データと符号化データ量、及び、その符号化データに関してＭＰ４ファイル記録する際のＭＰ４タイムスタンプが入力されるものであり、該入力された符号化データとその符号化データ量を一時的に記憶する符号化データ一時記憶手段４１と、該符号化データ一時記憶手段４１から入力される符号化データを用いて、ＭＰ４ファイル内の符号化データを記録するデータ領域であるMovie Data Atomを、mdat atom一時記憶手段４６上に一時的に生成するmdat atom作成手段４３と、上記符号化データ一時記憶手段４１から入力される符号化データ量を用いて、ＭＰ４ファイル内の符号化データ量を記録するデータ領域であるSample Size Atomを、stsz atom一時記憶手段４７上に生成するstsz atom作成手段４４と、外部より入力されたＭＰ４タイムスタンプを用いて、ＭＰ４ファイル内のフレームの時間間隔を記録するデータ領域であるSample-To-TimeStamp Atomを、stts atom一時記憶手段４８上に作成するstts atom生成手段４５と、上述した各生成手段４３〜４５により、各一時記憶手段４６〜４８上に個別に生成された各Atomを、記録したい符号化データの入力が全て終了した後に連結する一時データ連結手段４９と、を備えるものである。なお、ＭＰ４ファイル符号化手段８５に外部よりＭＰ４タイムスタンプが入力されない場合は、符号化データ一時記憶手段４１に記憶されている符号化データから、符号化データのタイムスタンプを読み取り、スケールの変換やオフセットの処理を行って、ＭＰ４ファイルに記録するＭＰ４タイムスタンプに変換するＭＰ４タイムスタンプ読み取り手段４２を備えるようにする。
【００２０】
ここで、上記mdat atom作成手段４３による、Movie Data Atomの作成方法については、目的に応じていろいろあるが、本発明を説明する上では関わりがないため、ここでは詳細な説明は行わないものとする。また、上記stsz atom作成手段４４による、Sample Size Atomの作成方法については、先頭から符号化データ量を並べるものである。さらに、上記stts atom生成手段４５によるSample-To-Time Stamp Atomの作成方法については、後述する。
【００２１】
そして、記録したい符号化データの入力が全て終了した後、ＭＰ４ファイル符号化手段８５に、ストリーム終了信号が入力され、このストリーム終了信号が入力されると、各atom作成手段４３〜４５は、テーブルの要素数の書き込みなど、各Atomを完成させる処理を行う。そしてその後、一時データ連結手段４９により、各Atomを適切な位置に再配置し、記録媒体８６に作成したＭＰ４ファイルを出力するものである。
【００２２】
以下、図１４のフローチャートに従って、ＭＰ４ファイル符号化手段８５のstts atom生成手段４５による、Sample-To-Time Stamp Atomの作成方法について説明する。
まず、本データ符号化装置において、データ処理が開始されると、ＭＰ４ファイル符号化手段８５において、初期化が行われる（ステップＳ１）。ここで、ｉｎはＭＰ４符号化手段８５に入力されたフレームの総数を示し、indexはSample-To-TimeStamp atomにおける、ある時点での区間番号を示し、ｎは本データ符号化装置へ入力されたフレームのうち、Sample-To-TimeStamp Atomに記述されていないという意味での、未処理のフレーム数を示し、Ｔｐは直前の符号化データのＭＰ４タイムスタンプを示している。
【００２３】
そして、ＭＰ４ファイル符号化手段８５に、符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力されると、ＭＰ４タイムスタンプをＴｓに設定し、入力フレーム数ｉｎを１増加させ、未処理フレーム数ｎを１増加させる（ステップＳ２）。
【００２４】
そして次に、入力フレーム数ｉｎ≧３であるか否かを判断し、ｉｎ≦２ならば、ステップＳ６へ進み、ｉｎ≧３であれば、ステップＳ４に進む。この分岐は、上記Sample-To-TimeStamp Atomが、フレームの時間間隔を記述するものであるため、最低２枚のフレームが必要であり、また、Sample-To-TimeStamp Atomは、同じフレーム間隔のフレームの枚数を記述するものであるため、最低３枚のフレームが無いと１つめの要素の書き出し処理は行えないことによるものである。
【００２５】
そして、ｉｎ≦２である場合、フレーム間隔ｄを計算し、今入力されたフレームのＭＰ４タイムスタンプＴｓを一つ前のフレームのＭＰ４タイムスタンプＴｐとして記録する（ステップＳ６）。そして、以上のようなステップＳ２〜Ｓ６の処理を、stts atom生成手段４５に、符号化データ入力の終了を意味するストリーム終了信号が入力されるまで繰り返す（ステップＳ７）。
【００２６】
以上のような繰り返しの中で、ステップＳ３において、ｉｎ≧３である場合には、今のフレームと前のフレームとのフレーム間隔ｄ（＝Ｔｓ−Ｔｐ）が、これまでに計算したフレーム間隔ｄと一致するかを判定し（ステップＳ４）、その判定において、フレーム間隔ｄが一致しなかった場合は、Sample-To-TimeStamp Atomの定義に基づき、Sample-To-TimeStamp Atomのテーブルの要素を追加する（ステップＳ５）。つまり、Sample-To-TimeStamp Atomに、フレーム枚数num＝ｎ−２、及びフレーム間隔dur＝ｄを追加し、さらに、Sample-To-TimeStamp Atomへの要素の追加後には、区間番号indexを一つ増加させ、未処理フレーム枚数ｎ＝２とする。この２枚は、新しいフレーム間隔ｄ（＝Ｔｓ−Ｔｐ）となった区間の１枚目（１つ前のＭＰ４タイムスタンプＴｐ）のフレームと、２枚目（現在のＭＰ４タイムスタンプＴｓ）のフレームである。
【００２７】
そして、stts atom生成手段４５にストリーム終了信号が入力されると（ステップＳ７）、stts atom生成手段４５は、テーブルの要素数の書き込みなど、Sample-To-TimeStamp Atomを完成させる処理を行っていく。
つまり、ステップＳ５において説明した通り、ステップＳ７の時点では、２枚分のフレームに関するフレーム間隔情報が、stts atom生成手段４５の内部に一時的に保持されたままで、Sample-To-TimeStamp Atomのテーブルの要素に追加されていない。したがって、上記ストリーム終了信号が入力されたならば、その２枚分に対する処理を行う必要がある。なお、通常はありえないが、入力フレーム枚数ｉｎが２よりも少ない場合は、通常と異なる動作をしなければならない。
【００２８】
まず、通常ありえない状態である、上記ストリーム終了信号が入力されたときに、入力フレーム数ｉｎ＝０あるいは１である場合について説明する。
入力フレーム数ｉｎ＝０、つまりフレームが一枚も入力されなかった場合は、ステップＳ９へと進む。この場合は、当然、Sample-To-TimeStamp Atomに、何も要素を追加する必要がない。そして、区間番号ｉｎｄｅｘ＝０とし（ステップＳ９）、その値をSample-To-TimeStamp Atomの要素数として０を書きこむ（ステップＳ１２）。
【００２９】
また、入力フレーム数ｉｎ＝１であるとき、フレーム数num＝１、フレーム間隔dur＝du（du；任意の数）の要素を追加し、さらに、区間番号ｉｎｄｅｘ＝１とした後（ステップＳ９）、その値をSample-To-TimeStamp Atomの要素数として１を書きこむ（ステップＳ１２）。なお、フレーム間隔durは、２枚のフレームが無ければ定義されないので、ここでフレーム間隔durとして追加されるフレーム間隔duは、意味のある値ではなく、任意に決定して構わない。
【００３０】
そして、入力フレーム数ｉｎ≧２である時、これは通常の状態であるが、この場合は、ｎ枚のフレームが未処理のまま残っているので、Sample-To-TimeStamp Atomにこれを追加する。つまり、フレーム枚数num＝ｎ、フレーム間隔dur＝ｄの要素を追加し、さらに、区間番号ｉｎｄｅｘも１増加させた後（ステップＳ１１）、Sample-To-TimeStamp Atomの要素数として、その１増加させたｉｎｄｅｘの値を書きこむ（ステップＳ１２）。これで、Sample-To-TimeStamp Atomのテーブル作成処理は終了である。
【００３１】
次に、図１７を用いて、ＲＴＰ（リアルタイム・トランスポート・プロトコル）により、ＭＰＥＧ−４のデータが、基地局からデータ記録装置に送信される場合の処理について説明する。
図１７は、従来における移動体端末であるデータ記録装置の構成を示す図であり、送信手段からのＭＰＥＧ−４データは、ＲＴＰを用いて伝送される。
【００３２】
以下、従来におけるデータ記録装置について説明する。
データ記録装置は、ＲＴＰ受信装置９１、ＲＴＰ受信バッファ９２、ＲＴＰ復号手段９３、ＭＰ４ファイル符号化手段９５、記録媒体９６とからなるものであり、まず、ＲＴＰ受信手段９１は、基地局であるＲＴＰ送信手段９０から、ビデオパケット単位に分割され、ＲＴＰパケットに格納されたＭＰＥＧ−４の符号化データを受信すると、該ＲＴＰパケットを受信バッファ９２に格納する。
【００３３】
ここで、上記ビデオパケットとは、フレームをさらに分割したデータの単位であり、あるビデオパケットが消失したり、あるビデオパケットにエラーが混入したりしても、その他のビデオパケットは正しく復号化できるものである。また、上記ＲＴＰパケットには、ＲＴＰタイムスタンプが付けられており、そのＲＴＰパケットに格納されている符号化データが有する符号化データタイムスタンプに、ランダムなオフセットを加えた値がセットされている。通常、１フレームの符号化データを複数のＲＴＰパケットに分割した場合、これらの分割された複数のＲＴＰパケットのＲＴＰタイムスタンプには同じ値が付けられる。また、上記ＲＴＰパケットには、連続する番号（シーケンス番号）が付けられていて、受信側、つまりデータ記録装置は、このシーケンス番号の連続性をチェックすることで、パケットの消失を確認できる。
【００３４】
そして、ＲＴＰ復号手段９３は、上記受信バッフア８２から、同一タイムスタンプを持つ１つ以上のＲＴＰパケットを受け取り、該ＲＴＰパケットからＲＴＰヘッダを除去するなどしてＭＰＥＧ−４データに復元し、ＭＰ４ファイル符号化手段９５は、該ＲＴＰ復号手段９３からのＭＰＥＧ−４のデータをＭＰ４ファイルに変換して、記録媒体９６に格納するものである。なお、ＭＰ４ファイルへの変換に必要なＭＰ４タイムスタンプやフレームのサイズ等の情報は、上記ＲＴＰ復号手段９３で、ＲＴＰパケットにつけられたＲＴＰタイムスタンプとサイズとから取得することができる。
【００３５】
なお、基地局であるＲＴＰ送信手段９０から、移動体端末であるデータ記録装置に、ＲＴＰを用いてＭＰＥＧ−４データを伝送する際に、上記ＲＴＰ送信手段９０からデータ記録装置にパケットが届かなかった場合、例えば、ＲＴＰ送信手段９０から、フレームが複数のＲＴＰパケットに分割された状態で送信される際に、そのいくつかのＲＴＰパケットが消失したり、あるフレームを構成するＲＴＰパケット全てが消失したりした場合には、データ記録装置は、上記ＲＴＰ受信手段９１で正しく受信できなかったデータはスキップさせ、上記ＲＴＰ受信手段９１で正しく受信できたデータのみを記録媒体９６にＭＰ４ファイル記録する。
【００３６】
【発明が解決しようとする課題】
しかしながら、上述した可変フレームレートの符号化データは、固定フレームレートの符号化データに比べて、映像信号の圧縮に応じた符号化が可能であるという長所がある一方、フレームレートに自由度があるため、その符号化データをＭＰ４ファイルに変換する際に、ＭＰ４ファイルのフレーム間隔を記録するSample-To-TimeStamp Atomのテーブルサイズが符号化データに左右されるものとなり、そのテーブルサイズを見積もることができなかったり、装置に異常が発生した場合にデータの復元が困難であったり、また、符号化データをＭＰ４ファイル記録した後、そのＭＰ４ファイルからデータを復号する際のデータ処理量が大きくなる、という問題がある。
【００３７】
具体的に説明すると、例えば、図１１に示す、従来のデータ符号化装置において、可変フレームレートの符号化データを、上記ＭＰ４ファイル符号化手段８５でＭＰ４ファイルに変換する際には、上記符号化判定手段８２における判定の結果によって、符号化データのフレーム間隔が変化する毎に、Sample-To-TimeStamp Atomに新しい要素を格納する必要がある。これにより、ＭＰ４ファイルにおいて、Sample Size Atom及びMovie Data Atomと同様、Sample-To-TimeStamp Atomのテーブルサイズも増えるので、固定フレームレートの符号化データをＭＰ４ファイル記録するより、記録媒体８６の容量がさらに必要になる。このSample-To-TimeStamp Atomのテーブルサイズが大きくなることは、固定フレームレートの符号化データをＭＰ４ファイルに変換した場合のＭＰ４ファイルの構成図（図１２）と、可変フレームレートの符号化データのＭＰ４ファイルの構成図（図１５）とを比較すれば明らかである。つまり、図１５のように、符号化データが固定フレームレートの場合は、フレーム間隔が常にdur＝１であるため、Sample-To-TimeStamp Atomのテーブルの要素は１つであり、そのテーブルのサイズは変化しない。
【００３８】
また、可変フレームレートの符号化データをＭＰ４ファイルに変換する場合、上記Sample-To-TimeStamp Atomの作成方法は、Sample Size Atom及びMovie Data Atomの作成方法と異なり、入力されたフレームを符号化判定手段８２において判定した結果に応じてそのテーブルを増やしていくものであるので、上記符号化データのＭＰ４ファイル記録開始時に、最終的なテーブルサイズを見積もることが不可能である。
【００３９】
また、上記従来のデータ符号化装置では、上記ＭＰ４ファイル符号化手段８５で、可変フレームレートの符号化データをＭＰ４ファイルに変換する際に、上記Sample Size Atom及びMovie Data Atom を作成する場合は、１フレームの符号化データ単位でmdat atom一時記憶手段４６、stsz atom一時記憶手段４７に逐次書き込みながら処理していくため、データ符号化装置に異常が発生した場合でも、データ復元が可能であるが、Sample-To-TimeStamp Atomを作成する場合は、フレームレートが変化した時点でそのテーブルの要素が決定されるものであるため、データ符号化装置に異常が発生した場合、Sample-To-TimeStamp Atomのテーブルのデータを完全に復元することができない。
【００４０】
また、上記ＭＰ４ファイルのSample-To-TimeStamp Atomのテーブルサイズが大きくなると、記録媒体８６に記録されたデータを再生する際に、その処理量が大きくなることについて、以下に説明する。
【００４１】
まず、Sample-To-TimeStamp Atomを解釈して、ＭＰ４タイムスタンプからサンプル番号の算出、あるいはサンプル番号からＭＰ４タイムスタンプを算出する処理が行われる。
ここで、図１６を用いて、Sample-To-TimeStamp Atomから、与えられたＭＰ４タイムスタンプ（Ｔ）に対応するサンプル番号Ｎを求める処理について説明する。
図１６は、Sample-To-TimeStamp Atomを用いて、与えられたＭＰ４タイムスタンプに対応するサンプルを探し出す処理の一連の流れを示すフローチャート図である。
【００４２】
まず、ＭＰ４タイムスタンプＴをセットし（ステップＳ２１）、区間番号ｉｎｄｅｘ、該区間番号ｉｎｄｅｘの指す区間の最初のフレームのＭＰ４タイムスタンプＴ０、及び該区間番号ｉｎｄｅｘの指す区間までに含まれるフレーム数Ｎ０の値を初期化する（ステップＳ２２）。そして、今現在ｉｎｄｅｘが指す区間に含まれるフレーム数ｎｕｍと、そのフレーム間隔ｄｕｒとを、Sample-To-TimeStamp Atomから取得し（ステップＳ２３）、さらに、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅを計算する（ステップＳ２４）。なお、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅは、Ｔ０＋ｎｕｍ＊ｄｕｒにより得られる。
【００４３】
そして、以上のようにして得た、今現在ｉｎｄｅｘが指す区間の終了時刻Ｔｅと、ＭＰ４タイムスタンプＴとを比較し、ＭＰ４タイムスタンプＴが、その区間に含まれているか否かを判定する（ステップＳ２５）。
【００４４】
ステップＳ２５において、Ｔ＜Ｔｅである場合は、ＭＰ４タイムスタンプＴが、今現在ｉｎｄｅｘが指す区間に含まれていると判定し、そのＭＰ４タイムスタンプＴのサンプル番号を決定する（ステップＳ２７）。このサンプル番号の決定は、今現在ｉｎｄｅｘが指す区間までの時間が、該区間番号ｉｎｄｅｘの指す区間の最初のフレームのＭＰ４タイムスタンプＴ０であるので、ＭＰ４タイムスタンプＴが示すフレームまでの時間はＴ−Ｔ０であり、またこの区間のフレーム間隔ｄｕｒであることより、そのＭＰ４タイムスタンプＴが示すサンプルのフレームは、当該区間の先頭から｛（Ｔ−Ｔ０）／ｄｕｒ｝番目のフレームとなる。よって、フレームのサンプル番号Ｎは、Ｎ０＋（Ｔ−Ｔ０）／ｄｕｒとなる。
【００４５】
一方、ステップＳ２５において、Ｔ＞Ｔｅであった場合には、その今現在ｉｎｄｅｘが指す区間には、ＭＰ４タイムスタンプＴが含まれていないと判定され、Sample-To-TimeStamp Atomのテーブルの次の要素へと移動する（ステップＳ２６）。つまり、次の区間の開始時間Ｔ０として、ステップＳ２４で求めた区間の終了時間Ｔｅをセットし、次の区間までの要素数Ｎ０として、当該区間までの要素数Ｎ０と、当該区間のフレーム数ｎｕｍとの和をセットし、区間番号ｉｎｄｅｘを１増加させる。そしてその後、再びステップＳ２３に戻り、ステップＳ２５において、Ｔ＜Ｔｅになるまで、上述した処理を繰り返すものである。なお、ステップＳ２６において、ｉｎｄｅｘが要素数以上になった場合は、ＭＰ４タイムスタンプＴが示すフレームが見つからなかったことを意味する。
【００４６】
以上のことより、Sample-To-TimeStamp Atomのテーブルの要素数が増えると、そのＭＰ４タイムスタンプＴが含まれる区間を探しだすまで、ステップＳ２３〜ステップＳ２６の処理を繰り返す必要があり、ＭＰ４タイムスタンプＴから、該ＭＰ４タイムスタンプが示すフレームのサンプル番号Ｎを探し出すのにかかる手間が非常に大きくなることがわかる。また、上述した逆の処理である、サンプル番号ＮからＭＰ４タイムスタンプＴを求める処理についても、上述した処理と同様、Sample-To-TimeStamp Atomの要素数に比例してその処理量が増える。
【００４７】
また、図１７に示したＲＴＰを用いたデータ送信では、パケット再送処理を行わないので、パケットの遅延が累積することがなく、リアルタイムの伝送に向いている反面、ネットワークの遅延や一時な切断等が生じると、パケットが消失してしまい、受信側であるデータ記録装置にパケットが届かない場合がある。そして、このようなＲＴＰの性質上、基地局のＲＴＰ送信手段９０から、ＲＴＰを用いて受信したＭＥＰＧ−４データをＭＰ４ファイルとして記録するデータ記録装置では、その送信された符号化データが消失する可能性が大きく、また、データが消失すれば、受信した符号化データのフレームレートが頻繁に変わることになるため、フレームの表示間隔を格納するSample-To-TimeStamp Atomのテーブルの増加が特に著しくなる、という問題がある。
【００４８】
さらに、上記データ符号化装置、あるいはデータ記録装置が、その物理的な大きさや消費電力、あるいは記録媒体の容量に、著しく制限をうける移動体端末に搭載されるとすれば、上述したSample-To-TimeStamp Atomのデータサイズの増大や、Sample-To-TimeStamp Atomのデータの完全復元が困難であること、さらにはデータを再生する際の処理量が大きいというような問題は、さまざまな問題を引き起こす可能性がある。
【００４９】
本発明は、以上の課題に鑑みてなされたものであり、可変フレームレートのＭＰＥＧ−４の符号化データをＭＰ４ファイルに変換して記録する際に、可変フレームレートを固定フレームレートに変換するデータ変換装置、データ符号化装置、及びデータ記録装置を提供することを目的とする。
【００５０】
【課題を解決するための手段】
本発明（請求項１）にかかるデータ変換装置は、符号化データを格納するデータテーブルと上記符号化データの異なるタイムスタンプ間隔を格納するタイムテーブルと上記符号化データのデータサイズを格納するサイズテーブルとを有するファイルに格納するためのデータを変換するデータ変換装置であって、可変フレームレートで入力された映像信号データの符号化データ及び該符号化データのデータサイズを一時格納する一時記憶手段と、上記一時記憶手段に格納された上記符号化データから、該符号化データの時間情報である入力タイムスタンプを読み取るタイムスタンプ読み取り手段と、上記符号化データの入力タイムスタンプと、外部より初期情報として入力されたタイムスタンプ間隔に基づき決定された固定フレームレートの出力タイムスタンプとを比較する判断手段と、データサイズが０であることを意味する符号化データを作成し、該データサイズが０であることを意味する符号化データに、上記入力タイムスタンプとして任意の値を付す挿入手段と、上記符号化データ、データサイズ、及びタイムスタンプに基づいて、上記データテーブル、タイムテーブル、及びサイズテーブルを作成するテーブル作成手段とを備え、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプ以下であると判断された場合には、上記一時記憶手段に格納されている上記符号化データと該符号化データのデータサイズが上記テーブル作成手段に出力されるとともに、上記判断手段が上記出力タイムスタンプを上記テーブル作成手段に出力し、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプよりも大きいと判断された場合には、上記挿入手段が、データサイズが０であることを意味する符号化データと、該符号化データのデータサイズ及びタイムスタンプとを出力し、上記テーブル作成手段は、上記一時記憶手段と上記挿入手段から出力された上記符号化データを連続して格納したデータテーブルを作成し、上記一時記憶手段と上記挿入手段から出力された上記データサイズを連続して格納したサイズテーブルを作成し、上記判断手段から出力された上記出力タイムスタンプと上記挿入手段から出力された上記タイムスタンプとに基づいてタイムスタンプ間隔を示すタイムテーブルを作成し、作成した上記データテーブル、サイズテーブル、及びタイムテーブルを出力する、ことを特徴とするものである。
【００６６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本発明は、入力されたデータを、ＭＰ４ファイルに記録する際に、固定フレームレートで記録するものであり、上記入力されるデータが、実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオ符号化データ、実施の形態２においては、符号化されていない映像データ、実施の形態３においては、伝送プロトコルＲＴＰにおいて受信したＲＴＰデータである、３種類の異なるデータの場合を例に挙げて説明する。
【００６７】
（実施の形態１）
以下、図１〜図７を用いて、本実施の形態１における、データ変換装置について説明する。
本実施の形態１のデータ変換装置は、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するものである。
【００６８】
まず、図１を用いて、本実施の形態１におけるデータ変換装置１００の構成について説明する。
図１は、本実施の形態１における、データ変換装置の構成を示す図である。
図において、データ変換装置１００は、符号化データ一時記憶手段１０１と、符号化データタイムスタンプ読み取り手段１０２と、タイムスタンプ変換手段１０３と、固定化ＦＰＳ手段１０４と、からなるものである。
【００６９】
符号化データ一時記憶手段１０１は、本データ変換装置１００に入力される符号化データを記憶するものであり、符号化データタイムスタンプ読み取り手段１０２は、上記符号化データ一時記憶手段１０１に記憶された符号化データから符号化データタイムスタンプを取得するものである。
【００７０】
ここで、符号化データからの符号化データタイムスタンプの取得は、最初の符号化データ、あるいは何フレームかおきに符号化データの前に付与されるＶＯＬヘッダから、符号化データタイムスタンプのスケール（vop-time-increment-resolution）を取得し、さらに、各符号化データのＶＯＰヘッダから、符号化データタイムスタンプの増加分（modulo-time-base,vop-time-increment）を取得して、適切な計算を行うことにより求めるものである。
【００７１】
また、タイムスタンプ変換手段１０３は、該符号化データタイムスタンプ読み取り手段１０２により読み取られた符号化データタイムスタンプを、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプに変換するものであり、ここでいう、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプとは、０から開始する形式で、ＭＰ４ファイルのSample-To-TimeStamp Atomに記録するタイムスタンプである。
また、固定ＦＰＳ化手段１０４は、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するものである。
【００７２】
ここで、図２及び図３を用いて、上記固定ＦＰＳ化手段１０４の構成について詳細に説明する。図２は、固定ＦＰＳ化手段の構成を示す図であり、図３は、非更新フレーム挿入手段（図3(a)）、サイズ０フレーム挿入手段（図3(b)）、符号化データタイムスタンプ連続化手段（図3(c)）の構成を示す図である。
【００７３】
図２及び図３において、上記固定ＦＰＳ化手段１０４は、非更新フレーム挿入手段２０１と、サイズ０フレーム挿入手段２０２と、符号化データタイムスタンプ連続化手段２０３とからなるものであり、可変フレームレートにおいて、従来では入力符号化データがスキップされていたタイムスタンプ、例えば、図１２に示される可変フレームレートの符号化データの、スキップされてデータがないＭＰ４タイムスタンプ１，３，５…、のところに、架空のフレームを挿入することによって、固定フレームレートの符号化データとするものである。
【００７４】
上記固定ＦＰＳ化手段１０４内の、非更新フレーム挿入手段２０１は、スイッチ３１４の切り替え信号を出力する処理手段３１１と、非更新フレームを生成する非更新フレーム生成手段３１２と、上記符号化データ一時記憶手段１０１に保持されていたデータを記憶する一時記憶手段３１３と、上記非更新フレーム生成手段３１２か、上記一時記憶手段３１３かを選択するスイッチ３１４とからなり、上述した架空のフレームとして、非更新を意味する特別なサンプルである非更新フレームを挿入するものである。ここで、非更新フレームとは、前フレームとの映像信号の差分情報を含まない符号化データであり、例えば、ＶＯＰヘッダ内のvop_codedを０にしたフレームのことである。そして、非更新フレームは、映像信号の差分情報を含まないもの（例えば、vop_coded＝０）であるので、そのデータ量は、数十バイトであり、通常の符号化フレームのデータ量と比べて少ないものである。また、上記非更新フレームにも、通常のフレームと同じく符号化データタイムスタンプのフィールドがあり、上記非更新フレーム挿入手段２０１では、このフィールドに任意の値がつけられるものとする。なお、この非更新フレームにおいて、形状符号化の有無、透明度チャンネルの有無により、vop_coded＝０が非更新を意味しない場合があるが、この場合は、全マクロブロックをMB_not_codedの状態にしたフレームを出力するものとする。
【００７５】
また、上記固定ＦＰＳ化手段１０４内の、サイズ０フレーム挿入手段２０２は、スイッチ３２４の切り替え信号を出力する処理手段３２１と、サイズ０のフレームを生成するサイズ０フレーム生成手段３２２と、上記符号化データ一時記憶手段１０１で保持されていた符号化データを記憶する一時記憶手段３２３と、上記サイズ０フレーム生成手段３２２か、上記一時記憶手段３２３かを選択するスイッチ３２４とからなり、上述した架空のフレームとして、サイズが０のサンプルであるサイズ０フレームを挿入するものである。ここで、サイズ０フレームとは、データサイズが０で、符号化データには意味のある値を持たないフレームのことをいう。
【００７６】
そして、上記固定ＦＰＳ化手段１０４内の、符号化データタイムスタンプ連続化手段２０３は、非更新フレーム挿入手段２０１、サイズ０フレーム挿入手段２０２から出力される符号化データの符号化データタイムスタンプを、上記非更新フレームあるいはサイズ０フレームのＭＰ４タイムスタンプより、符号化データの規格に従って正しい符号化データタイムスタンプに変換して、上書きする符号化データタイムスタンプ書き換え手段３３１と、上記各手段２０１，２０２から出力される符号化データと符号化データ量とを記憶する一時記憶手段３３２とからなるものである。
【００７７】
通常、記録媒体１２０に記録されたＭＰ４ファイルを復号する場合、ＭＰ４タイムスタンプのみを参照して復号されるため、そのフレームの符号化データタイムスタンプの値がどのような値であっても問題はないが、ＭＰ４ファイルから符号化データのみのファイル等を作成する場合には、符号化データがもつ符号化データタイムスタンプが正しくなければ、ファイルを作成することができないため、符号化データタイムスタンプを正しく付けなおさなければならない。上記符号化データタイムスタンプ連続化手段２０３は、上記ＭＰ４ファイルから上述したようなファイルを作成することを想定して、予め、フレームに付けられた符号化データタイムスタンプを、正しい符号化データタイムスタンプに付けなおす処理を行うものである。
【００７８】
なお、ＭＰ４ファイル符号化手段１１０、及び記録媒体１２０については、従来におけるデータ符号化装置において説明したものと同様の構成を有するものであるため、ここでは説明を省略する。
【００７９】
以下、図４〜図７を用いて、上述した構成を有する、本実施の形態１におけるデータ変換装置１００の一連の処理動作について説明する。なお、説明を簡略化するため、本実施の形態１においては、本装置に入力される符号化データが、Ｉ−ＶＯＰ、またはＰ−ＶＯＰのみであるとする。
図４は、本実施の形態１における、非更新フレーム挿入手段、あるいはサイズ０フレーム挿入手段の一連の動作を示すフローチャートである。
【００８０】
まず、本データ変換装置１００における処理が開始されると、符号化データ一時記憶手段１０１に、符号化データが保持される。そして、符号化データタイムスタンプ読み取り手段１０２より、上記符号化データ一時記憶手段１０１に記憶された符号化データより、符号化データタイムスタンプを取得する。この符号化データタイムスタンプの取得は、上述したように、最初の符号化データ、あるいは何フレームかおきに符号化データの前に付与されるＶＯＬヘッダから、符号化データタイムスタンプのスケール（vop-time-increment-resolution）を取得し、さらに、各符号化データのＶＯＰヘッダから、符号化データタイムスタンプの増加分（modulo-time-base,vop-time-increment）を取得して、適切な計算を行うことにより求める。
そして、タイムスタンプ変換手段１０３より、上記符号化データをＭＰ４タイムスタンプに変換し、固定ＦＰＳ化手段１０４に符号化データ一時記憶手段１０１に記憶された符号化データ、及びそのデータサイズと共に出力する。
【００８１】
上記符号化データ、データサイズ、ＭＰ４タイムスタンプを取得した固定ＦＰＳ化手段１０４は、図４に示すフローチャートに従って、その可変フレームレートの符号化データを、固定フレームレートの符号化データに変換していく。
まず、入力された符号化データ、符号化データ量、及び入力フレームのＭＰ４タイムスタンプＩＴＳは、固定ＦＰＳ化手段１０４内の、非更新フレーム挿入手段２０１か、サイズ０フレーム挿入手段２０２かのどちらかに入力される。
【００８２】
まず、上記非更新フレーム挿入手段２０１に、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力された場合について説明する。
本データ変換装置１００において処理が開始されると、上記非更新フレーム挿入手段２０１の処理手段３１１は、保持している出力フレームのＭＰ４タイムスタンプＯＴＳの値を初期化し、外部から初期条件として入力される、要求タイムスタンプ間隔ＤＴＳを取得する（ステップＳ４１）。そして、上記符号化データ一時記憶手段１０１から符号化データ、及び符号化データ量、そして、上記タイムスタンプ変換手段１０３からＭＰ４タイムスタンプが入力されると、上記符号化データ及びデータサイズは、一時記憶手段３１３に記憶され、上記ＭＰ４タイムスタンプは、入力フレームのＭＰ４タイムスタンプＩＴＳとして処理手段３１１に入力される（ステップＳ４２）。
そして、処理手段３１１において、ステップＳ４２で取得した入力フレームのＭＰ４タイムスタンプＩＴＳと、処理手段３１１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳとを比較する（ステップＳ４３）。
【００８３】
ステップＳ４３において、ＩＴＳ≦ＯＴＳである場合は、処理手段３１１から一時記憶手段３１３を選択するよう、切り替え信号が出力され、上記一時記憶手段３１３に記憶されている符号化データと、その符号化データのＭＰ４タイムスタンプＩＴＳを処理手段３３１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳに書き換えて出力する（ステップＳ４４）。そして、その後、処理手段３１１において保持されている出力フレームのＭＰ４タイムスタンプに、要求タイムスタンプ間隔ＤＴＳを加算し、次の出力フレームのＭＰ４タイムスタンプＯＴＳとする。
【００８４】
一方、ステップＳ４３において、ＩＴＳ≧ＯＴＳである場合は、処理手段３１１より非更新フレーム生成手段３１２を選択するよう、切り替え信号が出力され、上記非更新フレーム生成手段３１２において作成された非更新フレームと、処理手段３３１に保持されている出力フレームのＭＰ４タイムスタンプＯＴＳとを出力する。そして、その後、上述と同様、処理手段３１１において保持されている出力フレームのＭＰ４タイムスタンプに、要求タイムスタンプ間隔ＤＴＳを加算し、次の出力フレームのＭＰ４タイムスタンプＯＴＳとする。
【００８５】
以上の処理の後、上記非更新フレーム挿入手段２０１から出力された符号化データは、最終的に記録媒体１２０にＭＰ４ファイル記録されるのであるが、上記記録媒体１２０に記録された後に、そのＭＰ４ファイルから符号化データのみを取り出し符号化データ単独の独自ファイルを作成する等の上記ＭＰ４ファイルの利用方法をする場合は、ＭＰ４ファイルに記録された符号化データすべてが正しい符号化データタイムスタンプが必要であるため、符号化データタイムスタンプ連続化手段２０３を選択し、上記符号化データタイムスタンプ書き換え手段３３１において、入力される符号化データが有する符号化データタイムスタンプを、そのＭＰ４タイムスタンプを用いて正しい符号化データタイムスタンプに変換し、一時記憶手段３３２に記憶されている符号化データ内の符号化データタイムスタンプを保持するフィールドに、上記符号化データタイムスタンプ書き換え手段３３１より作成された正しい符号化データタイムスタンプを上書きする処理を行う。なお、上述したような符号化データタイムスタンプを正しい値にする処理が必要ない場合には、符号化データタイムスタンプ連続化手段２０３を選択することなく、非更新フレーム挿入手段２０１から出力される符号化データ、符号化データ量、及びＭＰ４タイムスタンプを出力すればよい。
【００８６】
そして、上記固定ＦＰＳ化手段１０４より出力された上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプは、上記ＭＰ４ファイル符号化手段１１０に出力され、該ＭＰ４ファイル符号化手段１１０において、従来と同様の処理を行うことにより、符号化データをＭＰ４ファイルに変換し、記録媒体１２０にＭＰ４ファイル記録する。
【００８７】
ここで、図５、及び図１２を用いて、非更新フレーム挿入手段２０１を経由することによって得られる、符号化データ、及びＭＰ４ファイルの構成について説明する。
図５は、非更新フレーム挿入手段を経由し、ＭＰ４ファイル記録した際の、符号化データ（図(a)）、及びＭＰ４ファイルのデータ構造（図(b)）を示す図である。
【００８８】
図５に示すように、上記データ変換装置１００により、固定フレームレートに変換された符号化データは、図１２に示す従来の可変フレームレートの場合と比べて、タイムスタンプの時間間隔が一定となるため、Sample-To-TimeStamp Atomの要素が一つになることがわかる。しかし、非更新フレームとして、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新のフレームを追加しているため、Movie data Atom と Sample Size Atom が大きくなる。
【００８９】
また、上述したように、Sample-To-TimeStamp Atom の要素が常に一つになることより、ＭＰタイムスタンプからフレーム番号の算出、あるいはフレーム番号からＭＰタイムスタンプの算出が簡単になる。
【００９０】
例えば、ＭＰ４タイムスタンプをＴ、フレーム番号をＮ、フレーム間隔ｄｕｒをｄとすれば、Ｔ＝ｄ＊Ｎの関係が成り立つので、ＭＰ４タイムスタンプからフレーム番号の算出は、Ｎ＝Ｔ／ｄであり、また、フレーム番号からＭＰ４タイムスタンプの算出導出は Ｔ＝ｄ＊Ｎであるため、一回の除算あるいは乗算のみで算出可能となる。
【００９１】
なお、上記固定ＦＰＳ化手段１０４において、上記各手段２０１，２０２から出力された符号化データ、データサイズＭＰ４タイムスタンプが、上記符号化データタイムスタンプ連続化手段２０３を経由してもしなくても、ＭＰ４ファイルのデータ構造に影響を与えず同じとなる。なぜなら、ＭＰ４ファイルのＭＰ４タイムスタンプは、符号化データとは無関係に決定されているものであるからであり、規格上問題はない。
【００９２】
次に、上記サイズ０フレーム挿入手段２０２に、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが入力された場合について説明する。
この場合も、上述した非更新フレーム挿入手段２０１と同様、図４のフローチャートに従って処理される。上記非更新フレーム挿入手段２０１と異なるところは、上記非更新フレーム挿入手段２０１においては、非更新フレームを挿入していたところに、サイズが０であるフレームを挿入するようにするものである。
【００９３】
ここで、図６、及び図１２を用いて、サイズ０フレーム挿入手段２０２を経由することによって得られる、符号化データ、及びＭＰ４ファイルの構成について説明する。
図６は、サイズ０フレーム挿入手段を経由し、ＭＰ４ファイル記録した際の、符号化データ（図(a)）、及びＭＰ４ファイルのデータ構造（図(b)）を示す図である。
【００９４】
図６に示すように、上記データ変換装置１００により、固定フレームレートに変換された符号化データは、図１２に示す従来の可変フレームレートの符号化データと比べて、Sample-To-TimeStamp Atom の要素が一つなっている。また、上記非更新フレーム挿入手段２０１とは異なり、サイズが０であるフレームを挿入して、符号化データは追加していないので、上記Movie Data Atom のテーブルサイズは、従来の可変フレームレートの符号化データと変らない。しかし、上記Sample Size Atom のテーブルサイズについては、上記非更新フレーム挿入手段２０１と同じく、サイズが０であることを示すものを追加することとなるので、図１２に示す、従来の可変フレームレートの場合よりは大きくなる。
【００９５】
また、上記非更新フレーム挿入手段２０１と同様、Sample-To-TimeStamp Atomの要素が常に一つになるため、ＭＰタイムスタンプからフレーム番号の算出、あるいはフレーム番号からＭＰタイムスタンプの算出が簡単になる。
なお、上記非更新フレーム挿入手段２０１の場合と同様、上記固定ＦＰＳ化手段１０４における上記符号化データタイムスタンプ連続化手段２０３の経由の有無は、ＭＰ４ファイルのデータ構造に影響を与えない。
【００９６】
上述の説明より明らかなように、上記符号化データ、符号化データ量、及びＭＰ４タイムスタンプが、上記非更新フレームレート挿入手段２０１、あるいは上記サイズ０フレーム挿入手段２０２のどちらに入力されても、可変フレームレートの符号化データを固定フレームレートの符号化データに変換するという同じ効果が得られる。しかし、サイズ０フレーム挿入手段２０２に入力された場合、サイズ０フレームが挿入されることになるので、復号化装置によっては復号できない可能性がある。従って、データの可搬性を重視する場合には、非更新フレームレート挿入手段２０１に入力するようにすればよい。
【００９７】
以上のように、本実施の形態１によれば、入力される可変フレームレートのＭＰＥＧ−４符号化データを、記録媒体１２０にＭＰ４ファイル記録する際に、上記可変フレームレートの符号化データを、上記固定ＦＰＳ化手段１０４を経由させることによって、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新フレーム、あるいはサイズ０フレームを挿入し、固定フレームレートの符号化データにデータ変換した後、ＭＰ４ファイル符号化手段１１０によりＭＰ４ファイル変換し、上記記録媒体１２０にＭＰ４ファイル記録するようにしたので、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ変換装置１００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【００９８】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態１におけるデータ変換装置１００を、その物理的な大きさや消費電力、あるいは記録媒体の容量が著しく制限を受ける移動体端末に搭載し、移動体端末内の記録媒体にＭＰ４ファイル記録するようにしたとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、上記移動体端末内の記録媒体の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【００９９】
なお、本実施の形態１の説明では、図４のステップＳ４３における、入力された符号化データを出力するか、非更新フレームあるいはサイズ０フレームを挿入するかを判定する判定条件を、ＩＴＳ≦ＯＴＳとしたが、通常、データ符号化装置に入力される符号化データに付与される入力タイムスタンプＩＴＳは、要求タイムスタンプ間隔ＤＴＳの倍数に正確に一致せず、前後にゆらぐ、つまり、ＩＴＳ＝ｎ＊ＯＴＳ±α（ｎ：整数）となる。ここで、αはゆらぎの成分を示すものである。
【０１００】
このゆらぎの発生原因は、ＮＴＳＣ方式のＴＶ信号のフレーム間隔が、１００１／３００００＝０．０３３３６６６６６…秒（２９．９７００２９…Ｈｚ）であり、これが割り切れない数であるため、符号化データを作成する際に、各機器の都合で丸め処理が行われるためである。そして、この丸め処理の方法（四捨五入、切り捨て、切り上げ）、及びそのフレーム間隔の桁数は、各機器に依存するものであり、ＭＰ４記録する際には、その情報を知ることはできない。
【０１０１】
以下、図７を用いて、上述した理由により、ゆらぎが発生した場合について説明する。図７は、入力フレームに付与されるタイムスタンプＩＴＳが若干前後にゆらぐ状態を示す図であり、図(a)は、判定条件がＩＴＳ≦ＯＴＳの場合であり、図(b)は、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２の場合である。なお、ここでは、要求タイムスタンプ間隔ＤＴＳ＝１００とする。
【０１０２】
図７（ａ）に示すように、判定条件がＩＴＳ≦ＯＴＳである場合、（ｎ−１）番目のフレームのように、ＩＴＳがＯＴＳより小さいほうにゆらげば、この（ｎ−１）番目のフレームは正しいＯＴＳ（＝８００）のフレームとして判断され、問題ないのであるが、ｎ番目のフレームのように、ＩＴＳがＯＴＳよりわずかでも大きいほうにゆらげば、このｎ番目のフレームは、正しいＯＴＳ（＝９００）のフレームとしてではなく、次のＯＴＳ(＝１０００)のフレームとして判断されてしまう。
【０１０３】
このような場合、図４のステップＳ４３の判定条件を、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２とすれば、図７（ｂ）に示すように、ｎ番目のフレームが、正しいＯＴＳ（＝９００）のフレームとして判断され、上述したような理由により発生するゆらぎを、データ変換して記録媒体１２０にＭＰ４記録する前に解消することができる。なお、ここでは、判定条件の一例して、ＯＴＳにＤＴＳ／２を加算したものと比較するようにしたが、ＤＴＳ／２以外の、一定の値を加算するようにしてもよい。
【０１０４】
（実施の形態２）
以下、図８を用いて、本実施の形態２における、データ符号化装置について説明する。
上記実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するデータ変換装置について説明したが、本実施の形態２においては、カメラ等から符号化されていない映像信号が入力され、該映像信号を固定フレームレートの符号化データに符号化した後、ＭＰ４ファイル記録するデータ符号化装置について説明する。
【０１０５】
まず、図８用いて、本実施の形態２における、データ符号化装置２００の構成について説明する。
図８は、本実施の形態２における、データ符号化装置の構成を示す図である。図８において、データ符号化装置２００は、図１１に示す従来のデータ符号化装置に、非更新フレーム作成手段８４を備えたものであり、上述した符号化判定手段８２は、取り込まれたフレームを、符号化するか否かを判定して、その判定結果に基づいて、符号化手段８３か、非更新フレーム作成手段８４かを選択するスイッチ選択信号を出力するものとする。なお、その他の構成は、従来のデータ符号化装置と同様であるため、ここでは説明を省略する。
【０１０６】
上記非更新フレーム作成手段８４は、上記実施の形態１で説明した非更新フレームを作成し、ＭＰ４タイムスタンプを挿入するものである。なお、非更新フレームの符号化データタイムスタンプは、実施の形態１と同様、この非更新フレーム作成手段８４においては、任意の値をつけるものとする。
【０１０７】
以下、本実施の形態２における、データ符号化装置２００の処理動作について説明する。
まず、データ符号化装置２００は、カメラから入力される映像を、映像取り込み手段８１にてフレームに変換し、該フレームを映像の取り込み開始時から、カメラのフレームレートで増加していくフレーム番号とともに、符号化判定手段８２に出力する。
【０１０８】
そして、符号化判定手段８２では、上記フレーム番号と、予め与えられているカメラのフレーム情報とから、入力されたフレームのＭＰ４タイムスタンプを計算し、該タイムスタンプと、これまでに符号化したデータ量の合計と、出力のビットレートとから、その入力されたフレームを符号化するか否かの判定を行う。ここまでは、従来と同様である。
【０１０９】
上記符号化判定手段８２において、その入力されたフレームを符号化すると判定された場合、該符号化判定手段８２は、符号化手段８３を選択するスイッチ選択信号を出力し、カメラより入力されたフレームと、該フレームのタイムスタンプとを、符号化手段８３へ出力する。
そして、符号化手段８３において、上記フレームの符号化処理が行われた後、符号化データ、符号化データ量、及びＭＰ４タイムスタンプが、ＭＰ４ファイル符号化手段１１０に出力される。
【０１１０】
一方、上記符号化判定手段８２において、そのフレームを符号化しないと判定された場合、該符号化判定手段８２は、非更新フレーム作成手段８４を選択するスイッチ選択信号を出力し、非更新フレーム作成手段８４において、非更新フレームを作成し、その非更新フレームのＭＰ４タイムスタンプを挿入して、上記非更新フレーム、非更新フレームのサイズ、及びＭＰ４タイムスタンプが、上記ＭＰ４ファイル符号化手段１１０に出力される。なお、上記非更新フレームは、実施の形態１で説明したものと同様である。
【０１１１】
この後、上記ＭＰ４ファイル符号化手段１１０において、上記符号化手段８３、あるいは非更新フレーム作成手段８４から出力される、符号化データ、あるいは非更新フレームがＭＰ４ファイルに変換され、記録媒体１２０にＭＰ４ファイル記録される（図５参照）。
【０１１２】
また、以上の説明においては、上記符号化判定手段８２の判定に応じて、従来ではデータがスキップしていたＭＰ４タイムスタンプのところに、非更新フレーム作成手段８４によって、非更新フレームを挿入するようにしたが、上記非更新フレーム作成手段８４のかわりに、サイズが０であるサイズ０フレーム作成し、ＭＰ４タイムスタンプを挿入するサイズ０フレーム作成手段を備えるようにしてもよい（図示せず）。この場合、符号化判定手段８２の判定に応じて、従来ではデータがスキップしていたＭＰ４タイムスタンプのところに、サイズ０フレームを挿入されることとなり、上記非更新フレームレート作成手段８４の場合と同様の効果が得られる（図６参照）。ただし、上記サイズ０フレーム作成手段により、サイズ０フレームを挿入した符号化データをＭＰ４ファイルに変換して、記録媒体１２０に記録した場合、上記非更新フレーム作成手段８４により得られるＭＰ４ファイルのサイズより小さくなるという長所があるが、該ＭＰ４ファイルを復号する際に、復号化装置によっては復号できない可能性がある。従って、データの可搬性を重視する場合には、上述した非更新フレーム作成手段８４を備えるようにする。
【０１１３】
なお、上記記録媒体１２０に記録された上記ＭＰ４ファイルから、符号化データのみのファイル等を作成する場合は、符号化データの符号化データタイムスタンプが正しくなければファイルを作成することができないので、ＭＰ４ファイルから、このようなファイル等の作成が想定される際には、上記符号化手段８３あるいは非更新フレーム作成手段８４（または、サイズ０フレーム作成手段）と、ＭＰ４ファイル符号化手段１１０との間に、上記実施の形態１で説明した、上記符合化データタイムスタンプ連続化手段２０３をさらに備えるようにし、上記符号化手段８３あるいは非更新フレーム作成手段８４から出力される符号化データの符号化タイムスタンプを、ＭＰ４タイムスタンプを用いて正しい符号化データタイムスタンプに変換して上書きする処理を行うようにするとよい。
【０１１４】
以上のように、本実施の形態２によれば、カメラから入力される映像信号を符号化する際に、符号化判定手段８２の判定により、符号化すると判定された場合には、入力された映像信号を符号化手段８３において符号化し、符号化しないと判定されて、従来ではスキップされていたところには、非更新フレーム作成手段８４、あるいはサイズ０フレーム作成手段（図示せず）により非更新フレームあるいは、サイズ０フレームを作成して挿入するようにしたので、該データをＭＰ４ファイル符号化手段１１０によりＭＰ４ファイルに変換して、記録媒体１２０にＭＰ４ファイル記録する際、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ符号化装置２００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【０１１５】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態２におけるデータ符号化装置２００を、その物理的な大きさや消費電力、記録媒体の容量が著しく制限を受ける移動体端末に搭載したとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、記録媒体１２０の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【０１１６】
（実施の形態３）
以下、図９を用いて、本実施の形態３における、データ記録装置について説明する。
上記実施の形態１においては、可変フレームレートのＭＰＥＧ−４ビデオの符号化データを、固定フレームレートの符号化データに変換するデータ変換装置について説明したが、本実施の形態３においては、送信局から、ＲＴＰ（リアルタイム・トランスポート・プロトコル）を用いて送信されるＭＰＥＧ−４データを受信して復号して、記録媒体にＭＰ４ファイル記録する、データ記録装置について説明する。
【０１１７】
まず、図９を用いて、本実施の形態３におけるデータ記録装置３００の構成について説明する。
図９は、本実施の形態３における、データ記録装置３００の構成を示す図である。
図９において、データ記録装置３００は、図１７に示す従来のデータ記録装置に、ＲＴＰタイムスタンプ変換手段９４と、固定ＦＰＳ化手段１０４とを備えるものであり、ＲＴＰタイムスタンプ変換手段９４は、上記ＲＴＰ復号化手段８３において取得されたＲＴＰパケットのタイムスタンプであるＲＴＰタイムスタンプを、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプに変換するものである。ここでいう、本発明の実施の形態間で共通の表現形式のＭＰ４タイムスタンプとは、０から開始する形式で、ＭＰ４ファイルのSample-To-TimeStamp Atomに記録するタイムスタンプである。
【０１１８】
上記ＲＴＰタイムスタンプ変換手段９４における、ＲＴＰタイムスタンプからＭＰ４タイムスタンプへの変換は、従来のデータ記録装置で説明したように、ＲＴＰタイムスタンプは、ランダムなオフセットが加えられているため、このオフセットを全ＲＴＰパケットのＲＴＰタイムスタンプから減算し、先頭の符号化データのタイムスタンプが０から開始するようにし、さらに、上記ＲＴＰタイムスタンプのスケールを本発明共通のＭＰ４タイムスタンプのスケールになるように、乗除算をすることにより行うものである。
【０１１９】
なお、上記固定ＦＰＳ化手段１０４は、上記実施の形態１において、図２及び図３を用いて説明したものと同様の構成を有するものであり、また、本データ記録装置のその他の構成は、従来のデータ記録装置と同様の構成を有するものであるため、ここでは説明を省略する。
【０１２０】
以下、上述した構成を有する、本実施の形態３におけるデータ記録装置３００の一連の処理動作について説明する。なお、本実施の形態３においては、データ記録装置３００が移動端末であるものとして説明するが、このデータ記録装置３００は、移動端末にかぎらず、送信局よりＲＴＰを用いてデータを受信して、ＭＰ４記録するものであればよい。
【０１２１】
まず、基地局のＲＴＰ送信手段９０から、ＭＰＥＧ−４の符号化データをビデオパケット単位に分割し、その各ビデオパケットが格納されたＲＴＰパケットを、データ記録装置のＲＴＰ受信手段９１が受信する。
そして、上記ＲＴＰ受信手段９１において受信したＲＴＰパケットは、適当な数分がＲＴＰ受信バッファ９２に一時的に格納される。
【０１２２】
この上記ＲＴＰ受信バッファ９２では、上記ＲＴＰパケットが、伝送中に順番がいれかわる現象を並び替えにより解消したり、１フレーム分の符号化データが複数のＲＴＰパケットに分割されて伝送される場合に、１フレーム分以上のパケットが蓄積されるまで保持したりする。
そして、上記ＲＴＰ受信バッファ９２から取り出されたＲＴＰパケットは、ＲＴＰ復号手段９３においてＭＰＥＧ−４データに復号され、その符号化データ及び符号化データ量は、固定ＦＰＳ化手段１０４に出力されると共に、ＲＴＰパケットよりＲＴＰタイムスタンプが取得され、該取得されたＲＴＰタイムスタンプは、ＲＴＰタイムスタンプ変換手段９４に出力される。
【０１２３】
上記ＲＴＰタイムスタンプ変換手段９４に出力されたＲＴＰタイムスタンプは、上述したようにしてＭＰ４タイムスタンプに変換され、固定ＦＰＳ化手段１０４に出力される。
この後の、固定ＦＰＳ化手段１０４における処理、及びＭＰ４ファイル符号化手段１１０における処理は、上記実施の形態１で説明したのと同様であるため、ここでは説明を省略する。
【０１２４】
以上のように、本実施の形態３によれば、ＲＴＰ送信手段９０から、ＲＴＰ（リアルタイム・トランスポート・プロトコル）を用いて送信される、ＲＴＰパケットに格納されたＭＰＥＧ−４データをＲＴＰ受信手段９１において受信し、該ＲＴＰパケットをＲＴＰ復号化手段９３において、ＭＰＥＧ−４データに復号すると共に、ＲＴＰタイムスタンプを取得し、ＲＴＰタイムスタンプ変換手段９４において、ＲＴＰタイムスタンプをＭＰ４タイムスタンプに変換し、上記固定ＦＰＳ化手段１０４は、上記ＲＴＰ復号化手段９３から符号化データ及び符号化データ量を、そして上記ＲＴＰタイムスタンプ変換手段９４からＭＰ４タイムスタンプを取得し、従来ではスキップされていたＭＰ４タイムスタンプのところに、非更新フレーム、あるいはサイズ０フレームを挿入して、固定フレームレートの符号化データにデータ変換した後、ＭＰ４ファイル符号化手段１１０によりＭＰ４ファイル変換し、上記記録媒体１２０にＭＰ４ファイル記録するようにしたので、Sample-To-TimeStamp Atomを、固定フレームレートの場合のように１つにすることができ、その結果、Sample-To-TimeStamp Atomのテーブルサイズが符号化データによって左右されなくなるため、本データ記録装置３００に異常が発生した場合でも、ＭＰ４ファイルのデータを完全に復元することができる。
【０１２５】
また、上記Sample-To-TimeStamp Atomのテーブルサイズが一定であるので、記録媒体１２０にＭＰ４ファイル記録されたデータを再生する際の処理をへらすことができる。
さらに、本実施の形態３におけるデータ記録装置３００を、その物理的な大きさや消費電力、記録媒体の容量が著しく制限を受ける移動体端末に搭載したとしても、Sample-To-TimeStamp Atomのテーブルの要素が１つに固定されるので、記録媒体１２０の容量が足りなくなる等によって引き起こされるさまざまな問題が生じなくなる。
【０１２６】
なお、本実施の形態３において、上記送信局より伝送されたＲＴＰパケットを復号した符号化データを出力するか、非更新フレームあるいはサイズ０フレームを挿入するかを判定する判定条件を、ＩＴＳ≦ＯＴＳとしたが、上記実施の形態１と同様、ＲＴＰパケットに付与される入力タイムスタンプＩＴＳは、上述した理由により、通常、要求タイムスタンプ間隔ＤＴＳの倍数に正確に一致せず、前後にゆらぐ。このような場合、上記判定条件を、上記実施の形態１で説明したように、ＩＴＳ≦ＯＴＳ＋ＤＴＳ／２とすれば、上述の理由により発生するゆらぎを、記録媒体１２０にＭＰ４記録する前に解消することができる。なお、ここでは、判定条件の一例して、ＯＴＳにＤＴＳ／２を加算したものと比較するようにしたが、ＤＴＳ／２以外の、一定の値を加算するようにしてもよい。
【０１２７】
【発明の効果】
以上のことにより、本発明の請求項１に記載のデータ変換装置によれば、符号化データを格納するデータテーブルと上記符号化データの異なるタイムスタンプ間隔を格納するタイムテーブルと上記符号化データのデータサイズを格納するサイズテーブルとを有するファイルに格納するためのデータを変換するデータ変換装置であって、可変フレームレートで入力された映像信号データの符号化データ及び該符号化データのデータサイズを一時格納する一時記憶手段と、上記一時記憶手段に格納された上記符号化データから、該符号化データの時間情報である入力タイムスタンプを読み取るタイムスタンプ読み取り手段と、上記符号化データの入力タイムスタンプと、外部より初期情報として入力されたタイムスタンプ間隔に基づき決定された固定フレームレートの出力タイムスタンプとを比較する判断手段と、データサイズが０であることを意味する符号化データを作成し、該データサイズが０であることを意味する符号化データに、上記入力タイムスタンプとして任意の値を付す挿入手段と、上記符号化データ、データサイズ、及びタイムスタンプに基づいて、上記データテーブル、タイムテーブル、及びサイズテーブルを作成するテーブル作成手段とを備え、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプ以下であると判断された場合には、上記一時記憶手段に格納されている上記符号化データと該符号化データのデータサイズが上記テーブル作成手段に出力されるとともに、上記判断手段が上記出力タイムスタンプを上記テーブル作成手段に出力し、上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプよりも大きいと判断された場合には、上記挿入手段が、データサイズが０であることを意味する符号化データと、該符号化データのデータサイズ及びタイムスタンプとを出力し、上記テーブル作成手段は、上記一時記憶手段と上記挿入手段から出力された上記符号化データを連続して格納したデータテーブルを作成し、上記一時記憶手段と上記挿入手段から出力された上記データサイズを連続して格納したサイズテーブルを作成し、上記判断手段から出力された上記出力タイムスタンプと上記挿入手段から出力された上記タイムスタンプとに基づいてタイムスタンプ間隔を示すタイムテーブルを作成し、作成した上記データテーブル、サイズテーブル、及びタイムテーブルを出力するようにしたので、可変フレームレートで入力された符号化データを固定フレームレートの符号化データに変換することができ、その結果、符号化データを標準のファイルフォーマットで記録する場合に、符号化データのシーク処理が簡単になる等、符号化データの利便性向上という効果が期待できる。また、上記符号化データを標準のファイルフォーマットで記録媒体等に記録する場合に、その記録に要する容量を小さくすることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における、データ変換装置の構成を示す図である。
【図２】 本発明の実施の形態１におけるデータ変換装置の、固定ＦＰＳ化手段の構成を示す図である。
【図３】 本発明の実施の形態１におけるデータ変換装置の、固定ＦＰＳ化手段内の、非更新フレーム手段、サイズ０フレーム挿入手段、及び符号化データタイムスタンプ連続化手段の構成を示す図である。
【図４】 本発明の実施の形態１における、データ変換装置の固定ＦＰＳ化手段の処理動作の一連の流れを示すフローチャート図である。
【図５】本発明の実施の形態１のデータ変換装置において、非更新フレーム挿入手段により作成された、符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図６】本発明の実施の形態１のデータ変換装置において、サイズ０フレーム挿入手段により作成された、符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図７】本発明の実施の形態１における、入力フレームのＭＰ４タイムスタンプＩＴＳがゆらぐ状態を示す図である。
【図８】本発明の実施の形態２における、データ符号化装置の構成を示す図である。
【図９】本発明の実施の形態３における、データ記録装置の構成を示す図である。
【図１０】 従来の可変フレームレートの符号化データのフレーム間隔を示す図である。
【図１１】 従来のデータ符号化装置の構成を示す図である。
【図１２】 従来のＭＰ４ファイル符号化手段により作成された、可変フレームレートの符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図１３】 従来のＭＰ４ファイル符号化手段の構成を示す図である。
【図１４】従来のＭＰ４ファイル符号化手段の処理動作の一連の流れを示すフローチャート図である。
【図１５】固定フレームレートの符号化データ（図(a)）、及びＭＰ４ファイルの構成（図(b)）を示す図である。
【図１６】従来における、Sample-To-TimeStamp Atomを用いて、与えられたＭＰ４タイムスタンプに対応するサンプルを探し出す処理の一連の流れを示すフローチャート図である。
【図１７】従来のデータ記録装置の構成を示す図である。
【符号の説明】
４２ ＭＰ４タイムスタンプ読み取り手段
４３ ｍｄａｔ ａｔｏｍ作成手段
４４ ｓｔｓｚ ａｔｏｍ作成手段
４５ ｓｔｔｓ ａｔｏｍ作成手段
４６ ｍｄａｔ ａｔｏｍ一時記憶手段
４７ ｓｔｓｚ ａｔｏｍ一時記憶手段
４８ ｓｔｔｓ ａｔｏｍ一時記憶手段
４９ 一時データ連結手段
８１ 映像取り込み手段
８２ 符号化判定手段
８３ 符号化手段
８４ 非更新フレーム作成手段
９０ ＲＴＰ送信手段
９１ ＲＴＰ受信手段
９２ ＲＴＰ受信バッファ
９３ ＲＴＰ復号化手段
９４ ＲＴＰタイムスタンプ変換手段
１００ データ変換装置
４１，１０１ 符号化データ一時記憶手段
１０２ 符号化データタイムスタンプ読み取り手段
１０３ タイムスタンプ変換手段
１０４ 固定ＦＰＳ化手段
８５，９５，１１０ ＭＰ４ファイル符号化手段
８６，９６，１２０ 記録媒体
２００ データ符号化装置
２０１ 非更新フレーム挿入手段
２０２ サイズ０フレーム挿入手段
２０３ 符号化データタイムスタンプ連続化手段
３００ データ記録装置
３１１，３２１ 処理手段
３１２ 非更新フレーム生成手段
３１３，３２３，３３２ 一時記憶手段
３１４，３２４ スイッチ
３３１ 符号化データタイムスタンプ書き換え手段
Claims (1)
- 符号化データを格納するデータテーブルと上記符号化データの異なるタイムスタンプ間隔を格納するタイムテーブルと上記符号化データのデータサイズを格納するサイズテーブルとを有するファイルに格納するためのデータを変換するデータ変換装置であって、
可変フレームレートで入力された映像信号データの符号化データ及び該符号化データのデータサイズを一時格納する一時記憶手段と、
上記一時記憶手段に格納された上記符号化データから、該符号化データの時間情報である入力タイムスタンプを読み取るタイムスタンプ読み取り手段と、
上記符号化データの入力タイムスタンプと、外部より初期情報として入力されたタイムスタンプ間隔に基づき決定された固定フレームレートの出力タイムスタンプとを比較する判断手段と、
データサイズが０であることを意味する符号化データを作成し、該データサイズが０であることを意味する符号化データに、上記入力タイムスタンプとして任意の値を付す挿入手段と、
上記符号化データ、データサイズ、及びタイムスタンプに基づいて、上記データテーブル、タイムテーブル、及びサイズテーブルを作成するテーブル作成手段とを備え、
上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプ以下であると判断された場合には、上記一時記憶手段に格納されている上記符号化データと該符号化データのデータサイズが上記テーブル作成手段に出力されるとともに、上記判断手段が上記出力タイムスタンプを上記テーブル作成手段に出力し、
上記判断手段により上記入力タイムスタンプが上記出力タイムスタンプよりも大きいと判断された場合には、上記挿入手段が、データサイズが０であることを意味する符号化データと、該符号化データのデータサイズ及びタイムスタンプとを出力し、
上記テーブル作成手段は、上記一時記憶手段と上記挿入手段から出力された上記符号化データを連続して格納したデータテーブルを作成し、上記一時記憶手段と上記挿入手段から出力された上記データサイズを連続して格納したサイズテーブルを作成し、上記判断手段から出力された上記出力タイムスタンプと上記挿入手段から出力された上記タイムスタンプとに基づいてタイムスタンプ間隔を示すタイムテーブルを作成し、作成した上記データテーブル、サイズテーブル、及びタイムテーブルを出力する、
ことを特徴とするデータ変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001374697A JP4242581B2 (ja) | 2000-12-08 | 2001-12-07 | データ変換装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-373893 | 2000-12-08 | ||
| JP2000373893 | 2000-12-08 | ||
| JP2001374697A JP4242581B2 (ja) | 2000-12-08 | 2001-12-07 | データ変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002238050A JP2002238050A (ja) | 2002-08-23 |
| JP4242581B2 true JP4242581B2 (ja) | 2009-03-25 |
Family
ID=26605482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001374697A Expired - Fee Related JP4242581B2 (ja) | 2000-12-08 | 2001-12-07 | データ変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4242581B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4254548B2 (ja) * | 2004-01-14 | 2009-04-15 | カシオ計算機株式会社 | 動画像記録装置及びプログラム |
| JP4985766B2 (ja) * | 2007-03-30 | 2012-07-25 | 富士通株式会社 | 動画記録方法および情報処理装置 |
| JP5326724B2 (ja) * | 2009-03-25 | 2013-10-30 | サクサ株式会社 | 映像処理装置および映像処理装置の制御プログラム |
| JP5493471B2 (ja) * | 2009-05-27 | 2014-05-14 | ソニー株式会社 | 情報処理装置および方法 |
| JPWO2014057555A1 (ja) | 2012-10-10 | 2016-08-25 | 富士通株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法 |
| KR102299880B1 (ko) * | 2017-04-04 | 2021-09-09 | 에스케이하이닉스 주식회사 | 데이터 변환 장치 및 방법 |
| JP7342520B2 (ja) * | 2019-08-23 | 2023-09-12 | ヤマハ株式会社 | 動画ファイルの処理方法およびプログラム |
-
2001
- 2001-12-07 JP JP2001374697A patent/JP4242581B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002238050A (ja) | 2002-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7272299B2 (en) | Data conversion apparatus, data coding apparatus, and data recording apparatus | |
| JP4538908B2 (ja) | データ変換装置及び方法 | |
| US6396874B1 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| JP4949591B2 (ja) | ビデオ誤り回復方法 | |
| JP4515465B2 (ja) | 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
| EP1811787A2 (en) | Picture encoding method and apparatus and picture decoding method and apparatus | |
| KR100772343B1 (ko) | 데이터 재생 전송 장치 및 데이터 재생 전송 방법 | |
| JP3147792B2 (ja) | 高速再生のためのビデオデータの復号化方法及びその装置 | |
| JP4242581B2 (ja) | データ変換装置 | |
| US20020015577A1 (en) | Data distribution apparatus and method, and data distribution system | |
| JPH0730886A (ja) | 画像および音声信号処理方法とその装置 | |
| US20040190628A1 (en) | Video information decoding apparatus and method | |
| EP0893030B2 (en) | Method and apparatus for looping of compressed video bitstreams | |
| JP3852114B2 (ja) | 圧縮画像データ伝送方法及び装置 | |
| JP2006165683A (ja) | 映像記録装置 | |
| JP2003259292A (ja) | マルチメディア通信装置とその信号処理モジュール | |
| JPH09172608A (ja) | 画像音声符号化装置および画像音声記録再生装置 | |
| JP2000115780A (ja) | 動画像符号化／復号装置および動画像伝送方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041008 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |