JP4917148B2 - ビットストリーム変換方法、ビットストリーム変換装置、ビットストリーム結合装置、ビットストリーム分割プログラム、ビットストリーム変換プログラム及びビットストリーム結合プログラム - Google Patents

Description

本発明は、動画信号が有する時間的相関及び空間的相関や、音声信号が有する時間的相関を利用して、動画信号や音声信号の圧縮を行うメディア信号符号化技術に関わる。特に動画ストリームや音声ストリームを含むビットストリームの形式を変換するストリーム変換技術に関する。

動画ストリームや音声ストリームなどのコンテンツデータを含むビットストリームの配信事業者にとって、ネットワークリソースの使用効率を向上させることができれば事業コストを節約する上で有利である。このため既に圧縮処理されたビットストリームを、より高圧縮率の符号化形式で符号化されたビットストリームに変換して配信するデータのファイルサイズを縮小したいというニーズがある。
またユーザ側においても、既存の狭い伝送帯域幅のネットワークを利用しても大容量の映像ストリームを気軽にプレビューできるように、ファイルサイズの小さな映像ストリームへ変換することに対するニーズがある。

図１Ａ及び図１Ｂは、所定の形式（方式Ａ）で符号化されたビットストリームを異なる形式（方式Ｂ）へ変換する従来の処理を示す図である。図１Ａは、方式Ａのビットストリームを元データへ逆変換する方式Ａ用のデコーダと、元データから方式Ｂのビットストリームへ変換する方式Ｂ用のエンコーダを組み合わせて使用する処理を示し、図１Ｂは、方式Ａのビットストリームを方式Ｂへ直接変換する処理を示す。いずれの場合も、変換処理を並列に行わずに、ビットストリームの先頭から終端まで連続的に変換処理を行う。

ここで、ビットストリームの形式は様々な要素を用いて定められる。例えばビットストリームが動画ストリームを含むときは、ビットストリームの形式を定める要素として、この動画ストリームを符号化する際に使用された符号化方式や、ストリームのビットレート及びフレームレート、又は動画の画像サイズなどが例示列挙できる。また例えばビットストリームが音声ストリームを含むときは、ビットストリームの形式を定める要素として、この音声ストリームを符号化する際に使用された符号化方式や、ストリームのビットレート及びフレームレートが例示列挙できる。

なお下記特許文献１には、映像シーンデータの符号化処理において、符号化処理を並列に効率よく行うことが可能な映像符号化方法と装置が開示されている。
下記特許文献２には、画像を複数画面に分けてから符号化した場合に、復元画像において境界部分が目立つことを防止する画像の符号化及び復号方法が開示されている。
下記特許文献３には、動画像信号を複数画面に分けてから符号化しても画質の劣化を防止し、かつ高い効率で符号化する動画像符号化装置が開示されている。
下記特許文献４には、映像の符号化に利用されるスライス構造を利用して映像の一部を重複して符号化および復号化する方法が開示されている。

また下記特許文献５には、マルチメディアデータのうち利用者から指定された指定区間と変換済区間との差部分だけを変換して、変換済メディアデータと結合して配信するマルチメディア変換処理システムが開示されている。
下記特許文献６には、個々に符号化して得られた複数のビデオストリームを連続的にデコードした場合においてもスムーズな再生画像を得ることを可能とする符号化方法が開示されている。
下記特許文献７には、ＭＰＥＧ−２ＰＳストリームのトリミングを行う際に、削除開始位置の直前データに後続するシーケンス終了情報を含むデータを生成し、削除終了位置に後続するデータの直前の位置にシーケンス開始情報を含むデータを生成し、これら生成したデータが連続するようにファイル管理情報を更新する映像音声信号の編集装置が開示されている。
下記特許文献８には、分割された複数の画像データを結合するポイントをシーンチェンジ箇所に限定する分散並列トランスコーダシステムが開示されている。

特開２００２−１９９３９２号公報 特開平９−２８４７５６号公報 特開平５−１８３８９１号公報 特開平２００４−２３６３３７号公報 特開２００６−３５２４４３号公報 国際公開第９７／１３３６７号パンフレット 特開２００５−３３３８２号公報 特開２００５−１７６０６９号公報

上述の通り、既にある形式のビットストリームを他の形式のビットストリームへ変換するニーズは非常に多く、また他の形式のビットストリームへの変換を求められるコンテンツ自体も非常に多い。しかしながら、ビットストリーム（特に動画ストリーム）の変換は処理量が大きく、現在の汎用のコンピュータを用いる以上、ストリーム再生時間に対する変換所要時間の比をまだそれ程大きくすることはできない。したがって並列処理を行わない従来の方式によれば、再生時間が長いビットストリームを変換しようとすると所要時間が長くなることは不可避である。
このような事情に鑑み、本発明は、ビットストリームを分割して並列して変換することによってビットストリームの変換時間を短縮することを目的とする。

本発明では、コンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するにあたり、第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームとし、これらを複数の第２形式の分割ビットストリームへそれぞれ並列に変換した後に相互に結合する。
本発明では、最も処理量が大きい変換処理を並列して実行することができるため、ビットストリームを変換する手段を増やすことによって変換時間を低減することが可能となる。

しかしながら、１つのビットストリームを時系列的に分割した複数のビットストリームを並列に変換すると、連続する２つのストリームの後のストリームは、直前のストリームの情報を利用しないで変換されるので、これらを結合した結合位置において大きな画質の差が生じて違和感を生じる。
またビットストリームの符号化処理の多くでは、情報発生量の変動に伴う符号化信号の伝送速度を平滑化するためにバッファと呼ばれる速度平滑化メモリが用いられ、バッファに蓄積することができる情報量であるバッファ使用量の上限を規格で定めている。そして符号化の際にこの上限を超えないようにビットレートを制御しながら符号化を行うオーバーフロー制御を行う。しかし、１つのビットストリームを複数のビットストリームに分割してこれらのストリームを並列に変換すると、あるストリームの符号化に際してオーバーフロー制御を行うときに、それ以前のストリームの符号化の際に発生した情報量を参照することができない。このため結合後のビットストリームにおいて、規格で定められるバッファ使用量の上限を超えてしまうおそれがある。

そこで本発明では、第１形式のビットストリームを分割する際に分割位置に重複部分を持たせることにより、複数の分割位置のうちから選択できるようにした。
また、本発明では、第２形式の分割ビットストリームの重複部分に含まれるキーフレームについて、第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を生成することにした。そして、結合すべき前後ストリームについて各々生成された補助情報の差が最小となるキーフレーム位置にて、複数の第２形式の分割ビットストリームを相互に結合することとした。

例えば、第１形式のビットストリームが画像ストリームを含む場合には、補助情報として、画像ストリームに含まれるフレームの情報発生量に関する情報や、フレームの画質に関する情報や、フレームの類似度の指標となる情報などを使用してよい。
補助情報として情報発生量や画質に関する情報を用いることとし、結合する前後ストリーム間の重複部分に含まれるキーフレームのうち、これらのキーフレームについてそれぞれ作成された補助情報が最小となる位置でこれらストリームを結合すれば、結合位置における画質の差は目立たなくなる。

また発生情報量として、ＶＢＶ（Video Buffering Verifier）バッファ使用量などといったバッファ使用量、すなわち符号化開始フレームから現在フレームまでを符号化する際に発生した全情報発生量から、この間の再生時間の間に送信可能な情報量を差し引いた情報量を用いてもよい。
補助情報としてこのようなバッファ使用量を用い、このバッファ使用量の差が最小となる位置にてストリームを結合することにより、結合位置において生じるバッファ使用量の変動を押さえることができ、バッファ使用量に関する規格違反を防止することができる。
また補助情報として、各フレームにおいて生じた動きベクトル情報など、フレーム同士の類似度の指標となる情報を用い、このような情報の差が最小となる位置にてストリームを結合することによっても、結合位置における画質の差を目立たなくさせることができる。

本発明の第１形態によれば、コンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するビットストリーム変換方法が提供される。本方法では、第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームとし、複数の第１形式の分割ビットストリームを複数の第２形式の分割ビットストリームへそれぞれ並列に変換し、複数の第２形式の分割ビットストリームを相互に結合する。

本発明の第２形態によれば、コンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するビットストリーム変換装置が提供される。本ビットストリーム変換装置は、第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームにする分割部と、複数の第１形式の分割ビットストリームを複数の第２形式の分割ビットストリームへそれぞれ変換する複数の変換部と、複数の第２形式の分割ビットストリームを相互に結合する結合部を備える。

本発明の第３形態によれば、コンテンツデータを含む第１形式のビットストリームを、時分割的にかつ重複部分を持つように分割した複数の第１形式の分割ビットストリームを、それぞれ第２形式の分割ビットストリームへ変換することによって得られた、複数の第２形式の分割ビットストリームを相互に結合するビットストリーム結合装置が提供される。本ビットストリーム結合装置は、結合フレーム位置決定部と、結合フレーム位置にて前後ストリームを結合するデータ結合部を備え、この結合フレーム位置決定部は、複数の第２形式の分割ビットストリームの重複部分に含まれるキーフレームについて生成された、第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を入力する。そして結合フレーム位置決定部は、結合すべき前後ストリームについて各々生成された補助情報の差が最小となるキーフレーム位置を、これら前後ストリーム同士を結合するための結合フレーム位置として決定する。

本発明の第４形態によれば、コンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するために、第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームにする分割部と、複数の第１形式の分割ビットストリームを複数の第２形式の分割ビットストリームへそれぞれ変換する複数の変換部と、複数の第２形式の分割ビットストリームを相互に結合する結合部と、を備えるビットストリーム変換装置における、分割部として設けられた分割処理用コンピュータにて動作するビットストリーム分割プログラムが提供される。本ビットストリーム分割プログラムは、第１形式のビットストリームを時系列的に分割して複数の分割ビットストリームにする分割処理を、分割処理用コンピュータに実行させる。

本発明の第５形態によれば、上記第４形態によるビットストリーム分割プログラムによって、少なくとも動画ストリームを含んだ第１形式のビットストリームを分割することにより得られる第１形式の分割ビットストリームを、第２形式の分割ビットストリームへ変換する変換部として設けられた変換処理用コンピュータにて動作するビットストリーム変換プログラムが提供される。本ビットストリーム変換プログラムは、第２形式の分割ビットストリームの重複部分に含まれるキーフレームについて、第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を生成する補助情報処理を、変換処理用コンピュータに実行させる。

本発明の第６形態によれば、上記第５形態によるビットストリーム変換プログラムにより変換された第２形式の分割ビットストリームと補助情報とを、複数の変換部からそれぞれ入力し、複数の第２形式の分割ビットストリームを相互に結合する結合部として設けられた結合処理用コンピュータにて動作するビットストリーム結合プログラムが提供される。本ビットストリーム結合プログラムは、結合すべき前後ストリームについて各々生成された補助情報の差が最小となるキーフレーム位置を、これら前後ストリーム間の結合位置として決定する結合位置決定処理と、決定された結合位置にて前後ストリームを結合するデータ結合処理と、を結合処理用コンピュータに行わせる。

所定の形式（方式Ａ）で符号化されたビットストリームを異なる形式（方式Ｂ）へ変換する従来の処理を示す図（その１）である。 所定の形式（方式Ａ）で符号化されたビットストリームを異なる形式（方式Ｂ）へ変換する従来の処理を示す図（その２）である。 本発明の実施例によるビットストリーム変換装置の全体構成の概略を示す図である。 図２に示す分割部の概略構成を示す図である。 図２に示す変換部の概略構成を示す図である。 図２に示す結合部の概略構成を示す図である。 図２に示す分割部により実現される機能ブロック図を示す図である。 本発明によるビットストリームの分割位置決定方法の第１例を示すフローチャートである。 本発明によるビットストリームの分割位置決定方法の説明図（その１）である。 本発明によるビットストリームの分割位置決定方法の説明図（その２）である。 本発明によるビットストリームの分割位置決定方法の第２例を示すフローチャートである。 図２に示す変換部により実現される機能ブロック図の第１例を示す図である。 図２に示す結合部により実現される機能ブロック図の第１例を示す図である。 本発明によるビットストリームの結合方法の第１例を示すフローチャートである。 図１２に示すビットストリームの結合方法の説明図である。 本発明によるビットストリームの結合方法の第２例を示すフローチャートである。 図１４に示すビットストリームの結合方法の説明図である。 図２に示す変換部により実現される機能ブロック図の第２例を示す図である。 図２に示す結合部により実現される機能ブロック図の第２例を示す図である。 本発明によるビットストリームの再変換方法の説明図である。

符号の説明

１ ビットストリーム変換装置
ｈ１、ｈ２、ｈｎ 補助情報
Ｓ 第２形式のビットストリーム
Ｓ１、Ｓ２、Ｓｎ 第２形式の分割ビットストリーム
ｔｘ１、ｔｘ２、ｔｘｎ 重複部分
Ｖ 第１形式のビットストリーム
Ｖ１、Ｖ２、Ｖｎ 第１形式の分割ビットストリーム

以下、添付する図面を参照して本発明の実施例を説明する。図２は、本発明の実施例によるビットストリーム変換装置の全体構成の概略を示す図である。ビットストリーム変換装置１は、コンテンツとして動画ストリームと音声ストリームを含む、所定の第１形式のビットストリームＶを、ビットストリームの形式を変換することにより、同じコンテンツの第２形式のビットストリームＳに変換する装置である。第１形式のビットストリームＶと第２形式のビットストリームとの間の形式の違いは、例えば、ストリームの符号化に使用する符号化方式の相違や、画像サイズ、ストリームのビットレート及びフレームレートの違いなどであってよい。

ビットストリーム変換装置１は、第１形式のビットストリームＶを時系列的に分割して複数の第１形式の分割ビットストリームｖ１〜ｖｎにする分割部１０と、複数の第１形式の分割ビットストリームｖ１〜ｖｎを複数の第２形式の分割ビットストリームｓ１〜ｓｎへそれぞれ変換する複数の変換部２０ａ〜２０ｎと、複数の第２形式の分割ビットストリームｓ１〜ｓｎを相互に結合することにより、第１形式のビットストリームＶと同じコンテンツと異なる形式を有する第２形式のビットストリームＳを生成する結合部３０と、を備えている。なお、以下の説明において複数の変換部２０ａ〜２０ｎを総称して変換部２０と示すことがある。

また、図２に表されたビットストリームＶの図は、分割部１０により分割された複数の第１形式の分割ビットストリームｖ１〜ｖｎが互いに重複部分を有していることを示し、例えば第１番目の分割ビットストリームｖ１と第２番目の分割ビットストリームｖ２はビットストリームの重複部分ｔｘ１を有し、第２番目の分割ビットストリームｖ２と第３番目の分割ビットストリーム（不図示）は重複部分ｔｘ２を有し、第（ｎ−１）番目の分割ビットストリーム（不図示）と第ｎ番目の分割ビットストリームｖｎは重複部分ｔｘｎ−１を有することを示している。

図３は、図２に示す分割部１０の概略構成を示す図である。分割部１０のハードウエア構成はコンピュータを用いて実現できる。すなわち分割部１０は、ＣＰＵなどのプロセッサ１１と、プロセッサ１１により実行されるオペレーティングシステム（ＯＳ）１３やプログラムが保存されるストレージユニット１２と、プロセッサ１１が実行するプログラムを読み込み、かつプロセッサ１１による処理に必要なデータを一時的に記憶させるメモリ１５と、第１形式のビットストリームＶを外部から入力し、第１形式の分割ビットストリームｖ１〜ｖｎを変換部２０ａ〜２０ｎにそれぞれ出力するするインタフェース（Ｉ／０）１６を備えて構成される。
ストレージユニット１２には、プロセッサ１１により実行されることにより、入力された第１形式のビットストリームＶを分割して、第１形式の分割ビットストリームｖ１〜ｖｎとする分割処理をプロセッサ１１に実行させる分割プログラム１４が保存されている。分割プログラム１４によるビットストリームの分割処理の内容については後述する。

図４は、図２に示す複数の変換部２０のうちのいずれか１つの変換部の概略構成を示す図である。変換部２０のハードウエア構成はコンピュータを用いて実現できる。すなわち変換部２０は、ＣＰＵなどのプロセッサ２１と、プロセッサ２１により実行されるオペレーティングシステム（ＯＳ）２３やプログラムが保存されるストレージユニット２２と、プロセッサ２１が実行するプログラムを読み込み、かつプロセッサ２１による処理に必要なデータを一時的に記憶させるメモリ２５と、第１形式の分割ビットストリームｖ１〜ｖｎのいずれかであるｖｋを分割部１０から入力し、このストリームｖｋから変換された第２形式の分割ビットストリームｓｋを結合部３０へ出力する、インタフェース２６を備えて構成される。
ストレージユニット２２には、プロセッサ２１により実行されることにより、入力された第１形式の分割ビットストリームｖｋを、第２形式の分割ビットストリームｓｋへ変換する変換処理をプロセッサ２１に実行させる変換プログラム２４が保存されている。変換プログラム２４によるビットストリームの変換処理の内容については後述する。

図５は、図２に示す結合部３０の概略構成を示す図である。結合部３０のハードウエア構成はコンピュータを用いて実現できる。すなわち、結合部３０は、ＣＰＵなどのプロセッサ３１と、プロセッサ３１により実行されるオペレーティングシステム（ＯＳ）３３やプログラムが保存されるストレージユニット３２と、プロセッサ３１が実行するプログラムを読み込み、かつプロセッサ３１による処理に必要なデータを一時的に記憶させるメモリ３５と、第２形式の分割ビットストリームｓ１〜ｓｎを変換部２０から入力し、第２形式のビットストリームＳを外部へ出力する、インタフェース３６を備えて構成される。
ストレージユニット３２には、プロセッサ３１により実行されることにより、複数の第２形式の分割ビットストリームｓ１〜ｓｎを相互に結合することにより、第１形式のビットストリームＶと同じコンテンツと異なる形式を有する第２形式のビットストリームＳを生成する結合処理をプロセッサ３１に実行させる結合プログラム３４が保存されている。結合プログラム３４によるビットストリームの変換処理の内容については後述する。

図３〜図５に示すハードウエア構成例では、分割部１０、変換部２０及び結合部３０が別個のコンピュータであるものとして構成したが、本発明によるビットストリーム変換装置の構成はこれに限定されるものではない。複数の変換部２０ａ〜２０ｎがそれぞれ並列に行う変換処理を別個のプロセッサによって行いうる構成であれば、他のいかなる構成を採用してもよい。

図６は、図２に示す分割部１０により実現される機能ブロック図を示す図である。図３に示すプロセッサ１１が分割プログラム１４を実行することにより、分割部１０は、第１形式のビットストリームＶを複数の分割ビットストリームｖ１〜ｖｎへと分割するための分割位置を定める分割位置決定処理を行う分割位置決定部１１１と、分割位置決定部１１１が決定した分割位置において第１形式のビットストリームＶを分割する分割処理を行うストリーム分割部１１２を実現する。以下、分割部１０によるビットストリームの分割方法を説明する。

図２を参照して説明したように、分割部１０は、第１形式のビットストリームＶを複数の分割ビットストリームｖ１〜ｖｎへと分割する際に、分割ビットストリームｖ１〜ｖｎ同士の分割箇所に重複部分が生じるように、各分割ビットストリームｖ１〜ｖｎの開始位置と終了位置を決定する。図７は、本発明によるビットストリームの分割位置決定方法の第１例を示すフローチャートである。この例では、各分割ビットストリームｖ１〜ｖｎに含まれるキーフレームがほぼ同じ数になるようにビットストリームの分割位置を定める。本明細書において用語「キーフレーム」とは、フレーム間予測符号化を用いずに生成したフレームを指し示すために使用される。キーフレームの例としては、例えばＭＰＥＧ形式の動画ストリームにおけるＩピクチャを挙げることができる。

ステップＳ１０において分割位置決定部１１１は、第１形式のビットストリームＶに含まれる全ての画像キーフレームを検索する。ここでｚｖを画像キーフレームの総数としＮをビットストリームの分割数とする。分割位置決定部１１１は、ｉ番目の分割ビットストリームｖｉの仮先頭位置ｔｄｓを、（（ｉ−１）×（ｚｖ／Ｎ）＋１）番目の画像キーフレームの位置から（（ｉ−１）×（ｚｖ／Ｎ）＋２）番目の画像キーフレームの位置までの間のいずれかの位置に決定する（ｉは１からＮまでの整数）。
また分割位置決定部１１１は、ｉ番目の分割ビットストリームｖｉの仮終了位置ｔｄｅを、（ｉ×（ｚｖ／Ｎ）＋１）番目の画像キーフレームの位置から（ｉ×（ｚｖ／Ｎ）＋２）番目の画像キーフレームの位置までの間のいずれかの位置に決定する。

ステップＳ１１では分割位置決定部１１１は、各分割ビットストリームｖｉについて、画像ストリームに関する開始位置ｔｓｖを決定する。このとき分割位置決定部１１１は、ステップＳ１０にて決定した仮先頭位置ｔｄｓから所定時間ｔａｖ遡った時間よりも前に現れる画像キーフレームの先頭位置を、開始位置ｔｓｖとして決定する。仮先頭位置ｔｄｓ、開始位置ｔｓｖ及び所定時間ｔａｖの関係を図８Ａに示す。なお、図８Ａ及び図８Ｂに示される各升目はそれぞれフレームを示し、Ａと記載されたフレームは音声フレームを示しＶと記載されたフレームは画像フレームを示す。また梨地模様で示されたフレームはキーフレームを示す。

ステップＳ１２において分割位置決定部１１１は、各分割ビットストリームｖｉについて、画像ストリームに関する終了位置ｔｅｖを決定する。このとき分割位置決定部１１１は、ステップＳ１０にて決定した仮終了位置ｔｄｅから所定時間ｔｂｖ進んだ時間よりも後に現れる画像キーフレームの先頭位置の直前の位置を、終了位置ｔｅｖとして決定する。仮終了位置ｔｄｅ、終了位置ｔｅｖ及び所定時間ｔｂｖの関係を図８Ａに示す。
ステップＳ１１及びＳ１２のように画像ストリームに関する開始位置と終了位置を決定することにより、時系列上隣り合う分割ストリームｖｉとｖｉ＋１とは、少なくとも所定時間ｔａｖ＋ｔｂｖ程度の重複部分を有することになる。

ステップＳ１３において分割位置決定部１１１は、各分割ビットストリームｖｉについて、音声ストリームに関する開始位置ｔｓａを決定する。このとき分割位置決定部１１１は、ステップＳ１１にて決定した画像ストリームの先頭位置ｔｓｖから所定時間ｔａａ遡った時間よりも前に現れる音声キーフレームの先頭位置を、音声ストリームの開始位置ｔｓａとして決定する。各開始位置ｔｓａ、ｔｓｖ及び所定時間ｔａａの関係を図８Ａに示す。

ステップＳ１４において分割位置決定部１１１は、各分割ビットストリームｖｉについて、音声ストリームに関する終了位置ｔｅａを決定する。このとき分割位置決定部１１１は、ステップＳ１２にて決定した画像ストリームの終了位置ｔｅｖから所定時間ｔｂａ進んだ時間よりも後に現れる音声キーフレームの先頭位置を、音声ストリームの終了位置ｔｅａとして決定する。各終了位置ｔｅａ、ｔｅｖ及び所定時間ｔｂａの関係を図８Ａに示す。
ステップＳ１３及びＳ１４のように音声ストリームに関する開始位置と終了位置を決定することにより、各分割ストリームの音声ストリームは、画像ストリームより長い重複部分を有することになる。音声ストリームに関する重複部分を画像ストリーム関する重複部分よりも長く設定する理由は、人間が音声の乱れを画像の乱れよりも敏感に感知することに由来する。すなわち音声ストリームに関する重複部分を長くすることによって、音声ストリーム同士をより自然に結合するための様々な音声処理を容易にすることが可能となる。

ストリーム分割部１１２は、それぞれの分割ストリームに対して分割位置決定部１１１が決定した開始位置〜終了位置のビットストリームを、第１形式のビットストリームＶからそれぞれ切り出すことによって、第１形式の分割ストリームｖ１〜ｖｎを抽出する。

図９は、本発明によるビットストリームの分割位置決定方法の第２例を示すフローチャートである。図９に示す方法では、各分割ビットストリームｖ１〜ｖｎに含まれるデータ長（ビット数）がほぼ同じになるようにビットストリームの分割位置を定める。
ステップＳ２０において、分割位置決定部１１１は、ｉ番目の分割ビットストリームｖｉの仮先頭位置ｔｄｓを、ビットストリーム上の（（ｉ−１）×（Ｌ／Ｎ）＋１）番目のビット位置に決定する（ｉは１からＮまでの整数）。ここに、ここでＬをビットストリームＶの総ビット数、ＮをビットストリームＶの分割数とする。

また分割位置決定部１１１は、ｉ番目の分割ビットストリームｖｉの仮終了位置ｔｄｅをビットストリーム上の（ｉ×（Ｌ／Ｎ）＋１）番目のビット位置に決定する。その後、分割位置決定部１１１は、図７に示すフローチャートのステップＳ１１〜Ｓ１４と同様にして各分割ビットストリームの開始位置及び終了位置を決定する。

図１０は、図２に示す変換部２０により実現される機能ブロック図の第１例を示す図である。図４に示すプロセッサ２１が変換プログラム２４を実行することにより、変換部２０は、第１形式の分割ビットストリームｖｋ（ｋは１〜ｎの整数）を第２形式のビットストリームｓｋに変換するエンコーダ１２１と、エンコーダ１２１が第２形式のビットストリームｓｋを生成する際の各時刻のビットレートを制御するビットレート制御部１２２と、メモリ２５内の所定の記憶領域に割り当てられ速度平滑化メモリとして利用されるストリームバッファ１２３の使用量を検出するバッファ使用量検出部１２４と、後述する所定の補助情報ｈｋを生成する補助情報作成部１２５と、を実現する。

補助情報ｈｋは第２形式のビットストリームｓｋの画像キーフレーム毎に生成される。ここで変換部２０により変換される第１形式の分割ビットストリームｖ１〜ｖｎは、重複部分ｔｘ１〜ｔｘｎを有しているため、変換後の第２形式の分割ビットストリームｓｋ同士もまた重複部分を有する。補助情報作成部１２５は、このような第２形式の分割ビットストリームｓｋ同士の重複部分に含まれる画像キーフレームについてのみ補助情報ｈｋを生成してもよい。

補助情報ｈｋは、各画像フレームを生成する際に発生した情報量を示す情報であってよい。このような情報には、例えば、エンコーダ１２１が各画像フレームを生成する時の情報発生量ｈｋｆや、ストリームバッファ１２３の使用量ｈｋｖ（以下、「バッファ使用量」と示す）などが含まれる。
また補助情報ｈｋは、各画像フレームの画質を示す画質情報ｈｋｑであってもよい。このような情報には、例えば、エンコーダ１２１による各画像フレームの符号化に使用された量子化サイズ、符号化誤差や、例えばＤＣＴ係数などのフレーム内符号化で生じた係数の分布などの情報が含まれる。画質情報ｈｋｑは、画像フレームがマクロブロックのような小区画に分割されて符号化されている場合にはマクロブロック毎に値を有する数値の組組合せとして生成してもよく、画像フレーム全体に含まれる全マクロブロックの平均値として生成してもよい。
また補助情報ｈｋは、各画像フレーム間の類似度の指標となる類似指標情報ｈｋｓであってもよい。このような情報には、各画像フレームの動きベクトル情報が含まれる。
補助情報作成部１２５は、作成する補助情報ｈｋの内容に応じて、必要な情報をバッファ使用量検出部１２４やエンコーダ１２１から入力し補助情報ｈｋを生成する。

図１１は、図２に示す結合部３０により実現される機能ブロック図の第１例を示す図である。図５に示すプロセッサ３１が結合プログラム３４を実行することにより、結合部３０は、変換部２０ａ〜２０ｎからそれぞれ入力した補助情報ｈ１〜ｈｎに基づいて、変換部２０ａ〜２０ｎからそれぞれ入力した重複部分を有する第２形式の分割ビットストリームｓ１〜ｓｎ同士の接合フレーム位置を決定する結合フレーム位置決定部１３１と、第２形式の分割ビットストリームｓ１〜ｓｎの重複部分に含まれる不要データを削除する不要データ削除部１３２と、不要データが削除された分割ビットストリームｓ１〜ｓｎ同士を結合して、第２形式のビットストリームＳを作成するデータ結合部１３３と、を実現する。

結合フレーム位置決定部１３１は、時系列上隣接する２つの分割ビットストリーム間の重複部分の中からこれら２つの分割ビットストリーム同士を接合するべきキーフレーム位置である接合フレーム位置を決定する。
不要データ削除部１３２は、第２形式の各分割ビットストリームｓ１〜ｓｎについて、当該分割ビットストリームの端から接合フレーム位置までの部分を削除することにより分割ビットストリームｓ１〜ｓｎ間の重複部分を無くす。

以下、本発明によるビットストリームの結合方法を説明する。ここでは時系列上隣接する２つの分割ビットストリームｓｋ及びｓｋ＋１を結合する場合を想定する。図１２は、本発明によるビットストリームの結合方法の第１例を示すフローチャートである。
ステップＳ３０において結合フレーム位置決定部１３１は、ストリームｓｋについて作成された補助情報ｈｓｋと、ストリームｓｋ＋１について作成された補助情報ｈｓｋ＋１との間の差分Δｈを算出する。

補助情報ｈｓｋと補助情報ｈｓｋ＋１は、２つのストリームｓｋ及びｓｋ＋１間の重複部分の各キーフレーム毎に作成されている。ここで、以下の説明では分割前の第１形式のビットストリームＶの各フレームの時刻ｔ又は位置ｔを、ビットストリームＶを最初から最後まで通して再生した場合のそれのフレームの再生時刻又は再生位置を用いて示すものとする。そして第２形式の分割ストリームｓｋ及びｓｋ＋１に含まれる各フレームの時刻や位置を示す場合には、それぞれのフレームの変換元になった第１形式のビットストリームＶ内のフレームの時刻や位置を用いて示すこととする。そしてある時刻ｔのキーフレームについて作成された補助情報をｈｓｋ（ｔ）及びｈｓｋ＋１（ｔ）と示す。

上述の通り分割部１０は第１形式のビットストリームＶをキーフレームの位置で分割している。したがって変換部２０が分割ビットストリームの変換処理を行うときに、画像キーフレームの位置を変えずに変換処理を行うか、又は第２形式の分割ビットストリームｓ１〜ｓｎにおける画像キーフレームの出現頻度を第１形式の分割ビットストリームｖ１〜ｖｎにおける画像キーフレームの出現頻度の整数倍となるように変換処理を行うことによって、図１３に示すように、２つの分割ビットストリームｓｋ及びｓｋ＋１の間において重複部分における画像キーフレームの位置は一致する。

結合フレーム位置決定部１３１は、各キーフレーム毎に、補助情報の差分Δｈ（ｔ）を算出する。例えば、補助情報ｈｓｋ（ｔ）が、時刻ｔのキーフレームを生成した時の情報発生量ｈｓｋｆ（ｔ）、時刻ｔにおけるバッファ使用量ｈｓｋｖ（ｔ）、時刻ｔのキーフレームの画質情報ｈｓｋｑ（ｔ）及び時刻ｔのキーフレームの類似指標情報ｈｓｋｓ（ｔ）を含み、また補助情報ｈｓｋ＋１（ｔ）が、時刻ｔのキーフレームを生成した時に情報発生量ｈｓｋ＋１ｆ（ｔ）、時刻ｔにおけるバッファ使用量ｈｓｋ＋１ｖ（ｔ）、時刻ｔのキーフレームの画質情報ｈｓｋ＋１ｑ（ｔ）及び時刻ｔのキーフレームの類似指標情報ｈｓｋ＋１ｓ（ｔ）を含む場合には、差分Δｈ（ｔ）を下式（１）により算出してよい。

Δｈ（ｔ）＝α×Δｈｆ（ｔ）＋β×Δｈｖ（ｔ）＋γ×Δｈｑ（ｔ）＋η×Δｈｓ（ｔ） …（１）

ここで、α、β、γ及びηは所定の定数であり、
Δｈｆ（ｔ）＝｜ｈｓｋｆ（ｔ）−ｈｓｋ＋１ｆ（ｔ）｜ …（２）、
Δｈｖ（ｔ）＝｜ｈｓｋｖ（ｔ）−ｈｓｋ＋１ｖ（ｔ）｜ …（３）、
Δｈｑ（ｔ）＝｜ｈｓｋｑ（ｔ）−ｈｓｋ＋１ｑ（ｔ）｜ …（４）、
Δｈｓ（ｔ）＝｜ｈｓｋｓ（ｔ）−ｈｓｋ＋１ｓ（ｔ）｜ …（５）、
とする。

ステップＳ３１において結合フレーム位置決定部１３１は、ビットストリームｓｋ及びｓｋ＋１の重複部分に含まれるキーフレーム位置のうちから、補助情報の差分Δｈ（ｔ）が最小となる位置を検索し、見つかった位置（時刻）ｔを結合フレーム位置の候補とする。

ステップＳ３２において結合フレーム位置決定部１３１は、結合フレーム位置の候補ｔにおいてビットストリームｓｋとｓｋ＋１とを結合した場合に、結合後のビットストリームがオーバーフローを起こす、すなわちビットストリームの各時点における情報量が、速度平滑化メモリであるバッファの使用量について所定の規格で定めた上限値を超えるか否かを判定する。以下の説明において、ビットストリームの各時点における情報量がバッファ使用量について所定の規格で定めた上限値を超えることによってこの規格に違反することを表すために、オーバーフローを起こす又はオーバーフローが発生するという表現を用いることがある。

結合フレーム位置決定部１３１は、例えば以下のようにしてこの判定処理を行うことができる。いま結合位置をａとすると、結合フレーム位置決定部１３１は、ビットストリームｓｋを符号化したときの時刻ａにおけるバッファ使用量ｈｓｋｖ（ａ）は、ビットストリームｓｋ内の時刻ａにおけるキーフレームについて作成された補助情報ｈｓｋ（ａ）から知ることができる。
また結合フレーム位置決定部１３１は、時刻ａから時刻ａより後の時刻ｂまでの間に、ビットストリームｓｋ＋１を符号化したときの発生した情報発生量を、ビットストリームｓｋ＋１を符号化したときの時刻ａにおけるバッファ使用量ｈｓｋ＋１ｖ（ａ）と、時刻ｂにおけるバッファ使用量ｈｓｋ＋１ｖ（ｂ）の差に基づいて算出することができる。
したがって、結合フレーム位置決定部１３１は、ビットストリームｓｋ及びｓｋ＋１を時刻ａにおいて結合したときに、その後の時刻ｂにおけるバッファ使用量ｈｖ（ｂ）を、ビットストリームｓｋを符号化したときの時刻ａにおけるバッファ使用量ｈｓｋｖ（ａ）と、ビットストリームｓｋ＋１を符号化したときの時刻ａ及びｂにおけるバッファ使用量ｈｓｋ＋１ｖ（ａ）、ｈｓｋ＋１ｖ（ｂ）とに基づいて算出することができる。
結合フレーム位置決定部１３１は、このようにして算出したバッファ使用量ｈｖ（ｂ）を、時刻ａから所定の時間長だけ監視し、この間にバッファ使用量ｈｖ（ｂ）が所定の上限値を超えるか否かを判定することによって、オーバーフローを起こすか否かを判定する。

ステップＳ３２にてオーバーフローを起こさないと判定された場合には、結合フレーム位置決定部１３１は、ステップＳ３２にて判定の対象となった候補の位置を、結合フレーム位置として決定する（ステップＳ３３）。ステップＳ３２にてオーバーフローを起こすと判定された場合には、処理はステップＳ３４に進む。
ステップＳ３４において結合フレーム位置決定部１３１は、ビットストリームｓｋ及びｓｋ＋１の間の重複部分から、すでに結合フレーム位置の候補となったキーフレーム位置以外のキーフレーム位置のうちΔｈ（ｔ）が最小となる位置を検索して、次の結合フレーム位置の候補を探す。
次の結合フレーム位置の候補が見つかった場合には、その候補についてステップＳ３２による判定処理を行い（ステップＳ３５）、候補が見つからなくなるまでステップＳ３２〜ステップＳ３５を繰り返す。

ビットストリームｓｋ及びｓｋ＋１の間の重複部分に含まれる全てのキーフレームについてステップＳ３２による判定処理が行われ、もはやオーバーフローを起こさない結合位置が見つからない場合には、ステップＳ３６において結合フレーム位置決定部１３１は、ビットストリームｓｋを符号化したときのバッファ使用量ｈｓｋｖ（ｔ）と、ビットストリームｓｋ＋１を符号化したときのバッファ使用量ｈｓｋ＋１ｖ（ｔ）との差が最も小さいキーフレームの位置を、結合フレーム位置に決定し、オーバーフローによる情報欠落を最小にする。

図１４は、本発明によるビットストリームの結合方法の第２例を示すフローチャートである。第２例の方法では、ビットストリームｓｋとｓｋ＋１との間の結合フレーム位置の候補としてより多くの候補位置を使用する。このため変換部２０は、第１形式の分割ビットストリームｖｋとｖｋ＋１を第２形式の分割ビットストリームｓｋとｓｋ＋１へそれぞれ変換するほかにも、分割ビットストリームｖｋとｖｋ＋１の重複部分内に包含される部分ビットストリームｖｋ’１についても、第２形式の部分ビットストリームｓｋ’１へ変換する。図１５にビットストリームｓｋ、ｓｋ＋１及びこれらの重複部分内に包含される部分ビットストリームｓｋ’１の関係を示す。

なお、時系列上連続する２つビットストリームからなる組（ｓｋ、ｓｋ＋１）１個に対して、これらビットストリーム間の重複部分に包含される複数の部分ビットストリームｓｋ’１、ｓｋ’２、…を生成してもよい。このような複数の部分ビットストリームｓｋ’１、ｓｋ’２は、例えば区間やその長さ、または第２形式への変換に使用するビットレートなどを変えて生成してもよい。

以下の説明において、部分ビットストリームｓｋ’１に含まれる各フレームの位置もまた、それぞれのフレームの変換元になった第１形式のビットストリームＶのフレームの再生時刻で示すこととする。
変換部２０は、部分ビットストリームｓｋ’１、ｓｋ’２、…内の各画像キーフレームについても補助情報ｈｓｋ’１（ｔ）、ｈｓｋ’２（ｔ）、…を生成する。

図１４に示すステップＳ４０〜Ｓ４５において結合フレーム位置決定部１３１は、図１２に示した結合方法のステップＳ３０〜Ｓ３５と同様に、ビットストリームｓｋとｓｋ＋１とを直接結合する結合フレーム位置を検索する。
ビットストリームｓｋとｓｋ＋１とを直接結合する結合フレーム位置がビットストリーム見つからなかった場合には、結合フレーム位置決定部１３１はステップＳ４６において、あるキーフレームの位置ｔ１（図１５に図示）におけるビットストリームｓｋの補助情報ｈｓｋ（ｔ１）と、部分ビットストリームｓｋ’１の補助情報ｈｓｋ’１（ｔ１）との間の差分Δｈ１（ｔ１）を算出する。
また結合フレーム位置決定部１３１は、位置ｔ１より後の位置ｔ２（図１５に図示）における部分ビットストリームｓｋ’１の補助情報ｈｓｋ’１（ｔ２）とビットストリームｓｋの補助情報ｈｓｋ＋１（ｔ２）との間の差分Δｈ２（ｔ２）を算出する。Δｈ１（ｔ１）とΔｈ２（ｔ２）の算出は、上式（１）〜（５）により示したビットストリームｓｋとｓｋ＋１との間の補助情報の差分Δｈ（ｔ）の算出と同様に行ってよい。

ステップＳ４７において結合フレーム位置決定部１３１は、ビットストリームｓｋと部分ビットストリームｓｋ’１とを位置ｔ１で結合し、かつ部分ビットストリームｓｋ’１とビットストリームｓｋ＋１とを位置ｔ２で結合してもオーバーフローを起こさず、かつ、Δｈ１（ｔ１）＋Δｈ２（ｔ２）を検索して、これらの位置ｔ１及びｔ２を結合フレーム位置に決定する。
複数の部分ビットストリームｓｋ’１、ｓｋ’２、…を使用できる場合には、これらの部分ビットストリームそれぞれについてステップＳ４６及びＳ４７を繰り返し、最も補助情報の差が最小となる結合フレーム位置を見付けてもよい。

部分ビットストリームｓｋ’１を使用し、かつ結合フレーム位置として２つのフレーム位置ｔ１及びｔ２が決定されたとき、データ結合部１３３は、図１５に示すとおりビットストリームｓｋと部分ビットストリームｓｋ’１とを位置ｔ１で結合し、かつ部分ビットストリームｓｋ’１とビットストリームｓｋ＋１とを位置ｔ２で結合する。したがって結合後のストリームＳには、ビットストリームｓｋのｔ１までの部分Δｓ１と、部分ビットストリームｓｋ’１のｔ１〜ｔ２の部分Δｓ２と、ビットストリームｓｋ＋１のｔ２から後の部分Δｓ２が含まれることになる。

図１６は、図２に示す変換部２０により実現される機能ブロック図の第２例を示す図であり、図１７は、図２に示す結合部３０により実現される機能ブロック図の第２例を示す図である。本構成では、図１２に示すフローチャートのステップＳ３５において、ビットストリームｓｋとｓｋ＋１をどこの位置で結合してもオーバーフローを起こす場合に、ビットストリームｓｋとｓｋ＋１の間の重複区間のビットストリームについて、第１形式から第２形式への変換処理をやり直す。
このため図１７に示す結合フレーム位置決定部１３１は、ある重複区間について結合位置を決定する際にオーバーフローが起きたことを検出すると、この区間のビットストリームの変換を行った変換部２０のいずれかに対して、オーバーフローが起きたことを知らせるエラー情報ｅｋを出力する。

いま結合フレーム位置決定部１３１が、ビットストリームｓｋとｓｋ＋１の間の結合位置を決定しようとした際に、これらのストリーム間の重複部分Ｐ内のどのキーフレームで結合使用としてもオーバーフローが発生するとする。
このときエラー情報ｅｋには、重複部分Ｐの開始位置ａにおけるビットストリームｓｋのキーフレームについて作成されたバッファ使用量ｈｓｋｖ（ａ）及びキーフレームの画質情報ｈｓｋｑ（ａ）と、重複部分Ｐの終了位置ｂにおけるビットストリームｓｋ＋１のキーフレームについて作成されたバッファ使用量ｈｓｋ＋１ｖ（ｂ）及びキーフレームの画質情報ｈｓｋ＋１ｑ（ｂ）とを、少なくとも含める。

図１６に示す変換部２０は、エラー情報ｅｋを受信すると、既に入力された第１形式の分割ビットストリームのうちの区間ａ〜ｂの部分のエンコードを再度実行する。このときビットレート制御部１２２は、エンコード開始時におけるストリームバッファ１２３の使用量がエラー情報ｅｋにより与えられたバッファ使用量ｈｓｋｖ（ａ）であるものと仮定して、エンコード終了時のストリームバッファ１２３の使用量が、エラー情報ｅｋにより与えられたバッファ使用量ｈｓｋ＋１ｖ（ｂ）と等しくなるように、オーバーフロー制御を行う。

また、ビットレート制御部１２２は、再変換処理を施す際に重複部分Ｐのビットストリームの開始位置ａのキーフレームについて生じる画質情報が、エラー情報ｅｋにより与えられた画質情報ｈｓｋｑ（ａ）と等しくなり、終了位置ｂのキーフレームについて生じる画質情報が、エラー情報ｅｋにより与えられた画質情報ｈｓｋ＋１ｑ（ｂ）と等しくなるようにビットレート制御する。このように再変換処理により得られる重複部分のビットストリームの開始位置ａと終了位置ｂの画質を、それぞれ第２形式のビットストリームｓｋ及びｓｋ＋１の画質と合わせることにより、結合位置ａ及びｂにおいて画質の変動を目立たなくさせる。

このようにビットレート制御部１２２は、重複部分Ｐのビットストリームの変換処理を行う際に、重複部分Ｐの開始位置ａと終了位置ｂとの間におけるストリームバッファ１２３の使用量の差が（ｈｓｋ＋１ｖ（ｂ）−ｈｓｋｖ（ａ））となり、かつ、重複部分Ｐの開始位置ａにおける画質情報が画質情報ｈｓｋｑ（ａ）と等しく、また終了位置ｂにおける画質情報が画質情報ｈｓｋ＋１ｑ（ｂ）と等しくなるように、エンコーダ１２１によりエンコードされるビットストリームのビットレートを制御する。

ビットレート制御部１２２は、重複部分Ｐの開始位置ａ〜終了位置ｂの間に発生する情報発生量を制御するのと同時に、開始位置ａ及び終了位置ｂにおける画質をエラー情報ｅｋにより与えられた画質情報ｈｓｋｑ（ａ）及び画質情報ｈｓｋ＋１ｑ（ｂ）によって指定される画質に合わせる必要がある。このに、図１８に示すように、開始位置ａ〜終了位置ｂの途中の画質を連続的に変化させることによって（すなわちビットレートを変化させることによって）、区間ａ〜ｂの間で生じる情報発生量を増減させてもよい。図示の例では、区間ａ〜ｂの途中の画質を一点鎖線Ｌ１及び二点鎖線Ｌ２のように変化させながらエンコードした２つのビットストリームは、その開始位置ａと終了位置ｂにおける画質情報がそれぞれ画質情報ｈｓｋｑ（ａ）及び画質情報ｈｓｋ＋１ｑ（ｂ）と等しくなるにも関わらず、区間ａ〜ｂの間で生じる情報発生量が異なる。

以上、本発明の好適な実施態様について詳述したが、当業者が種々の修正及び変更をなし得ること、並びに、特許請求の範囲は本発明の真の精神および趣旨の範囲内にあるこの様な全ての修正及び変更を包含することは、本発明の範囲に含まれることは当業者に理解されるべきものである。

本発明は、動画信号が有する時間的相関及び空間的相関や、音声信号が有する時間的相関を利用して、動画信号や音声信号の圧縮を行うメディア信号符号化技術に利用可能である。特に動画ストリームや音声ストリームを含むビットストリームの形式を変換するストリーム変換技術に利用可能である。

Claims (7)

1. 動画ストリーム及び音声ストリームを含んだコンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するビットストリーム変換方法であって、
   前記第１形式のビットストリームを、分割位置に重複部分を持たせながら時系列的に分割して複数の第１形式の分割ビットストリームとし、
   前記複数の第１形式の分割ビットストリームを、複数の第２形式の分割ビットストリームへそれぞれ並列に変換し、
   前記複数の第２形式の分割ビットストリームを相互に結合し、
   前記第１形式のビットストリームを分割するとき、音声ストリームに関する分割箇所の重複部分の時間長を、動画ストリームに関する分割箇所の重複部分の時間長よりも長くすることを特徴とするビットストリーム変換方法。
2. 前記第１形式のビットストリームは動画ストリームを含み、
   前記第２形式の分割ビットストリームの前記重複部分に含まれるキーフレームについて、前記第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を生成し、
   前記複数の第２形式の分割ビットストリームを相互に結合する際に、結合すべき前後ストリームについて各々生成された前記補助情報の差が最小となるキーフレーム位置を、結合フレーム位置として決定し、
   前記結合フレーム位置にて前記前後ストリームを結合する、
   ことを特徴とする請求項１に記載のビットストリーム変換方法。
3. 動画ストリーム及び音声ストリームを含んだコンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するビットストリーム変換装置であって、
   前記第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームにする分割部と、
   前記複数の第１形式の分割ビットストリームを、複数の第２形式の分割ビットストリームへそれぞれ変換する複数の変換部と、
   前記複数の第２形式の分割ビットストリームを相互に結合する結合部と、を備え、
   前記分割部は、前記第１形式のビットストリームを分割する際に、音声ストリームに関する分割箇所の重複部分の時間長が、動画ストリームに関する分割箇所の重複部分の時間長よりも長くなるように、分割位置に重複部分を持たせることを特徴とするビットストリーム変換装置。
4. 前記第１形式のビットストリームは動画ストリームを含み、
   前記変換部は、前記複数の第２形式の分割ビットストリームの前記重複部分に含まれるキーフレームについて、前記第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を生成する補助情報生成部を備え、
   前記結合部は、結合すべき前後ストリームについて各々生成された前記補助情報の差が最小となるキーフレーム位置を、これら前後ストリーム同士を結合するための結合フレーム位置として決定する結合フレーム位置決定部と、
   前記結合フレーム位置にて前記前後ストリームを結合するデータ結合部と、
   を備えることを特徴とする請求項３に記載のビットストリーム変換装置。
5. 画像ストリームを含んだコンテンツデータを含む第１形式のビットストリームを、時分割的にかつ重複部分を持つように分割した複数の第１形式の分割ビットストリームを、それぞれ第２形式の分割ビットストリームへ変換することによって得られた、複数の第２形式の分割ビットストリームを相互に結合するビットストリーム結合装置であって、
   前記複数の第２形式の分割ビットストリームの前記重複部分に含まれるキーフレームについて生成された、前記第２形式の分割ビットストリーム同士の結合位置を選択するために参照される、少なくともフレーム間の類似度を示す所定の補助情報を入力して、結合すべき前後ストリームについて各々生成された前記補助情報の差が最小となるキーフレーム位置を、これら前後ストリーム同士を結合するための結合フレーム位置として決定する結合フレーム位置決定部と、
   前記結合フレーム位置にて前記前後ストリームを結合するデータ結合部と、
   を備えることを特徴とするビットストリーム結合装置。
6. 動画ストリーム及び音声ストリームを含んだコンテンツデータを含む第１形式のビットストリームを、第２形式のビットストリームへ変換するために、前記第１形式のビットストリームを時系列的に分割して複数の第１形式の分割ビットストリームにする分割部と、前記複数の第１形式の分割ビットストリームを複数の第２形式の分割ビットストリームへそれぞれ変換する複数の変換部と、前記複数の第２形式の分割ビットストリームを相互に結合する結合部と、を備えるビットストリーム変換装置における、前記分割部として設けられた分割処理用コンピュータにて動作するビットストリーム分割プログラムであって、
   第１形式のビットストリームを時系列的に分割して複数の分割ビットストリームにする分割処理を、前記分割処理用コンピュータに実行させ、この分割処理において、音声ストリームに関する分割箇所の重複部分の時間長が、動画ストリームに関する分割箇所の重複部分の時間長よりも長くなるように、分割位置に重複部分を持たせることを特徴とするビットストリーム分割プログラム。
7. 請求項６に記載のビットストリーム分割プログラムによって、少なくとも動画ストリームを含んだ前記第１形式のビットストリームを分割することにより得られる前記第１形式の分割ビットストリームを、前記第２形式の分割ビットストリームへ変換する前記変換部として設けられた変換処理用コンピュータにて動作するビットストリーム変換プログラムであって、
   前記第２形式の分割ビットストリームの前記重複部分に含まれるキーフレームについて、前記第２形式の分割ビットストリーム同士の結合位置を選択するために参照される所定の補助情報を生成する補助情報処理を、前記変換処理用コンピュータに実行させることを特徴とするビットストリーム変換プログラム。

Images