JP4389883B2 - 符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体 - Google Patents

Description

本発明は、符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体に関し、例えばＩＴＵ（International Telecommunication Union ）−Ｔ勧告Ｈ．２６４（以下、単にＨ．２６４と呼ぶ）に従ってビデオデータを処理する場合等に適用することができる。本発明は、入力ビデオデータ、入力符号化データをピクチャー単位で複数系統に振り分け、各系統をそれぞれ符号化、復号化することにより、高速処理困難な装置を用いて高フレームレートのビデオデータを符号化処理、復号化処理することができるようにする。

近年、動画の伝送等では、Ｈ．２６４に従ってＮＴＳＣ（National Television System Committee）方式のビデオ信号を符号化処理している。ここでＨ．２６４では、ＭＰＥＧ（Moving Picture Experts Group）２に比して、多数の予測モードが用意されており、また多数の参照ピクチャーを使用することができる。

また近年、映像機器では、ビデオ信号を高フレームレート化して画質を向上する工夫が提案されており、例えば特開２００５−１９８２６９号公報では、高フレームレートのビデオ信号を低フレームレートのビデオ信号に変換する工夫が提案されている。

ところで高フレームレートのビデオ信号を符号化処理する場合、ＮＴＳＣ方式のビデオ信号を符号化処理する場合に比して情報量が増大することから、符号化装置の負担が著しく増大する。その結果、高フレームレートのビデオデータを符号化処理する場合、高速処理可能な高性能の符号化装置が必要になる問題がある。また復号側にも、高速処理可能な高性能の装置が必要になる問題がある。
特開２００５−１９８２６９号公報

本発明は以上の点を考慮してなされたもので、高速処理困難な装置を用いて高フレームレートのビデオデータを符号化処理、復号化処理することができる符号化装置、符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、符号化装置において、ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配部と、分配部により振り分けられたビデオデータを符号化処理して符号化データを生成する複数の符号化部と、符号化部により生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、符号化部により生成された複数の符号化データを合成して出力符号化データを出力する合成部とを有する。

また請求項８の発明は、符号化方法において、ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、符号化のステップにより生成された複数の符号化データを合成して出力符号化データを出力する合成のステップとを有するようにする。

また請求項９の発明は、符号化方法のプログラムにおいて、ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、符号化のステップにより生成された複数の符号化データを合成して出力符号化データを出力する合成のステップとを有するようにする。

また請求項１０の発明は、符号化方法のプログラムを記録した記録媒体において、符号化方法のプログラムは、ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、符号化のステップにより生成された複数の符号化データを合成して出力符号化データを出力する合成のステップとを有するようにする。

また請求項１７の発明は、復号化方法のプログラムを記録した記録媒体において、復号化方法のプログラムは、ピクチャーを単位にして、入力符号化データを複数系統に振り分ける分配のステップと、分配のステップで得られる各系統の符号化データをそれぞれ復号化処理する復号化のステップとを有するようにする。

請求項１の構成によれば、入力ビデオデータは、分配部で複数系統に振り分けられて低フレームレートのビデオデータに変換され、この低フレームレートのビデオデータが符号化部でそれぞれ符号化処理される。従って符号化部が処理困難な高フレームレートの入力ビデオデータを符号化処理することができる符号化装置を提供することができる。

請求項８、請求項９、請求項１０の構成によれば、入力ビデオデータは、分配のステップで複数系統に振り分けられて低フレームレートのビデオデータに変換され、この低フレームレートのビデオデータが符号化のステップでそれぞれ符号化処理される。従って入力ビデオデータを直接符号化困難な場合でも、高フレームレートの入力ビデオデータを符号化処理することができる。

本発明によれば、高速処理困難な装置を用いて高フレームレートのビデオデータを符号化、復号化することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１の動画伝送システムを示すブロック図である。動画伝送システム１は、通信路２を介して送信装置３から受信装置４に高フレームレートの動画像を配信する。

ここで送信装置３は、光ディスクプレイヤー等の映像機器から、例えば１２０〔ｆｐｓ〕の入力ビデオデータＤＶ１を入力する。送信装置３は、前後のピクチャー以外にも参照ピクチャーが用意された符号化方式で、この入力ビデオデータＤＶ１を符号化処理してビットストリームＤＳ１を生成する。この送信装置３は、この符号化方式に、Ｈ．２６４の符号化方式が適用される。

このＨ．２６４に従った符号化処理において、送信装置３は、入力ビデオデータＤＶ１をピクチャー単位で順次循環的に振り分けて時間軸伸長し、複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、……、ＤＶ１Ｎを生成する。また送信装置３は、各系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、……、ＤＶ１Ｎをそれぞれ符号化器６Ａ〜６Ｎで符号化処理した後、時間軸圧縮して１系統に合成する。送信装置３は、この合成した符号化データＤＳ１を図示しない通信部を介して通信路２に送出する。

すなわち送信装置３において、分配器５は、入力ビデオデータＤＶ１の各ピクチャーを順次循環的に振り分けて時間軸伸長し、複数系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、……、ＤＶ１Ｎを出力する。具体的に、分配器５は、入力ビデオデータＤＶ１のｍ番目のピクチャーを第１番目の系統のビデオデータＤＶ１Ａに振り分けると、続くｍ＋１番目のピクチャーを続く第２番目の系統のビデオデータＤＶ１Ｂに振り分ける。またさらに続くｍ＋２番目のピクチャーを続く第３番目の系統のビデオデータＤＶ１Ｃに振り分ける。

符号化器６Ａ〜６Ｎは、それぞれＨ．２６４に従って各系統のビデオデータＤＶ１Ａ、ＤＶ１Ｂ、……、ＤＶ１Ｎを符号化処理し、符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎを出力する。

合成器７は、符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎを時間軸圧縮した後、分配器５における入力ビデオデータＤＶ１の振り分けに対応するように、ピクチャー単位で、順次循環的に選択し、これら複数の符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎを１系統の符号化データＤＳ１に合成する。

さらに合成器７は、この１系統の符号化データＤＳ１に設定された各ピクチャーの関係を示す情報を設定し直し、又は事前に複数系統の符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎに設定された各ピクチャーの関係を示す情報を設定し直し、合成した１系統の符号化データＤＳ１をＨ．２６４に従った１台の復号化装置で復号化できるようにする。

具体的に、合成器７は、この各ピクチャーの関係を示す情報として、各ピクチャーを特定するフレーム識別子(frame num) を設定し直し、合成した符号化データＤＳ１で各ピクチャーを特定できるようにする。

すなわちＨ．２６４では、各ピクチャーに固有の識別子であるフレーム識別子(frame num) が各アクセスユニット（Access Unit ）のスライスヘッダ（slice header）に設定され、このフレーム識別子(frame num) で各ピクチャーが特定される。従ってＨ．２６４に従った符号化器６Ａ〜６Ｎでそれぞれ符号化処理した符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎは、それぞれ各符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎで固有のフレーム識別子(frame num) が各ピクチャーに設定されていることになる。

合成器７は、合成した１系統の符号化データＤＳ１で、ピクチャー毎に、連続して値が変化するように、フレーム識別子(frame num) を設定し直し、各符号化データＤＳ１Ａ、ＤＳ１Ｂ、……、ＤＳ１Ｎで固有のフレーム識別子(frame num) を、１系統の符号化データＤＳ１で固有のフレーム識別子(frame num) に設定し直す。

図２は、２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂを合成する場合を例にとって、この合成器７におけるフレーム識別子(frame num) の設定を示す略線図である。この図２の例では、１系統の符号化データＤＳ１Ａの各ピクチャーに、値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、……の連続するフレーム識別子(frame num) が順次設定され（図２（Ａ））、残り１系統の符号化データＤＳ１Ｂの各ピクチャーに、値ＡＵｍ、値ＡＵｍ＋１、値ＡＵｍ＋２、……の連続するフレーム識別子(frame num) が順次設定されている（図２（Ｂ））。

合成器７は、矢印で示すように、２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂの各ピクチャーが交互に連続するように、この２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂを合成して１系統の符号化データＤＳ１を生成する（図２（Ｃ））。また値ＡＵｎ、値ＡＵｎ＋１、値ＡＵｎ＋２、値ＡＵｎ＋３、値ＡＵｎ＋４、……で示すように、ピクチャー単位で、各ピクチャーのフレーム識別子(frame num) が順次連続するように、フレーム識別子(frame num) を設定し直す。

また合成器７は、各ピクチャーの関係を示す情報として、参照ピクチャーを特定する参照ピクチャーリスト(reference picture list ：ref pic list）を設定し直し、合成した符号化データＤＳ１で正しく参照関係を特定できるようにする。

すなわちＨ．２６４では、参照フレーム識別子（ref id）及び参照ピクチャーリスト（ref pic list）で、各マクロブロックが参照する参照フレームが特定される。

図３に示すように、参照ピクチャーリスト（ref pic list）は、過去複数枚の参照フレーム識別子（ref id）と対応するフレーム識別子（frame num ）とを有するリストであり、スライスヘッダ（slice header）に設けられる。Ｈ．２６４の符号化装置、復号化装置では、この参照ピクチャーリスト（ref pic list）に設定されたフレーム識別子（frame num）のピクチャーが、参照ピクチャー用のバッファ（Decoded Picture Buffer）に格納されて他のピクチャーの符号化、復号化に使用される。

各マクロブロック（ＭＢ）には、参照ピクチャーリスト（ref pic list）に設定された参照フレーム識別子（ref id）の中から、参照する参照ピクチャーに対応する参照フレーム識別子（ref id）が設定される。

従って図３に示す例では、マクロブロック（ＭＢ）に値１の参照フレーム識別子（ref
id）が設定され、参照ピクチャーリスト（ref pic list）にはこの値１の参照フレーム識別子（ref id）に値ｎ＋１のフレーム識別子（frame num ）が設定されていることから、このマクロブロック（ＭＢ）は、バッファ（Decoded Picture Buffer）に保持したフレーム識別子（frame num ）が値ｎ＋１のピクチャーを参照していることが判る。

ここで２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂを合成する場合を例にとって図４に示すように、複数系統の符号化データＤＳ１Ａ、ＤＳ１Ｂをピクチャー単位で選択して１系統に合成する場合、連続するピクチャー間で参照関係が変化することになる。なおここで図４では、符号Ａ１〜Ｄ１、Ａ２〜Ｄ２でそれぞれピクチャーを示し、各ピクチャー間の参照関係を矢印で示す。従ってこの図４の場合、２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂでは、各ピクチャーがそれぞれ直前ピクチャーを参照していることが示されている。この２系統の符号化データＤＳ１Ａ、ＤＳ１Ｂを１系統に合成すると、各ピクチャーは、それぞれ１つのピクチャーを間に挟んだ前側ピクチャーを参照することになり、各系統の符号化データＤＳ１Ａ、ＤＳ１Ｂに設定されている参照関係の情報では、正しく参照関係を表すことが困難になる。

そこで合成器７は、図５に示すように、１系統に合成した符号化データＤＳ１で、正しく参照関係を指示できるように、スライスヘッダ（slice header）に設けられた参照ピクチャーリスト（ref pic list）のフレーム識別子（frame num）を設定し直す。具体的に、合成器７は、上述したフレーム識別子（frame num ）の設定に対応するように、参照ピクチャーリスト（ref pic list）のフレーム識別子（frame num ）を設定し直す。

受信装置４は（図１）、図示しない通信部を介して、送信装置３から配信された符号化データＤＳ１を受信し、この受信した符号化データＤＳ１を復号化器８に入力する。ここで復号化器８は、Ｈ．２６４に従った復号化装置であり、符号化データＤＳ１から元のビデオデータＤＶ１を復号化してモニタ装置等に出力する。

（２）実施例の動作
以上の構成において、高フレームレートのビデオデータＤＶ１は、送信装置３でＨ．２６４に従って符号化処理され、符号化データＤＳ１が通信路２を介して受信装置４に配信される。従ってこの動画伝送システム１では、何ら工夫しない場合には、この高フレームレートのビデオデータＤＶ１の符号化処理に、高速処理可能な符号化装置が必要になる。

そこでこの動画伝送システム１において、高フレームレートのビデオデータＤＶ１は、送信装置３の分配器５で、連続するピクチャーが順次循環的に複数系統に振り分けられ、低フレームレートのビデオデータＤＶ１Ａ〜ＤＶ１Ｎに変換される。動画伝送システム１では、この低フレームレートのビデオデータＤＶ１Ａ〜ＤＶ１Ｎが、それぞれ符号化器６Ａ〜６Ｎで符号化処理されて符号化データＤＳ１Ａ〜ＤＳ１Ｎが生成され、これらの符号化データＤＳ１Ａ〜ＤＳ１Ｎが合成器７で１系統に合成されて送出される。

従ってこの動画伝送システム１では、高フレームレートのビデオデータＤＶ１を符号化処理して送出する場合でも、実際の符号化処理を実行する符号化器６Ａ〜６Ｎでは、低フレームレートのビデオデータＤＶ１Ａ〜ＤＶ１Ｎを符号化処理することになり、高速処理困難な符号化器６Ａ〜６Ｎを用いて高フレームレートのビデオデータＤＶ１を符号化処理することが可能となる。

またこの動画伝送システム１では、各符号化器６Ａ〜６ＮでＨ．２６４に従って符号化処理することから、複数系統の符号化データを１系統に合成する場合でも、規則に反しないようにすることができる。

すなわちこの実施例のように、ビデオデータＤＶ１を複数系統に分割して符号化処理した後、１系統に合成して出力すると、１系統に合成された符号化データの符号化データＤＳ１では、直前、直後のピクチャー以外の、複数ピクチャーだけ離間したピクチャーを参照することになる。従って前後のピクチャーを参照ピクチャーとすることが決められているＭＰＥＧ（Moving Picture Experts Group）２等の符号化方式では、規則に反することになる。しかしながらＨ．２６４では、前後のピクチャー以外にも参照フレームが用意されていることから、このように複数ピクチャーだけ離間したピクチャーを参照する場合でも、何ら規則には反しないことになる。

しかしながらこの実施例のように、複数系統の符号化データＤＳ１Ａ〜ＤＳ１Ｎを合成すると、各ピクチャーのフレーム識別子(frame num) 、参照関係を示す参照ピクチャーリスト（ref pic list）が、１台の符号化装置で符号化処理した場合とは異なるようになる。このため合成した符号化データＤＳ１を１台の復号化装置で復号化できなくなる。

このためこの動画伝送システム１では、ピクチャーの関係を示す情報が設定し直される。その結果、合成した符号化データＤＳ１は、１台の符号化装置で符号化処理した符号化データと互換性が図られ、高速処理可能な１台の復号化装置で復号化することが可能となる。

すなわち合成器７で、合成した符号化データＤＳ１の各ピクチャーで固有の識別子となるように、フレーム識別子(frame num) が設定し直され（図２）、各ピクチャーを特定するフレーム識別子(frame num) に関して１台の符号化装置で符号化処理した符号化データと互換性が図られる。

また合成した後の参照関係に対応するように参照ピクチャーリスト（ref pic list）が設定し直され（図３〜図５）、ピクチャー間の参照関係に関して１台の符号化装置で符号化処理した符号化データと互換性が図られる。

（３）実施例の効果
以上の構成によれば、高フレームレートのビデオデータをピクチャー単位で複数系統に振り分け、各系統をそれぞれ符号化処理することにより、高速処理困難な符号化装置を用いて高フレームレートのビデオデータを符号化処理することができる。また１台の符号化装置では得ることができない高い処理能力を得ることができる。

またさらに複数系統の符号化データを１系統に合成して出力する際に、シンタックスを設定し直して、１台の符号化装置で符号化処理した符号化データと互換性を図ることができる。

すなわち１台の符号化装置で符号化処理した場合と同一になるように、ピクチャーの関係を示す情報を設定し直すことにより、１台の符号化装置で符号化処理した符号化データと互換性を図ることができる。

より具体的には、合成した符号化データで各ピクチャーに固有の識別子となるように、フレーム識別子(frame num) を設定し直すことにより、フレーム識別子(frame num)に関して１台の符号化装置で符号化処理した符号化データと互換性を図ることができる。

また合成した後の参照関係に対応するように参照ピクチャーリスト（ref pic list）を設定し直すことにより、ピクチャー間の参照関係に関して１台の符号化装置で符号化処理した符号化データと互換性を図ることができる。

またフレーム識別子(frame num) 、参照ピクチャーリスト（ref pic list）を設定し直すことにより、各マクロブロックのシンタックスの変更、アクセスユニットの順序の変更等を実行することなく、スライスヘッダを部分的に書き換えるだけの簡易な操作によって互換性を図ることができる。

図６は、本発明の実施例２の動画伝送システムを示すブロック図である。この動画伝送システム１１において、図１について上述した動画伝送システム１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この動画伝送システム１１において、送信装置１３は、ビデオデータＤＶ１をＨ．２６４に従って符号化処理して符号化データＤＳ２を生成し、この符号化データＤＳ２を受信装置４に配信する。この符号化の処理において、送信装置１３は、ピクチャー単位で間引きして符号化処理し、入力ビデオデータＤＶ１に比して、フレームレートの低い符号化データＤＳ２を出力する。

すなわちこの送信装置１３において、分配器１５は、順次入力されるビデオデータＤＶ１をピクチャー単位で間引きし、さらに連続するピクチャーを順次循環的に複数系統に振り分ける。この動画伝送システム１１では、この分配器１５で振り分ける系統数が２系統に設定される。

符号化器１６Ａ、１６Ｂは、Ｈ．２６４に従った符号化装置であり、分配器１５から出力される低フレームレートのビデオデータＤＶ１Ａ、ＤＶ１Ｂを符号化して符号化データＤＳ１Ａ、ＤＳ１Ｂを出力する。

合成器１７は、分配器１５における振り分けに対応するように、これら符号化器１６Ａ、１６Ｂから出力される符号化データＤＳ１Ａ、ＤＳ１Ｂをピクチャー単位で順次選択してこれら符号化データＤＳ１Ａ、ＤＳ１Ｂを１系統に合成する。また実施例１について上述したと同様に、ピクチャーの関係を示す情報を設定し直す。

以上の構成によれば、高フレームレートのビデオデータをピクチャー単位で間引きした後、ピクチャー単位で複数系統に振り分けてそれぞれ符号化処理するようにしても、高速処理困難な符号化器を用いて高フレームレートのビデオデータを符号化処理することができる。またこの場合も、１台の復号化装置では得ることができない高い処理能力を得ることができる。

図７は、本発明の実施例３の動画伝送システムを示すブロック図である。この動画伝送システム２１において、図１について上述した動画伝送システム１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。従って動画伝送システム２１において、送信装置３は、実施例１の動画伝送システム１と同一に、高フレームレートのビデオデータＤＶ１を複数系統に振り分けて符号化処理した後、１系統に合成して出力するものの、高フレームレートのビデオデータＤＶ１を１台の符号化装置で符号化処理して出力するようにしてもよい。

この動画伝送システム２１において、受信装置２４は、図示しない通信部を介して、送信装置３から配信された符号化データＤＳ１を受信し、この受信した符号化データＤＳ１から元のビデオデータＤＶ１を復号化してモニタ装置等に出力する。

受信装置２４は、この復号化の処理において、符号化データＤＳ１をピクチャー単位で順次循環的に振り分けて低フレームレートの符号化データＤＳ１Ａ〜ＤＳ１Ｎに変換し、これら低フレームレートの符号化データＤＳ１Ａ〜ＤＳ１Ｎをそれぞれ復号化する。

すなわちこの受信装置２４において、分配器２５は、順次入力される符号化データＤＳ１の各ピクチャーを順次循環的に複数系統に振り分け、高フレームレートの符号化データＤＳ１を低フレームレートの符号化データＤＳ１Ａ〜ＤＳ１Ｎに変換する。なお分配器２５で振り分ける系統数は、この実施例では送信装置３側の系統数と一致するように設定されているものの、送信側の系統数と異なるように設定してもよい。

復号化器２６Ａ〜２６Ｎは、Ｈ．２６４に従った復号化装置であり、それぞれ低フレームレートの符号化データＤＳ１Ａ〜ＤＳ１Ｎを復号化してビデオデータＤＶ１Ａ〜ＤＶ１Ｎのビットストリームを出力する。

合成器２７は、分配器２５における振り分けに対応するように、これら復号化器２６Ａ〜２６Ｎから出力されるビデオデータＤＶ１Ａ〜ＤＶ１Ｎをピクチャー毎に順次循環的に選択してこれらのビデオデータを１系統に合成する。なおこれら複数系統のＤＶ１Ａ〜ＤＶ１Ｎの１系統をサムネイル画像の作成に利用してもよい。

以上の構成によれば、高フレームレートの符号化データをピクチャー単位で複数系統に振り分けてそれぞれ復号化することにより、高速処理困難な復号化装置を用いて高フレームレートの符号化データを復号化処理することができる。また１台の復号化装置では得ることができない高い処理能力を得ることができる。

図８は、本発明の実施例４の動画伝送システムを示すブロック図である。この動画伝送システム３１において、図１及び図７について上述した動画伝送システム１及び２１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この動画伝送システム３１において、受信装置３４は、図示しない通信部を介して、送信装置３から配信された符号化データＤＳ１を受信し、この受信した符号化データＤＳ１を復号化してビデオデータＤＶ２を出力する。この復号化の処理において、受信装置３４は、ピクチャー単位で間引きして符号化データＤＳ１を復号化し、送信装置３に入力されるビデオデータＤＶ１に比して、フレームレートの低いビデオデータＤＶ２を出力する。

すなわちこの受信装置３４において、分配器３５は、順次入力される符号化データＤＳ１をピクチャー単位で間引きする。また間引きした符号化データの各ピクチャーを順次循環的に複数系統に振り分ける。この動画伝送システム３１では、この分配器３５で振り分ける系統数が、送信装置３で振り分ける系統数に比して少ない２系統に設定される。

復号化器３６Ａ、３６Ｂは、Ｈ．２６４に従った復号化装置であり、分配器３５から出力される低フレームレートの符号化データＤＳ１Ａ、ＤＳ１Ｂを復号化してビデオデータＤＶ１Ａ、ＤＶ１Ｂのビットストリームを出力する。

合成器３７は、分配器３５における振り分けに対応するように、これら復号化器３６Ａ、３６Ｂから出力されるビデオデータＤＶ１Ａ、ＤＶ１Ｂのビットストリームをピクチャー単位で順次循環的に選択してこれらビットストリームを１系統に合成する。

以上の構成によれば、高フレームレートの符号化データをピクチャー単位で間引きした後、ピクチャー単位で複数系統に振り分けてそれぞれ復号化するようにしても、高速処理困難な復号化装置を用いて高フレームレートの符号化データを復号化処理することができる。またこの場合も、１台の復号化装置では得ることができない高い処理能力を得ることができる。

図９は、本発明の実施例５の動画伝送システムを示すブロック図である。この動画伝送システム４１において、図１及び図８について上述した動画伝送システム１及び３１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この動画伝送システム４１において、送信装置４３は、各符号化器６Ａ〜６Ｎで生成した符号化データＤＳ１Ａ〜ＤＳ１Ｎを合成することなく、それぞれ通信路２を介して受信装置４４に配信する。

この送信装置４３において、制御部４８は、これら複数の符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣを、符号化データＤＳ１Ａ〜ＤＳ１Ｎを配信する通信路２を介して、又は符号化データＤＳ１Ａ〜ＤＳ１Ｎを配信する通信路２とは異なる電話回線等の通信路を介して、受信装置４４に通知する。なおここで符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣは、複数系統の符号化データを復号化して１系統のビデオデータに合成するのに必要な情報である。具体的には、入力ビデオデータＤＶ１のフレームレート、符号化データＤＳ１Ａ〜ＤＳ１Ｎを特定するのに必要な符号化データＤＳ１Ａ〜ＤＳ１Ｎの数及び識別子、合成に必要な符号化データの優先度、各ピクチャーの時間情報等である。

なおこの情報ＤＣに課金情報を含めるようにして、受信装置４４で元の入力ビデオデータＤＶ１を合成した場合に、課金できるようにしてもよい。また有料で視聴するユーザーと無料で視聴するユーザーとで、この符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣを異ならせて提供するようにしてもよい。この場合、制御部４８は、無料で動画を視聴するユーザーの受信装置４４に対しては、複数の符号化データＤＳ１Ａ〜ＤＳ１Ｎのうちの一部分だけを受信、復号化、合成できるように、符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣを提供する。これに対して有料で動画を視聴するユーザーの受信装置４４に対しては、複数の符号化データＤＳ１Ａ〜ＤＳ１Ｎの全てを受信、復号化、合成できるように、符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣを提供する。

これに対して受信装置４４において、制御部４９は、受信装置４４の各部の動作を制御するコンピュータであり、送信装置４３から符号化データＤＳ１Ａ〜ＤＳ１Ｎの処理に必要な情報ＤＣを取得する。またこの取得した情報ＤＣに基づいて各部を制御し、符号化データＤＳ１Ａ〜ＤＳ１Ｎを受信してそれぞれ復号化器２６Ａ〜２６Ｎで復号化する。また取得した情報ＤＣに基づいて合成器４７を制御し、復号化器２６Ａ〜２６Ｎから出力される低フレームレートのビデオデータＤＶ１Ａ〜ＤＶ１Ｎを１系統に合成する。

この実施例によれば、高フレームレートのビデオデータをピクチャー単位で複数系統に振り分けて符号化処理し、符号化データをそれぞれ直接送出するようにしても、高速処理困難な符号化装置、復号化装置を用いて高フレームレートのビデオデータを処理することができる。

また別途、複数系統の符号化データの処理に必要な情報ＤＣを送信することにより、この情報ＤＣを種々に設定して受信側における動画の視聴を種々に制御することができる。すなわち例えば無料の場合と有料の場合とで、受信側で復号化するビデオデータのフレームレートを制御することができる。

なお上述の実施例においては、連続するピクチャーを順次循環的に複数系統に振り分けて符号化、復号化する場合について述べたが、本発明はこれに限らず、要はピクチャーを単位にして複数系統に振り分ければよく、例えば連続するＧＯＰを順次循環的に複数系統に振り分けるようにしてもよい。

また上述の実施例５においては、受信側で処理する符号化データの系統数を送信側の制御で動的に切り換える場合について述べたが、本発明はこれに限らず、送信側で符号化処理する系統数を送信側の制御で動的に切り換えるようにしてもよく、受信側で復号化する系統数を受信側の制御で動的に切り換えるようにしてもよい。なお送信側で符号化処理する系統数を送信側の制御で動的に切り換える場合は、例えばビデオデータのフレームレートに応じて、フレームレートが１２０〔ｆｐｓ〕の場合と６０〔ｆｐｓ〕の場合とで符号化処理の系統数を切り換える場合、通信路で利用可能な帯域に応じて符号化処理の系統数を切り換える場合等が考えられる。これに対して受信側で復号化する系統数を受信側の制御で動的に切り換える場合は、ビデオデータを出力するモニタ装置等の外部機器の能力に応じて系統数を切り換える場合が考えられる。

また上述の実施例においては、Ｈ．２６４に従って符号化処理する場合について述べたが、本発明はこれに限らず、前後のピクチャー以外にも参照ピクチャーが用意された種々の符号化方式で符号化処理する場合に広く適用することができる。

また上述の実施例においては、ハードウエア構成でビデオデータを処理する場合について述べたが、本発明はこれに限らず、ソフトウエアの処理によりビデオデータを処理する場合にも広く適用することができる。なおソフトウエアの処理によりビデオデータを処理する場合は、それぞれ符号化器、復号化器を演算処理手段で構成し、マスタの演算処理手段でスレーブの演算処理手段を制御して、又は他の制御用の演算処理手段で符号化器、復号化器を構成する演算処理手段を制御して、ビデオデータを処理することが考えられる。この場合に、演算処理手段のプログラムは、光ディスク、磁気ディスク、メモリカード等の種々の記録媒体に記録して提供してもよく、またインターネット等のネットワークを介して提供するようにしてよい。

また上述の実施例においては、動画を配信する動画伝送システムに本発明を適用する場合について述べたが、本発明はこれに限らず、記録媒体に動画を記録する場合、記録媒体から動画を再生する場合等にも広く適用することができる。

本発明は、例えばＨ．２６４に従ってビデオデータを処理する場合に適用することができる。

本発明の実施例１の動画伝送システムを示すブロック図である。 図１の動画伝送システムにおけるビデオデータの合成処理の説明に供する略線図である。 参照ピクチャーリストの説明に供する略線図である。 図２の動画伝送システムにおける参照関係の説明に供する略線図である。 図２の動画伝送システムにおける参照ピクチャーリストの設定の説明に供する略線図である。 本発明の実施例２の動画伝送システムを示すブロック図である。 本発明の実施例３の動画伝送システムを示すブロック図である。 本発明の実施例４の動画伝送システムを示すブロック図である。 本発明の実施例５の動画伝送システムを示すブロック図である。

符号の説明

１、１１、２１、３１、４１……動画伝送システム、２……伝送路、１３、４３……送信装置、４、２４、３４、４４……受信装置、５、１５、２５、３５……分配器、６Ａ〜６Ｎ、１６Ａ〜１６Ｎ……符号化器、７、１７、２７、３７……合成器、８、２６Ａ〜２６Ｎ、３６Ａ、３６Ｂ……復号化器、４８、４９……制御部

Claims (10)

1. ビデオデータを符号化処理する符号化装置において、
   前記ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配部と、
   前記分配部により振り分けられたビデオデータを符号化処理して符号化データを生成する複数の符号化部と、
   前記符号化部により生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、前記符号化部により生成された複数の符号化データを合成して前記出力符号化データを出力する合成部とを有する
   符号化装置。
2. 前記関係情報は、
   ピクチャーを特定するフレーム識別子であり、
   前記合成部は、
   各ピクチャーに固有の識別子となるように、前記出力符号化データにおけるフレーム識別子を設定する
   請求項１に記載の符号化装置。
3. 前記関係情報は、
   過去複数枚の参照フレームの識別子と対応するフレーム識別子とを有するリストである
   請求項２に記載の符号化装置。
4. 前記符号化部は、
   Ｈ．２６４規格に従って符号化処理する
   請求項３に記載の符号化装置。
5. 前記合成部は、
   前記フレーム識別子をアクセスユニットのスライスヘッダに設定する
   請求項４に記載の符号化装置。
6. 前記合成部は、
   前記フレーム識別子の値が連続するように設定する
   請求項４に記載の符号化装置。
7. 前記分配部は、
   前記ビデオデータを循環的に振り分ける
   請求項１に記載の符号化装置。
8. ビデオデータを符号化処理する符号化方法において、
   前記ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、
   前記分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、
   前記符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、前記符号化のステップにより生成された複数の符号化データを合成して前記出力符号化データを出力する合成のステップとを有する
   符号化方法。
9. 演算処理手段の実行によりビデオデータを符号化処理する符号化方法のプログラムにおいて、
   前記ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、
   前記分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、
   前記符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、前記符号化のステップにより生成された複数の符号化データを合成して前記出力符号化データを出力する合成のステップとを有する
   符号化方法のプログラム。
10. 演算処理手段の実行によりビデオデータを符号化処理する符号化方法のプログラムを記録した記録媒体において、
    前記符号化方法のプログラムは、
    前記ビデオデータを複数のビデオデータにピクチャー単位で振り分ける分配のステップと、
    前記分配のステップにより振り分けられたビデオデータを符号化処理して複数の符号化データを生成する符号化のステップと、
    前記符号化のステップにより生成された符号化データにおけるピクチャーの参照関係を示す関係情報を、出力符号化データにおけるピクチャーの参照関係に対応するように設定して、前記符号化のステップにより生成された複数の符号化データを合成して前記出力符号化データを出力する合成のステップとを有する
    符号化方法のプログラムを記録した記録媒体。

Images