JP4607856B2 - 符号化復号システム及び符号化復号方法 - Google Patents

Description

この発明は、符号化復号システム及び符号化復号方法に関する。

従来より、地上デジタル放送の開始などに伴い、ＨＤＴＶ（High Definition TeleVision）クラスの高解像度の動画像信号を符号化する「動画像符号化システム」（以下、符号化システム）や、符号化されたデータを復号して元の動画像信号を再生する「動画像復号システム」（以下、復号システム）の普及が必要とされている。今後はさらに、ＵＤＴＶ（Ultra Definition TeleVision）クラスの高解像度の動画像信号を扱う「符号化システム」や「復号システム」が要望されることになる。

ところで、高解像度の動画像信号を扱う「符号化システム」や「復号システム」は、高性能かつ大規模なリソース（ハードウェアやソフトウェアなど）を必要とすることから、実現が容易ではなく、仮に実現できたとしても、高価なシステムとなってしまう。このため、高解像度の動画像信号を複数の低解像度の動画像信号に分割し、分割した複数の低解像度の動画像信号を、低性能な「符号化システム」で各々符号化したり、低性能な「復号システム」で各々復号したりすることで、高解像度の動画像信号を扱う手法などが提案されている。

例えば、特許文献１に開示されている手法では、まず、「符号化システム」が、高解像度の動画像信号を複数の低解像度の動画像信号に分割し、分割した複数の低解像度の動画像信号を複数の符号化装置で各々符号化し、符号化した複数のデータを１本のシステムストリームに統合して「復号システム」に伝送する。次に、「復号システム」が、伝送された１本のシステムストリームから符号化された複数のデータを分離し、分離した複数のデータを複数の復号装置で各々復号して複数の低解像度の動画像信号を再生し、再生した複数の低解像度の動画像信号を統合して高解像度の動画像信号を表示している。

特開２００１−３４６２０１号公報

ところで、上記した従来の技術では、以下に説明するように、表示時刻の同期をとることができず、高解像度の動画像信号を正しく表示することができないという課題があった。すなわち、動画像信号の符号化および復号においては、符号化装置で動画像信号がキャプチャされたときの時刻を、復号装置で「表示時刻」として再現し、「表示時刻」に動画像信号を出力部に出力するなどするのが一般的である。ところが、特許文献１に開示されている手法のように、例えば、複数の符号化装置が利用される場合には、各々の符号化装置が内蔵する時計間で時刻がずれてしまうのが通常であり、結果として、復号装置側では、符号化された複数のデータ間で「表示時刻」の同期をとることができず、高解像度の動画像信号を正しく表示することができない。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、高解像度の動画像信号を正しく表示することが可能な符号化復号システム及び符号化復号方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号システムであって、前記複数の符号化装置の各々は、分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手段と、前記第一時刻算出手段によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送手段とを備え、前記複数の復号装置の各々は、前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で前記各々のバッファに対する前記画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手段によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手段と、前記システムストリームから復号された前記分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、前記第二時刻算出手段によって算出された前記第二の時刻を示す場合に、当該画像データを合成する合成部に出力する出力手段と、を備えたことを特徴とする。

また、請求項２に係る発明は、複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号方法であって、前記複数の符号化装置の各々は、分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出工程と、前記第一時刻算出工程によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送工程とを含み、前記複数の復号装置の各々は、前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で前記各々のバッファに対する前記画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送工程によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出工程と、前記システムストリームから復号された前記分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、前記第二時刻算出工程によって算出された前記第二の時刻を示す場合に、当該画像データを合成する合成部に出力する出力工程と、を含んだことを特徴とする。

請求項１の発明によれば、複数の符号化装置で構成される符号化システムが、１画面の画像データから符号化装置の数に分割された複数の画像データを複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して１画面の画像データを表示する符号化復号システムであって、複数の符号化装置の各々は、分割された画像データを符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出し、算出された第一の時刻を含んで作成されたシステムストリームを、復号システムを構成する複数の復号装置のうち符号化装置に１対１で対応づけられた復号装置に伝送し、複数の復号装置の各々は、複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で各々のバッファに対する画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出し、システムストリームから復号された分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、算出された前記第二の時刻を示す場合に、画像データを合成する合成部に出力するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、復号装置の各々において、理想のＰＴＳ（Presentation Time Stamp、画像データを符号化装置でキャプチャした時刻）にオフセットＡ（複数の符号化装置の間で共通に決定された符号化遅延時間の最大値）を加算した第一の時刻に、オフセットＢ（ストリーム揺らぎと復号遅延時間とについて複数の復号装置の間で共通に決定された最大値）を加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

また、請求項２の発明によれば、複数の符号化装置で構成される符号化システムが、１画面の画像データから符号化装置の数に分割された複数の画像データを複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して１画面の画像データを表示する符号化復号システムであって、複数の符号化装置の各々は、分割された画像データを符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出し、算出された第一の時刻を含んで作成されたシステムストリームを、復号システムを構成する複数の復号装置のうち符号化装置に１対１で対応づけられた復号装置に伝送し、複数の復号装置の各々は、複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で各々のバッファに対する画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出し、システムストリームから復号された分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、算出された前記第二の時刻を示す場合に、画像データを合成する合成部に出力するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、復号装置の各々において、理想のＰＴＳにオフセットＡを加算した第一の時刻に、オフセットＢを加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

以下に添付図面を参照して、本発明に係る符号化復号システム、符号化システムおよび復号システムの実施例を説明する。なお、以下では、実施例１で用いる主要な用語、実施例１に係る符号化復号システムの概要および特徴、実施例１に係る符号化復号システムの構成、実施例１に係る符号化復号システムによる処理の手順、実施例１の効果を順に説明し、続いて、他の実施例について説明する。

［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。以下の実施例で用いる「符号化復号システム」とは、本来、動画像信号などの「画像データ」を、インターネットなどの伝送システムを介して伝送したり、記憶媒体に保存したりすることを目的とするシステムのことである。すなわち、ＨＤＴＶ（High Definition TeleVision）クラスやＵＤＴＶ（Ultra Definition TeleVision）クラスの高解像度の動画像信号である「画像データ」は、そのデータ量が膨大であることから、そのままの状態では、伝送や保存の対象とすることが難しい。このため、「符号化復号システム」のうちの「符号化システム」が、「画像データ」のデータ量を圧縮する「符号化」を行い、データ量が圧縮された「画像データ」を、伝送や保存の対象とするのである。一方、「符号化復号システム」のうちの「復号システム」は、「符号化システム」によって「符号化」された「画像データ」を「復号」することで、高解像度の「画像データ」を再生する。

ところで、現在の「符号化」や「復号」の技術としては、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）やＨ．２６４／ＡＶＣなどが代表的であるが、ＨＤＴＶクラスやＵＤＴＶクラスの高解像度の「画像データ」を「符号化」や「復号」の対象とする場合、「符号化システム」や「復号システム」は、高性能かつ大規模なリソースを必要とすることになり、実現が容易ではない。そこで、本発明に係る「符号化復号システム」では、高解像度の「画像データ」をそのまま「符号化」や「復号」の対象とするのではなく、まず、高解像度の「画像データ」を複数の低解像度の「画像データ」に分割し、分割した複数の低解像度の「画像データ」を、低性能な「符号化システム」で符号化したり、低性能な「復号システム」で復号したりする手法を採用している。

より具体的に説明すると、本発明における「符号化システム」は、複数の低性能な「符号化装置」で構成されており、「１画面」の「画像データ」を「符号化装置」の数に分割し、分割した複数の「画像データ」を、複数の「符号化装置」で各々符号化する。一方、本発明における「復号システム」は、複数の「符号化装置」に１対１で対応づけられた複数の低性能な「復号装置」で構成されており、「符号化システム」で符号化された複数の「画像データ」を、複数の「復号装置」で各々復号して、「画像データ」を合成する合成部に出力する。

ここで問題となるのは、「復号システム」において「画像データ」を合成部に出力する際に、どのようにして表示時刻を一致させるか、という点である。すなわち、一般的な「符号化復号システム」では、「復号装置」が、「符号化装置」で「画像データ」がキャプチャされたときの時刻を表示時刻として再現し、復号した「画像データ」を再現した表示時刻に出力部などに出力することで、「１画面」の「画像データ」を正しく表示している。ところが、本発明に係る「符号化復号システム」のように、「符号化システム」において複数の「符号化装置」が利用される場合には、各々の「符号化装置」が内蔵する時計間で時刻がずれてしまうのが通常であることから、結果として、「復号装置」側では、複数の「画像データ」間で表示時刻の同期をとることができず、「画像データ」を正しく表示することができなくなると考えられる。

このため、本発明に係る「符号化復号システム」が、「符号化システム」において「符号化装置」の数に分割され、複数の「符号化装置」で各々符号化された「画像データ」を、「復号システム」において復号し、「１画面」の「画像データ」として表示するにあたり、どのようにして表示時刻を一致させるかが、重要な点になる。

［実施例１に係る符号化復号システムの概要および特徴］
続いて、図１を用いて、実施例１に係る符号化復号システムの概要および特徴を説明する。図１は、実施例１に係る符号化復号システムの概要および特徴を説明するための図である。

実施例１に係る符号化復号システムは、上記したように、複数の符号化装置で構成される符号化システムが、１画面の画像データから符号化装置の数に分割された複数の画像データを、複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して１画面の画像データを表示することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。

この主たる特徴について簡単に説明すると、実施例１に係る符号化復号システムは、図１に示すように、符号化システムと復号システムとから構成されている。また、図１に示すように、符号化システムは、複数の符号化装置で構成されており、また、復号システムも、複数の復号装置で構成されており、符号化装置と復号装置とが１対１で対応づけられている。

また、図１に示すように、実施例１に係る符号化復号システムは、１つの符号化装置から１つの復号装置に対して１本のシステムストリームが伝送される方式であるので、結局、符号化システムから復号システムに対して、複数本のシステムストリームが伝送されることになる。言い替えると、実施例１に係る符号化復号システムでは、１画面の画像データを、符号化装置の数に相当する複数のピクチャに分割し、１ピクチャを１つの符号化装置で符号化し、１ピクチャを１つの復号装置で復号するといった手法を採用している。

このような構成のもと、実施例１における符号化システムは、符号化装置の各々において、分割された１ピクチャの画像データを符号化する（図１の（１）を参照）。例えば、図１に示すように、符号化装置の数が４つである場合には、１対１で対応づけられる復号装置の数も４つになり、符号化システムは、１画面の画像データを４ピクチャの画像データに分割する。また、符号化装置１は、左上の画像データである１ピクチャを符号化している。

次に、符号化システムは、符号化装置の各々において、分割された画像データを符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する（図１の（２）を参照）。

例えば、図１に示すように、符号化装置１は、左上の画像データである１ピクチャをキャプチャした時刻「１：００」に、符号化装置１〜４の間で共通に決定された符号化遅延時間（図１では、「符号化遅延時間の最大値」）を加算した値を、第一の時刻として算出する。なお、図１では、説明の便宜上から、キャプチャした時刻として「１：００」を示す時計のイメージを表示しているが、実際は、符号化システムが備えるＳＴＣカウンタの値のことである。また、符号化遅延時間は、通常、設計の過程で導出されるものである。

そして、符号化システムは、符号化装置の各々において、第一の時刻を含んで作成されたシステムストリームを、符号化装置に１対１で対応づけられた復号装置に伝送する（図１の（３）を参照）。例えば、符号化装置１は、１ピクチャを符号化したデータと第一の時刻とを含んで作成された１本のシステムストリームを、復号装置１に伝送する。

続いて、実施例１における復号システムは、復号装置の各々において、１本のシステムストリームに含まれた１ピクチャを符号化したデータから、画像データを復号する（図１の（４）を参照）。例えば、復号装置１は、１ピクチャを符号化したデータから、左上の画像データを復号する。

次に、復号システムは、復号装置の各々において、複数の符号化装置の各々によって符号化された画像データを複数の符号化装置の各々が出力する出力時間について、複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出する（図１の（５）を参照）。

例えば、図１に示すように、復号装置１は、符号化装置１〜４の間で生じているストリーム揺らぎと、復号装置１の復号遅延時間とを加算し、復号装置１〜４の間で共通に決定された値（図１では「（ストリーム揺らぎ＋復号遅延時間）の最大値」）に、第一の時刻（図１では「第１の時刻」）を加算した値を、第二の時刻「４：００」として算出する。なお、図１では、説明の便宜上から、第二の時刻として「４：００」を示す時計のイメージを表示しているが、実際は、復号システムが備えるＳＴＣカウンタの値のことである。また、ストリーム揺らぎは、通常、計測等によって取得されるものであり、復号遅延時間は、設計の過程で導出されるものである。

そして、復号システムは、復号装置の各々において、システムストリームから復号された画像データを、第二の時刻に、画像データを合成する合成部に出力する（図１の（６）を参照）。ここで、上記したように、復号装置１において算出された第二の時刻は「４：００」であり、また、復号装置２において算出された第二の時刻は「５：００」であり、復号装置３において算出された第二の時刻は「６：００」であり、復号装置４において算出された第二の時刻は「７：００」であり、各々異なる時刻であることから、果たして、復号装置の各々において、画像データを第二の時刻に出力したところで、表示時刻を一致させることができているのか否かが疑問となる。

しかしながら、本発明に係る符号化復号システムにおいては、各々の符号化装置が内蔵する時計間で時刻がずれてしまうことは当然のことと考えており、復号装置側で表示時刻を再現しても、その表示時刻の値自体が各復号装置でずれてしまうことも、当然のことであると考えている。本発明において重要であるのは、符号化装置で画像データをキャプチャした時刻と、この符号化装置に１対１で対応づけられた復号装置で画像データを出力する時刻との差が、複数の復号装置間で共通になることである（図１においては、復号装置１〜４のいずれも、キャプチャした時刻と出力する時刻との差が「３：００」である）。

すなわち、例えば、復号装置１が、１対１に対応づけられた符号化装置１に特化した符号化遅延だけを考慮しながらキャプチャした時刻からの差を決め、表示時刻を再現し、復号装置２が、１対１に対応づけられた符号化装置２に特化した符号化遅延だけを考慮しながらキャプチャした時刻からの差を決め、表示時刻を再現したりすると、復号装置１と復号装置２との間で、キャプチャした時刻と出力する時刻との差が異なることになり、結局、復号装置１が復号した画像の表示と、復号装置２が復号した画像の表示とが、同期できないことになる。

この点、本発明に係る符号化復号システムにおいては、各復号装置が各々任意に考慮しながらキャプチャした時刻から差を決め表示時刻を再現する手法ではなく、復号装置１〜４に共通の差を決める手法であるので、複数の復号装置全てが、画像データを同じ時刻に表示できることになる。しかも、この共通の差は、符号化装置による符号化時に最大生じるであろう遅延時間など、最大生じるであろう遅延等を考慮して決められた差であることから、符号化時や復号時の遅延の影響を受けた特定の復号装置が、この表示時刻に間に合わないといった事態が生じるおそれもない。

このようにして、実施例１に係る符号化復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、復号装置の各々において、理想のＰＴＳ（Presentation Time Stamp、画像データを符号化装置でキャプチャした時刻）にオフセットＡ（複数の符号化装置の間で共通に決定された符号化遅延時間の最大値）を加算した第一の時刻に、オフセットＢ（ストリーム揺らぎと復号遅延時間とについて複数の復号装置の間で共通に決定された最大値）を加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例１に係る符号化復号システムの構成］
次に、図２〜図６を用いて、実施例１に係る符号化復号システムの構成を説明する。図２は、実施例１に係る符号化復号システムの構成を示すブロック図であり、図３は、画像データの分割を説明するための図であり、図４は、符号化装置の多重化部を説明するための図であり、図５は、復号装置の分離部を説明するための図であり、図６は、表示時刻（ＰＴＳ）の一致について説明するための図である。

まず、図２を用いて、実施例１に係る符号化復号システムの構成について説明すると、実施例１に係る符号化復号システムは、図２に示すように、符号化システム１００と復号システム２００とから構成されており、符号化システム１００と復号システム２００との間に、伝送システム３００が存在する。伝送システム３００は、符号化システム１００からシステムストリームの入力を受け付け、フォーマットを変換して高速伝送を行い、フォーマットを再変換してから、復号システム２００に向けてシステムストリームを出力する。伝送遅延は、後述する符号化装置１０と復号装置２０との組み合わせのいずれにおいても、一定であるとする。

また、図２に示すように、符号化システム１００は、複数の符号化装置１０（１〜ｎ）で構成されており、また、復号システム２００も、複数の復号装置２０（１〜ｎ）で構成されており、符号化装置１と復号装置１とが対応づけられ、符号化装置ｎと復号装置ｎとが対応づけられているというように、符号化装置１０と復号装置２０とが１対１で対応づけられている。以下では、まず、符号化システム１００の構成について説明し、次に、復号システム２００の構成について説明し、最後に、本発明の主たる特徴である表示時刻（特許請求の範囲に記載の「第二の時刻」に対応する）の一致について説明する。なお、図２に示された（１）〜（１８）までの付番は、画像データが符号化復号システム全体の中でどのように流れていくかについて、その一例を示すものである。

［符号化システム１００］
実施例１における符号化システム１００は、高解像度の画像データの入力を受け付け、低解像度の画像データに分割し、複数の符号化装置で符号化し、システムストリーム（ＴＳストリームやＰＳストリーム）を出力するシステムであって、本発明に特に密接に関連するものとして、符号化装置１０と、画像分割装置１１０とを備える。

画像分割装置１１０は、高解像度の画像データの入力を受け付け、受け付けた高解像度の画像データを低解像度の画像データに分割し、分割した低解像度の画像データを符号化装置１０（１〜ｎ）に入力する（図２の（１）および（２）を参照）。

例えば、画像分割装置１１０は、図３に示すように、高解像度の画像データを、横方向に「ｐ分割」し、縦方向に「ｑ分割」するなどして、ｎ個の低解像度の画像データに分割する。また、画像分割装置１１０は、分割された低解像度の画像データごとにＣＨ番号を割り当て、分割された低解像度の画像データを、ＣＨごとの符号化装置１０（１〜ｎ）の各々に入力する。

符号化装置１０は、画像分割装置１１０によって分割された低解像度の画像データを符号化し、システムストリームを出力する。かかる符号化装置１０は、本発明に特に密接に関連するものとして、キャプチャ部１１と、符号化部１２と、多重化部１３とを備える。以下、ＣＨごとの符号化装置１０（１〜ｎ）について説明する。なお、「符号化部１２」は、特許請求の範囲に記載の「第一時刻算出手段」に対応する機能を備え、「多重化部１３」は、特許請求の範囲に記載の「伝送手段」に対応する機能を備える。

キャプチャ部１１は、分割された低解像度の画像データ（アナログ信号やＳＤＩ信号など）の入力を画像分割装置１１０から受け付け、受け付けた画像データをキャプチャし、キャプチャした画像データをメモリに格納すると、格納した画像データを符号化部１２に向けて出力する（図２の（３）〜（５）を参照）。

符号化部１２は、分割された低解像度の画像データの入力をキャプチャ部１１から受け付け、受け付けた画像データを圧縮符号化（例えば、Ｈ．２６４符号化方式など。以下、符号化）し、符号化した画像データ（ＥＳストリーム）を多重化部１３に向けて出力する（図２の（５）、（６−１）、および（７−１）を参照）。また、符号化部１２は、ＥＳストリームビデオＶＢＶバッファ占有量を計算し、符号化した画像データ（ＥＳストリーム）を多重化部１３に向けて出力するとともに、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果を多重化部１３に向けて出力する（図２の（６−１）および（７−２）を参照）。

また、符号化部１２は、キャプチャ部１１によって画像データがキャプチャされた時刻を示すＳＴＣカウンタの値（ＰＴＳ）の入力を多重化部１３から受け付け、受け付けたＳＴＣカウンタの値に、オフセットＡ（符号化装置１０による符号化時に最大生じるであろう遅延時間として複数の符号化装置１０の間で共通に決定された符号化遅延時間）を加算した値を、ＰＴＳ／ＤＴＳ（特許請求の範囲に記載の「第一の時刻」に対応する）として算出し、算出したＰＴＳ／ＤＴＳを多重化部１３に向けて出力する（図２の（６−２）および（７−３）を参照）。

すなわち、「ＰＴＳ／ＤＴＳ＝（キャプチャ部１１によって画像データがキャプチャされた時刻を示すＳＴＣカウンタの値）＋（オフセットＡ）」で定義され、「オフセットＡ＝（符号化装置１０による符号化時に最大生じるであろう遅延時間として複数の符号化装置１０の間で共通に決定された符号化遅延時間）」で定義される。なお、実施例１において、オフセットＡは、符号化装置１０の中で固定値として設定される。また、符号化部１２が算出した「第一の時刻」が、本発明の主たる特徴である「表示時刻の一致」とどのように関係するかについては、後に詳述する。

多重化部１３は、符号化した画像データ（ＥＳストリーム）、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果、およびＰＴＳ／ＤＴＳの入力を符号化部１２から受け付け、受け付けたＥＳストリームをＰＥＳストリームに変換し、変換したＰＥＳストリームをシステムストリームに変換する（図２の（７−１）〜（７−３）および（８）を参照）。

また、多重化部１３は、図２に示すように、ＳＴＣカウンタを内蔵し、キャプチャ部１１によって画像データがキャプチャされた時刻を示すＳＴＣカウンタの値（ＰＴＳ）を、符号化部１２に向けて出力する（図２の（８）を参照）。また、多重化部１３は、ＳＴＣカウンタの値が、多重化開始時刻を示すと、変換したシステムストリームを復号システム２００に向けて（伝送システム３００経由で）出力する（図２の（９）を参照）。

ここで、多重化部１３について、図４を用いてより詳細に説明する。まず、多重化部１３は、符号化した画像データ（ＥＳストリーム）の入力を符号化部１２から受け付け（図４の（１−１）を参照）、受け付けたＥＳストリームをＰＥＳストリームに変換する（図４の（２−１）を参照）。

また、多重化部１３は、上記と並行して、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果の入力を符号化部１２から受け付け（図４の（１−２）を参照）、また、ＰＴＳ／ＤＴＳの入力を符号化部１２から受け付け（図４の（１−３）を参照）、多重化開始時刻を算出する（図４の（２−２）を参照）。ここで、多重化開始時刻は、「多重化開始時刻＝（ＤＴＳ）−（ビデオＶＢＶバッファ占有量／ビデオビットレート）」で定義される。

次に、多重化部１３は、算出した多重化開始時刻と、ＳＴＣカウンタの値とを比較し（図４の（３）を参照）、ＳＴＣカウンタの値が多重化開始時刻に到達する直前に、ＰＥＳストリームをシステムストリームに変換する（図４の（４）を参照）。最後に、多重化部１３は、変換したシステムストリームを出力する（図４の（５）を参照）。

［復号システム２００］
図２に戻ると、実施例１における復号システム２００は、システムストリームの入力を受け付け、複数の復号装置で低解像度の画像データを復号し、復号した低解像度の画像データを合成して高解像度の画像データを出力するシステムであって、本発明に特に密接に関連するものとして、復号装置２０と、画像合成装置２１０とを備える。

復号装置２０は、システムストリームの入力を受け付け、受け付けたシステムストリームから抽出した画像データを復号し、低解像度の画像データを出力する。かかる復号装置２０は、本発明に特に密接に関連するものとして、分離部２１と、復号部２２と、画像出力部２３とを備える。なお、「復号部２２」は、特許請求の範囲に記載の「第二時刻算出手段」に対応する機能を備え、「画像出力部２３」は、特許請求の範囲に記載の「出力手段」に対応する機能を備える。

分離部２１は、システムストリームの入力を符号化システム１００から（伝送システム３００経由で）受け付け、受け付けたシステムストリームをＰＥＳストリームに変換し、変換したＰＥＳストリームをＥＳストリームに変換し、変換したＥＳストリームを復号部２２に向けて出力する（図２の（１０）〜（１３−１）を参照）。また、分離部２１は、ＰＥＳストリームからＰＴＳ／ＤＴＳ（第一の時刻）を抽出し、抽出したＰＴＳ／ＤＴＳを復号部２２に向けて出力する（図２の（１２）および（１３−２）を参照）。

また、分離部２１は、図２に示すように、ＳＴＣカウンタを内蔵し、システムストリームからシステム基準時刻（ＰＣＲやＳＣＲなど）を抽出し、ＳＴＣカウンタの再生を行い、ＳＴＣカウンタの値として設定する（図２の（１２）および（１３−３）を参照）。また、分離部２１は、ＶＳＹＮＣ信号の入力のタイミングで、ＳＴＣカウンタの値をラッチし、ラッチしたＳＴＣカウンタの値を画像出力部２３に向けて出力する（図２の（１４−３）を参照）。

ここで、分離部２１について、図５を用いてより詳細に説明する。まず、分離部２１は、システムストリームの入力を符号化システム１００から受け付け（図５の（１）を参照）、システムレイヤ解析により、ＰＥＳストリームおよびシステム基準時刻を抽出する（図５の（２）、（３−１）および（３−２）を参照）。次に、分離部２１は、ＰＥＳレイヤ解析により、ＰＥＳストリームからＥＳストリーム（ピクチャデータ）およびＰＴＳを抽出し、抽出したＥＳストリームおよびＰＴＳを復号部２２に向けて出力する（図５の（６−１）および（６−２）を参照）。

また、分離部２１は、上記と並行して、抽出したシステム基準時刻を元に、ＳＴＣカウンタの再生を行う（図５の（４−２）を参照）。また、分離部２１は、ＶＳＹＮＣ信号の入力のタイミングで、ＳＴＣカウンタの値をラッチし、ラッチしたＳＴＣカウンタの値を画像出力部２３に向けて出力する（図５の（５）および（６−３）を参照）。

図２に戻ると、復号部２２は、ＥＳストリームおよびＰＴＳ／ＤＴＳの入力を分離部２１から受け付け、受け付けたＥＳストリームを低解像度の画像データに復号し、復号した低解像度の画像データを画像出力部２３に向けて出力する（図２の（１３−１）、（１３−２）、（１４−１）および（１５−１）を参照）。

また、復号部２２は、ＰＴＳ／ＤＴＳの入力を分離部２１から受け付け、受け付けたＰＴＳ／ＤＴＳ（第一の時刻）に、オフセットＢ（複数の符号化装置１０の各々によって符号化された画像データを複数の符号化装置１０の各々が出力する出力時間について、複数の符号化装置１０の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置２０による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置２０の間で共通に決定された最大値）を加算した値を、表示時刻（特許請求の範囲に記載の「第二の時刻」）として算出し、算出した表示時刻を画像出力部２３に向けて出力する（図２の（１３−２）、（１４−２）および（１５−２）を参照）。

すなわち、「表示時刻＝（ＰＴＳ）＋（オフセットＢ）」で定義され、「オフセットＢ＝（複数の符号化装置１０の各々によって符号化された画像データを複数の符号化装置１０の各々が出力する出力時間について、複数の符号化装置１０の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置２０による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置２０の間で共通に決定された最大値）」で定義される。なお、復号部２２が算出した「第二の時刻」が、本発明の主たる特徴である「表示時刻の一致」とどのように関係するかについては、後に詳述する。

画像出力部２３は、低解像度の画像データおよび表示時刻の入力を復号部２２から受け付け、ＳＴＣカウンタの値の入力を分離部２１から受け付け、受け付けたＳＴＣカウンタの値が表示時刻を示すと、受け付けた低解像度の画像データを、画像合成装置２１０に向けて出力する（図２の（１５−１）、（１５−２）、（１６）および（１７）を参照）。

画像合成装置２１０は、低解像度の画像データの入力を複数の復号装置２０から受け付け、受け付けた低解像度の画像データを合成し、高解像度の画像データを出力する（図２の（１８）を参照）。

［表示時刻の一致について］
続いて、本発明に係る符号化復号システムが、表示時刻の同期をとることができ、高解像度の画像データを正しく表示することできる仕組みについて、図６を用いて説明する。まず、図６における前提について説明すると、「ＶＳＹＮＣ」は、ビデオ垂直同期信号のことであり、分割された画像データの区切りを示す信号のことである。実施例１における符号化システム１００では、「ＶＳＹＮＣ」は、図２に示すように、画像分割装置１１０から符号化装置１０に入力される画像データとともに、符号化装置１０に入力されるものである。また、実施例１における復号システム２００では、「ＶＳＹＮＣ」は、図２に示すように、外部から与えられるものである。なお、図６において、「ＶＳＹＮＣ」は、ＳＴＣカウンタの値で「１００」の間隔で発行されている。

また、図６の「ＣＨ１」や「ＣＨ２」は、符号化システム１００の符号化装置１０に割り当てられたＣＨ番号のことである。例えば、「ＣＨ１」は、符号化装置１０（１）に割り当てられ、「ＣＨ２」は、符号化装置１０（２）に割り当てられているものとする。以下では、「ＣＨ１」は、符号化装置１０（１）または復号装置２０（１）を意味するものとして用い、「ＣＨ２」は、符号化装置１０（２）または復号装置２０（２）を意味するものとして用いる。なお、また、図６においては、「ＣＨ１」のＳＴＣカウンタの値と、「ＣＨ２」のＳＴＣカウンタの値との間に、「１０００」の差があり、「ＣＨ１」のＳＴＣカウンタの値は「０」から開始され、「ＣＨ２」のＳＴＣカウンタの値は「１０００」から開始されるものとする。

また、図６においては、オフセットＡ（符号化装置１０による符号化時に最大生じるであろう遅延時間として複数の符号化装置１０の間で共通に設定された符号化遅延時間）を「３００」であると仮定し、「ＣＨ１」の復号遅延時間を「３５０」であると仮定し、「ＣＨ２」の復号遅延時間を「２００」であると仮定し、オフセットＢ（複数の符号化装置１０の各々によって符号化された画像データを複数の符号化装置１０の各々が出力する出力時間について、複数の符号化装置１０の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置２０による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置２０の間で共通に決定された最大値）を「５００」であると仮定する。

このような前提のもと、まず、符号化装置１０（１）のキャプチャ部１１（「ＣＨ１」）による画像データ（１−１）のキャプチャと、符号化装置１０（２）のキャプチャ部１１（「ＣＨ２」）による画像データ（１−２）のキャプチャとが、同時に行われる。この時、符号化装置１０（１）および符号化装置１０（２）の符号化部１２各々は、キャプチャ部１１によって画像データ（１−１）や（１−２）がキャプチャされた時刻を示すＳＴＣカウンタの値（ＰＴＳ）をラッチする。ラッチしたＳＴＣカウンタの値は、「ＣＨ１」が「ＰＴＳ＝０」であり、「ＣＨ２」が「ＰＴＳ＝１０００」である。同様に、キャプチャ部１１によって画像データ（２−１）や（２−２）がキャプチャされた時刻を示すＳＴＣカウンタの値は、「ＣＨ１」が「ＰＴＳ＝１００」であり、「ＣＨ２」が「ＰＴＳ＝１１００」である。

次に、「ＣＨ１」および「ＣＨ２」のそれぞれで、画像データを符号化する。この時、ＰＴＳの値は、オフセットＡが加算されているので、画像データ（１−１）については、「ＣＨ１」の「ＰＴＳ＝３００」であり、画像データ（１−２）については、「ＣＨ２」の「ＰＴＳ＝１３００」であり、画像データ（２−１）については、「ＣＨ１」の「ＰＴＳ＝４００」であり、画像データ（２−２）については、「ＣＨ２」の「ＰＴＳ＝１４００」である。また、画像データ（２−１）および（２−２）のストリーム出力のタイミングをみるとわかるように、画像データ（２−１）については画像データ（１−１）の出力が終了した時点からストリームの出力が開始され、画像データ（２−２）については画像データ（１−２）の出力が終了した時点からストリームの出力が開始される。また、オフセットＢのストリーム揺らぎとは、図６に示すように、「ＣＨ１」と「ＣＨ２」とのビデオＶＢＶバッファ占有量の違いによる出力時間の差である。

一方、復号装置２０（１）の復号部２２は、伝送システム３００を経由して符号化システム２００から伝送されたシステムストリームを受信して、画像データを復号する。実施例１においては、各ＣＨ間で伝送遅延が一定であると仮定するので、図６においては、「伝送遅延＝０」としている。図６の（３）に示すように、本発明において算出される第二の時刻によらずに、復号された画像データの出力が行われるとすると、「ＣＨ１」と「ＣＨ２」との間で、復号が終了するタイミングが全く異なっていることがわかる。また、「ＣＨ２」の画像データ（１−２）の「ＰＴＳ＝１３００」を「ＣＨ２」のＳＴＣカウンタの値と比較すると、画像データ（１−２）の出力が間に合い（ＰＴＳがＳＴＣカウンタの値に対して余裕があり）、画像データ（２−２）の「ＰＴＳ＝１４００」を「ＣＨ２」のＳＴＣカウンタの値と比較すると、画像データ（２−２）の出力が間に合う（ＰＴＳがＳＴＣカウンタの値に対して余裕がある）ことがわかるが、反対に、「ＣＨ１」の画像データ（１−１）の「ＰＴＳ＝３００」を「ＣＨ１」のＳＴＣカウンタの値と比較すると、画像データ（１−１）の出力が間に合わず、画像データ（２−１）の「ＰＴＳ＝４００」を「ＣＨ１」のＳＴＣカウンタの値と比較すると、画像データ（２−１）の出力が間に合わないことがわかる。

そこで、本発明においては、図６の（４）に示すように、「５００」と仮定したオフセットＢをＰＴＳに加算するので、結局、「ＣＨ１」の画像データ（１−１）の表示時刻は、「ＰＴＳ＝８００」となり、「ＣＨ１」の画像データ（２−１）の表示時刻は、「ＰＴＳ＝９００」となり、「ＣＨ２」の画像データ（１−２）の表示時刻は、「ＰＴＳ＝１８００」となり、「ＣＨ２」の画像データ（２−２）の表示時刻は、「ＰＴＳ＝１９００」となる。図６に示すように、これらの表示時刻に従うと、「ＣＨ１」と「ＣＨ２」との間で、表示時刻の同期をとることができ、高解像度の画像データを正しく表示することができることがわかる。

［実施例１に係る符号化復号システムによる処理の手順］
次に、図７および図８を用いて、実施例１に係る符号化復号システムによる処理の手順を説明する。図７は、実施例１における符号化装置による処理の手順を示すフローチャートであり、図８は、実施例１における復号装置による処理の手順を示すフローチャートである。

まず、図７に示すように、実施例１に係る符号化システムは、分割された画像データの入力を受け付けたか否かを判定する（ステップＳ７０１）。入力を受け付けていない場合には（ステップＳ７０１否定）、符号化システムは、分割された画像データの入力を受け付けたか否かを判定する処理に戻る。

一方、入力を受け付けた場合には（ステップＳ７０１肯定）、符号化システムは、符号化装置１０のキャプチャ部１１において、分割された画像データをキャプチャする（ステップＳ７０２）。

次に、符号化システムは、符号化装置１０の符号化部１２において、キャプチャした画像データを符号化するとともに（ステップＳ７０３）、第一の時刻を算出する（ステップＳ７０４）。具体的には、符号化システムは、符号化装置１０の符号化部１２において、キャプチャ部１１によって画像データがキャプチャされた時刻を示すＳＴＣカウンタの値（ＰＴＳ）の入力を多重化部１３から受け付け、受け付けたＳＴＣカウンタの値に、オフセットＡ（符号化装置１０による符号化時に最大生じるであろう遅延時間として複数の符号化装置１０の間で共通に決定された符号化遅延時間）を加算した値を、第一の時刻として算出する。

そして、符号化システムは、符号化装置１０の多重化部１３において、第一の時刻を含んだシステムストリームを作成し（ステップＳ７０５）、復号システムを構成する複数の復号装置のうち、符号化装置に１対１で対応づけられた復号装置に伝送する（ステップＳ７０６）。

一方、図８に示すように、復号システムは、システムストリームの入力を受け付けたか否かを判定する（ステップＳ８０１）。入力を受け付けていない場合には（ステップＳ８０１否定）、復号システムは、システムストリームの入力を受け付けたか否かを判定する処理に戻る。

一方、入力を受け付けた場合には（ステップＳ８０１肯定）、復号システムは、復号装置２０の分離部２１において、システムストリームから、符号化された画像データおよび第一の時刻を抽出する（ステップＳ８０２）。

次に、復号システムは、復号装置２０の復号部２２において、符号化された画像データを復号するとともに（ステップＳ８０３）、第二の時刻を算出する（ステップＳ８０４）。具体的には、復号システムは、復号装置２０の復号部２２において、ＰＴＳ／ＤＴＳの入力を分離部２１から受け付け、受け付けたＰＴＳ／ＤＴＳ（第一の時刻）に、オフセットＢ（複数の符号化装置１０の各々によって符号化された画像データを複数の符号化装置１０の各々が出力する出力時間について、複数の符号化装置１０の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置２０による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置２０の間で共通に決定された最大値）を加算した値を、第二の時刻として算出する。

そして、復号システムは、復号装置２０の画像出力部２３において、復号された画像データを、画像合成装置２１０に向けて第二の時刻に出力する（ステップＳ８０５）。

こうして、実施例１に係る符号化復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例１の効果］
上記してきたように、実施例１によれば、複数の符号化装置で構成される符号化システムが、１画面の画像データから符号化装置の数に分割された複数の画像データを複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して１画面の画像データを表示する符号化復号システムであって、複数の符号化装置の各々は、分割された画像データを符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、符号化装置による符号化時に最大生じるであろう遅延時間として複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出し、算出された第一の時刻を含んで作成されたシステムストリームを、復号システムを構成する複数の復号装置のうち符号化装置に１対１で対応づけられた復号装置に伝送し、複数の復号装置の各々は、複数の符号化装置の各々によって符号化された画像データを複数の符号化装置の各々が出力する出力時間について複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、加算された値の最大であろう値として複数の復号装置の間で共通に決定された最大値に、伝送されたシステムストリームから抽出された第一の時刻を加算した値を、第二の時刻として算出し、システムストリームから復号された分割された画像データを、算出された第二の時刻に、画像データを合成する合成部に出力するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、復号装置の各々において、理想のＰＴＳ（Presentation Time Stamp、画像データを符号化装置でキャプチャした時刻）にオフセットＡ（複数の符号化装置の間で共通に決定された符号化遅延時間の最大値）を加算した第一の時刻に、オフセットＢ（ストリーム揺らぎと復号遅延時間とについて複数の復号装置の間で共通に決定された最大値）を加算した第二の時刻を算出し、復号した画像データを第二の時刻に合成部に出力することから、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

また、実施例１によれば、符号化装置の各々において複雑な相互演算をする必要がないことから、符号化システムが１本のシステムストリームを出力する方式を適用する手法に比較して、より簡易に、高解像度の動画像信号を正しく表示することが可能になる。言い替えると、実施例１によれば、汎用的な低性能な符号化装置や復号装置を流用して符号化復号システムを構築できることから、符号化復号システムを短期間に開発することが可能になる。

ところで、これまで、実施例１として、複数の符号化装置で構成される符号化システムから、複数の復号装置で構成される復号システムに対して、複数本のシステムストリームが伝送される方式を本発明に適用した事例について説明したが、本発明はこれに限られるものではなく、複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように、１ピクチャの画像データを複数の符号化装置で符号化し、符号化システムが１本のシステムストリームを出力する符号化システムの方式や、１ピクチャが複数のスライスで構成されるビデオストリームを含む１本のシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムの方式などにも、本発明を同様に適用することができる。そこで、以下では、実施例２として、符号化システムが１本のシステムストリームを出力する符号化システムの方式を本発明に適用した事例について説明する。

以下では、実施例２に係る符号化システムの概要および特徴、実施例２に係る符号化システムの構成、実施例２に係る符号化システムによる処理の手順、実施例２の効果を順に説明する。

［実施例２に係る符号化システムの概要および特徴］
まず、図９を用いて、実施例２に係る符号化システムの概要および特徴を説明する。図９は、実施例２に係る符号化システムの概要および特徴を説明するための図である。

実施例２に係る符号化システムは、複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように１ピクチャの画像データを複数の符号化装置で符号化することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。

この主たる特徴について簡単に説明すると、実施例２に係る符号化システムは、図９に示すように、複数の符号化装置で構成されている（「符号化装置１」〜「符号化装置ｎ」を参照）。また、実施例２に係る符号化システムは、複数の符号化装置とは別に、基準時刻分配部（特許請求の範囲に記載の「分配手段」に対応する）を備えている。また、実施例２に係る符号化システムは、多重化部にＳＴＣカウンタ（特許請求の範囲に記載の「所定のＳＴＣカウンタ」に対応する）を備えている。

なお、実施例２においては、符号化システムが、複数の符号化装置とは別に基準時刻分配部を備えている事例について説明するが、本発明はこれに限られるものではなく、複数の符号化装置のうちの一つの符号化装置が基準時刻分配部を備えている事例や、多重化部が基準時刻分配部を備えている事例などにも、本発明を同様に適用することができる。また、実施例２においては、多重化部にＳＴＣカウンタを備えている事例について説明するが、本発明はこれに限られるものではなく、複数の符号化装置のうちの一つのＳＴＣカウンタを、多重化部のＳＴＣカウンタの替わりに利用する事例などにも、本発明を同様に適用することができる。

このような構成のもと、実施例２に係る符号化システムは、基準時刻分配部において、複数の符号化装置の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、多重化部のＳＴＣカウンタの値をＶＳＹＮＣ（ビデオ垂直同期信号）に同期するように取得する（図９の（１）を参照）。例えば、図９に示すように、基準時刻分配部は、基準時刻として、多重化部のＳＴＣカウンタの値「ＳＴＣ＝１００００」を取得する。

次に、符号化システムは、取得したＳＴＣカウンタの値にＶＳＹＮＣの１周期分の値を加算した値を、複数の符号化装置の各々に分配する（図９の（２）を参照）。例えば、図９に示すように、基準時刻分配部は、取得した多重化部のＳＴＣカウンタの値「ＳＴＣ＝１００００」に、ＶＳＹＮＣの１周期分の値「３０００」を加算した値「ＳＴＣ＝１３０００」を、複数の符号化装置の各々に分配する。

そして、複数の符号化装置の各々は、基準時刻分配部によって分配された値を受け取ると、値を符号化装置が備えるレジスタに保持する（図９の（３）を参照）。例えば、図９に示すように、複数の符号化装置の各々は、基準時刻分配部によって分配された値「ＳＴＣ＝１３０００」を受け取ると、値「ＳＴＣ＝１３０００」をレジスタに保持する。

続いて、複数の符号化装置の各々は、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を符号化装置が備えるＳＴＣカウンタの値として設定する（図９の（４）を参照）。例えば、図９に示すように、複数の符号化装置の各々は、値「ＳＴＣ＝１３０００」を符号化装置が備えるＳＴＣカウンタの値として設定する。

このようにして、実施例２に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、複数の符号化装置の間で、ＳＴＣカウンタの値が完全に一致し、ＰＴＳ（Presentation Time Stamp）が完全に一致するので、このようなシステムストリームを復号する復号システム側では、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例２に係る符号化システムの構成］
次に、図１０〜図１３を用いて、実施例２に係る符号化システムの構成を説明する。図１０は、実施例２に係る符号化システムの構成を示すブロック図であり、図１１は、１ピクチャのスライスによる分割を説明するための図であり、図１２は、符号化システムの多重化部を説明するための図であり、図１３は、ＳＴＣの分配について説明するための図である。

まず、図１０を用いて、実施例２に係る符号化システムの構成について説明すると、実施例２に係る符号化システムは、高解像度の画像データの入力を受け付け、複数のスライスに分割し、複数の符号化装置でスライスごとに符号化し、１本のシステムストリーム（ＴＳストリームやＰＳストリーム）を出力するシステムであって、本発明に密接に関連するものとして、複数の符号化装置３０と、キャプチャ部４０と、多重化部５０と、基準時刻分配部５２とを備える。なお、図１０に示された（１）〜（７）までの付番は、画像データが符号化システム全体の中でどのように流れていくかについて、その一例を示すものである。

キャプチャ部４０は、高解像度の画像データ（アナログ信号やＳＤＩ信号など）の入力を受け付け、受け付けた画像データをキャプチャし、キャプチャした画像データをメモリに格納すると、格納した画像データを、後述する符号化部３１に向けて、その符号化部３１が符号化を担当するスライス分出力する（図１０の（１）〜（３−１）を参照）。例えば、キャプチャ部４０は、図１１に示すように、高解像度の画像データを、複数スライスに分割し（図１１ではｎ分割）、符号化部３１に向けて１スライス分を出力する。

また、キャプチャ部４０は、高解像度の画像データとともに、ＶＳＹＮＣ（ビデオ垂直同期信号）を符号化装置３０に向けて出力する（図１０の（３−２）を参照）。

符号化装置３０は、キャプチャ部４０から入力を受け付けた１スライス分の画像データを符号化し、ＥＳストリームを出力する。かかる符号化装置３０は、本発明に特に密接に関連するものとして、符号化部３１とＳＴＣカウンタ３２とを備える。なお、「符号化部３１」は、特許請求の範囲に記載の「設定手段」に対応する機能を備える。

符号化部３１は、基準時刻分配部５２から入力を受け付けた値を受け取ると、値を図示しないレジスタに保持し、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を符号化装置３０が備えるＳＴＣカウンタ３２の値として設定する（図１０の（３−３）を参照）。かかる符号化部３１は、複数の符号化装置３０の各々に備えられているが、実施例２においては、上記したような手法によってＳＴＣカウンタ３２の値を設定することで、複数の符号化装置３０の間で、ＳＴＣカウンタの値が完全に一致し、後述するＰＴＳが完全に一致することになる。

次に、符号化部３１は、１スライス分の画像データの入力をキャプチャ部４０から受け付け、受け付けた１スライス分の画像データを圧縮符号化（例えば、Ｈ．２６４符号化方式など。以下、符号化）し、符号化した画像データ（ＥＳストリーム）を多重化部５０に向けて出力する（図１０の（４−１）および（５−１）を参照）。また、符号化部３１は、ＥＳストリームのビデオＶＢＶバッファ占有量を計算し、符号化した画像データ（ＥＳストリーム）を多重化部５０に向けて出力するとともに、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果を多重化部５０に向けて出力する（図１０の（５−２）を参照）。

また、符号化部３１は、上記と並行して、符号化部３１で画像データがキャプチャされた時刻を示すＳＴＣカウンタ３２の値（ＰＴＳ）を、ＳＴＣカウンタ３２からラッチし、ラッチしたＳＴＣカウンタ３２の値に、オフセット（符号化装置３０による符号化時に最大生じるであろう遅延時間として決定された符号化遅延時間）を加算した値を、ＰＴＳ／ＤＴＳとして算出し、算出したＰＴＳ／ＤＴＳを多重化部５０に向けて出力する（図１０の（４−２）および（５−３）を参照）。かかるオフセットが加算されるのは、多重化部５０からの出力に際して、タイムアウトを起こさないことを目的とするものである。ここで、上記したように、実施例２においては、複数の符号化装置３０の間で、ＳＴＣカウンタの値が完全に一致していることから、符号化部３１がＳＴＣカウンタ３２からラッチしたＰＴＳも、複数の符号化装置３０の間で、完全に一致することになる。

多重化部５０は、符号化した画像データ（ＥＳストリーム）、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果、およびＰＴＳ／ＤＴＳの入力を符号化部３１から受け付け、受け付けたＥＳストリームをＰＥＳストリームに変換し、変換したＰＥＳストリームをシステムストリームに変換する（図１０の（５−１）〜（５−３）、（６）、および（７）を参照）。

また、多重化部５０は、図１０に示すように、ＳＴＣカウンタ５１を内蔵し、ＶＳＹＮＣに同期するように、ＳＴＣカウンタ５１の値を基準時刻分配部５２に向けて出力する（基準時刻分配部５２が、ＶＳＹＮＣに同期するように、多重化部５０のＳＴＣカウンタ５１の値を取得する）。

ここで、多重化部５０について、図１２を用いてより詳細に説明する。まず、多重化部５０は、符号化した画像データ（ＥＳストリーム）の入力を符号化部３１（１〜ｎ）から各々受け付け（図１２の（１−１）を参照）、受け付けたＥＳストリーム（スライスデータ）を統合して、１ピクチャのピクチャデータを作成し（図１２の（２）を参照）、作成した１ピクチャのピクチャデータをＰＥＳストリームに変換する（図１２の（３−１）を参照）。

また、多重化部５０は、上記と並行して、ＥＳストリームビデオＶＢＶバッファ占有量の計算結果の入力を符号化部３１（１〜ｎ）から各々受け付け（図１２の（１−２）を参照）、また、ＰＴＳ／ＤＴＳの入力を符号化部３１（１〜ｎ）から各々受け付け（図１２の（１−３）を参照）、多重化開始時刻を計算する（図１２の（３−２）を参照）。ここで、多重化開始時刻は、「多重化開始時刻＝（ＤＴＳ）−（ビデオＶＢＶバッファ占有量／ビデオビットレート）」で定義される。

次に、多重化部５０は、算出した多重化開始時刻と、ＳＴＣカウンタ５１の値とを比較し（図１２の（４）を参照）、ＳＴＣカウンタ５１の値が多重化開始時刻に到達する直前に、ＰＥＳストリームをシステムストリームに変換する（図１２の（５）を参照）。最後に、多重化部５０は、変換したシステムストリームを出力する（図１２の（６）を参照）。

図１０に戻ると、基準時刻分配部５２は、複数の符号化装置３０の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、多重化部５０のＳＴＣカウンタ５１の値をＶＳＹＮＣに同期するように取得する（図１０の（３−３）を参照）。

ここで、基準時刻分配部５２による基準時刻の分配について、図１３を用いてより詳細に説明すると、まず、基準時刻分配部５２が、基準時刻（複数の符号化装置３０の各々において、画像データのスライス分を符号化する際の基準となる時刻）として、多重化部５０のＳＴＣカウンタ５１の値をＶＳＹＮＣに同期するように取得する（図１３の（１）および（２）を参照）。

次に、基準時刻分配部５２は、取得したＳＴＣカウンタ５１の値にＶＳＹＮＣの１周期分の値を加算した値を、複数の符号化装置３０（符号化部３１）の各々に分配する（図１３の（３）を参照）。

複数の符号化装置３０の符号化部３１の各々は、基準時刻分配部５２によって分配された値を受け取ると、値を符号化装置３０が備えるレジスタに保持し、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を符号化装置３０（符号化部３１）が備えるＳＴＣカウンタ３２の値として設定する（図１３の（４）を参照）。

こうして、複数の符号化装置３０の符号化部３１において１スライス分の画像データがキャプチャされた時刻には、同一のＰＴＳが付けられることになる。

［実施例２に係る符号化システムによる処理の手順］
次に、図１４および図１５を用いて、実施例２に係る符号化システムによる処理の手順を説明する。なお、以下では、実施例２に係る符号化システムによる処理の手順のうち、本発明の特徴に密接に関連する部分として、基準時刻分配部による処理の手順と、符号化部による処理の手順（符号化部による処理の手順のうち、ＳＴＣカウンタの値の設定に関する処理の手順）とについてのみ説明する。図１４は、実施例２における基準時刻分配部による処理の手順を示すフローチャートであり、図１５は、実施例２における符号化部による処理の手順を示すフローチャートである。

まず、図１４に示すように、実施例２に係る符号化システムは、画像データの入力を受け付けたか否かを判定する（ステップＳ１４０１）。画像データの入力を受け付けていない場合には（ステップＳ１４０１否定）、符号化システムは、画像データの入力を受け付けたか否かを判定する処理に戻る。

一方、画像データの入力を受け付けた場合には（ステップＳ１４０１肯定）、符号化システムは、基準時刻分配部５２において、多重化部５０のＳＴＣカウンタ５１の値を、ＶＳＹＮＣ（ビデオ垂直同期信号）に同期するように取得する（ステップＳ１４０２）。

次に、符号化システムは、基準時刻分配部５２において、取得したＳＴＣカウンタ５１の値に、ＶＳＹＮＣの１周期分の値を加算する（ステップＳ１４０３）。

すると、符号化システムは、ＶＳＹＮＣの１周期分の値を加算した値を、複数の符号化装置３０（符号化部３１）の各々に分配する（ステップＳ１４０４）。

続いて、図１５に示すように、実施例２に係る符号化システムは、符号化装置３０（符号化部３１）の各々において、値を分配されたか否かを判定する（ステップＳ１５０１）。値を分配されていない場合には（ステップＳ１５０１否定）、符号化システムは、符号化部３１の各々において、値を分配されたか否かを判定する処理に戻る。

一方、値を分配された場合には（ステップＳ１５０１肯定）、符号化システムは、符号化部３１において、値をレジスタに保持する（ステップＳ１５０２）。

そして、符号化システムは、符号化部３１において、ＶＳＹＮＣのタイミングか否かを判定する（ステップＳ１５０３）。ＶＳＹＮＣのタイミングでない場合には（ステップＳ１５０３否定）、符号化システムは、符号化部３１において、ＶＳＹＮＣのタイミングか否かを判定する処理に戻る。

一方、ＶＳＹＮＣのタイミングである場合には（ステップＳ１５０３肯定）、レジスタに値を保持した後で最初に受け付けたＶＳＹＮＣであるので、符号化システムは、符号化部３１において、ＶＳＹＮＣに同期するように、レジスタに保持した値をＳＴＣカウンタ３２の値として設定する（ステップＳ１５０４）。

こうして、実施例２に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例２の効果］
上記してきたように、実施例２によれば、複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように１ピクチャの画像データを複数の符号化装置で符号化する符号化システムであって、複数の符号化装置の各々において画像データのスライス分を符号化する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得したＳＴＣカウンタの値にビデオ垂直同期信号の１周期分の値を加算した値を複数の符号化装置の各々に分配し、複数の符号化装置の各々は、分配された値を受け取ると、値を符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けたビデオ垂直同期信号に同期するようにレジスタに保持した値を符号化装置が備えるＳＴＣカウンタの値として設定するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、複数の符号化装置の間で、ＳＴＣカウンタの値が完全に一致し、ＰＴＳが完全に一致するので、このようなシステムストリームを復号する復号システム側では、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

また、実施例２によれば、符号化システムが１本のシステムストリームを出力する方式であることから、復号システム側は、１本のシステムストリームを復号する一般的な方式であればよいことになり、組合せ可能な復号システムの対象が広がる。

ところで、これまで、実施例２として、複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように、１ピクチャの画像データを複数の符号化装置で符号化し、符号化システムが１本のシステムストリームを出力する符号化システムの方式を本発明に適用した事例について説明したが、本発明はこれに限られるものではなく、１ピクチャが複数のスライスで構成されるビデオストリームを含む１本のシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムの方式にも、本発明を同様に適用することができる。そこで、以下では、実施例３として、１ピクチャが複数のスライスで構成されるビデオストリームを含む１本のシステムストリームを復号する復号システムの方式を本発明に適用した事例について説明する。

以下では、実施例３に係る復号システムの概要および特徴、実施例３に係る復号システムの構成、実施例３に係る復号システムによる処理の手順、実施例３の効果を順に説明する。

［実施例３に係る復号システムの概要および特徴］
まず、図１６を用いて、実施例３に係る復号システムの概要および特徴を説明する。図１６は、実施例３に係る復号システムの概要および特徴を説明するための図である。

実施例３に係る復号システムは、１ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々でスライスごとに復号することを概要とし、高解像度の動画像信号を正しく表示することを主たる特徴とする。

この主たる特徴について簡単に説明すると、実施例３に係る復号システムは、図１６に示すように、複数の復号装置で構成されている（「復号装置１」〜「復号装置ｎ」を参照）。また、実施例３に係る復号システムは、複数の復号装置とは別に、基準時刻分配部（特許請求の範囲に記載の「分配手段」に対応する）を備えている。また、実施例３に係る復号システムは、分離部にＳＴＣカウンタ（特許請求の範囲に記載の「所定のＳＴＣカウンタ」に対応する）を備えている。

なお、実施例３においては、復号システムが、複数の復号装置とは別に基準時刻分配部を備えている事例について説明するが、本発明はこれに限られるものではなく、複数の復号装置のうちの一つの復号装置が基準時刻分配部を備えている事例や、分離部が基準時刻分配部を備えている事例などにも、本発明を同様に適用することができる。また、実施例３においては、分離部にＳＴＣカウンタを備えている事例について説明するが、本発明はこれに限られるものではなく、複数の復号装置のうちの一つのＳＴＣカウンタを分離部のＳＴＣカウンタの替わりに利用する事例などにも、本発明を同様に適用することができる。

このような構成のもと、実施例３に係る復号システムは、基準時刻分配部において、複数の復号装置の各々においてシステムストリームのスライス分を復号する際の基準時刻として、分離部のＳＴＣカウンタの値をＶＳＹＮＣ（ビデオ垂直同期信号）に同期するように取得する（図１６の（１）を参照）。例えば、図１６に示すように、基準時刻分配部は、基準時刻として、分離部のＳＴＣカウンタの値「ＳＴＣ＝１１８００」を取得する。

次に、復号システムは、取得したＳＴＣカウンタの値にＶＳＹＮＣの１周期分の値を加算した値を、複数の復号装置の各々に分配する（図１６の（２）を参照）。例えば、図１６に示すように、基準時刻分配部は、取得した分離部のＳＴＣカウンタの値「ＳＴＣ＝１１８００」に、ＶＳＹＮＣの１周期分の値「３０００」を加算した値「ＳＴＣ＝１４８０００」を、複数の復号装置の各々に分配する。

そして、複数の復号装置の各々は、基準時刻分配部によって分配された値を受け取ると、値を復号装置が備えるレジスタに保持する（図１６の（３）を参照）。例えば、図１６に示すように、複数の復号装置の各々は、基準時刻分配部によって分配された値「ＳＴＣ＝１４８００」を受け取ると、値「ＳＴＣ＝１４８００」をレジスタに保持する。

続いて、複数の復号装置の各々は、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を復号装置が備えるＳＴＣカウンタの値として設定する（図１６の（４）を参照）。例えば、図１６に示すように、複数の復号装置の各々は、値「ＳＴＣ＝１４８００」を符号化装置が備えるＳＴＣカウンタの値として設定する。

このようにして、実施例３に係る復号システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、複数の復号装置の間で、ＳＴＣカウンタの値が完全に一致するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例３に係る復号システムの構成］
次に、図１７〜図１９を用いて、実施例３に係る復号システムの構成を説明する。図１７は、実施例３に係る復号システムの構成を示すブロック図であり、図１８は、復号システムの分離部を説明するための図であり、図１９は、ＳＴＣの分配について説明するための図である。

まず、図１７を用いて、実施例３に係る復号システムの構成について説明すると、実施例３に係る復号システムは、システムストリームの入力を受け付け、複数の復号装置でスライスごとの低解像度の画像データを復号し、復号した画像データを合成して高解像度の画像データを出力するシステムであって、本発明に密接に関連するものとして、複数の復号装置６０と、分離部７０と、基準時刻分配部７２と、画像合成部８０とを備える。なお、図１７に示された（１）〜（１２）までの付番は、画像データが復号システム全体の中でどのように流れていくかについて、その一例を示すものである。

分離部７０は、システムストリームの入力を受け付け、受け付けたシステムストリームをＰＥＳストリームに変換し、変換したＰＥＳストリームをスライスごとのＥＳストリームに分離し、分離したスライスごとのＥＳストリームを、複数の復号部６１に向けて各々出力する（図１７の（１）、（２）および（６−１）を参照）。

また、分離部７０は、図１７に示すように、ＳＴＣカウンタ７１を内蔵し、システムストリームからシステム基準時刻（ＰＣＲやＳＣＲなど）を抽出し、ＳＴＣカウンタ７１の再生を行い、ＳＴＣカウンタ７１の値として設定する（図１７の（３）および（４）を参照）。また、分離部７０は、ＶＳＹＮＣ信号の入力のタイミングで、ＳＴＣカウンタ７１の値をラッチし、ラッチしたＳＴＣカウンタ７１の値を基準時刻分配部７２に向けて出力する（基準時刻分配部７２が、ＶＳＹＮＣに同期するように、分離部７０のＳＴＣカウンタ７１の値を取得する、図１７の（５）を参照）。

ここで、分離部７０について、図１８を用いてより詳細に説明する。まず、分離部７０は、システムストリームの入力を受け付け（図１８の（１）を参照）、システムレイヤ解析により、ＰＥＳストリームおよびシステム基準時刻を抽出する（図１８の（２）、（３−１）および（３−２）を参照）。次に、分離部７０は、ＰＥＳレイヤ解析により、ＰＥＳストリームからＥＳストリーム（ピクチャデータ）およびＰＴＳを抽出し、抽出したＥＳストリームおよびＰＴＳを復号部６１に向けて出力する（図１８の（５−１）および（５−２）を参照）。なお、分離部７０は、ＥＳストリーム（ピクチャデータ）を、スライスごとのＥＳストリームに分離し、分離したスライスごとのＥＳストリームを、複数の復号部６１に向けて各々出力する（図１８の（６）および（７−１）を参照）。

また、分離部７０は、上記と並行して、抽出したシステム基準時刻を元に、ＳＴＣカウンタ７１の再生を行う（図１８の（４−２）を参照）。また、分離部７０は、ＶＳＹＮＣの入力のタイミングで、ＳＴＣカウンタ７１の値をラッチし、ラッチしたＳＴＣカウンタ７１の値を、基準時刻分配部７２を介して復号部６１に向けて出力する（図１８の（５−３）および（７−２）を参照）。

図１７に戻ると、復号装置６０は、システムストリームの入力を受け付け、受け付けたシステムストリームから抽出した画像データを復号し、低解像度の画像データを出力する。かかる復号装置６０は、本発明に特に密接に関連するものとして、復号部６１と、ＳＴＣカウンタ６２と、画像出力部６３とを備える。なお、「復号部６１」は、特許請求の範囲に記載の「設定手段」に対応する機能を備える。

復号部６１は、スライスごとのＥＳストリームおよびＰＴＳ／ＤＴＳの入力を分離部７０から受け付け、受け付けたスライスごとのＥＳストリームを低解像度の画像データに復号し、復号した低解像度の画像データを画像出力部６３に向けて出力する（図１７の（６−１）、（７−１）および（８−１）を参照）。

また、復号部６１は、ＰＴＳ／ＤＴＳの入力を分離部７０から受け付け、受け付けたＰＴＳ／ＤＴＳに、オフセット（復号装置６０による復号時に生じる遅延時間である復号遅延時間について最大であろう値として決定された最大値）を加算した値を、表示時刻として算出し、算出した表示時刻を画像出力部６３に向けて出力する（図１７の（６−２）、（７−２）および（８−２）を参照）。

すなわち、「表示時刻＝（ＰＴＳ）＋（オフセット）」で定義され、「オフセット＝（復号装置６０による復号時に生じる遅延時間である復号遅延時間の最大であろう値として決定された最大値）」で定義される。

また、復号部６１は、基準時刻分配部７２から入力を受け付けた値を受け取ると、値を図示しないレジスタに保持し、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を復号装置６０が備えるＳＴＣカウンタ６２の値として設定する（図１７の（６−３）を参照）。かかる復号部６１は、複数の復号装置６０の各々に備えられているが、実施例３においては、上記したような手法によってＳＴＣカウンタ６２の値を設定することで、複数の復号装置６０の間で、ＳＴＣカウンタの値が完全に一致することになる。

画像出力部６３は、低解像度の画像データおよび表示時刻の入力を復号部６１から受け付け、ＳＴＣカウンタの値の入力をＳＴＣカウンタ６２から受け付け、受け付けたＳＴＣカウンタ６２の値が表示時刻を示すと、受け付けた低解像度の画像データを、画像合成部８０に向けて出力する（図１７の（８−３）、（９）および（１０）を参照）。ここで、上記したように、実施例３においては、複数の復号装置６０の間で、ＳＴＣカウンタの値が完全に一致していることから、画像出力部６３がＳＴＣカウンタ６２からラッチしたＳＴＣカウンタの値も、複数の復号装置６０の間で、完全に一致することになる。

画像合成部８０は、低解像度の画像データの入力を複数の復号装置６０から受け付け、受け付けた低解像度の画像データを合成し、高解像度の画像データを出力する（図１７の（１１）および（１２）を参照）。

基準時刻分配部７２は、複数の復号装置６０の各々において画像データのスライス分を復号する際の基準となる基準時刻として、分離部７０のＳＴＣカウンタ７１の値をＶＳＹＮＣに同期するように取得する（図１７の（５）を参照）。

ここで、基準時刻分配部７２による基準時刻の分配について、図１９を用いてより詳細に説明すると、まず、基準時刻分配部７２が、基準時刻（複数の復号装置６０の各々において、画像データのスライス分を復号する際の基準となる時刻）として、分離部７０のＳＴＣカウンタ７１の値をＶＳＹＮＣに同期するように取得する（図１９の（１）および（２）を参照）。

次に、基準時刻分配部７２は、取得したＳＴＣカウンタの値にＶＳＹＮＣの１周期分の値を加算した値を、複数の復号装置６０の各々に分配する（図１９の（３）を参照）。

複数の復号装置６０の復号部６１の各々は、基準時刻分配部７２によって分配された値を受け取ると、値を復号装置６０が備えるレジスタに保持し、保持した後で最初に受け付けたＶＳＹＮＣに同期するように、レジスタに保持した値を符号化装置６０が備えるＳＴＣカウンタ６２の値として設定する（図１９の（４）を参照）。

こうして、複数の復号装置６０の復号部６１において各々復号された１スライス分の画像データの各々の表示時刻は、複数の復号装置６０の間で完全に同期のとれたＳＴＣカウンタの値に基づいて、複数の復号装置６０の間で完全に同期することになる。

［実施例３に係る復号システムによる処理の手順］
次に、図２０および図２１を用いて、実施例３に係る復号システムによる処理の手順を説明する。なお、以下では、実施例３に係る復号システムによる処理の手順のうち、本発明の特徴に密接に関連する部分として、基準時刻分配部による処理の手順と、復号部による処理の手順（復号部による処理の手順のうち、ＳＴＣカウンタの値の設定に関する処理の手順）とについてのみ説明する。図２０は、実施例３における基準時刻分配部による処理の手順を示すフローチャートであり、図２１は、実施例３における復号部による処理の手順を示すフローチャートである。

まず、図２０に示すように、実施例３に係る復号システムは、システムストリームの入力を受け付けたか否かを判定する（ステップＳ２００１）。システムストリームの入力を受け付けていない場合には（ステップＳ２００１否定）、復号システムは、システムストリームの入力を受け付けたか否かを判定する処理に戻る。

一方、システムストリームの入力を受け付けた場合には（ステップＳ２００１肯定）、復号システムは、基準時刻分配部７２において、分離部７０のＳＴＣカウンタ７１の値を、ＶＳＹＮＣ（ビデオ垂直同期信号）に同期するように取得する（ステップＳ２００２）。

次に、復号システムは、基準時刻分配部７２において、取得したＳＴＣカウンタ７１の値に、ＶＳＹＮＣの１周期分の値を加算する（ステップＳ２００３）。

すると、復号システムは、ＶＳＹＮＣの１周期分の値を加算した値を、複数の復号装置６０（復号部６１）の各々に分配する（ステップＳ２００４）。

続いて、図２１に示すように、実施例３に係る復号システムは、復号装置６０（復号部６１）の各々において、値を分配されたか否かを判定する（ステップＳ２１０１）。値を分配されていない場合には（ステップＳ２１０１否定）、復号システムは、復号部６１の各々において、値を分配されたか否かを判定する処理に戻る。

一方、値を分配された場合には（ステップＳ２１０１肯定）、復号システムは、復号部６１において、値をレジスタに保持する（ステップＳ２１０２）。

そして、復号システムは、復号部６１において、ＶＳＹＮＣのタイミングか否かを判定する（ステップＳ２１０３）。ＶＳＹＮＣのタイミングでない場合には（ステップＳ２１０３否定）、復号システムは、復号部６１において、ＶＳＹＮＣのタイミングか否かを判定する処理に戻る。

一方、ＶＳＹＮＣのタイミングである場合には（ステップＳ２１０３肯定）、レジスタに値を保持した後で最初に受け付けたＶＳＹＮＣであるので、復号システムは、復号部６１において、ＶＳＹＮＣに同期するように、レジスタに保持した値をＳＴＣカウンタ６２の値として設定する（ステップＳ２１０４）。

こうして、実施例３に係る符号化システムは、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

［実施例３の効果］
上記してきたように、実施例３によれば、１ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々でスライスごとに復号する復号システムであって、複数の復号装置の各々においてシステムストリームのスライス分を復号する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得したＳＴＣカウンタの値にビデオ垂直同期信号の１周期分の値を加算した値を複数の復号装置の各々に分配し、複数の復号装置の各々は、分配された値を受け取ると、値を復号装置が備えるレジスタに保持し、保持した後で最初に受け付けたビデオ垂直同期信号に同期するようにレジスタに保持した値を復号装置が備えるＳＴＣカウンタの値として設定するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

具体的に説明すると、複数の復号装置の間で、ＳＴＣカウンタの値が完全に一致するので、表示時刻の同期をとることが可能になり、高解像度の動画像信号を正しく表示することが可能になる。

また、実施例３によれば、復号システムが１本のシステムストリームを復号する方式であることから、符号化システム側は、１本のシステムストリームを出力する一般的な方式であればよいことになり、組合せ可能な符号化システムの対象が広がる。

さて、これまで本発明の実施例について説明したが、本発明は上記した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［システム構成等］
本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、符号化システム１００で符号化されたデータが伝送システム３００を介して復号システム２００に伝送される処理）の全部または一部を手動的におこなうこともでき（例えば、符号化システム１００で符合化されたデータを一時保存し、保存したデータを手動的に復号システム２００に伝送するなど）、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（例えば、図２、図１０、図１７など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

なお、本実施例で説明した符合化復号方法、符合化方法、および復号方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

（付記１）複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号システムであって、
前記複数の符号化装置の各々は、
分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手段と、
前記第一時刻算出手段によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送手段とを備え、
前記複数の復号装置の各々は、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手段によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手段と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出手段によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力手段と、
を備えたことを特徴とする符号化復号システム。

（付記２）複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように当該１ピクチャの画像データを当該複数の符号化装置で符号化する符号化システムであって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配手段と、
前記複数の符号化装置の各々は、
前記分配手段によって分配された前記値を受け取ると、当該値を当該符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるＳＴＣカウンタの値として設定する設定手段と、
を備えたことを特徴とする符号化システム。

（付記３）１ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号システムであって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の復号装置の各々に分配する分配手段と、
前記複数の復号装置の各々は、
前記分配手段によって分配された前記値を受け取ると、当該値を当該復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるＳＴＣカウンタの値として設定する設定手段と、
を備えたことを特徴とする復号システム。

（付記４）複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号方法を、当該符号化装置および／または当該復号装置としてのコンピュータに実行させる符号化復号プログラムであって、
分割された前記画像データを前記符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手順と、
前記第一時刻算出手順によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送手順とを前記複数の符号化装置の各々としてのコンピュータに実行させ、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、前記復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手順によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手順と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出手順によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力手順と、
を前記複数の復号装置の各々としてのコンピュータに実行させることを特徴とする符号化復号プログラム。

（付記５）複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように当該１ピクチャの画像データを当該複数の符号化装置で符号化する符号化方法をコンピュータに実行させる符号化プログラムであって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配手順をコンピュータに実行させ、
前記分配手順によって分配された前記値を受け取ると、当該値を前記符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるＳＴＣカウンタの値として設定する設定手順と、
を前記複数の符号化装置の各々としてのコンピュータに実行させることを特徴とする符号化プログラム。

（付記６）１ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号方法をコンピュータに実行させる復号プログラムであって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の復号装置の各々に分配する分配手順をコンピュータに実行させ、
前記分配手順によって分配された前記値を受け取ると、当該値を前記復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるＳＴＣカウンタの値として設定する設定手順と、
を前記複数の復号装置の各々としてのコンピュータに実行させることを特徴とする復号プログラム。

（付記７）複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号方法であって、
前記複数の符号化装置の各々は、
分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出工程と、
前記第一時刻算出工程によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送工程とを含み、
前記複数の復号装置の各々は、
前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々が出力する出力時間について当該複数の符号化装置の間で生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送工程によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出工程と、
前記システムストリームから復号された前記分割された画像データを、前記第二時刻算出工程によって算出された前記第二の時刻に、当該画像データを合成する合成部に出力する出力工程と、
を含んだことを特徴とする符号化復号方法。

（付記８）複数の符号化装置で符号化された符号化データの各々が１ピクチャのスライスとなるように当該１ピクチャの画像データを当該複数の符号化装置で符号化する符号化方法であって、
前記複数の符号化装置の各々において前記画像データの前記スライス分を符号化する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の符号化装置の各々に分配する分配工程と、
前記複数の符号化装置の各々は、
前記分配工程によって分配された前記値を受け取ると、当該値を当該符号化装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該符号化装置が備えるＳＴＣカウンタの値として設定する設定工程と、
を含んだことを特徴とする符号化方法。

（付記９）１ピクチャが複数のスライスで構成されるビデオストリームを含むシステムストリームを、複数の復号装置の各々で当該スライスごとに復号する復号方法であって、
前記複数の復号装置の各々において前記システムストリームの前記スライス分を復号する際の基準となる基準時刻として、所定のＳＴＣカウンタの値をビデオ垂直同期信号に同期するように取得し、取得した当該ＳＴＣカウンタの値に当該ビデオ垂直同期信号の１周期分の値を加算した値を当該複数の復号装置の各々に分配する分配工程と、
前記複数の復号装置の各々は、
前記分配工程によって分配された前記値を受け取ると、当該値を当該復号装置が備えるレジスタに保持し、保持した後で最初に受け付けた前記ビデオ垂直同期信号に同期するように当該レジスタに保持した値を当該復号装置が備えるＳＴＣカウンタの値として設定する設定工程と、
を含んだことを特徴とする復号方法。

以上のように、本発明に係る符号化復号システム、符号化システムおよび復号システムは、１画面の画像データから符号化装置の数に分割された複数の画像データを、複数の符号化装置で各々符号化して復号システムに伝送し、復号システムが伝送された画像データを復号して１画面の画像データを表示することに有用であり、特に、高解像度の動画像信号を正しく表示することに適する。

実施例１に係る符号化復号システムの概要および特徴を説明するための図である。 実施例１に係る符号化復号システムの構成を示すブロック図である。 画像データの分割を説明するための図である。 符号化装置の多重化部を説明するための図である。 復号装置の分離部を説明するための図である。 表示時刻（ＰＴＳ）の一致について説明するための図である。 実施例１における符号化装置による処理の手順を示すフローチャートである。 実施例１における復号装置による処理の手順を示すフローチャートである。 実施例２に係る符号化システムの概要および特徴を説明するための図である。 実施例２に係る符号化システムの構成を示すブロック図である。 １ピクチャのスライスによる分割を説明するための図である。 符号化システムの多重化部を説明するための図である。 ＳＴＣの分配について説明するための図である。 実施例２における基準時刻分配部による処理の手順を示すフローチャートである。 実施例２における符号化部による処理の手順を示すフローチャートである。 実施例３に係る復号システムの概要および特徴を説明するための図である。 実施例３に係る復号システムの構成を示すブロック図である。 復号システムの分離部を説明するための図である。 ＳＴＣの分配について説明するための図である。 実施例３における基準時刻分配部による処理の手順を示すフローチャートである。 実施例３における復号部による処理の手順を示すフローチャートである。

符号の説明

１００ 符号化システム
１１０ 画像分割装置
１０ 符号化装置
１１ キャプチャ部
１２ 符号化部
１３ 多重化部
２００ 復号システム
２１０ 画像合成装置
２０ 復号装置
２１ 分離部
２２ 復号部
２３ 画像出力部
３００ 伝送システム
３０ 符号化装置
３１ 符号化部
３２ ＳＴＣカウンタ
４０ キャプチャ部
５０ 多重化部
５１ ＳＴＣカウンタ
５２ 基準時刻分配部
６０ 復号装置
６１ 復号部
６２ ＳＴＣカウンタ
６３ 画像出力部
７０ 分離部
７１ ＳＴＣカウンタ
７２ 基準時刻分配部
８０ 画像合成部

Claims (2)

1. 複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号システムであって、
   前記複数の符号化装置の各々は、
   分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出手段と、
   前記第一時刻算出手段によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送手段とを備え、
   前記複数の復号装置の各々は、
   前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で前記各々のバッファに対する前記画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送手段によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出手段と、
   前記システムストリームから復号された前記分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、前記第二時刻算出手段によって算出された前記第二の時刻を示す場合に、当該画像データを合成する合成部に出力する出力手段と、
   を備えたことを特徴とする符号化復号システム。
2. 複数の符号化装置で構成される符号化システムが、１画面の画像データから前記符号化装置の数に分割された複数の画像データを当該複数の符号化装置で各々符号化して復号システムに伝送し、当該復号システムが当該伝送された画像データを復号して前記１画面の画像データを表示する符号化復号方法であって、
   前記複数の符号化装置の各々は、
   分割された前記画像データを当該符号化装置でキャプチャした時刻を示すＳＴＣカウンタの値に、当該符号化装置による符号化時に最大生じるであろう遅延時間として前記複数の符号化装置の間で共通に決定された符号化遅延時間を加算した値を、第一の時刻として算出する第一時刻算出工程と、
   前記第一時刻算出工程によって算出された前記第一の時刻を含んで作成されたシステムストリームを、前記復号システムを構成する複数の復号装置のうち当該符号化装置に１対１で対応づけられた復号装置に伝送する伝送工程とを含み、
   前記複数の復号装置の各々は、
   前記複数の符号化装置の各々によって符号化された画像データを当該複数の符号化装置の各々のバッファから出力される出力時間について当該複数の符号化装置の間で前記各々のバッファに対する前記画像データの占有量を起因として生じている揺らぎであるストリーム揺らぎの値に、当該復号装置による復号時に生じる遅延時間である復号遅延時間を加算し、当該加算された値の最大であろう値として前記複数の復号装置の間で共通に決定された最大値に前記伝送工程によって伝送された前記システムストリームから抽出された前記第一の時刻を加算した値を、第二の時刻として算出する第二時刻算出工程と、
   前記システムストリームから復号された前記分割された画像データを、対応する復号装置の基準時刻と一致された自装置の基準時刻が、前記第二時刻算出工程によって算出された前記第二の時刻を示す場合に、当該画像データを合成する合成部に出力する出力工程と、
   を含んだことを特徴とする符号化復号方法。

Images