JP5761446B2 - 符号化装置、復号化装置、符号化方法および復号化方法 - Google Patents

Description

本発明は、符号化装置、復号化装置、符号化方法および復号化方法に関する。

現在、例えばデジタルシネマで用いられている４Ｋ２Ｋサイズ（ハイビジョン（商標）、解像度１９２０×１０８０の４倍）や、スーパーハイビジョンサイズ（ハイビジョンの１６倍）の映像を1台で圧縮／伝送が可能なコーデックは少なく、高価である。このため、４Ｋ２Ｋサイズやスーパーハイビジョンサイズの映像（以下、超高精細映像という）の伝送を行う場合、映像を４分割または１６分割し、安価なハイビジョン用コーデックを複数台用いて伝送したいという要求がある。さらに、このような超高精細映像の伝送を、回線コストの安いＩｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）ネットワークを利用して実現したいという要望がある。また同様な分割伝送として、３Ｄｉｆｉｎｉｔｉｏｎ（３Ｄ）映像における左右の映像を、各々ハイビジョンで伝送したいといった要望も上がっている。

複数台の装置を用いた伝送の場合には、デコーダは、受信した各々のエンコーダの映像の再生すべきフレームの同期を合わせて再生する必要がある。しかしながら、単純に映像を分割して複数のエンコーダで映像／音声を圧縮し、ＩＰネットワークで伝送を行い、デコーダが出力映像を合成するだけでは、分割映像のデコーダの出力を、同一タイミングに合わせることができない。各々のエンコーダ・デコーダの符号化・復号化遅延やネットワークの伝送遅延が異なるためである。

そこで、デコーダの分割映像を同期させるため、エンコーダで分割映像にカウンタ値等を付加し、デコーダで伝送された映像を復号し、カウンタの一致した画面を合成して表示することも考えられる。しかし、これだけでは、分割画像の表示タイミングが一定にならず、例えば放送業界で用いられる２９．９７ヘルツの正確なフレームレートで映像が出力されない。

このため、放送業界で使用可能な正確なレートで、１つの映像を分割して複数のエンコーダ・デコーダで伝送するためには、放送業界で広く使用されている正確な表示クロックも伝送できる映像／音声多重化方式を用いて伝送する必要がある。例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｏｒｔｓ Ｇｒｏｕｐ−Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＭＰＥＧ２−ＴＳ）方式である。

ところで、上記のような場合には、複数のエンコーダは、映像／音声をＨ．２６４、ＭＰＥＧ２等／ＭＰＥＧ１−Ｌａｙｅｒ２、Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ（ＨＥ）−ＡＡＣ等で圧縮する。さらに、エンコーダは、圧縮したデータをＭＰＥＧ２−ＴＳ方式を用いて伝送する。このとき、デコーダで全ての映像の同期を合わせて再生するためには、ネットワークの遅延が全てのエンコーダ−デコーダ間で同一である必要がある。

放送業界で広く使用されているＤｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ−Ａｓｙｎｃｈｒｏｎｏｕｓ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ（ＤＶＢ−ＡＳＩ）を使用した場合、ネットワークの伝送速度は一定であることが前提である。よって、全てのエンコーダ−デコーダ間で、伝送速度を同一にすることが可能である。

しかしながら、ＤＶＢ−ＡＳＩを単純にＩＰネットワークに置き換えた場合には、分割した複数の映像が別々のＩＰストリームとして伝送され、ＩＰネットワークで各ストリームの遅延がまちまちとなる。よって、エンコーダが同時に送信した映像がデコーダで同時には再生されず、複数映像の同期を合わせて再生することができなくなる。

このため、各エンコーダからＤＶＢ−ＡＳＩで出力したものを1ストリームにまとめてＩＰネットワークで伝送し、受信側でＤＶＢ−ＡＳＩに分解することで、ＩＰネットワークの遅延を全てのエンコーダ−デコーダ間で同一にする技術が知られている。

具体的には、各エンコーダからＤＶＢ−ＡＳＩで出力し、各Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＴＳ）ストリームをＭｕｌｔｉｐｌｅｘ（ＭＵＸ）装置で1つのＴＳストリームに多重し、ＤＶＢ−ＡＳＩで出力する。そして、ＤＶＢ−ＡＳＩ−ＩＰ変換装置で、ＴＳストリームをＩＰネットワークで伝送し、ＩＰ−ＤＶＢ−ＡＳＩ変換装置でＩＰネットワーク上のＴＳストリームを受信しＤＶＢ−ＡＳＩで出力する。さらに、Ｄｅｍｕｌｔｉｐｌｅｘ（ＤＥＭＵＸ）装置で個々のＴＳストリームに分解し、各デコーダに入力する。これにより、ＩＰネットワーク上は1つのストリームで伝送されるため、デコーダで受信する各ＴＳストリームの遅延は同じとなり、デコーダで全ての映像の同期を合わせて再生することが可能となる。

また、別なシステムとして、複数の符号化装置の各々において、Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ（ＳＴＣ）カウンタ値に、共通に決定された符号化遅延時間を加算した値を第１の時刻として算出する例がある。この例では、第１の時刻を含んで作成されたストリームを、符号化装置に１対１で対応付けられた符号化装置に伝送する。このシステムでは、復号化装置は、符号化装置の間で生じているストリーム揺らぎの値に復号化遅延時間を加算し、加算された値の最大であろう値として、複数の復号化装置の間で共通に決定された最大値に第１の時刻を加算した値を、第２の時刻としている。復号化装置は、復号化された画像データを第２の時刻に画像データを合成する合成部に出力する。

特開２０１０−２７９０８２号公報

しかし、各エンコーダからＤＶＢ−ＡＳＩで出力したものを1ストリームにまとめる場合には、以下のような問題がある。すなわち、ＤＶＢ−ＡＳＩで伝送する場合と比較して、ＭＵＸ装置、ＤＶＢ−ＡＳＩ−ＩＰ変換装置、ＩＰ−ＤＶＢ−ＡＳＩ変換装置、ＤＥＭＵＸ装置といった装置が余分に必要となり高価なシステムとなる。

複数の符号化装置の各々において、ＳＴＣカウンタ値に、共通に決定された符号化遅延時間を加算した値を第１の時刻とし、複数の復号化装置の間で共通に決定された最大値に第１の時刻を加算した値を、第２の時刻とするシステムでは、次のような問題がある。すなわち、ＩＰネットワークのように、情報ごとに伝送速度が大きく異なる可能性のあるシステムでは、符号化装置から送出された情報がどの映像を符号化したものであるか判別できない場合がある。また、符号化遅延の最大値を決定することが困難であるという問題がある。

そこで、変換装置のような装置を必要とせず、安価なＩＰネットワークで同期のとれた分割映像をリアルタイムで伝送できる符号化装置、復号化装置、符号化方法および復号化方法を提供することを目的としている。

ひとつの態様である符号化装置は、分割映像取得部、識別時刻通知部、符号化部、送信部を有する主符号化装置と、分割映像取得部、識別時刻取得部、符号化部、送信部を有する従符号化装置とを有する。分割映像取得部は、一画面の元映像が複数に分割された分割映像を時系列に取得する。識別時刻通知部は、分割映像を識別するための識別時刻を取得し、従符号化装置に通知する。符号化部は、分割映像を符号化して符号化分割映像を生成するとともに、符号化分割映像と識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する。送信部は、符号化送信情報を送信する。従符号化装置において、識別時刻取得部は、識別時刻を主符号化装置から取得する。

ひとつの態様である復号化装置は、主復号化装置と従復号化装置を有している。主復号化装置は、符号化情報取得部、主再生時刻計算部、従再生時刻取得部、再生時刻設定部、再生時刻通知部、復号化部、および再生部を有している。従復号化装置は、符号化情報取得部、従再生時刻取得部、従再生時刻通知部、再生時刻取得部、復号化部、および再生部を有している。

主符号化装置の符号化情報取得部は、一画面の元映像が複数に分割された分割映像のうちの一つを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する。主再生時刻計算部は、前記識別時刻に基づき、取得された前記分割映像の次の前記分割映像を再生する主再生時刻を計算する。従再生時刻取得部は、前記識別時刻に基づき計算された、前記少なくとも一つの従復号化装置が取得した前記識別時刻を有する前記分割映像の次の前記分割映像を再生する従再生時刻をそれぞれ取得する。再生時刻設定部は、前記主再生時刻と、少なくとも一つの前記従再生時刻との中で、最も遅い時刻を再生時刻として設定する。再生時刻通知部は、前記再生時刻を少なくとも一つの前記従復号化装置に通知する。復号化部は、前記符号化分割映像を復号化する。再生部は、前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する。

従符号化装置の符号化情報取得部は、前記元映像の分割映像のうち、前記主復号化装置が復号化する分割映像以外の分割画像のいずれかを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する。従再生時刻取得部は、前記従復号化装置において取得された、前記識別時刻に対応する前記分割映像の次の分割映像を再生する従再生時刻を取得する。従再生時刻通知部は、前記従再生時刻を前記主復号化装置に通知する。再生時刻取得部は、前記主復号化装置から、前記次の分割映像の再生時刻を取得する。復号化部は、前記符号化分割映像を復号化する。再生部は、前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する。

ひとつの態様である符号化方法は、主符号化装置が、一画面の元映像が複数に分割された分割映像のうちの一つを時系列に取得し、前記分割映像を識別するための識別時刻を取得する。また、主符号化装置は、前記従符号化装置に前記識別時刻を通知し、取得した前記分割映像を符号化して符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する。

従符号化装置は、前記一つ以外の分割映像のうちのいずれかを時系列に取得し、前記分割映像を識別するために設定される前記識別時刻を前記主符号化装置から取得し、取得した前記分割映像を符号化した符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する。

また、ひとつの態様である復号化方法は、主復号化装置が、一画面の元映像が複数に分割された分割映像のうちの一つを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する。主復号化装置は、前記識別時刻に基づき、取得された前記分割映像の次の前記分割映像を再生する主再生時刻を計算する。また、主符号化装置は、前記識別時刻に基づき計算された、前記少なくとも一つの従復号化装置が取得した前記識別時刻を有する前記分割映像の次の前記分割映像を再生する従再生時刻をそれぞれ取得する。さらに、主復号化装置は、前記主再生時刻と、少なくとも一つの前記従再生時刻との中で、最も遅い時刻を再生時刻として設定し、前記再生時刻を少なくとも一つの前記従復号化装置に通知し、前記符号化分割映像を復号化する。主復号化装置は、前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する。

従復号化装置は、前記元映像の分割映像のうち、前記主復号化装置が復号化する分割映像以外の分割画像のいずれかを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する。従復号化装置は、従復号化装置で取得された、前記識別時刻に対応する前記分割映像の次の分割映像を再生する従再生時刻を取得し、前記従再生時刻を前記主復号化装置に通知し、前記主復号化装置から、前記次の分割映像の再生時刻を取得する。さらに、従復号化装置は、前記符号化分割映像を復号化し、前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する。

上記態様の符号化装置及び復号化装置によれば、各種変換装置等がなくても、安価なＩＰネットワークで同期のとれた分割映像をリアルタイムで伝送できる符号化装置、復号化装置、符号化方法および復号化方法を提供することができる。

一実施の形態による映像伝送システムの構成を示す図である。 一実施の形態による映像伝送システムの動作の概念を示す図である。 一実施の形態によるエンコーダのハードウエア構成を示す図である。 一実施の形態によるエンコーダの機能ブロック図である。 一実施の形態によるエンコーダの機能ブロック図である。 一実施の形態によるデコーダのハードウエア構成を示すブロック図である。 一実施の形態によるデコーダのハードウエア構成を示すブロック図である。 一実施の形態によるデコーダの機能を示すブロック図である。 一実施の形態によるデコーダの機能を示すブロック図である。 一実施の形態によるＰＴＳのＳＴＣ同期を行わない場合のＴＳストリームを概念的に示す図である。 一実施の形態によるＰＴＳのＳＴＣ同期を行った場合のＴＳストリームを概念的に示す図である。 一実施の形態によるＰＴＳのＳＴＣ同期を行なった場合のＴＳストリームの、ＩＰネットワークで通信された後の状態の一例を示す概念図である。 一実施の形態によるＰＴＳのＳＴＣ同期を行なった場合のＴＳストリーム３５０〜３８０の、ＩＰネットワーク７で通信された後の状態の一例を示す概念図である。 一実施の形態によるエンコーダの動作を示すフローチャートである。 一実施の形態によるエンコーダの動作を示すフローチャートである。 一実施の形態によるデコーダの再生開始の動作を示すフローチャートである。 一実施の形態によるデコーダの再生開始の動作を示すフローチャートである。 一実施の形態によるデコーダの再生開始の動作を示すフローチャートである。 一実施の形態によるデコーダの再生中の動作を示すフローチャートである。 一実施の形態によるデコーダの再生中の動作を示すフローチャートである。

以下、一実施の形態を図面に基づいて説明する。以下、映像信号とは、カメラから出力される映像及び音声を含む信号、または、表示装置に入力される映像及び音声を含む信号であり、映像情報、音声情報とは、映像信号から分離されるそれぞれ映像部分、音声部分に相当する情報であるとする。ピクチャデータとは、映像情報から符号化された１ピクチャに相当する情報であり、符号化ピクチャとは、ピクチャデータに後述するＰｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ（ＰＴＳ）値を付加した情報であるとする。符号化音声は、音声情報を圧縮符号化した情報であるとする。ストリームとは、複数の符号化ピクチャが連続した情報、符号化音声、および復号の際の基準時刻となるＰｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｂｃｅ（ＰＣＲ）を含む情報であるとする。

図１は、一実施の形態による映像伝送システム１の構成を示す図、図２は、映像伝送システム１の動作の概念を示す図である。図１に示すように、映像伝送システム１は、カメラ９が接続された符号化装置３と、表示装置１１が接続された復号化装置５とが、ＩＰネットワーク７を介して接続されたシステムである。映像伝送システム１は、４Ｋ２Ｋサイズの映像、スーパーハイビジョン等の４Ｋ２Ｋサイズ以上の超高精細映像や、３Ｄの映像を分割して符号化し、リアルタイムでＩＰネットワーク７を用いて伝送し、復号化装置で同期を合わせて再生するシステムである。本実施の形態においては、例えばＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ２−Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＭＰＥＧ２−ＴＳ）方式により、映像情報を伝送する。

本実施の形態による符号化装置３は、４つのエンコーダ３１〜３７および、ＨＵＢ３９を有している。図１、図２に示すように、エンコーダ３１〜３７は、元映像２０を４分割した分割映像２２〜２８をそれぞれ符号化してストリームとして出力する符号化装置である。ＨＵＢ３９は、複数のケーブルを集約して情報伝達を行う装置である。カメラ９は、例えば４Ｋ２Ｋの映像信号を複数の分割映像に分割して出力する撮影装置である。

各エンコーダ３１〜３７は、１台のカメラ９に接続されており、カメラ９で４分割された映像信号をそれぞれ取得する。エンコーダ３１〜３７は、一台のカメラ９に同期して符号化を行うため、符号化される各ピクチャの垂直同期信号（Ｖｓｙｎｃ）のタイミングは一致している。単純に各エンコーダ３１〜３７に分割映像２２〜２８を入力して符号化を行った場合、エンコーダ３１〜３７が取込む垂直同期信号が同期しているため、各エンコーダ３１〜３７のＳｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ（ＳＴＣ）の進みは一致する。しかし、ＳＴＣの初期値は異なるためＳＴＣ値はバラバラとなり、各エンコーダ３１〜３７で符号化された同一の元映像２０の分割映像２２〜２８に基づくピクチャに付加されるＰＴＳの値も、後述するようにバラバラとなる。そこで、本実施の形態においては、エンコーダ３１〜３７のうちの１つは、主符号化装置（マスタエンコーダ）として機能させ、他の３つは、従符号化装置として機能させることにより、ＰＴＳの値がバラバラとなるのを防止する。詳細は後述する。

本実施の形態による復号化装置５は、４つのデコーダ５１〜５７、分配器５９、およびＨＵＢ６１を有している。図１、図２に示すように、復号化装置５は、符号化装置３により符号化されて、ＩＰネットワーク７を介して伝送された情報を復号化し、分割映像４２〜４８を表示することにより再生映像４０を再生するための復号化装置である。分配器５９は、デコーダ５１から取得したクロック（Ｇｅｎｅｒａｔｏｒ Ｌｏｃｋ：ＧＥＮＬＯＣＫ）を、デコーダ５３〜５７に分配する装置である。ＨＵＢ６１は、複数のケーブルを集約して情報伝達を行う装置である。表示装置１１は、復号化装置５で復号化された分割映像４２〜４８を合成して表示する装置である。

デコーダ５１〜５７のうちの一つは、主復号化装置（マスタデコーダ）として機能し、他の３つは、従復号化装置として機能する。主復号化装置は、符号化された映像を復号化するとともに、従復号化装置に映像を再生するタイミングを指示するデコーダである。どのエンコーダ３１〜３７が出力した符号化ピクチャをどのデコーダ５１〜５７が復号化するかは、互いに限定されない。主復号化装置も、デコーダ５１〜５７のいずれでもよい。

以下、分割映像２２を符号化するエンコーダ３１を、主符号化装置として説明するが、どの分割映像２２〜２８を符号化するエンコーダを主符号化装置とするかは、これに限定されない。１台の主符号化装置として、エンコーダ３１が決定されている場合、エンコーダ３１は、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）１２１を介してエンコーダ３３〜３７に次の垂直同期信号のタイミングのＳＴＣ値を通知する。エンコーダ３３〜３７は、次の垂直同期信号のＳＴＣ値を、エンコーダ３１から通知されたＳＴＣ値に変更する。このとき、エンコーダ３１からは、ユニキャストでエンコーダ３３〜３７に個別に通知し、エンコーダ３３〜３７から応答を受信することができるが、ブロードキャストやマルチキャストを使用することで、３台のエンコーダ３３〜３７に一度にＳＴＣ値を通知してもよい。これにより、エンコーダ３１〜３７のＳＴＣの同期をとり、各垂直同期信号のＳＴＣ値から作成する、符号化後の各ピクチャのＰＴＳ値を一致させる。

以下、図３から図５を参照しながらエンコーダ３１〜３７の構成について説明する。図３は、エンコーダ３１〜３７のハードウエア構成を示す図である。エンコーダ３１〜３７は、受信装置７０、Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ（ＰＬＬ）７２、符号化部７４、メモリ８２、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）８４、ＬＡＮ制御部８６を有している。

符号化部７４は、映像部７６、音声部７８、多重化装置８０を有している。受信装置７０は、カメラ９から出力される、例えば、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ−Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（ＨＤ−ＳＤＩ）方式の映像信号１００を受信する。符号化部７４は、受信した映像信号を符号化する。このとき、映像部７６は、映像信号の中の映像情報を符号化し、音声部７８は、音声情報を符号化する。多重化装置８０は、符号化された映像及び音声を多重化してストリームを生成する装置である。メモリ８２は、生成されたストリームが一時的に保持される記憶装置である。ＣＰＵ８４は、符号化部７４から出力され、メモリ８２を経由したストリームをＬＡＮ制御部８６を介してＬＡＮ１２１に出力する。ＰＬＬ７２はエンコーダ３１〜３７に入力される映像信号から符号化部７４の動作クロックを生成する。

図４は、エンコーダ３１の機能ブロック図である。図３に示したハードウエア構成を有し、主符号化装置となるエンコーダ３１は、図４に示すように、映像取込部１０１、映像符号化部１０３、音声取込部１０５、音声符号化部１０７、映像／音声多重部１０９の機能を有している。さらに、エンコーダ３１は、垂直同期信号取込部１１１、ＳＴＣ読出部１１３、ＳＴＣクロック生成部１１５、ＰＴＳクロック生成部１１７、送信部１１９の機能を有している。

映像取込部１０１は、例えば、ＨＤ−ＳＤＩ方式の映像信号のうちの映像部分（映像情報）を取得する。映像符号化部１０３は、映像取込部１０１が取得した映像情報を符号化する。このとき、映像符号化部１０３は、例えば、ＭＰＥＧ２の規格に応じて、映像情報を符号化して符号化ピクチャを生成する。

音声取込部１０５は、例えば、ＨＤ−ＳＤＩ方式の映像信号のうちの音声部分（音声情報）を取得する。音声符号化部１０７は、音声取込部１０５が取得した音声情報を符号化して符号化音声を生成する。このとき、音声符号化部１０７は、例えば、ＡＡＣ、ＨＥ−ＡＡＣ等の規格に応じて音声情報を符号化する。

ＳＴＣクロック生成部１１５は、映像信号１００の垂直同期信号に同期したクロックを、エンコーダ３１における基準となるクロックとして生成し、映像取込部１０１、音声取込部１０５、ＳＴＣ読出部１１３、ＰＣＲクロック生成部１１７に出力する。ＳＴＣは、Ｈ．２６４やＭＰＥＧ２の映像符号化で、各符号化装置、復号化装置において符号化や再生の基準となるクロックである。垂直同期信号取込部１１１は、カメラ９の映像信号から垂直同期信号（Ｖｓｙｎｃ）を取得し、映像取込部１０１、ＳＴＣ読出部１１３に出力するとともに、垂直同期信号の周期を計測する。

映像取込部１０１は、垂直同期信号毎に、映像情報を取得する。このとき、映像取込部１０１は、分割映像２２を後述する垂直同期信号毎に取り込み、分割映像２２を取り込んだ時のＳＴＣ値をＰＴＳ値として保存し、映像符号化部１０３は、映像情報をピクチャデータに符号化する。また、映像符号化部１０３は、各ピクチャデータに、復号化装置５での再生時刻を示す値として、保存したＰＴＳ値を付加することにより、符号化ピクチャを生成する。音声取込部１０５は、カメラ９から、音声情報を取得する。

ＰＣＲクロック生成部１１７は、ＳＴＣ値に、エンコードの処理遅延時間を加算してＰＣＲを生成する。映像／音声多重部１０９は、符号化された映像、音声、および生成されたＰＣＲの多重化を行い、符号化ピクチャが時系列に含まれたＴＳストリームを生成する。送信部１１９は、生成されたＴＳストリームを、ＬＡＮ１２１、ＨＵＢ３９を介してＩＰネットワーク７に送信する。

一方、ＳＴＣ読出部１１３は、垂直同期信号取込部１１１が垂直同期信号を取得した時刻にＳＴＣ値を読み出す。また、ＳＴＣ読出部１１３は、取得したＳＴＣ値に垂直同期信号取込部１１１が計測した垂直同期信号の周期を加算することにより、次の垂直同期信号のＳＴＣ値を計算する。ＳＴＣ読出部１１３は、計算したＳＴＣ値を、送信部１１９、ＬＡＮ１２１を介して、エンコーダ３３〜３７に、ユニキャスト、ブロードキャスト、またはマルチキャストで通知する。

図５は、エンコーダ３３〜３７の機能ブロック図である。エンコーダ３３〜３７は、互いに同一の機能ブロック図で表される。図５において、エンコーダ３１と同一の構成には、同一の符号を付し、詳細説明を省略する。図５に示すように、エンコーダ３３〜３７は、デコーダ５１と同様に、映像取込部１０１、映像符号化部１０３、音声取込部１０５、音声符号化部１０７、映像／音声多重部１０９の機能を有している。さらに、エンコーダ３３〜３７は、デコーダ５１と同様に、垂直同期信号取込部１１１、ＳＴＣクロック生成部１１５、ＰＣＲクロック生成部１１７、送信部１１９の機能を有している。また、エンコーダ３３〜３７は、ＳＴＣ設定部１２３、受信部１２５の機能を有している。

受信部１２５は、例えばＬＡＮ１２１を介して、エンコーダ３１から通知された、次の垂直同期信号のＳＴＣ値を受信する。ＳＴＣ設定部１２３は、受信部１２５を介して次の垂直同期信号のＳＴＣ値を取得し、ＳＴＣクロック生成部１１５に、次の垂直同期信号のＳＴＣ値として設定する。

映像取込部１０１は、カメラ９からの分割映像２４〜２８を垂直同期信号毎に取り込み、取り込んだ時のＳＴＣ値をＰＴＳ値として保存する。このとき、上述のように、ＳＴＣクロック生成部１１５が生成するＳＴＣは、エンコーダ３１から通知されたＳＴＣ値が反映されているため、保存されるＰＴＳ値は、エンコーダ３１におけるＰＴＳ値と同一の値となる。映像符号化部１０３、音声取込部１０５、音声符号化部１０７、映像／音声多重部１０９などの動作は、エンコーダ３１と同様であり、エンコーダ３１と同様にＴＳストリームを出力する。

以上のようにエンコーダ３１〜３７を構成することにより、ＩＰネットワーク７を介して送信される元映像２０に基づくストリームは、分割映像２２〜２８をそれぞれ符号化した、４つの別々のストリームとなる。しかし、各符号化ピクチャに含まれるＰＴＳ値は、エンコーダ３１で予め定められた値となり、ＰＴＳのＳＴＣ同期が行われている。

続いて、本実施の形態によるデコーダについて説明する。図６は、本実施の形態によるデコーダ５１のハードウエア構成を示すブロック図、図７は、本実施の形態によるデコーダ５３〜５７のハードウエア構成を示すブロック図である。本実施の形態においては、デコーダ５１〜５７のなかから、デコーダ５１が主復号化装置として決定されており、デコーダ５１〜５７の映像再生のタイミングを同期させるように構成されている。

図６に示すようにデコーダ５１は、ＬＡＮ制御部１５３、メモリ１５５、ＣＰＵ１５７、復号部１５９、ＰＬＬ１６７、映像出力部１６９、ＧＥＮＬＯＣＫ出力部１７１を有している。復号部１５９は、分離装置１６１、映像部１６３、音声部１６５を有している。

ＬＡＮ制御部１５３は、デコーダ５３〜５７、分配器５９などとの間のＬＡＮ１２１による通信を制御する。メモリ１５５は、ＬＡＮ２００を介して受信した、符号化された映像のストリーム等を保持する記憶装置である。ＣＰＵ１５７は、メモリ１５５からのデータの転送等を制御する演算処理装置である。

復号部１５９は、ＬＡＮ２００を介して取得した、符号化された映像のストリームを復号化する。このとき、分離装置１６１は、受信したストリームから映像部分、音声部分、およびＰＣＲを分離する。映像部１６３は、映像部分の情報を復号化する。音声部１６５は、音声部分の情報を復号化する。

ＰＬＬ１６７は、分離装置１６１で分離されたＰＣＲに基づき、復号部１５９の動作クロックを生成する。映像出力部１６９は、復号化された映像及び音声の情報を出力する。ＧＥＮＬＯＣＫ出力部１７１は、ＰＬＬ１６７に基づきＧＥＮＬＯＣＫ信号２３１を生成し、分配器５９にＧＥＮＬＯＣＫ信号２３１を出力する。

デコーダ５１は、ＬＡＮ制御部１５３を介して符号化された映像のストリームを取り込み、ＣＰＵ１５７は、取込んだストリームをメモリ１５５を経由して復号部１５９に入力する。復号部１５９においては、分離装置１６１が、入力されたストリームを映像部分と音声部分に分離し、それぞれ映像部１６３、音声部１６５に出力する。また、分離装置１６１は、入力されたストリームからＰＣＲを分離し、ＰＬＬ１６７は、ＰＣＲに基づき復号部１５９の動作クロックを生成する。映像部１６３、音声部１６５で復号された例えばＨＤ−ＳＤＩ方式の映像信号２３５は、映像出力部１６９から出力される。また、デコーダ５１は、ＧＥＮＬＯＣＫ出力部１７１により、ＧＥＮＬＯＣＫ信号２３１を分配器５９へ出力する。

図７に示すようにデコーダ５３〜５７において、デコーダ５１と同様の構成については、同一番号を付し、詳細説明を省略する。デコーダ５３〜５７は、デコーダ５１と同様に、ＬＡＮ制御部１５３、メモリ１５５、ＣＰＵ１５７、復号部１５９、ＰＬＬ１６７、映像出力部１６９を有している。復号部１５９は、分離装置１６１、映像部１６３、音声部１６５を有している。デコーダ５３〜５７は、デコーダ５１のＧＥＮＬＯＣＫ出力部１７１に代えて、ＧＥＮＬＯＣＫ入力部１７３を有している。

デコーダ５３〜５７では、ＧＥＮＬＯＣＫ入力部１７３が、分配器５９からのＧＥＮＬＯＣＫ信号２３１を取得し、ＰＬＬ１６７は、ＧＥＮＬＯＣＫ信号２３１に基づきクロックを生成する。他の構成についてはデコーダ５１と同様である。

次に、図８、図９を参照しながら、本実施の形態によるデコーダ５１〜５７の機能について説明する。図８は、デコーダ５１の機能を示すブロック図、図９は、デコーダ５３〜５７の機能を示すブロック図である。上記のように、本実施の形態において、エンコーダ３１〜３７の４台のエンコーダのＴＳストリームは別々のＴＳストリームで送信されるため、デコーダには個々のＴＳストリームが異なる時刻で到着する。よって、復号化装置５が、受信したＴＳストリームを同期を行わずに単純にデコーダ５１〜５７で再生した場合、分割画面毎に異なる映像を再生することになる。

以下、図８を参照しながら、デコーダ５１の機能について説明する。図８に示すように、デコーダ５１は、受信部２０１、受信バッファ部２０３、映像／音声分離部２０５、映像復号化部２０７、音声復号化部２０９、映像表示部２１１、音声表示部２１３の機能を有している。また、デコーダ５１は、ＰＣＲクロック取得部２１５、ＳＴＣクロック生成部２１７、垂直同期信号生成部２１９、ＳＴＣ計算部２２１、ＳＴＣ設定部２２３、ＳＴＣ読出部２２５、送信部２２７の機能を有している。

受信部２０１は、元映像２０を分割して符号化され、ＩＰネットワーク７を介して送信された、例えばＴＳストリームを受信する。受信バッファ部２０３は、受信した情報を一時的に格納することにより、ＩＰネットワーク７の揺らぎの平滑化を行う。映像／音声分離部２０５は、受信したＴＳストリームから、映像部分、音声部分およびＰＣＲを分離する。映像／音声分離部２０５は、分離したＰＣＲをＰＣＲクロック取得部２１５に出力するとともに、分離した符号化ピクチャ、符号化音声をそれぞれ映像復号化部２０７、音声復号化部２０９に出力する。

ＰＣＲクロック取得部２１５は、分離されたＰＣＲを取得し、ＳＴＣクロック生成部２１７に出力する。ＳＴＣクロック生成部２１７は、取得したＰＣＲに基づき、ＳＴＣクロックを生成する。

また、受信部２０１は、デコーダ５３〜５７から、次の垂直同期信号のＳＴＣ値をそれぞれ取得し、ＳＴＣ計算部２２１に出力する。ＳＴＣ計算部２２１は、取得した各デコーダ５３〜５７からのＳＴＣ値と、自身の次の垂直同期信号のＳＴＣ値とから、最も遅いＳＴＣ値を計算し、ＳＴＣ設定部２２３に出力するとともに、送信部２２７を介してデコーダ５３〜５７に通知する。

ＳＴＣ設定部２２３は、計算されたＳＴＣ値をＳＴＣクロック生成部２１７に通知する。ＳＴＣクロック生成部２１７は、次の垂直同期信号のＳＴＣ値を設定されたＳＴＣ値に設定することにより、設定されたＳＴＣ値に同期したＳＴＣクロックを生成し、映像表示部２１１、音声表示部２１３、垂直同期信号生成部２１９に出力する。垂直同期信号生成部２１９は、生成されたＳＴＣクロックを用いて垂直同期信号を生成するとともに、ＧＥＮＬＯＣＫ信号２３１として分配器５９に出力し、ＧＥＮＬＯＣＫ信号２３１においても生成された垂直同期信号を出力させる。ＧＥＮＬＯＣＫ信号２３１は、デコーダ５１〜５７を同期させるための信号である。

ＳＴＣ読出部２２５は、垂直同期信号生成部２１９から垂直同期信号を取得して、ＳＴＣクロック生成部２１７で生成されたクロックを参照することにより次の垂直同期信号のＳＴＣ値を取得し、送信部２２７に通知する。

映像復号化部２０７は、映像を復号化し、映像表示部２１１に出力する。音声復号化部２０９は、音声を復号化し、音声表示部２１３に出力する。映像表示部２１１は、復号化した映像情報をＳＴＣおよびＰＴＳに基づき出力し、音声表示部２１３は、復号化した音声情報を出力する。映像情報及び音声情報は、垂直同期信号生成部２１９が出力する垂直同期信号に応じて映像信号２３５として出力され、表示装置１１に分割映像４２を表示させる。

以下、図９を参照しながら、デコーダ５３〜５７の機能について説明する。デコーダ５１と同一の構成には、同一の符号を付し、詳細説明を省略する。図９に示すように、デコーダ５３〜５７は、デコーダ５１と同様に、受信部２０１、受信バッファ部２０３、映像／音声分離部２０５、映像復号化部２０７、音声復号化部２０９、映像表示部２１１、音声表示部２１３を有している。また、デコーダ５３〜５７は、ＰＣＲクロック取得部２１５、ＧＥＮＬＯＣＫクロック生成部２３７、クロック選択部２３９、ＳＴＣクロック生成部２４１、垂直同期信号生成部２４３、ＳＴＣ設定部２４５、ＳＴＣ読出部２４７、送信部２４９を有している。

ＰＣＲクロック取得部２１５は、ＴＳストリーム受信開始時は、デコーダ５１と同様に、映像／音声分離部２０５が分離したＰＣＲを取得する。クロック選択部２３９は、ＰＣＲクロック取得部２１５と、ＧＥＮＬＯＣＫクロック生成部２３７のいずれをＳＴＣクロック生成部２４１に接続させるかを切り換えることにより、ＳＴＣクロックの基準になるクロックを切り換える。クロック選択部２３９は、ＴＳストリーム受信開始時は、デコーダ５１と同様に、ＰＣＲクロック取得部２１５が取得したＰＣＲクロックからＳＴＣクロックを生成するよう、ＰＣＲクロック取得部２１５をＳＴＣクロック生成部２４１に接続する。デコーダ５１から、次の垂直同期信号のＳＴＣ値が通知されると、クロック選択部２３９は、ＧＥＮＬＯＣＫクロック生成部２３７をＳＴＣクロック生成部２４１に接続する。ＧＥＮＬＯＣＫクロック生成部２３７は、分配器５９からＧＥＮＬＯＣＫ信号２３１を取得する。

ＳＴＣクロック生成部２４１は、クロック選択部２３９を介して入力されるクロックに基づきＳＴＣクロックを生成する。垂直同期信号生成部２４３は、ＰＣＲクロック取得部２１５がＳＴＣクロック生成部２４１に接続されている場合には、デコーダ５１と同様に、ＳＴＣクロックを用いて垂直同期信号生成部２４３で垂直同期信号を生成する。垂直同期信号生成部２４３は、ＧＥＮＬＯＣＫクロック生成部２３７がＳＴＣクロック生成部２４１に接続されている場合には、ＧＥＮＬＯＣＫ信号２３１により垂直同期信号を生成する。生成された垂直同期信号に基づき、映像情報、音声情報は表示装置１１に出力される。

ＳＴＣ読出部２４７は、ＳＴＣクロック生成部２４１でＳＴＣクロック生成が開始された後、デコーダ５１からの要求により、次の垂直同期信号のタイミング毎の各々のＳＴＣ値を読み出し、送信部２４９及びＬＡＮ２００を介してデコーダ５１に通知する。

受信部２０１は、デコーダ５１から、次の垂直同期信号のＳＴＣ値を受信し、ＳＴＣ設定部２４５に通知する。ＳＴＣ設定部２４５は、受信したＳＴＣ値をＳＴＣクロック生成部２４１に通知することにより、自身のＳＴＣ値を、デコーダ５１から通知されたＳＴＣ値に設定する。このように設定されたＳＴＣ値、垂直同期信号に基づき、デコーダ５３〜５７は、映像信号２３５を出力し、表示装置１１に分割映像４４〜４８を表示させる。

続いて、上記符号化装置３により生成されるストリームの概念を、図１０、図１１を参照しながら説明する。図１０は、上記のようなＰＴＳのＳＴＣ同期を行わない場合のＴＳストリーム３００、３１０、３２０、３３０（まとめてＴＳストリーム３００〜３３０という、以下同様）を概念的に示す図である。図１０に示すように、エンコーダ３１〜３３は、カメラ９から取得した分割映像の映像信号を符号化し、ＴＳストリーム３００〜３３０を生成する。例えばＴＳストリーム３００は、符号化ピクチャ３０２、符号化ピクチャ３０６などを有している。例えばＴＳストリーム３１０は、符号化ピクチャ３１２、符号化ピクチャ３１６などを有している。

このとき、例えば、符号化ピクチャ３０２は、符号化ピクチャ３１２と同一の元映像２０を分割した分割映像２２、２４を符号化したものであるが、添付されているＰＴＳ３０３、ＰＴＳ３１３は、それぞれＰＴＳ（１、１）、ＰＴＳ（２、１）と異なる値となっている。

図１１は、一実施の形態によるＰＴＳのＳＴＣ同期を行なった場合のＴＳストリーム３５０〜３８０の一例を示す概念図である。例えば、エンコーダ３１〜３７は、それぞれＴＳストリーム３５０〜３８０を出力する。上述のように、エンコーダ３１は、エンコーダ３３〜３７に、次の垂直同期信号の時刻となるＳＴＣ値として、ＰＴＳ（１）を通知する。このとき、各エンコーダ３１〜３７は、この例では垂直同期信号３９０の立下りの時刻３９２を、同一のＳＴＣとしてＰＴＳ（１）と設定する。よって、同一の元映像２０の分割映像２２〜２８を取込んで符号化した各符号化ピクチャ３５２、３６２、３７２、３８２に付加されるＰＴＳ３５３、３６３等は、同一のＰＴＳ＝ＰＴＳ（１）となる。

同様に、符号化ピクチャ３５６、３６６等に付加されるＰＴＳ３５７等は、同一の値＝ＰＴＳ（２）となる。以上のように、同一の元映像２０の分割映像２２〜２８に基づくＴＳストリームには、同一のＰＴＳが付加される。このように、エンコーダ３１〜３７のＳＴＣの同期が可能となり、各垂直同期信号のＳＴＣ値から作成する、符号化後の各ピクチャのＰＴＳ値を一致させることができる。

図１２は、符号化装置３においてＰＴＳのＳＴＣ同期を行なった場合のＴＳストリーム３５０〜３８０の、ＩＰネットワーク７で通信された後の状態の一例を示す概念図である。図１２に示すように、ＩＰネットワーク７を介してＴＳストリーム３５０〜３８０が送信されると、送信による遅延時間が一定でないため、デコーダ５１〜５７への到着時刻はそれぞれ異なる。しかしながら、上述のように、同一の元映像２０の分割映像２２〜２８には、同一のＰＴＳが付加されているため、デコーダ５１〜５７側では、同一の元映像２０のＴＳストリームは識別可能になる。

図１３は、ＰＴＳのＳＴＣ同期を行なった場合のＴＳストリーム３５０〜３８０の、デコーダ５１〜５７で復号化される際の一例を示す概念図である。図１３に示すように、デコーダ５１は、デコーダ５３〜５７に、分配器５９を介してＧＥＮＬＯＣＫ信号２３１を供給する。また、ＳＴＣ要求３９３のように、デコーダ５１が、次の垂直同期信号のＳＴＣ値をデコーダ５３〜５７に要求すると、デコーダ５３〜５７は、ＳＴＣ通知３９５のように、それぞれＳＴＣ値をデコーダ５１に通知する。デコーダ５１は、通知されたＳＴＣ値と自身の次の垂直同期信号のＳＴＣ値との最も遅い値に基づき、次の垂直同期信号の時刻を通知３９７のように通知し、デコーダ５１〜５７に設定させる。よって、デコーダ５１〜５７側では、同一の元映像２０のＴＳストリームが同期されて表示装置１１に出力される。

以上のように構成された符号化装置３、復号化装置５の動作を、フローチャートを参照しながら説明する。まず、図１４、図１５を参照しながら、本実施の形態による符号化装置３の動作について説明する。図１４は、エンコーダ３１の動作を示すフローチャート、図１５は、エンコーダ３３〜３７の動作を示すフローチャートである。

図１４に示すように、エンコーダ３１は、カメラ９から取得した映像信号において、まず、垂直同期信号のタイミングを検出し、検出時のＳＴＣ値を取得する（Ｓ４０１）。エンコーダ３１は、取得したＳＴＣ値に基づき、次の垂直同期信号のＳＴＣ値を算出し、エンコーダ３３〜３７に通知し（Ｓ４０２）、例えば、ＴＳストリーム３５０を出力するとともに、Ｓ４０１に戻って処理を繰り返す。

図１５に示すように、エンコーダ３３〜３７は、エンコーダ３１から次の垂直同期信号のＳＴＣ値を受信すると（Ｓ４１１）、垂直同期信号のタイミングを検出する（Ｓ４１２）。ＳＴＣ設定部２４５は、次の垂直同期信号のＳＴＣ値を、受信した値に設定して（Ｓ４１３）、映像信号の符号化を行い、例えばＴＳストリーム３６０〜３８０を出力するとともに、Ｓ４１１に戻って処理を繰り返す。

次に、デコーダ５１〜５７の再生開始動作について説明する。図１６Ａ，図１６Ｂは、デコーダ５１の再生開始動作を示すフローチャート、図１７は、デコーダ５３〜５７の再生開始動作を示すフローチャートである。

図１６Ａに示すように、デコーダ５１の受信部２０１は、例えばＴＳストリーム３５０の受信を開始する（Ｓ５０１）。受信バッファ部２０３が一時的に保持したＴＳストリーム３５０から、映像／音声分離部２０５が、映像／音声／ＰＣＲを分離する。ＰＣＲクロック取得部２１５は、映像／音声分離部２０５からＰＣＲを取得し、ＳＴＣクロック生成部２１７に出力する。ＳＴＣクロック生成部２１７は、ＰＣＲに同期したＳＴＣクロックを生成する（Ｓ５０２）。デコーダ５１は、デコーダ５３〜５７が同様に、ＰＣＲに同期したＳＴＣクロックの生成を完了するのを待つ（Ｓ５０３）。

デコーダ５１は、送信部２２７を介してデコーダ５３〜５７に、次の垂直同期信号のＳＴＣ値を要求する（Ｓ５０４）。デコーダ５１は、次の垂直同期信号が取得されるまでに、デコーダ５３〜５７の次の垂直同期信号のＳＴＣ値が、受信部２０１において受信されたか否かを判別する（Ｓ５０５）。ＳＴＣ値が受信されていない場合には（Ｓ５０５：ＮＯ）、デコーダ５１は、ＳＴＣ値が受信できていないデコーダ５３〜５７に、次の垂直同期信号のＳＴＣ値を再度要求する（Ｓ５０６）。デコーダ５１は、次の垂直同期信号が取得されるまでに、再度要求したデコーダ５３〜５７からの次の垂直同期信号のＳＴＣ値が、受信部２０１において受信されたか否かを判別する（Ｓ５０７）。

再度要求したＳＴＣ値が受信されない場合には（Ｓ５０７：ＮＯ）、デコーダ５１は、Ｓ５０６に戻って処理を繰り返す。再度要求したＳＴＣ値が受信されると（Ｓ５０７：ＹＥＳ）、デコーダ５１は、ＳＴＣ計算部２２１において、受信した各デコーダ５３〜５７のＳＴＣ値と、自身の次の垂直同期信号のＳＴＣ値との中から、最大の値を計算する（Ｓ５０８）。

図１６Ｂに示すように、デコーダ５１は、計算された最大のＳＴＣ値を、ＳＴＣ設定部２２３を介して次の垂直同期信号のＳＴＣ値として設定する（Ｓ５０９）。デコーダ５１は、計算された最大のＳＴＣ値を、送信部２２７を介してデコーダ５３〜５７に、次の垂直同期信号のＳＴＣ値として設定させる。また、デコーダ５１は、クロック選択部２３９がＳＴＣクロック生成部２４１とＧＥＮＬＯＣＫクロック生成部２３７とを接続させることを要求する（Ｓ５１０）。これによりデコーダ５３〜５７は、ＧＥＮＬＯＣＫ信号２３１に基づく動作となり、デコーダ５１〜５７の垂直同期信号、およびＳＴＣクロックの同期をとることができる。

デコーダ５１は、次の垂直同期信号のＳＴＣ値の時刻までに、デコーダ５３〜５７においてＳＴＣ値の設定が完了したか否か判別する（Ｓ５１１）。完了していない場合には（Ｓ５１１：ＮＯ）、デコーダ５１は、送信部２２７を介して、設定完了していないデコーダ５３〜５７に、次の垂直同期信号のＳＴＣ値の設定、およびクロック選択部２３９がＳＴＣクロック生成部２４１とＧＥＮＬＯＣＫクロック生成部２３７とを接続させることを要求する（Ｓ５１２）。デコーダ５１は、全てのデコーダ５３〜５７が、ＳＴＣ値の設定及びクロック選択部２３９の切替を完了したか否か判別し（Ｓ５１３）、完了していない場合には（Ｓ５１３：ＮＯ）、Ｓ５１２の要求を繰り返す。完了した場合には、デコーダ５１は、デコーダ５３〜５７に、分割映像４４〜４８の表示開始を要求する（Ｓ５１４）。また、デコーダ５１は、映像復号化部２０７で復号化した映像、及び音声復号化部２０９で復号化した音声を、それぞれ映像表示部２１１、音声表示部２１３を介して映像信号２３５として出力し、表示装置１１に分割映像４２の表示を開始させる（Ｓ５１５）。

図１７に示すように、デコーダ５３〜５７の受信部２０１は、それぞれ例えばＴＳストリーム３６０〜３８０の受信を開始する（Ｓ５２１）。受信バッファ部２０３が一時的に保持したＴＳストリーム３６０〜３８０から、映像／音声分離部２０５が、映像／音声／ＰＣＲを分離する。ＰＣＲクロック取得部２１５は、映像／音声分離部２０５からＰＣＲを取得する。このとき、クロック選択部２３９は、ＰＣＲクロック取得部２１５とＳＴＣクロック生成部２４１とを接続させている状態であるため、ＳＴＣクロック生成部２１７は、ＰＣＲに同期したＳＴＣクロックを生成する（Ｓ５２２）。

デコーダ５３〜５７は、デコーダ５１が、デコーダ５１の送信部２２７及びデコーダ５３〜５７の受信部２０１を介して、次の垂直同期信号のＳＴＣ値を要求するまで待機する（Ｓ５２３）。デコーダ５３〜５７は、次の垂直同期信号のＳＴＣ値の要求が受信されない場合には（Ｓ５２３：ＮＯ）、受信されたか否か再度確認し（Ｓ５２４）、Ｓ５２３の処理を繰り返す。

次の垂直同期信号のＳＴＣ値の要求が受信された場合には（Ｓ５２３：ＹＥＳ）、デコーダ５３〜５７は、ＳＴＣ読出部２４７が読み出して計算した、次の垂直同期信号のＳＴＣ値をデコーダ５１に返信する（Ｓ５２５）。

デコーダ５３〜５７は、デコーダ５１が、デコーダ５１の送信部２２７及びデコーダ５３〜５７の受信部２０１を介して、次の垂直同期信号のＳＴＣ値と、ＧＥＮＬＯＣＫ信号２３１に基づく動作の指示を受信するまで待機する（Ｓ５２６）。デコーダ５３〜５７は、指示が受信されない場合には（Ｓ５２６：ＮＯ）、受信されたか否か再度確認し（Ｓ５２７）、Ｓ５２６の処理を繰り返す。

次の垂直同期信号のＳＴＣ値と、ＧＥＮＬＯＣＫ信号２３１に基づく動作の指示を受信すると（Ｓ５２６：ＹＥＳ）、クロック選択部２３９は、ＧＥＮＬＯＣＫクロック生成部２３７とＳＴＣクロック生成部２４１とを接続させる。また、ＳＴＣクロック生成部２４１は、垂直同期信号生成部２４３に通知された次の垂直同期信号のＳＴＣ値を設定し、送信部２４９を介して、変更完了をデコーダ５１に通知する（Ｓ５２８）。

デコーダ５３〜５７は、デコーダ５１から、分割映像４４〜４８の表示開始の指示を受信するまで待機する（Ｓ５２９）。デコーダ５３〜５７は、指示が受信されない場合には（Ｓ５２９：ＮＯ）、受信されたか否か再度確認し（Ｓ５３０）、Ｓ５２９の処理を繰り返す。指示を受信すると（Ｓ５２９：ＹＥＳ）、デコーダ５３〜５７は、映像復号化部２０７で復号化した映像情報、及び音声復号化部２０９で復号化した音声情報を、それぞれの映像表示部２１１、音声表示部２１３を介して映像信号２３５として出力する。これにより、表示装置１１に分割映像４４〜４８を表示させる（Ｓ５３１）。

続いて、デコーダ５１〜５７の再生中の動作について説明する。図１８は、デコーダ５１の再生中の動作を示すフローチャート、図１９は、デコーダ５３〜５７の再生中の動作を示すフローチャートである。

図１８に示すように、デコーダ５１は、ＳＴＣ読出部２２５が垂直同期信号生成部２１９から垂直同期信号のＳＴＣ値を検出し（Ｓ５４１）、次の垂直同期信号のＳＴＣ値を計算し、送信部２２７を介してデコーダ５３〜５７に通知する（Ｓ５４２）。デコーダ５１は、後述する初期化要求をデコーダ５３〜５７から受信したか否か判別し（Ｓ５４３）、受信していない場合にはＳ５４１から処理を繰り返し（Ｓ５４３：ＮＯ）、受信した場合には、再び送信開始処理を行う（Ｓ５４３：ＹＥＳ）。

図１９に示すように、デコーダ５３〜５７は、垂直同期信号生成部２４３から垂直同期信号のタイミングを検出する（Ｓ５５１）。デコーダ５３〜５７は、受信バッファ部２０３が、アンダーフローまたはオーバーフローしているか否かを判別する（Ｓ５５２）。アンダーフローまたはオーバーフローしていない場合には（Ｓ５５２：ＮＯ）、次の垂直同期信号のＳＴＣ値を受信し（Ｓ５５３）、している場合には（Ｓ５５２：ＹＥＳ）、Ｓ５５６に処理を進める。

次の垂直同期信号のＳＴＣ値を受信すると、デコーダ５３〜５７は、通知されたＳＴＣ値が、自身の次の垂直同期信号のＳＴＣ値と一致しているか否か判別し（Ｓ５５４）、一致している場合には、Ｓ５５１に処理を戻す。一致していない場合には（Ｓ５５４：ＮＯ）、デコーダ５３〜５７は、不一致回数が規定回数以下か否かを判別し（Ｓ５５５）、規定回数以下の場合には（Ｓ５５５：ＹＥＳ）、Ｓ５５１に処理を戻す。不一致回数が規定回数を超えた場合には（Ｓ５５５：ＮＯ）、デコーダ５３〜５７は、デコーダ５１に初期化要求を送信し（Ｓ５５６）、Ｓ５５１に戻って処理を繰り返す。

以上説明したように、一実施の形態による映像伝送システム１によれば、例えばエンコーダ３１を主符号化装置とし、元映像２０の符号化の際、エンコーダ３１で計算された次の垂直同期信号に対応するＳＴＣ値をエンコーダ３３〜３７に通知させる。エンコーダ３３〜３７は、通知されたＳＴＣ値を、次の垂直同期信号のＳＴＣ値として設定する。これにより、エンコーダ３１〜３７で符号化される符号化ピクチャに付加されるＰＴＳ値は、同一の元映像２０に基づくものについて同一の値となる。エンコーダ３１〜３７で符号化されたＴＳストリームは、ＩＰネットワーク７を介して送信される。

復号化の際には、例えばデコーダ５１が主復号化装置であるとすると、デコーダ５１は、符号化装置３から送られてきたＰＣＲに同期してＳＴＣを再生する。デコーダ５１は、例えば、再生された映像信号のＢｌａｃｋ Ｂｕｒｓｔ信号(ＢＢ信号)を、ＧＥＮＬＯＣＫ信号２３１として分配器５９に与える。分配器５９は、デコーダ５３〜５７に、ＧＥＮＬＯＣＫ信号２３１を分配する。

デコーダ５３〜５７は、現在受信したＰＣＲに同期してＳＴＣを再生し、次の垂直同期信号のＳＴＣ値を読み出して、垂直同期信号の１周期分を加算し、デコーダ５１に通知する。デコーダ５１は、自身の次の垂直同期信号のＳＴＣ値、及びデコーダ５３〜５７から通知された次の垂直同期信号のＳＴＣ値を比較する。デコーダ５１は、一番遅く受信されたＴＳストリームが再生可能となるように、最も遅いＳＴＣ値を自身のＳＴＣ値、及びデコーダ５３〜５７のＳＴＣ値として設定させる。すなわち、デコーダ５１は、垂直同期信号のタイミングに１周期分のオフセットを加算したＳＴＣ値の中の最も遅い値を、次の垂直同期信号の時刻に対応するＳＴＣの設定値として、デコーダ５３〜５７に通知する。デコーダ５３〜５７は、次の垂直同期信号のＳＴＣ値を、デコーダ５１から通知されたＳＴＣ値に変更する。このとき、デコーダ５３〜５７では、クロック選択部２３９は、ＳＴＣクロック生成部２４１の接続先をＧＥＮＬＯＣＫクロック生成部２３７に切り換える。

これにより、デコーダ５１〜５７は、同一のＰＴＳ値を有する符号化ピクチャを同時に表示させることで、ＩＰネットワーク７で発生する個々のＴＳストリームの遅延を吸収するので、復号化装置５で分割映像の同期を合わせて再生できる。

以上のように、ＩＰネットワーク７を介する送信で、エンコーダ３１〜３７において、同一の元映像２０の分割映像に基づく符号化ピクチャには、同一のＰＴＳ値が含まれる。よって、復号化装置５に到着する時刻に差があっても、同一の元映像２０の分割映像の情報を識別することができる。また、復号化装置５に到着する時刻に差があっても、デコーダ５１〜５７は、次の垂直同期信号に対応するＳＴＣ値を、一番遅く送信されてきた符号化ピクチャの、次の垂直同期信号に同期して設定する。よって、デコーダ５１〜５７のＳＴＣクロックが互いに同期される。これにより、分割映像４２〜４８を、同一タイミングで安定して表示装置１１で再生することが可能になる。このとき、符号化装置３、復号化装置５には、さらなる変換装置などを設けることは不要であり、シンプルな機器構成でも４Ｋ２Ｋやスーパーハイビジョン、３Ｄ等の高品位なＩＰ映像伝送が可能となり、コストダウンが図れる。

さらに、再生映像４０の再生中、デコーダ５１は、次の垂直同期信号のタイミングでＳＴＣ値をデコーダ５３〜５７に通知する。また、デコーダ５３〜５７は、受信バッファ部２０３によるバッファのオーバーフロー、アンダーフロー等、ＳＴＣ設定部２４５などによるＳＴＣ値の規定回数を超えるずれなどの異常を監視し、異常が検出された場合には、通信開始処理を再度実行することができる。

上記実施の形態において、エンコーダ３１は、主符号化装置の一例であり、エンコーダ３３〜３７は、従符号化装置の一例である。映像取込部１０１は、分割映像取得部の一例であり、ＳＴＣ読出部１１３は、識別時刻通知部の一例であり、映像符号化部１０３は、符号化部の一例である。また、ＳＴＣ設定部１２３は、識別時刻取得部の一例である。

デコーダ５１は、主復号化装置の一例であり、デコーダ５３〜５７は、従復号化装置の一例である。受信部２０１は、符号化情報取得部の一例であり、ＳＴＣ計算部２２１は、主再生時刻計算部、従再生時刻取得部の一例である。ＳＴＣ設定部２２３は、再生時刻設定部の一例であり、ＳＴＣ読出部２２５は、再生時刻通知部の一例であり、映像復号化部２０７は、復号化部の一例であり、映像表示部２１１は、再生部の一例である。

ＳＴＣ読出し部２４７は、従再生時刻取得部の一例であり、送信部２４９は、従再生時刻通知部の一例であり、ＳＴＣ設定部２４５は、再生時刻取得部の一例である。
ピクチャデータ３５８等は、符号化分割映像の一例であり、符号化ピクチャ３５２等は、符号化情報の一例であり、ＰＴＳ値は、識別時刻の一例である。次の垂直同期信号のＳＴＣの計算値は、主再生時刻、従再生時刻の一例であり、次の垂直同期信号のＳＴＣの設定値は、再生時刻の一例であり、ＴＳストリーム３５０〜３８０は、符号化送信情報の一例である。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、各エンコーダ３３〜３７は、エンコーダ３１から通知される次の垂直同期信号ＳＴＣ値の通知が遅れたりしたときの保護として、通知されたＳＴＣ値が自身の次の垂直同期信号のＳＴＣ値と違っていても即座に反映させるとは限らない。連続で閾値以上ずれた回数や、ＳＴＣ値のずれの閾値を予め決めておき、所定回数以上連続で閾値以上ずれた場合や、ずれが閾値を上回った場合にＳＴＣ設定部１２３がＳＴＣ値を更新するようにしてもよい。これにより、ネットワークの揺らぎによるＳＴＣ値反映の誤動作を排除することも可能である。この場合、符号化ピクチャに付加されるＰＴＳ値は、ある閾値内の値となる。

上記実施の形態において、符号化装置３は、全てのエンコーダ３１〜３７において同一のＰＴＳ値をストリームに付加するようにしたが、例えば、エンコーダ３１に対するエンコーダ３３〜３７のＳＴＣ値のずれを送信するようにしてもよい。これにより、復号化装置５において、同一の元映像２０の分割映像を識別することができる。

また、デコーダ５３〜５７がデコーダ５１に通知する値は、次の垂直同期信号のＳＴＣ値以外に、ＰＴＳ値やＰＣＲを使用してもよい。また、デコーダ５１〜５７が受信するＴＳストリームが全てマルチキャストの場合、デコーダ５１は、デコーダ５３〜５７からＰＴＳ値又はＰＣＲ値の通知を受けるのではなく、他のデコーダ５３〜５７宛のＴＳストリームもデコードせずに受信のみ行い、その中からＰＴＳ値又はＰＣＲ値を抽出することで、ＳＴＣのオフセット値を算出することも可能である。

１ 映像伝送システム
３ 符号化装置
５ 復号化装置
７ ＩＰネットワーク
９ カメラ
１１ 表示装置
２０ 元映像
２２〜２８ 分割映像
３１ エンコーダ
３３〜３７ エンコーダ
３９ ＨＵＢ
５１ デコーダ
５３〜５７ デコーダ
５９ 分配器
６１ ＨＵＢ
４０ 再生映像
４２〜４８ 分割映像
７０ 受信装置
７２ ＰＬＬ
７４ 符号化部
７６ 映像部
７８ 音声部
８０ 多重化装置
８２ メモリ
８４ ＣＰＵ
８６ ＬＡＮ制御部
１０１ 映像取込部
１０３ 映像符号化部
１０５ 音声取込部
１０７ 音声符号化部
１０９ 映像／音声多重部
１１１ 垂直同期信号取込部
１１３ ＳＴＣ読出部
１１５ ＳＴＣクロック生成部
１１７ ＰＣＲクロック生成部
１１９ 送信部
１２１ ＬＡＮ
１２３ ＳＴＣ設定部
１２５ 受信部

Claims (10)

1. 主符号化装置と少なくとも一つの従符号化装置と、
   を有し、
   前記主符号化装置は、
   一画面の元映像が複数に分割された分割映像のうちの一つを時系列に取得する分割映像取得部と、
   時系列に取得される前記分割映像を識別するための識別時刻を取得するとともに、前記従符号化装置に前記識別時刻を通知する識別時刻通知部と、
   取得した前記分割映像を符号化して符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する符号化部と、
   前記符号化送信情報を送信する送信部と、
   を有し、
   前記従符号化装置は、
   前記一つ以外の分割映像のうちのいずれかを時系列に取得する分割映像取得部と
   前記分割映像を識別するために設定される前記識別時刻を前記主符号化装置から取得する識別時刻取得部と、
   取得した前記分割映像を符号化した符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する符号化部と、
   前記符号化送信情報を送信する送信部と、
   を有することを特徴とする符号化装置。
2. 前記識別時刻は、前記主符号化装置が前記分割映像の垂直同期信号を取得した時刻に、前記垂直同期信号の周期を加算した時刻であり、
   前記従符号化装置は、次の垂直同期信号を取得した時刻を、通知された前記識別時刻に設定することにより、同一の前記元映像に基づく符号化情報に同一の前記識別時刻を含ませることを特徴とする請求項１に記載の符号化装置。
3. 前記識別時刻は、前記主符号化装置が前記分割映像の垂直同期信号を取得した時刻に、前記垂直同期信号の周期を加算した時刻であり、
   前記従符号化装置は、次の垂直同期信号を取得した時刻と、通知された前記識別時刻とが、予め定められた閾値以上ずれた回数が、所定回数以上の場合に、次の垂直同期信号を取得した時刻を前記識別時刻に設定することを特徴とする請求項１に記載の符号化装置。
4. 前記符号化送信情報は、ＩＰネットワークを介して送信されることを特徴とする請求項１から請求項３のいずれか一項に記載の符号化装置。
5. 主復号化装置と少なくとも一つの従復号化装置と、
   を有し、
   前記主復号化装置は、
   一画面の元映像が複数に分割された分割映像のうちの一つを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する符号化情報取得部と、
   前記識別時刻に基づき、取得された前記分割映像の次の前記分割映像を再生する主再生時刻を計算する主再生時刻計算部と、
   前記識別時刻に基づき計算された、前記少なくとも一つの従復号化装置が取得した前記識別時刻を有する前記分割映像の次の前記分割映像を再生する従再生時刻をそれぞれ取得する従再生時刻取得部と、
   前記主再生時刻と、少なくとも一つの前記従再生時刻との中で、最も遅い時刻を再生時刻として設定する再生時刻設定部と、
   前記再生時刻を少なくとも一つの前記従復号化装置に通知する再生時刻通知部と、
   前記符号化分割映像を復号化する復号化部と、
   前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する再生部と、
   を有し、
   前記従復号化装置は、
   前記元映像の分割映像のうち、前記主復号化装置が復号化する分割映像以外の分割画像のいずれかを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得する符号化情報取得部と、
   前記従復号化装置において取得された、前記識別時刻に対応する前記分割映像の次の分割映像を再生する従再生時刻を取得する従再生時刻取得部と、
   前記従再生時刻を前記主復号化装置に通知する従再生時刻通知部と、
   前記主復号化装置から、前記次の分割映像の再生時刻を取得する再生時刻取得部と、
   前記符号化分割映像を復号化する復号化部と、
   前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生する再生部と、
   を有することを特徴とする復号化装置。
6. 前記再生時刻は、前記主復号化装置が前記分割映像の垂直同期信号を取得した時刻に、前記垂直同期信号の周期を加算した時刻であり、
   前記従復号化装置は、次の垂直同期信号を取得した時刻を、通知された前記再生時刻に設定することにより、同一の前記元映像に基づく前記分割映像を再生することを特徴とする請求項５に記載の復号化装置。
7. 前記再生時刻は、前記主符号化装置が前記分割映像の垂直同期信号を取得した時刻に、前記垂直同期信号の周期を加算した時刻であり、
   前記従復号化装置は、次の垂直同期信号を取得した時刻と、通知された前記再生時刻とが、予め定められた閾値以上ずれた回数が、所定回数以上の場合に、次の垂直同期信号を取得した時刻を前記再生時刻に設定することを特徴とする請求項５に記載の復号化装置。
8. 前記符号化情報は、ＩＰネットワークを介して取得されることを特徴とする請求項５から請求項７のいずれか一項に記載の復号化装置。
9. 主符号化装置が、
   一画面の元映像が複数に分割された分割映像のうちの一つを時系列に取得し、前記分割映像を識別するための識別時刻を取得し、
   従符号化装置に前記識別時刻を通知し、
   取得した前記分割映像を符号化して符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成し、
   前記従符号化装置が、
   前記一つ以外の分割映像のうちのいずれかを時系列に取得し、前記分割映像を識別するために設定される前記識別時刻を前記主符号化装置から取得し、
   取得した前記分割映像を符号化した符号化分割映像を生成するとともに、前記符号化分割映像と前記識別時刻とを含む符号化情報が時系列に含まれた符号化送信情報を生成する
   ことを特徴とする符号化方法。
10. 主復号化装置が、
    一画面の元映像が複数に分割された分割映像のうちの一つを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得し、
    前記識別時刻に基づき、取得された前記分割映像の次の前記分割映像を再生する主再生時刻を計算し、
    前記識別時刻に基づき計算された、前記少なくとも一つの従復号化装置が取得した前記識別時刻を有する前記分割映像の次の前記分割映像を再生する従再生時刻をそれぞれ取得し、
    前記主再生時刻と、少なくとも一つの前記従再生時刻との中で、最も遅い時刻を再生時刻として設定し、
    前記再生時刻を少なくとも一つの前記従復号化装置に通知し、
    前記符号化分割映像を復号化し、
    前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生し、
    従復号化装置が、
    前記元映像の分割映像のうち、前記主復号化装置が復号化する分割映像以外の分割画像のいずれかを符号化した符号化分割映像と、前記分割映像を識別する識別時刻とを含む符号化情報を時系列に取得し、
    前記従復号化装置において取得された、前記識別時刻に対応する前記分割映像の次の分割映像を再生する従再生時刻を取得し、
    前記従再生時刻を前記主復号化装置に通知し、
    前記主復号化装置から、前記次の分割映像の再生時刻を取得し、
    前記符号化分割映像を復号化し、
    前記再生時刻及び前記識別時刻に基づき、復号化された前記分割映像を再生することを特徴とする復号化方法。

Images