JP5289386B2

JP5289386B2 - 映像伝送システム

Info

Publication number: JP5289386B2
Application number: JP2010133044A
Authority: JP
Inventors: 一孝泉; 信秀志岐; 雅至高田
Original assignee: NTT Electronics Corp
Current assignee: NTT Electronics Corp
Priority date: 2010-06-10
Filing date: 2010-06-10
Publication date: 2013-09-11
Anticipated expiration: 2030-06-10
Also published as: WO2011155303A1; JP2011259294A

Description

本発明は、複数の復号化装置から同一タイミングで出力すべきフレームを同一タイミングで出力することが可能な映像伝送システムに関するものである。

従来にあっては、映像を立体的に見せるための映像伝送システムが開示されている（特許文献１を参照）。

図３は、従来の映像伝送システムの構成を示す図である。

時刻値発生器１００は、内部のタイマー（不図示）で計時される最新の時刻値Ｓを継続的に出力する。つまり、時刻値Ｓは段階的に大きくなり、最大値まで到達すると０に戻り、再び段階的に大きくなり、出力される。

符号化装置１０Ｌは、左映像を構成する各フレームＬを順次に符号化する。符号化装置１０Ｌは、符号化後のフレームＬ’に、符号化時の時刻値Ｓに等しい再生時刻値ＰＴＳを付与し出力する。

符号化装置１０Ｒは、右映像を構成する各フレームＲを順次に符号化する。符号化装置１０Ｒは、符号化後のフレームＲ’に、符号化時の時刻値Ｓに等しい再生時刻値ＰＴＳを付与し出力する。

左映像と右映像は同期しており、同一タイミングで再生すべきフレームＬ、Ｒは同一タイミングで符号化装置１０Ｌ、１０Ｒに入力される。よって、これらのフレームＬ、Ｒを符号化したもの、つまり同一タイミングで再生すべきフレームＬ’、Ｒ’には同一の再生時刻値ＰＴＳが付与される。

多重化装置２０は、符号化後の左映像と右映像を多重化する。同一タイミングで再生すべきフレームＬ’、Ｒ’を多重化したものを多重化フレームＳＴ中に含めて出力する。また、多重化ストリームＳＴは、符号化側と復号化側における時刻出力のための参照時刻値ＰＣＲを示すパケットを決められた周期間隔で含む。すなわち、参照時刻値ＰＣＲは、時刻値ＳＬ、ＳＲ、を符号化側の時刻値Ｓにあわせるために使用される。多重化ストリームＳＴは、通信路（不図示）を経由して伝達され、復号化部３０２Ｌ、３０２Ｒに送信される。復号化部３０２Ｌ、３０２Ｒは、多重化ストリームＳＴから自身が行う処理に必要なフレーム等を取り出す。

復号化装置３０Ｌの時刻値発生器３０１Ｌは、内部のタイマー（不図示）で計時される最新の時刻値ＳＬを継続的に出力する。つまり、時刻値ＳＬは段階的に大きくなり、最大値まで到達すると０に戻り、再び段階的に大きくなり、出力される。

時刻値発生器３０１Ｌは、参照時刻値ＰＣＲが取り出された際、発生する時刻値ＳＬが、その参照時刻値ＰＣＲに等しくなるように時刻値ＳＬを変更する。なお、時刻値ＳＬは、直ちに参照時刻値ＰＣＲに等しくはならず、参照時刻値ＰＣＲに等しくなるまでには、時間がかかる。

復号化装置３０Ｌの復号化部３０２Ｌは、左映像を構成する各フレームＬ’を順次に復号化する。復号化部３０２Ｌは、時刻値ＳＬがフレームＬ’内の再生時刻値ＰＴＳに一致したら、復号化後のフレームＬを出力する。

同期信号発生器４０は、定期的に同期信号Ｇを出力する。

復号化装置３０Ｌの出力部３０３Ｌは、同期信号Ｇが出力されたら、フレームＬを表示装置５０に出力し、これを表示装置５０が表示する。

復号化装置３０Ｒの時刻値発生器３０１Ｒは、内部のタイマー（不図示）で発生する時刻値ＳＲを定期的に出力する。各時刻値ＳＲは、段階的に大きくなり、最大値まで到達すると０に戻り、再び段階的に大きくなり、出力される。

時刻値発生器３０１Ｒは、参照時刻値ＰＣＲが取り出された際、発生する時刻値ＳＲが、その参照時刻値ＰＣＲに等しくなるように時刻値ＳＲを変更する。なお、時刻値ＳＲは、直ちに参照時刻値ＰＣＲに等しくはならず、参照時刻値ＰＣＲに等しくなるまでには、時間がかかる。

復号化装置３０Ｒの復号化部３０２Ｒは、右映像を構成する各フレームＲ’を順次に復号化する。復号化部３０２Ｒは、時刻値ＳＲがフレームＲ’内の再生時刻値ＰＴＳに一致したら、復号化後のフレームＲを出力する。

復号化装置３０Ｒの出力部３０３Ｒは、同期信号Ｇが出力されたら、フレームＲを表示装置５０に出力し、これを表示装置５０が表示する。

フレームＬの表示映像と、フレームＲの表示映像とを、特殊な眼鏡で見ると、例えば、立体的な映像を見ることができる。

特開２０００−０９２５１９号公報

上記の映像伝送システムでは、復号化装置３０Ｌ、３０Ｒを構成する部品の特性バラツキになど起因して時刻値ＳＬ、ＳＲにはズレが生じることがある。また、時刻値ＳＬ、ＳＲは温度などの外乱によって変化し、互いに一致しないことがある。

時刻値ＳＬ、ＳＲは参照時刻値ＰＣＲに等しくされるので、やがては、時刻値ＳＬ、ＳＲは一致するが、時刻値ＳＬ、ＳＲが参照時刻値ＰＣＲに等しくなるまでには、複数回の時刻値の変更が必要となるので、それまでの間は、時刻値ＳＬ、ＳＲにはズレが生じることがある。

このズレに起因して、上記の映像伝送システムでは、同一タイミングで表示すべきフレームＬ、Ｒが異なるタイミングで表示されることがある。

図４は、右画像、左画像のフレームの出力タイミングを示すタイミングチャートである。

復号化装置３０Ｌの復号化部３０２Ｌは、例えば、あるフレームＬを時刻ｔ１に出力開始する。これにより、フレームＬは、表示装置５０へ出力可能となる。

復号化装置３０Ｒの復号化部３０２Ｒは、このフレームＬと同一タイミングで表示すべきフレームＲを時刻ｔ２に出力開始する。これにより、フレームＲは、表示装置５０へ出力可能となる。

時刻ｔ２は、例えば、時刻ｔ１より遅れた時刻である。この遅れは、時刻値ＳＬ、ＳＲが、同期していない、つまり、同一タイミングで同じ値になっていないことに起因する。

同期信号発生器４０は、例えば、時刻ｔ３に同期信号Ｇを出力する。時刻ｔ３は、例えば、時刻ｔ１、ｔ２の間の時刻である。

復号化装置３０Ｌの出力部３０３Ｌは、復号化部３０２Ｌから時刻ｔ１に出力開始されたフレームＬを、時刻ｔ３に出力する。

一方、復号化装置３０Ｒの出力部３０３Ｒは、復号化部３０２Ｒから時刻ｔ２に出力開始されたフレームＲを、次の同期信号Ｇの出力時刻ｔ３’に出力する。

よって、同一タイミングで表示すべきフレームＬ、Ｒが異なるタイミングで表示される。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、複数の符号化装置において映像のフレームに再生時刻値を付与し、複数の復号化装置において時刻値が再生時刻値に一致したら、復号化後のフレームを出力可能とし、同期信号が出力されたら復号化装置からフレームを出力し、しかも、複数の復号化装置から同一タイミングで出力すべきフレームを同一タイミングで出力することが可能な映像伝送システムを提供することにある。

上記の課題を解決するために、本発明に係る映像伝送システムは、時刻値を出力する時刻値発生器と、表示対象映像のフレームを符号化し、符号化時の当該時刻値に等しい再生時刻値をフレームに付与する表示対象映像符号化装置からなる複数の表示対象映像符号化装置と、参照映像のフレームを符号化し、符号化時の当該時刻値に予め定められた値を加算し、加算後の時刻値に等しい再生時刻値をフレームに付与する参照映像符号化装置と、前記表示対象映像および参照映像の符号化後のフレームを多重化した多重化ストリームを生成する多重化装置と、前記多重化ストリームから表示対象映像のフレームを取り出して復号化する表示対象映像復号化装置からなる複数の表示対象映像復号化装置と、前記多重化ストリームから参照映像を取り出し、当該参照映像を使用して同期信号を発生させる同期信号発生装置とを備え、前記各表示対象映像復号化装置は、時刻値を出力する時刻値発生器と、取り出された表示対象映像のフレームを復号化し、当該時刻値がフレーム内の再生時刻値に一致したら、復号化後のフレームを出力する復号化部と、前記同期信号発生装置から同期信号が出力されたら、当該復号化後のフレームを外部に出力する出力部とを備え、前記同期信号発生装置は、時刻値を出力する時刻値発生器と、当該時刻値が、取り出された参照映像のフレーム内の再生時刻値に一致したら、前記各表示対象映像復号化装置に同期信号を出力する同期信号発生器とを備えることを特徴とする。

本発明に係る映像伝送システムによれば、参照映像のフレームを符号化し、符号化時の時刻値に予め定められた値を加算し、加算後の時刻値に等しい再生時刻値をフレームに付与する参照映像符号化装置と、時刻値発生器から出力された時刻値が参照映像のフレーム内の再生時刻値に一致したら、各表示対象映像復号化装置に同期信号を出力する同期信号発生器とを備える同期信号発生装置とを設けたので、複数の表示対象映像復号化装置から同一タイミングで出力すべきフレームを同一タイミングで出力することができる。

本実施の形態に係る映像伝送システムの構成を示す図である。図１のシステムにおける右画像、左画像のフレームの出力タイミングを示すタイミングチャートである。従来の映像伝送システムの構成を示す図である。図３のシステムにおける右画像、左画像のフレームの出力タイミングを示すタイミングチャートである。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本実施の形態に係る映像伝送システムの構成を示す図である。

本実施の形態に係る映像伝送システム（以下、単に映像伝送システムという）は、時刻値Ｓを出力する時刻値発生器１００と、映像を立体的に見せるための左目用の左映像、右目用の右映像を符号化する符号化装置１０Ｌ、１０Ｒと、参照映像を符号化する符号化装置１０Ｂと、符号化後の左映像、右映像、参照映像のストリームを多重化して多重化ストリームＳＴとする多重化装置２０と、多重化ストリームＳＴの中から左映像、右映像、参照映像を取り出して復号化する復号化装置３０Ｌ、３０Ｒ、３０Ｂと、復号化後の左映像、右映像を表示する表示装置５０とを備える。

各左映像、右映像は表示対象であり、表示対象映像ともいう。参照映像は、復号化後の左映像、右映像の同期出力のために参照されるものでもあり、例えば、映像は符号化後の情報量が少なくなるような黒や白の画面映像である。

各符号化装置１０Ｌ、１０Ｒは、表示対象映像を符号化するものであり、表示対象映像符号化装置ともいう。符号化装置１０Ｂは、参照映像を符号化するものであり、参照映像符号化装置ともいう。

各復号化装置３０Ｌ、３０Ｒは、表示対象映像を復号化するものであり、表示対象映像復号化装置ともいう。復号化装置３０Ｂは、参照映像を使用して同期信号を発生させるものであり、同期信号発生装置ともいう。

復号化装置３０Ｌは、時刻値ＳＬを出力する時刻値発生器３０１Ｌと、左映像を復号化する復号化部３０２Ｌと、復号化後の左映像を表示装置５０に出力する出力部３０３Ｌとを備える。

復号化装置３０Ｒは、時刻値ＳＲを出力する時刻値発生器３０１Ｒと、右映像を復号化する復号化部３０２Ｒと、復号化後の右映像を表示装置５０に出力する出力部３０３Ｒとを備える。

復号化装置３０Ｂは、時刻値ＳＢを出力する時刻値発生器３０１Ｂと、参照映像を復号化する復号化部３０２Ｂと、復号化装置３０Ｌ、３０Ｒの出力部３０３Ｌ、３０３Ｒに同期信号Ｅを出力する同期信号発生器３０４とを備える。

（映像伝送システムの動作）
時刻値発生器１００は、内部のタイマー（不図示）で計時される最新の時刻値Ｓを継続的に出力する。つまり、時刻値Ｓは段階的に大きくなって出力され、最大値に到達すると、０に戻り、再び段階的に大きくなり、出力される。

符号化装置１０Ｌは、左映像を構成する各フレームＬを順次に符号化する。符号化とは、圧縮処理であり、その出力はストリームになる。以下、符号化において同様である。

符号化装置１０Ｌは、符号化後のフレームＬ’に、符号化時の時刻値Ｓに等しい再生時刻値（プレゼンテーションタイムスタンプ）ＰＴＳを付与し出力する。

符号化装置１０Ｂは、黒い画像のみからなる参照映像を構成する各フレームＢを順次に符号化する。符号化装置１０Ｂは、入力映像なしで、黒い画像を符号化してもよい。

符号化装置１０Ｂは、符号化の際、そのときの時刻値Ｓに予め定められた値Δを加算し、加算後の時刻値に等しい再生時刻値ＰＴＳを、符号化後のフレームＢ’に付与し出力する。値Δは、映像伝送システムの特性を計測した結果に基づいて求めた値であり、詳しくは後で述べる。

左映像と右映像と参照映像は同期しており、同一タイミングで再生すべきフレームＬ、Ｒ、Ｂは同一タイミングで符号化装置１０Ｌ、１０Ｒ、１０Ｂに入力される。よって、これらのフレームＬ、Ｒを符号化したもの、つまり同一タイミングで再生すべきフレームＬ’、Ｒ’には同一の再生時刻値ＰＴＳが付与される。

一方、フレームＢ’には、上記のように値Δを加算しなければ、同一の再生時刻値ＰＴＳが付与されるが、実際には、値Δを加算した時刻値に等しい再生時刻値ＰＴＳが付与される。

多重化装置２０は、符号化後の左映像と右映像と参照映像のストリームを多重化して１つの多重化ストリームＳＴにする。多重化ストリームＳＴは、同一タイミングで再生すべきフレームＬ’、Ｒ’、Ｂ’、および多重化時の時刻値Ｓに等しい参照時刻値（プログラムクロックリファレンスという）ＰＣＲを示すパケットを決められた周期間隔で含む。

参照時刻値ＰＣＲは、後に時刻値ＳＬ、ＳＲ、ＳＢをこの参照時刻値ＰＣＲに等しくする処理で使用される。

多重化ストリームＳＴは、通信路（不図示）を経由して伝達され、復号化装置３０Ｌ、３０Ｒ、３０Ｂは、多重化ストリームＳＴを受信し、多重化ストリームＳＴから参照時刻値ＰＣＲを取り出し、それぞれ多重化ストリームＳＴからフレームＬ’、Ｒ’、Ｂ’を取り出す。フレームＬ’、Ｒ’、Ｂ’には再生時刻値ＰＴＳが付与されている。

復号化装置３０Ｌの時刻値発生器３０１Ｌは、内部のタイマー（不図示）で計時される最新の時刻値ＳＬを継続的に出力する。つまり、時刻値ＳＬは段階的に大きくなって出力され、最大値に到達すると０に戻り、再び段階的に大きくなり、出力される。

時刻値発生器３０１Ｌは、参照時刻値ＰＣＲが取り出された際、発生する時刻値ＳＬが、その参照時刻値ＰＣＲに等しくなるように時刻値ＳＬを変更する。なお、時刻値ＳＬは、直ちに参照時刻値ＰＣＲに等しくはならず、参照時刻値ＰＣＲに等しくなり、安定化するまでには時間がかかる。

復号化装置３０Ｌの復号化部３０２Ｌは、左映像を構成する各フレームＬ’を順次に復号化する。復号化とは、圧縮処理に対応する伸張処理である。以下、復号化において同様である。復号化部３０２Ｌは、時刻値ＳＬがフレームＬ’内の再生時刻値ＰＴＳに一致したら、復号化後のフレームＬを出力する。

復号化装置３０Ｒの時刻値発生器３０１Ｒは、内部のタイマー（不図示）で計時される最新の時刻値ＳＲを継続的に出力する。つまり、時刻値ＳＲは段階的に大きくなって出力され、最大値まで到達すると０に戻り、再び段階的に大きくなり、出力される。

時刻値発生器３０１Ｒは、参照時刻値ＰＣＲが取り出された際、発生する時刻値ＳＲが、その参照時刻値ＰＣＲに等しくなるように時刻値ＳＲを変更する。なお、時刻値ＳＲは、直ちに参照時刻値ＰＣＲに等しくはならず、参照時刻値ＰＣＲに等しくなり、安定化するまでには時間がかかる。

復号化装置３０Ｂの時刻値発生器３０１Ｂは、内部のタイマー（不図示）で計時される最新の時刻値ＳＢを継続的に出力する。つまり、時刻値ＳＢは段階的に大きくなって出力され、最大値まで到達すると０に戻り、再び段階的に大きくなり、出力される。

時刻値発生器３０１Ｂは、参照時刻値ＰＣＲが取り出された際、発生する時刻値ＳＢが、その参照時刻値ＰＣＲに等しくなるように時刻値ＳＢを変更する。なお、時刻値ＳＢは、直ちに参照時刻値ＰＣＲに等しくはならず、参照時刻値ＰＣＲに等しくなり、安定化するまでには時間がかかる。

復号化装置３０Ｂの復号化部３０２Ｂは、参照映像を構成する各フレームＢ’を順次に復号化する。

復号化部３０２Ｂは、時刻値ＳＢがフレームＢ’内の再生時刻値ＰＴＳに一致したら、復号化後のフレームＢを出力する。

復号化装置３０Ｂの同期信号発生器３０４は、フレームＢが出力されるごとに、同期信号Ｅを出力する。つまり、同期信号発生器３０４は、時刻値ＳＢがフレームＢ’内の再生時刻値ＰＴＳに一致したら、同期信号Ｅを出力する。

復号化装置３０Ｌの出力部３０３Ｌは、同期信号発生器３０４から同期信号Ｅが出力されたら、フレームＬを表示装置５０に出力し、これを表示装置５０が表示する。

復号化装置３０Ｒの出力部３０３Ｒは、同期信号発生器３０４から同期信号Ｅが出力されたら、フレームＲを表示装置５０に出力し、これを表示装置５０が表示する。

また、映像伝送システムでは、同一タイミングで表示すべきフレームＬ、Ｒは同一タイミングで表示される。

図２は、右画像、左画像のフレームの出力タイミングを示すタイミングチャートである。

映像伝送システムでは、復号化装置３０Ｌ、３０Ｒを構成する部品の特性バラツキになど起因して時刻値ＳＬ、ＳＲにはズレが生じることがある。また、時刻値ＳＬ、ＳＲは温度などの外乱によって変化し、互いに一致しないことがある。

時刻値ＳＬ、ＳＲは参照時刻値ＰＣＲに等しくされるので、やがては、時刻値ＳＬ、ＳＲは一致するが、時刻値ＳＬ、ＳＲが参照時刻値ＰＣＲに等しくなるまでには、時間を要するので、それまでの間は、時刻値ＳＬ、ＳＲにはズレが生じることがあるのである。

さて、復号化装置３０Ｂの同期信号発生器３０４は、例えば、時刻ｔ３に同期信号Ｅを出力する。

時刻ｔ３は、時刻ｔ２と次のフレームＬの出力開始時刻ｔ４の間の時刻である。

映像伝送システムでは、時刻ｔ１から時刻ｔ２までの期間の長さが予め計測され、符号化装置１０Ｂで使用される値Δは、時刻ｔ３が当該期間に含まれないように予め計算され、符号化装置１０Ｂは、時刻値Ｓに当該値Δを加算し、加算後の時刻値に等しい再生時刻値ＰＴＳをフレームＢ’に付与する。

時刻ｔ１から時刻ｔ４までの期間（フレーム期間などという）をＴ（秒）とすると、時刻ｔ１から時刻ｔ２までの期間は、通常は、Ｔ／２より短いので、Ｔ／２秒が値Δに換算され、この値Δが使用される。これにより、同期信号Ｅは、時刻ｔ１などのＴ／２秒後に、つまり、時刻ｔ１から時刻ｔ２までの期間を避けて、出力される。

復号化装置３０Ｒの出力部３０３Ｒは、復号化部３０２Ｒから時刻ｔ２に出力開始されたフレームＲを、時刻ｔ３に出力する。

すなわち、同一タイミングで表示すべきフレームＬ、Ｒは同一タイミングで出力されるのである。

したがって、本実施の形態に係る映像伝送システムによれば、参照映像のフレームを符号化し、符号化時の当該時刻値に予め定められた値Δを加算し、加算後の時刻値に等しい再生時刻値ＰＴＳをフレームに付与する参照映像符号化装置（１０Ｂ）と、時刻値発生器３０１Ｂから出力された時刻値ＳＢが参照映像のフレーム内の再生時刻値ＰＴＳに一致したら、各表示対象映像復号化装置（３０Ｌ、３０Ｒ）に同期信号を出力する同期信号発生器３０４とを備える同期信号発生装置（３０Ｂ）とを設けたので、複数の表示対象映像復号化装置（３０Ｌ、３０Ｒ）から同一タイミングで出力すべきフレームを同一タイミングで出力することができる。

なお、本実施の形態では、右映像、左映像を例に説明したが、これに限らず、２以上の任意の表示対象映像を表示させる映像伝送システムにおいて上記構成を採用し、これにより、同一タイミングで出力すべきフレームを同一タイミングで出力するようにしてもよい。

例えば、水平画素数と垂直画素数をそれぞれハイビジョンの２倍、面積にして４倍にした「４Ｋ×２Ｋ」映像の伝送をハイビジョン４チャンネルで同期させて伝送する場合にも適用できる。

また、本実施の形態では、例として、フレーム期間の１／２の換算値を値Δとしたが、０より大きく、フレーム期間を換算した値より小さい値なら、値Δは適宜実験的に求めた値でよい。

１０Ｂ、１０Ｌ、１０Ｒ…符号化装置
２０…多重化装置
３０Ｂ、３０Ｌ、３０Ｒ…復号化装置
４０…同期信号発生器
５０…表示装置
１００、３０１Ｒ、３０１Ｌ、３０１Ｂ…時刻値発生器
３０２Ｌ、３０２Ｒ、３０２Ｂ…復号化部
３０３Ｌ、３０３Ｒ…出力部
３０４…同期信号発生器
ＰＣＲ…参照時刻値
ＰＴＳ…再生時刻値
Ｓ、ＳＢ、ＳＬ、ＳＲ…時刻値
ＳＴ…多重化ストリーム

Claims

時刻値を出力する時刻値発生器と、
表示対象映像のフレームを符号化し、符号化時の当該時刻値に等しい再生時刻値をフレームに付与する表示対象映像符号化装置からなる複数の表示対象映像符号化装置と、
参照映像のフレームを符号化し、符号化時の当該時刻値に予め定められた値を加算し、加算後の時刻値に等しい再生時刻値をフレームに付与する参照映像符号化装置と、
前記表示対象映像および参照映像の符号化後のフレームを多重化した多重化ストリームを生成する多重化装置と、
前記多重化ストリームから表示対象映像のフレームを取り出して復号化する表示対象映像復号化装置からなる複数の表示対象映像復号化装置と、
前記多重化ストリームから参照映像を取り出し、当該参照映像を使用して同期信号を発生させる同期信号発生装置とを備え、
前記各表示対象映像復号化装置は、
時刻値を出力する時刻値発生器と、
取り出された表示対象映像のフレームを復号化し、当該時刻値がフレーム内の再生時刻値に一致したら、復号化後のフレームを出力する復号化部と、
前記同期信号発生装置から同期信号が出力されたら、当該復号化後のフレームを外部に出力する出力部とを備え、
前記同期信号発生装置は、
時刻値を出力する時刻値発生器と、
当該時刻値が、取り出された参照映像のフレーム内の再生時刻値に一致したら、前記各表示対象映像復号化装置に同期信号を出力する同期信号発生器とを備える
ことを特徴とする映像伝送システム。