JP5318992B2 - 映像伝送プログラム - Google Patents

Description

本発明は、映像伝送方法及びシステム及びプログラムに係り、特に、ディジタル動画像データを符号化して、ネットワークを通じて伝送し、符号化してディジタル映像データを再生する映像伝送方法及びシステム及びプログラムに関する。詳しくは、映像データが持つ輝度・色度信号の取りうる値の範囲を、変換パラメータによって変換し、その変換パラメータを伝送路での通信を通じて共有する映像伝送方法及びシステム及びプログラムに関する。

映像データを符号化して通信路を用いて伝送する映像コーディック装置では、映像信号の入出力インタフェースとして、各業界で標準となるディジタルインタフェースが用いられ、相互に互換性がない標準規格として成立・利用されている。放送業界ではＨＤＴＶ(High Definition TeleVision)の映像信号に対してＨＤ−ＳＤＩ(High Definition Serial Digital Interface)インタフェースが専ら用いられている。これは、約１．５Gbpsの帯域を用いて最大１９２０×１０８０画素６０フィールド４：２：２色サンプリングの映像を伝送できる。輝度・色度信号については、８ビットと１０ビットの２つのモードを持っているが、放送分野ではアナログ信号の規格の名残から最小側と最大側の約１割を使用しない規定があり、ＹＣｂＣｒ各８ビットの映像信号の場合は１６〜２３６（輝度）、１６〜２４０（色度）の値の範囲をとっている。１０ビットないし１２ビットの場合、ＹＣｂＣｒかＲＧＢの各組み合わせにおいても色表現範囲が以下のように定められている（例えば、非特許文献１参照）。
・Ｒ，Ｇ，Ｂ，Ｙ 8bit 16-235、10 bit 64・940、12 bit 256・3760
・Ｃｂ，Ｃｒ 8bit 16-240、10 bit 64-960、12 bit 256-3840
・Ｘ，Ｙ，Ｚ 12 bit 16・4079
一方で、コンピュータを入出力機器とする映像インタフェースではＤＶＩ(Digital Visual Interface)が専ら用いられている。ＲＧＢ色空間での４：４：４サンプリングを基本としており、各色成分の値の範囲は８ビット全体で表される０〜２６５の値をとる。近年ＴＶ・ビデオレコーダなどの民生用映像機器で使われるようになったＨＤＭＩ(High Definition Multimedia Interface)インタフェースは、ＤＶＩをベースとしており、これに音声ディジタル信号と機器相互間の制御信号線を追加して、コネクタを規定している。ＨＤ−ＳＤＩと異なり音声信号は、ビデオ信号にマルチプレクサで時間多重重畳されているのではなく、電気信号として独立している。

最近は、放送用の機材から送出される映像信号をネットワークで伝送し、受信した受信端末において、コンピュータインタフェース中での映像信号の輝度・色度の違いが、伝送・再生表示される映像の品質劣化をもたらす。例えば、放送用の輝度１６〜２３５の地域の信号をそのままのレンジでコンピュータ用のディスプレイ・プロジェクタに表示すると、表示デバイスは０〜２５５の範囲で表示可能であるので、黒が浮いた、あるいは、最高輝度の白が完全に明るくない、コントラストの低い映像が表示される。逆に、コンピュータ等で合成した０〜２５５の輝度・色度を利用する映像をネットワーク伝送装置で伝送して受信側でそのまま出すと、最低輝度の黒や、最高輝度の白がクリッピングされてしまうか、色彩が原色となるようになってしまう。この弊害を緩和する方法として、ＨＤ−ＳＤＩビデオを使う際に、伝送上問題とならない１〜２５４の値の範囲を使うといった規格外の用法も考えられている。なお、ＨＤ−ＳＤＩでは、８ビットフォーマットにおける最小値・最大値である０ないし２５５、１０ビットでの０・１０２３、１２ビットでの０・４０９５の値は、線路上の伝送ビット列が全「０」ないし全「１」となるため、伝送時のビット同期が外れやすくなる。そのため、放送規格の遵守、例外（規格外使用）に関わらず利用できない制約がある。
ＳＭＰＴＥ規格書 Ｓ２７４Ｍ（１０８０ｉ／Ｐ伝送フォーマット仕様）

映像伝送システムを用いて映像のネットワーク伝送を行う場合、送信側がＨＤ−ＳＤＩないしＤＶＩを入力としている場合に、どのような輝度・色度の範囲を想定しているか、従来の符号化データから受信装置側では推定することができない。ディジタル信号では、映像信号フォーマットの変換が簡単にできるので、仮に、ＨＤ−ＳＤＩで入力された信号が、規格に準拠するか、規格外の信号値の範囲を使っているかはアプリケーション依存である。

結果として、受信装置に接続された映像表示装置に適切な値の範囲の映像信号を出力することができない。その結果、ネットワークの両側にある、映像入力装置と映像表示装置の組み合わせにより、黒浮きや、白がくすんだ映像が表示されたり、黒・白がレベル範囲外になってクリッピングされてしまうことで映像品質の劣化が生じてしまう。

本発明は、上記の点に鑑みなされたもので、映像データを符号化してネットワークを用いて伝送する際に、カメラ等の映像入力装置からの映像信号を入力する送信装置側の映像入力インタフェースや、モニタ・プロジェクタ等に映像信号を出力する受信側伝送装置の映像出力インタフェースにおいて、種類の異なるビデオ・インタフェースがそれぞれ持つ輝度・色度信号の取り得る値の範囲を補正して、全黒から全白までの映像を正しく再生するための映像伝送方法及びシステム及びプログラムに関する。

図１は、本発明の原理構成図である。

図１の映像伝送システムは、映像送信装置１００と映像受信装置２００からなる映像伝送システムであって、
映像送信装置１００は、
映像データが入力される映像入力手段１１０と、
映像データを圧縮及び符号化する映像符号化手段１２０と、
外部から、映像が持つ輝度・色度信号の取り得る値の範囲の情報である輝度・色度パラメータを取得し、該輝度・色度パラメータと、映像符号化手段１２０で圧縮及び符号化された映像データとを合成する合成手段１３０と、
合成手段１３０で合成された符号化データを映像受信装置２００に送信する符号化データ送出手段１４０と、を有し、
映像受信装置２００は、
映像送信装置１００から符号化データを受信する符号化データ受信手段２１０と、
符号化データを輝度・色度パラメータと圧縮及び符号化された映像データに分離する分離手段２２０と、
分離手段２２０で分離された圧縮及び符号化された映像データを復号する映像復号２３０と、
分離手段２２０で分離された輝度・色度パラメータに基づいて、輝度及び色度のレベル変換を行うための係数を設定する変換パラメータ設定手段２５０と、
変換パラメータ設定手段２５０により設定された係数に基づいて、輝度及び色度の最大値と最小値との間で復号された映像データの輝度及び色度のレベルのレベル変換を行う輝度・色度レベル変換手段２４０と、
輝度・色度変換手段２４０で輝度及び色度のレベル変換が行われた映像データを出力する映像出力手段２６０と、を有する。

図２は、本発明の原理を説明するための図である。

図２に示す映像伝送方法は、映像送信装置と映像受信装置からなる映像伝送システムにおける映像伝送方法であって、
映像送信装置において、
映像入力手段が、映像データを取得する映像入力ステップ（ステップ１）と、
映像符号化手段が、入力された映像データを圧縮及び符号化する映像符号化ステップ（ステップ２）と、
合成手段が、外部から、映像が持つ輝度・色度信号の取り得る値の範囲の情報である輝度・色度パラメータを取得し、該輝度・色度パラメータと、映像符号化手段で圧縮及び符号化された映像データとを合成する合成ステップ（ステップ３）と、
符号化データ送出手段が、合成された符号化データを映像受信装置に送信する符号化データ送出ステップ（ステップ４）と、を行い、
映像受信装置において、
分離手段が、映像送信装置から符号化データを受信すると（ステップ５）、該符号化データを輝度・色度パラメータと圧縮及び符号化された映像データに分離する分離ステップ（ステップ６）と、
映像復号手段が、分離された圧縮及び符号化された映像データを復号する映像復号ステップ（ステップ７）と、
変換パラメータ設定手段が、分離された輝度・色度パラメータに基づいて、輝度及び色度のレベル変換を行うための係数を設定する変換パラメータ設定ステップ（ステップ８）と、
輝度・色度レベル変換手段が、変換パラメータ設定ステップで設定された係数に基づいて、輝度及び色度の最大値と最小値との間で復号された映像データの輝度及び色度のレベルのレベル変換を行う輝度・色度レベル変換ステップ（ステップ９）と、
映像出力手段が、輝度・色度変換ステップで輝度及び色度のレベル変換が行われた映像データを出力する映像出力ステップ（ステップ１０）と、を行う。

本発明（請求項１）は、映像送信装置と映像受信装置からなる映像伝送システムにおける該映像送信装置として利用されるコンピュータに、
映像データを取得する映像入力ステップと、
入力された前記映像データを圧縮及び符号化する映像符号化ステップと、
外部から、映像データの映像が持つ輝度・色度信号の取り得る値の範囲の情報であり、映像受信装置において復号された映像データの輝度および色度のレベル変換を行うための係数を設定するために用いる輝度・色度パラメータを取得し、該輝度・色度パラメータと、映像符号化ステップで圧縮及び符号化された映像データとを合成する合成ステップと、
合成された符号化データを映像受信装置に送信する符号化データ送出ステップと、を実行させる映像伝送プログラムである。

上記のように本発明によれば、受信装置側では、ビデオ・インタフェースの規格に依らず、送信装置が想定ないし検出している映像信号のレベル値範囲を知ることができるため、受信装置に接続される映像表示装置の信号値の範囲を勘案して、変換マトリックスの値を適切な係数セットで設定することが可能で、本来の入力映像に適合した正しい輝度値の範囲で映像を再生することができる。

また、伝送される輝度・色度パラメータは、受信ストリームに重畳されて伝送されるので、受信装置側で、受信するストリームを切り替えた場合にも、送信装置毎の輝度パラメータを逐次設定することが可能で、複数の送信装置から伝送される映像信号をそれぞれ正しく再生表示することができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における映像伝送システムの構成図である。

同図に示す映像伝送システムは、映像送信装置１００、映像受信装置２００、ネットワーク３００から構成される。

映像送信装置１００は、映像入力インタフェース１１０、映像符号化部１２０、マルチプレクサ１３０、及び符号化データ送出部１４０から構成される。映像入力インタフェース１１０では、外部からディジタル映像信号が入力される。映像符号化部１２０は、入力されたディジタル映像信号を圧縮及び符号化し、符号化データをマルチプレクサ１３０に出力する。マルチプレクサ１３０は、入力映像の取る輝度・色度レベル範囲に応じた輝度・色度変換パラメータを映像符号化部１２０から出力された符号化データに重畳する。符号化データ送出部１４０は、マルチプレクサ１３０により重畳された符号化データをネットワーク３００を介して映像受信装置２００に送信する。

映像受信装置２００は、符号化データ受信部２１０、デマルチプレクサ２２０、映像復号部２３０、輝度・色度変換マトリクス２４０、変換パラメータ設定部２５０、映像出力インタフェース２６０から構成される。符号化データ受信部２１０は、ネットワーク３００を介して映像送信装置１００から符号化データ受信する。デマルチプレクサ２２０は、符号化データを輝度・色度変換パラメータと符号化データに分離する。映像復号部２３０は、分離された符号化データを復号する。輝度・色度変換マトリクス２４０は、輝度及び色度の最大値と最小値との間での１対１変換が行われる。この輝度・色度変換マトリクスの１対１変換は、複数の係数セットを予め保持する変換パラメータ設定部２５０によって設定される。変換パラメータ設定部２５０は、映像送信装置１００から伝送され、デマルチプレクサ２２０で分離された輝度・色度変換パラメータに基づいて、変換マトリクスの係数セットを変化させる。

図４は、本発明の第１の実施の形態における映像伝送システムの動作のフローチャートである。

ステップ１０１） 映像送信装置１００において、映像入力インタフェース１１０に画像データが入力される。入力される画像データは、ＨＤ−ＳＤＩやＤＶＩなどのディジタルフォーマットで入力され、映像入力インタフェース１１０において、映像の非圧縮データストリームに変換される。

ステップ１０２） 次に、映像符号化部１２０において、非圧縮映像は、ＪＰＥＧ２０００等の画像圧縮アルゴリズムによって圧縮・符号化される。従来の映像送信装置では、この符号化・圧縮された映像ストリームをネットワークに向けて送信するための符号化映像送出部に送られるが、本発明ではマルチプレクサ１３０に出力する。

ステップ１０３） マルチプレクサ１３０に、輝度・色度パラメータが外部入力される。当該輝度・色度パラメータは、入力されたディジタル映像信号の輝度・色度信号の値の範囲を保持している。

ステップ１０４） マルチプレクサ１３０は、符号化映像ストリームと輝度・色度パラメータが入力されると、符号化映像ストリームに輝度・色度パラメータを重畳する。

ステップ１０５） 符号化データ送出部１４０は、輝度・色度パラメータが重畳された符号化映像ストリームをネットワーク３００を介して映像受信装置２００に送信する。

ステップ１０６） 映像受信装置２００の符号化データ受信部２１０は、符号化映像ストリームを受信する。

ステップ１０７） デマルチプレクサ２２０において、受信した映像符号化映像ストリームから輝度・色度変換パラメータを分離し、輝度・色度変換パラメータを変換パラメータ設定部２５０に出力し、符号化データを映像復号部２３０に出力する。

ステップ１０８） 映像復号部２３０は、符号化データを復号する。

ステップ１０９） 輝度・色度変換マトリクス２４０において、変換パラメータ設定部２５０により設定された変換マトリクスの係数セットに基づいて、復号された映像ストリームを輝度・色度個別に数値的な圧縮伸張を行うことによってレベル変換を行う。

ステップ１１０） 映像出力インタフェース２６０は、輝度・色度変換マトリクス２４０においてレベル変換が行われた映像信号を外部のディスプレイ・プロジェクタ等の映像表示機器に向けて出力する。

次に、上記のステップ１０９の処理について説明する。

図５は、本発明の第１の実施の形態における映像信号の輝度・色度の変換（同一レベルでの１：１等倍変換）を示す。同図では、映像送信装置１００と映像受信装置２００が輝度・色度のレンジが同一で８ビットフォーマットの場合を示している。このときは、従来と同様に、特別な処理をしないで、映像復号部２３０で復号された映像信号を映像出力インタフェース２６０に出力する。

図６は、本発明の第１の実施の形態における映像信号の輝度・色度の変換（異なるレベルでの変換）を示す。同図では、映像送信装置１００と映像受信装置２００の輝度・色度レンジが異なる場合を示している。このときは、一定の傾きをもった変換式（変換直線）を用いて輝度・色度変換マトリクスにおいて輝度・色度レベルを変換する。図６中の６本の直線は、８ビットフォーマットの映像入力信号レベル３種類、出力信号レベル３種類の組み合わせで考えられる９通りの変換例のうちから、輝度・色度レンジ変換の必要のない図５の等倍変換３例を除いた６種類の例を示している。

また、映像フォーマットが１０ビットや１２ビットの場合は、ＨＤ−ＳＤＩ信号の場合は、映像信号のＹＣｂＣｒ／ＲＧＢと８／１０／１２ビットフォーマットの違いによって
・Ｒ，Ｇ，Ｂ，Ｙ 8bit 16・235、 10 bit 64-940、 12 bit 256・3760
・Ｃｂ，Ｃｒ 8bit 16-240、 10 bit 64-960、 12 bit 256-3840
・Ｘ，Ｙ，Ｚ 12 bit 16-4079
の値をとるので、それぞれの値の最小値、最大値、あるいは、ＨＤ−ＳＤＩのインタフェースを用いて規格外で伝送した場合に表現可能な１〜１０２２（１０ビット時）、１〜４０９４（１２ビット時）の値に関するパラメータ情報を映像送信装置１００から映像受信装置２００に向けて、符号化データに重畳してネットワーク３００を介して伝送し、映像受信装置２００の輝度・色度変換マトリクス２４０において、輝度・色度のレベル変換を行う。

図７は、本発明の第１の実施の形態における輝度・色度変換マトリクスのＨＤ−ＳＤＩの８／１０／１２ビット各フォーマットの映像信号の８ビットＤＶＩへの輝度信号の変換例を示している。

［第２の実施の形態］
上記の実施の形態では、映像送信装置１００の輝度・色度パラメータは、接続した映像ソースの種類によって外部から設定される場合を想定していたが、これを入力されるディジタル映像信号から自動的に判別して映像伝送システムの利用を簡単化することも可能である。

図８は、本発明の第２の実施の形態における映像伝送システムの構成図である。

同図において、図３の構成と同一部分には同一符号を付し、その説明を省略する。

同図に示す映像伝送システムは、映像送信装置１００で輝度・色度レベルの自動検出を行う場合を示しており、映像送信装置１００は、映像入力インタフェース１１５、映像符号化部１２０、マルチプレクサ１３０、符号化データ送出部１４０、映像信号レベル検出部１５０から構成される。映像受信装置２００は、第１の実施の形態と同様である。

映像入力インタフェース１１５は、入力された映像信号を分離して映像符号化部１２０と映像信号レベル検出部１５０に出力する。

映像信号レベル検出部１５０は、映像入力インタフェース１１５から入力される映像信号の輝度及び色度の振幅を一定時間監視することで、ＨＤ−ＳＤＩの規格内の信号か、そうでないかを判断する。例えば、ＨＤ−ＳＤＩ、８ビットフォーマットの場合には、図９のように輝度・色度信号が１６〜２３５（輝度）・２４０（色度）の範囲を超えるか超えないかを判別して、輝度・色度変換パラメータを１６〜２３５／２４０とするか、１〜２５４とするかを決定し、マルチプレクサ１３０に出力する。図９の例では、実線で示すものが、１６〜２３５／２４０を超えているため規格外信号と判定され、点線で示すものが規格内信号と判定される。

他の処理については、第１の実施の形態と同様であるので、その説明を省略する。

映像送信装置１００が複数ある場合には、映像受信装置２００が受信する符号化データを１つの映像送信装置から別の映像送信装置に切り替えることが考えられる。その場合は、新しい輝度・色度パラメータが符号化データに重畳されて受信されるので、その変化により、変換パラメータ設定部２５０は、改めて輝度・色度変換マトリクス２４０の変換係数を再設定して、新しい符号化データを復号・伸張した映像信号に対して、適切なレベル変換を行う。

上記の第１の実施の形態の図３及び、第２の実施の形態の図８の映像送信装置１００と映像受信装置２００の構成要素の動作をプログラムとして構築し、それぞれ、映像送信装置、映像受信装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、ディジタルシネマ等の映像配信技術に適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 本発明の第１の実施の形態における映像伝送システムの構成図である。 本発明の第１の実施の形態における映像伝送システムの動作のフローチャートである。 発明の第１の実施の形態における映像信号の輝度・色度の変換（同一レベルでの１：１等倍変換）を示す図である。 本発明の第１の実施の形態における映像信号の輝度・色度の変換（異なるレベルでの変換）を示す図である。 本発明の第１の実施の形態における輝度・色度マトリクスのＨＤ−ＳＤＩの８／１０／１２ビット各フォーマットの映像信号の８ビットＤＶＩへの輝度信号の変換例である。 本発明の第１の実施の形態における映像伝送システムの構成図である。 本発明の第２の実施の形態における映像信号レベル検出部での規格内・規格外レベル使用判定方式の例である。

１００ 映像送信装置
１１０ 映像入力手段、映像入力インタフェース
１２０ 映像符号化手段、映像符号化部
１３０ 合成手段、マルチプレクサ
１４０ 符号化データ送出手段、符号化データ送出部
１５０ 映像信号レベル検出部
２００ 映像受信装置
２１０ 符号化データ受信手段、符号化データ受信部
２２０ 分離手段、デマルチプレクサ
２３０ 映像復号手段、映像復号部
２４０ 輝度・色度レベル変換手段、輝度・色度変換マトリクス
２５０ 変換パラメータ設定手段、変換パラメータ設定部
２６０ 映像出力手段、映像出力インタフェース

Claims (1)

1. 映像送信装置と映像受信装置からなる映像伝送システムにおける該映像送信装置として利用されるコンピュータに、
   映像データを取得する映像入力ステップと、
   入力された前記映像データを圧縮及び符号化する映像符号化ステップと、
   外部から、前記映像データの映像が持つ輝度・色度信号の取り得る値の範囲の情報であり、前記映像受信装置において復号された映像データの輝度および色度のレベル変換を行うための係数を設定するために用いる輝度・色度パラメータを取得し、該輝度・色度パラメータと、前記映像符号化ステップで圧縮及び符号化された映像データとを合成する合成ステップと、
   合成された符号化データを前記映像受信装置に送信する符号化データ送出ステップと、
   を実行させることを特徴とする映像伝送プログラム。