以下、本発明の実施形態1について、図1〜図5を参照して詳細に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
まず、本実施形態に係る映像信号伝送システムの構成を図1に基づいて説明する。図1は、映像信号伝送システム5に含まれる送信機(制御情報生成装置、送信装置)1および受信機(受信装置)2の要部構成の一例を示すブロック図である。
映像信号伝送システム5は、送信機1から受信機2に映像信号等を伝送するシステムである。映像信号伝送システム5は、伝送する映像の画質を示す画質情報を当該映像信号と共に送信する点が主な特徴点であり、これによって、映像に応じた最適な画質調整を行うことを可能にしている。なお、次世代の4K/8K放送では、MMT(MPEG Media Transport)フォーマットで信号が送信されることが検討されている。そこで、本実施形態では、MMTフォーマットにて映像信号を伝送する例を説明する。
送信機1は、映像信号等の形態でコンテンツを送信する。より詳細には、送信機1は、放送経路(放送伝送路)にてコンテンツを構成する各パケット(MMTPパケット:MMT Protocol パケット)を送信する。一方の受信機2は、このコンテンツ(放送経路で配信されるコンテンツ)の受信機能を備えていると共に、例えばインターネット等の通信網を介して通信経路で配信されるコンテンツの受信機能も備えている。そして、受信機2は、これら2つの経路を介して受信した各コンテンツを組み合わせて再生することができる。なお、同図では、受信機2を1つのみ記載しているが、送信機1は複数の受信機2に対してコンテンツをブロードキャストする。
〔送信機の構成〕
送信機1は、図示のように、オーディオエンコーダ10、解像度変換部11、ビデオエンコーダ12、多重化部13、暗号化部14、送信部15、および制御部16を備えている。また、制御部16には、解像度情報取得部(画質情報取得部)17、解像度エンコード制御部18(画質情報取得部)、および制御情報生成部19が含まれている。
オーディオエンコーダ10は、送信機1が送信するコンテンツのオーディオ(音声)ストリームをエンコード(符号化)して多重化部13に出力する。同様に、ビデオエンコーダ12は、送信機1が送信するコンテンツのビデオ(映像)ストリームをエンコード(符号化)して多重化部13に出力する。
解像度変換部11は、オリジナルの画像から放送波に乗せられる4Kまたは8Kの画像への、解像度の変換処理を行い、変換した画像をビデオエンコーダ12に出力する。当該変換処理は、スケーリング処理(拡大処理)と呼ばれ、オリジナル画像の解像度(オリジナル解像度とも呼ぶ)およびオリジナル画像に施されたスケーリング処理の方式(単に、スケーリング方式とも呼ぶ)に応じて異なる処理が行われる。なお、解像度の変換処理は、必ずしも送信機1が行うことに限定されることはなく、例えば、別体のサーバが行って、スケーリング処理が施された画像を送信機1に出力してもよい。
多重化部13は、オーディオエンコーダ10が出力したオーディオストリーム、ビデオエンコーダ12が出力したビデオストリーム、および制御部16が出力した制御情報を多重化し、その多重化ストリーム(MMT信号)を暗号化部14に出力する。
暗号化部14は、多重化部13が出力する多重化ストリームを暗号化して送信部15に出力する。そして、送信部15は、暗号化部14が出力する暗号化されたデータをパケットとして、デジタル放送信号の形態で放送経路にて受信機2に送信する。
制御部16は、送信機1の備える各部の制御等を行う。具体的には、制御部16に含まれる解像度情報取得部17は、送信機1が送信する画像の解像度に関する情報であり、オリジナル解像度を含む解像度情報を取得し、取得した解像度情報を制御情報生成部19に出力する。解像度情報の取得方法は特に限定されないが、例えば、撮影に使用したカメラの機種等から、その撮影で得られた画像の解像度は決まるから、撮影に使ったカメラの情報から解像度情報を取得してもよい。また、映像処理を施した機材の情報から解像度情報を取得したり、編集の時点で映像解析を行って解像度情報を抽出したりする構成としてもよい。なお、解像度情報の詳細は後述する。
解像度エンコード制御部18は、解像度変換部11を制御して解像度変換を行わせて、スケーリング方式を示す情報を取得し、オーディオエンコーダ10およびビデオエンコーダ12を制御してエンコードを行わせる。また、解像度エンコード制御部18は、オリジナル画像のビットレート、圧縮方式、およびファイル形式を示す情報を取得する。
制御情報生成部19は、送信機1が送信するコンテンツを再生するための制御情報を生成する。この制御情報は、MMTではMMT−SIと呼ばれるものであり、コンテンツに関する種々の情報が含まれるが、ここでは、MMT−SIのうち、コンテンツのパッケージに関する情報が記述されたMPT(MMT Package Table、MMTパッケージテーブル)の生成に絞って説明する。
送信機1では、解像度情報取得部17が画質情報としてオリジナル解像度を含む解像度情報を取得する処理を実行する。次に、解像度エンコード制御部18が画質情報としてスケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を取得する処理を実行する。そして、制御情報生成部19が上記の画質情報を含む制御情報(MPT)を生成する処理を実行する。したがって、このMPTを受信した受信機2において、該MPTと共に受信したコンテンツをその画質情報に応じた適切な画質調整を行って(あるいは画質調整を行わずに)表示させることが可能になる。
なお、解像度情報取得部17および解像度エンコード制御部18は、送信機1が送信するコンテンツが切り替わった場合、切り替え後のコンテンツの画質情報を取得し、制御情報生成部19はこの画質情報を含むMPTを生成する。このように、コンテンツの変化に追従して、異なる画質情報を含むMPTを生成することにより、常に最適な画質調整によってコンテンツを再生させることが可能になる。
〔受信機の構成〕
受信機2は、図示のように、チューナ20、通信I/F21、復号部22、逆多重化部23、オーディオデコーダ24、ビデオデコーダ25、画質調整部26、表示制御部27、ディスプレイ28、および制御部29を備えている。また、制御部29には、復号制御部30、逆多重化制御部31、および制御情報取得部32が含まれている。
チューナ20は、放送経路にてデジタル放送信号として送信されるコンテンツ等を受信して復号部22に出力する。一方、通信I/F21は、通信経路にて送信されるコンテンツ等を受信して復号部22に出力する。
復号部22は、チューナ20および通信I/F21を介して受信したコンテンツが暗号化されていた場合、これを復号して逆多重化部23に出力する。
逆多重化部23は、復号部22が出力するデータ(暗号は復号されているが多重化されているMMT信号)を逆多重化する。そして、逆多重化によって得られた当該コンテンツの各構成要素(コンポーネント)を、当該コンポーネントの種別に応じて処理する。具体的には、逆多重化部23は、オーディオのコンポーネントはオーディオデコーダ24に出力し、ビデオのコンポーネントはビデオデコーダ25に出力し、制御情報は制御情報取得部32に出力する。
オーディオデコーダ24は、逆多重化部23が出力するオーディオコンポーネントを復号してオーディオデータを出力する。同様に、ビデオデコーダ25は、逆多重化部23が出力するビデオコンポーネントを復号してビデオデータを出力する。
画質調整部26は、画質情報をもとに、画像処理の強度について決定し、決定した強度による画像処理を実行することにより、ビデオデコーダ25が出力したビデオデータの画質を調整する。この画質調整により、ビデオデコーダ25が出力したビデオデータが高画質になって、ディスプレイ28に表示される。なお、画質調整部26は、制御部29内に設けられていてもよい。画質を調整するための画像処理の具体例については、後述する。
表示制御部27は、ビデオデータをディスプレイ28に表示させる制御を行う。また、ディスプレイ28は、表示制御部27の制御に従ってビデオデータを表示する。つまり、受信機2は、放送されるコンテンツの受信機能および再生(表示)機能を備えたテレビジョン受像機である。なお、ディスプレイ28は、受信機2に外付けされた外部の装置であってもよい。
制御部29は、受信した制御情報に従って受信機2の備える各部を制御する。具体的には、復号制御部30は、復号部22を制御してコンテンツの復号を行わせる。また、逆多重化制御部31は、逆多重化部23を制御してコンテンツの逆多重化を行わせる。そして、制御情報取得部32は、逆多重化部23が逆多重化することによって出力された制御情報を取得し、制御情報に画質情報が含まれる場合には、この情報を画質調整部26に出力する。
上記によれば、制御情報のMPTにオリジナル解像度を含む画質情報を含めることにより、制御情報解析用のプログラムを変更するだけで画質情報を取り出すことが可能になる。なお、ビデオデコーダ25の動作は、従来通りである。従って、ビデオをデコードする前に画質情報を取得できるので、画質調整部26が参照する変換テーブルなどを事前に準備し、映像の画質が変化した時に適切なタイミングで変換テーブルなどを切り替えることができる。
〔画質情報を含むMPTの例〕
続いて、画質情報を含むMPTの例を図2に基づいて説明する。図2は、画質情報を含むMPTの一例を示す図である。図示のMPTには、当該MPTのバージョンを示す記述子D1(version)と、MMTのパッケージIDを示す記述子D2(MMT_package_id_byte)とが含まれていると共に、画質情報を含む記述子D3(MPT_descriptors_byte)が含まれている。
そして、記述子D3内には、当該記述子(descriptor)が画質情報に関する記述子であることを示す予め定めたタグdescriptor_tag、当該記述子の長さを示すdescriptor_length、および画質情報のデータ本体であるdata()が記述されている。なお、descriptor_tagの値は、記述子D3に画質情報に関する記述が含まれていることが特定できればよく、例えばデジタル放送における標準規格を定めたARIB STD-B21において、他の記述子を示すものとして使用されていない「0xF0」の値を用いてもよい。
ここで、一般にテレビ放送では、ソースが異なる映像が連続して送信され、このような異なるソースの映像は画質がそれぞれ異なっている可能性がある。そこで、このようなケースに対応するため、制御情報生成部19は、ソースが変化するときには、MPT内の画質情報を更新するとともに、MPTのバージョン情報(記述子D1の値)も併せて更新する。そして、受信機2では、制御情報取得部32が、MPTのバージョンが更新されるたびに画質情報をチェックし、更新があれば画質調整部26に新しい画質情報を伝達する。これにより、映像の変化に応じた適切な画質の調整が可能となる。
図2のMPTでは、data()として、受信した(再生対象の)コンテンツの映像のオリジナル解像度(1920×1080)、スケーリング方式(バイキュービック法)、動画圧縮方式(MPEG2)、ビットレート(10Mbps)、およびファイル形式(mpg)が格納されている。しかしながら、data()に記述する画質情報は、受信したコンテンツの画質に関する情報であって、画質調整のための画像処理の態様の決定に用いることができるものであればよく、この例に限られない。
なお、MPTには、コンポーネント記述子の1つであり、映像の解像度およびアスペクト比を示すコードであるcomponent_type(コンポーネント種別)が含まれ得る。例えば、0x03は、有効垂直解像度(有効走査線)が480本であり、総走査線が525本であり、アスペクト比が16:9であることを示す。また、0xB3は、有効垂直解像度が1080本であり、総走査線が1125本であり、アスペクト比が16:9であることを示す。ただし、この解像度は、受信機2が入力する映像の解像度であり、送信機1におけるオリジナル映像の解像度ではない。
〔画質情報の取得処理〕
次に、画質情報の取得について図3に基づいて説明する。図3は、受信機2で実行される画質情報を取得する処理の一例を示すフローチャートである。まず、制御情報取得部32は、逆多重化部23が出力する信号からMPTを抽出して、抽出したMPTからさらにdescriptor(記述子)を抽出する(S1)。
次に、制御情報取得部32は、抽出した記述子が画質情報の記述子であるか否かを判定する(S2)。具体的には、制御情報取得部32は、抽出した記述子のdescriptor_tagの値が、画質情報に予め割り当てられたタグの値と一致する場合には、当該記述子が画質情報の記述子であると判定する。
ここで、画質情報の記述子ではないと判定した場合(S2でNO)、制御情報取得部32は、上記MPTに次の記述子が含まれているか否かを判定する(S3)。そして、制御情報取得部32は、含まれていると判定した場合(S3でYES)、S1の処理に戻って次の記述子を抽出し、含まれていないと判定した場合(S3でNO)、処理を終了する。
一方、S2において、S1で抽出した記述子が画質情報の記述子であると判定した場合(S2でYES)、制御情報取得部32は、当該記述子を解析して、これに含まれる画質情報を抽出する。そして、抽出した画質情報を画質調整部26に送信して(S4)、処理を終了する。
〔画質情報に応じた画質調整の概要〕
受信機2の画質調整部26は、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を含む画質情報から入力映像の画質を推定し、その推定した画質から、画像処理の最適化を図る。すなわち、高画質用、低画質用などの画像処理パラメータ設定値の組合せを事前に用意しておき、入力画像を高画質に調整する方法として、入力映像の画質に応じて、画像処理パラメータ設定値の組合せを切り替えて、画像処理を実行する。
〔オリジナル解像度に応じた画質調整〕
続いて、オリジナル解像度に応じた画質調整について図4に基づいて説明する。図4は、受信機2で実行される、オリジナル解像度に応じて画質を調整する処理の一例を示す表である。画質調整部26は、ビデオデコーダ25の出力するビデオデータに対して、ノイズリダクション、エンハンス、および超解像度処理の少なくとも何れかの処理を施す。ここで、各処理に用いられる各画像処理パラメータの大きさは、制御情報取得部32から受信した画質情報に含まれるオリジナル解像度に応じて、画質調整部26が決定する。ここで、各画像処理の強度は、各画像処理パラメータの大きさによって定まる。したがって、画質調整部26は、画質情報に含まれるオリジナル解像度に応じて、各画像処理の強度を決定するものであると言うこともできる。
図4において、オリジナル解像度は、オリジナル映像の解像度であり、8K以下の解像度が掲載されている。詳細には、720×480はSDの解像度、1280×720はHD(720p)の解像度、1920×1080は2KおよびHD(1080p)の解像度、3840×2160は4Kの解像度、7680×4320は8Kの解像度である。また、入力解像度は、受信機2に入力される映像の解像度であり、図4には、8Kの解像度(7680×4320)が掲載されている。なお、入力解像度は、8Kに限ることなく、受信機2に入力される映像の解像度により決定される。
これによれば、画質調整部26は、オリジナル映像の解像度から入力解像度に拡大された画像をビデオデコーダ25から取得し、当該画像の画質を調整するための画像処理を実行し、高画質に調整された画像を表示制御部27に出力する。この場合、オリジナル解像度が低く、拡大率が高いときには、画像処理の強度を強くする。一方、オリジナル解像度が高く、拡大率が低いときには、画像処理の強度を弱くする。
以下に、画質調整部26が実行する各画像処理について説明する。
(1)ノイズリダクションは、周辺画素との平滑化によりノイズの低減を行う画像処理である。まず、周辺の画素間のピクセル値(色の種類、明るさ)の差分を算出し、次に、その変化がなだらかになるように、各画素のピクセル値を補正する処理が行われる。すなわち、ピクセル値の差分の大小に応じて平滑化の効果が調整される。図4に示すように、画質調整部26は、オリジナル解像度が低く、画像の拡大率が高い場合には、強度(平滑化の効果)を強くして、ノイズリダクションを実行する。これは、オリジナル解像度が低い分だけ、画像を拡大したときの粗さがより顕著になるので、高画質にするために、ノイズリダクションの強度を強めるものである。
(2)エンハンスは、エッジ強調処理を施すことにより映像を鮮明にする画像処理である。まず、隣接する画素間のピクセル値の差分をとることによりエッジ(映像の輪郭部)を検出し、次に、エッジと、その周辺との間に濃度勾配を付与する処理が行われる。濃度勾配を急峻にすれば、エッジが強調され、映像が鮮明になる。図4に示すように、画質調整部26は、オリジナル解像度が低く、画像の拡大率が高い場合には、強度を強くして、エンハンスを実行する。これは、オリジナル解像度が低い分だけ、画像を拡大したときの輪郭のぼけ具合がより顕著になるので、高画質にするために、エンハンスの強度を強めるものである。
(3)超解像度処理は、オリジナル画像のスケーリング処理によって失われた画素パターンを類推して作り出す画像処理のことを指す。超解像度処理の例として、再構成型、学習型などが挙げられる。
再構成型の超解像度処理では、スケーリング処理が行われた複数の画像を入力し、それぞれの画像における画素の位置から画素パターンをきめ細かく推定することにより、本来の輝度値を持つ画素を増やすように、復元画像を生成する処理が行われる。復元画像における特定の画素は、例えば、当該画素の周囲に位置する複数の画素(複数の画像に含まれる同じ位置の画素)から推定される。
学習型の超解像度処理では、まず、学習用の高解像度の画像を低解像度にして、それらの対応を記録することにより、事例データベースを作成し、すなわち、予め低解像度パッチ(画像の小領域)と高解像度パッチとの組み合わせを事例として蓄積しておいて、次に、入力画像に最も類似している低解像度パッチをその事例データベースから抽出し、その低解像度パッチに対応する高解像度パッチに置き換える処理が行われる。
図4に示すように、画質調整部26は、オリジナル解像度が低く、画像の拡大率が高い場合には、強度を強くして、超解像度処理を実行する。これは、オリジナル解像度が低い分だけ、画像を拡大したときに失われる画素パターンが多くなるので、高画質にするために、超解像度処理の強度を強めるものである。
〔スケーリング方式に応じた画質調整〕
続いて、スケーリング方式に応じた画質調整について図5に基づいて説明する。図5は、受信機2で実行される、スケーリング方式に応じて画質を調整する処理の一例を示す表である。スケーリング方式は、送信機1においてオリジナル映像に施されたスケーリング処理(拡大処理)の方式である。画質調整部26は、制御情報取得部32から受信した画質情報に含まれるスケーリング方式に応じた強度により、ノイズリダクション、エンハンス、および、超解像度処理の各画像処理を実行する。
図5に示すように、スケーリング方式として、ニアレストネイバー(Nearest Neighbor)法、バイリニア(Bilinear)法、バイキュービック(Bicubic)法、およびランチョス(Lanczos)法等が用いられる。ニアレストネイバー法が最も単純なスケーリング方式であり、下方の方式ほど複雑になり、ランチョス法が最も複雑なスケーリング方式である。
ニアレストネイバー法は、最短距離法の一つであり、最も近い位置にある画素の輝度値に応じて補間を行うものである。バイリニア法は、最短距離法の一つであり、隣接する4点から線形的に中間値を求める線形補間を行うものである。バイキュービック法は、バイリニア法の隣接する4点に、その周囲の12点を追加した合計16点に対して重み付けを行った上で、補間すべき値を求めるものである。ランチョス法は、Lanczos関数を用いて画像を拡大して、高画質を取得するものである。
スケーリング方式が単純なほど、画像を拡大したときに低画質に(スケーリング品位が悪く)なる傾向があるので、ノイズリダクション、エンハンス、および、超解像度処理の各画像処理は、強度を強くして実行される。一方、スケーリング方式が複雑なほど、画像を拡大したときに高画質に(スケーリング品位が良く)なる傾向があるので、上記各画像処理は、強度を弱くして実行される。
なお、画質調整のときに、オリジナル解像度およびスケーリング方式の両方を考慮してもよい。この場合、例えば、オリジナル画像の解像度が低くても、スケーリング方式が複雑であれば、画像を拡大したときに高画質になる傾向があるので、上記各画像処理は、強度を弱くして実行される。
さらに、オリジナル画像に超解像法が施されているか否かを判定し、超解像法が施されている場合に、受信機2の入力映像が高画質であると判断し、各画像処理の強度を弱くして実行する。超解像法には、再構成型と、学習型とがある。再構成型の超解像法は、撮像位置を少しずつずらしながら、同一の撮像対象を撮像したn枚の撮像画像データから、1枚の高解像度画像データを生成する画像処理である。nは撮像画像データを何倍に高解像度化するかに応じて決定され、例えば、撮像画像データをX倍に高解像度化する際には、少なくともX2枚の撮像画像データが必要となる。学習型の超解像法は、特定の被写体を撮影した、様々な倍率の画像を画像データベースに格納しておき、新たに画像を取得したときに、当該画像データベースから、取得した画像に最も類似している画像を抽出し、抽出した画像を調整して高解像度画像を再現する画像処理である。
〔動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整〕
続いて、動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整の一例について説明する。なお、ビットレートの高低による画質の差の程度は、動画圧縮方式によっても異なるため、下記例のようにビットレートが低いほど各画像処理の強度を強くするといった単純な相関を有する処理によってよい画質が得られるとは限られず、より複雑な相関を有する処理が必要になる場合もある。重要なことは、ビットレートの値に応じた強度を有する画質調整を行うことによって、より好適な画質を得ることができるという点である。
まず、動画圧縮方式は、送信機1のビデオエンコーダ12において動画を圧縮する方式であり、MPEG2、H.264、H.265、VP6、VP8、VP9などがあり、その動画圧縮方式によって受信機2の入力画像の品位が異なる。そこで、画質調整部26は、動画圧縮方式に応じた強度により、ノイズリダクション、エンハンス、および、超解像度処理の各画像処理を実行する。例えば、MPEG2、H.264、およびH.265の何れかの動画圧縮方式が選択される場合、同一のビットレートであれば、MPEG2<H.264<H.265の順に高画質になる。また、VP6、VP8、およびVP9の何れかの動画圧縮方式が選択される場合、同一のビットレートであれば、VP6<VP8<VP9の順に高画質になる。このため、画質調整部26における上記各画像処理は、ビットレートが同一であれば、MPEG2、H.264、H.265の順に、または、VP6、VP8、VP9の順に強度が弱くなるように実行される。
次に、ビットレートは、送信機1のビデオエンコーダ12から出力されるビデオデータのビットレートであり、固定ビットレート(Constant Bit Rate;CBR)と、可変ビットレート(Variable Bit Rate;VBR)とに分けられる。ビットレートが低いほど、画像は、ノイズが多く、低画質になる傾向がある。そこで、画質調整部26は、ビットレートに応じた強度により、上記各画像処理を実行する。すなわち、画質調整部26における上記各画像処理は、ビットレートが低いほど、強度を強くして実行される。
さらに、ファイル形式は、送信機1のビデオエンコーダ12から出力されるファイルの形式であり、avi/mkv/asf/wmv/mp4/mov/mpg/・・・などがある。画質調整部26は、ファイル形式に応じた強度により、上記各画像処理を実行する。
なお、送信機1の制御情報生成部19が生成する制御情報は、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを含んでいればよい。
また、画質調整部26が参照する画質情報は、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式の何れか1つでもよいし、それらの2つ以上の組合せであってもよいし、すべてを含んでいてもよい。そして、画質調整部26は、画質情報の参照値に応じた強度により、画像処理を実行する。その画像処理は、ノイズリダクション、エンハンス、および、超解像度処理の何れか1つでもよいし、それらの2つ以上の組合せであってもよいし、すべてを行ってもよい。
上記によれば、異なる画質(解像度、スケーリング方式、など)を有する複数の映像信号を受信し、当該映像信号から得られる映像を順次表示する受信機2において、受信した映像の解像度ではなく、送信機1における、アップコン前のオリジナル映像の解像度、ならびに、解像度変換部11のスケーリング方式、ビデオエンコーダ12の動画圧縮方式、ビットレート、およびファイル形式を含む画質情報をメタデータとして保持することにより、その画質情報に応じた画像処理が可能となり、より高画質の映像をディスプレイ28に表示することができる。
また、上記画質情報を映像データ内ではなく、別個のMPTに格納することにより、受信機2において、映像データのデコード処理を待つことなく、事前に映像データに対応する画質情報を画質調整部26に出力するので、本編およびCMの間などの、映像の切り替わりと、画像処理の切り替わりとが同じタイミングにすることができ、映像が切り替ったとしても、高画質の映像を継続して表示することができる。
〔実施形態2:変形例〕
上記実施形態の送信機1は、コンテンツを再生するための制御情報を生成する制御情報生成装置としての機能と、デジタル放送信号を送信する送信装置としての機能とを共に備えていた。しかしながら、互いに独立した制御情報生成装置と送信装置との組み合わせによっても、上記送信機1と同様の機能を実現することができる。
〔実施形態3:ソフトウェアによる実現例〕
送信機1および受信機2の制御ブロック(特に多重化部13、暗号化部14、制御部16、復号部22、逆多重化部23、画質調整部26、表示制御部27、および制御部29)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、送信機1および受信機2は、各機能を実現するソフトウェアである制御プログラムの命令を実行するCPU、上記制御プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記制御プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記制御プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記制御プログラムは、該制御プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る制御情報生成装置(送信機1)は、MMTにて送信されるコンテンツを再生するための制御情報を生成する制御情報生成装置であって、上記コンテンツの映像の画質に関する画質情報を取得する画質情報取得部(解像度情報取得部17、解像度エンコード制御部18)と、上記画質情報を含むMMTパッケージテーブルを生成する制御情報生成部(19)と、を備えている。
上記の構成によれば、画質情報を含むMMTパッケージテーブル(MPT)を生成する。ここで、MPTは、コンテンツと共に受信装置に送信されるものであり、受信装置はMPTを参照しながらコンテンツを再生する。よって、上記の構成によれば、該MPTを受信した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる。特に、MPTは、1秒以内程度の短い時間間隔で定期的に送信されるので、コンテンツの変化に概ねリアルタイムで追従して画質を調整させることが可能となる。
本発明の態様2に係る制御情報生成装置は、上記態様1において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様3に係る送信装置(送信機1)は、上記態様1および2に係る制御情報生成装置と、上記制御情報生成装置が生成したMMTパッケージテーブルを上記コンテンツと共にデジタル放送信号として送信する送信部(15)と、を備えている。
上記の構成によれば、上記制御情報生成装置が生成したMMTパッケージテーブルを上記コンテンツと共にデジタル放送信号として送信する。よって、該デジタル放送信号を受信した受信装置に、上記MMTパッケージテーブルに含まれる映像の画質に応じた画像処理を迅速に行わせた上で、当該コンテンツを再生させることができる。
本発明の態様4に係る受信装置(受信機2)は、MMTにて送信されるコンテンツを受信する受信装置であって、上記コンテンツの映像の画質に関する画質情報を含むMMTパッケージテーブルを取得する制御情報取得部(32)と、上記コンテンツの映像の画質を上記画質情報に応じて調整する画質調整部(26)と、を備えている。
上記の構成によれば、コンテンツの映像の画質に関する画質情報を含むMMTパッケージテーブル(MPT)を取得して、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記の構成によれば、映像の画質に応じた画像処理を迅速に行わせた上で、該コンテンツを再生させることができる。特に、MPTは、1秒以内程度の短い時間間隔で定期的に送信されるので、コンテンツの変化に概ねリアルタイムで追従して画質を調整することが可能となる。
本発明の態様5に係る受信装置は、上記態様4において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様6に係る受信装置は、上記態様4および5において、上記画質調整部が、ノイズリダクション、エンハンス、および、超解像度処理の少なくとも何れかを含む画像処理を、上記画質情報に応じた強度により実行することとしてもよい。
本発明の態様7に係るテレビジョン受像機(受信機2)は、上記態様4から6に係る受信装置を含んでいる。よって、態様4から6の受信装置と同様の作用効果を奏する。
本発明の態様8に係る映像信号伝送システム(5)は、MMTにてコンテンツを送信する送信装置と該コンテンツを受信する受信装置とを含む映像信号伝送システムであって、上記送信装置は、上記コンテンツの映像の画質に関する画質情報を含むMMTパッケージテーブルを上記コンテンツと共にデジタル放送信号として上記受信装置に送信し、上記受信装置は、上記デジタル放送信号から上記MMTパッケージテーブルを取得し、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記態様1の制御情報生成装置および上記態様3の受信装置と同様の作用効果を奏する。
本発明の各態様に係る制御情報生成装置、送信装置、および受信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御情報生成装置、送信装置、または受信装置が備える各部として動作させることにより上記制御情報生成装置、送信装置、または受信装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
〔関連する実施形態についての説明I〕
以下、実施形態4〜6について説明する。
〔発明を実施するための形態〕
以下、本発明の実施形態4について、図6〜図8を参照して詳細に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
まず、本実施形態に係る映像信号伝送システムの構成を図6に基づいて説明する。図6は、映像信号伝送システム5aに含まれる送信機(制御情報生成装置、送信装置)1aおよび受信機(受信装置)2aの要部構成の一例を示すブロック図である。
映像信号伝送システム5aは、送信機1aから受信機2aに映像信号等を伝送するシステムである。映像信号伝送システム5aは、伝送する映像の画質を示す画質情報を当該映像信号と共に送信する点が主な特徴点であり、これによって、映像に応じた最適な画質調整を行うことを可能にしている。なお、現行のデジタル放送では、MPEG2(Moving Picture Experts Group phase 2)方式のTS(Transport Stream、トランスポートストリーム)フォーマットで信号が送信されている。そこで、本実施形態では、TSフォーマットにて映像信号を伝送する例を説明する。
送信機1aは、映像信号等の形態でコンテンツを送信する。より詳細には、送信機1aは、放送経路(放送伝送路)にてコンテンツを構成する各パケット(TSパケット)を送信する。一方の受信機2aは、このコンテンツ(放送経路で配信されるコンテンツ)の受信機能を備えていると共に、例えばインターネット等の通信網を介して通信経路で配信されるコンテンツの受信機能も備えている。そして、受信機2aは、これら2つの経路を介して受信した各コンテンツを組み合わせて再生することができる。なお、同図では、受信機2aを1つのみ記載しているが、送信機1aは複数の受信機2aに対してコンテンツをブロードキャストする。
〔送信機の構成〕
送信機1aは、図示のように、オーディオエンコーダ10a、解像度変換部11a、ビデオエンコーダ12a、多重化部13a、暗号化部14a、送信部15a、および制御部16aを備えている。また、制御部16aには、解像度情報取得部(画質情報取得部)17a、解像度エンコード制御部18a(画質情報取得部)、および制御情報生成部19aが含まれている。
オーディオエンコーダ10aは、送信機1aが送信するコンテンツのオーディオ(音声)ストリームをエンコード(符号化)して多重化部13aに出力する。同様に、ビデオエンコーダ12aは、送信機1aが送信するコンテンツのビデオ(映像)ストリームをエンコード(符号化)して多重化部13aに出力する。
解像度変換部11aは、オリジナルの画像から放送波に乗せられる4Kまたは8Kの画像への、解像度の変換処理を行い、変換した画像をビデオエンコーダ12aに出力する。当該変換処理は、スケーリング処理(拡大処理)と呼ばれ、オリジナル画像の解像度(オリジナル解像度とも呼ぶ)およびオリジナル画像に施されたスケーリング処理の方式(単に、スケーリング方式とも呼ぶ)に応じて異なる処理が行われる。なお、解像度の変換処理は、必ずしも送信機1aが行うことに限定されることはなく、例えば、別体のサーバが行って、スケーリング処理が施された画像を送信機1aに出力してもよい。
多重化部13aは、オーディオエンコーダ10aが出力したオーディオストリーム、ビデオエンコーダ12aが出力したビデオストリーム、および制御部16aが出力した制御情報を多重化し、その多重化ストリーム(TS信号)を暗号化部14aに出力する。
暗号化部14aは、多重化部13aが出力する多重化ストリームを暗号化して送信部15aに出力する。そして、送信部15aは、暗号化部14aが出力する暗号化されたデータをパケットとして、デジタル放送信号の形態で放送経路にて受信機2aに送信する。
制御部16aは、送信機1aの備える各部の制御等を行う。具体的には、制御部16aに含まれる解像度情報取得部17aは、送信機1aが送信する画像の解像度に関する情報であり、オリジナル解像度を含む解像度情報を取得し、取得した解像度情報を制御情報生成部19aに出力する。解像度情報の取得方法は特に限定されないが、例えば、撮影に使用したカメラの機種等から、その撮影で得られた画像の解像度は決まるから、撮影に使ったカメラの情報から解像度情報を取得してもよい。また、映像処理を施した機材の情報から解像度情報を取得したり、編集の時点で映像解析を行って解像度情報を抽出したりする構成としてもよい。なお、解像度情報の詳細は後述する。
解像度エンコード制御部18aは、解像度変換部11aを制御して解像度変換を行わせて、スケーリング方式を示す情報を取得し、オーディオエンコーダ10aおよびビデオエンコーダ12aを制御してエンコードを行わせる。また、解像度エンコード制御部18aは、オリジナル画像のビットレート、圧縮方式、およびファイル形式を示す情報を取得する。
制御情報生成部19aは、送信機1aが送信するコンテンツを再生するための制御情報を生成する。この制御情報は、TSではPSI/SI(Program Specific Information / Service Information)と呼ばれるものであり、コンテンツに関する種々の情報が含まれるが、ここでは、PSI/SIのうち、コンテンツのプログラムに関する情報が記述されたPMT(Program Map Table、プログラムマップテーブル)の生成に絞って説明する。
送信機1aでは、解像度情報取得部17aが画質情報としてオリジナル解像度を含む解像度情報を取得する処理を実行する。次に、解像度エンコード制御部18aが画質情報としてスケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を取得する処理を実行する。そして、制御情報生成部19aが上記の画質情報を含む制御情報(PMT)を生成する処理を実行する。したがって、このPMTを受信した受信機2aにおいて、該PMTと共に受信したコンテンツをその画質情報に応じた適切な画質調整を行って(あるいは画質調整を行わずに)表示させることが可能になる。
なお、解像度情報取得部17aおよび解像度エンコード制御部18aは、送信機1aが送信するコンテンツが切り替わった場合、切り替え後のコンテンツの画質情報を取得し、制御情報生成部19aはこの画質情報を含むPMTを生成する。このように、コンテンツの変化に追従して、異なる画質情報を含むPMTを生成することにより、常に最適な画質調整によってコンテンツを再生させることが可能になる。
〔受信機の構成〕
受信機2aは、図示のように、チューナ20a、通信I/F21a、復号部22a、逆多重化部23a、オーディオデコーダ24a、ビデオデコーダ25a、画質調整部26a、表示制御部27a、ディスプレイ28a、および制御部29aを備えている。また、制御部29aには、復号制御部30a、逆多重化制御部31a、および制御情報取得部32aが含まれている。
チューナ20aは、放送経路にてデジタル放送信号として送信されるコンテンツ等を受信して復号部22aに出力する。一方、通信I/F21aは、通信経路にて送信されるコンテンツ等を受信して復号部22aに出力する。
復号部22aは、チューナ20aおよび通信I/F21aを介して受信したコンテンツが暗号化されていた場合、これを復号して逆多重化部23aに出力する。
逆多重化部23aは、復号部22aが出力するデータ(暗号は復号されているが多重化されているTS信号)を逆多重化する。そして、逆多重化によって得られた当該コンテンツの各構成要素(コンポーネント)を、当該コンポーネントの種別に応じて処理する。具体的には、逆多重化部23aは、オーディオのコンポーネントはオーディオデコーダ24aに出力し、ビデオのコンポーネントはビデオデコーダ25aに出力し、制御情報は制御情報取得部32aに出力する。
オーディオデコーダ24aは、逆多重化部23aが出力するオーディオコンポーネントを復号してオーディオデータを出力する。同様に、ビデオデコーダ25aは、逆多重化部23aが出力するビデオコンポーネントを復号してビデオデータを出力する。
画質調整部26aは、画質情報をもとに、画像処理の強度について決定し、決定した強度による画像処理を実行することにより、ビデオデコーダ25aが出力したビデオデータの画質を調整する。この画質調整により、ビデオデコーダ25aが出力したビデオデータが高画質になって、ディスプレイ28aに表示される。なお、画質調整部26aは、制御部29a内に設けられていてもよい。画質を調整するための画像処理の具体例については、後述する。
表示制御部27aは、ビデオデータをディスプレイ28aに表示させる制御を行う。また、ディスプレイ28aは、表示制御部27aの制御に従ってビデオデータを表示する。つまり、受信機2aは、放送されるコンテンツの受信機能および再生(表示)機能を備えたテレビジョン受像機である。なお、ディスプレイ28aは、受信機2aに外付けされた外部の装置であってもよい。
制御部29aは、受信した制御情報に従って受信機2aの備える各部を制御する。具体的には、復号制御部30aは、復号部22aを制御してコンテンツの復号を行わせる。また、逆多重化制御部31aは、逆多重化部23aを制御してコンテンツの逆多重化を行わせる。そして、制御情報取得部32aは、逆多重化部23aが逆多重化することによって出力された制御情報を取得し、制御情報に画質情報が含まれる場合には、この情報を画質調整部26aに出力する。
上記によれば、制御情報のPMTにオリジナル解像度を含む画質情報を含めることにより、制御情報解析用のプログラムを変更するだけで画質情報を取り出すことが可能になる。なお、ビデオデコーダ25aの動作は、従来通りである。従って、ビデオをデコードする前に画質情報を取得できるので、画質調整部26aが参照する変換テーブルなどを事前に準備し、映像の画質が変化した時に適切なタイミングで変換テーブルなどを切り替えることができる。
〔画質情報を含むPMTの例〕
続いて、画質情報を含むPMTの例を図7に基づいて説明する。図7は、画質情報を含むPMTの一例を示す図である。図示のPMTには、当該PMTのバージョンを示す記述子D11(version_number)と、PMTのプログラムIDを示す記述子D12(program_number)とが含まれていると共に、画質情報を含む記述子D13(descriptor())が含まれている。
そして、記述子D13内には、当該記述子(descriptor)が画質情報に関する記述子であることを示す予め定めたタグdescriptor_tag、当該記述子の長さを示すdescriptor_length、および画質情報のデータ本体であるdata()が記述されている。なお、descriptor_tagの値は、記述子D13に画質情報に関する記述が含まれていることが特定できればよく、例えばデジタル放送における標準規格を定めたARIB STD-B21において、他の記述子を示すものとして使用されていない「0xF0」の値を用いてもよい。
ここで、一般にテレビ放送では、ソースが異なる映像が連続して送信され、このような異なるソースの映像は画質がそれぞれ異なっている可能性がある。そこで、このようなケースに対応するため、制御情報生成部19aは、ソースが変化するときには、PMT内の画質情報を更新するとともに、PMTのバージョン情報(記述子D11の値)も併せて更新する。そして、受信機2aでは、制御情報取得部32aが、PMTのバージョンが更新されるたびに画質情報をチェックし、更新があれば画質調整部26aに新しい画質情報を伝達する。これにより、映像の変化に応じた適切な画質の調整が可能となる。
図7のPMTでは、data()として、受信した(再生対象の)コンテンツの映像のオリジナル解像度(1920×1080)、スケーリング方式(バイキュービック法)、動画圧縮方式(MPEG2)、ビットレート(10Mbps)、およびファイル形式(TS)が格納されている。しかしながら、data()に記述する画質情報は、受信したコンテンツの画質に関する情報であって、画質調整の要否判定、および画質調整要の場合の画像処理の態様の決定に用いることができるものであればよく、この例に限られない。
なお、PMTには、コンポーネント記述子の1つであり、映像の解像度およびアスペクト比を示すコードであるcomponent_type(コンポーネント種別)が含まれ得る。例えば、0x03は、有効垂直解像度(有効走査線)が480本であり、総走査線が525本であり、アスペクト比が16:9であることを示す。また、0xB3は、有効垂直解像度が1080本であり、総走査線が1125本であり、アスペクト比が16:9であることを示す。ただし、この解像度は、受信機2aが入力する映像の解像度であり、送信機1aにおけるオリジナル映像の解像度ではない。
〔画質情報の取得処理〕
次に、画質情報の取得について図8に基づいて説明する。図8は、受信機2aで実行される画質情報を取得する処理の一例を示すフローチャートである。まず、制御情報取得部32aは、逆多重化部23aが出力する信号からPMTを抽出して、抽出したPMTからさらにdescriptor(記述子)を抽出する(S11)。
次に、制御情報取得部32aは、抽出した記述子が画質情報の記述子であるか否かを判定する(S12)。具体的には、制御情報取得部32aは、抽出した記述子のdescriptor_tagの値が、画質情報に予め割り当てられたタグの値と一致する場合には、当該記述子が画質情報の記述子であると判定する。
ここで、画質情報の記述子ではないと判定した場合(S12でNO)、制御情報取得部32aは、上記PMTに次の記述子が含まれているか否かを判定する(S13)。そして、制御情報取得部32aは、含まれていると判定した場合(S13でYES)、S11の処理に戻って次の記述子を抽出し、含まれていないと判定した場合(S13でNO)、処理を終了する。
一方、S12において、S11で抽出した記述子が画質情報の記述子であると判定した場合(S12でYES)、制御情報取得部32aは、当該記述子を解析して、これに含まれる画質情報を抽出する。そして、抽出した画質情報を画質調整部26aに送信して(S14)、処理を終了する。
〔画質情報に応じた画質調整の概要〕
受信機2aの画質調整部26aは、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を含む画質情報から入力映像の画質を推定し、その推定した画質から、画像処理の最適化を図る。すなわち、高画質用、低画質用などの画像処理パラメータ設定値の組合せを事前に用意しておき、入力画像を高画質に調整する方法として、入力映像の画質に応じて、画像処理パラメータ設定値の組合せを切り替えて、画像処理を実行する。
〔オリジナル解像度に応じた画質調整〕
続いて、オリジナル解像度に応じた画質調整について、画質調整部26aは、図4を用いて説明した処理と同様の処理を行う。また、図4を用いて説明した効果と同様の効果を奏する。
〔スケーリング方式に応じた画質調整〕
続いて、スケーリング方式に応じた画質調整について、画質調整部26aは、図5を用いて説明した処理と同様の処理を行う。また、図5を用いて説明した効果と同様の効果を奏する。
〔動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整〕
続いて、動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整の一例について、画質調整部26aは、実施形態1で説明した処理と同様の処理を行う。また、実施形態1で説明した効果と同様の効果を奏する。
〔実施形態5:変形例〕
上記実施形態の送信機1aは、コンテンツを再生するための制御情報を生成する制御情報生成装置としての機能と、デジタル放送信号を送信する送信装置としての機能とを共に備えていた。しかしながら、互いに独立した制御情報生成装置と送信装置との組み合わせによっても、上記送信機1aと同様の機能を実現することができる。
〔実施形態6:ソフトウェアによる実現例〕
送信機1aおよび受信機2aの制御ブロック(特に多重化部13a、暗号化部14a、制御部16a、復号部22a、逆多重化部23a、画質調整部26a、表示制御部27a、および制御部29a)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、送信機1aおよび受信機2aは、各機能を実現するソフトウェアである制御プログラムの命令を実行するCPU、上記制御プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記制御プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記制御プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記制御プログラムは、該制御プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様9に係る制御情報生成装置(送信機1a)は、トランスポートストリームにて送信されるコンテンツを再生するための制御情報を生成する制御情報生成装置であって、上記コンテンツの映像の画質に関する画質情報を取得する画質情報取得部(解像度情報取得部17a、解像度エンコード制御部18a)と、上記画質情報を含むプログラムマップテーブルを生成する制御情報生成部(19a)と、を備えている。
上記の構成によれば、画質情報を含むプログラムマップテーブル(PMT)を生成する。ここで、PMTは、コンテンツと共に受信装置に送信されるものであり、受信装置はPMTを参照しながらコンテンツを再生する。よって、上記の構成によれば、該PMTを受信した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる。特に、PMTは、1秒以内程度の短い時間間隔で定期的に送信されるので、コンテンツの変化に概ねリアルタイムで追従して画質を調整させることが可能となる。
本発明の態様10に係る制御情報生成装置は、上記態様9において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様11に係る送信装置(送信機1a)は、上記態様9および10に係る制御情報生成装置と、上記制御情報生成装置が生成したプログラムマップテーブルを上記コンテンツと共にデジタル放送信号として送信する送信部(15a)と、を備えている。
上記の構成によれば、上記制御情報生成装置が生成したプログラムマップテーブルを上記コンテンツと共にデジタル放送信号として送信する。よって、該デジタル放送信号を受信した受信装置に、上記プログラムマップテーブルに含まれる映像の画質に応じた画像処理を迅速に行わせた上で、当該コンテンツを再生させることができる。
本発明の態様12に係る受信装置(受信機2a)は、トランスポートストリームにて送信されるコンテンツを受信する受信装置であって、上記コンテンツの映像の画質に関する画質情報を含むプログラムマップテーブルを取得する制御情報取得部(32a)と、上記コンテンツの映像の画質を上記画質情報に応じて調整する画質調整部(26a)と、を備えている。
上記の構成によれば、コンテンツの映像の画質に関する画質情報を含むプログラムマップテーブル(PMT)を取得して、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記の構成によれば、映像の画質に応じた画像処理を迅速に行わせた上で、該コンテンツを再生させることができる。特に、PMTは、1秒以内程度の短い時間間隔で定期的に送信されるので、コンテンツの変化に概ねリアルタイムで追従して画質を調整することが可能となる。
本発明の態様13に係る受信装置は、上記態様12において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様14に係る受信装置は、上記態様12および13において、上記画質調整部が、ノイズリダクション、エンハンス、および、超解像度処理の少なくとも何れかを含む画像処理を、上記画質情報に応じた強度により実行することとしてもよい。
本発明の態様15に係るテレビジョン受像機(受信機2a)は、上記態様12から14に係る受信装置を含んでいる。よって、態様12から14の受信装置と同様の作用効果を奏する。
本発明の態様16に係る映像信号伝送システム(5a)は、トランスポートストリームにてコンテンツを送信する送信装置と該コンテンツを受信する受信装置とを含む映像信号伝送システムであって、上記送信装置は、上記コンテンツの映像の画質に関する画質情報を含むプログラムマップテーブルを上記コンテンツと共にデジタル放送信号として上記受信装置に送信し、上記受信装置は、上記デジタル放送信号から上記プログラムマップテーブルを取得し、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記態様9の制御情報生成装置および上記態様11の受信装置と同様の作用効果を奏する。
本発明の各態様に係る制御情報生成装置、送信装置、および受信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御情報生成装置、送信装置、または受信装置が備える各部として動作させることにより上記制御情報生成装置、送信装置、または受信装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
〔関連する実施形態についての説明II〕
以下、実施形態7〜9について説明する。
〔発明を実施するための形態〕
以下、本発明の実施形態7について、図9〜図12を参照して詳細に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
まず、本実施形態に係る映像信号伝送システムの構成を図9に基づいて説明する。図9は、映像信号伝送システム5bに含まれる送信機(制御情報生成装置、送信装置)1bおよび受信機(受信装置)2bの要部構成の一例を示すブロック図である。
映像信号伝送システム5bは、送信機1bから受信機2bに映像信号等を伝送するシステムである。映像信号伝送システム5bは、伝送する映像の画質を示す画質情報を当該映像信号に付加して送信する点が主な特徴点であり、これによって、映像に応じた最適な画質調整を行うことを可能にしている。なお、現行のデジタル放送では、MPEG2(Moving Picture Experts Group phase 2)方式のTS(Transport Stream、トランスポートストリーム)フォーマットで信号が送信されている。そこで、本実施形態では、TSフォーマットにて映像信号を伝送する例を説明するが、映像信号を伝送するフォーマットは、これに限定されるものではない。例えば、次世代の4K/8K放送では、MMT(MPEG Media Transport)フォーマットで信号が送信されることが検討されており、MMTフォーマットにて映像信号を伝送する場合においても、映像信号伝送システム5bを適用することが可能である。
送信機1bは、映像信号等の形態でコンテンツを送信する。より詳細には、送信機1bは、放送経路(放送伝送路)にてコンテンツを構成する各パケット(TSパケット/MMTPパケット:MMT Protocol パケット)を送信する。一方の受信機2bは、このコンテンツ(放送経路で配信されるコンテンツ)の受信機能を備えていると共に、例えばインターネット等の通信網を介して通信経路で配信されるコンテンツの受信機能も備えている。そして、受信機2bは、これら2つの経路を介して受信した各コンテンツを組み合わせて再生することができる。なお、同図では、受信機2bを1つのみ記載しているが、送信機1bは複数の受信機2bに対してコンテンツをブロードキャストする。
〔送信機の構成〕
送信機1bは、図示のように、オーディオエンコーダ10b、解像度変換部11b、ビデオエンコーダ12b、多重化部13b、暗号化部14b、送信部15b、および制御部16bを備えている。また、制御部16bには、解像度情報取得部(画質情報取得部)17b、解像度エンコード制御部18b(画質情報取得部)、および制御情報生成部19bが含まれている。
オーディオエンコーダ10bは、送信機1bが送信するコンテンツのオーディオ(音声)ストリームをエンコード(符号化)して多重化部13bに出力する。同様に、ビデオエンコーダ12bは、送信機1bが送信するコンテンツのビデオ(映像)ストリームをエンコード(符号化)して多重化部13bに出力する。
解像度変換部11bは、オリジナルの画像から放送波に乗せられる4Kまたは8Kの画像への、解像度の変換処理を行い、変換した画像をビデオエンコーダ12bに出力する。当該変換処理は、スケーリング処理(拡大処理)と呼ばれ、オリジナル画像の解像度(オリジナル解像度とも呼ぶ)およびオリジナル画像に施されたスケーリング処理の方式(単に、スケーリング方式とも呼ぶ)に応じて異なる処理が行われる。なお、解像度の変換処理は、必ずしも送信機1bが行うことに限定されることはなく、例えば、別体のサーバが行って、スケーリング処理が施された画像を送信機1bに出力してもよい。
多重化部13bは、オーディオエンコーダ10bが出力したオーディオストリーム、ビデオエンコーダ12bが出力したビデオストリーム、および制御部16bが出力した制御情報を多重化し、その多重化ストリーム(MMT信号)を暗号化部14bに出力する。
暗号化部14bは、多重化部13bが出力する多重化ストリームを暗号化して送信部15bに出力する。そして、送信部15bは、暗号化部14bが出力する暗号化されたデータをパケットとして、デジタル放送信号の形態で放送経路にて受信機2bに送信する。
制御部16bは、送信機1bの備える各部の制御等を行う。具体的には、制御部16bに含まれる解像度情報取得部17bは、送信機1bが送信する画像の解像度に関する情報であり、オリジナル解像度を含む解像度情報を取得し、取得した解像度情報を制御情報生成部19bに出力する。ここで、「送信機1bが送信する画像」には、送信機1bが送信する予定である画像、すなわち、放送予定の画像も含まれる。解像度情報の取得方法は特に限定されないが、例えば、撮影に使用したカメラの機種等から、その撮影で得られた画像の解像度は決まるから、撮影に使ったカメラの情報から解像度情報を取得してもよい。また、映像処理を施した機材の情報から解像度情報を取得したり、編集の時点で映像解析を行って解像度情報を抽出したりする構成としてもよい。なお、解像度情報の詳細は後述する。
解像度エンコード制御部18bは、解像度変換部11bを制御して解像度変換を行わせて、スケーリング方式を示す情報を取得し、オーディオエンコーダ10bおよびビデオエンコーダ12bを制御してエンコードを行わせる。また、解像度エンコード制御部18bは、オリジナル画像のビットレート、圧縮方式、およびファイル形式を示す情報を取得する。
制御情報生成部19bは、送信機1bが送信するコンテンツを再生するための制御情報を生成する。この制御情報は、TSではPSI/SI(Program Specific Information / Service Information)と呼ばれるものであり、コンテンツに関する種々の情報が含まれるが、ここでは、PSI/SIのうち、コンテンツの内容に関する情報が記述されたEIT(Event Information Table、イベント情報テーブル)の生成に絞って説明する。なお、次世代の超高精細度テレビジョン放送においては、MH−EIT(MPEG-H Event Information Table)と呼ばれるEITが用いられる。本明細書中における「EIT」との文言には、「現行放送のEIT」及び「MH−EIT」の双方が含まれるものとする。
送信機1bでは、解像度情報取得部17bが画質情報としてオリジナル解像度を含む解像度情報を取得する処理を実行する。次に、解像度エンコード制御部18bが画質情報としてスケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を取得する処理を実行する。そして、制御情報生成部19bが上記の画質情報を含む制御情報(EIT)を生成する処理を実行する。したがって、このEITを受信した受信機2bにおいて、コンテンツをその画質情報に応じた適切な画質調整を行って(あるいは画質調整を行わずに)表示させることが可能になる。
なお、解像度情報取得部17bおよび解像度エンコード制御部18bは、送信機1bが送信するコンテンツ毎に、各コンテンツの画質情報を取得し、制御情報生成部19bはこの画質情報を含むEITを生成する。このように、コンテンツ毎に、異なる画質情報を含むEITを生成することにより、常に最適な画質調整によってコンテンツを再生させることが可能になる。
上記のように、送信機1bは、画質情報を含むEITを送信する構成であるため、従来の構成に変更を行うことなく、画質情報を送信することができる。
〔受信機の構成〕
受信機2bは、図示のように、チューナ20b、通信I/F21b、復号部22b、逆多重化部23b、オーディオデコーダ24b、ビデオデコーダ25b、画質調整部26b、表示制御部27b、ディスプレイ28b、制御部29b、およびOSD(On Screen Display)生成部33bを備えている。また、制御部29bには、復号制御部30b、逆多重化制御部31b、および制御情報取得部32bが含まれている。
チューナ20bは、放送経路にてデジタル放送信号として送信されるコンテンツ等を受信して復号部22bに出力する。一方、通信I/F21bは、通信経路にて送信されるコンテンツ等を受信して復号部22bに出力する。
復号部22bは、チューナ20bおよび通信I/F21bを介して受信したコンテンツが暗号化されていた場合、これを復号して逆多重化部23bに出力する。
逆多重化部23bは、復号部22bが出力するデータ(暗号は復号されているが多重化されているMMT信号)を逆多重化する。そして、逆多重化によって得られた当該コンテンツの各構成要素(コンポーネント)を、当該コンポーネントの種別に応じて処理する。具体的には、逆多重化部23bは、オーディオのコンポーネントはオーディオデコーダ24bに出力し、ビデオのコンポーネントはビデオデコーダ25bに出力し、制御情報は制御情報取得部32bに出力する。
オーディオデコーダ24bは、逆多重化部23bが出力するオーディオコンポーネントを復号してオーディオデータを出力する。同様に、ビデオデコーダ25bは、逆多重化部23bが出力するビデオコンポーネントを復号してビデオデータを出力する。
画質調整部26bは、画質情報をもとに、画像処理の強度について決定し、決定した強度による画像処理を実行することにより、ビデオデコーダ25bが出力したビデオデータの画質を調整する。この画質調整により、ビデオデコーダ25bが出力したビデオデータが高画質になって、ディスプレイ28bに表示される。なお、画質調整部26bは、制御部29b内に設けられていてもよい。画質を調整するための画像処理の具体例については、後述する。
表示制御部27bは、ビデオデータをディスプレイ28bに表示させる制御を行う。また、ディスプレイ28bは、表示制御部27bの制御に従ってビデオデータを表示する。つまり、受信機2bは、放送されるコンテンツの受信機能および再生(表示)機能を備えたテレビジョン受像機である。なお、ディスプレイ28bは、受信機2bに外付けされた外部の装置であってもよい。
制御部29bは、受信した制御情報に従って受信機2bの備える各部を制御する。具体的には、復号制御部30bは、復号部22bを制御してコンテンツの復号を行わせる。また、逆多重化制御部31bは、逆多重化部23bを制御してコンテンツの逆多重化を行わせる。そして、制御情報取得部32bは、逆多重化部23bが逆多重化することによって出力された制御情報を取得し、OSD生成部33bに出力するとともに、制御情報に画質情報が含まれる場合には、この情報を画質調整部26bに出力する。
上記によれば、制御情報のEITにオリジナル解像度を含む画質情報を含めることにより、制御情報解析用のプログラムを変更するだけで画質情報を取り出すことが可能になる。なお、ビデオデコーダ25bの動作は、従来通りである。従って、ビデオをデコードする前に画質情報を取得できるので、画質調整部26bが参照する変換テーブルなどを事前に準備し、映像の画質が変化した時に適切なタイミングで変換テーブルなどを切り替えることができる。
OSD生成部33bは、制御情報取得部32bが出力する制御情報(EIT)を参照して、電子番組表(EPG:Electronic Program Guide)を示すOSD画像を生成する。上記制御情報に画質情報が含まれる場合、OSD生成部33bが生成する電子番組表には、各コンテンツの画質情報をさらに含めることができる。OSD生成部33bにより生成されたOSD画像は、画質調整部26bから出力されたビデオデータに重畳され、表示制御部27bに供給される。なお、OSD生成部33bは、制御部29b内に設けられていてもよい。
なお、OSD生成部33bが、逆多重化部23bが逆多重化することによって出力された制御情報を取得する構成としてもよい。上記の場合、OSD生成部33bは、当該制御情報を解析することにより、電子番組表を示すOSD画像を生成するとともに、制御情報に画質情報が含まれる場合には、この情報を画質調整部26bに出力するように構成としてもよい。上記の場合には、従来の構成に対して新たな構成を付加することなく、最小限の変更により制御情報取得部を実現することができる。
〔画質情報を含むEITの例〕
続いて、画質情報を含むEITの例を図10に基づいて説明する。図10は、画質情報を含むEITの一例を示す図である。図示のEITには、当該EITのバージョンを示す記述子D21(version_number)と、EITのサービスIDを示す記述子D22(service_id)とが含まれていると共に、画質情報を含む記述子D23(descriptor())が含まれている。
そして、記述子D23内には、当該記述子(descriptor)が画質情報に関する記述子であることを示す予め定めたタグdescriptor_tag、当該記述子の長さを示すdescriptor_length、および画質情報のデータ本体であるdata()が記述されている。なお、descriptor_tagの値は、記述子D23に画質情報に関する記述が含まれていることが特定できればよく、例えばデジタル放送における標準規格を定めたARIB STD-B21において、他の記述子を示すものとして使用されていない「0xF0」の値を用いてもよい。
ここで、一般にテレビ放送では、ソースが異なる映像が連続して送信され、このような異なるソースの映像は画質がそれぞれ異なっている可能性がある。そこで、このようなケースに対応するため、制御情報生成部19bは、ソースが変化するときには、EIT内の画質情報を更新するとともに、EITのバージョン情報(記述子D21の値)も併せて更新する。そして、受信機2bでは、制御情報取得部32bが、EITのバージョンが更新されるたびに画質情報をチェックし、更新があれば画質調整部26bに新しい画質情報を伝達する。これにより、映像の変化に応じた適切な画質の調整が可能となる。
図10のEITでは、data()として、受信した(再生対象の)コンテンツの映像のオリジナル解像度(1920×1080)、スケーリング方式(バイキュービック法)、動画圧縮方式(MPEG2)、ビットレート(10Mbps)、およびファイル形式(TS)が格納されている。しかしながら、data()に記述する画質情報は、受信したコンテンツの画質に関する情報であって、画質調整の要否判定、および画質調整要の場合の画像処理の態様の決定に用いることができるものであればよく、この例に限られない。
なお、画質情報を示すテキストを、記述子D23内のdata()に記述する構成としてもよい。制御情報取得部32bは、当該テキストを解析することにより画質情報を取得する。なお、data()に記述されているテキストに、例えば、「#」などのような予め定められたハッシュタグを付して記述する構成とすれば、当該テキストが画質情報を示すテキストであるか否かの判定を容易にすることができる。
なお、EITには、コンポーネント記述子の1つであり、映像の解像度およびアスペクト比を示すコードであるcomponent_type(コンポーネント種別)が含まれ得る。例えば、0x03は、有効垂直解像度(有効走査線)が480本であり、総走査線が525本であり、アスペクト比が16:9であることを示す。また、0xB3は、有効垂直解像度が1080本であり、総走査線が1125本であり、アスペクト比が16:9であることを示す。ただし、この解像度は、受信機2bが入力する映像の解像度であり、送信機1bにおけるオリジナル映像の解像度ではない。
〔画質情報の取得処理〕
次に、画質情報の取得について図11に基づいて説明する。図11は、受信機2bで実行される画質情報を取得する処理の一例を示すフローチャートである。なお、ここでは、画質情報が記述子D23内のdata()に記述されている例(図10を参照)を説明する。まず、制御情報取得部32bは、逆多重化部23bが出力する信号からEITを抽出して、抽出したEITからさらにdescriptor(記述子)を抽出する(S21)。
次に、制御情報取得部32bは、抽出した記述子が画質情報の記述子であるか否かを判定する(S22)。具体的には、制御情報取得部32bは、抽出した記述子のdescriptor_tagの値が、画質情報に予め割り当てられたタグの値と一致する場合には、当該記述子が画質情報の記述子であると判定する。
ここで、画質情報の記述子ではないと判定した場合(S22でNO)、制御情報取得部32bは、上記EITに次の記述子が含まれているか否かを判定する(S23)。そして、制御情報取得部32bは、含まれていると判定した場合(S23でYES)、S21の処理に戻って次の記述子を抽出し、含まれていないと判定した場合(S23でNO)、処理を終了する。
一方、S22において、S21で抽出した記述子が画質情報の記述子であると判定した場合(S22でYES)、制御情報取得部32bは、当該記述子を解析して、これに含まれる画質情報を抽出する。そして、抽出した画質情報を画質調整部26bに送信して(S24)、処理を終了する。
なお、画質情報が記述子D23内にテキストとして記述されている場合、S22のステップにおいて、制御情報取得部32bは、抽出した記述子を解析して、当該記述子に画質情報を示すテキストが含まれているか判定する構成とすればよい。
〔画質情報に応じた画質調整の概要〕
受信機2bの画質調整部26bは、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を含む画質情報から入力映像の画質を推定し、その推定した画質から、画像処理の最適化を図る。すなわち、高画質用、低画質用などの画像処理パラメータ設定値の組合せを事前に用意しておき、入力画像を高画質に調整する方法として、入力映像の画質に応じて、画像処理パラメータ設定値の組合せを切り替えて、画像処理を実行する。
〔オリジナル解像度に応じた画質調整〕
続いて、オリジナル解像度に応じた画質調整について、画質調整部26bは、図4を用いて説明した処理と同様の処理を行う。また、図4を用いて説明した効果と同様の効果を奏する。
〔スケーリング方式に応じた画質調整〕
続いて、スケーリング方式に応じた画質調整について、画質調整部26bは、図5を用いて説明した処理と同様の処理を行う。また、図5を用いて説明した効果と同様の効果を奏する。
〔動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整〕
続いて、動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整の一例について、画質調整部26bは、実施形態1で説明した処理と同様の処理を行う。また、実施形態1で説明した効果と同様の効果を奏する。
〔受信機2bにおける電子番組表〕
続いて、受信機2bにおける電子番組表について、図12を参照して説明する。図12は、受信機2bのOSD生成部33bが、画質情報を含むEITを参照して生成する電子番組表の一例を示す図である。図12に示すように、OSD生成部33bが生成する電子番組表は、コンテンツのチャンネルを示す軸と、時間を示す軸とによって張られる二次元面に、各コンテンツを示すセルが配置されている。図12に示すように、電子番組表のセルの何れかをフォーカスする操作が行われると、当該セルに対応したコンテンツに関する情報がクローズアップされて表示される。コンテンツに関する情報としては、例えば、番組名、放送時間、出演者、及び当該コンテンツの内容を示すテキストなどが挙げられる。
本実施形態においては、EITに画質情報が含まれる構成を採用している。そのため、本実施形態では、OSD生成部33bが生成する電子番組表において、各コンテンツの画質情報を提示することができる。図12に示すように、各コンテンツに関する情報として、番組名、放送時間、出演者、及び当該コンテンツの内容を示すテキストに加え、当該コンテンツの画質情報(オリジナル画像の解像度)を示すテキストである「FHD」がさらに提示されている。
なお、EITに含まれる画質情報に応じて、電子番組表における各セルの色を変更することにより、ユーザに各コンテンツの画質情報を提示する構成としてもよい。
〔実施形態8:変形例〕
上記実施形態の送信機1bは、コンテンツを再生するための制御情報を生成する制御情報生成装置としての機能と、デジタル放送信号を送信する送信装置としての機能とを共に備えていた。しかしながら、互いに独立した制御情報生成装置と送信装置との組み合わせによっても、上記送信機1bと同様の機能を実現することができる。
〔実施形態9:ソフトウェアによる実現例〕
送信機1bおよび受信機2bの制御ブロック(特に多重化部13b、暗号化部14b、制御部16b、復号部22b、逆多重化部23b、画質調整部26b、表示制御部27b、および制御部29b)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、送信機1bおよび受信機2bは、各機能を実現するソフトウェアである制御プログラムの命令を実行するCPU、上記制御プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記制御プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記制御プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記制御プログラムは、該制御プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様17に係る制御情報生成装置(送信機1b)は、デジタル放送において送信されるコンテンツを再生するための制御情報を生成する制御情報生成装置であって、上記コンテンツの映像の画質に関する画質情報を取得する画質情報取得部(解像度情報取得部17b、解像度エンコード制御部18b)と、上記画質情報を含むイベント情報テーブルを生成する制御情報生成部(19b)と、を備えている。
上記の構成によれば、画質情報を含むイベント情報テーブル(EIT)を生成する。ここで、EITは、デジタル放送信号に付加されて送信されるものであり、受信装置において電子番組表を生成する際に参照されるものである。すなわち、上記の構成によれば、該EITを受信した受信装置に、該受信装置が再生するコンテンツの画質情報を、該コンテンツの再生に先立って提供することができる。よって、上記の構成によれば、該EITを受信した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる。また、上記の構成によれば、該EITを受信した受信装置に、該コンテンツの画質情報を含む電子番組表を生成させることができる。
本発明の態様18に係る制御情報生成装置は、上記態様17において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様19に係る送信装置(送信機1b)は、上記態様17および18に係る制御情報生成装置と、上記制御情報生成装置が生成したイベント情報テーブルをデジタル放送信号に付加して送信する送信部(15b)と、を備えている。
上記の構成によれば、上記制御情報生成装置が生成したイベント情報テーブルをデジタル放送信号に付加して送信する。受信装置は、電子番組表を生成する際に、上記イベント情報テーブルを参照する。すなわち、上記の構成によれば、受信装置に、該受信装置が再生するコンテンツの画質情報を、該コンテンツの再生に先立って提供することができる。よって、該デジタル放送信号を受信した受信装置に、上記イベント情報テーブルに含まれる映像の画質に応じた画像処理を迅速に行わせた上で、当該コンテンツを再生させることができる。
本発明の態様20に係る受信装置(受信機2b)は、デジタル放送において送信されるコンテンツを受信する受信装置であって、上記コンテンツの映像の画質に関する画質情報を含むイベント情報テーブルを取得する制御情報取得部(32b)と、上記コンテンツの映像の画質を上記画質情報に応じて調整する画質調整部(26b)と、を備えている。
上記の構成によれば、コンテンツの映像の画質に関する画質情報を含むイベント情報テーブルを、当該コンテンツの再生に先立って取得して、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記の構成によれば、映像の画質に応じた画像処理を迅速に行わせた上で、該コンテンツを再生させることができる。また、上記の構成によれば、該コンテンツの色域情報を含む電子番組表を生成することができる。
本発明の態様21に係る受信装置は、上記態様20において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様22に係る受信装置は、上記態様20および21において、上記画質調整部が、ノイズリダクション、エンハンス、および、超解像度処理の少なくとも何れかを含む画像処理を、上記画質情報に応じた強度により実行することとしてもよい。
本発明の態様23に係るテレビジョン受像機(受信機2b)は、上記態様20から22に係る受信装置を含んでいる。よって、態様20から22の受信装置と同様の作用効果を奏する。
本発明の態様24に係る映像信号伝送システム(5b)は、デジタル放送におけるコンテンツを送信する送信装置と該コンテンツを受信する受信装置とを含む映像信号伝送システムであって、上記送信装置は、上記コンテンツの映像の画質に関する画質情報を含むイベント情報テーブルをデジタル放送信号に付加して上記受信装置に送信し、上記受信装置は、上記デジタル放送信号から上記イベント情報テーブルを取得し、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、上記態様17の制御情報生成装置および上記態様19の受信装置と同様の作用効果を奏する。
本発明の各態様に係る制御情報生成装置、送信装置、および受信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御情報生成装置、送信装置、または受信装置が備える各部として動作させることにより上記制御情報生成装置、送信装置、または受信装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
〔関連する実施形態についての説明III〕
以下、実施形態10〜13について説明する。
〔実施形態10〜13の背景技術について〕
昨今、放送の高度化の一環として、従来よりも高い解像度を再現することのできる映像信号が提案されている。4K、8Kに対応したテレビでは、それぞれ、従来の4倍、16倍の解像度により映像を表示することが可能になっている。2014年6月には、この規格を採用した4K試験放送が開始されており、今後も4K/8Kの放送を中心に採用される見込みである。
〔実施形態10〜13の発明が解決しようとする課題〕
4K映像、8K映像には、オリジナル映像に対して何らのスケーリング処理(拡大処理)を行うことなく、4K、8Kの解像度を有する映像がある一方で、フルHDのオリジナル映像を4Kにアップコン(アップコンバート;低い解像度のデータを高解像度化すること)した映像もある。また、4Kのオリジナル映像を8Kにアップコンした映像もある。
このように、オリジナル映像の解像度などを含む画質は多様なので、テレビにおける画質調整では、本来のオリジナル映像の画質に合わせた処理を行うことが好ましい。しかしながら、オリジナル映像の画質が不明であることから、テレビが受信した実際の映像の画質に応じた画像処理をすることしかできなかった。その一例として、特許文献1には、HDMI(High Definition Multimedia Interface;登録商標)信号により実際の映像の解像度情報を受信し、当該解像度情報に応じて解像度切換を行う技術が開示されている。
一方で、上記の問題を解決するために、画質情報を映像データ内に埋め込むことも考えられるが、この構成を採用したとしても、映像データをデコードした後でなければ画質が判明せず、映像の切り替わりなどで、画像処理の切り替えが遅れ、映像と画像処理とが整合していない期間が発生するという問題がある。
また、4K/8Kの放送を受信可能な受信装置(テレビジョン受像機など)は、放送経路と通信経路という2つの通信経路を併用したサービスであるハイブリッドキャストに対応しているものも多い。しかしながら、従来は、ハイブリッドキャストに対応した受信装置が、通信経路を介して取得した情報を用いてコンテンツを再生することができるという特性を、映像の画質に応じた画像処理に利用することは行われていなかった。
本発明は、上記課題に鑑みてなされたものであり、その目的は、ハイブリッドキャストに対応した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる送信装置等を提供することにある。
〔実施形態10〜13に係る発明の効果〕
実施形態10〜13に係る発明は、ハイブリッドキャストに対応した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる。
〔発明を実施するための形態〕
〔実施形態10〕
以下、本発明の実施の形態について、図13〜図18を参照して詳細に説明する。まず、本実施形態に係る映像信号伝送システムの構成を図13に基づいて説明する。図13は、映像信号伝送システム5cに含まれる送信機(送信装置、制御情報生成装置)1cの要部構成の一例を示すブロック図である。
映像信号伝送システム5cは、送信機1cから受信機(受信装置)2cに映像信号等を伝送するシステムである。映像信号伝送システム5cは、伝送する映像の画質を示す画質情報を、通信経路を介して受信機2cに取得させる点が主な特徴点であり、これによって、映像に応じた最適な画質調整を行うことを可能にしている。なお、次世代の4K/8K放送では、MMT(MPEG Media Transport)フォーマットで信号が送信されることが検討されている。そこで、本実施形態では、MMTフォーマットにて映像信号を伝送する例を説明する。
送信機1cは、映像信号等の形態でコンテンツを送信する。より詳細には、送信機1cは、放送経路(放送伝送路)にてコンテンツを構成する各パケット(MMTPパケット:MMT Protocol パケット)を送信する。一方の受信機2cは、このコンテンツ(放送経路で配信されるコンテンツ)の受信機能を備えていると共に、例えばインターネット等の通信網を介して通信経路で配信されるコンテンツの受信機能も備えている。そして、受信機2cは、これら2つの経路を介して受信した各コンテンツを組み合わせて再生することができる。なお、同図では、受信機2cを1つのみ記載しているが、送信機1cは複数の受信機2cに対してコンテンツをブロードキャストする。
〔送信機の構成〕
送信機1cは、図示のように、オーディオエンコーダ10c、ビデオエンコーダ11c、多重化部12c、暗号化部13c、送信部(制御情報送信部)14c、制御部15c、通信I/F16c、および解像度変換部17cを備えている。また、制御部15cには、解像度エンコード制御部(画質情報取得部)151c、解像度情報取得部(画質情報取得部)152c、画質情報通知部(画質情報送信部)153c、および制御情報生成部154cが含まれている。
オーディオエンコーダ10cは、送信機1cが送信するコンテンツのオーディオ(音声)ストリームをエンコード(符号化)して多重化部12cに出力する。同様に、ビデオエンコーダ11cは、送信機1cが送信するコンテンツのビデオ(映像)ストリームをエンコード(符号化)して多重化部12cに出力する。
解像度変換部17cは、オリジナルの画像から放送波に乗せられる4Kまたは8Kの画像への、解像度の変換処理を行い、変換した画像をビデオエンコーダ11cに出力する。当該変換処理は、スケーリング処理(拡大処理)と呼ばれ、オリジナル画像の解像度(オリジナル解像度とも呼ぶ)およびオリジナル画像に施されたスケーリング処理の方式(単に、スケーリング方式とも呼ぶ)に応じて異なる処理が行われる。なお、解像度の変換処理は、必ずしも送信機1cが行うことに限定されることはなく、例えば、別体のサーバが行って、スケーリング処理が施された画像を送信機1cに出力してもよい。
多重化部12cは、オーディオエンコーダ10cが出力したオーディオストリーム、ビデオエンコーダ11cが出力したビデオストリーム、および制御部15cが出力した制御情報を多重化して暗号化部13cに出力する。
暗号化部13cは、多重化部12cが出力する多重化ストリームを暗号化して送信部14cに出力する。そして、送信部14cは、暗号化部13cが出力する暗号化されたデータをパケットとして、デジタル放送信号の形態で放送経路にて受信機2cに送信する。
制御部15cは、送信機1cの備える各部の制御等を行う。具体的には、制御部15cに含まれる解像度情報取得部152cは、送信機1cが送信する画像の解像度に関する情報であり、オリジナル解像度を含む解像度情報を取得し、取得した解像度情報を画質情報通知部153cに出力する。解像度情報の取得方法は特に限定されないが、例えば、撮影に使用したカメラの機種等から、その撮影で得られた画像の解像度は決まるから、撮影に使ったカメラの情報から解像度情報を取得してもよい。また、映像処理を施した機材の情報から解像度情報を取得したり、編集の時点で映像解析を行って解像度情報を抽出したりする構成としてもよい。なお、解像度情報の詳細は後述する。
解像度エンコード制御部151cは、解像度変換部17cを制御して解像度変換を行わせて、スケーリング方式を示す情報を取得し、オーディオエンコーダ10cおよびビデオエンコーダ11cを制御してエンコードを行わせる。また、解像度エンコード制御部151cは、オリジナル画像のビットレート、圧縮方式、およびファイル形式を示す情報を取得する。
画質情報通知部153cは、解像度情報取得部152cが取得した解像度情報、および、解像度エンコード制御部151cが取得したスケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を示す情報を、画質情報として受信機2cに通知する。具体的には、画質情報通知部153cは、受信機2cからの要求に応じて、通信I/F16cを介して画質情報を当該受信機2cに送信する。
制御情報生成部154cは、送信機1cが送信するコンテンツを再生するための制御情報を生成する。この制御情報は、MMTではMMT−SIと呼ばれるものであり、コンテンツに関する種々の情報が含まれるが、ここでは、MMT−SIのうち、コンテンツの映像の出力中に実行されるプログラム(ソフトウェア)に関する情報が記述されたAIT(Application Information Table)の生成に絞って説明する。
このように、送信機1cでは、解像度情報取得部152cが画質情報としてオリジナル解像度を含む解像度情報を取得する処理(画質情報取得ステップ)を実行する。次に、解像度エンコード制御部151cが画質情報としてスケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を取得する処理(画質情報取得ステップ)を実行する。そして、制御情報生成部154cが上記の画質情報を取得するための制御情報(AIT)を生成する処理(制御情報生成ステップ)を実行する。そして、送信部14cが上記制御情報を受信機2cに送信する処理(制御情報送信ステップ)を実行し、該制御情報に従って画質情報の送信を要求する受信機2cに対し、画質情報通知部153cが画質情報を通信経路にて送信する処理(画質情報送信ステップ)を実行する。
したがって、このAITを受信した受信機2cにおいて、該AITと共に受信したコンテンツをその画質情報に応じた適切な画質調整を行って(あるいは画質調整を行わずに)表示させることが可能になる。
なお、解像度情報取得部152cおよび解像度エンコード制御部151cは、送信機1cが送信するコンテンツが切り替わる場合、切り替え後のコンテンツの画質情報を取得し、画質情報通知部153cは新たに取得された画質情報を送信する。このように、コンテンツの変化に追従して、異なる画質情報を送信することにより、常に最適な画質調整によってコンテンツを再生させることが可能になる。なお、上記の例のように、AITを書き換えることなく、送信する画質情報を切り替えてもよいし、送信する画質情報の変更に伴い、当該変更後の画質情報が取得されるようにAITを書き換えてもよい。
〔受信機の構成〕
続いて、受信機2cの構成を図14に基づいて説明する。図14は、受信機2cの要部構成の一例を示すブロック図である。受信機2cは、図示のように、チューナ20c、通信I/F21、復号部22、逆多重化部23c、オーディオデコーダ24c、ビデオデコーダ25c、画質調整部26c、表示制御部27c、ディスプレイ28c、入力部29c、および制御部30cを備えている。また、制御部30cには、復号制御部301c、逆多重化制御部302c、制御情報取得部303c、アプリ制御部304c、画質情報取得部305c、および画質調整受付部306cが含まれている。
チューナ20cは、放送経路にてデジタル放送信号として送信されるコンテンツ等を受信して復号部22cに出力する。一方、通信I/F21cは、通信経路にて送信されるコンテンツ等を受信して復号部22cに出力する。つまり、受信機2cは、放送経路と通信経路とを併用したハイブリッドキャストに対応した受信装置である。また、詳細は後述するが、通信I/F21cを介して画質情報が取得される。
復号部22cは、チューナ20cおよび通信I/F21cを介して受信したコンテンツが暗号化されていた場合、これを復号して逆多重化部23cに出力する。
逆多重化部23cは、復号部22cが出力するデータ(暗号は復号されているが多重化されている)を逆多重化する。そして、逆多重化によって得られた当該コンテンツの各構成要素(コンポーネント)を、当該コンポーネントの種別に応じて処理する。具体的には、逆多重化部23cは、オーディオのコンポーネントはオーディオデコーダ24cに出力し、ビデオのコンポーネントはビデオデコーダ25cに出力し、制御情報は制御情報取得部303cに出力する。
オーディオデコーダ24cは、逆多重化部23cが出力するオーディオコンポーネントを復号してオーディオデータを出力する。同様に、ビデオデコーダ25cは、逆多重化部23cが出力するビデオコンポーネントを復号してビデオデータを出力する。
画質調整部26cは、画質情報をもとに、画像処理の強度について決定し、決定した強度による画像処理を実行することにより、ビデオデコーダ25cが出力したビデオデータの画質を調整する。この画質調整により、ビデオデコーダ25cが出力したビデオデータが高画質になって、ディスプレイ28cに表示される。なお、画質調整部26cは、制御部30c内に設けられていてもよい。画質を調整するための画像処理の具体例については、後述する。
表示制御部27cは、ビデオデータをディスプレイ28cに表示させる制御を行う。また、ディスプレイ28cは、表示制御部27cの制御に従ってビデオデータを表示する。つまり、受信機2は、放送されるコンテンツの受信機能および再生(表示)機能を備えたテレビジョン受像機である。なお、ディスプレイ28cは、受信機2cに外付けされた外部の装置であってもよい。
入力部29cは、受信機2cに対するユーザ操作を受け付けて制御部30cに該操作の内容を通知する入力装置である。入力部29cは、例えば赤外線等で送信される、ユーザ操作の内容を示す信号を受信する受信部であってもよい。
制御部30cは、受信した制御情報に従って受信機2cの備える各部を制御する。具体的には、復号制御部301cは、復号部22cを制御してコンテンツの復号を行わせる。また、逆多重化制御部302cは、逆多重化部23cを制御してコンテンツの逆多重化を行わせる。
制御情報取得部303cは、逆多重化部23cが逆多重化することによって出力された制御情報を取得し、制御情報に含まれるAITをアプリ制御部304cに出力する。そして、アプリ制御部304cは、制御情報取得部303cが出力するAITに従って各種アプリケーションソフトウェア(以下、アプリと呼ぶ)の動作を制御する。具体的には、アプリ制御部304cは、画質情報取得部305cと画質調整受付部306cとを起動させ、また起動終了させる制御を行う。
画質情報取得部305cおよび画質調整受付部306cは、アプリによってその機能が実現されるものである。画質情報取得部305cは、通信I/F21cを介して送信機1cから画質情報を取得して画質調整受付部306cまたは画質調整部26cに送信する。画質調整受付部306cは、画質を調整するためのユーザ操作を受け付け、該ユーザ操作に応じた画質の調整方法を画質調整部26cに通知する。
〔AITと画質情報の取得〕
続いて、AITと画質情報の取得について、図15に基づいて説明する。図15は、放送信号と共に送信されるAITと該AITに従ったアプリの起動例を示す図である。
同図の(a)には、AITに従って1つのアプリ(画質情報取得部305c)を起動する例を示している。図示のように、AITは送信信号(放送信号)と共に送信されており、同一サービスの選局が維持されている間は、そのサービスのAITが定期的に送信される。
ここで、送信機1cが送信するAITには、画質情報取得部305cを自動で起動することを示す記述が含まれており、このAITを受信した受信機2cでは、この記述に従って画質情報取得部305cを起動する。そして、起動した画質情報取得部305cによって、画質情報が取得されると、画質情報取得部305cの起動を終了する。なお、画質情報の取得先は、例えばURL(Uniform Resource Locator)等の形式でAITに記述されていてもよい。
一方、同図の(b)には、AITに従って2つのアプリ(画質情報取得部305cと画質調整受付部306c)を起動する例を示している。この例においても、送信機1cが送信するAITには、画質情報取得部305cを自動で起動することを示す記述が含まれており、このAITを受信した受信機2cでは、この記述に従って画質情報取得部305cを起動する。
また、この例では、AITにもう1つのアプリ(画質調整受付部306cに対応するapp2)が記述されている。起動した画質情報取得部305cによって画質情報が取得され、所定のユーザ操作がなされると、AITに従って、画質情報取得部305c(app1)に代わって画質調整受付部306cを起動する。そして、起動した画質調整受付部306cによって、画質を調整するユーザ操作を受け付けて、該ユーザ操作に応じた画質の調整方法が決定されると、画質情報取得部305cおよび画質調整受付部306cの起動を終了する。
ここで、一般にテレビ放送では、ソースが異なる映像が連続して送信され、このような異なるソースの映像は画質がそれぞれ異なっている可能性がある。そこで、このようなケースに対応するため、送信機1cの画質情報通知部153cは、通知する画質情報を、新たなソースに対応するものに更新する。そして、受信機2cのアプリ制御部304cは、定期的に(例えば新たなAITを受信したタイミングや、AITのバージョンが変わったタイミングで)画質情報取得部305cを起動して、再度画質情報を取得させる。これにより、映像の変化に応じた適切な画質調整が可能となる。
〔コンテンツとの同期〕
上述のように、送信機1cは、放送経路にてコンテンツを送信すると共に、通信経路にてそのコンテンツの画質情報を送信する。そして、受信機2cは、放送経路にて送信される上記コンテンツを再生しながら、通信経路にて受信した画質情報に応じて再生する上記コンテンツの画質を調整する。このように、コンテンツとは異なる経路で画質情報を送信する場合、コンテンツの画質の切り替わりと高精度に同期させて、適用する画質情報も変化させるための仕組みが必要となる。
例えば、図16に示すように、画質が変化するタイミングをクロック(PCR:Program Clock Reference)で規定したタイミング指定情報を受信機2cに送信することにより、コンテンツの画質が切り替わるタイミングで、適用する画質情報を変化させることができる。図16は、タイミング指定情報と、該タイミング指定情報に応じた画質の変化の例を示す図である。なお、PCRは、ハイブリッドキャスト放送において、放送コンテンツと通信コンテンツとを同期させるために使用される時刻情報である。
図16の例では、PCR(1)となったタイミングにおけるコンテンツの画質は画質(1)であり、これがPCR(2)となると画質(2)に、PCR(3)となると画質(3)に切り替わっている。このような画質の変化は、例えば同図の左上に示すように、PCRとそのときの画質(画質情報)とを対応付けたタイミング指定情報として表すことができる。
なお、このようなタイミング指定情報は、コンテンツの放送スケジュールや、コンテンツの途中に放送される広告コンテンツ等に基づいて、画質が変化するタイミングおよび変化後にどのような画質となるかを予め取得しておくことによって生成することができる。
そして、このようなタイミング指定情報を受信した受信機2cでは、画質情報取得部305cが、該タイミング指定情報の示すタイミングに、該タイミングに対応付けられた画質情報を画質調整部26cに通知する。これにより、タイミング指定情報の示すタイミングで異なる画質調整を適用することが可能になる。
なお、画質情報取得部305cは、画質情報を画質調整受付部306cに送信してもよく、この場合には、画質調整受付部306cがユーザ操作に応じた画質の調整方法を決定し、該決定した調整方法を画質調整部26cに通知する。
ただし、広告コンテンツのような比較的放送時間の短いコンテンツへの切り替えの際に、ユーザに画質を調整させた場合、却ってユーザに煩わしさを感じさせることも考えられる。このため、切り替え後のコンテンツの放送時間が所定時間(例えば5分)以下である場合には、取得した画質情報に基づいて自動で画質を調整し、所定時間を超える場合にはユーザに調整させてもよい。
〔画質情報に応じた画質調整の概要〕
受信機2cの画質調整部26cは、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式を含む画質情報から入力映像の画質を推定し、その推定した画質から、画像処理の最適化を図る。すなわち、高画質用、低画質用などの画像処理パラメータ設定値の組合せを事前に用意しておき、入力画像を高画質に調整する方法として、入力映像の画質に応じて、画像処理パラメータ設定値の組合せを切り替えて、画像処理を実行する。
〔オリジナル解像度に応じた画質調整〕
続いて、オリジナル解像度に応じた画質調整について、画質調整部26cは、図4を用いて説明した処理と同様の処理を行う。また、図4を用いて説明した効果と同様の効果を奏する。
〔スケーリング方式に応じた画質調整〕
続いて、スケーリング方式に応じた画質調整について、画質調整部26cは、図5を用いて説明した処理と同様の処理を行う。また、図5を用いて説明した効果と同様の効果を奏する。
〔動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整〕
続いて、動画圧縮方式、ビットレート、およびファイル形式に応じた画質調整の一例について、画質調整部26cは、実施形態1で説明した処理と同様の処理を行う。また、実施形態1で説明した効果と同様の効果を奏する。
〔画質調整情報を用いた画質調整〕
上述の例では、画質調整部26cが画質情報を用いて、その画質情報に応じた画質調整を決定しているが、画質を調整する調整方法を示す画質調整情報を参照することによって適用する画質調整を決定してもよい。
上記の場合には、画質情報通知部153cが受信機2cに通知する画質情報に、画質調整情報を含める構成とすればよい。上記画質調整情報としては、例えば、当該コンテンツを放送する事業者により規定された画質調整情報であって、当該事業者が当該コンテンツを再生する際の設定としてユーザにおすすめする設定を示す画質調整情報などが挙げられる。
このような画質調整情報を受信した受信機2cでは、画質情報取得部305cがこの画質調整情報を画質調整部26cに送信し、画質調整部26cはこの画質調整情報を用いて映像の画質を調整する。なお、画質情報取得部305cは、ディスプレイ28cに応じた1つの画質調整情報を取得してもよいし、複数の画質調整情報を取得してもよい。複数の画質調整情報を取得した場合、その中からディスプレイ28cに応じた画質調整情報を抽出して画質調整部26cに送信する。また、画質調整情報を取得する場合であっても、オリジナル解像度、スケーリング方式、動画圧縮方式、ビットレート、およびファイル形式のような画質情報も合わせて取得してもよい。これにより、画質調整情報による画質調整が、ユーザの意に沿わないものとなった場合に、他の画質調整を行うことが可能になる。
〔画質情報の取得処理〕
次に、画質情報の取得について図17に基づいて説明する。図17は、受信機2cで実行される画質情報を取得する処理の一例を示すフローチャートである。なお、ここでは、ユーザ操作に基づく画質調整は行わず、受信機2cが自動的に画質を調整する例を説明する。
まず、制御情報取得部303cは、逆多重化部23cが出力する信号からAITを抽出してアプリ制御部304cに出力し、アプリ制御部304cはこのAITに従って画質情報取得部305cを起動する(S31)。
次に、起動した画質情報取得部305cは、上記AITの示す所定の取得先(この例では送信機1c)から通信経路にて画質情報を取得する(S32)。また、画質情報取得部305cは、取得した画質情報を画質調整部26cに送信して(S33)、その旨をアプリ制御部304cに通知する。そして、アプリ制御部304cは、画質情報取得部305cの起動を終了し(S34)、これにより画質情報の取得処理は終了する。
〔ユーザ操作による画質調整〕
続いて、ユーザ操作による画質調整について図18に基づいて説明する。図18は、ユーザ操作による画質調整を受け付ける場合に受信機2cで実行される処理の一例を示すフローチャートである。
ユーザが画質調整を行う場合、画質情報取得部305cに加え、画質調整受付部306cを起動し、この画質調整受付部306cによってユーザ操作を受け付ける。このため、画質調整のためのユーザ操作を受け付ける場合には、画質調整受付部306cを起動させるための記述をAITに含めておく。
まず、制御情報取得部303cは、逆多重化部23cが出力する信号からAITを抽出してアプリ制御部304cに出力し、アプリ制御部304cはこのAITに従って画質情報取得部305cを起動する(S40)。そして、起動した画質情報取得部305cは、画質情報を取得する(S41)。
また、アプリ制御部304cは、上記AITに従って画質調整受付部306cを起動し(S42)、画質情報取得部305cに指示して、画質調整受付部306cに画質情報を送信させる。そして、画質情報を受信した画質調整受付部306cは、画質調整の要否をユーザに選択させるための画面をディスプレイ28cに表示させて、画質調整の要否をユーザに選択させる。なお、画質調整が否である旨の選択がなされたときには、画質調整部26cに画質情報を送信して画質を調整させる。
ここで、画質調整が要である旨の選択がなされたときには、画質調整受付部306cは、ユーザに画質調整を行わせるための画面をディスプレイ28cに表示させて、画質調整するユーザ操作を受け付ける(S43)。
そして、画質調整受付部306cは、受け付けたユーザ操作に応じた調整方法を画質調整部26cに通知して(S44)、その旨をアプリ制御部304cに通知する。アプリ制御部304cは、画質調整受付部306cの起動を終了し(S45)、また、画質情報取得部305cの起動も終了して(S46)、これにより処理は終了する。
〔実施形態11〕
本発明の実施形態11について、図19及び図20に基づいて説明する。なお、上記実施形態と同様の構成には同一の参照番号を付し、その説明を省略する。まず、本実施形態の映像信号伝送システム500の概要を図19に基づいて説明する。図19は、映像信号伝送システム500の概略構成を示す図である。
図示のように、映像信号伝送システム500には、送信機100、受信機200、画質情報管理サーバ300、および端末装置(送信装置)400が含まれている。映像信号伝送システム500は、上記実施形態の映像信号伝送システム5cと同様に、送信機100から受信機200に映像信号等を伝送するシステムである。
映像信号伝送システム500では、端末装置400にて画質情報管理サーバ300から画質情報を取得し、取得した画質情報(または該画質情報に基づいて決定した画質の調整方法)を受信機200に送信する。なお、画質情報管理サーバ300は、放送される各コンテンツの画質情報を管理するサーバであり、該サーバにアクセスしてコンテンツを通知することにより、そのコンテンツに対応する画質情報を取得することができる。映像信号伝送システム500は、このような処理により、映像の画質に応じた画像処理を迅速に行わせることを可能にしている。
〔受信機および端末装置の構成〕
続いて、受信機200および端末装置400構成を図20に基づいて説明する。図20は、受信機200および端末装置400の要部構成の一例を示すブロック図である。受信機200は、図14の受信機2cと概ね同様の構成であるが、AITから画質情報を取得する機能を備えておらず、画質情報取得部305cが端末装置400から画質情報または画質の調整方法を取得する点で異なっている。なお、図20では、制御部30c内のブロックとして画質情報取得部305cのみを記載しているが、図14の復号制御部301c、逆多重化制御部302c等も制御部30cに含まれる。
端末装置400は、受信機200のユーザが使用するものであり、受信機200および画質情報管理サーバ300との通信機能を備えた端末装置である。端末装置400は、例えばスマートフォンやタブレット端末のような汎用の端末装置であってもよい。図示のように、端末装置400は、通信I/F40、制御部41、表示部42、および入力部43を備えている。
通信I/F40は、端末装置400が外部の装置、具体的には受信機200および画質情報管理サーバ300と通信経路にて通信するためのものである。通信I/F40は、例えばインターネットのような通信網を介して通信を行う装置であってもよい。なお、受信機200と通信を行うための通信I/Fと、画質情報管理サーバ300と通信を行うための通信I/Fとが個別に設けられていてもよい。
制御部41は、端末装置400の各部を統括して制御するものであり、画質情報取得部411、画質情報通知部(画質情報送信部)412、および画質調整受付部413を含む。
画質情報取得部411は、画質情報を取得する。具体的には、画質情報取得部411は、ユーザの指定したコンテンツ(放送されており、受信機200で受信されているコンテンツ)の画質情報を、画質情報管理サーバ300から取得する。そして、画質情報取得部411は、取得した画質情報を画質調整受付部413に送信する。なお、端末装置400では画質の調整を行わない構成とすることも可能であり、この場合には、画質調整受付部413は、取得した画質情報を画質情報通知部412に送信し、画質情報通知部412はこの画質情報を受信機200に送信する。
画質情報通知部412は、画質調整受付部413が決定した画質の調整方法を通信経路で(通信I/F40cを介して)受信機200に通知する。なお、上記の通り、端末装置400で画質の調整を行わない場合には、画質情報通知部412は、画質情報取得部411が取得した画質情報を通信I/F40cを介して受信機200に通知する。
画質調整受付部413は、画質情報取得部411が取得した画質情報に基づき、コンテンツの画質を調整するユーザ操作を受け付ける画質調整画面を表示部42に表示させる。そして、該画質調整画面の表示中のユーザ操作に従って画質の調整方法を決定し、決定した調整方法を画質情報通知部412に送信する。これにより、当該調整方法が受信機200に通知される。
表示部42は、制御部41の制御に従って画像を表示する表示装置であり、入力部43は端末装置400に対するユーザの入力操作を受け付けて制御部41に該操作の内容を通知する入力装置である。ここでは、表示部42の表示面と入力部43の入力面とが一体に構成されたタッチパネルである例を説明するが、表示部42と入力部43とは独立した別個の装置であってもよい。
以上のように、本実施形態の映像信号伝送システム500によれば、ユーザは端末装置400にて、受信機200に表示されるコンテンツの画質を自分の好みに合うように調整することができる。そして、この映像信号伝送システム500では、送信機100は、画質情報の取得や送信等、画質の調整のための処理を行う必要がなく、このため、従来の放送局で使用されているような一般的な送信機をそのまま適用することも可能である。
また、この映像信号伝送システム500では、受信機200に画質を調整するユーザ操作を受け付けるための構成を設ける必要がなく、端末装置400にアプリをインストールするだけで画質を調整するユーザ操作を受け付けることができる。よって、受信機200の製造コストを増加させることなく、ユーザによる画質の調整を簡易に実現することができる。
〔実施形態12:変形例〕
上記実施形態の送信機1cは、画質情報を受信機2cに送信する送信装置としての機能と、画質情報を取得するためのAITを生成する制御情報生成装置としての機能と、デジタル放送信号を送信する放送信号送信装置としての機能とを備えていた。しかしながら、互いに独立した送信装置と制御情報生成装置と放送信号送信装置との組み合わせによっても、上記送信機1cと同様の機能を実現することができる。例えば、画質情報を送信する送信装置と、上記AITを生成する制御情報生成装置と、放送信号を送信する放送信号送信装置とを含む映像信号伝送システムであっても、上記送信機1cと同様の機能を実現できる。また、例えば、画質情報を送信する送信装置と、上記AITを生成する機能と放送信号を送信する機能とを備えた装置との組み合わせによっても、上記送信機1cと同様の機能を実現できる。
そして、上記各実施形態では、コンテンツを放送経路で送信する例を説明したが、コンテンツは通信経路で送信してもよい。また、放送経路で送信されるコンテンツと通信経路で送信されるコンテンツを組み合わせて再生してもよい。
〔実施形態13:ソフトウェアによる実現例〕
送信機1c、受信機2c、受信機200、および端末装置400の制御ブロック(特に制御部15c、多重化部12c、暗号化部13c、送信部14c、復号部22c、逆多重化部23c、画質調整部26c、表示制御部27c、制御部30c、制御部41)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、送信機1c、受信機2c、受信機200、および端末装置400は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様25に係る送信装置(送信機1c、端末装置400)は、放送経路と通信経路とを併用したハイブリッドキャストに対応した受信装置(受信機2c)に情報を送信する送信装置であって、上記受信装置に送信されるコンテンツの映像の画質に関する画質情報を取得する画質情報取得部(解像度エンコード制御部151c、解像度情報取得部152c、画質情報取得部411)と、上記画質情報を通信経路にて上記受信装置に送信する画質情報送信部(画質情報通知部153c、画質情報通知部412)と、を備えている。
上記の構成によれば、画質情報を通信経路にて受信装置に送信する。ここで、上記受信装置は、放送経路と通信経路とを併用したハイブリッドキャストに対応しているから、通信経路で受信した画質情報を用いてコンテンツを再生することができる。よって、上記の構成によれば、該画質情報を受信した受信装置に、映像の画質に応じた画像処理を迅速に行わせることができる。
本発明の態様26に係る送信装置は、上記態様25において、上記画質情報には、オリジナル画像の解像度、オリジナル画像に施されたスケーリング処理の方式、圧縮方式、ビットレート、およびファイル形式の少なくとも何れかを示す情報が含まれていることとしてもよい。
本発明の態様27に係る送信装置では、上記態様25又は26において、上記画質情報送信部は、上記画質情報を適用すべきタイミングを示すタイミング指定情報を送信してもよい。
上記の構成によれば、タイミング指定情報を送信するので、このタイミング指定情報の示すタイミングで、画質情報に応じた画質調整を適用させることができる。これにより、例えばフレーム単位で異なる画質調整を適用させることも可能になる。なお、上記タイミング指定情報としては、例えばクロック(PCR)のような、ハイブリッドキャストにおいて同期制御に使用される時刻情報を適用することが好ましい。
本発明の態様28に係る送信装置では、上記態様25から27において、上記画質情報には、上記コンテンツの映像の画質を調整する調整方法を示す画質調整情報が含まれていてもよい。
上記の構成によれば、画質情報には画質調整情報が含まれているので、これを受信した受信装置は、該画質調整情報の示す調整方法を用いて上記コンテンツの映像の画質を調整することができる。つまり、上記の構成によれば、受信装置に画質の調整方法を決定する処理を行わせることなく、コンテンツの映像の画質を調整させることができる。
本発明の態様29に係る制御情報生成装置(送信機1c)は、放送経路と通信経路とを併用したハイブリッドキャストに対応した受信装置(受信機2c)に送信されるコンテンツの再生に関する制御情報を生成する制御情報生成装置であって、上記コンテンツの映像の画質に関する画質情報を取得するための制御情報(AIT)を生成する制御情報生成部(154c)と、上記受信装置に上記制御情報を送信する制御情報送信部(送信部14c)と、を備えている。
上記の構成によれば、画質情報を取得するための制御情報を生成して受信装置に送信するので、該受信装置に該制御情報を用いて画質情報を取得させることができる。よって、上記の構成によれば、受信装置に映像の画質に応じた画像処理を迅速に行わせることができる。
本発明の態様30に係る制御情報生成装置は、上記態様29において、上記制御情報送信部は、上記制御情報を上記コンテンツと共にデジタル放送信号として上記受信装置に送信する構成であってもよい。
上記の構成によれば、上記制御情報を上記コンテンツと共にデジタル放送信号として送信する。よって、このデジタル放送信号を受信した受信装置に、上記制御情報に従って取得した画質情報に応じて、画像処理を迅速に行わせることができる。
本発明の態様31に係る受信装置(受信機2c)は、放送経路と通信経路とを併用したハイブリッドキャストに対応した受信装置であって、再生対象のコンテンツの映像の画質に関する画質情報を取得するための制御情報を取得する制御情報取得部(303c)と、上記制御情報に従って通信経路にて取得された上記画質情報に応じて、上記コンテンツの映像の画質を調整する画質調整部(26c)と、を備えている。
上記の構成によれば、コンテンツの映像の画質に関する画質情報を取得するための制御情報を取得して、この制御情報に従って通信経路にて取得された上記画質情報に応じて上記コンテンツの映像の画質を調整する。よって、上記の構成によれば、画質情報に応じて画像処理を迅速に行うことができる。
本発明の態様32に係るテレビジョン受像機は、上記態様31に記載の受信装置を含んでいる。よって、態様31の受信装置と同様の作用効果を奏する。
本発明の態様33に係る映像信号伝送システム5cは、放送経路と通信経路とを併用したハイブリッドキャストに対応した受信装置(受信機2c)にコンテンツを送信する送信装置(送信機1c)と該コンテンツを受信する受信装置とを含む映像信号伝送システムであって、上記送信装置は、上記コンテンツの映像の画質に関する画質情報を取得するための制御情報を上記コンテンツと共にデジタル放送信号として上記受信装置に送信し、上記受信装置は、上記デジタル放送信号から取得した上記制御情報に従って上記画質情報を通信経路にて取得し、上記コンテンツの映像の画質を上記画質情報に応じて調整する。よって、態様25の送信装置および態様31の受信装置と同様の作用効果を奏する。
本発明の各態様に係る送信装置、制御情報生成装置、および受信装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記送信装置、制御情報生成装置、または受信装置が備える各部として動作させることにより上記送信装置、制御情報生成装置、または受信装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。