JPWO2017006948A1 - 受信装置、受信方法、送信装置および送信方法 - Google Patents
受信装置、受信方法、送信装置および送信方法 Download PDFInfo
- Publication number
- JPWO2017006948A1 JPWO2017006948A1 JP2017527472A JP2017527472A JPWO2017006948A1 JP WO2017006948 A1 JPWO2017006948 A1 JP WO2017006948A1 JP 2017527472 A JP2017527472 A JP 2017527472A JP 2017527472 A JP2017527472 A JP 2017527472A JP WO2017006948 A1 JPWO2017006948 A1 JP WO2017006948A1
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- video
- stream
- data
- bitmap data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
- H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
Abstract
サブタイトル(グラフィクス)のビデオへの重畳表示を良好に行い得るようにする。UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する。ビデオストリームをデコードしてビデオデータを得る。サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得る。サブタイトルの解像度がUHD解像度に不一致の場合、サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理を行う。位置変換の処理が行われたサブタイトルのビットマップデータをビデオデータに重畳して表示用ビデオデータを得る。
Description
本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、サブタイトルやグラフィクスをビデオに重畳表示する受信装置等に関する。
従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、サブタイトルデータをビットマップデータで送信する運用が行われている(例えば、特許文献1参照)。
従来のサブタイトルデータの送信方法においては、背景となるビデオの解像度に依存した精度のデータを送ることを前提としていた。4K、8KなどのUHD(Ultra High Definition)解像度のビデオサービスで、サブタイトルの解像度は種々考えられる。
本技術の目的は、サブタイトル(グラフィクス)のビデオへの重畳表示を良好に行い得るようにすることにある。
本技術の概念は、
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得るサブタイトルデコード処理と、上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置にある。
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得るサブタイトルデコード処理と、上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。制御部により、ビデオデコード処理、サブタイトルデコード処理、位置変換処理およびビデオ重畳処理が制御される。ビデオデコード処理では、ビデオストリームがデコードされてビデオデータが得られる。サブタイトルデコード処理では、サブタイトルストリームがデコードされてサブタイトルのビットマップデータが得られる。
位置変換処理では、サブタイトルの解像度がUHD解像度に不一致の場合、サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理が行われる。そして、ビデオ重畳処理では、位置変換の処理が行われたサブタイトルのビットマップデータがビデオデータに重畳される。例えば、UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものであってもよい。
このように本技術においては、サブタイトルの解像度がビデオのUHD解像度と一致しない場合に、サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理が行われる。そのため、サブタイトルのビデオへの重畳表示を良好に行い得る。つまり、サブタイトルの解像度がビデオのUHD解像度と一致しない場合であっても、サブタイトルを背景ビデオの適切な位置に表示することが可能となる。
なお、本技術において、制御部は、位置変換の処理が行われたサブタイトルのビットマップデータに対してサブタイトルのサイズ変換の処理を行うサイズ変換処理をさらに制御し、ビデオ重畳処理では、サイズ変換の処理が行われたサブタイトルのビットマップデータをビデオデータに重畳する、ようにされてもよい。この場合、サブタイトルを適切なサイズで表示することが可能となる。
また、本技術の他の概念は、
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得処理と、上記取得されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信装置にある。
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得処理と、上記取得されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信装置にある。
本技術において、受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。制御部により、ビデオデコード処理、ビットマップデータ取得処理およびビデオ重畳処理が制御される。ビデオデコード処理では、ビデオストリームがデコードされてビデオデータが得られる。サブタイトルストリームのレイヤおよび/またはコンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されている。
ビットマップデータ取得処理では、サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータが取得される。ビットマップデータ取得処理では、サブタイトルストリームに識別情報で示される位置指定方法に応じた処理が行われて表示用のサブタイトルのビットマップデータが取得される。ビデオ重畳処理では、このように取得されたサブタイトルのビットマップデータがビデオデータに重畳される。
例えば、識別情報で示される位置指定方法が、HDの表示領域にHD画素単位で位置指定を行う方法である場合、ビットマップデータ取得処理では、サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、このビットマップデータに対してUHD解像度のHD解像度に対する比率に基づいて位置変換処理を行って表示用のサブタイトルのビットマップデータを取得する、ようにされてもよい。
また、例えば、識別情報で示される位置指定方法がUHDの表示領域にウインドウでHD表示領域を定義し、このウインドウ表示領域で位置指定を行う方法である場合、ビットマップデータ取得処理では、サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、このビットマップデータに対してウインドウ表示領域の情報に基づいて位置変換処理を行って表示用のサブタイトルのビットマップデータを取得する、ようにされてもよい。
また、例えば、識別情報で示される位置指定方法が、UHDの表示領域にUHD画素単位で位置指定を行う方法である場合、ビットマップデータ取得処理では、サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、このビットマップデータをそのまま表示用のサブタイトルのビットマップデータとする、ようにされてもよい。
このように本技術においては、サブタイトルストリームに識別情報で示される位置指定方法に応じた処理が行われて表示用のサブタイトルのビットマップデータが取得される。そのため、サブタイトルのビデオへの重畳表示を良好に行い得る。例えば、サブタイトルの解像度がビデオのUHD解像度と一致しない場合であっても、サブタイトルを背景ビデオの適切な位置に表示することが可能となる。
なお、本技術において、例えば、制御部は、ビットマップデータ取得処理で取得されたサブタイトルのビットマップデータに対してサブタイトルのサイズ変換の処理を行うサブタイトル処理部をさらに制御し、ビデオ重畳処理では、サイズ変換の処理が行われたサブタイトルのビットマップデータをビデオデータに重畳する、ようにされてもよい。この場合、サブタイトルを適切なサイズで表示することが可能となる。
また、本技術の他の概念は、
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置にある。
UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、送信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、サブタイトルストリームのレイヤおよび/またはコンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入される。
例えば、情報挿入部は、識別情報をイベント・インフォメーション・テーブル、サービス・デスクリプション・テーブル、あるいはセレクション・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。また、例えば、情報挿入部は、識別情報をディスプレイ・ディフィニション・セグメントに挿入する、ようにされてもよい。
例えば、サブタイトルの位置指定方法には、HDの表示領域にHD画素単位で位置指定を行う方法が含まれる、ようにされてもよい。また、例えば、サブタイトルの位置指定方法には、UHDの表示領域にウインドウでHD表示領域を定義し、このウインドウの表示領域で位置指定を行う方法が含まれる、ようにされてもよい。また、例えば、サブタイトルの位置指定方法には、UHDの表示領域にUHD画素単位で位置指定を行う方法が含まれる、ようにされてもよい。
このように本技術においては、サブタイトルの位置指定方法を示す識別情報が、サブタイトルストリームのレイヤおよび/またはコンテナのレイヤに挿入されて送信される。そのため、受信側では、サブタイトルストリームに対してこの識別情報で示される位置指定方法に応じた処理を行って表示用のサブタイトルのビットマップデータを取得することで、サブタイトルのビデオへの重畳表示を良好に行い得る。
また、本技術の他の概念は、
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームをデコードしてグラフィクスのビットマップデータを得るグラフィクスデコード処理と、上記グラフィクスの解像度が上記UHD解像度に不一致の場合、上記グラフィクスのビットマップデータに対してグラフィクスの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置にある。
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームをデコードしてグラフィクスのビットマップデータを得るグラフィクスデコード処理と、上記グラフィクスの解像度が上記UHD解像度に不一致の場合、上記グラフィクスのビットマップデータに対してグラフィクスの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置にある。
また、本技術の他の概念は、
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームに基づいて表示用のグラフィクスのビットマップデータを取得するビットマップデータ取得処理と、上記取得されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記グラフィクスストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のグラフィクスのビットマップデータを取得する
受信装置にある。
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームに基づいて表示用のグラフィクスのビットマップデータを取得するビットマップデータ取得処理と、上記取得されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記グラフィクスストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のグラフィクスのビットマップデータを取得する
受信装置にある。
また、本技術の他の概念は、
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置にある。
UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置にある。
本技術によれば、サブタイトルのビデオへの重畳表示を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、UHD解像度のビデオデータ(画像データ)を持つビデオストリームが含まれる。ここで、UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである。
また、このトランスポートストリームTSには、サブタイトルデータ(字幕データ)を持つサブタイトルストリームが含まれる。ここで、サブタイトルデータは、サブタイトルのビットマップデータである。サブタイトルストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームTSのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されている。
この実施の形態において、サブタイトルの位置指定方法には、以下の第1から第3の方法が含まれる。
第1の方法:HDの表示領域にHD画素単位で位置指定を行う方法
第2の方法:UHDの表示領域にウインドウでHD表示領域を定義し、このウインドウの表示領域で位置指定を行う方法
第3の方法:UHDの表示領域にUHD画素単位で位置指定を行う方法
第1の方法:HDの表示領域にHD画素単位で位置指定を行う方法
第2の方法:UHDの表示領域にウインドウでHD表示領域を定義し、このウインドウの表示領域で位置指定を行う方法
第3の方法:UHDの表示領域にUHD画素単位で位置指定を行う方法
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを受信する。受信装置200は、ビデオストリームにデコード処理を施してビデオデータを得る。また、受信装置200は、サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得する。受信装置200は、この表示用のサブタイトルのビットマップデータに、必要に応じて、サイズ変換処理をする。そして、受信装置200は、この表示用のサブタイトルのビットマップデータをビデオデータに重畳して、表示用のビデオデータを得る。
ここで、受信装置200は、識別情報で示される位置指定方法が第1の方法であるとき、サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、このビットマップデータに対してUHD解像度のHD解像度に対する比率に基づいて位置変換処理を行って表示用のサブタイトルのビットマップデータを取得する。
また、受信装置200は、識別情報で示される位置指定方法が第2の方法であるとき、サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、このビットマップデータに対してウインドウ表示領域の情報に基づいて位置変換処理を行って表示用のサブタイトルのビットマップデータを取得する。
また、受信装置200は、識別情報で示される位置指定方法が第3の方法であるとき、サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、このビットマップデータをそのまま表示用のサブタイトルのビットマップデータとする。
「背景ビデオ上のサブタイトルの表示位置」
ここで、背景ビデオ上のサブタイトルの表示位置について説明する。図2(a)は、ビデオがHD解像度で、サブタイトルがHD解像度対応である場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は(a,b)、その終了点の画素位置は(c,d)となっている。この場合、背景ビデオの解像度とサブタイトルの解像度とが一致しているので、受信側では、サブタイトルの位置変換処理をせずとも、背景ビデオ上の制作側が意図した位置にサブタイトルを表示することが可能となる。
ここで、背景ビデオ上のサブタイトルの表示位置について説明する。図2(a)は、ビデオがHD解像度で、サブタイトルがHD解像度対応である場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は(a,b)、その終了点の画素位置は(c,d)となっている。この場合、背景ビデオの解像度とサブタイトルの解像度とが一致しているので、受信側では、サブタイトルの位置変換処理をせずとも、背景ビデオ上の制作側が意図した位置にサブタイトルを表示することが可能となる。
図2(b)は、ビデオがUHD解像度で、サブタイトルが同じUHD解像度対応である場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は(a,b)、その終了点の画素位置は(c,d)となっている。この場合、背景ビデオの解像度とサブタイトルの解像度とが一致しているので、受信側では、サブタイトルの位置変換処理をせずとも、背景ビデオ上の制作側が意図した位置にサブタイトルを表示することが可能となる。この例は、受信側で位置変換処理を行わないので、上述のサブタイトルの位置指定方法が第3の方法である場合に対応する。
図2(c)は、ビデオがUHD解像度で、サブタイトルがHD解像度対応である場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は(a,b)、その終了点の画素位置は(c,d)となっている。この場合、背景ビデオの解像度がサブタイトルの解像度より大きいことから、背景ビデオ上のサブタイトルの表示位置は、制作側が意図した位置ではなく、右上に偏った状態となる。
この場合、受信側では、サブタイトルの位置変換処理を行うことで、背景ビデオ上の制作側が意図した位置にサブタイトルを表示することが可能となる。図2(d)は、位置変換処理を行った場合の例を示している。サブタイトルの表示領域であるリージョンの開始点の画素位置は(a´,b´)、その終了点の画素位置は(c´,d´)となっている。なお、この例では、位置変換と同時に、サブタイトルのサイズ変換処理も行っている。この例は、受信側で位置変換処理を行うので、上述のサブタイトルの位置指定方法が第1あるいは第2の方法である場合に対応する。
「送信装置の構成例」
図3は、送信装置100の構成例を示している。この送信装置100は、制御部101と、カメラ102と、ビデオ光電変換部103と、RGB/YCbCr変換部104と、ビデオエンコーダ105と、サブタイトル発生部106と、ビットマップデータ発生部107と、サブタイトルエンコーダ108と、システムエンコーダ109と、送信部110を有している。
図3は、送信装置100の構成例を示している。この送信装置100は、制御部101と、カメラ102と、ビデオ光電変換部103と、RGB/YCbCr変換部104と、ビデオエンコーダ105と、サブタイトル発生部106と、ビットマップデータ発生部107と、サブタイトルエンコーダ108と、システムエンコーダ109と、送信部110を有している。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。カメラ102は、被写体を撮像して4K解像度、8K解像度などのUHD解像度のビデオデータ(画像データ)を出力する。ビデオ光電変換部103は、カメラ102で得られたビデオデータに対して、光電変換を施して、伝送ビデオデータV1を得る。
RGB/YCbCr変換部104は、伝送ビデオデータをRGBドメインからYCbCr(輝度・色差)ドメインに変換する。ビデオエンコーダ105は、YCbCrドメインに変換された伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施し、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSを生成する。
サブタイトル発生部106は、サブタイトル情報としてのテキストデータ(文字コード)DTを発生する。ビットマップデータ発生部107は、サブタイトル発生部106で発生されるテキストデータDTを入力し、サブタイトルのビットマップデータを発生する。サブタイトルエンコーダ108は、サブタイトルのビットマップデータと表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。
サブタイトルの解像度の情報は、ディスプレイ・ディフィニション・セグメント(display_difinition_segment)に含まれる。また、この実施の形態において、このディスプレイ・ディフィニション・セグメントには、サブタイトルの位置指定方法を示す識別情報も含まれる。
図4は、ディスプレイ・ディフィニション・セグメントの構造例(Syntax)を示している。「display_window_flag」の1ビットフィールドは、ウインドウの定義があるか否かを示す。“1”は、ウインドウの定義があることを示す。“0”は、ウインドウの定義がないことを示す。「display_positioning_type」の2ビットフィールドは、サブタイトルの位置指定方法を示す。
図5に示すように、“00”は、第1の方法、つまりHDの表示領域にHD画素単位で位置指定を行う方法であることを示す。“01”は、第2の方法、つまりUHDの表示領域にウインドウでHD表示領域を定義し、このウインドウの表示領域で位置指定を行う方法であることを示す。“10”は、第3の方法、つまりUHDの表示領域にUHD画素単位で位置指定を行う方法であることを示す。
図4に戻って、「display_width」の16ビットフィールド、「display_height」の16ビットフィールドは、サブタイトルの解像度を示す。例えば、「display_width」は、HD解像度であるときは1920を示し、4K解像度であるときは3820を示す。また、例えば、「display_height」は、HD解像度であるときは1080を示し、4K解像度であるときは2160を示す。
「display_window_flag」=“1”であるとき、ウインドウの領域を示すフィールドが存在する。すなわち、「display_window_horizontal_position_minimum」の16ビットフィールド、「display_window_horizontal_position_maximum」の16ビットフィールド、「display_window_vertical_position_minimum」の16ビットフィールド、「display_window_vertical_position_maximum」の16ビットフィールドが存在する。
「display_window_horizontal_position_minimum」および「display_window_vertical_position_minimum」のフィールドは、ウインドウの開始点の座標を示す。「display_window_horizontal_position_maximum」および「display_window_vertical_position_maximum」のフィールドは、ウインドウの終了点の座標を示す。
また、サブタイトルの表示領域であるリージョン(Region)の開始位置の情報は、ページ・コンポジション・セグメント(page_composition_segment)に含まれる。図6は、ページ・コンポジション・セグメントの構造例(Syntax)を示している。「region_horizontal_address」および「region_vertical_address」のフィールドは、リージョン(Region)の開始位置の座標を示す。
また、リージョンの水平、垂直のサイズを示す情報は、リージョン・コンポジション・セグメント(region_composition_segment)に含まれる。図7は、リージョン・コンポジション・セグメントの構造例(Syntax)を示している。「region_width」のフィールドおよび「resion_height」のフィールドは、リージョンの水平、垂直のサイズを示している。
また、サブタイトル(字幕)と背景ビデオとの混合比を示す情報は、CLUT・デフィニション・セグメント(CLUT_definition_segment)に含まれる。図8は、CLUT・デフィニション・セグメントの構造例(Syntax)を示している。「T-value」のフィールドは、サブタイトルと背景ビデオとの混合比を示している。
ここで、各サブタイトルの位置指定方法における各フィールドの値の設定について説明する。最初は、第2の方法(「display_positioning_type」=“01”)の場合について説明する。この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_width」、「display_height」のフィールドは、図9(a)に示すUHD表示領域を示す。このUHD表示領域の開始点の座標は(0,0)で、その終了点の座標は(x、y)である。この場合、「display_width」=UHD_h、「display_height」=UHD_vである。
そして、この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_window_flag」は“1”であり、ウインドウの領域を示すフィールドが存在する。このウインドウは、HDの表示領域と同じサイズ、つまり水平方向サイズがHD_h、垂直方向サイズがHD_vである。
ディスプレイ・ディフィニション・セグメント(図4参照)の「display_window_horizontal_position_minimum」および「display_window_vertical_position_minimum」のフィールドは、ウインドウの開始点の座標(sfx、sfy)を示す。また、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_window_horizontal_position_maximum」および「display_window_vertical_position_maximum」のフィールドは、ウインドウの終了点の座標(efx、efy)を示す。
この場合、図9(b)に示すように、ページ・コンポジション・セグメント(図6参照)の「region_horizontal_address」および「region_vertical_address」のフィールドで示されるリージョンの開始位置の座標は、ウインドウの開始点の座標(sfx、sfy)を起点とする座標となる。
ここで、UHD表示領域の開始点(0,0)を起点とすると、リージョンA、リージョンBの表示開始位置(Rendering start position)および表示終了位置(Rendering end position)は、図9(c)に示すように表される。すなわち、リージョンA、リージョンBをUHD解像度の背景ビデオ上に表示する場合、ウインドウのオフセットを加えて、UHDの座標系に変換(位置変換)する。これにより、UHD解像度の背景ビデオの上に、オフセットを付けて、HD解像度のサブタイトルを表示できる。
この場合、サブタイトルの表示領域はウインドウ内に限定される。しかし、図10(a)に示すように、ウインドウの位置を時系列的に変化させることで、UHD表示領域を全体的に使ってサブタイトルを表示することが可能となる。図10(b)、図10(c)は、ウインドウの位置を変化させて、UHD表示領域上でサブタイトルの表示位置を変化させた場合の例を示している。
次に、第3の方法(「display_positioning_type」=“10”)の場合について説明する。この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_width」、「display_height」のフィールドは、図11(a)に示すUHD表示領域を示す。このUHD表示領域の開始点の座標は(0,0)で、その終了点の座標は(x、y)である。この場合、「display_width」=UHD_h、「display_height」=UHD_vである。この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_window_flag」は“0”であり、ウインドウの領域を示すフィールドは存在しない。
この場合、図11(a)に示すように、ページ・コンポジション・セグメント(図6参照)の「region_horizontal_address」および「region_vertical_address」のフィールドで示されるリージョンの開始位置の座標は、UHD表示領域の開始点の座標(0,0)を起点とする座標となる。
ここで、リージョンA、リージョンBの表示開始位置(Rendering start position)および表示終了位置(Rendering end position)は、図11(b)に示すように表される。リージョンA、リージョンBをUHD解像度の背景ビデオ上に表示する場合、リージョンA、リージョンBは既にUHDの座標系にあるので、UHDの座標系への変換(位置変換)は不要となる。
次に、第1の方法(「display_positioning_type」=“00”)の場合について説明する。この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_width」、「display_height」のフィールドは、図12(a)に示すHD表示領域を示す。このHD表示領域の開始点の座標は(0,0)で、その終了点の座標は(x、y)である。この場合、「display_width」=HD_h、「display_height」=HD_vである。この場合、ディスプレイ・ディフィニション・セグメント(図4参照)の「display_window_flag」は“0”であり、ウインドウの領域を示すフィールドは存在しない。
この場合、図12(a)に示すように、ページ・コンポジション・セグメント(図6参照)の「region_horizontal_address」および「region_vertical_address」のフィールドで示されるリージョンの開始位置の座標は、HD表示領域の開始点の座標(0,0)を起点とする座標となる。
ここで、リージョンA、リージョンBの表示開始位置(Rendering start position)および表示終了位置(Rendering end position)は、図12(b)に示すように表される。リージョンA、リージョンBをUHD解像度の背景ビデオ上に表示する場合、リージョンA、リージョンBはUHDの座標系への変換(位置変換)が必要となる。この場合、UHD解像度のHD解像度に対する比率m(例えば、UHD解像度が4Kであるときはm=2、UHD解像度が8Kであるときはm=4となる)に基づいてUHDの座標系への変換(位置変換)が可能となる。なお、ビデオのUHD解像度の情報は、ビデオストリームのパラメータセット(SPS)から検知可能である。
図3に戻って、システムエンコーダ109は、ビデオエンコーダ105で生成されたビデオストリームVSと、サブタイトルエンコーダ108あるいはサブタイトルエンコーダ113で生成されたサブタイトルストリームSSを含むトランスポートストリームTSを生成する。送信部110は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
このとき、システムエンコーダ109は、コンテナとしてのトランスポートストリームTSのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する。具体的には、システムエンコーダ109は、イベント・インフォメーション・テーブル(EIT:Event Information Table)、サービス・デスクリプション・テーブル(SDT:Service Description Table)、あるいはセレクション・インフォメーション・テーブル(SIT:Selection Information Table)などの配下に挿入されるコンポーネント・デスクリプタ(Component_descriptor)に、当該識別情報を挿入する。
図13(a)は、その場合におけるコンポーネント・デスクリプタの構造例(Syntax)を示している。図13(b)は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、“0x50”とされ、コンポーネント・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「display_positioning_type」の2ビットフィールドは、サブタイトルの位置指定方法を示す。“00”は、第1の方法、つまりHDの表示領域にHD画素単位で位置指定を行う方法であることを示す。“01”は、第2の方法、つまりUHDの表示領域にウインドウでHD表示領域を定義し、このウインドウの表示領域で位置指定を行う方法であることを示す。“10”は、第3の方法、つまりUHDの表示領域にUHD画素単位で位置指定を行う方法であることを示す。「stream_content」の4ビットフィールドは、ストリームのタイプを示す。ここでは、“0x03”とされ、DVBサブタイトルであることを示す。
「トランスポートストリームTSの構成例」
図14は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
図14は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
ビデオストリームのPESパケットには、ビデオ符号化ストリームが挿入されている。また、サブタイトルストリームのPESパケットには、サブタイトルのビットマップデータと表示制御情報を含む種々のセグメントが挿入されている。ディスプレイ・ディフィニション・セグメント(DDS)(図4参照)には、サブタイトルの位置指定方法を示す識別情報が含まれる。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)が存在する。
ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値“0x24”に設定され、PID情報はビデオストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
サブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)には、サブタイトルストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、PID情報はサブタイトルストリームのPESパケット「Subtitle PES2」に付与されるPID2を示すものとされる。
また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。このEITには、番組単位のメタデータが記載される。このEITの配下に、サブタイトルの位置指定方法を示す識別情報が含まれるコンポーネント・デスクリプタ(Component_descriptor)(図13(a)参照)が挿入される。
なお、トランスポートストリームTSには、サービス・デスクリプション・テーブル(SDT:Service Description Table)やセレクション・インフォメーション・テーブル(SIT:Selection Information Table)も含まれている。SDTには、編成チャネル名、放送事業者名など、編成チャネルに関する情報が記載される。SITには、パーシャルTSのストリーム情報およびストリームで伝送されるサービスとイベントに関する情報が記載される。コンポーネント・デスクリプタは、これらのテーブルの配下に挿入される場合もある。
図3に示す送信装置100の動作を簡単に説明する。カメラ102で撮像されて得られたUHD解像度のビデオデータ(画像データ)は、ビデオ光電変換部103に供給される。ビデオ光電変換部103では、カメラ102で得られたビデオデータに対して、光電変換が施されて、伝送ビデオデータV1が得られる。
ビデオ光電変換部103で得られた伝送ビデオデータV1は、RGB/YCbCr変換部104でRGBドメインからYCbCr(輝度・色差)ドメインに変換された後に、ビデオエンコーダ105に供給される。ビデオエンコーダ105では、この伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどのエンコード処理が施されて、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSが生成される。
サブタイトル発生部106では、サブタイトル情報としてのテキストデータ(文字コード)DTが発生される。このテキストデータDTはビットマップデータ発生部107に供給される。ビットマップデータ発生部107では、テキストデータDTに基づいて、サブタイトルのビットマップデータが発生される。
このサブタイトルのビットマップデータは、サブタイトルエンコーダ108に供給される。サブタイトルエンコーダ108では、サブタイトルのビットマップデータと表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたPESパケットで構成されるサブタイトルストリームSSが生成される。
この場合、ディスプレイ・ディフィニション・セグメント(DDS)(図4参照)には、サブタイトルの解像度の情報(「display_width」、「display_height」)が含まれる。また、このDDSには、サブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)が含まれる。
また、識別情報が第2方法(UHDの表示領域にウインドウでHD表示領域に定義し、このウインドウの表示領域で位置指定を行う方法)を示すとき、このDDSには、ウインドウの領域を示す情報(「display_window_horizontal_position_minimum」、「display_window_horizontal_position_maximum」、「display_window_vertical_position_minimum」、「display_window_vertical_position_maximum」)が含まれる。
また、ページ・コンポジション・セグメント(PCS)(図6参照)には、リージョンの開始位置の座標(「region_horizontal_address」、「region_vertical_address」)が含まれる。この座標は、識別情報が第2方法(UHDの表示領域にウインドウでHD表示領域に定義し、このウインドウの表示領域で位置指定を行う方法)を示すときは、ウインドウの開始点の座標(sfx、sfy)を起点とする座標となる(図9参照)。
また、この座標は、識別情報が第3の方法(HDの表示領域にHD画素単位で位置指定を行う方法)ときは、UHD表示領域の開始点の座標(0,0)を起点とする座標となる(図11参照)。さらに、この座標は、識別情報が第1の方法(HDの表示領域にHD画素単位で位置指定を行う方法)を示すときは、UHD表示領域の開始点の座標(0,0)を起点とする座標となる(図12参照)
また、リージョン・コンポジション・セグメント(RCS)(図7参照)には、リージョンの水平、垂直のサイズを示す情報(「region_width」、「resion_height」)が含まれる。
ビデオエンコーダ105で生成されるビデオストリームVSは、システムエンコーダ109に供給される。サブタイトルエンコーダ108で生成されたサブタイトルストリームSSは、システムエンコーダ109に供給される。システムエンコーダ109では、ビデオストリームVSとサブタイトルストリームSSを含むトランスポートストリームTSが生成される。
このとき、システムエンコーダ109では、EIT、SDT、SITなどの配下に、サブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)を持つコンポーネント・デスクリプタ(Component_descriptor)(図13参照)が挿入される。システムエンコーダ109で生成されたトランスポートストリームTSは、送信部110により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成例」
図15は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、サブタイトルデコーダ205と、位置変換部206と、サイズ変換部207を有している。また、受信装置200は、ビデオ重畳部208と、YCbCr/RGB変換部209と、電光変換部210と、表示マッピング部211と、CEモニタ212と、ユーザ操作部213を有している。
図15は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、サブタイトルデコーダ205と、位置変換部206と、サイズ変換部207を有している。また、受信装置200は、ビデオ重畳部208と、YCbCr/RGB変換部209と、電光変換部210と、表示マッピング部211と、CEモニタ212と、ユーザ操作部213を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。ユーザ操作部213は、視聴者などのユーザが種々の操作を行うためのスイッチ、タッチパネル、リモコン送信部などである。
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから、ビデオストリームVSとサブタイトルストリームSSを抽出する。
また、システムデコーダ203は、トランスポートストリームTS(コンテナ)に挿入されている種々の情報を抽出し、制御部201に送る。この抽出情報に、サブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)が記述されたコンポーネント・デスクリプタ(図13参照)も含まれる。これにより、制御部201は、サブタイトルの位置指定方法を認識する。
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対してデコード処理を行って、UHD解像度の伝送ビデオデータV1を出力する。上述したように、UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
サブタイトルデコーダ205は、サブタイトルストリームSSにデコード処理を施して、サブタイトルのビットマップデータ(Color component data)と、サブタイトルと背景ビデオとの混合比情報(Mixing data)を得る。なお、サブタイトルストリームSSにはサブタイトルデータとしてサブタイトルのビットマップデータが含まれているが、このビットマップデータはCLUTに対しての伝送である。そのため、CLUT・デフィニション・セグメント(CLUT_definition_segment)(図8参照)に基づいて構成されるCLUTが用いられて、ビットマップデータ(Color component data)と混合比情報(Mixing data)が、画素単位で得られる。
また、サブタイトルデコーダ205は、ディスプレイ・ディフィニション・セグメント(DDS)に挿入されているサブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)を抽出し、制御部201に送る。これにより、制御部201は、サブタイトルの位置指定方法を認識する。
位置変換部206は、サブタイトルデコーダ205と共に、ビットマップデータ取得部を構成する。位置変換部206は、サブタイトルデコーダ205で得られたビットマップデータ(Color component data)と混合比情報(Mixing data)に対して、制御部201の制御のもと、識別情報(「display_positioning_type」)で指定されるサブタイトルの位置指定方法に応じて、サブタイトルの位置変換の処理を行う。
ここで、「display_positioning_type」=“01”で第2の方法が示されている場合、リージョンの位置座標は、ウインドウの起点(sfx,sfy)からのオフセット画素値で認識され、全表示領域であるUHD表示領域の座標に変換される(図9(a),(b)参照)。この変換は、リージョンの位置座標に、ウインドウの起点の位置情報を付加することで、行われる(図9(c)参照)。ここで、“regionA_width”=W1、“regionA_height”=h1、“regionB_width”=W2、“regionB_height”=h2である。
また、「display_positioning_type」=“10”で第3の方法が示されている場合、リージョンの位置座標は、UHD表示領域の起点(0,0)からのオフセット画素値で認識される(図11(a)参照)。この場合、リージョンの位置座標は既にUHD表示領域の座標であるので、座標変換は行われない(図11(b)参照)。ここで、“regionA_width”=W1、“regionA_height”=h1、“regionB_width”=W2、“regionB_height”=h2である。
また、「display_positioning_type」=“00”で第1の方法が示されている場合、リージョンの位置座標は、HD表示領域の起点(0,0)からのオフセット画素値で認識される(図12(a)参照)。この場合、リージョンの位置座標はHD表示領域の座標であるので、ビデオ画枠との関係に応じて、従ってUHD解像度のHD解像度に対する比率mに基づいてUHD表示領域の座標に変換される(図12(b)参照)。ここで、“regionA_width”=W1、“regionA_height”=h1、“regionB_width”=W2、“regionB_height”=h2である。
図16のフローチャートは、位置変換部206における位置変換処理の一例を示している。なお、ここでは、制御部201における関連する処理も、位置変換部206の処理として説明する。
位置変換部206は、まず、ステップST1において、処理を開始する。次に、位置変換部206は、ステップST2において、ビデオの画枠、つまりビデオの解像度を検知する。なお、ビデオの解像度の情報は、ビデオストリームのパラメータセット(SPS)から検知可能である。また、位置変換部206は、このステップST2において、サブタイトルの解像度、つまりサブタイトルの表示領域を検出する。サブタイトルの表示領域(display_width,display_height)は、ディスプレイ・ディフィニション・セグメント(DDS)(図4参照)から検知可能である。
次に、位置変換部206は、ステップST3において、ビデオの解像度がUHD解像度であるか否かを判断する。UHD解像度でないと判断するとき、位置変換部206は、ステップST4において、処理を終了する。一方、UHD解像度であると判断するとき、位置変換部206は、ステップST5の処理に移る。この実施の形態においては、ビデオの解像度がUHD解像度であるので、位置変換部206は、ステップST5の処理に移る。このステップST5において、位置変換部206は、識別情報(「display_positioning_type」)を検知する。
次に、位置変換部206は、ステップST6において、「display_positioning_type」=“01”であるか否かを判断する。「display_positioning_type」=“01”で第2の方法が示されている場合、位置変換部206は、ステップST7の処理に移る。
このステップST7において、位置変換部206は、リージョンの位置座標を、ウインドウの起点(sfx,sfy)からのオフセット画素値で認識し、全表示領域であるUHD表示領域の座標に変換する(図9(a),(b)参照)。この場合、リージョンの位置座標に、ウインドウの起点の位置情報を付加することで、変換する(図9(c)参照)。位置変換部206は、ステップST7の処理の後、ステップST4において、処理を終了する。
また、ステップST6で「display_positioning_type」=“01”でないと判断するとき、位置変換部206は、ステップST8の処理に移る。このステップST8において、「display_positioning_type」=“10”であるか否かを判断する。「display_positioning_type」=“10”で第3の方法が示されている場合、位置変換部206は、ステップST9の処理に移る。
このステップST9において、位置変換部206は、リージョンの位置座標を、UHD表示領域の起点(0,0)からのオフセット画素値で認識する(図11(a)参照)。この場合、リージョンの位置座標は既にUHD表示領域の座標であるので、位置変換部206は、座標変換は行わない(図11(b)参照)。位置変換部206は、ステップST9の処理の後、ステップST4において、処理を終了する。
また、ステップST8で「display_positioning_type」=“10”でないと判断するとき、位置変換部206は、ステップST10の処理に移る。このステップST10において、「display_positioning_type」=“00”であるか否かを判断する。「display_positioning_type」=“00”でないと判断するとき、位置変換部206は、ステップST4において、処理を終了する。一方、「display_positioning_type」=“00”であると判断するとき、位置変換部206は、ステップST11の処理に移る。
このステップST11において、位置変換部206は、リージョンの位置座標を、HD表示領域の起点(0,0)からのオフセット画素値で認識する(図12(a)参照)。この場合、リージョンの位置座標はHD表示領域の座標であるので、位置変換部206は、ビデオ画枠との関係に応じて、従ってUHD解像度のHD解像度に対する比率mに基づいてUHD表示領域の座標に変換する(図12(b)参照)。位置変換部206は、ステップST11の処理の後、ステップST4において、処理を終了する。
図15に戻って、サイズ変換部207は、位置変換部206から出力されるビットマップデータ(Color component data)と混合比情報(Mixing data)に対して、例えば、視聴者などのユーザの操作に応じて、あるいは、ビデオ解像度およびサブタイトル解像度との関係から自動的に、サブタイトルのサイズ変換の処理を行う。
図17(a)に示すように、表示領域の中心位置(dc: display center)からリージョン(region)の中心位置、つまりリージョンを水平・垂直方向に2分する点(region center位置: rc)までの距離はビデオの解像度に比例して決定される。例えば、ビデオの解像度としてHDが想定されて字幕の表示領域の中心位置dcからリージョンの中心位置rcが定義される場合、ビデオの解像度が4K(=3840x2160)の際には、dcからrcまでの距離は画素数で2倍になるように位置の制御がなされる。
図17(b)に示すように、リージョン(Region)のサイズをr_org(Region 00)からr_mod(Region 01)に変更した場合、開始位置(rsx1,rsy1)と終了位置(rex1,rey1)は、Ratio=(r_mod/r_org)を満足するように、それぞれ、開始位置(rsx2,rsy2)と終了位置(rex2,rey2)に修正される。
つまり、rcから(rsx2,rsy2)までの距離とrcから(rsx1,rsy1)までの距離との比、およびrcから(rex2,rey2)までの距離とrcから(rex1,rey1)までの距離との比は、Ratioと整合するようにされる。このようにすることで、サイズ変換を行ってもリージョンの中心位置rcはそのままであり、表示領域全体の相対位置関係を一定に維持しつつ、サブタイトル(リージョン)のサイズ変換を行うことが可能となる。
図15に戻って、ビデオ重畳部208は、ビデオデコーダ204で得られた伝送ビデオデータV1に、位置変換部206およびサイズ変換部207を介して得られたサブタイトルのビットマップデータ(Color component data)を重畳する。この場合、ビデオ重畳部208は、サブタイトルのビットマップデータを、混合比情報(Mixing data)で示される混合比で混合する。
YCbCr/RGB変換部209は、サブタイトルのビットマップデータが重畳された伝送ビデオデータV1´をYCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部210は、RGBドメインに変換された伝送ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。
表示マッピング部211は、表示用ビデオデータに対して、CEモニタ212の最大輝度表示能力などに応じた表示輝度調整を行う。CEモニタ212は、表示用ビデオデータに基づいて画像を表示する。このCEモニタ212は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成される。
図15に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、ビデオストリームVSおよびサブタイトルストリームSSが抽出される。
また、システムデコーダ203では、トランスポートストリームTS(コンテナ)に挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報に、サブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)が記述されたコンポーネント・デスクリプタ(図13参照)も含まれる。これにより、制御部201では、サブタイトルの位置指定方法が認識される。
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対してデコード処理が施されて、伝送ビデオデータV1が得られる。また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。
システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデコーダ205に供給される。このサブタイトルデコーダ205では、サブタイトルストリームSSにデコード処理が施されて、サブタイトルのビットマップデータ(Color component data)と、サブタイトルと背景ビデオとの混合比情報(Mixing data)が得られる。
また、サブタイトルデコーダ205では、ディスプレイ・ディフィニション・セグメント(DDS)に挿入されているサブタイトルの位置指定方法を示す識別情報(「display_positioning_type」)が抽出され、制御部201に送られる。これにより、制御部201では、サブタイトルの位置指定方法が認識される。
サブタイトルデコーダ205から出力されたサブタイトルのビットマップデータと混合比情報は、位置変換部206に供給される。この位置変換部206では、サブタイトルのビットマップデータと混合比情報に対して、制御部201の制御のもと、識別情報(「display_positioning_type」)で指定されるサブタイトルの位置指定方法に応じて、サブタイトルの位置変換の処理が行われる。
位置変換部206から出力されるビットマップデータと混合比情報は、サイズ変換部207に供給される。このサイズ変換部207では、サブタイトルのビットマップデータと混合比情報に対して、例えば、視聴者などのユーザの操作に応じて、あるいは、ビデオ解像度およびサブタイトル解像度との関係から自動的に、サブタイトルのサイズ変換の処理が行われる。
ビデオデコーダ204で得られた伝送ビデオデータV1は、ビデオ重畳部208に供給される。また、位置変換部206およびサイズ変換部207を介して得られたサブタイトルのビットマップデータと混合比情報は、ビデオ重畳部208に供給される。ビデオ重畳部208では、伝送ビデオデータV1にサブタイトルのビットマップデータが重畳される。この場合、サブタイトルのビットマップデータが混合比情報で示される混合比で混合される。
ビットマップデータが重畳された伝送ビデオデータV1´は、YCbCr/RGB変換部209に供給される。このYCbCr/RGB変換部209では、伝送ビデオデータV1´がYCbCr(輝度・色差)ドメインからRGBドメインに変換されて、電光変換部210に供給される。電光変換部210では、伝送ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
この表示用ビデオデータは、表示マッピング部211に供給される。この表示マッピング部211では、表示用ビデオデータに対して、CEモニタ212の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはCEモニタ212に供給される。CEモニタ212には、この表示用ビデオデータに基づいて画像が表示される。
上述したように、図1に示す送受信システム10において、受信装置200では、サブタイトルの解像度がHD解像度であってビデオのUHD解像度と一致しない場合、サブタイトルの位置変換の処理が行われる。そのため、サブタイトルを背景ビデオの適切な位置に表示することが可能となる。
また、図1に送受信システム10において、受信装置200では、サブタイトルストリームに識別情報で示される位置指定方法に応じた処理が行われて表示用のサブタイトルのビットマップデータが取得される。そのため、サブタイトルの解像度がHD解像度であってビデオのUHD解像度と一致しない場合であっても、サブタイトルを背景ビデオの適切な位置に表示することが可能となる。
また、図1に送受信システム10において、送信装置100では、サブタイトルの位置指定方法を示す識別情報が、サブタイトルストリームSSのレイヤおよび/またはコンテナとしてのトランスポートストリームTSのレイヤに挿入されて送信される。そのため、受信側では、サブタイトルストリームに対してこの識別情報で示される位置指定方法に応じた処理を行って表示用のサブタイトルのビットマップデータを取得することで、サブタイトルのビデオへの重畳表示を良好に行い得る。
<2.変形例>
なお、上述実施の形態においては、サブタイトルの位置変換などを行う例を示した。本技術は、グラフィクスやその他の同様の情報をビデオに重畳表示する場合にも同様に適用できる。
なお、上述実施の形態においては、サブタイトルの位置変換などを行う例を示した。本技術は、グラフィクスやその他の同様の情報をビデオに重畳表示する場合にも同様に適用できる。
また、上述実施の形態においては、コンテナがMPEG−2 TSである例を示した。しかし、本技術は、コンテナがMPEG−2 TSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、同様に適用できる。
また、本技術は、以下のような構成を取ることもできる。
(1)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対して、サブタイトルの位置変換の処理を行う位置変換部と、
上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(2)上記UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである
前記(1)に記載の受信装置。
(3)上記位置変換部と上記ビデオ重畳部との間に介在され、上記位置変換の処理が行われたサブタイトルのビットマップデータに対して、サブタイトルのサイズ変換の処理を行うサイズ変換部をさらに備える
前記(1)または(2)に記載の受信装置。
(4)受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対して、サブタイトルの位置変換の処理を行う位置変換ステップと、
上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
受信方法。
(5)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得部と、
上記取得された表示用のサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備え、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得部は、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信装置。
(6)上記識別情報で示される位置指定方法が、HDの表示領域にHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータに対して上記UHD解像度の上記HD解像度に対する比率に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
前記(5)に記載の受信装置。
(7)上記識別情報で示される位置指定方法がUHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウ表示領域で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータに対して上記ウインドウ表示領域の情報に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
前記(5)または(6)に記載の受信装置。
(8)上記識別情報で示される位置指定方法が、UHDの表示領域にUHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータをそのまま上記表示用のサブタイトルのビットマップデータとする
前記(5)から(7)のいずれかに記載の受信装置。
(9)上記ビットマップデータ取得部と上記ビデオ重畳部との間に介在され、上記ビットマップデータ取得部で取得されたサブタイトルのビットマップデータに対して、サブタイトルのサイズ変換処理を行うサブタイトル処理部をさらに備える
前記(5)から(8)のいずれかに記載の受信装置。
(10)受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得ステップと、
上記取得されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有し、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得ステップでは、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信方法。
(11)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。
(12)上記サブタイトルの位置指定方法には、HDの表示領域にHD画素単位で位置指定を行う方法が含まれる
前記(11)に記載の送信装置。
(13)上記サブタイトルの位置指定方法には、UHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウの表示領域で位置指定を行う方法が含まれる
前記(11)または(12)に記載の送信装置。
(14)上記サブタイトルの位置指定方法には、UHDの表示領域にUHD画素単位で位置指定を行う方法が含まれる
前記(11)から(13)のいずれかに記載の送信装置。
(15)上記情報挿入部は、
上記識別情報をイベント・インフォメーション・テーブル、サービス・デスクリプション・テーブル、あるいはセレクション・インフォメーション・テーブルの配下に挿入する
前記(11)から(14)のいずれかに記載の送信装置。
(16)上記情報挿入部は、
上記識別情報をディスプレイ・ディフィニション・セグメントに挿入する
前記(11)から(15)のいずれかに記載の送信装置。
(17)送信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入ステップを有する
送信方法。
(18)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記グラフィクスストリームにデコード処理を施してグラフィクスのビットマップデータを得るグラフィクスデコード部と、
上記グラフィクスの解像度が上記UHD解像度に不一致の場合、上記グラフィクスのビットマップデータに対して、グラフィクスの位置変換の処理を行う位置変換部と、
上記位置変換の処理が行われたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(19)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記グラフィクスストリームに基づいて表示用のグラフィクスのビットマップデータを取得するビットマップデータ取得部と、
上記取得されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備え、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得部は、
上記グラフィクスストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のグラフィクスのビットマップデータを取得する
受信装置。
(20)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。
(1)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対して、サブタイトルの位置変換の処理を行う位置変換部と、
上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(2)上記UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである
前記(1)に記載の受信装置。
(3)上記位置変換部と上記ビデオ重畳部との間に介在され、上記位置変換の処理が行われたサブタイトルのビットマップデータに対して、サブタイトルのサイズ変換の処理を行うサイズ変換部をさらに備える
前記(1)または(2)に記載の受信装置。
(4)受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対して、サブタイトルの位置変換の処理を行う位置変換ステップと、
上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
受信方法。
(5)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得部と、
上記取得された表示用のサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備え、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得部は、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信装置。
(6)上記識別情報で示される位置指定方法が、HDの表示領域にHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータに対して上記UHD解像度の上記HD解像度に対する比率に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
前記(5)に記載の受信装置。
(7)上記識別情報で示される位置指定方法がUHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウ表示領域で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータに対して上記ウインドウ表示領域の情報に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
前記(5)または(6)に記載の受信装置。
(8)上記識別情報で示される位置指定方法が、UHDの表示領域にUHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得部は、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得、該ビットマップデータをそのまま上記表示用のサブタイトルのビットマップデータとする
前記(5)から(7)のいずれかに記載の受信装置。
(9)上記ビットマップデータ取得部と上記ビデオ重畳部との間に介在され、上記ビットマップデータ取得部で取得されたサブタイトルのビットマップデータに対して、サブタイトルのサイズ変換処理を行うサブタイトル処理部をさらに備える
前記(5)から(8)のいずれかに記載の受信装置。
(10)受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得ステップと、
上記取得されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有し、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得ステップでは、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信方法。
(11)UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。
(12)上記サブタイトルの位置指定方法には、HDの表示領域にHD画素単位で位置指定を行う方法が含まれる
前記(11)に記載の送信装置。
(13)上記サブタイトルの位置指定方法には、UHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウの表示領域で位置指定を行う方法が含まれる
前記(11)または(12)に記載の送信装置。
(14)上記サブタイトルの位置指定方法には、UHDの表示領域にUHD画素単位で位置指定を行う方法が含まれる
前記(11)から(13)のいずれかに記載の送信装置。
(15)上記情報挿入部は、
上記識別情報をイベント・インフォメーション・テーブル、サービス・デスクリプション・テーブル、あるいはセレクション・インフォメーション・テーブルの配下に挿入する
前記(11)から(14)のいずれかに記載の送信装置。
(16)上記情報挿入部は、
上記識別情報をディスプレイ・ディフィニション・セグメントに挿入する
前記(11)から(15)のいずれかに記載の送信装置。
(17)送信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入ステップを有する
送信方法。
(18)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記グラフィクスストリームにデコード処理を施してグラフィクスのビットマップデータを得るグラフィクスデコード部と、
上記グラフィクスの解像度が上記UHD解像度に不一致の場合、上記グラフィクスのビットマップデータに対して、グラフィクスの位置変換の処理を行う位置変換部と、
上記位置変換の処理が行われたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(19)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記グラフィクスストリームに基づいて表示用のグラフィクスのビットマップデータを取得するビットマップデータ取得部と、
上記取得されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備え、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得部は、
上記グラフィクスストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のグラフィクスのビットマップデータを取得する
受信装置。
(20)UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。
本技術の主な特徴は、サブタイトルの解像度がHD解像度であってビデオのUHD解像度と一致しない場合、サブタイトルの位置変換の処理を行うことで、サブタイトルを背景ビデオの適切な位置に表示することを可能としたことである(図15参照)。また、本技術の主な特徴は、サブタイトルストリームに識別情報で示される位置指定方法に応じた処理を行って表示用のサブタイトルのビットマップデータを取得することで、サブタイトルの解像度がHD解像度であってビデオのUHD解像度と一致しない場合であっても、サブタイトルを背景ビデオの適切な位置に表示することを可能としたことである(図16参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・カメラ
103・・・ビデオ光電変換部
104・・・RGB/YCbCr変換部
105・・・ビデオエンコーダ
106・・・サブタイトル発生部
107・・・ビットマップデータ発生部
108・・・サブタイトルエンコーダ
109・・・システムエンコーダ
110・・・送信部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・サブタイトルデコーダ
206・・・位置変換部
207・・・サイズ変換部
208・・・ビデオ重畳部
209・・・YCbCr/RGB変換部
210・・・電光変換部
211・・・表示マッピング部
212・・・CEモニタ
213・・・ユーザ操作部
100・・・送信装置
101・・・制御部
102・・・カメラ
103・・・ビデオ光電変換部
104・・・RGB/YCbCr変換部
105・・・ビデオエンコーダ
106・・・サブタイトル発生部
107・・・ビットマップデータ発生部
108・・・サブタイトルエンコーダ
109・・・システムエンコーダ
110・・・送信部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・サブタイトルデコーダ
206・・・位置変換部
207・・・サイズ変換部
208・・・ビデオ重畳部
209・・・YCbCr/RGB変換部
210・・・電光変換部
211・・・表示マッピング部
212・・・CEモニタ
213・・・ユーザ操作部
Claims (20)
- UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得るサブタイトルデコード処理と、上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対してサブタイトルの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置。 - 上記UHD解像度は、HD解像度を越えるものであり、4K解像度あるいは8K解像度を含むものである
請求項1に記載の受信装置。 - 上記制御部は、上記位置変換の処理が行われたサブタイトルのビットマップデータに対してサブタイトルのサイズ変換の処理を行うサイズ変換処理をさらに制御し、
上記ビデオ重畳処理では、上記サイズ変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳する
請求項1に記載の受信装置。 - 受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
上記サブタイトルの解像度が上記UHD解像度に不一致の場合、上記サブタイトルのビットマップデータに対して、サブタイトルの位置変換の処理を行う位置変換ステップと、
上記位置変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
受信方法。 - UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得処理と、上記取得された表示用のサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信装置。 - 上記識別情報で示される位置指定方法が、HDの表示領域にHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、該ビットマップデータに対して上記UHD解像度の上記HD解像度に対する比率に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
請求項5に記載の受信装置。 - 上記識別情報で示される位置指定方法がUHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウ表示領域で位置指定を行う方法である場合、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、該ビットマップデータに対して上記ウインドウ表示領域の情報に基づいて位置変換処理を行って上記表示用のサブタイトルのビットマップデータを取得する
請求項5に記載の受信装置。 - 上記識別情報で示される位置指定方法が、UHDの表示領域にUHD画素単位で位置指定を行う方法である場合、
上記ビットマップデータ取得処理では、
上記サブタイトルストリームをデコードしてサブタイトルのビットマップデータを得、該ビットマップデータをそのまま上記表示用のサブタイトルのビットマップデータとする
請求項5に記載の受信装置。 - 上記制御部は、上記ビットマップデータ取得処理で取得されたサブタイトルのビットマップデータに対してサブタイトルのサイズ変換の処理を行うサブタイトル処理をさらに制御し、
上記ビデオ重畳処理では、上記サイズ変換の処理が行われたサブタイトルのビットマップデータを上記ビデオデータに重畳する
請求項5に記載の受信装置。 - 受信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームに基づいて表示用のサブタイトルのビットマップデータを取得するビットマップデータ取得ステップと、
上記取得されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有し、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得ステップでは、
上記サブタイトルストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のサブタイトルのビットマップデータを取得する
受信方法。 - UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。 - 上記サブタイトルの位置指定方法には、HDの表示領域にHD画素単位で位置指定を行う方法が含まれる
請求項11に記載の送信装置。 - 上記サブタイトルの位置指定方法には、UHDの表示領域にウインドウでHD表示領域を定義し、該ウインドウの表示領域で位置指定を行う方法が含まれる
請求項11に記載の送信装置。 - 上記サブタイトルの位置指定方法には、UHDの表示領域にUHD画素単位で位置指定を行う方法が含まれる
請求項11に記載の送信装置。 - 上記情報挿入部は、
上記識別情報をイベント・インフォメーション・テーブル、サービス・デスクリプション・テーブル、あるいはセレクション・インフォメーション・テーブルの配下に挿入する
請求項11に記載の送信装置。 - 上記情報挿入部は、
上記識別情報をディスプレイ・ディフィニション・セグメントに挿入する
請求項11に記載の送信装置。 - 送信部により、UHD解像度のビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに、サブタイトルの位置指定方法を示す識別情報を挿入する情報挿入ステップを有する
送信方法。 - UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームをデコードしてグラフィクスのビットマップデータを得るグラフィクスデコード処理と、上記グラフィクスの解像度が上記UHD解像度に不一致の場合、上記グラフィクスのビットマップデータに対してグラフィクスの位置変換の処理を行う位置変換処理と、上記位置変換の処理が行われたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備える
受信装置。 - UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームをデコードしてビデオデータを得るビデオデコード処理と、上記グラフィクスストリームに基づいて表示用のグラフィクスのビットマップデータを取得するビットマップデータ取得処理と、上記取得されたグラフィクスのビットマップデータを上記ビデオデータに重畳するビデオ重畳処理を制御する制御部を備え、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報が挿入されており、
上記ビットマップデータ取得処理では、
上記グラフィクスストリームに上記識別情報で示される位置指定方法に応じた処理を行って上記表示用のグラフィクスのビットマップデータを取得する
受信装置。 - UHD解像度のビデオデータを持つビデオストリームとグラフィクスデータを持つグラフィクスストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記グラフィクスストリームのレイヤおよび/または上記コンテナのレイヤに、グラフィクスの位置指定方法を示す識別情報を挿入する情報挿入部を備える
送信装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015138178 | 2015-07-09 | ||
JP2015138178 | 2015-07-09 | ||
PCT/JP2016/069953 WO2017006948A1 (ja) | 2015-07-09 | 2016-07-05 | 受信装置、受信方法、送信装置および送信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017006948A1 true JPWO2017006948A1 (ja) | 2018-04-26 |
Family
ID=57685673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527472A Pending JPWO2017006948A1 (ja) | 2015-07-09 | 2016-07-05 | 受信装置、受信方法、送信装置および送信方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10575062B2 (ja) |
EP (1) | EP3322193A4 (ja) |
JP (1) | JPWO2017006948A1 (ja) |
CN (1) | CN107852525A (ja) |
AU (1) | AU2016289048B2 (ja) |
CA (1) | CA2991102A1 (ja) |
MX (1) | MX2017016589A (ja) |
WO (1) | WO2017006948A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107592565A (zh) * | 2017-09-29 | 2018-01-16 | 深圳市前海手绘科技文化有限公司 | 一种视频中快速结合手绘视频元素的方法 |
US10643298B2 (en) * | 2018-02-14 | 2020-05-05 | Realtek Semiconductor Corporation | Video processing system and processing chip |
CN110830833A (zh) * | 2018-08-09 | 2020-02-21 | 北京优酷科技有限公司 | 弹幕信息的显示方法及装置 |
CN113597640A (zh) * | 2019-03-25 | 2021-11-02 | 索尼集团公司 | 图像处理设备、图像处理方法和显示设备 |
CN113438514B (zh) * | 2021-04-26 | 2022-07-08 | 深圳Tcl新技术有限公司 | 字幕处理方法、装置、设备及存储介质 |
CN113286104A (zh) * | 2021-05-14 | 2021-08-20 | 深圳市快视电子有限公司 | 一种基于4k60视频信号叠加动态字符及图片处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151750A (ja) * | 2010-01-25 | 2011-08-04 | Fujitsu Toshiba Mobile Communications Ltd | 画像処理装置 |
US20140098289A1 (en) * | 2012-10-04 | 2014-04-10 | Gangneung-Wonju National University Industry Academy Cooperation Group | Content processing apparatus for processing high resolution content and method thereof |
WO2015126117A1 (ko) * | 2014-02-23 | 2015-08-27 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
JP2016028472A (ja) * | 2014-07-10 | 2016-02-25 | 日本放送協会 | テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040213542A1 (en) * | 2003-04-22 | 2004-10-28 | Hiroshi Hamasaka | Apparatus and method to reproduce multimedia content for a multitude of resolution displays |
JP4247291B1 (ja) * | 2007-12-20 | 2009-04-02 | 株式会社東芝 | 再生装置および再生方法 |
JP2011030180A (ja) | 2009-06-29 | 2011-02-10 | Sony Corp | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 |
JPWO2013105401A1 (ja) * | 2012-01-13 | 2015-05-11 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
US20170006316A1 (en) * | 2014-04-02 | 2017-01-05 | Lg Electronics Inc. | Apparatus for transmitting and receiving signal and method for transmitting and receiving signal |
-
2016
- 2016-07-05 US US15/738,824 patent/US10575062B2/en not_active Expired - Fee Related
- 2016-07-05 AU AU2016289048A patent/AU2016289048B2/en not_active Ceased
- 2016-07-05 CA CA2991102A patent/CA2991102A1/en active Pending
- 2016-07-05 JP JP2017527472A patent/JPWO2017006948A1/ja active Pending
- 2016-07-05 EP EP16821417.9A patent/EP3322193A4/en not_active Ceased
- 2016-07-05 CN CN201680038735.0A patent/CN107852525A/zh active Pending
- 2016-07-05 WO PCT/JP2016/069953 patent/WO2017006948A1/ja active Application Filing
- 2016-07-05 MX MX2017016589A patent/MX2017016589A/es active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011151750A (ja) * | 2010-01-25 | 2011-08-04 | Fujitsu Toshiba Mobile Communications Ltd | 画像処理装置 |
US20140098289A1 (en) * | 2012-10-04 | 2014-04-10 | Gangneung-Wonju National University Industry Academy Cooperation Group | Content processing apparatus for processing high resolution content and method thereof |
WO2015126117A1 (ko) * | 2014-02-23 | 2015-08-27 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
JP2016028472A (ja) * | 2014-07-10 | 2016-02-25 | 日本放送協会 | テキストコンテンツ生成装置、送信装置、受信装置、およびプログラム。 |
Non-Patent Citations (4)
Title |
---|
DIGITAL VIDEO BROADCASTING (DVB); SUBTITLING SYSTEMS DVB DOCUMENT A009, [ONLINE], JPN6016034912, July 2013 (2013-07-01), pages 21 - 23, ISSN: 0004408261 * |
TIMED TEXT MARKUP LANGUAGE 1 (TTML1) (SECOND EDITION), [ONLINE], JPN6016038232, 24 September 2013 (2013-09-24), ISSN: 0004408260 * |
デジタル放送におけるMMTによるメディアトランスポート方式 ARIB STD-B60, vol. 1.0版, JPN6016038233, 31 July 2014 (2014-07-31), pages 114 - 121, ISSN: 0004304665 * |
デジタル放送におけるマルチメディア符号化方式(第2世代) ARIB STD-B62, vol. 1.0版, JPN6016038231, 31 July 2014 (2014-07-31), pages 10 - 19, ISSN: 0004408259 * |
Also Published As
Publication number | Publication date |
---|---|
EP3322193A4 (en) | 2018-12-26 |
AU2016289048A1 (en) | 2018-01-18 |
US10575062B2 (en) | 2020-02-25 |
US20180184173A1 (en) | 2018-06-28 |
AU2016289048B2 (en) | 2020-12-24 |
CA2991102A1 (en) | 2017-01-12 |
WO2017006948A1 (ja) | 2017-01-12 |
EP3322193A1 (en) | 2018-05-16 |
CN107852525A (zh) | 2018-03-27 |
MX2017016589A (es) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017006948A1 (ja) | 受信装置、受信方法、送信装置および送信方法 | |
KR102077435B1 (ko) | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 표시 장치 및 표시 방법 | |
US10542304B2 (en) | Transmission device, transmission method, reception device, and reception method | |
EP3226241B1 (en) | Transmission device, transmission method, reception device, and reception method | |
JP7259901B2 (ja) | 送信方法および送信装置 | |
US10917698B2 (en) | Reception device, reception method, transmission device, and transmission method | |
JP2024015131A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US10397642B2 (en) | Transmission device, transmission method, and reception device | |
US11202087B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP6969572B2 (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |