JP6013920B2 - ビデオコンテンツを処理するための装置および方法 - Google Patents

ビデオコンテンツを処理するための装置および方法 Download PDF

Info

Publication number
JP6013920B2
JP6013920B2 JP2012553959A JP2012553959A JP6013920B2 JP 6013920 B2 JP6013920 B2 JP 6013920B2 JP 2012553959 A JP2012553959 A JP 2012553959A JP 2012553959 A JP2012553959 A JP 2012553959A JP 6013920 B2 JP6013920 B2 JP 6013920B2
Authority
JP
Japan
Prior art keywords
video
resolution
signal
video signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012553959A
Other languages
English (en)
Other versions
JP2013526094A5 (ja
JP2013526094A (ja
Inventor
トーマス エドワード ホーランダー
エドワード ホーランダー トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013526094A publication Critical patent/JP2013526094A/ja
Publication of JP2013526094A5 publication Critical patent/JP2013526094A5/ja
Application granted granted Critical
Publication of JP6013920B2 publication Critical patent/JP6013920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Description

関連仮出願に対する参照
本出願は、米国特許法第119条の下で、2010年2月15日に出願した米国特許仮出願第61/304,718号の利益を主張するものである。
本開示は、一般に、コンテンツをエンドユーザに配信するためのデジタルコンテンツシステムおよび方法に関し、より具体的には、受信者が、1/2解像度の分割スクリーンの立体ビデオ、最大解像度の2次元(2D)ビデオ、最大解像度の立体ビデオのうち任意のものを選択して復号することを可能にする、多重化ビデオを符号化して放送するためのシステムおよび低帯域幅の方法に関する。
テレビ受像機(テレビ)およびメディアセンターを含む家庭用娯楽器具システムは、インターネットとの一体化が進んでおり、ビデオ、映画、テレビ番組、音楽などのコンテンツの、多くの利用可能なソースへのアクセスを提供している。結果として、そのアクセス可能なコンテンツに対する表示およびナビゲートのプロセスに関連して、多数の課題が明らかになっている。
ホームビデオ市場に対して3次元(3D)表示をテストすることを切望する放送会社は、すべての既存の高解像度(HD)対応のセットトップボックスと現地で下位互換性のある放送フォーマットを採用することを望んでいる。これらの放送会社は、最近、左と右の立体ビデオ画像の1/2水平解像度の分割スクリーン符号化を用いる3Dビデオ放送を開始することを選択した。このシナリオでは、他の分割スクリーンビデオのシナリオと同様、分割スクリーンフォーマットから視聴者が立体ビデオとして感知することができるフォーマットに形式を変換するのは表示デバイスである。
ブルーレイディスク協会(BDA)は、3D対応ブルーレイディスクに記憶される立体ビデオの効率的圧縮に対応するために、多視点映像符号化(MVC)としても知られている多視点圧縮アルゴリズムを選択した。BDAは、3Dビデオを、1280×720p60または1920×1080p24の解像度、およびそれぞれの眼に対して利用可能なフレームレートを用いて符号化するようにも規定している。現世代および前世代のセットトップボックスは、MVC符号化ビデオの復号に対応することができず、BDAによって要求されたのと同等の解像度およびフレームレートでビデオストリームを配信するはずのその他の既知の方法にも対応することができない。結果として、放送会社は、今後、ブルーレイ画質の3Dビデオへのアップグレードの道筋を示すようにせきたてられるはずである。しかし、放送会社は、従来のデコーダおよび1/2水平解像度の分割スクリーンビデオを使用している3Dビデオの顧客の初期グループのサポートを継続するようにも義務づけられることになる。初期の3Dの顧客が使用しているデコーダをアップグレードするための装置交換の費用を放送会社が負担しなければ、この義務が、MVC圧縮への切換えの妨げとなる。
したがって、最大解像度の3Dビデオの符号化および放送を提供する一方で従来型の2Dビデオおよび3Dビデオに対応するための技法が必要とされている。
本開示の一態様によれば、第1のビデオ解像度で2次元画像を表す第1のビデオ信号および第2の解像度で3次元画像を表す第2のビデオ信号を含むデータ信号を受信するステップと、出力表示方式が2次元表示方式であれば第1のビデオ信号を復号し、出力表示方式が第1の3次元表示方式であれば第2のビデオ信号を復号し、また、出力表示方式が第2の3次元表示方式であれば第1のビデオ信号および第2のビデオ信号を同時に復号するステップとを含む方法が提供される。
本開示の別の態様によれば、コンテンツを処理するための装置は、第1のビデオ解像度で2次元画像を表す第1のビデオ信号および第2の解像度で3次元画像を表す第2のビデオ信号を含むデータ信号を受信する信号受信器と、出力表示方式が2次元表示方式であれば第1のビデオ信号を復号し、出力表示方式が第1の3次元表示方式であれば第2のビデオ信号を復号し、また、出力表示方式が第2の3次元表示方式であれば第1のビデオ信号および第2のビデオ信号を同時に復号する少なくとも1つのデコーダとを含む。
別の態様では、信号を処理する方法が説明される。この方法は、第1のビデオ解像度で2次元画像を表す第1のビデオ信号および第2の解像度で3次元画像を表す第2のビデオ信号を含むデータ信号を受信するステップと、ビデオコンテンツを見るための表示デバイスのタイプを判定するステップと、第1のビデオ信号を復号するステップと、第2のビデオ信号を復号するステップと、表示デバイスに出力信号を供給するステップであって、表示デバイスのタイプが3次元表示デバイスである場合には、出力信号が、第1の復号されたビデオ信号と第2の復号されたビデオ信号の一部分の組合せを含むステップとを含む。
本開示の、これらならびに他の態様、特徴および利点が説明される、または添付図面と関連して読み取られるべき好ましい実施形態の以下の詳細な記述から明らかになる。
図面の全体を通して、類似の参照数字は類似の要素を示す。
本開示による、ビデオコンテンツを配信するためのシステムの例示的実施形態を示すブロック図である。 本開示による、従来型の2次元(2D)を提供する、3次元(3D)の1/2解像度の分割スクリーン放送システムの例示的実施形態を示すブロック図である。 本開示による、1/2解像度の分割スクリーン放送を符号化するプロセスの例示的実施形態を示すフローチャートである。 本開示による、1/2解像度の分割スクリーン放送を復号するプロセスの例示的実施形態を示すフローチャートである。 本開示による、従来の3次元(3D)放送および最大解像度の3D放送用のシステムの例示的実施形態を示すブロック図である。 本開示による、従来の3次元(3D)放送および最大解像度の3D放送を符号化するプロセスの例示的実施形態を示すフローチャートである。 本開示による、従来の3次元(3D)放送および最大解像度の3D放送を復号するプロセスの例示的実施形態を示すフローチャートである。 本開示による、稠密な視差マップを生成するための受信デバイスの例示的実施形態を示す図である。 本開示による、稠密な視差マップを生成するプロセスの例示的実施形態を示すフローチャートである。
これらの図面は、本開示の概念を説明するためのものであり、必ずしも本開示を説明するための唯一可能な構成ではないことを理解されたい。
図面に示された要素は、ハードウェア、ソフトウェアまたはそれらの組合せの様々な形態で実装され得ることを理解されたい。好ましくは、これらの要素は、ハードウェアと、プロセッサ、メモリおよび入出力インターフェースを含み得る1つまたは複数の適切にプログラムされた汎用デバイス上のソフトウェアとの組合せで実装される。本明細書では、慣用句「結合された」は、直接接続される、または1つもしくは複数の中間構成要素を介して間接的に接続されることを意味するものと定義される。このような中間構成要素は、ハードウェアの構成要素とソフトウェアベースの構成要素の両方を含むことができる。
本説明は本開示の原理を説明する。したがって、当業者なら、本明細書で明確な記述または説明がなかったとしても、本開示の原理を実施し、その趣旨および範囲の中に含まれている様々な変更を考え出すことができるはずであることが理解されよう。
本明細書に列挙された実例および条件付き言語は、すべて、本開示の原理および本発明者が当技術を促進するために提供した概念に対する読者の理解を支援するための教示を目的としており、このような具体的に列挙された実例および条件に限定されないものと解釈されるべきである。
そのうえ、本開示の原理、態様、および実施形態、ならびにその特定の実例を本明細書に列挙しているあらゆる記述が、その構造上および機能上の等価物を包含するように意図されている。さらに、このような等価物は、現在知られている等価物だけでなく、今後開発される等価物、すなわち同一の機能を遂行するあらゆる開発要素も、構造にかかわらず含むものと意図されている。
したがって、例えば、本明細書に示されたブロック図が、本開示の原理を具現する例示的回路の概念図を表すことが、当業者には理解されよう。同様に、あらゆるフローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータ可読媒体の中に実質的に表され得てコンピュータまたはプロセッサによって実行され得る様々なプロセスを表すことが、このようなコンピュータまたはプロセッサが明確に示されているか否かにかかわらず理解されよう。
図面に示された様々な要素の機能は、専用ハードウェアならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することを介して、提供され得る。プロセッサによって提供されるときには、これらの機能を単一の専用プロセッサ、単一の共用プロセッサ、またはいくつかが共用され得る複数の個々のプロセッサによって提供することができる。そのうえ、用語「プロセッサ」または「コントローラ」の明示的使用は、もっぱらソフトウェアを実行することができるハードウェアを指すものと解釈されるべきではなく、デジタル信号プロセッサ(「DSP」)のハードウェア、ソフトウェアを記憶するための読出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、および不揮発性記憶装置を、限定することなく暗黙のうちに含み得る。
従来型の、および/または特定用途向けの、他のハードウェアも含むことができる。同様に、図面に示されたいかなるスイッチも概念的なものでしかない。これらスイッチの機能は、プログラムロジック、専用ロジック、プログラム制御と専用ロジックの相互作用の動作を介して、または手動でさえ実行され得て、状況からより具体的に理解されるように、開発者が特定の技法を選択することができる。
本明細書の特許請求の範囲では、特定の機能を遂行するための手段として表現されたあらゆる要素が、例えば、a)その機能を遂行する回路素子の組合せ、またはb)あらゆる形式のソフトウェア、したがって、その機能を遂行するために、そのソフトウェアを実行するための適切な回路と組み合わせたファームウェア、マイクロコードなどを含むソフトウェアを含む機能を遂行する、あらゆる方法を包含するように意図されている。そのような特許請求の範囲によって定義される本開示は、様々な列挙された手段によって与えられる機能性が、特許請求の範囲が要求するやり方で互いに組み合わせて一緒に導入されるという事実に存在する。したがって、それらの機能性をもたらすことができるあらゆる手段が、本明細書に示されたものと同等であると考えられる。
本開示は、2D画像だけを受信して復号すること、左眼画像と右眼画像の両方を含んでいる単一ビデオフレームだけを低減された解像度で受信して復号すること、および改善された解像度の3D画像を表示するために両方の信号を一緒に受信して復号することを含むいくつかの別々の受信状態に対応するために、2次元(2D)のコンテンツとともに3次元(3D)のビデオコンテンツの放送および受信を可能にするためのシステムおよび方法に関する。これらのシステムおよび方法は、例えば、最大解像度の左眼画像を、低減された(すなわち1/2)解像度で組み合わせた左眼画像と右眼画像の両方を有する第2の信号とともに送信することを示す。受信器は、一方または他方の信号を復号することができ、あるいは、能力があるなら両方を復号することができる。受信器が両方の信号を復号するなら、受信器は、例えば、低減された解像度の右眼画像を、復号された最大解像度の左眼画像信号の画像サイズと一致させるように、サンプルレートをアップコンバートすることができる。
最初に、ユーザに対して様々なタイプのビデオコンテンツを配信するためのシステムを説明する。次に、図1に移って、住宅またはエンドユーザにコンテンツを配信するためのシステム100の実施形態のブロック図が示されている。コンテンツは、映画撮影所またはプロダクション会社などのコンテンツソース102から生じる。コンテンツを、2つの形式のうち少なくとも1つで供給することができる。形式の1つは、コンテンツの放送形式とすることができる。放送コンテンツは、一般にABC放送局(ABC)、NBC放送局(NBC)、コロンビア放送局(CBS)などの全国放送サービスである放送系列会社の管理プログラム104に供給される。放送系列会社の管理プログラムは、コンテンツを収集し、蓄積することができ、配信ネットワーク1(106)として示された配信するネットワークによるコンテンツの配信をスケジュール設定することができる。配信ネットワーク1(106)は、全国センターから1つまたは複数の地域または地方のセンターへの衛星リンク伝送を含むことができる。配信ネットワーク1(106)は、無線放送、衛星放送、またはケーブル放送などのローカル配信システムを使用するローカルコンテンツ配信も含むことができる。局所的に配信されるコンテンツは、ユーザの自宅の受信デバイス108に供給され、ここでコンテンツは、次にユーザによって検索されることになる。受信デバイス108は、多くの形式をとることができ、セットトップボックス/デジタルビデオレコーダ(DVR)、ゲートウェイ、モデムなどとして実施され得ることを理解されたい。
第2の形式のコンテンツは、特別コンテンツと称される。特別コンテンツには、例えば映画、ビデオゲーム、他のビデオ要素といった、高額の視聴コンテンツ、ペイパービュー方式コンテンツ、または他のコンテンツとして配信される、他の形式では放送系列会社の管理プログラムに供給されないコンテンツが含まれ得る。多くの場合、特別コンテンツは、ユーザによって要求されたコンテンツであり得る。特別コンテンツを、コンテンツの管理プログラム110に配信することができる。コンテンツの管理プログラム110は、例えばコンテンツプロバイダ、放送サービス、または配信ネットワークサービスに加入しているインターネットのウェブサイトなどのサービスプロバイダであり得る。コンテンツの管理プログラム110は、配信システムの中へインターネットのコンテンツを組み込むことができる。コンテンツの管理プログラム110を、個別の配信ネットワーク、配信ネットワーク2(112)上のユーザの受信デバイス108にコンテンツを配信することができる。配信ネットワーク2(112)は、高速の広帯域インターネットタイプの通信システムを含むことができる。放送系列会社の管理プログラム104からのコンテンツも、配信ネットワーク2(112)のすべてまたは一部分を用いて配信することができ、コンテンツの管理プログラム110からのコンテンツが、配信ネットワーク1(106)のすべてまたは一部分を用いて配信され得ることに留意することが重要である。また、ユーザは、必ずしもコンテンツの管理プログラム110によってコンテンツを管理されることなく、インターネットから配信ネットワーク2(112)を介してコンテンツを直接取得することができる。
別個に配信されたコンテンツを利用するためのいくつかの改造が可能であり得る。可能な手法の1つでは、放送コンテンツに対する拡張として、代替表示の提供、購入および取引のオプション、強化材料、および類似の品目などの特別コンテンツが提供される。別の実施形態では、特別コンテンツが、放送コンテンツとして提供されるいくつかのプログラミングコンテンツを完全に置換することができる。最終的に、特別コンテンツは、放送コンテンツと完全に分離したものとすることができ、ユーザが利用することを選択し得る、単なる媒体の代替的形態とすることができる。例えば、特別コンテンツは、それまでは放送コンテンツとして利用できなかった映画のライブラリとすることができる。
図2を参照すると、2次元(2D)の従来型にも対応する、3次元(3D)の1/2解像度の分割スクリーン放送向けのシステム200の実施形態のブロック図が示されている。システム200は、ビデオコンテンツを符号化して放送するための送信器202と、ビデオコンテンツを受信し、復号して、表示デバイスに供給するための受信器204とを含む。送信器202は、一般に、図1で説明された放送系列会社の管理プログラム104など、信号伝送センターに配置された設備とともに含むことができる。送信器202によって作成された信号は、配信ネットワーク1(106)などの放送ネットワークを通じて受信器204に伝送される。受信器204は、一般に、ユーザの自宅またはその近くに配置されたセットトップボックス、ゲートウェイ、コンピュータまたは他のネットワークインターフェースデバイスとすることができる。受信器204を、携帯情報端末、タブレット、または携帯電話などのモバイルデバイスの中に含むことができる。
送信器202は、最大解像度の右眼画像206と最大解像度の左眼画像208との立体画像対のソースを含む、または取得する。右眼画像206および左眼画像208は、図1で説明されたコンテンツソース102などのコンテンツソースから供給され得る。右眼画像206がサンプルレートコンバータ210に渡され、左眼画像208がサンプルレートコンバータ212に渡される。サンプルレートコンバータ210、212は、各画像の水平方向のサンプルレートを、元の水平サイズの2分の1に変換する。サイズが2分の1の右眼画像214とサイズが2分の1の左眼画像216が、画像プロセッサ218において単一画像へと合成される。
次いで、画像プロセッサ218からの合成画像が、エンコーダ220に伝送され、Motion Picture Entertainment Group(MPEG)のH.264/MPEG−4 Part 10規格、Advanced Video Coding(AVC)規格、または類似の圧縮アルゴリズムに従って符号化されて、第1のビットストリーム222を形成する。さらに、取得された最大解像度の左眼画像208が、エンコーダ224に供給され、H.264/MPEG−4 Part 10、AVCまたは類似の圧縮アルゴリズムに従って符号化されて、第2のビットストリーム226を形成する。2つのストリームが同一の圧縮アルゴリズムを用いなくてもよいことに留意することが重要である。例えば、エンコーダ220は、エンコーダ224が第2のビットストリーム226に対して用いる圧縮率より高い、またはより低い圧縮率のH.264アルゴリズムを用いて第1のビットストリーム222を符号化できる。さらに、最大解像度の画像208は左眼画像であると識別されているが、その説明は慣行のためでしかない。最大解像度の画像208は、替わりに右眼画像として識別することができる。結果として、本開示を通じて、左眼画像に関する説明と右眼画像信号に関する説明が逆になってもよいことが理解される。
エンコーダ220からの第1のビットストリーム222およびエンコーダ224からの第2のビットストリーム226が、出力信号プロセッサ228に供給される。コントローラ230は、識別情報を、生成し、または求めて、この情報をその他の制御情報とともに出力信号プロセッサ228に供給する。一実施形態では、コントローラ230は、各ビットストリームに対してパケットIDを設定する。出力信号プロセッサ228は、第1のビットストリーム222と第2のビットストリーム226とを、信号の一部分として受信デバイス204に伝送するために、コントローラ230によって供給されたパケットID情報および制御情報に基づいて単一ビットストリーム232へと合成する。コントローラ230は、識別ビット、識別バイト、または識別パケットを含むがこれらに限定されないさらなる情報も単一ビットストリーム232に追加する。さらに、コントローラ230は、上記の識別を用いて、受信デバイスに対して信号の一部分として伝送されるプログラムガイドを生成できる。プログラムガイド情報が含まれていると、受信器204は、ビットス
トリーム232が含んでいるプログラムコンテンツを識別することができる。
受信器204は、ビットストリーム232を含む入来信号を処理して、プログラムガイドに基づいてコンテンツを分離する。受信器204は、オーディオおよびビデオのコンテンツの記録および再生のために、ハードディスクまたは光ディスクドライブなどの記憶デバイス237を含むことができる。処理されたコンテンツは、図1で説明された表示デバイス114などの表示デバイスに供給される。表示デバイスは、従来型の2Dタイプのディスプレイとすることができ、あるいは先進の3Dディスプレイとすることができる。受信デバイス204は、表示デバイス自体を含む他のシステムの中に組み込むことができる。いずれの場合も、システムの完全な動作に必要ないくつかの構成要素が、当業者には周知であるため、簡潔さのために示されていない。
受信デバイス204では、ビットストリーム232などのコンテンツを含む信号が、入力信号受信器234で受信される。入力信号受信器234は、無線、ケーブル、衛星、イーサネット(登録商標)、ファイバおよび電話線のネットワークを含む、いくつかの可能なネットワークのうちの1つによって供給される信号の受信、復調、および復号に使用されるいくつかの既知の受信器回路のうちの1つとすることができる。所望の入力信号は、制御インターフェース(図示せず)を介して供給されるユーザ入力に基づいて、入力信号受信器234において選択して取得され得る。入力信号受信器234からの出力信号は、入力ストリームプロセッサ236に供給される。入力ストリームプロセッサ236は、信号の選択および処理を遂行して、第1のビットストリームと第2のビットストリームのどちらがデコーダに送るのに適切か判断する。入力ストリームプロセッサ236は、デバイス202およびパケットIDによって送られたプログラムガイド、または各ビットストリーム(例えばビットストリーム222およびビットストリーム226)に関する他の識別情報に基づいて、第1のビットストリームと第2のビットストリームを区別することになる。
さらに、入力ストリームプロセッサ236は、受信したビットストリームを記憶デバイス237に送ることができる。記憶デバイス237により、コントローラ254の制御下で、例えばユーザインターフェース(図示せず)から受信した早送り(FF)および巻き戻し(Rew)などのナビゲーション指示といった命令に基づいて、後ほどコンテンツを取得して再生することが可能になる。記憶デバイス237は、ハードディスクドライブ、スタティックランダムアクセスメモリまたはダイナミックランダムアクセスメモリなどの1つまたは複数の集積された大容量電子メモリ、またはコンパクトディスクドライブもしくはデジタルビデオディスクドライブなどの交換可能な光ディスク記憶システムとすることができる。
説明されたように、入力ストリームプロセッサ236は、ビットストリームを分離して、デコーダ238またはデコーダ244のいずれか一方の適切なデコーダに対して第1のビットストリームと第2のビットストリームのうち1つを転送することになる。一実施形態では、入力ストリームプロセッサ236が、ビットストリームに合成画像が含まれていると判断した場合には、ビットストリームはデコーダ238に送られることになる。デコーダ238は、合成画像を、H.264/MPEG−4 Part 10又はAVCなどの1つまたは複数のビデオ圧縮復号アルゴリズムによって、1/2解像度の左眼画像および右眼画像を有する合成画像240へと復号する。3Dの1/2解像度の出力242は、セレクタ250に供給される。セレクタ250を介して両ビットストリームのどちらをオーディオ/ビデオインターフェース252に供給するか判断して制御するために、コントローラ254が使用される。以下で、セレクタ250およびコントローラ254の動作を説明する。
入力ストリームプロセッサ236が、ビットストリームに最大解像度の左眼画像208が含まれていると判断した場合には、ビットストリームはデコーダ244に送られることになる。デコーダ244は、1つまたは複数の復号圧縮アルゴリズムによって左眼画像208を復号して左眼画像246を生成する。次いで、左眼画像は2Dの最大解像度の出力信号248として出力される。2Dの最大解像度の出力信号248も、セレクタ250に供給される。
コントローラ254は、オーディオ/ビデオインターフェース252を介して受信デバイス204に結合された表示デバイスのタイプを求める。オーディオ/ビデオインターフェース252は、光の三原色(RGB)などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース(HDMI)などのデジタルインターフェースとすることができる。コントローラ254は、オーディオ/ビデオインターフェース252と通信し、接続されている表示デバイスが2Dと3Dのどちらか、ということに関する情報をオーディオ/ビデオインターフェース252から受信する。例えば、HDMIの場合には、コントローラ254は、HDMIインターフェースを介して表示デバイスと通信することにより、表示デバイスの能力を判定する。しかし、これは、アナログのオーディオ/ビデオ(A/V)インターフェースとは、一般に不可能である。アナログのAVインターフェースによって接続されたとき、表示デバイスのセットアップは、普通にはコントローラによって読み取ることができる受信デバイス204上のボタンで、または遠隔操作で駆動される選択を用いてユーザが表示タイプを入力するユーザインターフェーススクリーンで行なわれる。
コントローラ254は、表示デバイスのタイプに基づいて、セレクタ250を、3Dの1/2解像度のビデオ信号または2Dの最大解像度のビデオ信号のいずれかの適切な出力信号を出力するように制御する。例えば、コントローラ254は、オーディオ/ビデオインターフェース252に3D表示デバイスが結合されていると判断した場合には、3Dの1/2解像度の出力242を、セレクタ250を介してオーディオ/ビデオインターフェース252に送ることになる。コントローラ254は、オーディオ/ビデオインターフェース252に2Dの表示デバイスが結合されていると判断した場合には、2Dの最大解像度の出力248を、セレクタ250を介してオーディオ/ビデオインターフェース252に送ることになる。上記の処理は、入力信号受信器で受信された信号または記憶デバイス237から検索されたコンテンツから始まり得ることを理解されたい。
コントローラ230およびコントローラ254を、送信器202およびセットトップボックス204の中にそれぞれ含まれている構成要素のいくつかに対してバスを介して相互接続できることをさらに理解されたい。例えば、コントローラ254は、入力ストリーム信号を、記憶デバイス237に記憶する、または図示されていない表示デバイスに表示するための信号に変換する変換プロセスを管理できる。コントローラ254は、記憶されたコンテンツの検索および再生も管理する。コントローラ230およびコントローラ254を、コントローラ230およびコントローラ254向けの情報および命令コードを記憶するための図示されていない制御メモリ(例えばランダムアクセスメモリ、スタティックRAM、ダイナミックRAM、読出し専用メモリ、プログラマブルROM、フラッシュメモリ、EPROM、EEPROMなどを含む揮発性または不揮発性のメモリ)にさらに結合することができる。さらに、メモリの実装形態には、単一メモリデバイス、あるいは互いに接続されて、共用の、すなわち共通のメモリを形成する複数のメモリ回路など、いくつかの可能な実施形態が含まれ得る。またさらに、メモリを、バス通信回路の一部分などの他の回路とともに、より大きな回路の中に含むことができる。
図3に移って、1/2解像度の分割スクリーン放送を符号化するプロセス300の実施形態のフローチャートが示されている。プロセス300は、主として図2に説明された送信器202に関して説明されることになるが、図1に説明された放送系列会社の管理プログラム104の中に見られる装置にも同様に含まれ得る。ステップ302で、最大解像度の右眼画像が取得される。同様に、ステップ304で、最大解像度の左眼画像が取得される。右眼画像と左眼画像を、立体画像の対を形成し、図1で説明されたコンテンツソース102などのコンテンツソースから供給することができる。さらに、2つの画像のうちの1つを、2D画像および2D−3Dの処理技法を用いて、送信器202などの送信器デバイスによって生成することができる。ステップ306で、右眼画像および左眼画像のそれぞれが、各画像の水平方向のサンプルレートを元の水平サイズの2分の1に変更することによって変換される。次に、ステップ308で、2分の1サイズの右眼画像と2分の1サイズの左眼画像が、単一画像へと合成される。2分の1サイズの各画像が、一般に、画像信号の最大水平幅の2分の1を占めることに留意することが重要である。あるいは、各1/2サイズ画像が、格子縞パターンなど、画像信号全体にわたるパターンで散在することができる。
ステップ310で、合成画像が、次いでビデオ圧縮符号化アルゴリズムを用いて符号化されて、第1の符号化されたビットストリームを形成する。一実施形態では、合成画像を、H.264/MPEG−4 Part 10、AVCまたは何らかの類似の圧縮アルゴリズムによって符号化することができる。ステップ312で、ステップ304からの最大解像度の左眼画像が、ステップ310で説明されたものと類似のビデオ圧縮符号化アルゴリズムを用いて符号化されて、第2の符号化されたビットストリームを形成する。
次に、ステップ314で、プログラム情報のうちの1つまたはセグメント(例えばビット、バイト、パケット)を形成するために、第1のビットストリームおよび第2のビットストリームに関する情報が取得されて処理される。また、ステップ314では、第1のビットストリームと第2のビットストリームが合成されて単一の信号またはビットストリームを形成し、第1のビットストリームおよび第2のビットストリームに関する情報が単一ビットストリームに添付される。一実施形態では、この情報は、プログラムの識別子(PID)として添付される。単一ビットストリーム用のPIDを他のビットストリームからのPIDと組み合わせて、別個のプログラムガイドビットストリームを形成できる。最後に、ステップ316で、単一ビットストリームを含んでいる出力信号が伝送される。この出力信号を、図1で説明された配信ネットワーク106などの配信ネットワーク上において、伝送信号として伝送することができる。伝送ステップ316は、追加のエラー訂正符号化、変調符号化、デジタル/アナログ変換、フィルタリング、およびアナログ信号のアップコンバートなど、信号を伝送するのに必要な追加の信号処理も含むことができる。この出力信号は、プログラムガイドストリームなどの追加情報に加えて他のビットストリームも含むことができる。プログラムガイド情報を、個別のビットストリームとして生成する替わりに、単一ビットストリームに添付することができることに留意することが重要である。
図4に移って、1/2解像度の分割スクリーン放送を復号するための例示的プロセス400のフローチャートが示されている。プロセス400は、主として、図2で説明された受信器204に関して説明されることになる。プロセス400を、図1で説明された受信デバイス108などの受信デバイスの動作の一部分として使用することができる。ステップ402で、他のコンテンツに加えて所望のビットストリーム(例えばビットストリーム232)も含んでいる信号が、伝送ネットワークから受信される。信号およびコンテンツを、図1で説明された放送系列の管理プログラム104などのネットワークサービスプロバイダによって供給することができ、受信器234などの入力信号受信器で受信される。所望のビットストリーム232などのビットストリームを含むコンテンツを、記憶デバイス237などの記憶デバイス、またはデジタル多用途ディスク(DVD)もしくは他の媒体などの他の媒体デバイスから供給することができる。
ステップ404で、受信された入力信号が、複数のビットストリームへと分離される。必要に応じて、所望のビットストリーム232からの第1および第2のビットストリームのそれぞれが、適切なデコーダに供給される。ステップ404は、ビットストリームが合成画像を含んでいるかどうかということに関する判断を含むことができる。ビットストリームが合成画像を含んでいる場合には、ビットストリームは、H.264/MPEG−4 Part 10、AVCまたは他の類似の圧縮復号プロセスなどの1つまたは複数のビデオ圧縮復号アルゴリズムによって復号されることになる。ステップ404における復号が、1/2解像度の合成された左眼画像および右眼画像を生成する。ステップ406で、分離されたビットストリームのうちの1つが最大解像度の左眼画像を含んでいると、類似の復号が行なわれる。ステップ406における復号は、ステップ404で説明されたものと類似のビデオ圧縮復号アルゴリズムを使用することができる。
ステップ408で、ビデオコンテンツを表示するのに使用されている表示デバイスのタイプが判断される。一実施形態では、表示デバイスは、オーディオ/ビデオインターフェース252などのオーディオ/ビデオインターフェースを介してセットトップボックス204に結合される。オーディオ/ビデオインターフェース252は、光の三原色(RGB)などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース(HDMI)などのデジタルインターフェースとすることができる。表示デバイスを、セットトップ204の中の受信要素および処理要素と一体化することもできる。ステップ408における判定を、表示デバイス識別プロセスによって自動的に遂行される、またはユーザによって選択することができる。
ステップ408で判定されたディスプレイのタイプに基づいて、次いで、ステップ410で、表示デバイスに適切な出力信号が供給される。一実施形態では、ステップ408および410は、コントローラ254およびセレクタ250によって遂行される。例えば、コントローラ254は、オーディオ/ビデオインターフェース252に3D表示デバイスが結合されていると判断した場合には、3Dの1/2解像度の出力242を、セレクタ250を介してオーディオ/ビデオインターフェース252に送ることになる。コントローラ254は、オーディオ/ビデオインターフェース252に2Dの表示デバイスが結合されていると判断した場合には、2Dの最大解像度の出力248を、セレクタ250を介してオーディオ/ビデオインターフェース252に送ることになる。あるいは、ステップ408および410を、オーディオ/ビデオインターフェース22またはデコーダ238および244などの他の要素を使用して遂行することができる。上記の処理は、入力信号受信器で受信した信号または記憶デバイス237から取り戻したコンテンツから始めることができることも理解されたい。
次に、図5に移って、従来の3次元(3D)放送、従来の2D放送および最大解像度の3D放送向けのシステムの実施形態のブロック図が示されている。システム500は、ビデオコンテンツを符号化して放送するための送信器502と、例えばセットトップボックス、ゲートウェイ、またはビデオコンテンツを受信し、復号して、表示デバイスに供給するための他のネットワークインターフェースデバイスといった受信デバイス504とを含む。受信デバイス504を、携帯情報端末、タブレット、または携帯電話などのモバイルデバイスにも含むことができる。以下で説明されることを除けば、送信器502および受信デバイス504の両方が、図2で説明されたシステム200と類似のやり方で動作し、相互に調和する。
送信器502は、立体画像対の最大解像度の右眼画像および最大解像度の左眼画像を取得する。最大解像度の右眼画像および左眼画像を、コンテンツソースから、または上記で説明された、いくつかの他のやり方で、供給することができる。右眼画像と左眼画像が、合成回路511で単一画像へと合成されて、サンプルレートコンバータ510に供給される。サンプルレートコンバータ510は、合成画像の水平方向のサンプルレートを、元の水平方向のサイズの2分の1に変換する。
サンプルレートコンバータ510の出力端は、変換された画像518をエンコーダ520に供給する。エンコーダ520は、上記で説明されたアルゴリズムなどの1つまたは複数のビデオ圧縮アルゴリズムを用いて、画像を符号化する。さらに、取得された最大解像度の左眼画像がエンコーダ524に供給され、前述のように1つまたは複数のビデオ圧縮アルゴリズムを用いて符号化される。エンコーダ520の出力が第1のビットストリーム522として識別され、エンコーダ524の出力が第2のビットストリーム526として識別されて、これらが出力信号プロセッサ528に供給される。信号プロセッサ528の出力は、コントローラ530の制御下で動作する。コントローラ530は、各ビットストリームに対して、パケットIDまたは他のストリーム識別子を設定し、出力信号プロセッサ528は、第1のビットストリーム522と第2のビットストリーム526を、パケットIDまたは他のストリーム識別子とともに単一ビットストリーム532へと合成する。出力信号プロセッサ528が、ビットストリーム532を含む出力信号を供給し、これが送信器502から受信デバイス504に伝送される。さらに、コントローラ530はプログラムガイドを形成し、これも受信デバイス504に伝送される。
プログラムガイドは、パケットIDまたは出力ストリーム532に関する他の情報、ならびに受信デバイス504に伝送される他のビットストリームに関する情報を含むことができる。プログラムガイドは、受信デバイス504に対して、ビットストリーム532ならびに出力信号の一部分として含まれて伝送されたその他のビットストリームに何が含まれているか通知するのに使用される。プログラムガイドを、個別のビットストリームとして伝送することができる、または出力ビットストリーム532に添付することができる。
受信デバイス504は、ビットストリーム532を処理し、プログラムガイドに基づいてコンテンツを分離する。受信デバイス504は、オーディオおよびビデオのコンテンツの記録および再生用の、ハードディスクまたは光ディスクドライブなどの記憶デバイスを含むことができる。処理されたコンテンツは、図1で説明された表示デバイス114などの表示デバイスに供給される。表示デバイスは、従来型の2Dタイプのディスプレイとすることができ、あるいは先進の3Dディスプレイとすることもできる。受信デバイス504を、表示デバイス自体を含む他のシステムの中に組み込むことができる。いずれの場合も、システムの完全な動作に必要ないくつかの構成要素が、当業者には周知であるため、簡潔さのために示されていない。
受信デバイス504では、ビットストリーム532などのコンテンツを含む受信信号が、入力信号受信器534に受信される。入力信号受信器534は、無線、ケーブル、衛星、イーサネット(登録商標)、ファイバおよび電話線のネットワークを含む、いくつかの可能なネットワークのうちの1つによって供給される信号の受信、復調、および復号に用いられるいくつかの既知の受信器回路のうちの1つとすることができる。所望の入力信号は、制御インターフェース(図示せず)を介して供給されるユーザ入力に基づいて、入力信号受信器534で選択して取得され得る。入力信号受信器534からの出力信号は、入力ストリームプロセッサ536に供給される。入力ストリームプロセッサ536は、信号選択および処理を遂行して、第1のビットストリームと第2のビットストリームのどちらをデコーダ538またはデコーダ544のいずれかの適切なデコーダに送るべきか判断する。入力ストリームプロセッサ536は、第1のビットストリームと第2のビットストリームを、送信器502によって送られたプログラムガイド情報、パケットIDの識別子、またはビットストリーム532などの受信したビットストリームに関する他のストリーム識別子に基づいて識別し、かつ区別する。さらに、入力ストリームプロセッサ536は、前述のように、必要に応じて、受信したビットストリームを記憶デバイス537に送ることができる。
前述のように、入力ストリームプロセッサ536は、ビットストリームを分離して、識別または区別がなされたら、デコーダ538またはデコーダ544のいずれかの適切なデコーダに対して第1のビットストリームおよび第2のビットストリームのうちの1つを供給することになる。一実施形態では、入力ストリームプロセッサ536が、ビットストリームに合成画像のビットストリーム(例えばビットストリーム522)が含まれていると判断すると、次いで、合成画像のビットストリームがデコーダ538に送られることになる。デコーダ538は、H.264/MPEG−4 Part 10、Advanced Video Coding(AVC)または他のアルゴリズムによるビデオ圧縮アルゴリズムを用いて、合成画像ビットストリームを復号する。デコーダ538は、1/2解像度の左眼画像と右眼画像の合成画像540である3Dの1/2解像度の出力像信号542を生成する。3Dの1/2解像度の出力542は、コントローラ554によって制御されているセレクタ550に供給される。セレクタ550およびコントローラ554の動作は、図2に関連して上記で説明されたセレクタおよびコントローラに類似である。
入力ストリームプロセッサ536が、最大解像度の左眼画像(例えばビットストリーム526)を含むビットストリームが受信信号の一部分として供給されたものであると判断する、識別する、または区別すると、このビットストリームはデコーダ544に供給される。デコーダ544では、左眼画像546がH.264/MPEG−4 Part 10、AVCまたは他の復号プロセスによって復号されて、2Dの最大解像度の出力信号548(左眼画像)を生成する。デコーダ544からの2Dの最大解像度の出力信号548も、デコーダ538の出力と同様に、コントローラ554によって制御されているセレクタ550に送られる。
3Dの1/2解像度の出力信号542の1/2解像度の右眼画像部分も、サンプルレートコンバータ556に供給される。サンプルレートコンバータ556は、画像の右眼部分の水平方向のサンプルレートをアップコンバートして最大解像度に戻す。あるいは、3Dの1/2解像度の出力信号542の全体をサンプルレートコンバータ556に供給することができる。サンプルレートコンバータ556は、右眼画像部分をアップコンバートしないうちは、信号の左眼画像部分を棄却するように動作することができる。アップサンプリングされた右眼画像は、1080iの水平分割画像または720pの垂直分割画像とすることができる。アップコンバートされた右眼画像信号は、2Dの最大解像度の出力信号548とともに、デコーダ544から合成回路557に供給される。合成回路557は、アップコンバートされた右眼画像を最大解像度の左眼画像と組み合わせて、左右の最大解像度の出力信号558を生成する。この最大解像度の出力信号は、コントローラ554によって制御されているセレクタ550にも供給される。
サンプルレートコンバータ556において、3Dの1/2解像度の出力信号542の右眼画像部分に対して遂行されるアップコンバージョンに基づいて、2Dの最大解像度の出力信号548においても何らかの形式のサンプルレート変換を遂行できることに留意することが重要である。例えば、2Dの最大解像度の出力信号548は1080iフォーマットとすることができ、一方、アップコンバートされた右部分の信号は720Pとすることができる。これらの画像を一致させるために、2Dの最大解像度の出力信号548のサンプルレートを1080iから720Pへと変換する必要があり得る。サンプルレートの変換を、デコーダ544または別個のサンプルレートコンバータ(図示せず)で遂行することができる。
3Dの1/2解像度の出力信号542の左眼画像部分の追加のサンプルレート変換も、右眼画像部分とともにサンプルレートコンバータ556で遂行することができるが、左眼画像用に2Dの最大解像度の出力信号548を用いると、より高画質の画像がもたらされる。サンプルレートの変換プロセスが、画像エラーまたは歪みなどの顕著なアーチファクトをもたらすことがある。これらのアーチファクトが右眼画像にしか存在し得ないので、2Dの最大解像度の出力信号548を用いることにより、視聴者がサンプルレート変換のアーチファクトに気付きにくくなるはずである。
コントローラ554は、オーディオ/ビデオインターフェース552を介して受信デバイス504に結合された表示デバイスのタイプを求める。オーディオ/ビデオインターフェース552は、光の三原色(RGB)などのアナログ信号のインターフェースまたは高解像度マルチメディアインターフェース(HDMI)などのデジタルインターフェースとすることができる。コントローラ554は、オーディオ/ビデオインターフェース552と通信して、2Dの表示デバイス、3Dの従来の表示デバイスまたは3Dの最大解像度の表示デバイスがオーディオ/ビデオインターフェース552に接続されているかどうかということに関する情報をオーディオ/ビデオインターフェース552から受信する。コントローラ554は、表示デバイスのタイプに基づいて、セレクタ550を、適切な出力信号を出力させるように制御する。例えば、コントローラ554が、従来の3D表示デバイスはオーディオ/ビデオインターフェース552に結合されていると判断した場合には、3Dの1/2解像度の出力542が、セレクタ550を介してオーディオ/ビデオインターフェース552に送られることになる。コントローラ554が、2Dの表示デバイスはオーディオ/ビデオインターフェース552に結合されていると判断した場合には、2Dの最大解像度の出力548が、セレクタ550を介してオーディオ/ビデオインターフェース552に送られることになる。コントローラ554が、3Dの最大解像度の表示デバイスはオーディオ/ビデオインターフェース552に結合されていると判断した場合には、3Dの最大解像度の出力558が、セレクタ550を介してオーディオ/ビデオインターフェース552に送られることになる。上記の処理は、入力信号受信器で受信された信号または記憶デバイス537から検索されたコンテンツから始まり得ることを理解されたい。
次に、図6に移って、従来の3D放送、従来の2D放送および最大解像度の3D放送を符号化するための例示的プロセス600のフローチャートが示されている。プロセス600を、主として図5で説明された送信器502に関して説明することになるが、図2で説明された送信器202に関して同様に説明することができる、または図1で説明された放送系列会社の管理プログラム104に見られる技術に含むこともある。ステップ602で、最大解像度の右眼画像が取得される。同様に、ステップ604で、最大解像度の左眼画像が取得される。右眼画像および左眼画像を、立体画像対を形成し、図1で説明されたコンテンツソース102などのコンテンツソースから供給することができる。さらに、2つの画像のうちの1つを、2D画像および2D−3Dの処理技法を用いて、送信器502などの送信器デバイスによって生成することができる。ステップ606で、右眼画像および左眼画像のそれぞれが、各画像の水平方向のサンプルレートを元の水平方向のサイズの2分の1に変更することによって変換される。次に、ステップ608で、2分の1サイズの右眼画像と2分の1サイズの左眼画像が、単一画像へと合成される。2分の1サイズの各画像が、一般に、画像信号の最大水平幅の2分の1を占めることに留意することが重要である。あるいは、各1/2サイズ画像が、格子縞パターンなど、画像信号全体にわたるパターンで散在することができる。
ステップ602およびステップ604で最初に受信した画像信号に関する表示フォーマット次第で、結果として得られる単一画像をできるだけ高度な表示フォーマットで再フォーマットするために、サンプルレートを調節すると有利となり得ることに留意することが重要である。例えば、元の左眼画像および右眼画像が720pのフォーマットであれば、ステップ606におけるサンプルレート変換およびステップ608における合成は、1080pのフォーマットの合成された単一画像を形成するように遂行するべきである。結果として、受信デバイス504などの受信器用に使用するために、合成画像信号のためのできるだけ高いビデオ品質を維持して伝送する。
ステップ610で、合成画像が、次いでビデオ圧縮符号化アルゴリズムを用いて符号化されて、第1の符号化されたビットストリームを形成する。一実施形態では、合成画像を、H.264/MPEG−4 Part 10、AVCまたは何らかの類似の圧縮アルゴリズムによって符号化することができる。ステップ612で、ステップ604からの最大解像度の左眼画像が、ステップ610で説明されたのと類似のビデオ圧縮符号化アルゴリズムを用いて符号化されて、第2の符号化されたビットストリームを形成する。
次に、ステップ614で、プログラム情報のうちの1つまたはセグメント(例えばビット、バイト、パケット)を形成するために、第1のビットストリームおよび第2のビットストリームに関する情報が取得されて処理される。また、ステップ614では、第1のビットストリームと第2のビットストリームが合成されて単一の信号またはビットストリームを形成し、第1のビットストリームおよび第2のビットストリームに関する情報が単一ビットストリームに添付される。一実施形態では、この情報は、プログラムの識別子(PID)として添付される。単一ビットストリーム用のPIDを他のビットストリームからのPIDと組み合わせて、別個のプログラムガイドビットストリームを形成することができる。最後に、ステップ616で、単一ビットストリームを含んでいる出力信号が伝送される。この出力信号を、図1で説明された配信ネットワーク106などの配信ネットワークによって、伝送信号として伝送することができる。以前に説明されたように、伝送ステップ616は、信号を伝送するのに必要な追加の信号処理も含むことができる。この出力信号は、プログラムガイドストリームなどの追加情報に加えて他のビットストリームも含むことができる。プログラムガイド情報を、個別のビットストリームとして形成するのでなく、単一ビットストリームに添付することができることに留意することが重要である。
次に、図7に移って、従来の3D放送、従来の2D放送および最大解像度の3D放送を復号するための例示的プロセス700のフローチャートが示されている。プロセス700は、主として図5で説明された受信デバイス504に関して説明されることになるが、図2で説明された受信器204に関して同様に説明され得る。プロセス700を、図1で説明された受信デバイス108などの受信デバイスの動作の一部分として使用することができる。ステップ702で、ビットストリームの中に他のコンテンツに加えて所望のビデオコンテンツを含んでいる信号が、伝送ネットワークから受信される。信号およびコンテンツを、図1で説明された放送系列の管理プログラム104などのネットワークサービスプロバイダによって供給することができ、受信器534などの入力信号受信器で受信される。ビットストリームを含むコンテンツも、記憶デバイス237などの記憶デバイスまたはデジタル多用途ディスク(DVD)もしくは他の媒体などの他の媒体デバイスから供給することができる。
ステップ703で、受信された入力信号が、複数のビットストリームへと分離される。分離ステップ703は、第1のビットストリームの、合成された1/2解像度の3Dビデオ画像としての判定および識別、ならびに第2のビットストリームの、最大解像度の2Dの左眼画像としての識別など、個々のビットストリームの識別を含む。また、分離ステップ703は、識別された第1および第2のビットストリームのそれぞれを、所望のビットストリームから適切なデコーダへ供給する。ステップ703における判定および識別に基づいて、ステップ704で、1/2解像度の3Dビデオ信号である第1のビットストリームが、H.264/MPEG−4 Part 10、AVCまたは他の類似の圧縮復号プロセスなどの1つまたは複数のビデオ圧縮復号アルゴリズムによって復号される。1/2解像度の3D信号は、分割スクリーン3Dビデオ信号または格子縞ビデオ信号を含むいくつかのフォーマットとすることができる。ステップ704における復号が、1/2解像度の合成された左眼画像および右眼画像を生成する。ステップ706で、2Dの最大解像度の画像信号である第2のビットストリームに対して、類似の復号が行なわれる。ステップ706における復号は、ステップ704で説明されたものと類似のビデオ圧縮復号アルゴリズムを使用することができる。
ステップ708で、1/2解像度の合成画像信号の右眼画像部分は、全サイズで最大解像度の右眼画像信号を生成するように変換されたサンプルレートである。右眼画像信号は最大解像度の信号であるが、このサンプルレート変換が、最大解像度の右眼画像に対して画像アーチファクトを導入するはずであることが理解される。ステップ710では、ステップ708で生成された、復号して変換された最大解像度の右眼画像と復号された最大解像度の左眼画像が、単一の最大解像度の3D出力信号へと合成される。ステップ710からの単一の最大解像度の3D出力信号、ステップ704からの1/2解像度の3D出力信号、およびステップ706からの最大解像度の2Dの(左眼)出力信号が利用可能で表示用に供給されることに留意することが重要である。
次に、ステップ712で、上記に生成された出力信号のうちの1つを表示するのに使用される表示デバイスのタイプが判定される。一実施形態では、表示デバイスは、オーディオ/ビデオインターフェース552などのオーディオ/ビデオインターフェースを介して受信デバイス504に結合される。ステップ712における判定を、表示デバイス識別プロセスを介して自動的に遂行することができ、またはユーザによって選択することもできる。一実施形態では、2Dの表示デバイスが使用される場合には、最大解像度の2D出力信号が選択される。3Dの表示デバイスが使用される場合には、1/2解像度の3D解像度出力信号または最大解像度の3D出力信号のいずれかが選択される。1/2解像度または最大解像度の3D出力信号の選択を、ユーザによるユーザインターフェースの選択によって行うことができる。別の実施形態では、ステップ703で最大解像度の3D出力信号が利用可能であると判断されれば、最大解像度の3D出力信号が常に選択される。
ステップ712で判定されたディスプレイのタイプに基づいて、次いで、ステップ714では、2Dの最大解像度の左眼画像信号、1/2解像度の3Dの左眼画像および右眼画像の信号、または最大解像度の3Dの左眼画像および右眼画像の信号のいずれかである選択された出力信号が表示デバイスに供給される。
システム500、プロセス600、およびプロセス700は、1/2解像度の3Dの左眼画像および右眼画像の信号で動作すると説明されているが、他の、部分的な、または低減された解像度の3D信号も用いられ得ることに留意することが重要である。例えば、(1/2以外の)低減された解像度の左眼画像および(1/2以外の)低減された解像度の右眼画像を含む3D信号を、右眼画像の解像度とは異なる左眼画像の解像度を有して使用することができる。
プロセス700の特定のステップを、特定の実装形態に基づいて変更または省略することができる。例えば、ディスプレイ判定ステップ712を、復号ステップ704および706に先立って遂行することができる。使用される表示デバイスのタイプに基づいて、一方または他方の復号ステップを、省略することができる、または無効することができる。
従来の3次元(3D)放送、従来の2D放送および最大解像度の3D放送のためのシステムおよび方法が説明されてきた。受信デバイス504が、左眼画像用の従来の2Dの放送および従来の3Dの分割スクリーン放送を復号することになる。最大解像度の右眼画像は、従来の3Dの分割スクリーン放送の右半分をスケーリングすることによって形成される。このように、新規の圧縮技術を必要とすることなく、最大解像度の3Dを提供することができる。
前述のように、図2〜図7の実施形態は、3D放送に用いられるビットストリームを受信して処理することに関するものであり、合成された2つの別々のビットストリームを含んでいるデータ信号を受信するステップを含む。第1のビデオ信号は、第1のビデオ解像度で2次元画像を表し、第2のビデオ信号は、第2の解像度で3次元画像を表す。この実施形態には、出力表示方式が2次元表示方式であれば第1のビデオ信号を復号し、出力表示方式が第1の3次元表示方式であれば第2のビデオ信号を復号し、出力表示方式が第2の3次元表示方式であれば第1のビデオ信号および第2のビデオ信号を同時に復号することも含まれる。
図2〜図7の実施形態は、受信した信号を処理して3Dのビデオ出力を供給することにも関する。この実施形態は、第1のビデオ解像度で2次元画像を表す第1のビデオ信号および第2の解像度で3次元画像を表す第2のビデオ信号を含む信号を受信するステップと、ビデオコンテンツを見るための表示デバイスのタイプを判定するステップと、第1のビデオ信号を復号するステップと、第2のビデオ信号を復号するステップと、表示デバイスに出力信号を供給するステップであって、表示デバイスのタイプが3次元表示デバイスである場合には、出力信号が、第1の復号されたビデオ信号と第2の復号されたビデオ信号の一部分の組合せとを含むステップとを含む。
別の実施形態では、受信デバイスにおけるユーザが調整可能な視差マップのためのシステムおよび方法が提供される。このシステムおよび方法は、受信して復号された1対の立体画像、すなわち右眼画像と左眼画像の稠密な視差マップの生成を支援するために、受信デバイスにおいてH.264エンコーダを使用する。2つの画像は、時間的に連続して並んでエンコーダを通り、動きベクトルなどの符号化情報を生成する。もたらされる動き情報は、立体画像セットにおける画像深さの調節のためのユーザ制御として用いることができる視差マップを生成するのに用いられる。信号伝送に立体画像の送信が含まれていても深さマップの伝送が省略されている場合には、このようなシステムが役に立つ。
次に図8に移ると、稠密な視差マップを生成するための受信デバイス800の例示的実施形態が示されている。図2および図5に関して上記で説明されたものに類似の要素は、以下の説明以外は詳細には説明されないことを理解されたい。例えば、入力信号受信器834、入力ストリームプロセッサ836、記憶デバイス837、デコーダ838および844、ならびにサンプルレートコンバータ856は、実質的に上記で説明されたように動作して、3Dの1/2解像度の出力842、2Dの最大解像度の出力848および3Dの最大解像度の出力858をセレクタ850に供給する。
受信デバイス800は、セレクタ850の出力に結合されたエンコーダ860をさらに含む。エンコーダ860は、メモリ862にも結合される。コントローラ854は、メモリ862に加えてエンコーダ860にも結合される。コントローラ854には、ユーザインターフェース870が結合されている。
動作においては、セレクタ850が、3Dの1/2解像度の信号842または3Dの最大解像度の信号858のいずれかを出力すると、エンコーダ860は、復号された対の左眼画像および右眼画像を受信して、メモリ862の一部分として示されている符号化画像バッファ864に記憶する。エンコーダ860は、左眼画像を、IDR(instantaneous decode refresh)フレームとしても知られている参照画像に設定する。エンコーダ860は、参照画像を、4ピクセル×4ピクセル(4×4)の動きブロックを選択するように配分し、Pフレームの一方向予測を用いて右眼画像の各4×4のサブブロックに関する動きベクトルを生成する。4ピクセル×4ピクセルのブロックの使用は、標準的技法に基づくものであることに留意することが重要である。しかし、他のブロックサイズも、結果として対応するレベルの差を伴って使用することができる。各4×4ブロックに対する動きベクトルは、符号化画像バッファ864に記憶された右眼画像を符号化するのに用いられる。符号化プロセスの所望の出力が、実際の符号化画像ではなく動きベクトルであるので、動きベクトルは、符号化された画像信号から抽出されて、メモリ862の一部分としても示される動きベクトルバッファ866に記憶される。この情報は、動きベクトルを生成して動きベクトルバッファ866に記憶するのに続いて、符号化画像バッファ864に記憶される。必要に応じて、エンコーダ860は、次の画像対を符号化するために、画像対がすべて処理されるまで画像信号の残存部分を処理する。
符号化画像バッファ864および動きバッファ866は、単一の共用メモリデバイス862上に存在でき、または分離した個々のバッファとすることができることを理解されたい。単一の共用メモリデバイス862を有する図8の実施形態では、アービタ863が含まれる。アービタ863は、メモリ862の共用メモリエレメントに対するアクセスを調停する、または管理する。図8には、メモリデバイス862にアクセスするクライアントが2つ(すなわちエンコーダ860およびコントローラ854)しか示されていないが、最も実用的なシステムでは、いくつかの独立したクライアントのすべてが、メモリデバイス862などの同一のメモリデバイスにアクセスしようとする。他の実施形態では、メモリアクセスを、個々に制御することができ、コントローラ854に類似のコントローラによって制御することができる。アービタ863の機能は、各クライアントが、機能ユニットのそれぞれに割り当てられたタスクを達成するために、割り当てられた優先レベルで、十分な帯域幅を有して、十分短い待ち時間でアクセスするように計らうことである。
動きベクトルバッファ866に記憶された信号は、あらゆる生成された動きベクトルのあらゆる垂直成分を除去するようにフィルタリングされる。フィルタリングされた結果は、4ピクセル×4ピクセルの画像領域の画像レベルの粒状度を有する左眼画像と右眼画像との間の水平方向の差異の指標として用いられる。数値入力または他の何らかの定量化可能な差の指標として表される、このフィルタリングされた結果は、メモリデバイス862の一部分としても示されている視差バッファ868に記憶される。上記の機能は、エンコーダ860によって遂行されるものと説明、記述されているが、これらの機能の1つまたは複数は、コントローラ854または固定機能のハードウェアもしくはハードウェアとソフトウェアの組合せによっても実施され得ることを理解されたい。
視差バッファ868に記憶された水平方向の差異値の配列を、水平方向に隣接した差異値の間の差を考慮に入れることによってさらに(例えば空間的に)フィルタリングすることができる。例えば、すぐ左に4×4の画像ブロックAがあって、すぐ右に4×4の画像ブロックCがある4×4の画像ブロックBを考える。ブロックAにおける左眼画像と右眼画像の間の差異が6であり、ブロックBにおける左眼画像と右眼画像の間の差異が4であって、ブロックCにおける左眼画像と右眼画像の間の差異が2であると、差異における漸進的移行が、画像対における左の空間的位置から右の空間的位置への進行の関数として示される。この移行が滑らかであると想定すると、コントローラ854は、4×4の画像ブロックBにわたって、一番左のピクセルに4と6間の差異を割り当て、一番右のピクセルに4と2の間の差異を割り当てることにより、補間することができる。この実例は、左眼画像および右眼画像に対して1つの4×4の領域しか考えない、または組み込んで処理していないが、どちらの方向の領域もさらに組み込む他のフィルタが使用され得る。また、ピクセルレベルの粒状度を有する視差マップを形成し、かつ処理するために、同一のフィルタ原理を垂直方向に適用とすることができる。
必要に応じて、エンコーダ860あるいはコントローラ854は、オクルージョンマップ(occlusion map)を生成する。水平方向または垂直方向に隣接した4×4のブロック間の差異値における急激な変化は、立体画像対における近視野の対象と遠視野の対象の間のエッジの存在の指標を与える。これらのエッジでは、一般的には、左眼が、右眼の視野から遮蔽された近視野の対象の一部分を見ることができ、同様に、左眼に対して遮蔽されている対象の一部分が右眼に見えることになる。これら左眼と右眼の間の視野の目に見える相互排他性の領域は、差異ベクトルの処理中に検出され得るオクルージョンを形成し、後の画像処理ステップに信号伝達される。後の画像処理ステップにおいて、これらの遮蔽された領域には、全体像に適用される処理と別の処理を適用することが有利であり得る。ともに、上記で説明されたピクセルレベルの視差マップとオクルージョンマップは、稠密な視差マップを形成する。ピクセルレベルの視差マップとオクルージョンマップから稠密な視差マップを生成するのに、当技術分野で既知のいくつかの技法があることを理解されたい。
立体ビデオ信号の稠密な視差マップにより、立体画像対の中のすべてのピクセル対の収束深さが明らかになる。この情報が分かって識別されると、受信デバイス800は、ビデオとグラフィックスとの間の不愉快な深さ競合を回避するために、画像グラフィックスにおいてオーバーレイを示すことができるやり方および位置を判定することができる。また、稠密な視差マップは、受信デバイス800が、差異およびオクルージョンを認識しているスケーリングアルゴリズムを立体画像対の一方または両方に適用して、感知された立体画像の3D深さを変更するのを可能にするために用いることができる。これによって、受信デバイス800は、ユーザに制御された3D深さなどの特徴を実施することができる。
差異およびオクルージョンを認識しているスケーリングを用いる深さスケーリングにより、立体画像対で感知される深さの範囲を簡単に変更することが可能になる。例えば、画像の深さの範囲は、画像表示面の平面の後ろの最も遠い対象と画像表示面の平面の前の最も遠い対象との間の感知された距離として識別され得る。この深さの範囲は、目に見える立体的な「体積」を表す。一実施形態では、ユーザは、ユーザインターフェース870を介した上げ/下げ制御などの簡単なユーザ制御で、この目に見える立体的な「体積」を制御することができる。この制御を、立体画像の深さの感知される範囲を増減させるのに使用することができる。ユーザインターフェース870は、遠隔制御装置、受信デバイス804上に配置された複数のボタン、受信デバイス804が生成して表示デバイスに表示されたユーザの好みのスクリーンなどを含むがこれらに限定されない任意の既知のユーザインターフェースとすることができる。したがって、受信デバイス804に稠密な視差マップを生成することにより、ユーザ制御の深さスケーリングを実現することができる。
図9に移って、稠密な視差マップを生成する例示的プロセス900の流れ図が示されている。プロセス900の各ステップを、受信デバイス800で遂行することができる。プロセス900の各ステップを、図2で説明された受信器204または図5で説明された受信デバイス504などの他の受信器またはセットトップボックスデバイスで同様に遂行することができる。ステップ902で、復号された左眼画像と右眼画像の対が、信号の一部分として受信される。復号された左眼画像と右眼画像の対は、セレクタによって供給され、1/2解像度の3D画像信号または最大解像度の3D画像信号とすることができる。さらに、最大解像度の3D画像信号は、前述のように、1/2解像度の3D画像信号のサンプルレートを変換した部分を含むことができる。ステップ902は、これらの画像を、符号化画像バッファ864などのメモリに記憶するステップも含むことができる。
ステップ904で、左眼画像が、参照画像すなわちIDRに設定される。いずれの画像も参照画像として設定され得るが、前述のように、左眼画像が最大解像度の画像であり、したがって、参照画像における画像アーチファクトの存在が低減され、または除去されるので、左眼画像を用いるのが有利である。次に、ステップ906で、動きブロックのサイズおよび配分が選択される。前述のように、動きブロックのサイズは4×4のピクセルとすることができるが、他のブロックサイズも可能である。ステップ908で、左眼画像を参照しながら右眼画像の対応するサブブロックのそれぞれに対するPフレームの一方向予測を用いて、動きベクトルが生成される。次に、ステップ910で、各サブブロックに対して生成された動きベクトルが、右眼画像を符号化するのに用いられる。ステップ912で、ステップ908および910からの動きベクトルの最後の組が、動きベクトルバッファ866などのメモリに記憶される。プロセス900では、こうして説明されたように、左眼画像および右眼画像が、あたかも空間的にではなく時間的に存在するかのように処理される。換言すれば、左眼画像と右眼画像は同時に見えるように意図されているが、動き処理は、左眼画像と右眼画像があたかも時間的に連続して起こるかのように遂行される。
上記で説明された符号化プロセスのステップの所望の出力が、実際の符号化画像ではなく動きベクトルであるので、ステップ914で、符号化された画像を記憶するメモリ(例えば符号化画像バッファ864)の内容が、廃棄される、または消去される。プロセス900は、ステップ914からステップ904に戻って、画像対がすべて符号化され、動きベクトルが処理されるまで、あらゆる残りの画像の対または部分を符号化する。
次に、ステップ916で、動きベクトルのフィルタリングの組によって、粒状の視差マップが生成されて記憶される。粒状の視差マップは、画像レベルの粒状度がステップ906で選択されたサブブロックサイズに等しい、左眼画像と右眼画像との間の水平方向の差異の指標である。一実施形態では、1組の3つの連続的に配置された動きサブブロックに関する各動きベクトルが、隣接した差異値を判定するために、比較して定量化される。次いで、ステップ920で、ピクセルレベルの視差マップを判定するために、水平方向の差異値の配列が、水平方向に隣接した差異値の間の差の値を考慮に入れてさらにフィルタリングまたは補間され、上記で説明されたのと類似のやり方で垂直方向にさらに補間される。
次に、ステップ922で、オクルージョンマップが生成される。上記で論じたように、水平方向または垂直方向に隣接したブロック間の差異値のいかなる変化も、立体画像対の中の近視野の対象と遠視野の対象との間のエッジの指標とすることができる。オクルージョンマップを、ステップ912で記憶された元の動きベクトル、またはステップ916および/または920で生成された視差マップのいずれかを用いてステップ922で生成することができる。後者では、オクルージョンマップは、動きベクトルを、エッジの存在を強化するやり方でフィルタリングする、または補間することにより、動きベクトルから生成することができる。最後に、ステップ924で、ステップ920で生成されたピクセルレベルの視差マップとステップ922で生成されたオクルージョンマップを組み合わせて、稠密な視差マップを形成する。ピクセルレベルの視差マップとオクルージョンマップから稠密な視差マップを生成するのに、当技術分野で既知のいくつかの技法があることを理解されたい。前述のように、稠密な差異を、ユーザが調整可能な3D画像の深さ範囲などの特徴を可能にするために使用することができる。
図8および図9で説明された実施形態は、受信デバイスにおける稠密な視差マップの生成に関するものである。この実施形態は、所望のビットストリームを含んでいる信号を受信するステップを含む。所望のビットストリームは、2Dの最大解像度の画像信号を、単一の左眼画像または右眼画像、および3Dの部分的な、または低減された解像度の左眼画像および低減された解像度の右眼画像を含んでいる低減された(例えば1/2)解像度の画像信号として表す1つまたは複数のビットストリームをさらに含み、また、同ビットストリームへと分離されることができる。これらのビットストリームは、最大解像度または低減された解像度で左眼画像および右眼画像を有する信号を生成するために復号される。この実施形態は、左眼画像を参照画像として符号化するステップと、参照画像としてコード化された左眼画像を用いて右眼画像を予測的にコード化するステップと、右眼画像を符号化する間に生成された動き指標を取得するステップと、動き指標を用いて左眼画像と右眼画像との間の稠密な視差マップを生成するステップとをさらに説明する。
本開示の教示を組み込む実施形態が、本明細書に示されて詳細に説明されてきたが、当業者なら、これらの教示を依然として組み込んでいる他の多くの様々な実施形態を容易に考案することができる。最大解像度の2Dビデオ、最大解像度の3Dビデオおよび1/2解像度の3Dビデオ(これらは例示となるように意図されており、限定するものではない)を符号化して放送するためのシステムおよび低帯域幅の方法の好ましい実施形態を説明してきたが、当業者なら、上記の教示の観点から、改良および変更が可能であることが留意される。したがって、添付の特許請求の範囲によって概説される、本開示の範囲内にある本開示の特定の実施形態において変更が可能であることを理解されたい。
本発明の好ましい実施形態を、以下に示す。
付記1.データ信号を受信するステップ(702)であって、前記データ信号は、第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2の解像度において3次元画像を表す第2のビデオ信号を含む、ステップと、
出力表示方式が2次元表示方式である場合には前記第1のビデオ信号を復号するステップ(706)と、
前記出力表示方式が第1の3次元表示方式である場合には前記第2のビデオ信号を復号するステップ(704)と、
前記出力表示方式が第2の3次元表示方式である場合には、前記第1のビデオ信号および前記第2のビデオ信号を同時に復号するステップ(706、704)と、
を含む、方法。
付記2.前記第1のビデオ信号は左眼画像を含む、付記1に記載の方法。
付記3.前記第2のビデオ信号は、低減された解像度の左眼画像信号および低減された解像度の右眼画像信号を含む、付記2に記載の方法。
付記4.前記第1の信号および前記第2の信号を復号する前記ステップは、前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させるステップ(708)を含む、付記3に記載の方法。
付記5.前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させる前記ステップ(708)は、前記低減された解像度の右眼画像を前記第1のビデオ信号の前記解像度へとスケーリングするステップを含む、付記4に記載の方法。
付記6.前記スケーリングされた右眼画像は、1080iの水平方向の分割された画像および720pの垂直方向の分割された画像のうち少なくとも1つである、付記5に記載の方法。
付記7.前記データ信号を受信する前記ステップおよび前記復号するステップは、セットトップボックスで遂行される、付記1に記載の方法。
付記8.コンテンツを処理するための装置であって、
データ信号(532)を受信する信号受信器(534)であって、前記データ信号は、第1のビデオ解像度において2次元画像を表す第1のビデオ信号(526)および第2の解像度において3次元画像を表す第2のビデオ信号(522)を含む、信号受信器と、
出力表示方式が2次元表示方式である場合には前記第1のビデオ信号(526)を復号し、前記出力表示方式が第1の3次元表示方式である場合には前記第2のビデオ信号(522)を復号し、前記出力表示方式が第2の3次元表示方式である場合には前記第1のビデオ信号および前記第2のビデオ信号(526、522)を同時に復号する少なくとも1つの復号器(538、544)と、
を備える、前記装置。
付記9.前記復号された信号を受信して表示デバイスに出力する前記少なくとも1つの復号器(538、544)に結合されたインターフェース(552)であって、前記出力表示方式を判定する、インターフェースをさらに含む、付記8に記載の装置。
付記10.前記第1のビデオ信号(526)は、少なくとも1つの左眼画像を含むことを特徴とする付記9に記載の装置。
付記11.前記第2のビデオ信号(522)は、1/2解像度の左眼画像および1/2解像度の右眼画像を含んでいる少なくとも1つの1/2解像度の分割スクリーン画像を含む、付記10に記載の装置。
付記12.前記第2のビデオ信号の一部分を、前記第1のビデオ信号の画像サイズと一致させるように変換するサンプルレートコンバータ(556)をさらに備える、付記11に記載の装置。
付記13.前記サンプルレートコンバータ(556)は、前記1/2解像度の右眼画像を、前記少なくとも1つの左眼画像の前記解像度へとスケーリングする、付記12に記載の装置。
付記14.コンテンツを処理するための装置であって、
第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2の解像度において3次元画像を表す第2のビデオ信号を含むデータ信号を受信する手段(534)と、
出力表示方式が2次元表示方式である場合には前記第1のビデオ信号を復号するための手段(554)と、
前記出力表示方式が第1の3次元表示方式である場合には前記第2のビデオ信号を復号する手段(538)と、
前記出力表示方式が第2の3次元表示方式である場合には前記第1のビデオ信号および前記第2のビデオ信号を同時に復号する手段(538、554)と、
を備える、前記装置。
付記15.前記第1のビデオ信号は少なくとも1つの左眼画像を含む、付記14に記載の装置。
付記16.前記第2のビデオ信号は、1/2解像度の左眼画像および1/2解像度の右眼画像を含んでいる少なくとも1つの1/2解像度の分割スクリーン画像を含む、付記14に記載の装置。
付記17.前記第1の信号および前記第2の信号を復号する前記手段(538、554)は、前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させる手段(556)を含む、付記14に記載の装置。
付記18.信号を処理する方法であって、
第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2の解像度において3次元画像を表す第2のビデオ信号を含む信号を受信するステップ(702)と、
ビデオコンテンツを見るための表示デバイスのタイプを判定するステップ(712)と、
前記第1のビデオ信号を復号するステップ(706)と、
前記第2のビデオ信号を復号するステップ(704)と、
前記表示デバイスに対して、表示デバイスのタイプが3次元表示デバイスである場合には前記第1の復号されたビデオ信号と前記第2の復号されたビデオ信号の一部分の組合せを含む出力信号を供給するステップ(714)と、
を含む、前記方法。
付記19.信号を処理するための装置であって、
第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2の解像度において3次元画像を表す第2のビデオ信号を含むデータ信号を受信するための手段(534)と、
ビデオコンテンツを見るための表示デバイスのタイプを判定する手段(554)と、
前記第1のビデオ信号を復号する手段(544)と、
前記第2のビデオ信号を復号する手段(538)と、
表示デバイスのタイプが3次元表示デバイスである場合には、前記表示デバイスに対して、前記第1の復号されたビデオ信号と前記第2の復号されたビデオ信号の一部分の組合せを含む出力信号を供給する手段(552)と、
を備える、前記装置。

Claims (19)

  1. データ信号を受信するステップであって、前記データ信号は、第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2のビデオ解像度において3次元画像を表す第2のビデオ信号を含み、前記第2のビデオ解像度は前記第1のビデオ解像度に対して低減されたビデオ解像度である、前記ステップと、
    出力表示方式が2次元表示方式である場合には前記第1のビデオ信号を復号するステップと、
    前記出力表示方式が前記第2のビデオ解像度を有する第1の3次元表示方式である場合には前記第2のビデオ信号を復号するステップと、
    前記出力表示方式が前記第1のビデオ解像度を有する第2の3次元表示方式である場合には、前記第1のビデオ信号および前記第2のビデオ信号を同時に復号するステップであって、前記第1の3次元表示方式は前記第2の3次元表示方式に対して低減されたビデオ解像度を有する、前記ステップと、
    を含む、方法。
  2. 前記第1のビデオ信号は左眼画像を含む、請求項1に記載の方法。
  3. 前記第2のビデオ信号は、低減されたビデオ解像度の左眼画像信号および低減されたビデオ解像度の右眼画像信号を含む、請求項2に記載の方法。
  4. 前記第1のビデオ信号および前記第2のビデオ信号を同時に復号する前記ステップは、前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させるステップを含む、請求項3に記載の方法。
  5. 前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させる前記ステップは、前記低減されたビデオ解像度の右眼画像を前記第1のビデオ信号の前記ビデオ解像度へとスケーリングするステップを含む、請求項4に記載の方法。
  6. 前記スケーリングされた右眼画像は、1080iの水平方向の分割された画像および720pの垂直方向の分割された画像のうち少なくとも1つである、請求項5に記載の方法。
  7. 前記データ信号を受信する前記ステップおよび前記復号するステップは、セットトップボックスで実行される、請求項1に記載の方法。
  8. コンテンツを処理するための装置であって、
    データ信号を受信する信号受信器であって、前記データ信号は、第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2のビデオ解像度において3次元画像を表す第2のビデオ信号を含み、前記第2のビデオ解像度は、前記第1のビデオ解像度に対して低減されたビデオ解像度である、前記信号受信器と、
    出力表示方式が2次元表示方式である場合には前記第1のビデオ信号を復号し、前記出力表示方式が前記第2のビデオ解像度を有する第1の3次元表示方式である場合には前記第2のビデオ信号を復号し、前記出力表示方式が前記第1のビデオ解像度を有する第2の3次元表示方式である場合には前記第1のビデオ信号および前記第2のビデオ信号を同時に復号する少なくとも1つのデコーダであって、前記第1の3次元表示方式は前記第2の3次元表示方式に対して低減されたビデオ解像度を有する、前記少なくとも1つのデコーダと、
    を備える、前記装置。
  9. 復号された前記第1のビデオ信号及び前記第2のビデオ信号を受信して表示デバイスに出力する前記少なくとも1つのデコーダに結合されたインターフェースであって、前記出力表示方式を判定する、前記インターフェースをさらに備える、請求項8に記載の装置。
  10. 前記第1のビデオ信号は、少なくとも1つの左眼画像を含む、請求項9に記載の装置。
  11. 前記第2のビデオ信号は、1/2解像度の左眼画像および1/2解像度の右眼画像を含んでいる少なくとも1つの1/2解像度の分割スクリーン画像を含む、請求項10に記載の装置。
  12. 前記第2のビデオ信号の一部分を、前記第1のビデオ信号の画像サイズと一致させるように変換するサンプルレートコンバータをさらに備える、請求項11に記載の装置。
  13. 前記サンプルレートコンバータは、前記1/2解像度の右眼画像を、前記少なくとも1つの左眼画像の前記ビデオ解像度へとスケーリングする、請求項12に記載の装置。
  14. コンテンツを処理するための装置であって、
    データ信号を受信する手段であって、前記データ信号は、第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2のビデオ解像度において3次元画像を表す第2のビデオ信号を含み、前記第2のビデオ解像度は、前記第1のビデオ解像度に対して低減されたビデオ解像度である、前記手段と、
    出力表示方式が2次元表示方式である場合には前記第1のビデオ信号を復号するための手段と、
    前記出力表示方式が前記第2のビデオ解像度を有する第1の3次元表示方式である場合には前記第2のビデオ信号を復号する手段と、
    前記出力表示方式が前記第1のビデオ解像度を有する第2の3次元表示方式である場合には前記第1のビデオ信号および前記第2のビデオ信号を同時に復号する手段であって、前記第1の3次元表示方式は前記第2の3次元表示方式に対して低減されたビデオ解像度を有する、前記手段と、
    を備える、前記装置。
  15. 前記第1のビデオ信号は少なくとも1つの左眼画像を含む、請求項14に記載の装置。
  16. 前記第2のビデオ信号は、1/2解像度の左眼画像および1/2解像度の右眼画像を含んでいる少なくとも1つの1/2解像度の分割スクリーン画像を含む、請求項14に記載の装置。
  17. 前記第1のビデオ信号および前記第2のビデオ信号を同時に復号する前記手段は、前記第2のビデオ信号の一部分を変換して、前記第1のビデオ信号の画像サイズと一致させる手段を含む、請求項14に記載の装置。
  18. 信号を処理する方法であって、
    第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2のビデオ解像度において3次元画像を表す第2のビデオ信号を含む信号を受信するステップであって、前記第2のビデオ解像度は、前記第1のビデオ解像度に対して低減されたビデオ解像度である、前記ステップと、
    ビデオコンテンツを見るための表示デバイスの方式を判定するステップと、
    前記第1のビデオ信号を復号するステップと、
    前記第2のビデオ信号を復号するステップと、
    前記表示デバイスの方式が、前記第1のビデオ解像度を有する2次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第1のビデオ信号を含む出力信号を供給するステップと、
    前記表示デバイスの方式が、前記第2のビデオ解像度を有する3次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第2のビデオ信号を含む出力信号を供給するステップと、
    前記表示デバイスの方式が、前記第1のビデオ解像度を有する3次元表示デバイスである場合には前記表示デバイスに対して、復号された前記第1のビデオ信号と復号された前記第2のビデオ信号の一部分との組合せを含む出力信号を供給するステップと、
    を含む、前記方法。
  19. 信号を処理するための装置であって、
    第1のビデオ解像度において2次元画像を表す第1のビデオ信号および第2のビデオ解像度において3次元画像を表す第2のビデオ信号を含むデータ信号を受信するための手段であって、前記第2のビデオ解像度は、前記第1のビデオ解像度に対して、低減されたビデオ解像度である、前記手段と、
    ビデオコンテンツを見るための表示デバイスの方式を判定する手段と、
    前記第1のビデオ信号を復号する手段と、
    前記第2のビデオ信号を復号する手段と、
    前記表示デバイスの方式が、前記第1のビデオ解像度を有する2次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第1のビデオ信号を含む出力信号を供給する手段と、
    前記表示デバイスの方式が、前記第2のビデオ解像度を有する3次元表示デバイスである場合、前記表示デバイスに対して、復号された前記第2のビデオ信号を含む出力信号を供給する手段と、
    前記表示デバイスの方式が、前記第1のビデオ解像度を有する3次元表示デバイスである場合には、前記表示デバイスに対して、復号された前記第1のビデオ信号と復号された前記第2のビデオ信号の一部分との組合せを含む出力信号を供給する手段と、
    を備える、前記装置。
JP2012553959A 2010-02-15 2011-02-15 ビデオコンテンツを処理するための装置および方法 Active JP6013920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US30471810P 2010-02-15 2010-02-15
US61/304,718 2010-02-15
PCT/US2011/024831 WO2011100735A1 (en) 2010-02-15 2011-02-15 Apparatus and method for processing video content

Publications (3)

Publication Number Publication Date
JP2013526094A JP2013526094A (ja) 2013-06-20
JP2013526094A5 JP2013526094A5 (ja) 2016-06-09
JP6013920B2 true JP6013920B2 (ja) 2016-10-25

Family

ID=43897306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012553959A Active JP6013920B2 (ja) 2010-02-15 2011-02-15 ビデオコンテンツを処理するための装置および方法

Country Status (7)

Country Link
US (2) US9077966B2 (ja)
EP (1) EP2537347B1 (ja)
JP (1) JP6013920B2 (ja)
KR (1) KR101787133B1 (ja)
CN (1) CN102763421B (ja)
BR (1) BR112012020471B1 (ja)
WO (1) WO2011100735A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117129A2 (en) 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
EP2540075A1 (en) * 2010-02-24 2013-01-02 Thomson Licensing Split screen for 3d
US9930316B2 (en) * 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
WO2013023345A1 (en) * 2011-08-12 2013-02-21 Motorola Mobility, Inc. Method and apparatus for coding and transmitting 3d video sequences in a wireless communication system
CN102271272B (zh) * 2011-08-19 2014-12-17 深圳超多维光电子有限公司 2d图像和3d图像的图像数据存储、传输方法和装置
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
EP2756681A1 (en) 2011-09-16 2014-07-23 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CN102413350B (zh) * 2011-11-30 2014-04-16 四川长虹电器股份有限公司 蓝光3d视频处理方法
US9418625B2 (en) 2011-12-16 2016-08-16 Intel Corporation Resolution loss mitigation for 3D displays
CN103379357B (zh) * 2012-04-26 2015-12-16 联咏科技股份有限公司 图像处理装置
WO2014026380A1 (en) * 2012-08-17 2014-02-20 Motorola Mobility Llc Falling back from three-dimensional video
US10264241B2 (en) * 2013-02-12 2019-04-16 Comcast Cable Communications, Llc Complimentary video content
WO2015016913A1 (en) * 2013-07-31 2015-02-05 Empire Technology Development Llc Encoding scheme
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
JP2016032227A (ja) * 2014-07-29 2016-03-07 日立マクセル株式会社 映像表示システム、三次元映像ポインティング装置、および映像表示装置
KR102288087B1 (ko) * 2014-11-25 2021-08-10 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
CN108833878A (zh) * 2018-06-15 2018-11-16 深圳超多维科技有限公司 视频拍摄方法、装置及系统
CN108769643A (zh) * 2018-06-15 2018-11-06 深圳超多维科技有限公司 视频拍摄方法、装置及系统
KR102581186B1 (ko) 2018-10-12 2023-09-21 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
JP4056154B2 (ja) 1997-12-30 2008-03-05 三星電子株式会社 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法
JP3365333B2 (ja) * 1999-03-03 2003-01-08 日本電気株式会社 解像度変換装置
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
KR100523930B1 (ko) 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
US7046306B2 (en) * 2003-03-31 2006-05-16 Texas Instruments Incorporated Processing a video signal using motion estimation to separate luminance information from chrominance information in the video signal
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Mpeg-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US7515759B2 (en) * 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
JP4467574B2 (ja) * 2004-08-18 2010-05-26 シャープ株式会社 画像データ表示装置
JP4602737B2 (ja) * 2004-10-25 2010-12-22 シャープ株式会社 映像表示装置
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP2007066012A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 映像描画装置、方法およびプログラム
US7742046B2 (en) 2005-08-31 2010-06-22 Kabushiki Kaisha Toshiba Method, device, and program for producing elemental image array for three-dimensional image display
JP4706638B2 (ja) 2006-09-29 2011-06-22 セイコーエプソン株式会社 表示装置、画像処理方法並びに電子機器
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
KR101345303B1 (ko) 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
KR100839429B1 (ko) 2007-04-17 2008-06-19 삼성에스디아이 주식회사 전자 영상 기기 및 그 구동방법
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US20110268193A1 (en) 2007-10-05 2011-11-03 Electronics And Telecommunications Research Institute Encoding and decoding method for single-view video or multi-view video and apparatus thereof
EP2232875A2 (en) 2008-01-11 2010-09-29 Thomson Licensing Video and depth coding
US8565576B2 (en) * 2008-05-01 2013-10-22 Panasonic Corporation Optical disc for reproducing stereoscopic video image
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
US20100177162A1 (en) 2009-01-15 2010-07-15 Charles Macfarlane Method and system for enabling 3d video and image processing using one full resolution video stream and one lower resolution video stream
CN104065945A (zh) * 2009-04-27 2014-09-24 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法

Also Published As

Publication number Publication date
CN102763421B (zh) 2015-08-26
US9148646B2 (en) 2015-09-29
EP2537347B1 (en) 2019-06-05
WO2011100735A1 (en) 2011-08-18
KR101787133B1 (ko) 2017-10-18
CN102763421A (zh) 2012-10-31
EP2537347A1 (en) 2012-12-26
US9077966B2 (en) 2015-07-07
US20150201177A1 (en) 2015-07-16
JP2013526094A (ja) 2013-06-20
BR112012020471A2 (pt) 2016-05-17
BR112012020471B1 (pt) 2021-09-21
KR20130008548A (ko) 2013-01-22
US20120300031A1 (en) 2012-11-29

Similar Documents

Publication Publication Date Title
JP6013920B2 (ja) ビデオコンテンツを処理するための装置および方法
US8988506B2 (en) Transcoder supporting selective delivery of 2D, stereoscopic 3D, and multi-view 3D content from source video
JP2013526094A5 (ja)
TWI520567B (zh) ㄧ種用於視頻處理的方法和系統
CN102972030B (zh) 用于生成和重建立体兼容视频流的方法及相关的编码和解码设备
US20110149020A1 (en) Method and system for video post-processing based on 3d data
US20110149028A1 (en) Method and system for synchronizing 3d glasses with 3d video displays
EP2337365A2 (en) Method and system for pulldown processing for 3D video
EP2676446B1 (en) Apparatus and method for generating a disparity map in a receiving device
US20110149040A1 (en) Method and system for interlacing 3d video
Coll et al. 3D TV at home: Status, challenges and solutions for delivering a high quality experience
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
US20110149021A1 (en) Method and system for sharpness processing for 3d video
US20140320597A1 (en) 3d broadcast service providing method and apparatus, and 3d broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
US20150062296A1 (en) Depth signaling data
KR20130055248A (ko) 3차원 텔레비전 수신기를 위한 영상 포맷 변환 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160923

R150 Certificate of patent or registration of utility model

Ref document number: 6013920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250