JP6846130B2 - ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置 - Google Patents

３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置 Download PDF

Info

Publication number
JP6846130B2
JP6846130B2 JP2016152588A JP2016152588A JP6846130B2 JP 6846130 B2 JP6846130 B2 JP 6846130B2 JP 2016152588 A JP2016152588 A JP 2016152588A JP 2016152588 A JP2016152588 A JP 2016152588A JP 6846130 B2 JP6846130 B2 JP 6846130B2
Authority
JP
Japan
Prior art keywords
information
video
overlay
frame
graphics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016152588A
Other languages
English (en)
Other versions
JP2017022714A5 (ja
JP2017022714A (ja
Inventor
フィリップ エス ニュートン
フィリップ エス ニュートン
マルクス ジェイ エム クルフェルス
マルクス ジェイ エム クルフェルス
デニス ディー アール ジェイ ボリオ
デニス ディー アール ジェイ ボリオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41718987&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6846130(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017022714A publication Critical patent/JP2017022714A/ja
Publication of JP2017022714A5 publication Critical patent/JP2017022714A5/ja
Application granted granted Critical
Publication of JP6846130B2 publication Critical patent/JP6846130B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers

Description

本発明は、三次元［3D］表示に適したビデオ情報を復号して出力する方法に関し、ビデオ情報は、2Dディスプレイ上での表示に適した符号化されたメイン・ビデオ情報及び三次元［3D］表示を可能にするための符号化された付加的なビデオ情報を有し、3Dオーバレイ情報はビデオ情報上へオーバレイされる。
本発明はさらに、三次元［3D］表示に適したビデオ情報を復号して出力するための装置に関し、ビデオ情報は、2Dディスプレイ上での表示に適した符号化されたメイン・ビデオ情報及び三次元［3D］表示を可能にするための符号化された付加的なビデオ情報を有し、当該装置は、ビデオ情報上へ3Dオーバレイ情報をオーバレイするように適応されている。
本発明は、再生装置による3Dビデオ情報及び3Dオーバレイ情報のフィールド再生に関し、前記情報は、3D対応ディスプレイ上へ表示される。
ビデオ・データをレンダリングするための装置（例えば、デジタル・ビデオ信号をレンダリングするためのDVDプレーヤー、BDプレーヤー又はセットトップ・ボックスのようなビデオ・プレーヤー）が知られている。レンダリング装置は、TVセットのような表示装置に結合されるソース装置として、一般的に用いられる。画像データは、HDMIのような適切なインタフェースを介してソース装置から転送される。
符号化されたビデオ情報ストリームに関して、例えばこれは、左及び右(L+R)画像が符号化される立体視として知られるフォーマットに基づくことができる。別の態様では、Oliver Sheer ''3D Video Communication''， Wiley， 2005， page 29-34に記載されるように、符号化されたビデオ情報ストリームは、2D画像及び付加的な画像(L+D)（いわゆる深さマップ）を有することができる。深さマップは、2D画像におけるオブジェクトの深さに関する情報を伝達する。深さマップ中のグレー・スケール値は、2D画像中の関連するピクセルの深さを示す。ステレオ・ディスプレイは、深さマップからの深さ値を用いることにより及び必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加的なビューを計算することができる。2Dビデオ+深さマップは、遮蔽及び透明度情報(DOT)を追加することによって拡張されることができる。
現在、3Dシステムにおいて、出力ビデオ・データをHDMIインタフェースを介して3Dディスプレイに転送するための既知の解決策は時間インタリーブであり、左又は2D情報に対応するフレームは、右又はDOTフレームによってインタリーブされる。
2Dビデオ・システムに対しては、ビデオ・コンテンツの配信のためのようなアプリケーション・フォーマット及び再生装置は、ビデオ上でのオーバレイ又はリアルタイム生成されたグラフィックスをサポートすることが知られている。オーバレイ・グラフィックスは、例えば、表示画面(SD)メニューのためにプレーヤー装置によって内部的に生成されるか、又は、字幕や他のグラフィックスのように受信される。
しかしながら、既知のオーバレイ・モデルを3Dシステムに拡張すると、リアルタイム生成されるオーバレイ・グラフィックスのための描画ルーチンの性能要求が増加するという問題が生じる。
ビデオ情報及び3Dシステムに適したオーバレイ情報を復号して出力する方法を提供することが本発明の目的である。
この目的のために、本発明の第１の態様によれば、冒頭の段落に記載される方法において、当該方法はさらに、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信又は生成し、第１バッファ中にメイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングし、第２バッファ中に付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングし、メイン・ビデオ情報及び付加的なビデオ情報を復号して、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成し、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるべきビデオ・フレームの種類を決定し、決定されたフレームの種類に従って出力されるビデオ・フレーム上にオーバレイ情報の第１又は第２部分をオーバレイし、ビデオ・フレーム及びオーバレイされた情報を出力する。
この目的のために、本発明の第２の態様によれば、冒頭の段落に記載される装置は、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信するための入力手段、又は、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を生成するための生成手段、メイン・ビデオ情報及び付加的なビデオ情報を復号するための復号器であって、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成するようにさらに適応された復号器、ビデオ情報上にオーバレイされるべき三次元［3D］オーバレイ情報を受信又は生成するための手段、メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングする第１バッファ及び付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングするための第２バッファを有するグラフィックス処理ユニットであって、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定するためのコントローラをさらに有するグラフィックス処理ユニット、決定されたフレームの種類に従って出力されるビデオ・フレーム上にオーバレイ情報の第１又は第２部分をオーバレイするためのミキサー、ビデオ・フレーム及びオーバレイされた情報を出力するための出力手段を有する。
本発明はさらに以下の認識に基づく。右又はDOTフレームによってインタリーブされる左又は2D情報に対応するフレームを出力するシステムにおいては、3Dビデオ出力が２つの異なるビデオ・ストリーム間で各々のフレームを切り替えるので、3Dオーバレイ・グラフィックスはもはや、3Dビデオ出力に単純に合成されることができない。一例として、時点Tにおいて、ビデオ出力は2Dフレームを含む可能性があり、そして時点T+1において、ビデオ出力は、時間Tにおけるフレームに付随する深さ情報を含む。時間Tにおいてビデオに合成されることを必要とするグラフィックス（2Dグラフィックス）は、時間T+1においてビデオに合成されることを必要とするグラフィックス（深さグラフィックス又はRグラフィックス）とは大いに異なる。2Dビデオ・プレーヤー装置に存在するグラフィックス・ユニットは、フレームごとに、これらの異なるグラフィックスによってそのグラフィックス・プレーンをフレーム単位で更新するのに十分高速ではない。本発明による解決策は、グラフィックス・ユニット中に２つのバッファを実装することである。各々のバッファは、出力ビデオ・ストリームのうちの１つに割り当てられる。例えば、2D +深さ描画のために、１つのバッファは、2Dフレームの上のグラフィックス・オーバレイに割り当てられることができ、そして１つのバッファは、深さフレームの上のグラフィックス・オーバレイに割り当てられることができる。L+Rでは、同様に、１つのバッファはLフレームの上のグラフィックス・オーバレイに用いられることができ、１つのバッファはRフレームの上のオーバレイに割り当てられることができる。この解決策の利点は、遅いグラフィックスが、フレーム単位のオーバレイ・エンジンから分離され、処理要求が大幅に低減されることである。
長所として、グラフィックス制御ユニットは、オーバレイ・フレームを生成するためにフレーム周波数で第１バッファ中の第１オーバレイ・フレームの一部又は第２バッファ中の第２オーバレイ・フレームの一部をコピーするように適応されたコントローラをさらに有する。プレーヤー装置が2D + DOT深さストリームを取り扱うとき、これは、バッファリングされたフレームから関連する領域をコピーすることによって、遮蔽データの高速生成を可能にする。
本発明のこれらの及び他の態様は、以下の説明において及び添付の図面を参照して一例として記載される実施の形態から明らかとなり、それらを参照して説明される。図において、すでに説明された要素に対応する要素は同じ参照符号を持つ。
その一部において本発明が実施されることができる3Dビデオ情報を受信して表示するシステムを概略的に示す図。 既知の2Dビデオ・プレーヤーのグラフィックス処理ユニットを概略的に示す図。 既知のブルーレイ（BD）システムにおけるビデオ・プレーンの合成を概略的に示す図。 本発明によるグラフィックス処理ユニットを概略的に説明する図。
本発明が実施されることができる3Dビデオ情報の再生のためのシステム1が、図１に示される。システムは、インタフェース12を介して通信するプレーヤー装置10及び表示装置11を有する。プレーヤー装置10は、表示されるべき符号化されたビデオ情報ストリームを受信して前処理することに責任があるフロント・エンド装置12、並びに、出力14に供給されるべきビデオ・ストリームを復号して、処理して及び生成するための処理ユニットを有する。表示装置は、受信されたものから3Dビューをレンダリングするためのレンダリング・ユニットを有する。
符号化されたビデオ情報ストリームに関して、例えばこれは、左及び右(L+R)画像が符号化される立体視として知られるフォーマットに基づくことができる。別の態様では、Oliver Sheer ''3D Video Communication''， Wiley， 2005， page 29-34に記載されるように、符号化されたビデオ情報ストリームは、2D画像及び付加的な画像(L+D)（いわゆる深さマップ）を有することができる。深さマップは、2D画像中のオブジェクトの深さに関する情報を伝達する。深さマップ中のグレー・スケール値は、2D画像中の関連するピクセルの深さを示す。立体ディスプレイは、深さマップからの深さ値を用いることにより及び必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加的なビューを計算することができる。2Dビデオ+深さマップは、遮蔽及び透明度情報（DOT）を追加することによって拡張されることができる。好ましい実施の形態において、参照によって本願明細書に含まれるEP 08305420.5（代理人整理番号PH010082）に説明されるように、遮蔽及び透明度を加えた、ステレオ情報及び深さマップを有する柔軟なデータ・フォーマットが用いられる。
表示装置11に関して、これは、それぞれ左及び右目に表示される画像を制御するように制御可能な眼鏡を利用する表示装置であることもでき、又は、好ましい実施の形態においては、いわゆる自動立体視ディスプレイが用いられる。2Dと3Dとの間で表示を切り替えることができる複数の自動立体視装置が知られており、それらのうちの１つが、US 6.069.650に記載されている。この表示装置は、能動的に切り替え可能な液晶レンチキュラレンズを有する液晶ディスプレイを有する。自動立体視ディスプレイにおいて、レンダリング・ユニット16内部の処理は、プレーヤー装置10からインタフェース12を介して受信される復号されたビデオ情報を複数のビューへと変換して、これらをディスプレイ・パネル17のサブピクセルにマップする。レンダリング・ユニット16は、プレーヤー装置10の中に存在することもでき、その場合には複数のビューはインタフェースを介して送信されることが、当然留意されるべきである。
プレーヤー装置10に関して、これは、光学ディスク、他の記憶メディア（例えばフラッシュ）からビデオ・ストリームを読み出すか、又は、有線若しくは無線ネットワーク（例えばインターネット接続）を介してビデオ情報を受信するように適応されていることができる。ブルーレイ・プレーヤーの既知の例は、ソニー株式会社によって販売されるプレイステーション(登録商標)3である。
BDシステムの場合、更なる詳細は、公に利用可能な技術白書、ブルーレイ・ディスク協会によって公開される''Blu-ray Disc Format General August 2004''及び''Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November， 2005''において見つけることができる（http://www.bluraydisc.com）。
以下において、BDアプリケーション・フォーマットを参照する場合、米国特許出願公開番号2006-0110111、（代理人整理番号NL021359）、及びブルーレイ・ディスク協会によって公表された白書''Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005''に開示されるようなアプリケーション・フォーマットを特に参照する。
BDシステムがさらに、ネットワーク接続性を備える詳細にプログラム可能なアプリケーション環境を提供し、それにより、コンテンツ作成者がインタラクティブ・コンテンツを作成することを可能にすることが知られている。このモードは、Java(登録商標)()3プラットフォームに基づき、"BD-J"として知られている。BD-Jは、ETSI TS 101 812として公に利用可能なDigital Video Broadcasting (DVB) -Multimedia Home Platform (MHP) Specification 1.0のサブセットを定める。
図２は、既知の2Dビデオ・プレーヤー（すなわちブルーレイ・プレーヤー）のグラフィックス処理ユニット（処理ユニット13の一部）を示す。グラフィックス処理ユニットは、２つのリード・バッファ（1304及び1305）、２つのプリロード・バッファ（1302及び1303）並びに２つのスイッチ（1306及び1307）を備えている。第２リード・バッファ（1305）は、メインMPEGストリームが復号されている間も、復号器へのOut-of-Muxオーディオ・ストリームの供給を可能にする。プリロード・バッファは、テキスト字幕、インタラクティブ・グラフィックス及び音効果（それらはボタン選択又は起動時に示される）を蓄える。プリロード・バッファ1303は、メインMPEGストリームが復号されている間でも、動画再生が開始してプレゼンテーションのためのデータを供給する前に、データを記憶する。
データ入力とバッファとの間のこのスイッチ1301は、リード・バッファ又はプリロード・バッファのうちの任意の１つから、パケット・データを受信するための適切なバッファを選択する。主要な動画プレゼンテーションを始める前に、効果音データ（存在する場合）、テキスト字幕データ（存在する場合）及びインタラクティブ・グラフィックス（プリロードされているインタラクティブ・グラフィックスが存在する場合）は、プリロードされて、スイッチを通して各々のバッファにそれぞれ送信される。メインMPEGストリームはプライマリ・リード・バッファ（1304）に送信され、Out-of-Muxストリームはスイッチ1301によってセカンダリ・リード・バッファ（1305）に送信される。
図３は、既知のブルーレイ（BD）システムにおけるビデオ・プレーンの合成を概略的に示す。
示されるように、ビデオ・プレーン（31）に合成されるグラフィックスのための２つの独立した完全なグラフィックス・プレーン（32、33）が存在する。１つのグラフィックス・プレーン（32）は、アプリケーションに字幕を入れるために割り当てられ（プレゼンテーション・グラフィックス又はテキスト字幕）、他のプレーンは、インタラクティブ・アプリケーション（33）に割り当てられる（HDMV又はBD-Jモード対話型グラフィックス）。
図３に戻って、メイン・ビデオ・プレーン（1310）並びにプレゼンテーション（1309）及びグラフィックス・プレーン（1308）は、対応する復号器によって供給され、これら３つのプレーンはオーバレイヤー1311によってオーバレイされて出力される。
図４は、本発明によるグラフィックス処理ユニット(13)を概略的に示す。この具体例は、BDシステムにおける既知のグラフィックス処理ユニットの改善を構成するが、本願明細書において説明される発想は、さまざまな種類のビデオ・プレーヤーのための復号器モデルは同様であるので、ビデオ・プレーヤー中の全てのグラフィックス処理ユニットに直接適用可能である。
明確性のために、メイン・ビデオ・プレーンの上の１つのグラフィックス・プレーンのオーバレイが議論されるが、コンセプトは、複数のグラフィックス・プレーンをオーバレイすることに直接適用可能である。
3Dビデオのために、通常のブルーレイ動画で記憶されてディスプレイに送信される2Dビデオの他に、追加の情報が必要である。立体視3Dのために、立体視ディスプレイに左ビュー及び右ビューの両方を送信することが必要である。そしてディスプレイは、観察者の左目だけが左画像を見て右目だけが右画像を見るように、特定の技術を用いる。これを達成する一般的な技術は、シャッタ眼鏡又は偏光眼鏡である。
自動立体視ディスプレイは、異なるインタフェース・フォーマット、2D+深さビデオ・フォーマットを必要とする。2Dビデオの他に、深さ情報を送信するために付加的なビデオ・ストリームが用いられる。ディスプレイは、レンダリング段階においてビデオ・ストリームを組み合わせて、結果として生じる3D画像を計算する。
両方の3D技術にとって、ディスプレイの種類によって決まる特定のインタフェース・フォーマットにおいてディスプレイに２つのビデオ・ストリームを送信することが必要である。考えられるインタフェース・フォーマットは、時間インタリーブされた両方のビデオからのフレームをディスプレイに送信することである。これは、時点Tにおいて、第１ビデオ・ストリーム（左又は2D）からのフレームが送信され、そして時点T+1において、第２ビデオ・ストリーム（右又は深さ）からのフレームが送信されることを意味する。
上述のブルーレイ・フォーマットのようなアプリケーション・フォーマットは、ビデオの上のオーバレイ・グラフィックスをサポートする。オーバレイ・グラフィックスは、例えば、選択メニューを作成するための字幕を表示するために用いられる。ブルーレイ・オーバレイ・グラフィックスは、ディスクから読み出されて（プレゼンテーション・グラフィックス及びインタラクティブ・グラフィックス）、又は、リアルタイムで生成される（BD-Jグラフィックス、OSDディスプレイ及びテキスト・ベースの字幕）。
時間シーケンシャル・インタフェース・フォーマットでビデオを出力することは、リアルタイムに生成されるオーバレイ・グラフィックスのための描画ルーチンの性能要求に、特にBD-Jグラフィックスのそれに非常に影響する。これは、ビデオ出力が２つの異なるビデオ・ストリーム間で各々のフレームを切り替えるので、グラフィックス・プレーンがもはやビデオ出力に単純に合成されることができないからである。一例として、時点Tにおいて、ビデオ・プレーンは2Dビューを含む場合があり、そして時点T+1において、ビデオ・プレーンは時間Tにおけるフレームのための付随する深さ情報を含む。時点Tにおいてビデオに合成されることを必要とするBD-Jグラフィックス（2Dグラフィックス）は、時間T+1においてビデオに合成されることを必要とするBD-Jグラフィックス（深さグラフィックス）とは非常に異なる。
グラフィックス処理ユニット、特にBD-J描画は、フレームごとに、これらの異なるグラフィックスによってそのグラフィックス・プレーンを、フレーム単位で更新できる程高速ではない。本発明による解決策は、グラフィックス・ユニット中に２つのバッファを実装することである。各々のバッファは、出力ビデオ・ストリームのうちの１つに割り当てられる。例えば、2D +深さ描画のために、１つのバッファは、2Dフレームの上のグラフィックス・オーバレイに割り当てられることができ、そして１つのバッファは、深さフレームの上のグラフィックス・オーバレイに割り当てられることができる。L+Rでは、同様に、１つのバッファはLフレームの上のグラフィックス・オーバレイのために用いられることができ、１つのバッファはRフレームの上のオーバレイに割り当てられることができる。この解決策の利点は、遅いグラフィックスが、フレーム単位のオーバレイ・エンジンから分離され、処理要求が大幅に低減されることである。
図４において、Java（登録商標）仮想マシン上で動作しているJava（登録商標）アプリケーション41が、オーバレイ情報を生成して、グラフィックス処理ユニット（API）にそれを送信する。なお、オーバレイ情報のソースは重要ではなく、グラフィックス・プレーンのためのそのようなオーバレイ情報は、ディスクからの他のグラフィックス又はOSD（On Screen display）情報であることができる。グラフィックス処理ユニットは、２つのバッファ42及び43を有する。各々のバッファはコントローラ（45）と通信し、コントローラは、好ましくは、フレーム単位の領域コピー部を有する。タイミング情報は、描画アプリケーション（41）から送信され、そしてビデオ復号器（47）からグラフィックス処理ユニットへ送信される。受信されたタイミング情報に基づいて、フレーム単位の領域コピー部は、どのビデオ・フレームがビデオ出力プレーン上で現在復号されているかによって（これはビデオ・ソースからの時間情報によって知られる）、グラフィックス出力プレーン上へ正しいバッファを合成することができる。これを行うことによって、フレーム単位の領域コピー部は、ミキサーが、現在出力されるビデオ・フレーム上に正しいBD-Jグラフィックスを合成することを保証する(2D+深さでは、これは、2Dビデオ・フレームが復号されるときに2Dグラフィック・バッファがグラフィックス・プレーン上へコピーされ、そして深さフレームが復号されるときに深さDOTグラフィック・バッファがグラフィックス・プレーン上へコピーされることを意味する）。L+Rグラフィックスでは、Lリアルタイム・グラフィックスがLフレーム上にオーバレイされ、Rリアルタイム・グラフィックスがRフレーム上にオーバレイされることを保証する。
本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェアで実施されることができることに留意する必要がある。本発明を実施するための方法は、図1を参照して説明されたレンダリング・システムに対応する処理ステップを持つ。本発明が主に光学記録担体又はインターネットを用いた実施の形態によって説明されたが、本発明は、オーサリング・ソフト又は放送装置のような、任意の画像処理環境にも適している。更なるアプリケーションは、3Dパーソナル・コンピュータ[PC]ユーザインタフェース又は3Dメディア・センターＰＣ、3Dモバイル・プレーヤー及び3D携帯電話を含む。
なお、本明細書において、「有する」「含む」などの用語は、挙げられたもの以外の他の要素又はステップを除外せず、単数で表現された要素はそのような要素が複数存在することを除外せず、いかなる参照符号も請求の範囲を限定せず、本発明はハードウェア及びソフトウェアの両方によって実施されることができ、いくつかの「手段」又は「ユニット」は、ハードウェア又はソフトウェアの同一のアイテムによって表される場合があり、プロセッサは、おそらくハードウェア素子と協働で、１つ以上のユニットの機能を果たすことができる。さらに、本発明は実施の形態に限定されず、上記で説明された新規な特徴又は特徴の組み合わせにもある。

Claims (15)

  1. 三次元[3D]表示に適したビデオ情報を復号して出力する方法であって、前記ビデオ情報は、2Dディスプレイ上の表示に適した符号化されたメイン・ビデオ情報及び3D表示を可能にするための符号化された付加的なビデオ情報を有し、
    当該方法は、
    前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を生成し、
    前記メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分を第１バッファ中にバッファリングし、
    前記付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分を第２バッファ中にバッファリングし、
    前記メイン・ビデオ情報及び前記付加的なビデオ情報を復号して、ビデオ・プレーン上に、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成し、
    メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定し、
    決定されたフレームの種類にしたがって、グラフィックス・プレーン上に、前記第１バッファ中の前記オーバレイ情報の第1部分又は前記第２バッファ中の前記オーバレイ情報の第２部分を合成し、
    前記ビデオ・プレーン上の出力されるビデオ・フレーム上に前記グラフィックス・プレーン上の前記オーバレイ情報の第１又は第２部分をオーバレイし、
    前記ビデオ・フレーム及び前記オーバレイされた情報を出力し、
    前記オーバレイ情報の前記第１部分及び前記第２部分の描画の速さが、前記グラフィックス・プレーンを前記オーバレイ情報の前記第１部分及び前記第２部分でフレーム単位で更新できる程高速ではない、方法。
  2. 前記メイン・ビデオ情報が、左ビデオ・フレーム及び右ビデオ・フレームの一方であり、前記付加的なビデオ情報が、前記左ビデオ・フレーム及び前記右ビデオ・フレームの他方である、請求項１に記載の方法。
  3. 前記オーバレイ情報がリアルタイム・グラフィックスである、請求項２に記載の方法。
  4. 前記リアルタイム・グラフィックスが、Java（登録商標）仮想マシン上で動作するJava（登録商標）アプリケーションによって生成される、請求項３に記載の方法。
  5. 決定されたフレームの種類にしたがう出力されるビデオ・フレーム上の前記オーバレイ情報の第１又は第２部分のオーバレイを制御するために、タイミング情報が用いられる、請求項３に記載の方法。
  6. 前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報を含む、請求項１に記載の方法。
  7. 前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報及び遮蔽情報を含む、請求項１に記載の方法。
  8. 三次元[3D]表示に適したビデオ情報を復号して出力する装置であって、前記ビデオ情報は、2Dディスプレイ上の表示に適した符号化されたメイン・ビデオ情報及び3D表示を可能にするための符号化された付加的なビデオ情報を有し、
    当該装置は、前記ビデオ情報上にオーバレイされるべき3Dオーバレイ情報を生成するための生成手段、
    前記メイン・ビデオ情報及び前記付加的なビデオ情報を復号するための復号器であって、ビデオ・プレーン上に、各々の出力されるビデオ・フレームがメイン・ビデオ・フレーム又は付加的なビデオ・フレームである時間インタリーブされたビデオ・フレームの系列として生成する復号器、
    前記メイン・ビデオ情報上にオーバレイされるべきオーバレイ情報の第１部分をバッファリングする第１バッファ及び前記付加的なビデオ情報上にオーバレイされるべきオーバレイ情報の第２部分をバッファリングするための第２バッファを有するグラフィックス処理ユニットであって、メイン・ビデオ・フレーム又は付加的なビデオ・フレームである出力されるビデオ・フレームの種類を決定するためのコントローラをさらに有するグラフィックス処理ユニット、
    決定されたフレームの種類にしたがって、グラフィックス・プレーン上に、前記第１バッファ中の前記オーバレイ情報の第１部分又は前記第２バッファ中の前記オーバレイ情報の第２部分を合成するコピー部、
    前記ビデオ・プレーン上の出力されるビデオ・フレーム上に前記グラフィックス・プレーン上の前記オーバレイ情報の第１又は第２部分をオーバレイするためのミキサー、
    前記ビデオ・フレーム及び前記オーバレイされた情報を出力するための出力手段、
    を有し、
    前記オーバレイ情報の前記第１部分及び前記第２部分の描画の速さが、前記グラフィックス・プレーンを前記オーバレイ情報の前記第１部分及び前記第２部分でフレーム単位で更新できる程高速ではない、装置。
  9. 前記メイン・ビデオ情報は、左ビデオ・フレーム及び右ビデオ・フレームの一方であり、前記付加的なビデオ情報は、前記左ビデオ・フレーム及び前記右ビデオ・フレームの他方である、請求項８に記載の装置。
  10. 前記オーバレイ情報がリアルタイム・グラフィクスである請求項９に記載の装置。
  11. 前記リアルタイム・グラフィクスが、Java（登録商標）仮想マシン上で動作するJava（登録商標）アプリケーションによって生成される、請求項１０に記載の装置。
  12. 決定されたフレームの種類にしたがう出力されるビデオ・フレーム上の前記オーバレイ情報の第１又は第２部分のオーバレイを制御するために、タイミング情報が用いられる、請求項１１に記載の装置。
  13. 前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報を含む、請求項８に記載の装置。
  14. 前記付加的なビデオ情報が前記ビデオ情報に関する深さ情報及び遮蔽情報を含む請求項９に記載の装置。
  15. 前記コントローラが、オーバレイ・フレームを生成するためにフレーム周波数で前記第１バッファ中の第１オーバレイ・フレームの一部又は前記第２バッファ中の第２オーバレイ・フレームの一部をコピーする、請求項８から請求項１４のいずれか一項に記載の装置。
JP2016152588A 2008-12-19 2016-08-03 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置 Active JP6846130B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08172411.4 2008-12-19
EP08172411 2008-12-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014252631A Division JP2015111833A (ja) 2008-12-19 2014-12-15 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019216414A Division JP2020099045A (ja) 2008-12-19 2019-11-29 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置

Publications (3)

Publication Number Publication Date
JP2017022714A JP2017022714A (ja) 2017-01-26
JP2017022714A5 JP2017022714A5 (ja) 2020-01-30
JP6846130B2 true JP6846130B2 (ja) 2021-03-24

Family

ID=41718987

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2011541682A Pending JP2012513056A (ja) 2008-12-19 2009-12-14 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP2014252631A Withdrawn JP2015111833A (ja) 2008-12-19 2014-12-15 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP2016152588A Active JP6846130B2 (ja) 2008-12-19 2016-08-03 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP2019216414A Pending JP2020099045A (ja) 2008-12-19 2019-11-29 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2011541682A Pending JP2012513056A (ja) 2008-12-19 2009-12-14 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP2014252631A Withdrawn JP2015111833A (ja) 2008-12-19 2014-12-15 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019216414A Pending JP2020099045A (ja) 2008-12-19 2019-11-29 ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置

Country Status (14)

Country Link
US (3) US20110249757A1 (ja)
EP (1) EP2380357B2 (ja)
JP (4) JP2012513056A (ja)
KR (1) KR20110106371A (ja)
CN (1) CN102257825B (ja)
AU (1) AU2009329113B2 (ja)
BR (1) BRPI0917764B1 (ja)
CA (1) CA2747106C (ja)
ES (1) ES2640869T3 (ja)
MX (1) MX2011006496A (ja)
MY (1) MY158823A (ja)
RU (1) RU2537800C2 (ja)
TW (1) TWI520566B (ja)
WO (1) WO2010070567A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2640869T3 (es) 2008-12-19 2017-11-07 Koninklijke Philips N.V. Método y dispositivo para superponer gráficos 3D sobre video 3D
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
EP2446636A1 (en) * 2009-06-24 2012-05-02 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8724696B2 (en) * 2010-09-23 2014-05-13 Vmware, Inc. System and method for transmitting video and user interface elements
US8693687B2 (en) * 2010-10-03 2014-04-08 Himax Media Solutions, Inc. Method and apparatus of processing three-dimensional video content
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
TWI455062B (zh) * 2011-04-26 2014-10-01 Univ Nat Cheng Kung 三維視訊內容產生方法
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
WO2014100959A1 (en) 2012-12-24 2014-07-03 Thomson Licensing Apparatus and method for displaying stereoscopic images
WO2014108741A1 (en) * 2013-01-09 2014-07-17 Freescale Semiconductor, Inc. A method and apparatus for adaptive graphics compression and display buffer switching
CN109996034B (zh) 2013-05-31 2021-06-08 佳能株式会社 客户端设备及其控制方法和记录介质
TWI512678B (zh) * 2013-10-02 2015-12-11 Univ Nat Cheng Kung 非暫態儲存媒體
US10484640B2 (en) * 2015-06-03 2019-11-19 Intel Corporation Low power video composition using a stream out buffer
RU2597462C1 (ru) * 2015-07-17 2016-09-10 Виталий Витальевич Аверьянов Способ отображения объекта на пространственной модели
US11461953B2 (en) 2019-12-27 2022-10-04 Wipro Limited Method and device for rendering object detection graphics on image frames
CN117201834A (zh) * 2023-09-11 2023-12-08 南京天创电子技术有限公司 基于目标检测的实时双光谱融合视频流显示方法及系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335029A (ja) * 1993-05-25 1994-12-02 Sony Corp 立体映像表示装置及び立体視の輻輳角の調整方法
DE19545356C2 (de) * 1995-12-05 1998-04-16 Deutsche Telekom Ag Vorrichtung zur Darstellung von Stereo-Videobildern
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
JP2001502504A (ja) * 1996-10-11 2001-02-20 サーノフ コーポレイション 立体視ビデオを符号化及び複号する装置及び方法
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
EP2259585B1 (en) 1996-12-04 2013-10-16 Panasonic Corporation Optical disk for high resolution and three dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
US6549201B1 (en) * 1999-11-23 2003-04-15 Center For Advanced Science And Technology Incubation, Ltd. Method for constructing a 3D polygonal surface from a 2D silhouette by using computer, apparatus thereof and storage medium
JP2001186515A (ja) * 1999-12-22 2001-07-06 Sanyo Electric Co Ltd 複数チャンネル信号の復号装置
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US20030103062A1 (en) 2001-11-30 2003-06-05 Ruen-Rone Lee Apparatus and method for controlling a stereo 3D display using overlay mechanism
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
JP2006509319A (ja) 2002-12-10 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 記録担体上のリアルタイム情報の編集
EP2367174B1 (en) * 2003-04-28 2015-03-04 Panasonic Corporation Playback apparatus, playback method, recording medium, recording apparatus, recording method for recording a video stream and graphics having decode time stamp with window information over graphics display
US8531448B2 (en) 2003-05-28 2013-09-10 Sanyo Electric Co., Ltd. Stereoscopic image display apparatus, text data processing apparatus, program, and storing medium
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
JP2005039398A (ja) * 2003-07-17 2005-02-10 Funai Electric Co Ltd テレビ受信装置
US7529467B2 (en) 2004-02-28 2009-05-05 Samsung Electronics Co., Ltd. Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium
CN101044755A (zh) * 2004-10-19 2007-09-26 皇家飞利浦电子股份有限公司 动画颤动补偿
US7773864B2 (en) * 2005-08-29 2010-08-10 Sony Corporation Slicing interactive graphic data in disc authoring
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
JP5317955B2 (ja) * 2006-03-31 2013-10-16 コーニンクレッカ フィリップス エヌ ヴェ 複数の視野の効率的な符号化
WO2008044191A2 (en) * 2006-10-11 2008-04-17 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR101842622B1 (ko) * 2007-03-16 2018-03-27 톰슨 라이센싱 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
CN101415126A (zh) * 2007-10-18 2009-04-22 深圳Tcl新技术有限公司 一种产生三维图像效果的方法及数字视频装置
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
AU2009275052B2 (en) * 2008-07-24 2014-05-29 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
US8050533B2 (en) † 2008-09-30 2011-11-01 Panasonic Corporation Recording medium on which 3D video is recorded, playback apparatus for playing back 3D video, and system LSI
ES2640869T3 (es) 2008-12-19 2017-11-07 Koninklijke Philips N.V. Método y dispositivo para superponer gráficos 3D sobre video 3D
JP2011086515A (ja) 2009-10-16 2011-04-28 Konica Minolta Opto Inc Ｌｅｄ照明装置及びリフレクタ
WO2012029293A1 (ja) * 2010-09-03 2012-03-08 パナソニック株式会社 映像処理装置、映像処理方法、コンピュータプログラム及び配信方法

Also Published As

Publication number Publication date
EP2380357B2 (en) 2020-03-18
US10158841B2 (en) 2018-12-18
CA2747106A1 (en) 2010-06-24
BRPI0917764A2 (pt) 2016-02-23
EP2380357A1 (en) 2011-10-26
JP2015111833A (ja) 2015-06-18
EP2380357B1 (en) 2017-07-26
RU2537800C2 (ru) 2015-01-10
US20180176537A1 (en) 2018-06-21
JP2017022714A (ja) 2017-01-26
MX2011006496A (es) 2011-07-13
AU2009329113B2 (en) 2015-01-22
US20110249757A1 (en) 2011-10-13
US9918069B2 (en) 2018-03-13
ES2640869T3 (es) 2017-11-07
KR20110106371A (ko) 2011-09-28
BRPI0917764B1 (pt) 2021-03-16
CN102257825B (zh) 2016-11-16
JP2020099045A (ja) 2020-06-25
TW201043000A (en) 2010-12-01
RU2011129788A (ru) 2013-01-27
JP2012513056A (ja) 2012-06-07
WO2010070567A1 (en) 2010-06-24
MY158823A (en) 2016-11-15
CA2747106C (en) 2017-07-04
AU2009329113A1 (en) 2011-08-11
US20160353081A1 (en) 2016-12-01
CN102257825A (zh) 2011-11-23
TWI520566B (zh) 2016-02-01

Similar Documents

Publication Publication Date Title
JP6846130B2 (ja) ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
JP5647243B2 (ja) ３ｄビデオと２ｄビデオとの間のスイッチング
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
CN102137270B (zh) 字幕的3d显示处理
US9445034B2 (en) Method and apparatus for processing video image
JP5829604B2 (ja) ３ｄトリックプレイのためのエントリー・ポイント
US20100269065A1 (en) Data structure, recording medium, playback apparatus and method, and program
CA2767511A1 (en) Signal processing method and apparatus therefor using screen size of display device
JP2011114641A (ja) 記録装置、再生装置、立体映像記録再生方法、記録方法、及び再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190730

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20191129

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191209

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191210

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200131

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200204

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200409

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200623

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201015

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210112

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210212

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R150 Certificate of patent or registration of utility model

Ref document number: 6846130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250