JP5575908B2 - 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 - Google Patents
2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 Download PDFInfo
- Publication number
- JP5575908B2 JP5575908B2 JP2012535427A JP2012535427A JP5575908B2 JP 5575908 B2 JP5575908 B2 JP 5575908B2 JP 2012535427 A JP2012535427 A JP 2012535427A JP 2012535427 A JP2012535427 A JP 2012535427A JP 5575908 B2 JP5575908 B2 JP 5575908B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video unit
- value
- depth
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
MPEG−C part3では、いわゆる補助ビデオは、深度マップまたはパララックスマップのいずれかであり得る。深度マップを表すとき、MPEG−C、part3は、深度マップの各深度値および解像度を表すために使用されるビット数に関してフレキシビリティを与える。ただし、MPEG−C、part3は、深度マップをどのように作成すべきかを規定していない。
立体ビデオを提供する2カメラシステム
複数のビューをキャプチャするカメラアレイシステム
1つのビューをキャプチャし、深度をキャプチャまたは合成するシステム
深度情報を直接キャプチャするかまたは3Dモデルを生成し得る他のシステム
3Dレンダリングのために前処理も実行され得る。この3D前処理は、符号化のためになり得る雑音低減およびシーン検出など、典型的な処理技法を指さない。代わりに、3D前処理は、3Dビデオ・コンテンツの一部としてコーディングされ得る深度マップの生成を指すことがある。この3D前処理は、1つのキャプチャされたビューに対して1つの深度マップを生成するか、またはいくつかのビューに対していくつかの深度マップを生成し得る。深度マップはシーケンスの各ビデオ・フレームに関連付けられ得る。エンコーダは、1つまたは複数のビューと深度マップとを符号化し得、深度およびテクスチャをジョイント・コーディングすることができるH.264/AVC、MVC、さらにはSVCのようなビデオ・コーディング規格を用いてそれらのビューと深度マップとをコーディングし得る。
入る。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
を備える方法。
[C2]動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備える、C1に記載の方法。
[C3]色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備える、C1に記載の方法。
[C4]動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
C1に記載の方法。
[C5]前記深度マップが、初期化された深度マップを備え、前記方法は、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義することと、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと
をさらに備える、C1に記載の方法。
[C6]前記方法がビデオ・デコーダによって実行され、前記方法が、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することをさらに備える、C5に記載の方法。
[C7]前記方法がビデオ・エンコーダによって実行され、前記方法が、前記ビデオ・ユニットとともに前記最終深度マップを通信することをさらに備える、C5に記載の方法。
[C8]前記方法がビデオ・エンコーダによって実行され、前記方法が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
前記ビデオ・ユニットとともに前記2次ビューを通信することと、
をさらに備える、C5に記載の方法。
[C9]ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
を行う深度マップ生成ユニットを備えるビデオコーダ装置。
[C10]動きに基づいて前記初期深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てる、C9に記載のビデオコーダ装置。
[C11]色に基づいて調整された深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てる、C9に記載のビデオコーダ装置。
[C12]動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
C9に記載のビデオコーダ装置。
[C13]前記深度マップが、初期化された深度マップを備え、前記深度マップ生成ユニットは、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断し、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択し、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断し、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義し、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義する、
C9に記載のビデオコーダ装置。
[C14]前記ビデオコーダがビデオ・デコーダを備え、前記ビデオ・デコーダが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する2次元(2D)3次元変換ユニットをさらに備える、C13に記載のビデオコーダ装置。
[C15]前記ビデオコーダがビデオ・エンコーダを備え、ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記最終深度マップを通信する送信機をさらに備える、C13に記載のビデオコーダ装置。
[C16]前記ビデオコーダがビデオ・エンコーダを備え、前記ビデオ・エンコーダが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する2次元(2D)3次元変換ユニットをさらに備え、前記ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記2次ビューを通信する送信機をさらに備える、C13に記載のビデオコーダ装置。
[C17]前記装置が、
集積回路と、
マイクロプロセッサと、
ビデオ・エンコーダを含むワイヤレス通信デバイスと、
ビデオ・デコーダを含むワイヤレス通信デバイスと、
のうちの少なくとも1つを備える、C9に記載のビデオコーダ装置。
[C18]ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てるための手段と、
前記初期深度値がしきい値を満たすかどうかを識別するための手段と、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てるための手段であって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てるための手段と、
前記ビデオ・ユニットの深度マップを生成するための手段であって、前記深度マップが、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成するための手段と、
を備えるデバイス。
[C19]動きに基づいて前記初期深度値を割り当てるための前記手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備える、C18に記載のデバイス。
[C20]色に基づいて前記調整された深度値を割り当てるための前記手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備える、C18に記載のデバイス。
[C21]動きに基づいて前記初期深度値を割り当てるための手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備え、
色に基づいて前記調整された深度値を割り当てるための手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備え、
前記調整された深度値を割り当てるための手段が、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングするための手段を含む、
C18に記載のデバイス。
[C22]前記深度マップが、初期化された深度マップを備え、前記デバイスは、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断するための手段と、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択するための手段と、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断するための手段と、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義するための手段と、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義するための手段と、
をさらに備える、C18に記載のデバイス。
[C23]前記デバイスがビデオ・デコーダを備え、前記デバイスが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段をさらに備える、C22に記載のデバイス。
[C24]前記デバイスがビデオ・エンコーダを備え、前記デバイスが、前記ビデオ・ユニットとともに前記最終深度マップを通信するための手段をさらに備える、C22に記載のデバイス。
[C25]前記デバイスがビデオ・エンコーダを備え、前記デバイスが、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段と、
前記ビデオ・ユニットとともに前記2次ビューを通信するための手段と、
をさらに備える、C22に記載のデバイス。
[C26]プロセッサによる実行時に、
ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
を前記プロセッサに行わせる命令を備えるコンピュータ可読記憶媒体。
[C27]動きに基づいて前記初期深度値を割り当てることにおいて、前記命令が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを前記プロセッサに行わせる、C26に記載のコンピュータ可読記憶媒体。
[C28]色に基づいて前記調整された深度値を割り当てることにおいて、前記命令が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを前記プロセッサに行わせる、C26に記載のコンピュータ可読記憶媒体。
[C29]動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
C26に記載のコンピュータ可読記憶媒体。
[C30]前記深度マップが、初期化された深度マップを備え、前記命令は、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの最終深度マップとして選択することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、前記最終深度マップを定義することと、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと、
を前記プロセッサに行わせる、C26に記載のコンピュータ可読記憶媒体。
[C31]前記プロセッサがビデオ・デコーダを備え、前記命令が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行すること、
を前記プロセッサに行わせる、C30に記載のコンピュータ可読記憶媒体。
[C32]前記プロセッサがビデオ・エンコーダを備え、前記命令が、前記ビデオ・ユニットとともに前記最終深度マップを通信することを前記プロセッサに行わせる、C30に記載のコンピュータ可読記憶媒体。
[C33]前記プロセッサがビデオ・エンコーダを備え、前記命令が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
前記ビデオ・ユニットとともに前記2次ビューを通信することと、
を前記プロセッサに行わせる、C30に記載のコンピュータ可読記憶媒体。
Claims (33)
- ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることであって、前記ビデオ・ユニットは、単独で復号可能なユニットである、割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが初期化された深度マップを備え、前記初期化された深度マップは、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義することと
を備える方法。 - 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備える、請求項1に記載の方法。
- 色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備える、請求項1に記載の方法。
- 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
請求項1に記載の方法。 - 前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの前記最終深度マップとして選択することと、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと
をさらに備える、請求項1に記載の方法。 - 前記方法がビデオ・デコーダによって実行され、前記方法が、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することをさらに備える、請求項5に記載の方法。
- 前記方法がビデオ・エンコーダによって実行され、前記方法が、前記ビデオ・ユニットとともに前記最終深度マップを通信することをさらに備える、請求項5に記載の方法。
- 前記方法がビデオ・エンコーダによって実行され、前記方法が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
前記ビデオ・ユニットとともに前記2次ビューを通信することと、
をさらに備える、請求項5に記載の方法。 - ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることであって、前記ビデオ・ユニットは、単独で復号可能なユニットである、割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが初期化された深度マップを備え、前記初期化された深度マップは、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義することと
が可能な深度マップ生成ユニットおよびプロセッサを備えるビデオコーダ装置。 - 動きに基づいて前記初期深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てる、請求項9に記載のビデオコーダ装置。
- 色に基づいて調整された深度値を割り当てることにおいて、前記深度マップ生成ユニットが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てる、請求項9に記載のビデオコーダ装置。
- 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
請求項9に記載のビデオコーダ装置。 - 前記深度マップ生成ユニットは、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの前記最終深度マップとして選択し、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義する、
請求項9に記載のビデオコーダ装置。 - 前記ビデオコーダがビデオ・デコーダを備え、前記ビデオ・デコーダが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する2次元(2D)3次元変換ユニットをさらに備える、請求項13に記載のビデオコーダ装置。
- 前記ビデオコーダがビデオ・エンコーダを備え、ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記最終深度マップを通信する送信機をさらに備える、請求項13に記載のビデオコーダ装置。
- 前記ビデオコーダがビデオ・エンコーダを備え、前記ビデオ・エンコーダが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行する2次元(2D)3次元変換ユニットをさらに備え、前記ビデオ・コーディング装置が、前記ビデオ・ユニットとともに前記2次ビューを通信する送信機をさらに備える、請求項13に記載のビデオコーダ装置。
- 前記装置が、
集積回路と、
マイクロプロセッサと、
ビデオ・エンコーダを含むワイヤレス通信デバイスと、
ビデオ・デコーダを含むワイヤレス通信デバイスと、
のうちの少なくとも1つを備える、請求項9に記載のビデオコーダ装置。 - ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てるための手段であって、前記ビデオ・ユニットは、単独で復号可能なユニットである、割り当てるための手段と、
前記初期深度値がしきい値を満たすかどうかを識別するための手段と、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てるための手段であって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てるための手段と、
前記ビデオ・ユニットの深度マップを生成するための手段であって、前記深度マップが初期化された深度マップを備え、前記初期化された深度マップは、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成するための手段と、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断するための手段と、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断するための手段と、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義するための手段と
を備えるデバイス。 - 動きに基づいて前記初期深度値を割り当てるための前記手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備える、請求項18に記載のデバイス。
- 色に基づいて前記調整された深度値を割り当てるための前記手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備える、請求項18に記載のデバイス。
- 動きに基づいて前記初期深度値を割り当てるための手段が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てるための手段を備え、
色に基づいて前記調整された深度値を割り当てるための手段が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てるための手段を備え、
前記調整された深度値を割り当てるための手段が、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングするための手段を含む、
請求項18に記載のデバイス。 - 前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの前記最終深度マップとして選択するための手段と、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義するための手段と
をさらに備える、請求項18に記載のデバイス。 - 前記デバイスがビデオ・デコーダを備え、前記デバイスが、前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段をさらに備える、請求項22に記載のデバイス。
- 前記デバイスがビデオ・エンコーダを備え、前記デバイスが、前記ビデオ・ユニットとともに前記最終深度マップを通信するための手段をさらに備える、請求項22に記載のデバイス。
- 前記デバイスがビデオ・エンコーダを備え、前記デバイスが、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行するための手段と、
前記ビデオ・ユニットとともに前記2次ビューを通信するための手段と、
をさらに備える、請求項22に記載のデバイス。 - プロセッサによる実行時に、
ビデオ・シーケンスの前のビデオ・ユニットの対応するピクセルに対する、ビデオ・ユニットのピクセルに関連する動きに基づいて、前記ピクセルに初期深度値を割り当てることであって、前記ビデオ・ユニットは、単独で復号可能なユニットである、割り当てることと、
前記初期深度値がしきい値を満たすかどうかを識別することと、
前記初期深度値が前記しきい値を満たす前記ビデオ・ユニットの前記ピクセルのうちの1つまたは複数に、調整された深度値を割り当てることであって、前記調整された深度値が、前記ピクセルに関連する色に基づく、割り当てることと、
前記ビデオ・ユニットの深度マップを生成することであって、前記深度マップが初期化された深度マップを備え、前記初期化された深度マップは、前記ピクセルの第1のサブセットの前記初期深度値と、前記ピクセルの第2のサブセットの前記調整された深度値とを備える、生成することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応するかどうかを判断することと、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応しない場合、前記ビデオ・ユニットが前記前のビデオ・ユニットに対する低動きレベルを表すかどうかを判断することと、
前記ビデオ・ユニットが前記低動きレベルを表さない場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前の深度マップの深度値との重み付き平均に基づいて、最終深度マップを定義することと
を前記プロセッサに行わせる命令を備えるコンピュータ可読記憶媒体。 - 動きに基づいて前記初期深度値を割り当てることにおいて、前記命令が、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを前記プロセッサに行わせる、請求項26に記載のコンピュータ可読記憶媒体。
- 色に基づいて前記調整された深度値を割り当てることにおいて、前記命令が、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを前記プロセッサに行わせる、請求項26に記載のコンピュータ可読記憶媒体。
- 動きに基づいて前記初期深度値を割り当てることが、前記前のビデオ・ユニットのコロケート・ピクセルのルーマ値に対する前記ビデオ・ユニットの前記ピクセルのルーマ値に基づいて前記初期深度値を割り当てることを備え、
色に基づいて前記調整された深度値を割り当てることが、前記ビデオ・ユニットの前記ピクセルのクロマ値に少なくとも部分的に基づいて前記調整された深度値を割り当てることを備え、
前記調整された深度値を割り当てることが、クロマ値の許容区間内のクロマ値を0と前記しきい値との間の深度値にマッピングすることを含む、
請求項26に記載のコンピュータ可読記憶媒体。 - 前記命令は、
前記ビデオ・ユニットが前記前のビデオ・ユニットに対するシーン変化に対応する場合、前記初期化された深度マップを前記ビデオ・ユニットの前記最終深度マップとして選択することと、
前記ビデオ・ユニットが前記低動きレベルを表す場合、前記ビデオ・ユニットの前記初期化された深度マップの前記深度値と、前記前のビデオ・ユニットの前記前の深度マップの前記深度値との最大値に基づいて、前記最終深度マップを定義することと
を前記プロセッサに行わせる、請求項26に記載のコンピュータ可読記憶媒体。 - 前記プロセッサがビデオ・デコーダを備え、前記命令が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行すること、
を前記プロセッサに行わせる、請求項30に記載のコンピュータ可読記憶媒体。 - 前記プロセッサがビデオ・エンコーダを備え、前記命令が、前記ビデオ・ユニットとともに前記最終深度マップを通信することを前記プロセッサに行わせる、請求項30に記載のコンピュータ可読記憶媒体。
- 前記プロセッサがビデオ・エンコーダを備え、前記命令が、
前記ビデオ・ユニットの2次ビューを生成するために、前記最終深度マップに基づいてビュー合成を実行することと、
前記ビデオ・ユニットとともに前記2次ビューを通信することと、
を前記プロセッサに行わせる、請求項30に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US25455809P | 2009-10-23 | 2009-10-23 | |
US61/254,558 | 2009-10-23 | ||
US12/696,499 US8537200B2 (en) | 2009-10-23 | 2010-01-29 | Depth map generation techniques for conversion of 2D video data to 3D video data |
US12/696,499 | 2010-01-29 | ||
PCT/US2010/053823 WO2011050304A2 (en) | 2009-10-23 | 2010-10-22 | Depth map generation techniques for conversion of 2d video data to 3d video data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013509104A JP2013509104A (ja) | 2013-03-07 |
JP5575908B2 true JP5575908B2 (ja) | 2014-08-20 |
Family
ID=43898419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012535427A Expired - Fee Related JP5575908B2 (ja) | 2009-10-23 | 2010-10-22 | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8537200B2 (ja) |
EP (1) | EP2491722B1 (ja) |
JP (1) | JP5575908B2 (ja) |
KR (1) | KR101354387B1 (ja) |
CN (1) | CN102598674B (ja) |
TW (1) | TW201130306A (ja) |
WO (1) | WO2011050304A2 (ja) |
Families Citing this family (159)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
CN100566427C (zh) * | 2007-07-31 | 2009-12-02 | 北京大学 | 用于视频编码的帧内预测编码最佳模式的选取方法及装置 |
US8284237B2 (en) * | 2009-09-09 | 2012-10-09 | Nokia Corporation | Rendering multiview content in a 3D video system |
KR101365329B1 (ko) * | 2009-11-23 | 2014-03-14 | 제너럴 인스트루먼트 코포레이션 | 비디오 시퀀스로의 추가 채널로서의 깊이 코딩 |
US8610758B2 (en) * | 2009-12-15 | 2013-12-17 | Himax Technologies Limited | Depth map generation for a video conversion system |
JP2011176800A (ja) * | 2010-01-28 | 2011-09-08 | Toshiba Corp | 画像処理装置、立体表示装置及び画像処理方法 |
US9398289B2 (en) * | 2010-02-09 | 2016-07-19 | Samsung Electronics Co., Ltd. | Method and apparatus for converting an overlay area into a 3D image |
US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP5572437B2 (ja) * | 2010-03-29 | 2014-08-13 | 富士フイルム株式会社 | 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム |
WO2011138472A1 (es) * | 2010-05-07 | 2011-11-10 | Telefonica, S.A. | Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d |
KR101883018B1 (ko) * | 2010-07-21 | 2018-07-27 | 톰슨 라이센싱 | 3d 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치 |
US20120050483A1 (en) * | 2010-08-27 | 2012-03-01 | Chris Boross | Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information |
KR20120023431A (ko) * | 2010-09-03 | 2012-03-13 | 삼성전자주식회사 | 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치 |
WO2012061549A2 (en) * | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
JP5422538B2 (ja) * | 2010-11-09 | 2014-02-19 | 株式会社東芝 | 画像処理装置、表示装置、方法およびそのプログラム |
US20120121163A1 (en) * | 2010-11-15 | 2012-05-17 | Samsung Electronics Co., Ltd. | 3d display apparatus and method for extracting depth of 3d image thereof |
JP5050094B2 (ja) * | 2010-12-21 | 2012-10-17 | 株式会社東芝 | 映像処理装置及び映像処理方法 |
KR20120084216A (ko) * | 2011-01-19 | 2012-07-27 | 삼성전자주식회사 | 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서 |
RU2480941C2 (ru) * | 2011-01-20 | 2013-04-27 | Корпорация "Самсунг Электроникс Ко., Лтд" | Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности |
JP5594477B2 (ja) * | 2011-01-26 | 2014-09-24 | Nltテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
KR101763944B1 (ko) * | 2011-02-18 | 2017-08-01 | 엘지디스플레이 주식회사 | 영상표시장치 |
US9483836B2 (en) * | 2011-02-28 | 2016-11-01 | Sony Corporation | Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content |
US9615079B2 (en) * | 2011-03-18 | 2017-04-04 | Sony Corporation | Image processing apparatus and image processing method |
US9470778B2 (en) * | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US20120274626A1 (en) * | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
EP2525581A3 (en) * | 2011-05-17 | 2013-10-23 | Samsung Electronics Co., Ltd. | Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof |
KR20140045349A (ko) * | 2011-05-19 | 2014-04-16 | 삼성전자주식회사 | 3d컨텐츠제공장치 및 3d컨텐츠제공방법 |
TWI482484B (zh) * | 2011-06-17 | 2015-04-21 | Wistron Corp | 立體顯示系統及其方法 |
TWI493505B (zh) | 2011-06-20 | 2015-07-21 | Mstar Semiconductor Inc | 影像處理方法以及影像處理裝置 |
US8982117B2 (en) * | 2011-06-22 | 2015-03-17 | Samsung Display Co., Ltd. | Display apparatus and method of displaying three-dimensional image using same |
CN102857772B (zh) * | 2011-06-29 | 2015-11-11 | 晨星软件研发(深圳)有限公司 | 影像处理方法以及影像处理装置 |
US9525858B2 (en) * | 2011-07-06 | 2016-12-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Depth or disparity map upscaling |
US9351028B2 (en) * | 2011-07-14 | 2016-05-24 | Qualcomm Incorporated | Wireless 3D streaming server |
US9363535B2 (en) * | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
BR112014003165A2 (pt) * | 2011-08-09 | 2017-03-01 | Samsung Electronics Co Ltd | método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações |
US8711141B2 (en) * | 2011-08-28 | 2014-04-29 | Arcsoft Hangzhou Co., Ltd. | 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof |
WO2013031573A1 (ja) | 2011-08-31 | 2013-03-07 | ソニー株式会社 | 符号化装置および符号化方法、復号装置および復号方法 |
US20140321546A1 (en) * | 2011-08-31 | 2014-10-30 | Sony Corporation | Image processing apparatus and image processing method |
US8928729B2 (en) * | 2011-09-09 | 2015-01-06 | Disney Enterprises, Inc. | Systems and methods for converting video |
US20130071008A1 (en) * | 2011-09-15 | 2013-03-21 | National Taiwan University | Image conversion system using edge information |
TWI486053B (zh) * | 2011-09-27 | 2015-05-21 | Realtek Semiconductor Corp | 立體影像傳輸方法及立體影像傳輸電路 |
TWI595770B (zh) * | 2011-09-29 | 2017-08-11 | 杜比實驗室特許公司 | 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術 |
US8995755B2 (en) | 2011-09-30 | 2015-03-31 | Cyberlink Corp. | Two-dimensional to stereoscopic conversion systems and methods |
CN103037226A (zh) * | 2011-09-30 | 2013-04-10 | 联咏科技股份有限公司 | 深度融合方法及其装置 |
US9167269B2 (en) * | 2011-10-25 | 2015-10-20 | Qualcomm Incorporated | Determining boundary strength values for deblocking filtering for video coding |
US9041709B2 (en) * | 2011-11-01 | 2015-05-26 | Koninklijke Philips N.V. | Saliency based disparity mapping |
US9471988B2 (en) | 2011-11-02 | 2016-10-18 | Google Inc. | Depth-map generation for an input image using an example approximate depth-map associated with an example similar image |
WO2013073316A1 (ja) * | 2011-11-14 | 2013-05-23 | 独立行政法人情報通信研究機構 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
US9661307B1 (en) * | 2011-11-15 | 2017-05-23 | Google Inc. | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D |
US20130129192A1 (en) * | 2011-11-17 | 2013-05-23 | Sen Wang | Range map determination for a video frame |
US8611642B2 (en) | 2011-11-17 | 2013-12-17 | Apple Inc. | Forming a steroscopic image using range map |
US9041819B2 (en) | 2011-11-17 | 2015-05-26 | Apple Inc. | Method for stabilizing a digital video |
US9236024B2 (en) | 2011-12-06 | 2016-01-12 | Glasses.Com Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
US9414048B2 (en) | 2011-12-09 | 2016-08-09 | Microsoft Technology Licensing, Llc | Automatic 2D-to-stereoscopic video conversion |
TWI483612B (zh) * | 2011-12-22 | 2015-05-01 | Nat Univ Chung Cheng | Converting the video plane is a perspective view of the video system |
US9571810B2 (en) * | 2011-12-23 | 2017-02-14 | Mediatek Inc. | Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing |
US9137519B1 (en) | 2012-01-04 | 2015-09-15 | Google Inc. | Generation of a stereo video from a mono video |
US8824778B2 (en) * | 2012-01-13 | 2014-09-02 | Cyberlink Corp. | Systems and methods for depth map generation |
WO2013109252A1 (en) * | 2012-01-17 | 2013-07-25 | Thomson Licensing | Generating an image for another view |
TWI499278B (zh) * | 2012-01-20 | 2015-09-01 | Univ Nat Taiwan Science Tech | 影像重建方法 |
TWI478102B (zh) * | 2012-01-20 | 2015-03-21 | Realtek Semiconductor Corp | 影像深度產生裝置與其方法 |
CN103220539B (zh) * | 2012-01-21 | 2017-08-15 | 瑞昱半导体股份有限公司 | 图像深度产生装置及其方法 |
US9111350B1 (en) | 2012-02-10 | 2015-08-18 | Google Inc. | Conversion of monoscopic visual content to stereoscopic 3D |
KR20130098042A (ko) * | 2012-02-27 | 2013-09-04 | 삼성전자주식회사 | 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치 |
US9313498B2 (en) | 2012-04-16 | 2016-04-12 | Qualcomm Incorporated | Sign hiding techniques for quantized transform coefficients in video coding |
EP2839436B1 (en) * | 2012-04-20 | 2019-08-07 | Affirmation,LLC | Systems and methods for real-time conversion of video into three-dimensions |
JP5871705B2 (ja) * | 2012-04-27 | 2016-03-01 | 株式会社日立メディコ | 画像表示装置、方法及びプログラム |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US9378584B2 (en) | 2012-05-23 | 2016-06-28 | Glasses.Com Inc. | Systems and methods for rendering virtual try-on products |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
US9013549B2 (en) | 2012-05-24 | 2015-04-21 | Silicon Integrated Systems Corp. | Depth map generation for conversion of two-dimensional image data into three-dimensional image data |
US9621869B2 (en) * | 2012-05-24 | 2017-04-11 | Sony Corporation | System and method for rendering affected pixels |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9767598B2 (en) | 2012-05-31 | 2017-09-19 | Microsoft Technology Licensing, Llc | Smoothing and robust normal estimation for 3D point clouds |
US20130329800A1 (en) * | 2012-06-07 | 2013-12-12 | Samsung Electronics Co., Ltd. | Method of performing prediction for multiview video processing |
JP6071257B2 (ja) * | 2012-06-07 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
US20140003530A1 (en) * | 2012-06-28 | 2014-01-02 | Qualcomm Incorporated | Sign hiding techniques for quantized transform coefficients in video coding |
TWI464692B (zh) * | 2012-07-03 | 2014-12-11 | Wistron Corp | 操作物辨識方法、操作物深度資訊建立方法及電子裝置 |
US9175975B2 (en) | 2012-07-30 | 2015-11-03 | RaayonNova LLC | Systems and methods for navigation |
US8666655B2 (en) | 2012-07-30 | 2014-03-04 | Aleksandr Shtukater | Systems and methods for navigation |
US9360932B1 (en) * | 2012-08-29 | 2016-06-07 | Intellect Motion Llc. | Systems and methods for virtually displaying real movements of objects in a 3D-space by means of 2D-video capture |
KR101355894B1 (ko) * | 2012-09-14 | 2014-01-29 | 한밭대학교 산학협력단 | 적응적 깊이 융합을 이용한 2차원 영상의 3차원 영상 변환장치 및 방법 |
US9374583B2 (en) * | 2012-09-20 | 2016-06-21 | Qualcomm Incorporated | Video coding with improved random access point picture behaviors |
CN104662910B (zh) * | 2012-09-21 | 2018-04-10 | 寰发股份有限公司 | 3d视频编码中的虚拟深度值的方法和装置 |
US9501831B2 (en) * | 2012-10-02 | 2016-11-22 | Google Inc. | Identification of relative distance of objects in images |
US8976224B2 (en) | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
US9098911B2 (en) * | 2012-11-01 | 2015-08-04 | Google Inc. | Depth map generation from a monoscopic image based on combined depth cues |
US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
US9875543B2 (en) * | 2012-12-10 | 2018-01-23 | Intel Corporation | Techniques for rectification of camera arrays |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
JP6150277B2 (ja) * | 2013-01-07 | 2017-06-21 | 国立研究開発法人情報通信研究機構 | 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム |
KR20140089860A (ko) | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
US9826244B2 (en) * | 2013-01-08 | 2017-11-21 | Qualcomm Incorporated | Device and method for scalable coding of video information based on high efficiency video coding |
WO2014124871A2 (en) * | 2013-02-12 | 2014-08-21 | Thomson Licensing | Method and device for enriching the content of a depth map |
EP2962290B1 (en) * | 2013-02-21 | 2019-07-17 | HERE Global B.V. | Relaying 3d information by depth simulation using 2d pixel displacement |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9674498B1 (en) | 2013-03-15 | 2017-06-06 | Google Inc. | Detecting suitability for converting monoscopic visual content to stereoscopic 3D |
US9369708B2 (en) * | 2013-03-27 | 2016-06-14 | Qualcomm Incorporated | Depth coding modes signaling of depth data for 3D-HEVC |
US9191643B2 (en) | 2013-04-15 | 2015-11-17 | Microsoft Technology Licensing, Llc | Mixing infrared and color component data point clouds |
CN103260032B (zh) * | 2013-04-18 | 2016-07-06 | 清华大学深圳研究生院 | 一种立体视频深度图序列的帧率提升方法 |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
JP5858254B2 (ja) * | 2013-06-06 | 2016-02-10 | ソニー株式会社 | 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置 |
ITTO20130503A1 (it) * | 2013-06-18 | 2014-12-19 | Sisvel Technology Srl | Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale |
CA2908115C (en) | 2013-07-08 | 2019-02-12 | Mediatek Singapore Pte. Ltd. | Method of simplified cabac coding in 3d video coding |
CA2909550C (en) * | 2013-07-15 | 2018-04-24 | Mediatek Singapore Pte. Ltd. | Method of disparity derived depth coding in 3d video coding |
US10491916B2 (en) * | 2013-10-01 | 2019-11-26 | Advanced Micro Devices, Inc. | Exploiting camera depth information for video encoding |
US9619884B2 (en) * | 2013-10-03 | 2017-04-11 | Amlogic Co., Limited | 2D to 3D image conversion device and method |
US20150172541A1 (en) * | 2013-12-17 | 2015-06-18 | Glen J. Anderson | Camera Array Analysis Mechanism |
CN103686139B (zh) | 2013-12-20 | 2016-04-06 | 华为技术有限公司 | 帧图像转换方法、帧视频转换方法及装置 |
KR101694522B1 (ko) * | 2014-02-11 | 2017-01-10 | 한국전자통신연구원 | 2차원 동영상을 3차원 동영상으로 변환하는 방법 및 장치 |
CN104933755B (zh) * | 2014-03-18 | 2017-11-28 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
WO2015158570A1 (en) * | 2014-04-17 | 2015-10-22 | Koninklijke Philips N.V. | System, method for computing depth from video |
WO2015184605A1 (en) * | 2014-06-04 | 2015-12-10 | Mediatek Singapore Pte. Ltd. | Depth coding compatible with arbitrary bit-depth |
US20160050440A1 (en) * | 2014-08-15 | 2016-02-18 | Ying Liu | Low-complexity depth map encoder with quad-tree partitioned compressed sensing |
CN104361583B (zh) * | 2014-10-27 | 2017-03-08 | 浙江科技学院 | 一种确定非对称失真立体图像客观质量的方法 |
CN104615421A (zh) * | 2014-12-30 | 2015-05-13 | 广州酷狗计算机科技有限公司 | 虚拟礼物展示方法和装置 |
US10127714B1 (en) | 2015-01-27 | 2018-11-13 | Google Llc | Spherical three-dimensional video rendering for virtual reality |
US9679387B2 (en) * | 2015-02-12 | 2017-06-13 | Mitsubishi Electric Research Laboratories, Inc. | Depth-weighted group-wise principal component analysis for video foreground/background separation |
US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
WO2017030507A1 (en) * | 2015-08-19 | 2017-02-23 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map having reduced over-smoothing |
US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
US10142613B2 (en) * | 2015-09-03 | 2018-11-27 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing system, and image processing method |
US9609307B1 (en) * | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
TWI553591B (zh) * | 2015-12-28 | 2016-10-11 | 緯創資通股份有限公司 | 深度影像處理方法及深度影像處理系統 |
US9852513B2 (en) * | 2016-03-01 | 2017-12-26 | Intel Corporation | Tracking regions of interest across video frames with corresponding depth maps |
US10841491B2 (en) * | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
EP3223524A1 (en) * | 2016-03-22 | 2017-09-27 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
US10560683B2 (en) | 2016-04-08 | 2020-02-11 | Maxx Media Group, LLC | System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects |
DE102016208056A1 (de) * | 2016-05-11 | 2017-11-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug |
WO2017212679A1 (ja) | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
WO2017212720A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US10553029B1 (en) | 2016-09-30 | 2020-02-04 | Amazon Technologies, Inc. | Using reference-only decoding of non-viewed sections of a projected video |
US10026014B2 (en) * | 2016-10-26 | 2018-07-17 | Nxp Usa, Inc. | Method and apparatus for data set classification based on generator features |
US10609356B1 (en) * | 2017-01-23 | 2020-03-31 | Amazon Technologies, Inc. | Using a temporal enhancement layer to encode and decode stereoscopic video content |
WO2018136951A1 (en) * | 2017-01-23 | 2018-07-26 | Virtual Diamond Boutique Inc. | System, method and computer-accessible medium for displaying a three-dimensional digital version of an object |
KR101947782B1 (ko) | 2017-02-22 | 2019-02-13 | 한국과학기술원 | 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법 |
EP3396949A1 (en) * | 2017-04-26 | 2018-10-31 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
US10547784B2 (en) * | 2017-06-19 | 2020-01-28 | SighTour Technologies, Inc. | Image stabilization |
US10735707B2 (en) | 2017-08-15 | 2020-08-04 | International Business Machines Corporation | Generating three-dimensional imagery |
WO2019075473A1 (en) | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE |
US11157985B2 (en) * | 2017-11-29 | 2021-10-26 | Ditto Technologies, Inc. | Recommendation system, method and computer program product based on a user's physical features |
US10984583B2 (en) * | 2018-03-28 | 2021-04-20 | Apple Inc. | Reconstructing views of real world 3D scenes |
FR3080968A1 (fr) * | 2018-05-03 | 2019-11-08 | Orange | Procede et dispositif de decodage d'une video multi-vue, et procede et dispositif de traitement d'images. |
KR102219561B1 (ko) | 2018-11-23 | 2021-02-23 | 연세대학교 산학협력단 | 대응점 일관성에 기반한 비지도 학습 방식의 스테레오 매칭 장치 및 방법 |
EP4057225B1 (en) * | 2019-01-28 | 2023-10-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Localization of elements in the space |
US11670039B2 (en) | 2019-03-04 | 2023-06-06 | Dolby Laboratories Licensing Corporation | Temporal hole filling for depth image based video rendering |
TWI720513B (zh) * | 2019-06-14 | 2021-03-01 | 元智大學 | 影像放大方法 |
CN113643342B (zh) * | 2020-04-27 | 2023-11-14 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
TWI736335B (zh) * | 2020-06-23 | 2021-08-11 | 國立成功大學 | 基於深度影像生成方法、電子裝置與電腦程式產品 |
EP4085567A4 (en) | 2020-12-08 | 2023-04-26 | Tencent America LLC | ADAPTATION OF 2D VIDEO FOR STREAMING TO HETEROGENOUS CLIENT ENDPOINTS |
US11736748B2 (en) * | 2020-12-16 | 2023-08-22 | Tencent America LLC | Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points |
US11943271B2 (en) | 2020-12-17 | 2024-03-26 | Tencent America LLC | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
GB202216570D0 (en) * | 2022-11-07 | 2022-12-21 | Pommelhorse Ltd | Real-time video processor and method |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0441380B1 (en) * | 1990-02-08 | 1996-09-11 | Canon Kabushiki Kaisha | Image pick-up device |
JP3214688B2 (ja) * | 1994-02-01 | 2001-10-02 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する方法及び3次元映像信号生成装置 |
JP3234412B2 (ja) * | 1994-09-21 | 2001-12-04 | 三洋電機株式会社 | 動きベクトル検出装置 |
JP3005474B2 (ja) * | 1996-08-07 | 2000-01-31 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する装置および方法 |
US6208693B1 (en) * | 1997-02-14 | 2001-03-27 | At&T Corp | Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects |
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
KR100327103B1 (ko) * | 1998-06-03 | 2002-09-17 | 한국전자통신연구원 | 사용자의조력및물체추적에의한영상객체분할방법 |
JP2001320731A (ja) * | 1999-11-26 | 2001-11-16 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する装置及びその方法 |
CN1236628C (zh) * | 2000-03-14 | 2006-01-11 | 株式会社索夫特4D | 产生立体图像的方法和装置 |
US7676081B2 (en) * | 2005-06-17 | 2010-03-09 | Microsoft Corporation | Image segmentation of foreground from background layers |
US7720283B2 (en) * | 2005-12-09 | 2010-05-18 | Microsoft Corporation | Background removal in a live video |
US8250940B2 (en) | 2006-07-20 | 2012-08-28 | Steering Solutions Ip Holding Corporation | System and method for controlling contact between members in operable communication |
DE102006035906A1 (de) * | 2006-07-31 | 2008-04-17 | Claas Selbstfahrende Erntemaschinen Gmbh | Messvorrichtung zur Inhaltsstofferfassung |
EP2074586B1 (en) * | 2006-10-04 | 2011-09-07 | Koninklijke Philips Electronics N.V. | Image enhancement |
US20080205791A1 (en) * | 2006-11-13 | 2008-08-28 | Ramot At Tel-Aviv University Ltd. | Methods and systems for use in 3d video generation, storage and compression |
US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
US8131098B2 (en) * | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
CN101483788B (zh) * | 2009-01-20 | 2011-03-23 | 清华大学 | 一种平面视频转立体视频的方法和装置 |
-
2010
- 2010-01-29 US US12/696,499 patent/US8537200B2/en not_active Expired - Fee Related
- 2010-10-22 KR KR1020127013246A patent/KR101354387B1/ko active IP Right Grant
- 2010-10-22 WO PCT/US2010/053823 patent/WO2011050304A2/en active Application Filing
- 2010-10-22 JP JP2012535427A patent/JP5575908B2/ja not_active Expired - Fee Related
- 2010-10-22 EP EP10773210.9A patent/EP2491722B1/en active Active
- 2010-10-22 CN CN201080047743.4A patent/CN102598674B/zh active Active
- 2010-10-25 TW TW099136358A patent/TW201130306A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US8537200B2 (en) | 2013-09-17 |
KR20120071407A (ko) | 2012-07-02 |
WO2011050304A3 (en) | 2011-06-16 |
CN102598674A (zh) | 2012-07-18 |
KR101354387B1 (ko) | 2014-01-22 |
EP2491722A2 (en) | 2012-08-29 |
TW201130306A (en) | 2011-09-01 |
EP2491722B1 (en) | 2015-09-23 |
JP2013509104A (ja) | 2013-03-07 |
US20110096832A1 (en) | 2011-04-28 |
CN102598674B (zh) | 2014-12-10 |
WO2011050304A2 (en) | 2011-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5575908B2 (ja) | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 | |
US11546513B2 (en) | Image data encoding/decoding method and apparatus | |
JP5763184B2 (ja) | 3次元画像に対する視差の算出 | |
JP6026534B2 (ja) | 深度範囲の変動を伴う動き深度マップのコーディング | |
US8488870B2 (en) | Multi-resolution, multi-window disparity estimation in 3D video processing | |
JP6178017B2 (ja) | ステレオビデオのための深度認識向上 | |
TWI527431B (zh) | 基於非對稱圖紋及深度解析度之視圖合成 | |
JP5970609B2 (ja) | 3dビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
WO2012047917A1 (en) | 3d video control system to adjust 3d video rendering based on user preferences | |
US11758191B2 (en) | Method and apparatus of encoding/decoding image data based on tree structure-based block division | |
JP2009513074A (ja) | スケーラブル映像符号化を用いた多視点映像符号化 | |
Ma et al. | Low complexity adaptive view synthesis optimization in HEVC based 3D video coding | |
EP2920970A1 (en) | Method and apparatus for prediction value derivation in intra coding | |
KR20140124919A (ko) | 객체 기반 적응적 밝기 보상 방법 및 장치 | |
WO2015056712A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
CN116848843A (zh) | 可切换的密集运动向量场插值 | |
Karunakar | Implementation of an out-of-the loop post-processing technique for HEVC decoded depth maps | |
Park et al. | Ho-Cheon Wey | |
BR112016020544B1 (pt) | Realce consciente de profundidade para vídeo estéreo | |
KR20140124045A (ko) | 객체 기반 적응적 밝기 보상 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131209 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5575908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |