JP5792632B2 - デプスマップの符号化 - Google Patents
デプスマップの符号化 Download PDFInfo
- Publication number
- JP5792632B2 JP5792632B2 JP2011547971A JP2011547971A JP5792632B2 JP 5792632 B2 JP5792632 B2 JP 5792632B2 JP 2011547971 A JP2011547971 A JP 2011547971A JP 2011547971 A JP2011547971 A JP 2011547971A JP 5792632 B2 JP5792632 B2 JP 5792632B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- depth
- image
- depth image
- given
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 claims description 113
- 239000013598 vector Substances 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 62
- 230000002123 temporal effect Effects 0.000 claims description 51
- 230000007423 decrease Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000007547 defect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本願は、2009年1月30日に提出された米国仮出願第61/206,496号「Temporal Filtering of Depth Maps(デプスマップの時間フィルタリング)」の利益を主張するものであり、本願ではそれを全体として参照により本願に援用する。
一実施形態では、ビデオからの動作情報に基づく、異なるタイムスタンプにおける対応する領域の識別は、図3の動作分析器310を用いて行われる。
一実施形態では、フィルタの重みの判定は、図3の重み算出器320を用いて行われる。
フィルタリングを行うため、ステップ1で見つけられた動作ベクトルをコピーすることによって識別されたデプス対応のそれぞれに、wt'の重みが与えられる。フィルタリングされたデプスは、
一実施形態では、図3の時間フィルタ330を用いて時間平均が行われる。
所与の領域
D”(x,y,t)=Σwt'×D(x+mvxt',y+mvyt',t’)
ここでΣwt'=1である。
本発明は以下の態様を含む。
(付記1)
第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップと、
を備える、方法。
(付記2)
前記第2のデプス画像の前記デプス部分を判定するステップが、前記第1のデプス画像の前記所与の部分に、前記第1のビデオ画像のうちの前記同一位置のビデオ部分と同じ動作が与えられるように、前記ビデオ動作ベクトルを用いて、前記第2のデプス画像の前記デプス部分を前記第1のデプス画像の前記所与の部分から判定するステップを含む、付記1に記載の方法。
(付記3)
前記第2のビデオ画像が、前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、付記1に記載の方法。
(付記4)
前記方法が、ビデオエンコーダと、前記ビデオエンコーダ用のプリプロセッサと、前記ビデオエンコーダ用のポストプロセッサと、ビデオデコーダと、前記ビデオデコーダ用のプリプロセッサと、または、前記ビデオデコーダ用のポストプロセッサとのうち1つ以上に実装される、付記1に記載の方法。
(付記5)
前記第1のデプス画像の前記所与の部分を更新するステップが、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分または前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用させるステップを含む、付記1に記載の方法。
(付記6)
前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、動作基準と時間的距離基準とのうち1つ以上に基づいて判定される、付記5に記載の方法。
(付記7)
前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とにおける動作のそれぞれの量に基づいて判定される、付記6に記載の方法。
(付記8)
それぞれの重みの特定の1つの値が、動作の量が減少するのにつれて増加する、付記7に記載の方法。
(付記9)
前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第1のビデオ画像と前記第2のビデオ画像との間の時間的距離に基づいて判定される、付記6に記載の方法。
(付記10)
それぞれの重みの特定の1つの値が、時間的距離が増加するのにつれて減少する、付記9に記載の方法。
(付記11)
メディアンフィルタが適用される場合、それぞれの重みが、ピクセルに基づいて、前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用される、付記5に記載の方法。
(付記12)
前記ビデオ動作ベクトルを判定するステップをさらに含む、付記1に記載の方法。
(付記13)
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第3のビデオ画像に関する動作を示す別のビデオ動作ベクトルにアクセスするステップと、
前記第3のビデオ画像に対応する第3のデプス画像にアクセスするステップと、
前記第3のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記別のビデオ動作ベクトルに基づいて判定するステップと、
をさらに備え、
前記第1のデプス画像の前記所与の部分を更新するステップが、前記第3のデプス画像の前記デプス部分および前記第2のデプス画像の前記デプス部分にさらに基づく、付記1に記載の方法。
(付記14)
第1のビデオ画像に対応する第1のデプス画像にアクセスするための手段と、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するための手段と、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするための手段と、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするための手段と、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するための手段と、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するための手段と、
を備える、装置。
(付記15)
第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップと、
をプロセッサに少なくとも行わせるための命令を記憶している、プロセッサ可読媒体。
(付記16)
第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップと、
を少なくとも行うために構成されたプロセッサを備える、装置。
(付記17)
第1のビデオ画像に対応する第1のデプス画像にアクセスするための、かつ、第2のビデオ画像に対応する第2のデプス画像にアクセスするための時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が第1のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの前記同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新する、装置。
(付記18)
第1のビデオ画像に対応する第1のデプス画像にアクセスするための、かつ、第2のビデオ画像に対応する第2のデプス画像にアクセスするための時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が前記第1のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新し、
前記装置は、前記第1のデプス画像の前記更新された所与の部分を含む信号を変調するための変調器をさらに備える、装置。
(付記19)
第1のビデオ画像と、第2のビデオ画像と、前記第1のビデオ画像に対応する第1のデプス画像と、前記第2のビデオ画像に対応する第2のデプス画像とを含む信号を復調するための復調器と、
前記第1のデプス画像にアクセスするための、かつ、前記第2のデプス画像にアクセスするための時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が前記第1のデプス画像の所与の部分に対応し、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの前記同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新する、装置。
Claims (17)
- 第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
を備える、方法。 - 前記第2のデプス画像の前記デプス部分を判定するステップが、前記第1のデプス画像の前記所与の部分に、前記第1のビデオ画像のうちの前記同一位置のビデオ部分と同じ動作が与えられるように、前記ビデオ動作ベクトルを用いて、前記第2のデプス画像の前記デプス部分を前記第1のデプス画像の前記所与の部分から判定するステップを含む、請求項1に記載の方法。
- 前記方法が、ビデオエンコーダと、前記ビデオエンコーダ用のプリプロセッサと、前記ビデオエンコーダ用のポストプロセッサと、ビデオデコーダと、前記ビデオデコーダ用のプリプロセッサと、または、前記ビデオデコーダ用のポストプロセッサとのうち1つ以上に実装される、請求項1に記載の方法。
- 前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、動作基準と時間的距離基準とのうち1つ以上に基づいて判定される、請求項1に記載の方法。
- 前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とにおける動作のそれぞれの量に基づいて判定される、請求項4に記載の方法。
- それぞれの重みの特定の1つの値が、動作ベクトルの大きさが減少するのにつれて増加する、請求項5に記載の方法。
- 前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用されるそれぞれの重みが、前記第1のビデオ画像と前記第2のビデオ画像との間の時間的距離に基づいて判定される、請求項4に記載の方法。
- それぞれの重みの特定の1つの値が、時間的距離が増加するのにつれて減少する、請求項7に記載の方法。
- メディアンフィルタが適用される場合、それぞれの重みが、ピクセルに基づいて、前記第1のデプス画像の前記所与の部分と前記第2のデプス画像の前記デプス部分とに適用される、請求項1に記載の方法。
- 前記ビデオ動作ベクトルを判定するステップをさらに含む、請求項1に記載の方法。
- 前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第3のビデオ画像に関する動作を示す別のビデオ動作ベクトルにアクセスするステップと、
前記第3のビデオ画像に対応する第3のデプス画像にアクセスするステップと、
前記第3のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記別のビデオ動作ベクトルに基づいて判定するステップと、
をさらに備え、
前記第1のデプス画像の前記所与の部分を更新するステップが、前記第3のデプス画像の前記デプス部分および前記第2のデプス画像の前記デプス部分にさらに基づく、請求項1に記載の方法。 - 第1のビデオ画像に対応する第1のデプス画像にアクセスするための手段と、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するための手段と、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするための手段であって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、手段と、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするための手段と、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するための手段と、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するための手段であって、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力する手段を含む、手段と、
を備える、装置。 - 第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
をプロセッサに少なくとも行わせるための命令を記憶している、プロセッサ可読媒体。 - 第1のビデオ画像に対応する第1のデプス画像にアクセスするステップと、
前記第1のデプス画像の所与の部分について、前記第1のビデオ画像のうちの同一位置のビデオ部分を判定するステップと、
前記第1のビデオ画像のうちの前記同一位置のビデオ部分の第2のビデオ画像に関する動作を示すビデオ動作ベクトルにアクセスするステップであって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、ステップと、
前記第2のビデオ画像に対応する第2のデプス画像にアクセスするステップと、
前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定するステップと、
前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新するステップであって、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力するステップを含む、ステップと、
を少なくとも行うために構成されたプロセッサを備える、装置。 - 第1のビデオ画像に対応する第1のデプス画像にアクセスするための、かつ、第2のビデオ画像に対応する第2のデプス画像にアクセスするための時間フィルタであって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が第1のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの前記同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力することを含む、装置。 - 第1のビデオ画像に対応する第1のデプス画像にアクセスするための、かつ、第2のビデオ画像に対応する第2のデプス画像にアクセスするための時間フィルタであって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が前記第1のデプス画像の所与の部分に対応し、かつ、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力することを含み、
前記第1のデプス画像の前記更新された所与の部分を含む信号を変調するための変調器をさらに備える、装置。 - 第1のビデオ画像と、第2のビデオ画像と、前記第1のビデオ画像に対応する第1のデプス画像と、前記第2のビデオ画像に対応する第2のデプス画像とを含む信号を復調するための復調器であって、前記第2のビデオ画像は前記第1のビデオ画像のタイムスタンプとは異なるタイムスタンプを有する、復調器と、
前記第1のデプス画像にアクセスするための、かつ、前記第2のデプス画像にアクセスするための時間フィルタと、
前記第1のビデオ画像のうちの同一位置のビデオ部分についてのビデオ動作ベクトルを判定するための動作分析器であって、前記第1のビデオ画像のうちの前記同一位置のビデオ部分が前記第1のデプス画像の所与の部分に対応し、前記ビデオ動作ベクトルが前記第1のビデオ画像のうちの前記同一位置のビデオ部分の前記第2のビデオ画像に関する動作を示す、動作分析器と、
を備え、
前記時間フィルタが、前記第2のデプス画像のデプス部分を、前記第1のデプス画像の前記所与の部分から、前記ビデオ動作ベクトルに基づいて判定し、かつ、前記時間フィルタが、前記第1のデプス画像の前記所与の部分を、前記第2のデプス画像の前記デプス部分に基づいて更新し、該更新は、時間的加重平均とメディアンフィルタとのうち1つ以上を、前記第1のデプス画像の前記所与の部分および前記第2のデプス画像の前記デプス部分のうち1つ以上の値に適用して、前記第1のデプス画像の更新された前記所与の部分を出力することを含む、装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US20649609P | 2009-01-30 | 2009-01-30 | |
US61/206,496 | 2009-01-30 | ||
PCT/US2010/000208 WO2010087955A1 (en) | 2009-01-30 | 2010-01-27 | Coding of depth maps |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012516637A JP2012516637A (ja) | 2012-07-19 |
JP2012516637A5 JP2012516637A5 (ja) | 2013-03-14 |
JP5792632B2 true JP5792632B2 (ja) | 2015-10-14 |
Family
ID=42122982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011547971A Expired - Fee Related JP5792632B2 (ja) | 2009-01-30 | 2010-01-27 | デプスマップの符号化 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9569819B2 (ja) |
EP (1) | EP2384584B1 (ja) |
JP (1) | JP5792632B2 (ja) |
KR (1) | KR101675555B1 (ja) |
CN (1) | CN102356637B (ja) |
BR (1) | BRPI1007451A2 (ja) |
WO (1) | WO2010087955A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101590767B1 (ko) * | 2009-06-09 | 2016-02-03 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP4966431B2 (ja) * | 2009-09-18 | 2012-07-04 | 株式会社東芝 | 画像処理装置 |
CN102741879B (zh) * | 2009-11-18 | 2015-07-08 | 财团法人工业技术研究院 | 由单眼图像产生深度图的方法及其系统 |
US20110211749A1 (en) * | 2010-02-28 | 2011-09-01 | Kar Han Tan | System And Method For Processing Video Using Depth Sensor Information |
WO2012061549A2 (en) * | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
JP2014140089A (ja) * | 2011-05-10 | 2014-07-31 | Sharp Corp | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
US8817073B2 (en) * | 2011-08-12 | 2014-08-26 | Himax Technologies Limited | System and method of processing 3D stereoscopic image |
US20130229485A1 (en) * | 2011-08-30 | 2013-09-05 | Nokia Corporation | Apparatus, a Method and a Computer Program for Video Coding and Decoding |
US9213883B2 (en) * | 2012-01-10 | 2015-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for processing depth image |
KR101896307B1 (ko) * | 2012-01-10 | 2018-09-10 | 삼성전자주식회사 | 깊이 영상을 처리하는 방법 및 장치 |
KR101938205B1 (ko) | 2012-03-19 | 2019-01-14 | 한국전자통신연구원 | 깊이 영상 필터링 방법 및 그 장치 |
US9286658B2 (en) * | 2012-03-22 | 2016-03-15 | Qualcomm Incorporated | Image enhancement |
WO2013157439A1 (ja) * | 2012-04-17 | 2013-10-24 | ソニー株式会社 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
US9307252B2 (en) | 2012-06-04 | 2016-04-05 | City University Of Hong Kong | View synthesis distortion model for multiview depth video coding |
JP5830705B2 (ja) * | 2012-09-25 | 2015-12-09 | パナソニックIpマネジメント株式会社 | 画像信号処理装置および画像信号処理方法 |
WO2014121108A1 (en) * | 2013-01-31 | 2014-08-07 | Threevolution Llc | Methods for converting two-dimensional images into three-dimensional images |
US10080036B2 (en) | 2013-05-16 | 2018-09-18 | City University Of Hong Kong | Method and apparatus for depth video coding using endurable view synthesis distortion |
US10368097B2 (en) * | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
WO2015109598A1 (en) | 2014-01-27 | 2015-07-30 | Mediatek Singapore Pte. Ltd. | Methods for motion parameter hole filling |
WO2015115946A1 (en) * | 2014-01-30 | 2015-08-06 | Telefonaktiebolaget L M Ericsson (Publ) | Methods for encoding and decoding three-dimensional video content |
WO2015158570A1 (en) * | 2014-04-17 | 2015-10-22 | Koninklijke Philips N.V. | System, method for computing depth from video |
US10237530B1 (en) * | 2016-06-29 | 2019-03-19 | Amazon Technologies, Inc. | Depth-map augmentation techniques |
US10212408B1 (en) | 2016-06-29 | 2019-02-19 | Amazon Technologies, Inc. | Depth-map augmentation techniques |
EP3358844A1 (en) | 2017-02-07 | 2018-08-08 | Koninklijke Philips N.V. | Method and apparatus for processing an image property map |
KR102472767B1 (ko) | 2017-09-14 | 2022-12-01 | 삼성전자주식회사 | 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치 |
US10643336B2 (en) | 2018-03-06 | 2020-05-05 | Sony Corporation | Image processing apparatus and method for object boundary stabilization in an image of a sequence of images |
EP3706070A1 (en) | 2019-03-05 | 2020-09-09 | Koninklijke Philips N.V. | Processing of depth maps for images |
CN110400344B (zh) * | 2019-07-11 | 2021-06-18 | Oppo广东移动通信有限公司 | 深度图处理方法和装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001175863A (ja) * | 1999-12-21 | 2001-06-29 | Nippon Hoso Kyokai <Nhk> | 多視点画像内挿方法および装置 |
CN1236628C (zh) * | 2000-03-14 | 2006-01-11 | 株式会社索夫特4D | 产生立体图像的方法和装置 |
US7180663B2 (en) | 2002-06-19 | 2007-02-20 | Robert Bruce Collender | 3D motion picture theatre |
ES2515090T3 (es) | 2002-07-31 | 2014-10-29 | Koninklijke Philips N.V. | Método y aparato para codificar una señal de vídeo digital |
JP3988879B2 (ja) | 2003-01-24 | 2007-10-10 | 日本電信電話株式会社 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
KR100834749B1 (ko) | 2004-01-28 | 2008-06-05 | 삼성전자주식회사 | 스케일러블 비디오 스트림 재생장치 및 그 방법 |
EP1723800A1 (en) | 2004-03-01 | 2006-11-22 | Koninklijke Philips Electronics N.V. | A video signal encoder, a video signal processor, a video signal distribution system and methods of operation therefor |
CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
US8879857B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8970680B2 (en) * | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
WO2008029345A1 (en) * | 2006-09-04 | 2008-03-13 | Koninklijke Philips Electronics N.V. | Method for determining a depth map from images, device for determining a depth map |
US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
EP2087466B1 (en) | 2006-11-21 | 2020-06-17 | Koninklijke Philips N.V. | Generation of depth map for an image |
JP5138031B2 (ja) * | 2007-05-11 | 2013-02-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深度関連情報を処理する方法、装置及びシステム |
US8411205B2 (en) * | 2007-07-11 | 2013-04-02 | Olympus Corporation | Noise reducing image processing apparatus |
KR101483660B1 (ko) * | 2007-07-26 | 2015-01-16 | 코닌클리케 필립스 엔.브이. | 깊이-관련 정보 전파를 위한 방법 및 장치 |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
KR20100105877A (ko) * | 2008-01-11 | 2010-09-30 | 톰슨 라이센싱 | 비디오 및 깊이 코딩 |
JP5153940B2 (ja) * | 2008-06-24 | 2013-02-27 | トムソン ライセンシング | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 |
CN101374243B (zh) | 2008-07-29 | 2010-06-23 | 宁波大学 | 一种应用于3dtv与ftv系统的深度图编码压缩方法 |
JP5243612B2 (ja) * | 2008-10-02 | 2013-07-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
KR101642964B1 (ko) * | 2010-11-03 | 2016-07-27 | 삼성전자주식회사 | 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치 |
-
2010
- 2010-01-27 JP JP2011547971A patent/JP5792632B2/ja not_active Expired - Fee Related
- 2010-01-27 EP EP10703709.5A patent/EP2384584B1/en active Active
- 2010-01-27 CN CN201080011941.5A patent/CN102356637B/zh active Active
- 2010-01-27 US US13/138,205 patent/US9569819B2/en active Active
- 2010-01-27 BR BRPI1007451A patent/BRPI1007451A2/pt active Search and Examination
- 2010-01-27 WO PCT/US2010/000208 patent/WO2010087955A1/en active Application Filing
- 2010-01-27 KR KR1020117017697A patent/KR101675555B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
US9569819B2 (en) | 2017-02-14 |
CN102356637A (zh) | 2012-02-15 |
JP2012516637A (ja) | 2012-07-19 |
EP2384584A1 (en) | 2011-11-09 |
EP2384584B1 (en) | 2017-03-15 |
US20110273529A1 (en) | 2011-11-10 |
BRPI1007451A2 (pt) | 2016-09-13 |
WO2010087955A1 (en) | 2010-08-05 |
KR101675555B1 (ko) | 2016-11-11 |
KR20110122817A (ko) | 2011-11-11 |
CN102356637B (zh) | 2017-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5792632B2 (ja) | デプスマップの符号化 | |
JP5346076B2 (ja) | 奥行きを用いた視点間スキップモード | |
EP3700209B1 (en) | Method and device for processing video image | |
JP5607716B2 (ja) | 統合デプス推定 | |
JP2012516637A5 (ja) | ||
JP5937212B2 (ja) | デプス符号化 | |
US10284810B1 (en) | Using low-resolution frames to increase frame rate of high-resolution frames | |
WO2009131703A2 (en) | Coding of depth signal | |
US20120140819A1 (en) | Depth map coding | |
KR20120083913A (ko) | 깊이 맵 처리를 위한 방법 및 디바이스 | |
WO2006054257A1 (en) | Motion vector field projection dealing with covering and uncovering | |
US20190141332A1 (en) | Use of synthetic frames in video coding | |
US9210448B2 (en) | Moving picture decoding device, moving picture decoding method and integrated circuit | |
US9894384B2 (en) | Multiview video signal encoding method and decoding method, and device therefor | |
WO2010021664A1 (en) | Depth coding | |
CN109756737B (zh) | 图像预测方法和装置 | |
JP2015087851A (ja) | 画像処理装置及び画像処理プログラム | |
US9955166B2 (en) | Method and device for processing video signal | |
CN110572677A (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN115152214A (zh) | 基于画面划分的图像编码装置和方法 | |
EP2986002A1 (en) | Video signal processing method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20130128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20140221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140428 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5792632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |