JP6644979B2 - 3次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス - Google Patents
3次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス Download PDFInfo
- Publication number
- JP6644979B2 JP6644979B2 JP2014116669A JP2014116669A JP6644979B2 JP 6644979 B2 JP6644979 B2 JP 6644979B2 JP 2014116669 A JP2014116669 A JP 2014116669A JP 2014116669 A JP2014116669 A JP 2014116669A JP 6644979 B2 JP6644979 B2 JP 6644979B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- depth
- group
- color image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/642—Adapting to different types of images, e.g. characters, graphs, black and white image portions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
Y(j,i)。j=0,…,H−1、およびi=0,…,W/2−1である。
U(j,i)およびV(j,i)。j=0,…,H−1、およびi=0,…,(W/2)−1である。4:2:0YUVアンダーサンプリングのために、指標jおよびiは偶数値のみとする。
各ピクセルD(j,i)に関して: 1.iが偶数の場合:Y(j,i/2)=D(j,i) 2.jが偶数であり、iの4に対するモジュロが1に等しい場合:
各ピクセルD(j,i)に関して: 1.iが偶数の場合:Y(j,i/2)=D(j,i) 2.jが偶数であり、iの4に対するモジュロが1に等しい場合:
トップアンドボトム構成を得るために、W×H解像度の深度マップをW×H/2解像度のカラー画像に変換する必要がある。そのような結果は、上述した同じ方法を行の役割と列の役割とを入れ替えて適用することにより達成される。
先述の解決方法はY、U、およびV成分間の良好な空間的コヒーレンスを確保しつつ、深度マップのいくつかの値がカラー画像のクロミナンス成分として表されることを可能とする。(実際の色を有する)一般的な画像の場合、クロミナンス成分は、低いエネルギー容量、よって、低いエントロピーにより特徴付けられ、公知の技術を用いて容易に圧縮され得る。反対に、先述の解決方法のU、V成分は、輝度と同じエネルギー容量を有するピクセルから成る。
UおよびV成分のエネルギー的寄与を低減することを可能とする更なる変形例によると、深度マップの値は、輝度とクロミナンス成分とによりそれぞれ表される平均値と平均差により置き換えられる。この変形例の利点は、この場合においても差異を表す信号がUおよびVに挿入される点で先述の解決方法の利点と同じである。
wd=w2の場合に得られる平均誤差e(wd=w2)およびwd=w3の場合に得られる平均誤差e(wd=w3)が計算され、その後送信のために選択される係数wdが以下のように誤差を最少化するものである。
最も良好な平均差wdが判断される。
式Y(j/2,i)=w0およびY(j/2,i+1)=w1に従って平均値がY成分へ割り当てられる。
4によるインデックスjの残りの除算が0に等しい場合、式U(j/2,i)=wdに従って平均差が割り当てられる。
さもなくば(インデックスjが4の倍数でない場合)、V(j/2,i)=wd。
深度値の平均および差異に基づく先述した技術は、サブバンド手法を採用することにより一般化され得る。例えば2×2DCTタイプの領域変換、つまり、ウォルシュ−アダマール変換、または文献において公知である1つのレベルのみのウェーブレット変換を用いることにより、深度マップDM1(およびDM2)により構成される画像は、行および列の両方に関して解像度が半分にされた、よってW/2×H/2解像度の4つのサブバンドへ分割される。そのようなサブバンドは一般的に、LL、LH、HL、およびHHサブバンドとして、左から右に、および上から下に示される。図12は、深度マップの行および列に別々にウォルシュ−アダマール変換を適用することにより得られるサブバンド変換の一例を示す。変換はビデオ信号のエネルギーの殆どをLLサブバンド(左上部分)に集中させていることを観察することが出来る。深度マップの場合のようにあまり詳細を含んでいない画像に関して、HHサブバンドは殆どエネルギーを集めない。HL、LH、およびHHサブバンドの係数は符号を有しており、128のオフセットを、先述の解決方法に関して説明された平均差の場合のように値0を表すために用いなければならないことにも気付くことが出来る。符号なしの8ビットサンプルで変換係数を表すことが所望される場合、用いられている変換のタイプに応じて変わり得る適切な四捨五入を行う必要もある。
テレビ再生チェーンにおいて、4:2:2YUVフォーマットが典型的に用いられる。4:2:0フォーマットの場合と比較して、2つのマップを単一のカラー画像にパックする解決方法は、クロミナンス情報(U、V)がピクセルの50%に存在する点でより単純である。したがって全体として、16ビット/ピクセル(Yに関して8、U、Vに関して8)が利用可能であり、これにより、情報の損失なしで、よって、受信に応じて足りないピクセルを補間する必要なしで2つのマップをカラー画像に挿入することが可能である。
カラー画像の作成は、図15を検討することにより容易に理解され得る。第1のピクセル行において、オリジナルの深度マップの奇数列(1、3、5...)のピクセルが、図2aと全体的に同様のやり方でカラー画像の偶数列のピクセルのUおよびVへ移動させられる。4:2:0の場合とは異なり、カラー画像の偶数列(0、2、4...)のピクセルはクロミナンスを有するので、第1の行と同じことが第2ピクセル行に起こり、つまり、オリジナルの深度マップの奇数列のピクセルが、カラー画像の偶数列のピクセルのUおよびVに移動させられる。したがって、受信に応じて補間により再構成される足りないピクセル(図2aにおいて十字でマーク付けされたもの)はもはやない。
例として、カラー画像を作成する1つの可能なやり方が図16に示されている。破棄される奇数行のピクセルは、例えば矢印に示されるように、偶数行のピクセルのUおよびVに再割り当てされる。再割り当ては、簡潔にするために本明細書において説明されない他の実質的に同等のやり方でも実行され得る。
先述の解決方法は、Y、U、およびV成分間の良好な空間的コヒーレンスを確保しつつ深度マップのいくつかの値がカラー画像のクロミナンス成分として表されることを可能とする。(実際の色を有する)一般的な画像の場合、クロミナンス成分は、低いエネルギー容量により、よって、低いエントロピーにより特徴付けられ、公知の技術を用いることにより容易に圧縮され得る。反対に、先述の解決方法のU、V成分は輝度と同じエネルギー容量を有するピクセルから成る。この課題を解決するために、クロミナンス成分に挿入されることになる深度値をY成分に表される深度値を用いることにより予測(または補間)された値に対する差分値で入れ替えることが可能である。言い換えると、予測誤差がクロミナンス成分に挿入され得る。深度マップはそれ程詳細ではないので、予測は有効であり、予測誤差は非常に低いエネルギー容量を有し、よって、クロミナンスとして表されるのに適している。
4:2:2の場合においても、UおよびV成分のエネルギー的寄与を低減することを可能とする更なる変形例は、輝度およびクロミナンス成分のそれぞれを用いることにより表される平均値および平均差で深度マップの値を置き換える段階を含む。この変形例の利点は、この場合においても差異を表す信号がUおよびVに挿入される点で、先述の解決方法の利点と同じである。深度マップの各2×2ブロックのサンプルは、図10に示されるように平均値および平均差に変換され、ここで、a、b、c、dは、深度マップの2×2ブロックの深度値を表す。
1つのレベルのみをサブバンド変換へ適用することにより、深度マップにより形成される画像が、行および列の両方で解像度が半分にされた、つまりW/2×H/2解像度の4つのサブバンドへ分割される。そのようなサブバンドは一般的に、LL、LH、HL、およびHHサブバンドとして右から左に、上から下に示される。4:2:2YUVフォーマットを用いる場合、図18に示される手順を用いることにより、2つの深度マップの変換を単一のカラー画像に表すことが出来、ここで、DM1'およびDM2'は、DM1およびDM2の2つの深度マップのサブバンド変換を示す。4:2:0YUVフォーマットに関して提案された同様の技術(図13を参照)とは異なり、この場合、DM1'およびDM2'の全ての4つのサブバンドを設定することが可能である。例として本明細書に提案される解決方法において、トップアンドボトムカラー画像が形成される。列ごとにアンダーサンプリングされるLHおよびHHサブバンドに挿入することにより、U、V成分は、Uの対応する画像との空間相関を維持するようなやり方で構成される。特に、偶数列がU成分に挿入され、奇数列は、V成分へ挿入される。
本願発明は、1つのみの深度マップが存在する場合にも適用可能であることに留意するべきである。この場合、本明細書に提案される技術は、オリジナルの深度マップのものと比較して(行または列毎に)解像度が半分にされたカラー画像を構成することを可能とする。
本明細書に提案される解決方法は、それぞれの深度マップと共に立体ビデオシーケンスのペアを可視化システムへ送信するために用いられ得、これにより、何らかの中間視点の合成を可能とする。
本願発明にしたがって深度マップを再構成するために、上述した変形例に従ってカラー画像を生成するための処理とは逆の処理が実行される。
[項目1]
少なくとも1つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であり、
上記少なくとも1つの深度または視差マップの第1のピクセル群が上記カラー画像の輝度成分に挿入され、
上記少なくとも1つの深度または視差マップの第2のピクセル群および第3のピクセル群が上記カラー画像の2つのクロミナンス成分に挿入される、方法。
[項目2]
上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群のピクセルが上記輝度成分および上記2つのクロミナンス成分のどの位置に挿入されるかの選択は、上記カラー画像の上記輝度成分と上記2つのクロミナンス成分との間の空間相関を確保するようなやり方でなされる、項目1に記載の方法。
[項目3]
上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群は併せて、上記少なくとも1つの深度または視差マップの全てのピクセルを含む、項目1または2に記載の方法。
[項目4]
上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群は、上記少なくとも1つの深度または視差マップの全てのピクセルの一部のみを含む、項目1または2に記載の方法。
[項目5]
サイドバイサイドまたはトップアンドボトム技術を用いることにより、W×Hサイズの2つの深度または視差マップが、同じサイズのカラー画像へ挿入される、項目1から4のいずれか1項に記載の方法。
[項目6]
ピクセル群に属する上記第2のピクセル群および上記第3のピクセル群のピクセルは、予測値または補間値に対する差分値により置き換えられ、
上記補間値は、上記第1のピクセル群に属するピクセルの値から得られる、項目1から5のいずれか1項に記載の方法。
[項目7]
隣接するピクセル群の合計を上記輝度成分に配置し、上記隣接するピクセル群の差異のうち上記2つのクロミナンス成分に交互に配置される1つのみを選択することにより、上記隣接するピクセル群に属する上記少なくとも1つの深度または視差マップのピクセルを、上記合計または上記差異で置き換える段階を備える、項目1から4のいずれか1項に記載の方法。
[項目8]
隣接するピクセル群の合計を上記輝度成分に配置し、上記隣接するピクセル群の2つの差異のうち第1の差異を一方のクロミナンス成分に配置し、第2の差異を他方のクロミナンス成分に配置することにより、上記隣接するピクセル群に属する上記少なくとも1つの深度または視差マップのピクセルを、上記合計または上記2つの差異で置き換える段階を備える、項目1から4のいずれか1項に記載の方法。
[項目9]
上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群を上記カラー画像の上記複数の成分へ挿入する前に、上記少なくとも1つの深度または視差マップに領域変換を実行する段階を備える、項目1から8のいずれか1項に記載の方法。
[項目10]
項目1から9のいずれか1項に記載の方法を用いることにより得られる一連のカラー画像を含むビデオストリームを生成する方法。
[項目11]
タイルフォーマットのフレームパッキングフォーマットを用いてビデオストリームを生成する方法であり、
2つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分にカラー画像が挿入される、項目1から9のいずれか1項に記載の方法。
[項目12]
項目1から11のいずれか1項に係る方法を用いることにより得られる一連のカラー画像を含むビデオストリームを生成する画像処理手段を備える装置。
[項目13]
複数の成分から構成されるカラー画像から開始して、少なくとも1つの深度または視差マップを再構成する方法であり、
上記カラー画像の輝度成分から開始して得られる第1のピクセル群と、一方のクロミナンス成分から開始して得られる第2のピクセル群と、他方のクロミナンス成分から開始して得られる第3のピクセル群とが、上記少なくとも1つの深度または視差マップへ挿入される、方法。
[項目14]
上記第1のピクセル群は上記カラー画像の上記輝度成分から取り出され、上記第2のピクセル群は一方のクロミナンス成分から取り出され、上記第3のピクセル群は上記他方のクロミナンス成分から取り出される、項目13に記載の方法。
[項目15]
上記第1のピクセル群は、上記輝度成分から取り出され、
上記第2のピクセル群または上記第3のピクセル群は、上記第1のピクセル群に属するピクセルの値からの補間により得られる参照値に対する差異を表す上記2つのクロミナンス成分のうち一方、またはそれぞれ他方から取り出されるピクセルの値と、上記参照値とを合計することにより得られる、項目13に記載の方法。
[項目16]
上記少なくとも1つの深度または視差マップの全てのピクセルは、上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群を得ることにより得られる、項目13から15のいずれか1項に記載の方法。
[項目17]
上記少なくとも1つの深度または視差マップのいくつかのピクセルは、上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群を得ることにより得られ、
足りない複数のピクセルは、再コピーされた複数のピクセルから補間処理を用いて得られる、項目13から15のいずれか1項に記載の方法。
[項目18]
上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群を得ることにより、上記カラー画像と同じサイズを有する2つの深度または視差マップが得られる、項目14から17のいずれか1項に記載の方法。
[項目19]
複数の成分から構成されるカラー画像から開始して少なくとも1つの深度または視差マップを再構成する方法であり、
上記少なくとも1つの深度または視差マップにコピーされることになる複数の値を再構成する目的で、複数の隣接する位置における、上記複数の成分から取り出される値を線形に組み合わせる段階を備える方法。
[項目20]
上記カラー画像の上記複数の成分から上記第1のピクセル群、上記第2のピクセル群、および上記第3のピクセル群を得た後に、上記少なくとも1つの深度または視差マップを得るために、生成する段階で実行されたものと逆の領域変換が実行される、項目13から18のいずれか1項に記載の方法。
[項目21]
タイルフォーマットと呼ばれるフレームパッキングフォーマットを用いてビデオストリームを再構成する方法であり、
2つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に存在するカラー画像から開始して、少なくとも1つの深度または視差マップを再構成する段階を備える、項目13から20のいずれか1項に記載の方法。
[項目22]
Y、U、V成分から構成されるカラー画像から開始して少なくとも1つの深度または視差マップを再構成する装置であり、
項目13から21のいずれか1項に記載の方法を実行する手段を備える装置。
Claims (20)
- 少なくとも1つの深度または視差マップから開始して、輝度成分および2つのクロミナンス成分から構成されるカラー画像を生成する方法であって、
前記少なくとも1つの深度または視差マップの第1のピクセル群に属する複数のピクセルの値を前記カラー画像の前記輝度成分に挿入する段階、及び、前記少なくとも1つの深度または視差マップの第2のピクセル群及び第3のピクセル群に属する複数のピクセルの値を前記カラー画像の前記2つのクロミナンス成分に挿入する段階を備え、
前記カラー画像の前記輝度成分及び前記2つのクロミナンス成分に、前記少なくとも1つの深度または視差マップに含まれる複数のピクセルの値のみが挿入され、
前記輝度成分の前記複数のピクセルと前記2つのクロミナンス成分の前記複数のピクセルとの相関の存在を想定する、MPEGの標準的なビデオコーディングアルゴリズムの処理の準拠を確保するべく、前記カラー画像のそれぞれのピクセルの前記輝度成分および前記2つのクロミナンス成分を生成するために、前記少なくとも1つの深度または視差マップの前記複数のピクセルの値を用いることによって、空間相関が前記カラー画像において得られる、
方法。 - 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群に属する複数のピクセルの値を前記カラー画像の前記輝度成分および前記2つのクロミナンス成分へ挿入する前に、前記少なくとも1つの深度または視差マップに領域変換を実行する段階を備える、請求項1に記載の方法。
- 少なくとも1つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも1つの深度または視差マップの第1のピクセル群に属するピクセルの値が、前記カラー画像の輝度成分に挿入され、
前記少なくとも1つの深度または視差マップの第2のピクセル群に属する1つの第2ピクセルの値と前記第1のピクセル群に属する2つの第1ピクセルの値から得られる補間値との差分値、及び、前記少なくとも1つの深度または視差マップの第3のピクセル群に属する1つの第3ピクセルの値と前記第1のピクセル群に属する2つの第1ピクセルの値から得られる補間値との差分値が、前記カラー画像の2つのクロミナンス成分に挿入される、方法。 - 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群に属する複数のピクセルは併せて、前記少なくとも1つの深度または視差マップの全てのピクセルを含む、請求項1から3のいずれか一項に記載の方法。
- 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群に属する複数のピクセルは、前記少なくとも1つの深度または視差マップの全てのピクセルの一部のみを含む、請求項1から3のいずれか一項に記載の方法。
- 少なくとも1つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも1つの深度または視差マップの2×2のピクセルで構成される複数のブロックのそれぞれは、第1ピクセル及び第2ピクセルを含む第1のピクセル群と、第3ピクセル及び第4ピクセルを含む第2のピクセル群とを有し、
前記第1ピクセル及び前記第2ピクセルの平均値及び前記第3ピクセル及び前記第4ピクセルの平均値が、前記カラー画像の輝度成分に挿入され、
前記第1ピクセル及び前記第2ピクセルの平均差または前記第3ピクセル及び前記第4ピクセルの平均差が、前記カラー画像の2つのクロミナンス成分のうちの一方のクロミナンス成分に挿入される、方法。 - 少なくとも1つの深度または視差マップから開始して、複数の成分から構成されるカラー画像を生成する方法であって、
前記少なくとも1つの深度または視差マップの2×2のピクセルで構成されるブロックのそれぞれは、第1ピクセル及び第2ピクセルを含む第1のピクセル群と、第3ピクセル及び第4ピクセルを含む第2のピクセル群とを有し、
前記第1ピクセル及び前記第2ピクセルの平均値及び前記第3ピクセル及び前記第4ピクセルの平均値が、前記カラー画像の輝度成分に挿入され、
前記第1ピクセル及び前記第2ピクセルの平均差および前記第3ピクセル及び前記第4ピクセルの平均差のそれぞれが、前記カラー画像の2つのクロミナンス成分のそれぞれに挿入される、方法。 - サイドバイサイドまたはトップアンドボトム技術を用いることにより、前記少なくとも1つの深度または視差マップであるW×Hサイズの2つの深度または視差マップが、同じサイズの前記カラー画像へ挿入される、請求項1から7のいずれか1項に記載の方法。
- 請求項1から8のいずれか1項に記載の方法を用いることにより得られる一連の前記カラー画像を含むビデオストリームを生成する方法。
- タイルフォーマットのフレームパッキングフォーマットを用いてビデオストリームを生成する方法であって、
請求項1から8のいずれか1項に記載の方法に従って、2つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に前記カラー画像が挿入される、方法。 - 請求項1から10のいずれか1項に係る方法を用いることにより得られる一連の前記カラー画像を含むビデオストリームを生成する画像処理手段を備える装置。
- 複数の成分から構成されるカラー画像から開始することにより、少なくとも1つの深度または視差マップを再構成する方法であって、
前記少なくとも1つの深度または視差マップは、第1のピクセル群、第2のピクセル群、および第3のピクセル群を有し、
前記カラー画像の輝度成分のピクセルの値が前記第1のピクセル群に挿入され、
前記カラー画像の2つのクロミナンス成分のうちの一方のクロミナンス成分のピクセルの値が前記第2のピクセル群に挿入され、
前記カラー画像の前記2つのクロミナンス成分のうちの他方のクロミナンス成分のピクセルの値が前記第3のピクセル群に挿入され、
前記カラー画像の前記輝度成分及び前記2つのクロミナンス成分には、前記少なくとも1つの深度または視差マップに含まれる複数のピクセルの値のみが挿入されており、
前記輝度成分の前記複数のピクセルと前記2つのクロミナンス成分の前記複数のピクセルとの相関の存在を想定する、MPEGの標準的なビデオデコーディングアルゴリズムの処理の準拠を確保するべく、前記カラー画像のそれぞれのピクセルの前記輝度成分および前記2つのクロミナンス成分を生成するために、前記少なくとも1つの深度または視差マップの前記複数のピクセルの値を用いることによって、空間相関が前記カラー画像に存在している、
方法。 - 複数の成分から構成されるカラー画像から開始することにより、少なくとも1つの深度または視差マップを再構成する方法であって、
前記少なくとも1つの深度または視差マップは、第1のピクセル群、第2のピクセル群、および第3のピクセル群を有し、
前記カラー画像の輝度成分から取り出されるピクセルの値が前記第1のピクセル群に挿入され、
前記輝度成分から取り出される2つのピクセルの値からの補間により得られる第1の補間値と、前記カラー画像の2つのクロミナンス成分のうちの一方のクロミナンス成分から取り出されるピクセルの値とを合計することにより得られる値が前記第2のピクセル群に挿入され、
前記輝度成分から取り出される2つのピクセルの値からの補間により得られる第2の補間値と、前記カラー画像の前記2つのクロミナンス成分のうちの他方のクロミナンス成分から取り出されるピクセルの値とを合計することにより得られる値が前記第3のピクセル群に挿入される、方法。 - 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群は併せて、前記少なくとも1つの深度または視差マップの全てのピクセルを含む、請求項12または13に記載の方法。
- 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群は併せて、前記少なくとも1つの深度または視差マップのいくつかのピクセルを含み、
前記少なくとも1つの深度または視差マップの足りない複数のピクセルの値は、前記カラー画像からの複数のピクセルの値から補間処理を用いて得られる、請求項12または13に記載の方法。 - 前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群に含まれる複数のピクセルの値を得ることにより、前記カラー画像と同じサイズを有する2つの深度または視差マップが得られる、請求項12から15のいずれか1項に記載の方法。
- 前記カラー画像の前記複数の成分から前記第1のピクセル群、前記第2のピクセル群、および前記第3のピクセル群に含まれる複数のピクセルの値を得るために、前記少なくとも1つの深度または視差マップから開始して、前記カラー画像を生成する段階で実行される領域変換と逆の領域変換が実行される、請求項12から16のいずれか1項に記載の方法。
- 複数の成分から構成されるカラー画像から開始して、少なくとも1つの深度または視差マップを再構成する方法であって、
前記少なくとも1つの深度または視差マップの2×2のピクセルで構成される複数のブロックのそれぞれは、第1ピクセル及び第2ピクセルを含む第1のピクセル群と、第3ピクセル及び第4ピクセルを含む第2のピクセル群とを有し、
前記カラー画像の輝度成分から、前記第1ピクセル及び前記第2ピクセルの平均値及び前記第3ピクセル及び前記第4ピクセルの平均値を取り出し、
前記カラー画像の2つのクロミナンス成分のうちの一方のクロミナンス成分から、前記第1ピクセル及び前記第2ピクセルの平均差または前記第3ピクセル及び前記第4ピクセルの平均差を取り出し、
前記平均値及び前記平均差に基づいて、前記少なくとも1つの深度または視差マップの複数のピクセルの値を再構成する、方法。 - タイルフォーマットと呼ばれるフレームパッキングフォーマットを用いてビデオストリームを再構成する方法であって、
請求項12から18のいずれか1項に記載の方法に従って、2つの立体ビューに関する複数の画像のピクセルを含まないフレーム部分に存在する前記カラー画像から開始することにより、少なくとも1つの深度または視差マップを再構成する段階を備える、方法。 - Y、U、V成分から構成されるカラー画像から開始することにより、少なくとも1つの深度または視差マップを再構成する装置であって、
請求項12から19のいずれか1項に記載の方法を実行する手段を備える装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT000503A ITTO20130503A1 (it) | 2013-06-18 | 2013-06-18 | Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale |
ITTO2013A000503 | 2013-06-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015005978A JP2015005978A (ja) | 2015-01-08 |
JP6644979B2 true JP6644979B2 (ja) | 2020-02-12 |
Family
ID=49035854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014116669A Active JP6644979B2 (ja) | 2013-06-18 | 2014-06-05 | 3次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス |
Country Status (11)
Country | Link |
---|---|
US (1) | US10038890B2 (ja) |
JP (1) | JP6644979B2 (ja) |
KR (1) | KR20140147043A (ja) |
CN (1) | CN104243966B (ja) |
DE (1) | DE102014211612A1 (ja) |
ES (1) | ES2550128B1 (ja) |
FR (2) | FR3007234B1 (ja) |
GB (1) | GB2517038B (ja) |
HK (1) | HK1204737A1 (ja) |
IT (1) | ITTO20130503A1 (ja) |
TW (1) | TW201503663A (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9253482B2 (en) * | 2011-11-08 | 2016-02-02 | Texas Insturments Incorporated | Method and apparatus for sample adaptive offset without sign coding |
TWI630815B (zh) * | 2012-06-14 | 2018-07-21 | 杜比實驗室特許公司 | 用於立體及自動立體顯示器之深度圖傳遞格式 |
US9355468B2 (en) * | 2013-09-27 | 2016-05-31 | Nvidia Corporation | System, method, and computer program product for joint color and depth encoding |
US9398312B2 (en) * | 2013-11-04 | 2016-07-19 | Samsung Display Co., Ltd. | Adaptive inter-channel transform for wavelet color image compression |
CN104851109B (zh) * | 2015-06-10 | 2018-08-17 | 宁波盈芯信息科技有限公司 | 一种从三维深度感知设备输出高灰阶深度图像的方法 |
US10779005B2 (en) * | 2015-07-15 | 2020-09-15 | Blinxel Pty Ltd | System and method for image processing |
CN105069751B (zh) * | 2015-07-17 | 2017-12-22 | 江西欧酷智能科技有限公司 | 一种深度图像缺失数据的插值方法 |
TWI673684B (zh) * | 2018-04-12 | 2019-10-01 | 國立成功大學 | 應用於彩色景深圖框包裝及解包裝之選擇景深值指定為rgb次像素與rgb次像素還原選擇景深值的方法及電路 |
TWI753377B (zh) * | 2019-03-12 | 2022-01-21 | 弗勞恩霍夫爾協會 | 用於影像及視訊寫碼之選擇性成分間變換(ict)技術 |
CN110111254B (zh) * | 2019-04-24 | 2023-03-24 | 天津大学 | 一种基于多级递归引导和渐进监督的深度图超分辨率方法 |
US11202254B1 (en) * | 2020-07-31 | 2021-12-14 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for simulating voice and data traffic in a mobile network |
CN114157850A (zh) * | 2021-11-26 | 2022-03-08 | 珠海视熙科技有限公司 | 一种数据传输方法、装置及计算机可读存储介质 |
EP4254959A1 (en) * | 2022-03-30 | 2023-10-04 | Holo-Light GmbH | Computer-implemented method for generating augmented image data, computer-implemented streaming method, image streaming system, and augmented image data stream |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4151149B2 (ja) * | 1999-03-12 | 2008-09-17 | 富士ゼロックス株式会社 | 画像形成装置 |
JP4131933B2 (ja) * | 2003-01-22 | 2008-08-13 | 日本電信電話株式会社 | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
WO2005067319A1 (ja) * | 2003-12-25 | 2005-07-21 | Brother Kogyo Kabushiki Kaisha | 画像表示装置および信号処理装置 |
WO2009011492A1 (en) * | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
CN101610421B (zh) * | 2008-06-17 | 2011-12-21 | 华为终端有限公司 | 视频通讯方法、装置及系统 |
US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
JP5338630B2 (ja) * | 2009-11-18 | 2013-11-13 | セイコーエプソン株式会社 | 画像処理方法およびプログラム、画像処理装置 |
IT1397591B1 (it) | 2009-12-21 | 2013-01-16 | Sisvel Technology Srl | Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi. |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
JPWO2012070500A1 (ja) * | 2010-11-22 | 2014-05-19 | ソニー株式会社 | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
KR101233398B1 (ko) * | 2010-12-10 | 2013-02-15 | 광주과학기술원 | 깊이 지도 생성 방법 및 장치 |
US8902982B2 (en) * | 2011-01-17 | 2014-12-02 | Samsung Electronics Co., Ltd. | Depth map coding and decoding apparatus and method |
JP2012186781A (ja) * | 2011-02-18 | 2012-09-27 | Sony Corp | 画像処理装置および画像処理方法 |
CN102972038B (zh) * | 2011-07-01 | 2016-02-10 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序、集成电路 |
KR102002165B1 (ko) * | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
CN102438167B (zh) * | 2011-10-21 | 2014-03-12 | 宁波大学 | 一种基于深度图像绘制的立体视频编码方法 |
TWI630815B (zh) * | 2012-06-14 | 2018-07-21 | 杜比實驗室特許公司 | 用於立體及自動立體顯示器之深度圖傳遞格式 |
WO2014025294A1 (en) * | 2012-08-08 | 2014-02-13 | Telefonaktiebolaget L M Ericsson (Publ) | Processing of texture and depth images |
-
2013
- 2013-06-18 IT IT000503A patent/ITTO20130503A1/it unknown
-
2014
- 2014-06-02 GB GB1409710.9A patent/GB2517038B/en not_active Expired - Fee Related
- 2014-06-05 JP JP2014116669A patent/JP6644979B2/ja active Active
- 2014-06-13 US US14/304,404 patent/US10038890B2/en active Active
- 2014-06-13 FR FR1455374A patent/FR3007234B1/fr not_active Expired - Fee Related
- 2014-06-17 TW TW103120907A patent/TW201503663A/zh unknown
- 2014-06-17 ES ES201430919A patent/ES2550128B1/es active Active
- 2014-06-17 KR KR1020140073525A patent/KR20140147043A/ko not_active Application Discontinuation
- 2014-06-17 DE DE102014211612.0A patent/DE102014211612A1/de not_active Withdrawn
- 2014-06-18 CN CN201410272949.7A patent/CN104243966B/zh active Active
-
2015
- 2015-01-23 FR FR1550556A patent/FR3017021B1/fr not_active Expired - Fee Related
- 2015-05-29 HK HK15105168.8A patent/HK1204737A1/xx unknown
Also Published As
Publication number | Publication date |
---|---|
US20140368610A1 (en) | 2014-12-18 |
TW201503663A (zh) | 2015-01-16 |
FR3017021A1 (fr) | 2015-07-31 |
GB2517038B (en) | 2017-11-29 |
KR20140147043A (ko) | 2014-12-29 |
US10038890B2 (en) | 2018-07-31 |
HK1204737A1 (en) | 2015-11-27 |
ES2550128B1 (es) | 2016-09-09 |
GB201409710D0 (en) | 2014-07-16 |
ITTO20130503A1 (it) | 2014-12-19 |
FR3017021B1 (fr) | 2018-02-09 |
GB2517038A (en) | 2015-02-11 |
JP2015005978A (ja) | 2015-01-08 |
ES2550128A2 (es) | 2015-11-04 |
CN104243966A (zh) | 2014-12-24 |
CN104243966B (zh) | 2019-10-18 |
FR3007234B1 (fr) | 2017-11-24 |
FR3007234A1 (fr) | 2014-12-19 |
ES2550128R1 (es) | 2015-11-27 |
DE102014211612A1 (de) | 2014-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6644979B2 (ja) | 3次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス | |
US10528004B2 (en) | Methods and apparatus for full parallax light field display systems | |
US20190222821A1 (en) | Methods for Full Parallax Compressed Light Field 3D Imaging Systems | |
US8482654B2 (en) | Stereoscopic image format with depth information | |
US8471893B2 (en) | Method and apparatus for generating stereoscopic image bitstream using block interleaved method | |
US9549163B2 (en) | Method for combining images relating to a three-dimensional content | |
JP5544361B2 (ja) | 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム | |
US20080205791A1 (en) | Methods and systems for use in 3d video generation, storage and compression | |
JP2011523743A (ja) | 深さ情報を有するビデオ信号 | |
TWI511525B (zh) | 用於產生、傳送及接收立體影像之方法,以及其相關裝置 | |
US20130229487A1 (en) | Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content | |
KR20140044332A (ko) | 스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들 | |
KR20120020627A (ko) | 3d 영상 포맷을 이용한 영상 처리 장치 및 방법 | |
Ruijters et al. | IGLANCE: transmission to medical high definition autostereoscopic displays | |
KR20080114450A (ko) | 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치 | |
Faria et al. | 3D Video Representation and Coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6644979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |