TWI507020B - 基於深度的三維影像處理方法 - Google Patents

基於深度的三維影像處理方法 Download PDF

Info

Publication number
TWI507020B
TWI507020B TW102131453A TW102131453A TWI507020B TW I507020 B TWI507020 B TW I507020B TW 102131453 A TW102131453 A TW 102131453A TW 102131453 A TW102131453 A TW 102131453A TW I507020 B TWI507020 B TW I507020B
Authority
TW
Taiwan
Prior art keywords
depth
macroblock
color
macroblocks
pixels
Prior art date
Application number
TW102131453A
Other languages
English (en)
Other versions
TW201509173A (zh
Inventor
shou-ke Ma
Original Assignee
Hon Hai Prec Ind Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hon Hai Prec Ind Co Ltd filed Critical Hon Hai Prec Ind Co Ltd
Publication of TW201509173A publication Critical patent/TW201509173A/zh
Application granted granted Critical
Publication of TWI507020B publication Critical patent/TWI507020B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Description

基於深度的三維影像處理方法
本發明係有關於一種影像處理方法，且特別有關於一種基於深度的三維影像處理方法。
三維視訊顯示主要是在傳統的二維影像上增加深度影像，以增強視覺的現實感和逼真感。影像的深度指的是場景到成像平面的距離信息，以000~255的灰階值(即，亮度值)來表示。距離成像平面愈近，深度影像的亮度越高(灰階值越大)，反之，距離成像平面愈遠，深度影像的亮度越低(灰階值越小)。
三維視訊的影像數據量很大，因此需要對三維視訊進行壓縮，以避免儲存空間不足和傳輸延遲的問題。已知的影像演算法(例如，MPEG和H.264)僅能對二維視訊進行壓縮，而不能直接對三維視訊進行壓縮。
因此，需要一種可有效壓縮深度信息的影像處理方法。
有鑒於此，本發明實施例提供一種基於深度的三維影像處理方法，適用於一電子裝置，在保持顏色視訊之畫質的情況下能再進一步降低碼率(Bit Rate)，從而減少視訊資料量以利儲存與傳輸。
本發明實施例提供一種基於深度的三維影像處理方法，該方法包括下列步驟：自一視訊源取得三維視訊串流，並自該三維視訊串流擷取其中一個視訊幀；自該視訊幀分離出一第一顏色巨集區塊與對應該些顏色巨集區塊之一第一深度巨集區塊；對該第一深度巨集區塊執行一下採樣操作以產生一第二深度巨集區塊；對該第一顏色巨集區塊執行一深度信息嵌入操作，其中，將該第二深度巨集區塊的深度信息嵌入到該第一顏色巨集區塊中以產生一第二顏色巨集區塊；對該第二顏色巨集區塊執行影像處理以產生一第三顏色巨集區塊；對該第三顏色巨集區塊執行一深度視訊擷取操作，其中，擷取該第三顏色巨集區塊中的深度信息以產生一當前視角之第四顏色巨集區塊，並根據該深度信息產生一第三深度巨集區塊；對該第三深度巨集區塊執行一上採樣操作；合成該上採樣後之第三深度巨集區塊與該第四顏色巨集區塊以產生一另一視角之第五顏色巨集區塊；以及將該第四顏色巨集區塊與該第五顏色巨集區塊合成為三維視訊。
較佳地，在本發明實施例之基於深度的三維影像處理方法中，該深度信息嵌入操作更包括下列步驟：將該第一顏色巨集區塊劃分為複數個子顏色巨集區塊；對該第一深度巨集區塊進行下採樣以產生該第二深度巨集區塊，其中該第二深度巨集區塊之總像素數為該第一深度巨集區塊的1/N；以及自該第二深度巨集區塊擷取任意複數個深度像素中的深度信息，並且嵌入至該些子顏色巨集區塊中，以得到具有深度信息之該第二顏色巨集區塊。
較佳地，在本發明實施例之基於深度的三維影像處理方法中，該些子顏色巨集區塊包括4個亮度巨集區塊與2個色度巨集區塊。
較佳地，本發明實施例之基於深度的三維影像處理方法更包括下列步驟：將該些亮度巨集區塊之每一個亮度巨集區塊的任意2個像素，以該第二深度巨集區塊的任意2個像素置換；以及將該些色度巨集區塊之每一個色度巨集區塊的任意4個像素，以該第二深度巨集區塊的任意4個像素置換。
較佳地，在本發明實施例之基於深度的三維影像處理方法中，該第二深度巨集區塊之總像素數為該第一深度巨集區塊的1/16。
較佳地，在本發明實施例之基於深度的三維影像處理方法中，該深度視訊擷取操作更包括下列步驟：將該些亮度巨集區塊之每一個亮度巨集區塊的2個像素以及該些色度巨集區塊之每一個色度巨集區塊的4個像素中之該深度信息擷取出來，並根據該深度信息產生該第三深度巨集區塊。
210、340‧‧‧顏色巨集區塊
220‧‧‧亮度巨集區塊
230‧‧‧色度巨集區塊
310‧‧‧深度巨集區塊
320‧‧‧亮度信息
210、340‧‧‧顏色巨集區塊
220‧‧‧亮度巨集區塊
330‧‧‧色度信息
圖1係顯示本發明實施例之基於深度的三維影像處理方法的步驟流程圖。
圖2係顯示本發明實施例之深度信息嵌入方法的步驟流程圖。
圖3係顯示本發明實施例之深度信息擷取方法的步驟流程圖。
本發明實施例之基於深度的三維影像處理方法將深度視訊進行下採樣後，以隱寫的方式嵌入至顏色視訊之亮度和色度巨集區塊中，然後再進行視訊壓縮。因此，在保持顏色視訊之畫質的情況下能再進一步降低碼率(Bit Rate)，從而減少視訊資料量以利儲存與傳輸。
圖1係顯示本發明實施例之基於深度的三維影像處理方法的步驟流程圖。
自一視訊源取得三維視訊串流，自該三維視訊串流擷取複數個視訊幀，並依序對每一個視訊幀進行處理。首先，自第一個視訊幀分離出至少一個顏色巨集區塊(Macroblock(MB))與對應該些顏色巨集區塊之至少一個深度巨集區塊(步驟S102、S104)，其中該顏色巨集區塊之總像素數為16*16，採樣格式為Y：Cb：Cr=4：4：4。該深度巨集區塊之總像素數為16*16，採樣格式為Y：Cb：Cr=4：0：0。
對該(第一)顏色巨集區塊進行殘差處理，並且執行一深度視訊下採樣操作，即，對該(第一)深度巨集區塊進行下採樣(步驟S106)。對該(第一)顏色巨集區塊執行一深度信息嵌入操作，即，將該(第一)深度巨集區塊的深度信息嵌入(隱寫)到對應之該(第一)顏色巨集區塊中(步驟S108)。
圖2係顯示本發明實施例之深度信息嵌入方法(步驟S108)的步驟流程圖。
對該(第一)顏色巨集區塊的Cb像素和Cr像素進行下採樣，其中採樣格式為Y：Cb：Cr=4：2：0。將該(第一)顏色巨集區塊劃分為6個子顏色巨集區塊(步驟S202)，其中包括4個亮度巨集區塊與2個色度巨集區塊(總像素數分別為8*8)。將該(第一)深度巨集區塊按1/16比例進行下採樣後，形成總像素數為4*4的深度巨集區塊(步驟S204)，以下稱為第二深度巨集區塊。
自該第二深度巨集區塊擷取任意複數個深度像素中的深度信息， 並且嵌入至每一個亮度巨集區塊與每一個色度巨集區塊中(步驟S206、S208)。上述深度信息嵌入操作包括將4個亮度巨集區塊中之每一個亮度巨集區塊的任意2個像素(例如，在位置(1,1)與(8,8)的像素)，以該第二深度巨集區塊的任意2個像素置換，以及將2個色度巨集區塊中之每一個色度巨集區塊的任意4個像素(例如，在位置(1,1)、(1,8)、(8,1)與(8,8)的像素)以該第二深度巨集區塊的任意4個像素置換。如此，可得到具有深度信息之顏色巨集區塊210(第二顏色巨集區塊)，其包括4個亮度巨集區塊與2個色度巨集區塊。
需注意到，可使用該第二深度巨集區塊中與該亮度或色度巨集區塊中對應位置的像素來置換。
回到圖1，深度信息被嵌入後，對(第二)顏色巨集區塊210進行離散餘弦轉換(Discrete Cosine Transform，DCT)與量化(Quantization)操作(步驟S110)。對包含(第二)顏色巨集區塊210的視訊串流進行熵編碼(Entropy Encoding)以得到視訊編碼流(步驟S112)，接著進行熵解碼(Entropy Decoding)以得到視訊解碼流(步驟S114)，然後傳送到網路層115以傳送到遠端或儲存。
另一方面，對已完成變換與量化操作後之(第二)顏色巨集區塊210進行反離散餘弦轉換(Inverse DCT)與反量化(Inverse Quantization)(步驟S116)操作，以解碼恢復含深度信息之顏色巨集區塊210(以下稱為第三顏色巨集區塊)。對該第三顏色巨集區塊執行一深度視訊擷取操作，即，擷取該第三顏色巨集區塊中的深度信息，以及恢復該第三顏色巨集區塊中的色度與亮度 信息以作為下一個視訊幀之編碼參考(步驟S118)。
圖3係顯示本發明實施例之深度信息擷取方法(步驟S118)的步驟流程圖。
該第三顏色巨集區塊包括4個亮度巨集區塊220與2個色度巨集區塊230。將在步驟S206與S208中嵌入的深度信息擷取出來。也就是說，將4個亮度巨集區塊220中之每一個亮度巨集區塊的2個像素(例如，在位置(1,1)與(8,8)的像素)以及2個色度巨集區塊230中之每一個色度巨集區塊的4個像素(例如，在位置(1,1)、(1,8)、(8,1)與(8,8)的像素)中的深度信息擷取出來(步驟S302與S306)，以取得顏色巨集區塊210之深度信息，並據以產生深度巨集區塊310(第三深度巨集區塊)。
對亮度巨集區塊220與色度巨集區塊230進行信息估計和預測(步驟S304與S308)，以取得該第三顏色巨集區塊之亮度信息320與色度信息330。經由上述處理，可得到已去除深度信息之顏色巨集區塊340(第四顏色巨集區塊)。
將顏色巨集區塊340之前已經解碼完成的畫面作為參考幀(Reference Frame)，並且依據該參考幀對下一個視訊幀進行幀內預測和運動估計(步驟S120)，進而得到一個預測巨集區塊。根據該預測巨集區塊與下一個視訊幀之顏色巨集區塊相減得到一個最優殘差值，以作為下一個視訊幀編碼的原始數據。
另一方面，在接收端對深度巨集區塊310執行一深度視顏上採樣(Up-Sampling)操作(步驟S122)。將上採樣後的深度巨集區塊310和當前視角的顏色巨集區塊340合成以得到另一視角的巨集 區塊。根據深度巨集區塊310的深度信息來調整該另一視角的(第五)顏色巨集區塊對兩眼的偏移距離，並且將該第四與第五顏色巨集區塊合成為三維視訊(步驟S124)。將合成後的三維視訊傳送到接收端(未顯示)的顯示設備(步驟S126)。
當處理完第一個視訊幀後，即重複上述步驟，對下一個視訊幀進行處理。需注意到，步驟S122、S124與S126都是在接收端(未顯示)完成。
本發明實施例之基於深度的影像處理方法對深度信息進行下採樣後嵌入顏色視訊，從壓縮的碼流中擷取深度信息並進行上採樣，然後對顏色視訊的丟失信息進行估計和重建。如此一來，可以在視訊較少失真的情況下進一步壓縮碼流，以減少壓縮視訊傳輸資料量。
S102..S126‧‧‧操作步驟

Claims (7)

  1. 一種基於深度的三維影像處理方法，該方法包括下列步驟：自一視訊源取得三維視訊串流，並自該三維視訊串流擷取其中一個視訊幀；自該視訊幀分離出一第一顏色巨集區塊與對應該些顏色巨集區塊之一第一深度巨集區塊；對該第一深度巨集區塊執行一下採樣操作以產生一第二深度巨集區塊；對該第一顏色巨集區塊執行一深度信息嵌入操作，其中，將該第二深度巨集區塊的深度信息嵌入到該第一顏色巨集區塊中以產生一第二顏色巨集區塊；對該第二顏色巨集區塊執行影像處理以產生一第三顏色巨集區塊；對該第三顏色巨集區塊執行一深度視訊擷取操作，其中，擷取該第三顏色巨集區塊中的深度信息以產生一當前視角之第四顏色巨集區塊，並根據該深度信息產生一第三深度巨集區塊；對該第三深度巨集區塊執行一上採樣操作；合成該上採樣後之第三深度巨集區塊與該第四顏色巨集區塊以產生一另一視角之第五顏色巨集區塊；以及將該第四顏色巨集區塊與該第五顏色巨集區塊合成為三維視訊。
  2. 如申請專利範圍第1項所述之基於深度的三維影像處理方法，其中，該深度信息嵌入操作更包括下列步驟：將該第一顏色巨集區塊劃分為複數個子顏色巨集區塊；對該第一深度巨集區塊進行下採樣以產生該第二深度巨集區塊，其中該第二深度巨集區塊之總像素數為該第一深度巨集區塊的1/N；以及 自該第二深度巨集區塊擷取任意複數個深度像素中的深度信息，並且嵌入至該些子顏色巨集區塊中，以得到具有深度信息之該第二顏色巨集區塊。
  3. 如申請專利範圍第2項所述之基於深度的三維影像處理方法，其中，該些子顏色巨集區塊包括4個亮度巨集區塊與2個色度巨集區塊。
  4. 如申請專利範圍第3項所述之基於深度的三維影像處理方法，其更包括下列步驟：將該些亮度巨集區塊之每一個亮度巨集區塊的任意2個像素，以該第二深度巨集區塊的任意2個像素置換；以及將該些色度巨集區塊之每一個色度巨集區塊的任意4個像素，以該第二深度巨集區塊的任意4個像素置換。
  5. 如申請專利範圍第3項所述之基於深度的三維影像處理方法，其更包括下列步驟：將該些亮度巨集區塊之每一個亮度巨集區塊的任意2個像素，以該第二深度巨集區塊中相應位置之2個像素置換；以及將該些色度巨集區塊之每一個色度巨集區塊的任意4個像素，以該第二深度巨集區塊中相應位置之任意4個像素置換。
  6. 如申請專利範圍第2項所述之基於深度的三維影像處理方法，其中，該第二深度巨集區塊之總像素數為該第一深度巨集區塊的1/16。
  7. 如申請專利範圍第3項所述之基於深度的三維影像處理方法，其中，該深度視訊擷取操作更包括下列步驟：將該些亮度巨集區塊之每一個亮度巨集區塊的2個像素以及該些色度巨集區塊之每一個色度巨集區塊的4個像素中之該深度信息擷取出來，並根據該深度信息產生該第三深度巨集區塊。
TW102131453A 2013-08-23 2013-08-30 基於深度的三維影像處理方法 TWI507020B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310370897.2A CN104427323B (zh) 2013-08-23 2013-08-23 基于深度的三维图像处理方法

Publications (2)

Publication Number Publication Date
TW201509173A TW201509173A (zh) 2015-03-01
TWI507020B true TWI507020B (zh) 2015-11-01

Family

ID=52480361

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102131453A TWI507020B (zh) 2013-08-23 2013-08-30 基於深度的三維影像處理方法

Country Status (3)

Country Link
US (1) US9525887B2 (zh)
CN (1) CN104427323B (zh)
TW (1) TWI507020B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375375B2 (en) 2017-05-15 2019-08-06 Lg Electronics Inc. Method of providing fixed region information or offset region information for subtitle in virtual reality system and device for controlling the same
CN109246408B (zh) * 2018-09-30 2020-07-10 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和计算机存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242277A1 (en) * 2010-03-30 2011-10-06 Do Minh N Systems and methods for embedding a foreground video into a background feed based on a control input

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027010A1 (en) * 2005-07-15 2007-03-08 Samsung Electronics Co., Ltd. Apparatus and method of encoding video and apparatus and method of decoding encoded video
CN101610422A (zh) * 2009-07-21 2009-12-23 天津大学 立体图像视频序列压缩方法
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US9030469B2 (en) * 2009-11-18 2015-05-12 Industrial Technology Research Institute Method for generating depth maps from monocular images and systems using the same
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012063480A1 (ja) * 2010-11-10 2012-05-18 パナソニック株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
CN103493493A (zh) 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242277A1 (en) * 2010-03-30 2011-10-06 Do Minh N Systems and methods for embedding a foreground video into a background feed based on a control input

Also Published As

Publication number Publication date
US20150055700A1 (en) 2015-02-26
CN104427323A (zh) 2015-03-18
TW201509173A (zh) 2015-03-01
CN104427323B (zh) 2016-08-10
US9525887B2 (en) 2016-12-20

Similar Documents

Publication Publication Date Title
CN111819852B (zh) 用于变换域中残差符号预测的方法及装置
US20090103616A1 (en) Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method
TWI527431B (zh) 基於非對稱圖紋及深度解析度之視圖合成
US20200404257A1 (en) Method and apparatus for harmonizing multiple sign bit hiding and residual sign prediction
JP6178017B2 (ja) ステレオビデオのための深度認識向上
WO2012005947A2 (en) System and method for transmission, processing, and rendering of stereoscopic and multi-view images
JP2014514799A (ja) マルチビュービデオプラス深度コンテンツのコーディング
CN110612553A (zh) 对球面视频数据进行编码
WO2008016219A1 (en) Method and apparatus for encoding/decoding color image
US20200404339A1 (en) Loop filter apparatus and method for video coding
US11956443B2 (en) Image encoding/decoding method and device for signaling HLS, and computer-readable recording medium in which bitstream is stored
KR20100008649A (ko) 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
CN116016932A (zh) 用于视频译码中去块效应滤波器的装置和方法
JP2022172137A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
Li et al. Coding of plenoptic images by using a sparse set and disparities
JP2024137955A (ja) 品質最適化デブロッキングを実行するためのイメージ処理デバイス及び方法
TWI507020B (zh) 基於深度的三維影像處理方法
WO2013141075A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
Kang et al. A fast mode decision using texture information for intra depth coding in 3DVC
Takyar et al. Multiview navigation based on extended layered depth image representation
Lau et al. Compression of still multiview images for 3-D automultiscopic spatially-multiplexed displays
Dhangare et al. A novel approach: multiview video compression
JP2017204898A (ja) 画像復号装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees