TWI508523B - 三維影像處理方法 - Google Patents

三維影像處理方法 Download PDF

Info

Publication number
TWI508523B
TWI508523B TW101123309A TW101123309A TWI508523B TW I508523 B TWI508523 B TW I508523B TW 101123309 A TW101123309 A TW 101123309A TW 101123309 A TW101123309 A TW 101123309A TW I508523 B TWI508523 B TW I508523B
Authority
TW
Taiwan
Prior art keywords
pixel
depth map
image
background
information
Prior art date
Application number
TW101123309A
Other languages
English (en)
Other versions
TW201401847A (zh
Inventor
Chih Yin Chiang
Che Wei Chang
Original Assignee
Chunghwa Picture Tubes Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chunghwa Picture Tubes Ltd filed Critical Chunghwa Picture Tubes Ltd
Priority to TW101123309A priority Critical patent/TWI508523B/zh
Publication of TW201401847A publication Critical patent/TW201401847A/zh
Application granted granted Critical
Publication of TWI508523B publication Critical patent/TWI508523B/zh

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

三維影像處理方法
本發明係有關於一種影像處理方法，特別有關於一種三維影像處理方法。
在三維(three-dimensional,3D)裸眼顯示器中，3D視訊編碼技術是實現傳輸多視角畫面的關鍵技術。多視角視訊編碼(Multi-view Video Coding,MVC)相較於傳統單一視角的二維(2D)視訊畫面影像編碼而言，資料量更為龐大，運算複雜度極高。為了克服以多張2D圖像產生多視角畫面的龐大傳輸量，多視角視訊編碼利用不同視角間的關聯性，因而較單一視角個別壓縮有更好的壓縮率。因此，目前有人提出使用分散式視訊編碼技術(Distributed Video Coding,DVC)來將複雜的計算移至解碼端，以提升編碼效能。
為減少多視角的畫面資料的傳輸量，美國專利第5,929,859號提出了與視差深度相關的像素移位器，其可將單一視角之畫面模擬出其他視角的畫面，藉此減少另一視角畫面的傳輸量。然而，上述方法雖減少了畫面資料的傳輸量，但在計算出的其他視角的畫面會具有沒有影像的黑洞產生。為了解決此問題，一般採用周圍畫素內插方式填補黑洞。然而，利用周圍畫素內插方式在立體顯示效果上無法達到令人滿意的效果。
由上可知，如欲達到傳統上未藉由模擬其他視角之編碼技術 的顯示效果，則需增加多視角畫面的傳輸量。因此，如何兼顧編碼效能又能達到優良的顯示效果實為在本階段亟需克服的難題之一。
有鑑於此，有必要對現有技術進行改良，以克服習知透過單應性轉換造成的顯示效果不佳且資訊傳輸量尚大問題。
有鑑於此，本發明之目的在於提供一種三維影像處理方法，以改善上述顯示效果不佳且資訊傳輸量尚大的問題。
為達上述之目的，本發明提出的一種三維影像處理方法係用於將位在一第一視角之一第一圖像轉換至位在複數個第二視角的複數個第二圖像，其包括下列步驟：提供一深度圖，該深度圖對應該第一圖像，其中該深度圖具有複數個灰階畫素，且每一灰階畫素皆由複數子畫素所組成；減少該深度圖之容量以得一縮減深度圖，該縮減深度圖僅以單一該子畫素代表單一該灰階畫素；傳輸該第一圖像及該縮減深度圖至一解碼器；以及於該解碼器中計算出該些第二圖像。進一步來說，該縮減深度圖之子畫素之灰階值代表該第一圖像之對應畫素之深度位移值。
於一較佳實施例中，該深度圖之每一灰階畫素係由紅綠藍(RGB)子畫素所組成，且每一灰階畫素中的紅綠藍子畫素之灰階值皆相同。此外，該縮減深度圖之容量為該深度圖容量的三分之一。
於另一較佳實施例中，該三維影像處理方法進一步包括提供 一背景資訊圖，該背景資訊圖代表該些第二圖像中不存在影像的局部區域之背景。具體而言，該背景資訊圖具有複數個畫素向量，每一畫素向量代表該背景中之一畫素之位置及顏色。其中每一畫素向量係以該背景資訊圖中的兩個相鄰畫素表示。另外，該兩個相鄰畫素分別具有一第一資訊量及一第二資訊量，該第一資訊量用於儲存該背景中之該畫素之該位置，該第二資訊量用於儲存該背景中之該畫素之該顏色。
舉例來說，該第一資訊量及該第二資訊量皆為24位元，該背景中之該畫素之該位置的水平位置佔用該第一資訊量的11位元，該背景中之該畫素之該位置的垂直位置佔用該第一資訊量的11位元，該背景中之該畫素之該顏色的紅、綠、藍之灰階值分別佔用該第二資訊量的8位元。
在此較佳實施例中，傳輸該第一圖像及該縮減深度圖至該解碼器還包括傳輸該背景資訊圖至該解碼器。
本發明藉由縮減深度圖的容量，以單一子畫素的灰階值代表整個畫素的深度位移值，進而減少了原本傳輸深度圖所需的資訊量的三分之一，而提高資訊的壓縮比，藉此達成本發明之減少資訊量傳輸的目的。另外，本發明另利用該背景資訊圖內所含的背景資訊，以填補習知計算出的其他視角的畫面具有的黑洞，而優化了3D顯示效果。
為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
以下將配合附圖來詳細說明本發明的三維影像處理方法的較佳實施例。請參照第1圖，第1圖為本發明較佳實施例之三維影像處理架構示意圖。本發明較佳實施例的三維影像處理方法係用於將位在一第一視角之一第一圖像10透過編碼器120及解碼器140轉換至位在複數個第二視角的複數個第二圖像20。具體而言，該第一視角可以為左視角或右視角，若該第一視角為左視角，第一圖像10則為左眼圖像；若該第一視角為右視角，第一圖像10則為右眼圖像。實際上，編碼器120係同時接收左眼圖像及右眼圖像，編碼器120將左眼圖像及右眼圖像處理後，而生成一縮減深度圖(將詳敘於後)，然後將左眼圖像或右眼圖像其中之一及該縮減深度圖傳輸至解碼器140進行處理，而可計算出位在該需第二視角的該些第二圖像20。
根據對稱原理，無論是將左眼圖像轉換成其他第二圖像20或是將右眼圖像轉換成其他第二圖像20之步驟都是相同的，因此在此僅用第一視角來代表左視角或右視角，並且以第一圖像10來代表左眼圖像或右眼圖像。
以下將結合第2圖至第4圖來詳細說明此實施例之三維影像處理方法之步驟流程。請參照第2圖及第3圖，第2圖繪示本發明的較佳實施例之三維影像處理方法的流程圖，第3圖繪示此較佳實施例之第一圖像10及深度圖之示意圖。
本方法開始於步驟S10，於步驟S10中，提供一深度圖101，該深度圖101對應該第一圖像10，如第3圖所示，該第一圖像10實際上為彩色的，於圖中具有遠近不同的物體，而深度圖101則為編碼器120對第一圖像10之內容中依據物體遠近不同所計算出的灰階圖像。其中該深度圖101具有複數個灰階畫素P，且每一灰階畫素P皆由複數子畫素(sub-pixel)SP所組成。在此實施例中，該深度圖101之每一灰階畫素P係由紅綠藍(RGB)三個子畫素SP所組成，且每一灰階畫素P中的RGB子畫素SP之灰階值皆相同。
舉例來說，該深度圖101中花位於最前面，因此以白色畫素來表示，即RGB子畫素SP的灰階值分別可為255、255、255。而天空為最後面，因此以黑色畫素表示，即RGB子畫素SP的灰階值分別可為0、0、0。而樹位於中間，因此以灰色畫素表示，即RGB子畫素SP的灰階值分別可為126、126、126。
請參照第2圖及第4圖，第4圖繪示此較佳實施例之第一圖像10、縮減深度圖102、及第二圖像20之示意圖。於步驟S20中，減少該深度圖101之容量以得一縮減深度圖102，該縮減深度圖102僅以單一該子畫素(R、G或B子畫素SP)代表單一該灰階畫素P。簡單來說，由於深度圖101中的每一灰階畫素P中的RGB子畫素SP之灰階值皆相同，因此僅用單一R、G或B子畫素SP來代表其所對應的灰階畫素P。更進一步來說，該縮減深度圖102之子畫素SP之灰階值代表該第一圖像10之對應畫素之深度位移值。舉例來說，可將該第一圖像10之內容之深度劃分為具有-127 至+127共255階的位移量。編碼器120透過步驟S20可將該深度圖101的容量減少到原本的三分之一，即該縮減深度圖102之容量為該深度圖101容量的三分之一。
於步驟S30中，傳輸該第一圖像10及該縮減深度圖102至該解碼器140。由於該縮減深度圖102之容量為該深度圖101容量的三分之一，因此本實施例資訊量傳輸的壓縮比相較於傳輸該第一圖像10及該深度圖101減少為(1+1/3)/2=66.67%，因而達成本發明之減少資訊量傳輸的目的。
於步驟S40中，於該解碼器140中計算出該些第二圖像20。具體來說，該解碼器140即將該縮減深度圖102還原成深度圖101，再透過習知技術之單應性、移位表(Shift Table)等運算，而計算出位在其他第二視角的該些第二圖像20(實際上為彩色圖)。如上所述，同樣地，該些第二圖像20也具有不存在影像的局部區域201產生，為了填補局部區域201，以下將配合附圖來詳細說明本發明的三維影像處理方法的另一較佳實施例。
請參照第5圖，第5圖為本發明另一較佳實施例之三維影像方法的流程圖。同樣地，此另一較佳實施例的三維影像處理方法係用於將位在第一視角之第一圖像10轉換至位在複數個第二視角的複數個第二圖像20。
請一併參照第3圖，如前所述，於步驟S10’中，提供一深度圖101，該深度圖101對應該第一圖像10。由於步驟S10’與前述實施例之步驟S10相同，因此詳細說明請參考前述，在此不予贅 述。
請一併參照第6圖，第6圖繪示此較佳實施例之背景資訊圖之示意圖。於步驟S20’中，提供一背景資訊圖104，該背景資訊圖104代表該些第二圖像20中不存在影像的局部區域201之背景。具體來說，於步驟中S10’之由左眼圖像及右眼圖像計算深度圖的同時，即可得出畫面中之物體的最大位移量。因此，由最大位移量所產生之位置及其背景則可獲得局部區域201之背景。
具體而言，該背景資訊圖104具有複數個畫素向量PV，每一畫素向量PV代表該背景中之一畫素之位置及顏色。詳細來說，其中每一該畫素向量PV係以該背景資訊圖104中的兩個相鄰畫素P1、P2表示。
請參照第7圖，第7圖為畫素向量PV之資料代表圖。其中，該兩個相鄰畫素P1、P2分別具有一第一資訊量及一第二資訊量，該第一資訊量用於儲存該背景中之該畫素之該位置(X,Y)，該第二資訊量用於儲存該背景中之該畫素之該顏色(R,G,B)。
舉常見的Full HD畫面(1920＊ 1080)為例，背景資訊圖104的畫素P1、P2之該第一資訊量及該第二資訊量皆為24位元(bits)。該背景中之該畫素之該位置的水平位置X(1至1920)佔用畫素P1的該第一資訊量的11位元，即211 =2048。該背景中之該畫素之該位置的垂直位置Y(1至1080)佔用畫素P1的該第一資訊量的11位元，即211 =2048。因此，多出2位元為無用的資料。
另外，該背景中之該畫素之該顏色的紅、綠、藍之灰階值分 別佔用畫素P2該第二資訊量的8位元。
若局部區域201之沒有圖像之畫素位置出現在Full HD畫面的(1,1)，即最左上角的點，則水平位置X之二進位碼為0，垂直位置Y之二進位碼為0，因此實際上背景資訊圖104之畫素P1呈現黑色(0,0,0)。此外，相鄰之畫素P2為背景之顏色。若局部區域201之沒有圖像之畫素位置出現在Full HD畫面的(2,1)，則水平位置X之二進位碼為1(位於第13位元，即實際畫素P1的G子畫素之第4位元為1)，垂直位置Y之二進位碼為0，因此實際上背景資訊圖104之畫素P1呈現綠色(0,16,0)。因此，實際上該背景資訊圖104為彩色之不具規則之雜點。
請一併參照第5圖，於步驟S30’中，減少該深度圖101之容量以得一縮減深度圖102，該縮減深度圖102僅以單一該子畫素代表單一該灰階畫素。由於步驟S30’與前述實施例之步驟S20相同，因此詳細說明請參考前述，在此不予贅述。
然而，由於局部區域201佔整幅圖像之面積並不多，因此可用原深度圖101減少成縮減深度圖102所省下之資訊量(即2/3原圖)作為紀錄背景資訊圖104之資訊量。又背景資訊圖104是以兩個畫素P1、P2來儲存於局部區域201單一畫素的位置及顏色資訊，因此背景資訊圖104實際上可記錄原圖之1/3大小的局部區域201，其具有非常充裕的容量。
請一併參照第8圖，第8圖繪示此較佳實施例之第一圖像10、縮減深度圖102、背景資訊圖104、及第二圖像20’之示意圖。於 步驟S40’中，傳輸該第一圖像10、該縮減深度圖102及該背景資訊圖104至該解碼器140。
於步驟S50’中，於該解碼器140中計算出該些第二圖像20。由於步驟S50’與前述實施例之步驟S40相同，因此詳細說明請參考前述，在此不予贅述。
如第8圖所示，於步驟S60’中，填補黑洞，即於該解碼器140中利用背景資訊圖104填補第二圖像20之局部區域201，以得修補後之第二圖像20’，而透過正確的背景畫面填補黑洞的多幅第二圖像20’可提高了觀賞3D影像的品質。
綜上所述，本發明藉由縮減深度圖102的容量，以單一RGB子畫素的灰階值代表整個畫素的深度位移值，進而減少了原本傳輸深度圖101所需的資訊量的三分之一，而提高資訊的壓縮比，藉此達成本發明之減少資訊量傳輸的目的。另外，本發明另利用該背景資訊圖104內所含的背景資訊，以填補習知計算出的其他視角的畫面具有的黑洞，而優化了3D顯示效果。
雖然本發明已用較佳實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧第一圖像
20‧‧‧第二圖像
20’‧‧‧修補後之第二圖像
101‧‧‧深度圖
102‧‧‧縮減深度圖
104‧‧‧背景資訊圖
201‧‧‧局部區域
120‧‧‧編碼器
140‧‧‧解碼器
P‧‧‧灰階畫素
PV‧‧‧畫素向量
P1、P2‧‧‧畫素
S10~S40‧‧‧步驟
S10’~S60’‧‧‧步驟
第1圖為本發明較佳實施例之三維影像處理架構示意圖。
第2圖繪示本發明的較佳實施例之三維影像處理方法的流程圖。
第3圖繪示此較佳實施例之第一圖像及深度圖之示意圖。
第4圖繪示此較佳實施例之第一圖像、縮減深度圖及第二圖像之示意圖。
第5圖為本發明另一較佳實施例之三維影像方法的流程圖。
第6圖繪示此較佳實施例之背景資訊圖之示意圖。
第7圖為畫素向量之資料代表圖。
第8圖繪示此較佳實施例之第一圖像、縮減深度圖、背景資訊圖及第二圖像之示意圖。
S10~S40‧‧‧步驟

Claims (8)

  1. 一種三維影像處理方法，其係用於將位在一第一視角之一第一圖像轉換至位在複數個第二視角的複數個第二圖像，其包括下列步驟：提供一深度圖，該深度圖對應該第一圖像，其中該深度圖具有複數個灰階畫素，且每一灰階畫素皆由複數子畫素所組成；提供一背景資訊圖，該背景資訊圖代表該些第二圖像中不存在影像的局部區域之背景，其中該背景資訊圖具有複數個畫素向量，每一畫素向量代表該背景中之一畫素之位置及顏色；減少該深度圖之容量以得一縮減深度圖，該縮減深度圖僅以單一該子畫素代表單一該灰階畫素；傳輸該第一圖像及該縮減深度圖至一解碼器；以及於該解碼器中計算出該些第二圖像。
  2. 如申請專利範圍第1項所述之三維影像處理方法，其中該縮減深度圖之子畫素之灰階值代表該第一圖像之對應畫素之深度位移值。
  3. 如申請專利範圍第1項所述之三維影像處理方法，其中該深度圖之每一灰階畫素係由紅綠藍(RGB)子畫素所組成，且每一灰階畫素中的紅綠藍子畫素之灰階值皆相同。
  4. 如申請專利範圍第3項所述之三維影像處理方法，其中該縮減深度圖之容量為該深度圖容量的三分之一。
  5. 如申請專利範圍第1項所述之三維影像處理方法，其中每一 畫素向量係以該背景資訊圖中的兩個相鄰畫素表示。
  6. 如申請專利範圍第5項所述之三維影像處理方法，其中該兩個相鄰畫素分別具有一第一資訊量及一第二資訊量，該第一資訊量用於儲存該背景中之該畫素之該位置，該第二資訊量用於儲存該背景中之該畫素之該顏色。
  7. 如申請專利範圍第6項所述之三維影像處理方法，其中該第一資訊量及該第二資訊量皆為24位元，該背景中之該畫素之該位置的水平位置佔用該第一資訊量的11位元，該背景中之該畫素之該位置的垂直位置佔用該第一資訊量的11位元，該背景中之該畫素之該顏色的紅、綠、藍之灰階值分別佔用該第二資訊量的8位元。
  8. 如申請專利範圍第1項所述之三維影像處理方法，其中傳輸該第一圖像及該縮減深度圖至該解碼器還包括傳輸該背景資訊圖至該解碼器。
TW101123309A 2012-06-28 2012-06-28 三維影像處理方法 TWI508523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW101123309A TWI508523B (zh) 2012-06-28 2012-06-28 三維影像處理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101123309A TWI508523B (zh) 2012-06-28 2012-06-28 三維影像處理方法

Publications (2)

Publication Number Publication Date
TW201401847A TW201401847A (zh) 2014-01-01
TWI508523B true TWI508523B (zh) 2015-11-11

Family

ID=50345248

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101123309A TWI508523B (zh) 2012-06-28 2012-06-28 三維影像處理方法

Country Status (1)

Country Link
TW (1) TWI508523B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201143359A (en) * 2009-12-09 2011-12-01 Thomson Licensing Method and apparatus for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by image difference determination
TW201223248A (en) * 2010-07-28 2012-06-01 Sisvel Technology Srl Method for combining images relating to a three-dimensional content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201143359A (en) * 2009-12-09 2011-12-01 Thomson Licensing Method and apparatus for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by image difference determination
TW201223248A (en) * 2010-07-28 2012-06-01 Sisvel Technology Srl Method for combining images relating to a three-dimensional content

Also Published As

Publication number Publication date
TW201401847A (zh) 2014-01-01

Similar Documents

Publication Publication Date Title
JP6021541B2 (ja) 画像処理装置及び方法
KR102659114B1 (ko) 삼차원 이미지에 대한 삼각형 메시의 생성
CN100496121C (zh) 一种交互式多视点视频系统的图像信号处理方法
KR20210028240A (ko) 디스플레이 처리 회로
US7876953B2 (en) Apparatus, method and medium displaying stereo image
CN102034265B (zh) 一种三维视图获取方法
TWI413405B (zh) 同時顯示二維影像和三維影像之方法及相關系統
US20110211043A1 (en) Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
CN102325259A (zh) 多视点视频中虚拟视点合成方法及装置
CN108476323A (zh) 内容自适应光场压缩
CN102868899A (zh) 一种三维图像处理方法
KR20090031230A (ko) 다시점 영상을 렌더링하기 위한 장치 및 방법
US20110074924A1 (en) Video signal with depth information
KR20130008555A (ko) 3ｄ 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3ｄ 디스플레이 장치
CN103561255B (zh) 一种裸眼立体显示方法
JP6128748B2 (ja) 画像処理装置及び方法
TWI603290B (zh) 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
TWI409717B (zh) 適用於電腦產品與影像顯示裝置的影像轉換方法
WO2017202079A1 (zh) 一种立体图像制作方法和设备
CN102164291A (zh) 同时显示二维影像和三维影像的方法及显示系统
TWI508523B (zh) 三維影像處理方法
JP4478992B1 (ja) 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
TWI499278B (zh) 影像重建方法
CN115022612A (zh) 一种显示装置的驱动方法、装置及显示设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees