TW201332339A - 影像重建方法 - Google Patents
影像重建方法 Download PDFInfo
- Publication number
- TW201332339A TW201332339A TW101102654A TW101102654A TW201332339A TW 201332339 A TW201332339 A TW 201332339A TW 101102654 A TW101102654 A TW 101102654A TW 101102654 A TW101102654 A TW 101102654A TW 201332339 A TW201332339 A TW 201332339A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- depth map
- view
- perspective transformation
- grayscale
- Prior art date
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本發明揭露一種多視角影像重建方法，其係用於將位在一第一視角之一第一影像轉換至一第二視角的一第二影像，其包括下列步驟：提供該第一影像之一深度圖；將深度圖劃分為複數個局部灰階畫面；計算複數個透視轉換矩陣；透過該些透視轉換矩陣來將該深度圖轉換成為一擬深度圖；以及將顏色補入至該擬深度圖。而依該些透視轉換矩陣所模擬出的第二影像，將可得到較佳的立體顯示效果。
Description
本發明係與一種影像重建方法有關，特別係與一種用於三維視訊壓縮系統中的多視角影像重建方法有關。
三維(3D)視訊編碼技術如多視角視訊編碼(Multi-view Video Coding,MVC)相較於傳統單一視角的二維(2D)視訊畫面影像編碼而言，資料量更為龐大，運算複雜度極高。所謂多視角視訊編碼可以利用不同視角間的關聯性，因而較單一視角個別壓縮有更好的壓縮率。因此，目前有人提出使用分散式視訊編碼技術(Distributed Video Coding,DVC)來將複雜的計算移至解碼端，以提升編碼效能。
為減少多視角的畫面資料的傳輸量，美國專利第7,003,150號提出了利用透視轉換(Homography)並藉由像素匹配的方式，將另一視角之畫面模擬出其他視角的畫面，藉此減少另一視角畫面的傳輸量。
然而，上述方法雖減少了畫面資料的傳輸量，但在立體顯示效果上無法達到令人滿意的效果。換句話說，如欲達到傳統上未藉由模擬其他視角之編碼技術的顯示效果，則需增加另一視角畫面的傳輸量。因此，如何兼顧編碼效能又能達到優良的顯示效果實為在本階段亟需克服的難題之一。
有鑑於此，有必要對現有技術進行改良，以克服習知透過透視轉換造成的顯示效果不佳的問題。
本發明之目的在於提供一種多視角影像重建方法，其結合深度影像關聯性並將其提供給解碼端以重建三維影像，以解決習知透過透視轉換造成的顯示效果不佳的問題。
為達成上述之目的，本發明提供一種多視角影像重建方法，其係用於將位在一第一視角之一第一影像轉換至一第二視角的一第二影像，其包括下列步驟：提供該第一影像之一深度圖，其中該深度圖係為一灰階畫面；根據該深度圖的灰階值大小來將該深度圖劃分為複數個局部灰階畫面，並獲得該第一影像中對應於該些局部灰階畫面之複數個局部第一影像；計算每一該些局部第一影像對應於該第二影像的複數個透視轉換矩陣；透過該些透視轉換矩陣來將該深度圖轉換成為對應該第二視角的一擬深度圖；於該擬深度圖中各個像素位置，將該第一影像所對應之像素的顏色補入至該擬深度圖；以及將影像補入至該擬深度圖中不存在有像素的複數個局部區域。
在一較佳實施例中，該深度圖的灰階的劃分方式具有一門檻值，以及大於該門檻值的複數個等分區間，其中在該深度圖中灰階小於該門檻值之該局部灰階畫面，係代表該第一影像中的背景區域。在此較佳實施例中，該些透視轉換矩陣係透過尺度不變特徵轉換，來尋找複數個特徵點。
在一較佳實施例中，將該些透視轉換矩陣轉換為該深度圖的步驟，係將該深度圖的每一二維座標乘上其所對應的透視轉換矩陣。
在一較佳實施例中，將顏色補入至該擬深度圖的步驟，係將該擬深度圖經由該些透視轉換矩陣之複數個逆透視轉換矩陣的轉換，而得到該擬深度圖中各個像素位置所對應到的該第一影像。
在一較佳實施例中，不存在有像素的該些局部區域，包括有複數個微小空洞以及畫面偏移黑邊。具體來說，補入像素至該些微小空洞的步驟，係透過該些微小空洞周圍之像素經內插法而得。此外，補入像素至該些畫面偏移黑邊的步驟，係透過由該第一影像經一對應於該完整第一影像的該透視轉換矩陣，所轉換而成的一擬第二影像之對應區域來補入。
值得一提的是，該第一視角係為左視角或右視角，該第二視角則為中間視角。
相較於習知技術，本發明係為深度資訊之對應透視轉換，其係將深度圖提供給第一影像作為參考，並依門檻值得出該些透視轉換矩陣，其所得出的透視轉換矩陣係納入了深度資訊，而依該些透視轉換矩陣鎖模擬出的第二影像，將可取得較佳的立體顯示效果。
為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
以下將配合附圖來詳細說明本發明的多視角影像重建方法的較佳實施例。請參照第1圖，第1圖為本發明較佳實施例之多視角影像轉換架構示意圖。該多視角影像重建方法係用於將位在一第一視角之一第一影像，透過編碼器60及解碼器80而轉換成一第二視角的一第二影像。具體而言，該第一視角可以為左視角20或右視角40，該第二視角可以為中間視角30，其中由左視角20之第一影像可簡稱為左影像、右視角40之第一影像可簡稱為右影像，而中間視角30之第二影像可簡稱為中間影像。根據對稱原理，無論是將左影像轉換成中間影像或是將右影像轉換成中間影像之步驟都是相同的，因此在此僅用第一視角來代表左視角或右視角，並且以第一影像來代表左影像或右影像。
請參照第2圖，第2圖繪示本發明的較佳實施例之多視角影像重建方法的流程圖。本方法開始於步驟S10，於步驟S10中，提供該第一影像之一深度圖(depth map)，該深度圖係為一灰階畫面。舉例而言，該二維的第一影像之深度資訊可透過習知的深度攝影機(depth camera)所獲得，其係利用時差測距(Time of fight,ToF)原理，藉由計算所發出的紅外光打中物體在反射後的時間差，來計算物體與深度攝影機的距離，進而得出深度資訊。據此，可將該第一影像之深度量化成8位元灰階值(0至255)，而繪示出該灰階畫面，其中該第一影像中距離越近的物體其灰階值越大，距離越遠的物體(背景)其灰階值則越小。
請參考第2圖及第3圖，第3圖為深度值劃分示意圖。在步驟S20中，根據灰階的大小而將該深度圖劃分為複數個局部灰階畫面。具體而言，灰階的劃分方式係具有一門檻值(例如115)，以及大於該門檻值的複數個等分區間，例如以灰階10作為一個區間。而該門檻值的劃分標準可依該深度圖中的前景與背景之灰階來設定。因此，該深度圖中之灰階小於該門檻值之該局部灰階畫面，係代表該第一影像中的背景區域。
此外，該些局部灰階畫面係指在該深度圖中小於某一灰階值的區域，例如第3圖中之局部灰階畫面D1，係代表在該深度圖中小於115灰階值的區域、D2代表該深度圖中小於125灰階值的區域…依此類推。值得注意的是，Dn代表該深度圖中小於255灰階值的區域，即為整個深度圖。接下來，該些局部灰階畫面D1至Dn可對應回該第一畫面(彩色)，而獲得該第一影像中對應於該些局部灰階畫面之複數個局部第一影像(彩色)C1、C2…Cn。其中C1代表在該第一影像中對應於局部灰階值小於115之區域，而其他區域可利用全黑(255)蓋掉，依此類推。同樣值得注意的是，Cn代表該第一影像中對應於局部灰階值小於255之區域，即整個第一畫面。
在步驟S30中，計算每一該些局部第一影像對應於該第二影像的複數個透視轉換矩陣(Homography matrix) H1、H2…Hn。在此較佳實施例中，該些透視轉換矩陣係透過尺度不變特徵轉換(Scale-invariant feature transform,SIFT)來尋找複數個特徵點，並依該些特徵點求出該些透視轉換矩陣H1、H2…Hn。其中SIFT是一種習知的電腦視覺的演算法，其係用來偵測與描述影像中的局部性特徵，其會在空間尺度中尋找特徵點，並提取出其之位置、尺度、旋轉不變數。
進一步而言，其即是利用深度圖以將第一影像中的物體遠近，以一個門檻值來區分背景影像及前景影像，且將之對應回該第一影像並利用SIFT尋找特徵點。因為背景深度相較於前景深度係沒有明顯的物體輪廓且不清晰完整。若以深度分段來對應回第一影像以尋找特徵點的話，將造成太少特徵點匹配的問題。故將門檻值以下的廣大區域一併對應回第一影像來尋找被稱做「基礎對應點」之特徵點，也就是說它包含第一畫面背景深度主要的轉換趨勢。而在門檻值以上者，則係每隔幾個等分來細分成不同深度區間，並加上背景深度區域，藉此對應回第一影像以找出包含背景深度的基礎對應點和主要的前景物件的特徵點之眾多的特徵點，透過該些特徵點所得到的透視轉換矩陣H1、H2…Hn代表具有背景畫面的轉換趨勢。換言之，越高的深度區間包括的特徵點越廣，其之轉換趨勢也越穩定。
該透視轉換矩陣H1是由第一影像中之背景區域與第二視角的第二畫面所得出的轉換矩陣，而H2、H3…Hn是建構在背景深度下採用分段等分累加方式而得到的轉換矩陣，特別是Hn係為由整張該第一影像與該第二畫面所得出的轉換矩陣，其包含所有深度等分的特徵點，也就是說其涵蓋所有深度灰階值的透視轉換趨勢。
請參照第2圖及第4圖，第4圖為本發明較佳實施例之擬深度圖100。在步驟S40中，透過該些透視轉換矩陣H1、H2…Hn將該深度圖(灰階)，轉換成為對應於該第二視角的一擬深度圖(灰階)100。進一步來說，其係將該深度圖每點的灰階值依照該門檻值一分為二，灰階值位於門檻值以上的像素依其對應的透視轉換矩陣進行轉換，而灰階值位於門檻值以下的像素則以透視轉換矩陣H1進行轉換。具體而言，該些透視轉換矩陣H1、H2…Hn所轉換該深度圖，係將該深度圖的每一二維座標乘上其對應的透視轉換矩陣H1、H2…Hn。需注意的是，因為此轉換是依照每一像素之灰階不同而以不同的轉換矩陣做轉換，轉換後的該擬深度圖100會呈現小部分空洞，並有影像偏移的黑邊情形。
請參照第2圖及第5圖，第5圖為本發明較佳實施例之補入像素的擬深度圖120。在步驟S50中，於該擬深度圖100中各個像素位置中，補入該第一影像對應之像素的顏色至該擬深度圖100。具體而言，補入顏色至該擬深度圖100係透過該擬深度圖100，經由該些透視轉換矩陣H1、H2…Hn的複數個逆透視轉換矩陣H 1 -1、H 2 -1…H n -1的轉換，所得到該擬深度圖100中各個像素位置對應到的該第一影像。即把該擬深度圖100的每一點像素值乘以逆透視轉換矩陣，而得到轉換前的二維座標點，再將這二維座標點對應至相同位置的亮度影像。值得注意的是，在第一影像對應完成後，其空洞處和畫面偏移黑邊依舊存在，如第5圖所示。
請參照第2圖、第4圖至第6圖，第6圖為本發明較佳實施例之模擬第二視角影像140。在步驟S60中，將像素補入至該擬深度圖100中不存在像素的複數個局部區域。進一步而言，不存在像素的該些局部區域，包括有複數個微小空洞102以及畫面偏移黑邊104。其中補入至該些微小空洞102的像素，係透過該些微小空洞102周圍之像素經內插法(interpolation)而得，即利用第5圖中微小空洞周102四周的四個像素之顏色之和除以四，即可將顏色補入至該微小空洞周102。而畫面偏移黑邊104由於沒有鄰近的像素值可預估，因此，該些畫面偏移黑邊104所補入的像素，係透過由該第一影像經一對應於該完整第一影像的該透視轉換矩陣(即H n -1)，所轉換而成的一擬第二影像之對應區域(同樣的黑邊區域)來補入。其之補入之結果係如第6圖之模擬第二視角影像140所示。
本發明之方法或特定型態或是其之一部份，可以用程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器將變成用以參與本發明之裝置。當其在一般用途之處理器內實作時，程式碼與處理器之結合，可以提供一用於操作類似於應用特定邏輯電路之獨特裝置。
綜上所述，本發明係為一種深度資訊對應透視轉換方法，其係將深度圖提供給第一影像作為參考，並依門檻值得出該些透視轉換矩陣，其所得出的透視轉換矩陣係納入了深度資訊，而依該些透視轉換矩陣鎖模擬出的第二影像將可得到較佳的立體顯示效果，並且提升了峰值信噪比(PSNR)編碼效能。
雖然本發明已用較佳實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
20．．．左視角
30．．．中間視角
40．．．右視角
60．．．編碼器
80．．．解碼器
100．．．擬深度圖
102．．．微小空洞
104．．．畫面偏移黑邊
120．．．經過補入像素的擬深度圖
140．．．模擬第二視角影像
S10~S60．．．步驟
D1~Dn．．．局部灰階畫面
C1~Cn．．．局部第一影像
第1圖為本發明較佳實施例之多視角影像轉換架構示意圖。
第2圖繪示本發明較佳實施例的多視角影像重建方法的流程圖。
第3圖為深度值劃分示意圖。
第4圖為本發明較佳實施例之擬深度圖。
第5圖為本發明較佳實施例之經過補入像素的擬深度圖。
第6圖為本發明較佳實施例之模擬第二視角影像。
S10~S60．．．步驟
Claims (10)
- 一種多視角影像重建方法，其係用於將位在一第一視角之一第一影像轉換至一第二視角的一第二影像，其包括下列步驟：提供該第一影像之一深度圖，該深度圖係一灰階畫面；根據該深度圖的灰階值大小來將該深度圖劃分為複數個局部灰階畫面，並獲得該第一影像中對應於該些局部灰階畫面之複數個局部第一影像；計算每一該些局部第一影像對應於該第二影像的複數個透視轉換矩陣；透過該些透視轉換矩陣來將該深度圖轉換成為對應該第二視角的一擬深度圖；於該擬深度圖中各個像素位置，將該第一影像所對應之像素的顏色補入至該擬深度圖；以及將像素補入至該擬深度圖中不存在有像素的複數個局部區域。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中該深度圖的灰階的劃分方式具有一門檻值，以及大於該門檻值的複數個等分區間。
- 如申請專利範圍第2項所述之多視角影像重建方法，其中該深度圖中之灰階小於該門檻值之該局部灰階畫面，係代表該第一影像中的背景區域。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中計算該些透視轉換矩陣的步驟，係透過尺度不變特徵轉換尋找複數個特徵點。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中該些透視轉換矩陣將該深度圖加以轉換的步驟，係將該深度圖的每一二維座標乘上其所對應的透視轉換矩陣。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中將顏色補入至該擬深度圖的步驟，係將該擬深度圖經由該些透視轉換矩陣之複數個逆透視轉換矩陣的轉換，而得到該擬深度圖中各個像素位置所對應到的該第一影像。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中不存在有像素的該些局部區域，包括複數個微小空洞以及畫面偏移黑邊。
- 如申請專利範圍第7項所述之多視角影像重建方法，其中將像素補入至該些微小空洞的步驟，係透過將該些微小空洞周圍之像素經內插法而得。
- 如申請專利範圍第7項所述之多視角影像重建方法，其中將像素補入至該些畫面偏移黑邊的步驟，係透過將由該第一影像經一對應於該完整第一影像的該透視轉換矩陣，所轉換而成的一擬第二影像之對應區域來補入。
- 如申請專利範圍第1項所述之多視角影像重建方法，其中該第一視角為左視角或右視角，該第二視角為中間視角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101102654A TWI499278B (zh) | 2012-01-20 | 2012-01-20 | 影像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW101102654A TWI499278B (zh) | 2012-01-20 | 2012-01-20 | 影像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201332339A true TW201332339A (zh) | 2013-08-01 |
| TWI499278B TWI499278B (zh) | 2015-09-01 |
Family
ID=49479175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW101102654A TWI499278B (zh) | 2012-01-20 | 2012-01-20 | 影像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI499278B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463784A (zh) * | 2014-11-04 | 2015-03-25 | 上海爱福窝云技术有限公司 | 一种2.5d模型的缩放方法 |
| TWI511530B (zh) * | 2014-12-09 | 2015-12-01 | Univ Nat Kaohsiung 1St Univ Sc | Distributed video coding system and decoder for distributed video coding system |
| WO2016026147A1 (zh) * | 2014-08-18 | 2016-02-25 | 深圳市华星光电技术有限公司 | 液晶面板的灰阶值设定方法以及液晶显示器 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110129903A (ko) * | 2009-02-18 | 2011-12-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | ３ｄ 시청자 메타데이터의 전송 |
| TW201044317A (en) * | 2009-06-03 | 2010-12-16 | Chunghwa Picture Tubes Ltd | Method of transforming two-dimensional image into three-dimensional image |
| TWI409717B (zh) * | 2009-06-22 | 2013-09-21 | Chunghwa Picture Tubes Ltd | 適用於電腦產品與影像顯示裝置的影像轉換方法 |
| TW201114244A (en) * | 2009-10-15 | 2011-04-16 | Chunghwa Picture Tubes Ltd | Method for generating a 3D image |
| US8537200B2 (en) * | 2009-10-23 | 2013-09-17 | Qualcomm Incorporated | Depth map generation techniques for conversion of 2D video data to 3D video data |
| CN101908233A (zh) * | 2010-08-16 | 2010-12-08 | 福建华映显示科技有限公司 | 产生用于三维影像重建的复数视点图的方法及系统 |
-
2012
- 2012-01-20 TW TW101102654A patent/TWI499278B/zh not_active IP Right Cessation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016026147A1 (zh) * | 2014-08-18 | 2016-02-25 | 深圳市华星光电技术有限公司 | 液晶面板的灰阶值设定方法以及液晶显示器 |
| GB2542307A (en) * | 2014-08-18 | 2017-03-15 | Shenzhen China Star Optoelect | Greyscale value setting method for liquid crystal panel, and liquid crystal display |
| US9734748B2 (en) | 2014-08-18 | 2017-08-15 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Grayscale value setting method for liquid crystal panel and liquid crystal display |
| GB2542307B (en) * | 2014-08-18 | 2021-04-14 | Shenzhen China Star Optoelect | Greyscale value setting method for liquid crystal panel and liquid crystal display |
| CN104463784A (zh) * | 2014-11-04 | 2015-03-25 | 上海爱福窝云技术有限公司 | 一种2.5d模型的缩放方法 |
| CN104463784B (zh) * | 2014-11-04 | 2017-07-04 | 上海爱福窝云技术有限公司 | 一种2.5d模型的缩放方法 |
| TWI511530B (zh) * | 2014-12-09 | 2015-12-01 | Univ Nat Kaohsiung 1St Univ Sc | Distributed video coding system and decoder for distributed video coding system |
| US9979976B2 (en) | 2014-12-09 | 2018-05-22 | National Kaohsiung First University Of Science And Technology | Light-weight video coding system and decoder for light-weight video coding system |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI499278B (zh) | 2015-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI748949B (zh) | 用於使用深度資訊之全視差壓縮光場合成之方法 | |
| US8351685B2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
| US9013482B2 (en) | Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium | |
| RU2431938C2 (ru) | Эффективное кодирование множества видов | |
| Hua et al. | Holopix50k: A large-scale in-the-wild stereo image dataset | |
| Ding et al. | Efficient dark channel based image dehazing using quadtrees | |
| KR102156402B1 (ko) | 영상 처리 방법 및 장치 | |
| BR112019027116A2 (pt) | aparelho para gerar uma imagem, aparelho para gerar um sinal de imagem, método para gerar uma imagem, método para gerar um sinal de imagem e sinal de imagem | |
| JP2010045776A (ja) | 映像レンダリングの方法およびシステム、そのためのコンピュータプログラム製品 | |
| US20170064279A1 (en) | Multi-view 3d video method and system | |
| Li et al. | A real-time high-quality complete system for depth image-based rendering on FPGA | |
| Sharma et al. | A flexible architecture for multi-view 3DTV based on uncalibrated cameras | |
| KR20210096234A (ko) | 호모그래피 변환을 사용하는 포인트 클라우드 코딩 | |
| KR101458986B1 (ko) | 키넥트 기반 실시간 다시점 영상 생성 방법 | |
| US20120176367A1 (en) | Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image | |
| TWI499278B (zh) | 影像重建方法 | |
| US20140161347A1 (en) | Method and apparatus for color transfer between images | |
| KR101103511B1 (ko) | 평면 영상을 입체 영상으로 변환하는 방법 | |
| CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| US20180109775A1 (en) | Method and apparatus for fabricating a stereoscopic image | |
| US11501406B2 (en) | Disparity cache | |
| US20120206442A1 (en) | Method for Generating Virtual Images of Scenes Using Trellis Structures | |
| Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
| Ramachandran et al. | Multiview synthesis from stereo views | |
| Kuo et al. | High efficiency depth image-based rendering with simplified inpainting-based hole filling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |