TWI526045B - 立體影像的調整方法與影像處理裝置 - Google Patents

立體影像的調整方法與影像處理裝置 Download PDF

Info

Publication number
TWI526045B
TWI526045B TW101146416A TW101146416A TWI526045B TW I526045 B TWI526045 B TW I526045B TW 101146416 A TW101146416 A TW 101146416A TW 101146416 A TW101146416 A TW 101146416A TW I526045 B TWI526045 B TW I526045B
Authority
TW
Taiwan
Prior art keywords
layer
pixel
cost
displacement
difference
Prior art date
Application number
TW101146416A
Other languages
English (en)
Other versions
TW201424342A (zh
Inventor
李東穎
林明萱
賴尚宏
江銘峰
Original Assignee
聯詠科技股份有限公司
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯詠科技股份有限公司, 國立清華大學 filed Critical 聯詠科技股份有限公司
Priority to TW101146416A priority Critical patent/TWI526045B/zh
Priority to US13/913,533 priority patent/US9210400B2/en
Publication of TW201424342A publication Critical patent/TW201424342A/zh
Application granted granted Critical
Publication of TWI526045B publication Critical patent/TWI526045B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Computer Graphics (AREA)

Description

立體影像的調整方法與影像處理裝置
本發明是有關於一種立體影像的調整方法，且特別是有關於一種使用最佳化演算法的調整方法與影像處理裝置。
立體影像(stereo images)是由兩個以上不同視角的影像所組成。一個立體影像顯示器會讓人的左眼看到一個視角的影像，並且讓右眼看到另一個視角的影像，藉此大腦會合成出一個三維的影像。然而，不同視角的影像是顯示在平面的螢幕上，因此人眼是聚焦在螢幕上，而大腦是合成出在螢幕之前或之後的三維影像。這樣的情況可能會使觀賞者有不舒服或頭暈的情形。一般來說，當合成出的影像離螢幕太遠時，觀賞者會有上述不適的情形。
圖1是拍攝立體影像的示意圖。
請參照圖1，攝影機110與攝影機120之間有一距離，並且同時拍攝物體130。攝影機110拍攝的影像與攝影機120拍攝的影像便會組成立體影像。由於攝影機110與攝影機120之間的距離是固定的，當立體影像顯示在一個大尺寸的螢幕時，大腦合成出的三維影像會距離螢幕太遠。
綜上所述，如何調整立體影像使得觀賞者有較佳的觀賞經驗，為此領域技術人員所關心的議題。
本發明實施例提出一種立體影像的調整方法與影像處理裝置，可使觀賞者有較佳的觀賞經驗。
本發明一實施例提出一種立體影像的調整方法，適用於一影像處理裝置。此調整方法包括：取得第一影像與第二影像之間的差異圖，其中第一影像的視角不同於第二影像的視角，並且差異圖包括多個差異值；跟據所述差異值將差異圖分為多個圖層，其中所述的圖層是對應於第一影像的多個第一圖層，並且所述圖層是對應於第二影像的多個第二圖層；根據第i個第一圖層的一像素在x方向的位移與第i個第二圖層的一像素在x方向的位移產生第一差距，並根據第一差距產生第一成本，其中i為正整數；根據第i個第一圖層的該像素在x方向的位移與第j個第一圖層的一像素在x方向的位移之間的一差距，以及第i個第二圖層的該像素在x方向的位移與第j個第二圖層的一像素在x方向的位移之間的差距產生第二成本。其中j為正整數，並且j不同於i。此方法還包括：至少根據第一成本與第二成本執行一最佳化演算法，以取得第i個第一圖層的該像素在x方向的位移以及第i個第二圖層的該像素在x方向的位移；以及根據第i個第一圖層的該像素在x方向的位移調整此像素的位置，並且根據第i個第二圖層的該像素在x方向的位移調整此像素的位置。
在一實施例中，上述跟據差異值將差異圖分為多個圖層的步驟包括：根據這些差異值執行中間位移演算法、正 規化分割演算法或隨機漫步者影像分割演算法將差異圖分為上述的圖層。
在一實施例中，上述跟據差異值將差異圖分為多個圖層的步驟包括：根據這些差異值彼此之間的多個相似值將差異圖分為上述的圖層。所述相似值是根據每一個差異值的大小、位置、或鄰居色彩資訊所計算。
在一實施例中，第一差距是第i個第一圖層的像素在x方向的位移與第i個第二圖層的像素在x方向的位移之間的差距。上述產生第一成本的步驟包括：根據第一差距、第i個第一圖層所對應的差異值的平均值與第i個第二圖層所對應的差異值的平均值產生第一成本。
在一實施例中，第一差距是第i個第一圖層的像素在x方向被位移後的位置與第i個第二圖層的像素在x方向被位移後的位置之間的差距。上述產生第一成本的步驟還包括：若第一差距小於第一預設值，增加第一成本；以及若第一差距大於第二預設值，增加第一成本。其中第一預設值與第二預設值是根據一螢幕寬度所設定。
在一實施例中，上述的調整方法更包括：取得第i+1個第一圖層的一位移與第i+1個第二圖層的一位移之間的第二差距；以及根據第i個第一圖層的像素在x方向的平移與第i個第二圖層的像素在x方向的平移之間的差距與第二差距之間的差距產生第三成本。其中至少根據第一成本與第二成本執行最佳化演算法的步驟包括：根據第一成本、第二成本與第三成本執行該最佳化演算法。
在一實施例中，上述的調整方法更包括：根據第i個第一圖層的像素在y方向被位移後的位置與第i個第二圖層的像素在y方向被位移後的位置之間的第三差距，產生第四成本。
在一實施例中，上述的調整方法更包括：第n個第一圖層的一位移產生第五成本，其中n為正整數。其中至少根據第一成本與第二成本執行最佳化演算法的步驟包括：根據第一成本、第二成本、第三成本、第四成本與第五成本執行最佳化演算法，以取得第i個第一圖層的像素在x方向的位移與在y方向的位移、第i個第二圖層的像素在x方向的位移與在y方向的位移。此方法還包括：根據第i個第一圖層的像素在y方向的位移調整第i個圖層的像素的位置，並且根據第i個第二圖層的像素在y方向的位移調整第i個第二圖層的像素的位置。
以另外一個角度來說，本發明一實施例提出一種影像處理裝置，包括記憶體與處理器。記憶體中儲存有多個指令。處理器是耦接至記憶體，用以執行所述指令以執行多個步驟：取得第一影像與第二影像之間的差異圖，其中第一影像的視角不同於第二影像的視角，並且差異圖包括多個差異值；跟據所述差異值將差異圖分為多個圖層，其中所述的圖層是對應於第一影像的多個第一圖層，並且所述圖層是對應於第二影像的多個第二圖層；根據第i個第一圖層的一像素在x方向的位移與第i個第二圖層的一像素在x方向的位移產生第一差距，並且根據第一差距產生第 一成本，其中i為正整數；根據第i個第一圖層的該像素在x方向的位移與第j個第一圖層的一像素在x方向的位移之間的一差距，以及第i個第二圖層的該像素在x方向的位移與第j個第二圖層的一像素在x方向的位移之間的差距產生第二成本。其中j為正整數，並且j不同於i。上述的步驟還包括：至少根據第一成本與第二成本執行一最佳化演算法，以取得第i個第一圖層的該像素在x方向的位移以及第i個第二圖層的該像素在x方向的位移；以及根據第i個第一圖層的該像素在x方向的位移調整此像素的位置，並且根據第i個第二圖層的該像素在x方向的位移調整此像素的位置。
基於上述，本發明實施例所提出調整方法與影像處理裝置，可以透過最佳化演算法來調整像素的位置，使得大腦合成出的影像會落在一個舒適的區域。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
[第一實施例]
圖2是根據第一實施例繪示影像處理裝置的示意圖。
請參照圖2，影像處理裝置200包括處理器210與記憶體220。例如，影像處理裝置200可被實作為電腦、伺服器、分散式系統、電視、智慧型手機、平板電腦、若任何一種嵌入式系統。
處理器210是用以執行一或多個指令。例如，處理器210可為中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)或數位訊號處理器(Digital Signal Processor，DSP)。
記憶體220是用以儲存資料與指令。例如，記憶體220可為隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體。
在此實施例中，記憶體220中儲存有多個指令，處理器210會執行這些指令以接收影像231~232並且輸出影像241~242。影像231~232可組成立體影像，即影像231的視角不同於影像232的視角。例如，影像231是代表左眼的影像(亦稱第一影像)、而影像232是代表右眼的影像(亦稱第二影像)。處理器210會調整影像231~232中多個像素的位置而產生影像241~242，其是用以顯示在一個立體顯示器上。
圖3是根據第一實施例繪示將差異圖分為多個圖層的示意圖。
請參照圖3，處理器210會先取得影像231與影像232之間的差異圖(disparity map)200。例如，處理器210會取得影像231的一個像素，此像素是對應於影像232的一個像素。處理器210會根據這兩個像素的位置產生一個差異值，其可代表某一個物件的景深(depth)。處理器210會對影像231中每一個像素取得對應的差異值，藉此產生差異圖300。換言之，在此實施例中，差異圖300是對應於影 像231，差異圖300中包括了影像231的景深資訊。然而，在其他實施例中，差異圖300也可以是對應於影像232，並且差異圖300是包括了影像232的景深資訊，本發明並不在此限。
接著，處理器210會根據差異圖300中的多個差異值將差異圖300分為多個圖層(layer)，而每一個圖層代表不同的景深。例如，處理器210會根據這些差異值執行中間位移(mean-shift)演算法、正規化分割(Normalized Cuts)演算法或隨機漫步者影像分割(Random Walker Segmentation)演算法將差異圖300分為多個圖層。
以中間位移演算法為例，處理器210會在差異圖300中設定多個起始點，並且根據差異圖300中的差異值對每一個起始點執行一個均值平移演算法，藉此取得多個終點。均值平移演算法是用以根據一個核心(kernel)或濾波器，從起始點出發，每次移動一小段距離，最後停在差異圖300中差異值相對較小或較大的位置，而最後停下來的位置即是上述的終點。一般來說，在一個物件中的多個起始點會停在同一個終點附近，所以處理器210會根據所計算出的終點將差異圖300分為多個圖層。例如，差異圖300被分為圖層310與圖層320。
然而，在其他實施例中，處理器210也可以計算每兩個差異值之間的相似度，並且根據這些相似度將差異圖300分為多個圖層。此相似度是根據差異值的大小、位置或者是鄰居(neighbor)色彩資訊所計算。具體來說，當兩個 差異值的大小越接近時，此兩個差異值之間的相似度越大。或者，當兩個差異值的位置越接近時，此兩個差異值之間的相似度越大。另一方面，一個差異值會包括一或多個鄰居差異值，而這些鄰居差異值對應在影像231或232上的色彩資訊(即，亮度或是彩度)即是鄰居色彩資訊。當兩個差異值的鄰居色彩資訊越接近時，這兩個差異值之間的相似度也會越大。其中，一個差異值的鄰居差異值可以是與此差異值相鄰的其他差異值，或者是由馬爾可夫隨機場(Markov random field)所定義，本發明並不在此限。當兩個差異值之間的相似度越大時，這兩個差異值越有可能會被分為一個圖層。然而，處理器210也可以使用其他的影像分割(image segmentation)與分群(clustering)的演算法計算出多個圖層，本發明並不限制產生圖層的演算法也不限制所產生的圖層的個數。
處理器210會根據差異圖300中的圖層，取得影像231~232中對應的圖層。例如，在影像231中，圖層331是對應於圖層310，而圖層332是對應於圖層320。在影像232中，圖層341是對應於圖層310、而圖層342是對應於圖層320。在此，影像231中的圖層331~332亦被稱為第一圖層，而影像232中的圖層341~342亦被稱為第二圖層。
在此實施例中，處理器210會以圖層為單位來改變影像231~232中像素的位置。也就是說，一個圖層中所有的像素會位移相同的距離。並且，處理器210會將每一個圖層的位移設定為變數，根據這些變數產生多個成本(cost)， 並且根據這些成本執行一個最佳化演算法，藉此計算出這些變數的值。
具體來說，處理器210會根據第一圖層331~332中第i個第一圖層的一個像素在x方向的位移與第二圖層341~342中第i個第二圖層的一個像素在x方向的位移產生一個第一差距，並且根據第一差距產生第一成本，其中i為正整數。在此，第i個第一圖層與第i個第二圖層是對應到差異圖300中的同一個圖層。在第一實施例中，第一差距是第i個第一圖層的該像素在x方向的位移與第i個第二圖層的該像素在x方向的位移之間的差距，但本發明並不在此限。在另一實施例中，第一差距也可以是第i個第一圖層的該像素在x方向被位移以後的位置與第i個第二圖層的該像素在x方向被位移以後的位置之間的差距。當第一差距很大(或很小)時，表示經過位移之後的第一影像與第二影像若被大腦合成在距離螢幕太遠的位置，此時第一成本會被增加。
在一實施例中，處理器210會根據第一差距、第i個第一圖層所對應的多個差異值的平均值與第i個第二圖層所對應的多個差異值的平均值產生該第一成本。此外，若第i個第一圖層(或第二圖層)中所有的像素在x方向上的位移皆相同，則可以用一個圖層在x方向的位移來表示其中所有像素在x方向上的位移。例如，第一成本可寫成以下方程式(1)。
其中Erange為第一成本。Li代表第i個第一圖層，而Ri代表第i個第二圖層。xL,i為第i個第一圖層在x方向上的平移。xR,i為第i個第二圖層在x方向上的平移。值得注意的是，”平移”(shift)所指的是一個像素(或圖層)在沒有被旋轉的情況下，在某一方向上移動的距離。而”位移”所指的是一個像素在經過旋轉(或其他線性轉換)以及平移以後所移動的距離。在第一實施例中並沒有考慮影像旋轉的情況，因此”平移”會等於”位移”。m(Li)為第i個第一圖層所對應的差異值(例如，圖層310中的差異值)的平均值。m(Ri)為第i個第二圖層所對應的差異值的平均值。在方程式(1)中，第一成本的計算是使用絕對值(absolute)誤差，但其他實施例中也可以使用均方根誤差或者是其他類型的誤差，本發明並不在此限。
另一方面，處理器210會根據第i個第一圖層在x方向的位移與第j個第一圖層在x方向的位移之間的差距，以及第i個第二圖層在x方向的位移與第j個第二圖層在x方向的位移之間的差距，產生第二成本。其中j為正整數，並且j不同於i。第二成本所代表的意思是，當i個第一圖層在x方向的位移與第j個第一圖層在x方向的位移差距太大時，表示經過調整後的第一影像會產生很多洞(這些洞不會有像素值)，因此處理器210會增加第二成本。相同的，當i個第二圖層在x方向的位移與第j個第二圖層在x方向的位移差距太大時，表示經過調整後的第二影像會產生很多洞，因此處理器210會增加第二成本。在一實施例 中，第二成本可以寫成以下方程式(2)。
其中N為圖層的個數(與第一圖層的個數以及第二圖層的個數相同)。在方程式(2)中所使用的是絕對值(absolute)誤差，但其他實施例中也可以使用均方根誤差或者是其他類型的誤差，本發明並不在此限。
處理器210至少會根據第一成本與第二成本執行最佳化演算法，以取得第i個第一圖層在x方向的位移以及第i個第二圖層在x方向的位移。然而，在此實施例中，處理器210會取得第i+1個第一圖層在x方向的平移與第i+1個第二圖層在x方向的平移之間的一個第二差距。並且，處理器210會根據第i個第一圖層的像素在x方向的平移與第i個第二圖層的像素在x方向的平移之間的差距(在此實施例中即為第一差距)與第二差距產生一個目標函數(object function)。在執行最佳化運算時，處理器210也會根據此目標函數。在此實施例中，最佳化演算法可被寫為以下方程式(3)
在目標函數的左邊為第一差距(xL,i-xR,i)，而右邊為第二差距(xL,i+1-xR,i+1)與變數β。其中變數β為一個實數，為使用者自訂。λ為一個實數，也可由使用者自訂。在此實 施例中，圖層是根據其深度排序的，因此視覺上第i個圖層是在第i+1個圖層之前；對於所有的i，第一差距必須大於第二差距，否則第i個圖層經過位移以後會被顯示在第i+1個圖層之後。另外，第N個第一圖層的位移會被設定為0，使得最佳化演算法只會有一個解。
跟據上述方程式(3)執行最佳化演算法以後，處理器210會取得第i個第一圖層在x方向的平移xL,i(即，位移)以及第i個第二圖層在x方向的平移xR,i(即，位移)。處理器210會根據平移xL,i調整第i個第一圖層中像素的位置，並且根據平移xR,i調整第i個第二圖層中像素的位置。而調整完所有第一圖層中像素的位置以及所有第二圖層中像素的位置以後，處理器210便會得到影像241~242。
[第二實施例]
第二實施例與第一實施例類似，在此僅說明不同之處。在第一實施例中，處理器210是在不考慮旋轉的情況下計算每一個第一圖層(或第二圖層)在x方向上的位移。然而，在第二實施例中，處理器210還會考慮旋轉的情形，以及計算y方向上的位移。
圖4是根據第二實施例繪示旋轉第一影像與第二影像的俯視圖。圖5是根據第二實施例繪示旋轉第一影像與第二影像的的前視圖。
請參照圖4與圖5，第一影像231上包含了一個軸線401，處理器210會根據軸線401旋轉第一影像231一個角 度(-θ)以產生調整後的第一影像231-1。而第二影像232包含了軸線402，處理器會根據軸線402旋轉第二影像232一個角度(θ)以產生調整後的第二影像232-1。值得注意的是，第一影像被旋轉的角度與第二影像被旋轉的角度為彼此的相反數(opposite)。由於第一影像231與第二影像232會被旋轉，因此第一影像231與第二影像232中一個圖層的像素會有y方向的位移。
在此，yL,i表示第i個第一圖層在y方向上的平移，而yR,i表示第i個第二圖層在y方向上的平移。θi表示第i個第二圖層旋轉的角度。若軸線401與軸線402為固定，則根據平移xL,i、平移xR,i、平移yL,i、平移yR,i、以及角度θi，可以計算一個像素在x方向上的位移以及y方向上的位移。第一影像與第二影像中像素的位置的轉換(對應於”位移”)可以被寫為函數TL x、TL y、TR x與Ty R，這些函數是用以將一個二維的位置轉換至另一個二維的位置。在此用pL,i,j表示第i個第一圖層中第j個像素的位置(包括x座標與y座標)，而pR,i,j表示第i個第二圖層中第j個像素的位置。因此，TL x(pL,I,j)則表示第i個第一圖層中第j個像素在x方向被位移後的位置；TL y(pL,i,j)則表示此像素在y方向被位移後的位置。TR x(pR,i,j)表示第i個第二圖層中第j個像素在x方向被位移以後的位置；而TR y(pR,i,j)表示此像素在y方向被位移以後的位置。
與第一實施例類似的是，處理器210會根據第i個第一圖層中一個像素在x方向的位移與第i個第二圖層中一 個像素在x方向的位移產生第一差距，並根據第一差距產生第一成本。然而，在第二實施例中，第一差距是第i個第一圖層的一個像素在x方向被位移後的位置與第i個第二圖層的一像素在x方向被位移後的位置之間的差距。例如，第一差距可以被表示為td=TL x(pL,i,j)-TR x(pR,i,j)。然而，在第二實施例中，若第一差距小於一個第一預設值，處理器210會增加第一成本；若第一差距大於一個第二預設值，則處理器210也會增加第一成本。其中第一預設值與第二預設值是根據一個螢幕寬度所設定。舉例來說，第一預設值是螢幕寬度(單位為像素個數)乘上-3%，而第二預設值是螢幕寬度乘上3%。當第一差距在第一預設值與第二預設值之間時，使用者會有較好的觀賞感受。然而，在其他實施例中，第一預設值與第二預設值也可以將螢幕寬度乘上其他數值而取得，本發明並不在此限。
在此，第一預設值被表示為dispmin，第二預設值被表示為dispmax，而第一成本可用以下方程式(4)~(6)表示。
p i,j,min=-t d,i,j +disp min………(5)
p i,j,max=t d,i,j -disp max………(6)
其中Ercont為第一成本。[x]為一個函數，當述句(predicate)x為真(true)時，[x]為1。
另一方面，在第二實施例中，上述方程式(3)中的目標函數可被改寫為一個第三成本。具體來說，處理器210會 取得第i+1個第一圖層在x方向的平移與第i+1個第二圖層在x方向的平移之間的第二差距。並且，處理器210會根據第i個第一圖層的一像素在x方向的平移與第i個第二圖層的一像素在x方向的平移之間的差距與第二差距之間的差距產生一個第三成本。例如，第三成本可用以下方程式(7)~(9)來表示。
s i =x L,i -x R,i ………(8)
q i =s i+1-s i -β………(9)
其中Eorder為第三成本。在一實施例中，處理器210可以根據第一成本、第二成本與第三成本來執行最佳化運算。
然而，在第二實施例中，處理器210還會根據第i個第一圖層中一個像素在y方向被位移後的位置與第i個第二圖層中一個像素在y方向被位移後的位置之間的一個第三差距來產生一個第四成本。當第三差距的絕對值越大時，第四成本會被增加。例如，第四成本可用以下方程式(10)來表示。
其中Evertical為第四成本。
此外，處理器210也會根據第n個第一圖層在x方向的平移產生一個第五成本，其中n為正整數。例如，第五 成本可用以下方程式(11)來表示。
E fixed =(x L,n )2………(11)
第五成本Efixed所代表的意思是，讓一個第一圖層在x方向的平移接近0，使得最佳化演算法僅會有一個解。在一實施例中，正整數n等於第一圖層的個數N。然而，在其他實施例中，正整數n也可為其他數值，本發明並不在此限。
處理器210會根據第一成本、第二成本、第三成本、第四成本與第五成本執行最佳化演算法。例如，此最佳化演算法可表示為以下方程式(12)。
min E rcont +λ 1 E vertical +λ 2 E hole +λ 3 E order +λ 4 E fixed ………(12)
其中，λ1、λ2、λ3、與λ4為實數，可由使用者自訂。
在執行完最佳化演算法以後，處理器210便可以取得每一個第一圖層中每一個像素在x方向的位移與在y方向上的位移。處理器210會根據這些在x方向與y方向的位移來調整這些第一圖層中像素的位置。此外，處理器210也可以取得每一個第二圖層中每一個像素在x方向上的位移與在y方向上的位移。處理器210可以根據這些位移調整這些第二圖層中像素的位置。藉此，處理器210會產生影像241~242。
然而，在影像241~242中可能會有一或多個洞。處理器210還會執行一個補洞(inpaint)演算法以去除這些洞。然而，本發明並不限制採用何種補洞演算法。
圖6是根據一實施例繪示一種立體影像的調整方法的流程圖。
請參照圖6，在步驟S602中，取得第一影像與第二影像之間的差異圖，其中第一影像的視角不同於第二影像的視角，並且差異圖包括多個差異值。
在步驟S604中，跟據所述差異值將差異圖分為多個圖層。其中這些圖層是對應於第一影像的多個第一圖層，並且這些圖層是對應於第二影像的多個第二圖層。
在步驟S606中，根據第i個第一圖層的一像素在x方向的位移與第i個第二圖層的一像素在x方向的位移產生第一差距，並根據第一差距產生第一成本。其中i為正整數。
在步驟S608中，根據第i個第一圖層的像素在x方向的位移與第j個第一圖層的一像素在x方向的位移之間的差距，以及第i個第二圖層的像素在x方向的位移與第j個第二圖層的一像素在x方向的一位移之間的差距，產生第二成本。其中j為正整數，並且j不同於i。
在步驟S610中，至少根據第一成本與第二成本執行一個最佳化演算法，以取得第i個第一圖層中該像素在x方向的位移以及第i個第二圖層中該像素在x方向的位移。
在步驟S612中，根據第i個第一圖層的該像素在x方向的位移調整此像素的位置，並且根據第i個第二圖層的該像素在x方向的位移調整此像素的位置。
在一實施例中，圖6中各步驟可被實作為一個模組， 此模組可由處理器210來執行。然而，在另一實施例中，圖6中各步驟也可被實做為一或多個電路，這些電路可被配置在一個電子裝置中。此電子裝置可為電腦、伺服器、分散式系統、電視、智慧型手機、平板電腦、若任何一種嵌入式系統。
綜上所述，本發明實施例所提出的調整方法與影像處理裝置，可以根據像素在x方向與y方向上的位移來產生多個成本。這些成本會被用以執行最佳化演算法，藉此調整位置以後的影像會有較少的洞以及連續的景深，並且合成出的三維影像會在舒適的區域內。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110、120‧‧‧攝影機
130‧‧‧物體
200‧‧‧影像處理裝置
210‧‧‧處理器
220‧‧‧記憶體
231~232、241~242、231-1、232-1‧‧‧影像
300‧‧‧差異圖
310、320、331~332、341~342‧‧‧圖層
401、402‧‧‧軸線
S602、S604、S606、S608、S610、S612‧‧‧立體影像的調整方法的步驟
圖1是拍攝立體影像的示意圖。
圖2是根據第一實施例繪示影像處理裝置的示意圖。
圖3是根據第一實施例繪示將差異圖分為多個圖層的示意圖。
圖4是根據第二實施例繪示旋轉第一影像與第二影像的俯視圖。
圖5是根據第二實施例繪示旋轉第一影像與第二影像的的前視圖。
圖6是根據一實施例繪示一種立體影像的調整方法的流程圖。
S602、S604、S606、S608、S610、S612‧‧‧立體影像的調整方法的步驟

Claims (16)

  1. 一種立體影像的調整方法，適用於一影像處理裝置，該調整方法包括：取得一第一影像與一第二影像之間的一差異圖，其中該第一影像的一視角不同於該第二影像的一視角，並且該差異圖包括多個差異值；跟據該些差異值將該差異圖分為多個圖層，其中該些圖層是對應於該第一影像的多個第一圖層，並且該些圖層是對應於該第二影像的多個第二圖層；根據該些第一圖層中第i個第一圖層的一像素在一x方向的一位移與該些第二圖層中第i個第二圖層的一像素在該x方向的一位移產生一第一差距，並根據該第一差距產生一第一成本，其中i為正整數；根據該第i個第一圖層的該像素在該x方向的該位移與該些第一圖層中第j個第一圖層的一像素在該x方向的一位移之間的一差距，以及該第i個第二圖層的該像素在該x方向的該位移與該些第二圖層中第j個第二圖層的一像素在該x方向的一位移之間的一差距，產生一第二成本，其中j為正整數，並且j不同於i；至少根據該第一成本與該第二成本執行一最佳化演算法，以取得該第i個第一圖層的該像素在該x方向的該位移以及該第i個第二圖層的該像素在該x方向的該位移；以及根據該第i個第一圖層的該像素在該x方向的該位移 調整該第i個第一圖層的該像素的一位置，並且根據該第i個第二圖層的該像素在該x方向的該位移調整該第i個第二圖層的該像素的一位置。
  2. 如申請專利範圍第1項所述之調整方法，其中跟據該些差異值將該差異圖分為多個圖層的步驟包括：根據該些差異值執行一中間位移演算法、一正規化分割演算法或一隨機漫步者影像分割演算法將該差異圖分為該些圖層。
  3. 如申請專利範圍第1項所述之調整方法，其中跟據該些差異值將該差異圖分為多個圖層的步驟包括：根據該些差異值彼此之間的多個相似值將該差異圖分為該些圖層，其中該些相似值是根據各該些差異值的一大小、一位置、或一鄰居色彩資訊所計算。
  4. 如申請專利範圍第1項所述之調整方法，其中該第一差距是該第i個第一圖層的該像素在該x方向的該位移與該第i個第二圖層的該像素在該x方向的該位移之間的差距，其中產生該第一成本的步驟包括：根據該第一差距、該第i個第一圖層所對應的該些差異值的一平均值與該第i個第二圖層所對應的該些差異值的一平均值產生該第一成本。
  5. 如申請專利範圍第1項所述之調整方法，其中該第一差距是該第i個第一圖層的該像素在該x方向被位移後的一位置與該第i個第二圖層的該像素在該x方向被位移後的一位置之間的差距，其中產生該第一成本的步驟還包 括：若該第一差距小於一第一預設值，增加該第一成本；以及若該第一差距大於一第二預設值，增加該第一成本，其中該第一預設值與該第二預設值是根據一螢幕寬度所設定。
  6. 如申請專利範圍第1項所述之調整方法，更包括：取得該些第一圖層中第i+1個第一圖層在該x方向的一平移與該些第二圖層中第i+1個第二圖層在該x方向的一平移之間的一第二差距；以及根據該第i個第一圖層的該像素在該x方向的一平移與該第i個第二圖層的該像素在該x方向的一平移之間的差距與該第二差距之間的一差距，產生一第三成本，其中至少根據該第一成本與該第二成本執行該最佳化演算法的步驟包括：根據該第一成本、該第二成本與該第三成本執行該最佳化演算法。
  7. 如申請專利範圍第6項所述之調整方法，更包括：根據該第i個第一圖層的該像素在一y方向被位移後的一位置與該第i個第二圖層的該像素在該y方向被位移後的一位置之間的一第三差距，產生一第四成本。
  8. 如申請專利範圍第7項所述之調整方法，更包括：根據該些第一圖層中的第n個第一圖層的一平移產生一第五成本，其中n為正整數， 其中，至少根據該第一成本與該第二成本執行該最佳化演算法的步驟包括：根據該第一成本、該第二成本、該第三成本、該第四成本與該第五成本執行該最佳化演算法，以取得該第i個第一圖層的該像素在該x方向的該位移與在該y方向的該位移、該第i個第二圖層的該像素在該x方向的該位移與在該y方向的該位移，該調整方法還包括：根據該第i個第一圖層的該像素在該y方向的該位移調整該第i個圖層的該像素的該位置，並且根據該第i個第二圖層的該像素在該y方向的該位移調整該第i個第二圖層的該像素的該位置。
  9. 一種影像處理裝置，包括：一記憶體，儲存有多個指令；以及一處理器，耦接至該記憶體，用以執行該些指令以執行多個步驟：取得一第一影像與一第二影像之間的一差異圖，其中該第一影像的一視角不同於該第二影像的一視角，並且該差異圖包括多個差異值；跟據該些差異值將該差異圖分為多個圖層，其中該些圖層是對應於該第一影像的多個第一圖層，並且該些圖層是對應於該第二影像的多個第二圖層；根據該些第一圖層中第i個第一圖層的一像素在一x方向的一位移與該些第二圖層中第i個第二圖層的一像素 在該x方向的一位移產生一第一差距，並根據該第一差距產生一第一成本，其中i為正整數；根據該第i個第一圖層的該像素在該x方向的該位移與該些第一圖層中第j個第一圖層的一像素在該x方向的一位移之間的一差距，以及該第i個第二圖層的該像素在該x方向的該位移與該些第二圖層中第j個第二圖層的一像素在該x方向的一位移之間的一差距，產生一第二成本，其中j為正整數，並且j不同於i；至少根據該第一成本與該第二成本執行一最佳化演算法，以取得該第i個第一圖層的該像素在該x方向的該位移以及該第i個第二圖層的該像素在該x方向的該位移；以及根據該第i個第一圖層的該像素在該x方向的該位移調整該第i個第一圖層的該像素的一位置，並且根據該第i個第二圖層的該像素在該x方向的該位移調整該第i個第二圖層的該像素的一位置。
  10. 如申請專利範圍第9項所述之影像處理裝置，其中跟據該些差異值將該差異圖分為多個圖層的步驟包括：根據該些差異值執行一中間位移演算法、一正規化分割演算法或一隨機漫步者影像分割演算法將該差異圖分為該些圖層。
  11. 如申請專利範圍第9項所述之影像處理裝置，其中跟據該些差異值將該差異圖分為多個圖層的步驟包括：根據該些差異值彼此之間的多個相似值將該差異圖 分為該些圖層，其中該些相似值是根據各該些差異值的一大小、一位置、或一鄰居色彩資訊所計算。
  12. 如申請專利範圍第9項所述之影像處理裝置，其中該第一差距是該第i個第一圖層的該像素在該x方向的該位移與該第i個第二圖層的該像素在該x方向的該位移之間的差距，其中產生該第一成本的步驟包括：根據該第一差距、該第i個第一圖層所對應的該些差異值的一平均值與該第i個第二圖層所對應的該些差異值的一平均值產生該第一成本。
  13. 如申請專利範圍第9項所述之影像處理裝置，其中該第一差距是該第i個第一圖層的該像素在該x方向被位移後的一位置與該第i個第二圖層的該像素在該x方向被位移後的一位置之間的差距，其中產生該第一成本的步驟還包括：若該第一差距小於一第一預設值，增加該第一成本；以及若該第一差距大於一第二預設值，增加該第一成本，其中該第一預設值與該第二預設值是根據一螢幕寬度所設定。
  14. 如申請專利範圍第9項所述之影像處理裝置，其中該些步驟更包括：取得該些第一圖層中第i+1個第一圖層在該x方向的一平移與該些第二圖層中第i+1個第二圖層在該x方向的一平移之間的一第二差距；以及 根據該第i個第一圖層的該像素在該x方向的一平移與該第i個第二圖層的該像素在該x方向的一平移之間的差距與該第二差距之間的一差距，產生一第三成本，其中至少根據該第一成本與該第二成本執行該最佳化演算法的步驟包括：根據該第一成本、該第二成本與該第三成本執行該最佳化演算法。
  15. 如申請專利範圍第14項所述之影像處理裝置，其中該些步驟更包括：根據該第i個第一圖層的該像素在一y方向被位移後的一位置與該第i個第二圖層的該像素在該y方向被位移後的一位置之間的一第三差距，產生一第四成本。
  16. 如申請專利範圍第15項所述之影像處理裝置，其中該些步驟更包括：根據該些第一圖層中的第n個第一圖層的一平移產生一第五成本，其中n為正整數，其中，至少根據該第一成本與該第二成本執行該最佳化演算法的步驟包括：根據該第一成本、該第二成本、該第三成本、該第四成本與該第五成本執行該最佳化演算法，以取得該第i個第一圖層的該像素在該x方向的該位移與在該y方向的該位移、該第i個第二圖層的該像素在該x方向的該位移與在該y方向的該位移，該些步驟還包括： 根據該第i個第一圖層的該像素在該y方向的該位移調整該第i個圖層的該像素的該位置，並且根據該第i個第二圖層的該像素在該y方向的該位移調整該第i個第二圖層的該像素的該位置。
TW101146416A 2012-12-10 2012-12-10 立體影像的調整方法與影像處理裝置 TWI526045B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101146416A TWI526045B (zh) 2012-12-10 2012-12-10 立體影像的調整方法與影像處理裝置
US13/913,533 US9210400B2 (en) 2012-12-10 2013-06-10 Method and image processing device for adjusting stereo image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101146416A TWI526045B (zh) 2012-12-10 2012-12-10 立體影像的調整方法與影像處理裝置

Publications (2)

Publication Number Publication Date
TW201424342A TW201424342A (zh) 2014-06-16
TWI526045B true TWI526045B (zh) 2016-03-11

Family

ID=50880470

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101146416A TWI526045B (zh) 2012-12-10 2012-12-10 立體影像的調整方法與影像處理裝置

Country Status (2)

Country Link
US (1) US9210400B2 (zh)
TW (1) TWI526045B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204418B2 (en) 2016-09-07 2019-02-12 Nokia Technologies Oy Method and apparatus for facilitating stereo vision through the use of multi-layer shifting
CN107481266B (zh) * 2017-08-03 2021-01-05 苏州佳世达电通有限公司 物体位移侦测方法及物体位移侦测系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282492B (zh) 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法
DE102009003110A1 (de) 2009-05-14 2010-11-18 Robert Bosch Gmbh Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
US20110169818A1 (en) 2010-01-13 2011-07-14 Sharp Laboratories Of America, Inc. Reducing viewing discomfort
CN102625120B (zh) 2011-01-31 2016-01-20 索尼公司 图像处理设备和方法
TWI475515B (zh) 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
JP2012247891A (ja) 2011-05-26 2012-12-13 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US9210400B2 (en) 2015-12-08
US20140160113A1 (en) 2014-06-12
TW201424342A (zh) 2014-06-16

Similar Documents

Publication Publication Date Title
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP2018536915A (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
WO2015180659A1 (zh) 图像处理方法和图像处理装置
JP5167439B1 (ja) 立体画像表示装置及び立体画像表示方法
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN110223222B (zh) 图像拼接方法、图像拼接装置和计算机可读存储介质
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
JP2014131266A (ja) 深さ情報を取得する方法及びディスプレイ装置
KR101810170B1 (ko) 사용자 위치 기반 이미지 표시 방법 및 장치
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
WO2021244161A1 (zh) 基于多目全景图像的模型生成方法及装置
US20220148143A1 (en) Image fusion method based on gradient domain mapping
CN111295667A (zh) 图像立体匹配的方法和辅助驾驶装置
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
WO2016034709A1 (en) Depth map based perspective correction in digital photos
TWI526045B (zh) 立體影像的調整方法與影像處理裝置
CN107659772B (zh) 3d图像生成方法、装置及电子设备
Fehrman et al. Depth mapping using a low-cost camera array
US20150215602A1 (en) Method for ajdusting stereo image and image processing device using the same
WO2022271499A1 (en) Methods and systems for depth estimation using fisheye cameras
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
WO2013121468A1 (ja) 立体画像表示装置及び立体画像表示方法
TWI731430B (zh) 資訊顯示方法與資訊顯示系統
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템