TWI491243B

TWI491243B - 影像處理方法

Info

Publication number: TWI491243B
Application number: TW098143936A
Authority: TW
Inventors: Chien Hung Chen; Chun Chieh Chiu
Original assignee: Chunghwa Picture Tubes Ltd
Priority date: 2009-12-21
Filing date: 2009-12-21
Publication date: 2015-07-01
Also published as: US20110149027A1; TW201123837A; US8289375B2

Description

影像處理方法

本發明是有關於一種影像處理方法，且特別是有關於一種產生三維影像的影像處理方法。

隨著科技的進步與發達，人們對於物質生活以及精神層面的享受一向都只有增加而從未減少。以精神層面而言，在這科技日新月異的年代，人們希望能夠藉由立體顯示器來實現天馬行空的想像力，以達到身歷其境的效果；因此，如何使立體顯示器呈現立體的圖像或影像，便成為現今立體顯示器技術亟欲達到的目標。

立體顯示技術可大致分成使用者需戴特殊設計眼鏡觀看之戴眼鏡式(stereoscopic)以及直接裸眼觀看之裸眼式(auto-stereoscopic)。其中戴眼鏡式立體顯示技術已經發展成熟，並廣泛用到如軍事模擬或大型娛樂等某些特殊用途上，但戴眼鏡式立體顯示技術因其方便性與舒適性不佳，使得此類技術不易普及。因此，裸眼式立體顯示技術已逐漸發展並成為新潮流。

就目前的裸眼式立體顯示技術而言，主要是利用觀察者的左眼與右眼分別看到不同視差的左眼影像與右眼影像，而使觀察者感受到立體的視覺效果。一般來說，利用兩台照相機可分別取得左眼影像與右眼影像。或者，直接利用立體照相機來同時取得左眼影像與右眼影像，其中這種立體照相機是由兩台照相機或是一具有兩個以上鏡頭之相機所構成。然而，利用上述裝置所拍攝而得之影像，其景深即被固定。如此使用者無法依據個人之喜好來自由的調整所得影像的立體程度，

本發明提供一種影像處理方法，其透過一二維影像中的不同景深大小之間的關係來進一步產生一三維影像。

本發明提出一種影像處理方法，其包括下列步驟。首先，接收一二維原始影像。然後，接收對應二維原始影像的多數個景深值。之後，依據景深值以及一基準值，獲得一二維偏移影像，其中二維偏移影像與二維原始影像間具有多數個偏移量，且偏移量取決於景深值相對於基準值的多數個差值。而後，依據二維原始影像以及二維偏移影像，產生一三維影像。

依據本發明之一實施例，景深值小於等於基準值。

依據本發明之一實施例，景深值大於等於基準值。

依據本發明之一實施例，基準值介於景深值的最大值以及景深值的最小值之間。

依據本發明之一實施例，二維原始影像包括多數個子影像區域，景深值分別對應子影像區域用以分別表示子影像區域的景深。

依據本發明之一實施例，二維原始影像包括多數個第一子影像區域，二維偏移影像包括多數個第二子影像區域，第二子影像區域相對於第一子影像區域向右偏移。

依據本發明之一實施例，二維原始影像包括多數個第一子影像區域，二維偏移影像包括多數個第二子影像區域，第二子影像區域相對於第一子影像區域向左偏移。

依據本發明之一實施例，在「依據景深值以及基準值，獲得二維偏移影像，其中二維偏移影像與二維原始影像間具有偏移量，且偏移量取決於景深值相對於基準值的差值」的步驟包括：偏移量更取決於景深值相對於基準值的差值再乘以一增益值。

依據本發明之一實施例，當二維原始影像的最大灰階值為GL _max、每一景深值為i、基準值為a、每一偏移量為Z以及用以調整每一偏移量之增益程度的增益值為G時， Z、i、a、G以及GL _max五者的關係為。

依據本發明之一實施例，在「依據二維原始影像以及二維偏移影像，產生三維影像」的步驟包括以下敘述。首先，依據二維原始影像，獲得一第一眼影像。然後，依據二維偏移影像，獲得一第二眼影像。之後，結合第一眼影像以及第二眼影像，產生三維影像。在一實施例中，於「依據二維原始影像，獲得第一眼影像」的步驟包括：依據二維原始影像的多數行第奇數行子影像區域，以獲得第一眼影像。在另一實施例中，於「依據二維偏移影像，獲得第二眼影像」的步驟包括：依據二維偏移影像的多數行第偶數行子影像區域，以獲得第二眼影像。在又一實施例中，於「結合第一眼影像以及第二眼影像，產生三維影像」的步驟包括：結合第奇數行子影像區域以及第偶數行子影像區域，以產生三維影像，其中第奇數行子影像區域以及第偶數行子影像區域交錯排列。

基於上述，本發明之影像處理方法可利用一既有的二維影像來形成一三維影像，其中本發明是透過二維影像中的不同景深大小之間的關係來產生三維影像的立體效果。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

本發明所提出的影像處理方法可應用於立體顯示技術中之各式種類的顯示面板，以下將利用圖1所繪示的驅動方法流程圖並列舉數個實施例來進一步具體說明。

第一實施例：

請先參照圖2，本實施例假設人眼所觀看到的立體影像具有凸出顯示面板202的立體效果。

請再參照圖1，首先，在步驟S101中，接收一二維原始影像，其中本實施例是以圖2A所繪示的二維原始影像200為例。

然後，在步驟S103中，接收對應二維原始影像200 的多數個景深值。在此所指出的多數個景深值是要依據二維原始影像200來建立三維影像的重要依據。以二維原始影像200來觀察，其中的花朵距離觀看者較近，草地次之，而樹木距離觀看者較遠，且天空距離觀看者最遠。也就是說，對觀看者而言，二維原始影像200中的花朵所對應的景深較小，草地所對應的景深次之，而樹木所對應的景深較大，且天空所對應的景深最大。上述的景深值的關係也以可表示為：花朵的景深值i ₁<草地的景深值i ₂<樹木的景深值i ₃<天空的景深值i ₄。

為了更具體說明上述之景深概念，本實施例透過圖2A所繪示的二維灰階影像200a中的灰階分布來解釋各個景深的差異。其中，二維灰階影像200a和二維原始影像200兩者中的花朵、草地、樹木以及天空具有相同的相對位置。在二維灰階影像200a中，花朵所對應的景深值較小因而其亮度最亮，草地所對應的景深值次之因而其亮度較花朵的亮度來的暗，天空所對應的景深值最大因而其亮度最暗，樹木所對應的景深則介於草地以及天空兩者所對應的景深之間因而其亮度介於草地以及天空兩者的亮度之間。

在本實施例中，假設人眼所觀看到天空的景深大小為人眼與顯示面板202兩者之間的距離，則人眼所觀看到的花朵、草地以及樹木便可猶如凸出顯示面板202而朝人眼延伸，如圖2所示。

基於上述，本實施例取景深最大的天空作為基準點，亦即取天空的景深值i ₄作為一基準值。而後，本實施例依據景深值i ₁、i ₂、i ₃與基準值i ₄之間的關係來偏移二維原始影像200中的花朵、草地以及樹木以形成圖2B所繪示的一二維偏移影像200S。在此特別一提的是，本實施例可在後續步驟中利用二維原始影像200以及二維偏移影像200S兩者來形成具有立體效果的影像。

在本實施例中，進行上述偏移動作的偏移程度取決於景深值i ₁、i ₂以及i ₃與基準值i ₄間的關係。具體而言，二維偏移影像200S中花朵相對於二維原始影像200中花朵的偏移程度取決於景深值i ₁相對於基準值i ₄的差值△i ₁，而二維偏移影像200S中草地相對於二維原始影像200中草地的偏移程度取決於景深值i ₂相對於基準值i ₄的差值△i ₂，且二維偏移影像200S中樹木相對於二維原始影像200中樹木的偏移程度取決於景深值i ₃相對於基準值i ₄的差值△i ₃(步驟S105)。

在本實施例中，當景深值相對於基準值的差值愈大時，則偏移程度愈大；反之，當差值愈小時，偏移程度便愈小。由於本實施例之差值△i ₁>差值△i ₂>差值△i ₃，因此，可推得知二維偏移影像200S中花朵的偏移量Z₁大於二維偏移影像200S中草地的偏移量(未繪示)，且二維偏移影像200S中草地的偏移量大於二維偏移影像200S中樹木的偏移量Z₃。

由上述可知，偏移量Z₁、Z₃、...的大小分別取決於差值△i ₁、△i ₃、...。然而，在其他實施例中，二維偏移影像200S中各個偏移量的大小還可進一步取決於景深值相對於基準值的差值的增益程度。亦即，偏移量Z₁的大小取決於景深值i ₁相對於基準值i ₄的差值△i ₁的增益程度，且偏移量Z₃的大小取決於景深值i ₃相對於基準值i ₄的差值△i ₃的增益程度，以此類推。

此外，為造成人眼所觀看到的立體影像具有凸出顯示面板202的效果時所針對進行的二維原始影像200中的花朵、草地以及樹木所進行的偏移方式，是將二維原始影像200中的花朵、草地以及樹木往同一個方向進行偏移(例如向左或是向右移動，在本實施中的偏移方向為往右偏移)。

基於上述，假設景深值、基準值、偏移量以及用以調整偏移量之增益程度的增益值分別為i、a、Z以及G，則可將每一景深值i、基準值a、每一偏移量Z以及增益值G 之間的關係整理成，其中GL _max為二維原始影像200的最大灰階值。特別一提的是，偏移量Z的大小也可以僅取決於景深值i相對於基準值a的差值，而在此情況下，也就是取增益值G等於1。

之後，在步驟S107中，則是依據上述之二維原始影像200以及二維偏移影像200S來產生一三維影像，其中三維影像產生的動作細節，則容後詳述。值得一提的是，在本實施例中，三維影像中天空猶如位於顯示面板202(如圖2繪示的物件O1)上，而樹木、草地以及花朵(如圖2繪示的物件O2、O3)猶如凸出於顯示面板202之外。在三維影像產生的動作細節方面，本實施例利用二維原始影像200來產生一第一眼影像，並利用二維偏移影像200S 來產生一第二眼影像，並結合第一眼影像以及第二眼影像便可產生三維影像。請參照圖3，圖3繪示本發明第一實施例的三維影像產生方式的示意圖。圖3繪示的三維影像300是由交叉排列的第一眼影像以及第二眼影像所構成。其中，第一眼影像可以由二維原始影像200的多數個第奇數行子影像區域200_R、200_B、200_G、...所構成，而第二眼影像可以由二維偏移影像200S的多數個第偶數行子影像區域200S_G、200S_R、200S_B、...所構成。而這些子影像區域200_R、200_B、200_G、...以及200S_G、200S_R、200S_B、...分別依序交叉排列並形成三維影像300。在本實施例中，子影像區域的排列順序為200_R~200S_G~200_B~200S_R~200_G~200S_B~....。

請特別注意，上述的子影像區域的排列順序僅只是本實施例的一個範例，並不用以限說本發明。其中的子影像區域的排列順序也可以利用不同的方式來進行排列(如紅(R)、綠(G)、藍(B)三種顏色的不同的排列順序，或調換第一眼影像及第二眼影像的先後次序等(200S_R~200_G~200S_B~200_R~200S_G~200_B~....))。

在一較佳實施例中，當三維影像中所欲表達的主題為景深較小的部分時，可採用上述之影像處理方法。請參照圖4，圖4繪示本發明之第一實施例之另一種二維原始影像的示意圖。在圖4的繪示中，景深較小的花朵為此三維影像中所欲表達的主題，因而可以取景深最大的天空作為基準點，並藉以獲得花朵猶如凸出於顯示面板上的視覺效果來呈現較佳的三維顯示影像。

第二實施例：

本實施例欲闡述的精神與第一實施例相類似，惟二者主要差異之處在於：本實施例假設人眼所觀看到的立體影像具有凹進顯示面板202的立體效果，如圖5所示。然而，下述實施例主要針對不同之處進行說明，其中下述實施例與上述實施例若有相同或相似的標號則代表相同或相似的構件，因而不重複敘述。

請再參照圖1，首先，在步驟S101中，接收一二維原始影像，其中本實施例是以圖5A所繪示的二維原始影像500為例。

然後，在步驟S103中，接收對應二維原始影像500的多數個景深值(如二維灰階影像500a所示)。就二維原始影像500而言，錢記號距離觀看者較近，撲克牌次之，且印有TABLE GAMES的佈告欄距離觀看者最遠。也就是說，對觀看者而言，錢記號所對應的景深較小，撲克牌所對應的景深次之，且佈告欄所對應的景深最大，意即：錢記號所對應的景深值i ₅<撲克牌所對應的景深值i ₆<佈告欄所對應的景深值i ₇。

為了具體說明上述之景深概念，本實施例透過圖5A所繪示的一二維灰階影像500a中的灰階分布來解釋各個景深的差異，其中二維灰階影像500a和二維原始影像500兩者中的錢記號、撲克牌以及佈告欄具有相同的相對位置。在二維灰階影像500a中，錢記號所對應的景深較小因而其亮度最亮，撲克牌所對應的景深次之因而其亮度較錢記號的亮度來的暗，佈告欄所對應的景深最大因而其亮度最暗。

在本實施例中，假設人眼所觀看到錢記號的景深大小為人眼與顯示面板202兩者之間的距離，則人眼所觀看到的佈告欄以及撲克牌便可猶如凹進顯示面板202而朝人眼延伸，如圖5所示。

基於上述，本實施例取景深最大的錢記號作為基準點，亦即取錢記號所對應的景深值i ₅作為一基準值。而後，本實施例依據景深值i ₆、i ₇與基準值i ₅之間的關係來偏移二維原始影像500中的佈告欄以及撲克牌以形成圖5B所繪示的一二維偏移影像500S。在此特別一提的是，本實施例可在後續步驟中利用二維原始影像500以及二維偏移影像500S兩者來形成具有立體效果的影像。

在本實施例中，進行上述偏移動作的偏移程度取決於景深值i ₆以及i ₇與基準值i ₅間的關係。具體而言，二維偏移影像500S中佈告欄相對於二維原始影像500中佈告欄的偏移程度取決於景深值i ₆相對於基準值i ₅的差值△i ₆，而二維偏移影像500S中撲克牌相對於二維原始影像500中撲克牌的偏移程度取決於景深值i ₇相對於基準值i ₅的差值△i ₇(步驟S105)。

在本實施例中，當景深值相對於基準值的差值愈大時，則偏移程度愈大；反之，當差值愈小時，偏移程度便愈小。由於本實施例之差值△i ₇>差值△i ₆，因此，如圖5B所繪示，可推得知二維偏移影像500S中佈告欄的偏移量Z₇大於二維偏移影像500S中撲克牌的偏移量Z₆。

由上述可知，偏移量Z₆、Z₇、...的大小分別取決於差值△i ₆、△i ₇、...。然而，在其他實施例中，二維偏移影像500S中各個偏移量的大小還可進一步取決於景深值相對於基準值的差值的增益程度。亦即，偏移量Z₆的大小取決於景深值i ₆相對於基準值i ₅的差值△i ₆的增益程度，且偏移量Z₇的大小取決於景深值i ₇相對於基準值i ₅的差值△i ₇的增益程度，以此類推。

基於上述，假設景深值、基準值、偏移量以及用以調整偏移量之增益程度的增益值分別為i、a、Z以及G，則可將每一景深值i、基準值a、每一偏移量Z以及增益值G 之間的關係整理成，其中GL _max為二維原始影像500的最大灰階值。特別一提的是，偏移量Z的大小也同樣可以僅取決於景深值i相對於基準值a的差值，而在此情況下，也就是取增益值G等於1。

之後，在步驟S107中，依據上述之二維原始影像500以及二維偏移影像500S來產生一三維影像。這個三維影像的產生方式與第一實施例中所說明的三維影像的產生方式相同(請參考第一實施例中的圖3及其相關說明)，以下則不多贅述。值得一提的是，在本實施例中，三維影像中錢記號(如圖5所繪示的物件O4)猶如位於顯示面板202(繪示於圖5中)上，而撲克牌(如圖5所繪示的物件O5)以及佈告欄(如圖5所繪示的物件O6)猶如凹進於顯示面板202之內。

在一較佳實施例中，當三維影像中所欲表達的主題為景深較大的部分時，可採用本實施例之影像處理方法。以圖6所繪示的影像為例，景深較大的人物為此三維影像中所欲表達的主題，因而取景深最大的人物作為基準點以獲得人物猶如凹進於顯示面板的視效為較佳。

特別值得一提的是，在上述本發明的第二實施例中所提到的具有凹進顯示面板的立體效果的立體影像顯示方法，可以補償因製程不良所產生的串音(cross ta1k)現象。此處所謂的串音現象所指的是在觀察三維影像時，左眼觀看到顯示面板呈現給右眼觀看的影像，而右眼則觀看到顯示面板呈現給左眼觀看的影像時所產生的糢糊不清的現象。如圖7繪示的習知與本發明之第二實施例所產生的立體影像的比較示意圖。其中習知立體影像700a因為串音現象使得其中的區域A1的顯示非常的糢糊。而本發明之第二實施例所產生的立體影像700b的區域A2相對於習知立體影像700a的區域A1則清楚許多。

綜上所述，本發明之影像處理方法可透過既有的二維影像來產生三維影像，其中二維影像中的各個子影像區域的景深大小用來作為產生三維影像之立體效果的依據。此外，本發明之影像處理方法適用於任何立體顯示裝置，並可視觀看者的需求來調整其所喜愛的立體效果。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200、500‧‧‧二維原始影像

200a、500a‧‧‧二維灰階影像

200S、500S‧‧‧二維偏移影像

202‧‧‧顯示面板

200_R、200_B、200_G、200S_G、200S_R、200S_B‧‧‧子影像區域

700a、700b‧‧‧立體影像

S101、S103、S105、S107‧‧‧步驟

O1~O6‧‧‧物件

Z₁~Z₇‧‧‧偏移量

A1、A2‧‧‧區域

圖1繪示本發明之一實施例之驅動方法的流程圖。

圖2繪示本發明之第一實施例之一種具有凸出顯示面板之立體效果的立體影像示意圖。

圖2A繪示本發明之第一實施例之一種二維原始影像及其二維灰階影像的示意圖。

圖2B繪示本發明之第一實施例之一種二維原始影像及其二維偏移影像的示意圖。

圖3繪示本發明第一實施例的三維影像產生方式的示意圖。

圖4繪示本發明之第一實施例之另一種二維原始影像的示意圖。

圖5繪示本發明之第二實施例之一種具有凹進顯示面板之立體效果的立體影像示意圖。

圖5A繪示本發明之第二實施例之一種二維原始影像及其二維灰階影像的示意圖。

圖5B繪示本發明之第二實施例之一種二維原始影像及其二維偏移影像的示意圖。

圖6繪示本發明之第二實施例之另一種二維原始影像的示意圖。

圖7繪示習知與本發明之第二實施例所產生的立體影像的比較示意圖。

S101、S103、S105、S107‧‧‧步驟

Claims

一種影像處理方法，包括：接收一二維原始影像；接收對應該二維原始影像的多數個景深值；依據該些景深值以及一基準值，獲得一二維偏移影像，其中該二維偏移影像與該二維原始影像間具有多數個偏移量，且該些偏移量取決於該些景深值相對於該基準值的多數個差值；以及依據該二維原始影像以及該二維偏移影像，產生一三維影像。
如申請專利範圍第1項所述之影像處理方法，該些景深值小於等於該基準值。
如申請專利範圍第1項所述之影像處理方法，該些景深值大於等於該基準值。
如申請專利範圍第1項所述之影像處理方法，該基準值介於該些景深值的最大值以及該些景深值的最小值之間。
如申請專利範圍第1項所述之影像處理方法，其中該二維原始影像包括多數個子影像區域，該些景深值分別對應該些子影像區域用以分別表示該些子影像區域的景深。
如申請專利範圍第1項所述之影像處理方法，其中該二維原始影像包括多數個第一子影像區域，該二維偏移影像包括多數個第二子影像區域，該些第二子影像區域相對於該些第一子影像區域向右偏移。
如申請專利範圍第1項所述之影像處理方法，其中該二維原始影像包括多數個第一子影像區域，該二維偏移影像包括多數個第二子影像區域，該些第二子影像區域相對於該些第一子影像區域向左偏移。
如申請專利範圍第1項所述之影像處理方法，其中「依據該些景深值以及該基準值，獲得該二維偏移影像，其中該二維偏移影像與該二維原始影像間具有該些偏移量，且該些偏移量取決於該些景深值相對於該基準值的該些差值」的步驟包括：該些偏移量更取決於該些景深值相對於該基準值的該些差值再乘以一增益值。
如申請專利範圍第1項所述之影像處理方法，其中當該二維原始影像的最大灰階值為GL _max、每一景深值為i、該基準值為a、每一偏移量為Z以及用以調整每一偏移量之增益程度的增益值為G時，Z、i、a、G以及GL _max 五者的關係為。
如申請專利範圍第1項所述之影像處理方法，其中當該二維原始影像的最大灰階值為GL _max、每一景深值為i、該基準值為a、每一偏移量為Z以及用以調整每一偏移量之增益程度的增益值為G時，Z、i、a、G以及GL _max 五者的關係為。
如申請專利範圍第1項所述之影像處理方法，其中「依據該二維原始影像以及該二維偏移影像，產生該三維影像」的步驟包括：依據該二維原始影像，獲得一第一眼影像；依據該二維偏移影像，獲得一第二眼影像；以及結合該第一眼影像以及該第二眼影像，產生該三維影像。
如申請專利範圍第11項所述之影像處理方法，其中「依據該二維原始影像，獲得該第一眼影像」的步驟包括：依據該二維原始影像的多數行第奇數行子影像區域，以獲得該第一眼影像。
如申請專利範圍第11項所述之影像處理方法，其中「依據該二維偏移影像，獲得該第二眼影像」的步驟包括：依據該二維偏移影像的多數行第偶數行子影像區域，以獲得該第二眼影像。
如申請專利範圍第11項所述之影像處理方法，其中「結合該第一眼影像以及該第二眼影像，產生該三維影像」的步驟包括：結合該些第奇數行子影像區域以及該些第偶數行子影像區域，以產生該三維影像，其中該些第奇數行子影像區域以及該些第偶數行子影像區域交錯排列。