TWI455062B - 三維視訊內容產生方法 - Google Patents

三維視訊內容產生方法 Download PDF

Info

Publication number
TWI455062B
TWI455062B TW100123743A TW100123743A TWI455062B TW I455062 B TWI455062 B TW I455062B TW 100123743 A TW100123743 A TW 100123743A TW 100123743 A TW100123743 A TW 100123743A TW I455062 B TWI455062 B TW I455062B
Authority
TW
Taiwan
Prior art keywords
block
color feature
value
texture
component
Prior art date
Application number
TW100123743A
Other languages
English (en)
Other versions
TW201243763A (en
Inventor
Gwo Giun Chris Lee
He Yuan Lin
Ming Jiun Wang
Original Assignee
Univ Nat Cheng Kung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Cheng Kung filed Critical Univ Nat Cheng Kung
Publication of TW201243763A publication Critical patent/TW201243763A/zh
Application granted granted Critical
Publication of TWI455062B publication Critical patent/TWI455062B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

三維視訊內容產生方法
本發明係關於一種三維視訊內容產生方法，尤指一種能藉由接收一二維影像訊號並使得此二維影像訊號經過適當之運算程序的方式，而將此二維影像訊號轉換成一三維視訊訊號的三維視訊內容產生方法。
隨著近年來三維立體電影技術的發展，全球已掀起一陣三維立體電影的風潮。再拜電影界大師詹姆斯‧卡麥隆所執導的三維立體電影「阿凡達」的推波助瀾下，二維影像轉三維視訊技術更是熱門的研究主題。不論是業界或是學界，多投入相當多的心力更追求及研發更新更高水準的二維影像轉三維視訊技術。而目前業界所用之三維視訊技術的拍攝系統主要可分為兩種方式：一為陣列式攝影技術，而另一則為深度攝影技術。
其中，陣列式攝影技術是使用多架陣列式擺設的攝影機，一般而言，係使用兩架攝影機。但是，在開始拍攝之前，這兩架攝影機須進行校正程序，以確保這兩架攝影機之間並沒有垂直方向上的位移，而且這兩架攝影機之間的距離須符合一般人雙眼之間的距離(即雙眼視差數值)，以便模擬出一般人雙眼視物的情況。除此之外，這兩架攝影機於拍攝時也必須持續保持在同步的狀態，造成使用這兩架攝影機拍攝影像時非常費時費力。除此之外，這兩架攝影機之間亦有可能因光影變化或是攝影機內部參數的影響，使得它們所拍攝到的立體影像存有色差的問題。
另一方面，深度攝影技術則是使用一部傳統的攝影機，同時搭配另一部深度攝影機以進行拍攝。一般來說，前述之深度攝影機是使用Time of Flight(ToF)的原理，藉由計算其所發出之紅外線在照射至拍攝物體後，反射回到深度攝影機所需的時間，以計算出拍攝物體與攝影機的距離。此外，在拍攝前，前述之傳統攝影機與前述之深度攝影機之間的相對位置關係也需校正，以確保傳統攝影機所拍攝到的像素都能有相對應之深度值。然而，深度攝影機的深度解析度仍非常有限，其並無法提供高解析度之深度圖，使得合成出之三維影像的品質仍有待改善。
如前所述，雖然前述兩種技術雖然已可形成三維立體視訊內容，但由於陣列式攝影技術需同時使用多架攝影機進行拍攝，意味著拍攝成本需大幅增加。再者，若拍攝前各攝影機之間的校正程序及同步程序未做好，拍攝所得出之三維影像便會失真，而無法被使用。再者，由於前述之深度攝影機的造價不菲，故深度攝影機尚無法普及，造成若想運用深度攝影機來拍攝三維立體視訊內容的話，其拍攝成本也無法有效地降低。
基於前述立體影像拍攝在拍攝上成本相當高的理由，如何有效的降低拍攝立體影像的成本，又能顧及影像的品質便成為業界與學界熱門的研究課題。而且，現今所廣泛使用的視訊訊號多是二維影像訊號，故若能將二維影像訊號直接轉換成三維視訊訊號，將可輕易克服前述之取得三維立體視訊內容(三維視訊訊號)時的所遭遇的困難。
因此，業界需要一種能藉由接收一二維影像訊號並使得此二維影像訊號經過適當之運算程序的方式，而將此二維影像訊號轉換成一三維視訊訊號的三維視訊內容產生方法。
本發明之目的係在提供一種三維視訊內容產生方法，俾能藉由接收一二維影像訊號並使得此二維影像訊號經過適當之運算程序的方式，而將此二維影像訊號轉換成一三維視訊訊號。
為達成上述目的，本發明之三維視訊內容產生方法，係用以產生一三維視訊訊號，包括下列步驟：(A)接收一二維影像訊號，且從此二維影像訊號分析出一感興趣區塊分佈圖，此二維影像訊號係包含複數個分別具有一色彩的影像元素，此感興趣區塊分佈圖則包含一感興趣區塊；(B)執行一色彩特徵擷取程序，以形成複數個色彩特徵區塊；(C)執行一利用紋理特徵之影像分割程序，以形成一包含複數個紋理色彩特徵區塊的影像區塊分佈圖；(D)執行一深度圖產生程序，以依據此感興趣區塊分佈圖及此影像區塊分佈圖產生一深度圖，且於此深度圖中，每一此等紋理色彩特徵區塊分別被賦予一深度值；(E)執行一三維影像形成程序，以依據此影像區塊分佈圖及此深度圖，形成一三維影像訊號；以及(F)依據一幀率，將此三維影像訊號串接成此三維視訊訊號。
因此，本發明之三維視訊內容產生方法確實能藉由接收一二維影像訊號並使得此二維影像訊號經過適當之運算程序的方式，而將此二維影像訊號轉換成一三維視訊訊號。
以下係藉由特定的具體實施例說明本發明之實施方式，熟習此技藝之人士可由本說明書所揭示之內容輕易地了解本發明之其他優點與功效。此外，本發明亦可藉由其他不同的具體實施例加以施行或應用，且本說明書中的各項細節亦可基於不同觀點與應用，而在不悖離本發明之精神下進行各種修飾與變更。
請參閱圖1，其係本發明一實施例之三維視訊內容產生方法的流程示意圖。其中，本發明一實施例之三維視訊內容產生方法係用以將一二維影像訊號轉換成一三維視訊訊號。而如圖1所示，本發明一實施例之三維視訊內容產生方法係包括下列步驟：
(A)接收一二維影像訊號，且從此二維影像訊號分析出一感興趣區塊分佈圖，此二維影像訊號係包含複數個分別具有一色彩的影像元素，此感興趣區塊分佈圖則包含一感興趣區塊；
(B)執行一色彩特徵擷取程序，以形成複數個色彩特徵區塊；
(C)執行一利用紋理特徵之影像分割程序，以形成一包含複數個紋理色彩特徵區塊的影像區塊分佈圖；
(D)執行一深度圖產生程序，以依據此感興趣區塊分佈圖及此影像區塊分佈圖產生一深度圖，且於此深度圖中，每一此等紋理色彩特徵區塊分別被賦予一深度值；
(E)執行一三維影像形成程序，以依據此影像區塊分佈圖及此深度圖，形成一三維影像訊號；以及
(F)依據一幀率，將此三維影像訊號串接成此三維視訊訊號。
其中，關於本發明一實施例之三維視訊內容產生方法之步驟(B)中之色彩特徵擷取程序，則請參閱圖2，其係本發明一實施例之三維視訊內容產生方法之色彩特徵擷取程序的流程示意圖，其中此色彩特徵擷取程序係包括下列步驟：
(A1)接收此二維影像訊號；
(A2)將此二維影像訊號投影至一色彩空間模型中，使得每一此等影像元素所具之色彩分別被映射至此色彩空間模型中的一對應點，且此對應點之座標係由一第一參數值、一第二參數值及一第三參數值表示；此色彩空間模型包含一色彩平面，且此色彩平面係由複數個色彩區塊及複數個模糊區塊構成；
(A3)將此第三參數值與一調整門檻值互相比較，且依據比較所得之結果及此第二參數值，運算出一調整後之第二參數值；
(A4)　依據此第一參數值及此調整後之第二參數值，依序將每一此等影像元素所具之色彩分類至此色彩平面上之其中之一此等色彩區塊或其中之一此等模糊區塊；
(A5)依據每一此等影像元素所具之色彩被分類後所得之結果，分別賦予每一此等影像元素一色彩特徵向量；
(A6)應用一分群演算法，依據每一此等影像元素所分別被賦予之色彩特徵向量，將此等影像元素分群至複數個色彩群別內；以及
(A7)將彼此相鄰且位於同一色彩群別內之此等影像元素包含於同一色彩特徵區塊內，以形成此等色彩特徵區塊。
於上述之步驟(A1)中，一二維影像訊號係包含複數個影像元素，且這些影像元素分別具有一色彩。再者，此二維影像訊號之格式並無任何限制，其可為YCbCr420格式或RGB444格式。接著，於步驟(A2)中，此影像訊號係被投影至一色彩空間模型中，使得此影像訊號所包含之各影像元素所具之色彩分別被映射至此色彩空間模型中的一對應點，且此對應點之座標係由一第一參數值、一第二參數值及一第三參數值表示。在本實施例中，此色彩空間模型之類型並無任何限制，其可為HSI色彩空間模型、RGB色彩空間模型、YUV色彩空間模型或CMY色彩空間模型。
請再參閱圖3A，其係說明本發明一實施例之色彩特徵擷取程序將一二維影像訊號之兩個影像元素所分別具有之色彩分別映射至一HSI色彩空間模型之一色彩平面，以將這兩個影像元素所分別具有之色彩分類至一色彩區塊及一模糊區塊之過程的示意圖。
如圖3A所示，前述之色彩特徵擷取程序係將一HSI色彩空間模型中之一色彩平面切割出五個色彩區塊，分別為一第一色彩區塊、一第二色彩區塊、一第三色彩區塊、一第四色彩區塊及一第五色彩區塊。其中，每一個色彩區塊係分別對應於一特定的色彩。於本實施例中，第一色彩區塊係對應為紅色區塊31(red)，第二色彩區塊係對應為綠色區塊32(green)，第三色彩區塊係對應為青色區塊33(cyan)，第四色彩區塊係對應為藍色區塊34(blue)，而第五色彩區塊係對應為紅紫色區塊35(magenta)。
此外，在圖3A所示之色彩平面上，紅色區塊31之角度範圍係介於350°至10°，綠色區塊32之角度範圍係介於95°至120°，青色區塊33之角度範圍係介於170°至190°，藍色區塊34之角度範圍係介於230°至250°，紅紫色區塊35之角度範圍係介於290°至310°。但需注意的是，前述之各色彩區塊的角度範圍均可依據實際需要而有所增減，並非僅能為上述之5個角度範圍。再者，於圖3A所示之色彩平面上，位於兩相鄰色彩區塊之間(即未被前述之5個色彩區塊覆蓋的部分)則定義為模糊區塊。例如，一位於第一色彩區塊與第二色彩區塊之間之區塊，或一位於第三色彩區塊與第四色彩區塊之間之區塊。所以，如圖3A所示，此色彩平面具有5個色彩區塊及5個模糊區塊。
在本例子中，前述之影像訊號所包含的兩個影像元素係分別為一第一影像元素及一第二影像元素，而這兩個像素分別具有一色彩，即前述之色彩特徵擷取程序之步驟(A1)所述。
接著，如前述之色彩特徵擷取程序之步驟(A2)所述，前述之影像訊號被投影至一HSI色彩空間模型中，使得第一影像元素及第二影像元素所具之色彩分別被映射至此HSI色彩空間模型中的一對應點。在本例子中，第一影像元素所具之色彩於HSI色彩空間模型中之對應點P1的座標為(105°,0.75,90)，而第二影像元素所具之色彩於HSI色彩空間模型中之對應點P2的座標為(130°,0.625,85)。其中，第一參數值為色調成分(Hue)數值，第二參數值為飽和度成分(Saturation)數值，第三參數值則為強度成分(Intensity)數值。
隨後，如前述之色彩特徵擷取程序之步驟(A3)所述，依序將對應點P1及對應點P2分別具有的第三參數值，即強度成分數值，與一調整門檻值互相比較，且依據比較所得之結果及它們所分別具有的第二參數值，即飽和度成分數值，運算出一調整後之第二參數值，即調整後之飽和度成分數值。其中，此調整門檻值較佳介於70至90之間，更佳介於80至87之間。在本例子中，前述之調整門檻值係為85。而當對應點P1或對應點P2分別具有的強度成分數值高於前述之調整門檻值時，便依據下列公式運算出此調整後之飽和度成分：
S '=a +b *S ；(式1)
其中，S’係為此調整後之飽和度成分，S係為此飽和度成分，a及b則為兩任意正數，且滿足a +b =1之條件。而在本例子中，上述之公式可進一步改寫為：
S '=0.2+0.8*S ；(式2)
其中，a=0.2，b=0.8。但在其他例子中，a及b亦可為其他數值，例如a=0.3，b=0.7。
另一方面，當對應點P1或對應點P2分別具有的強度成分數值不高於前述之調整門檻值時，便依據下列公式運算出此調整後之飽和度成分：
其中，S’係為此調整後之飽和度成分，S係為此飽和度成分，T係為此調整門檻值，a及b則為兩任意正數，且滿足a +b =1之條件。而在本例子中，上述之公式可進一步改寫為：
其中，a=0.2，b=0.8。但在其他例子中，a及b亦可為其他數值，例如a=0.3，b=0.7。同樣地，雖然調整門檻值T係為85，但在其他例子中，調整門檻值T亦可為其他數值，例如90或80。
而如前所述，在本例子中，第一影像元素所具之色彩於HSI色彩空間模型中之對應點P1的座標為(105°,0.75,90)，而第二影像元素所具之色彩於HSI色彩空間模型中之對應點P2的座標為(130°,0.625,85)。而由於對應點P1之強度成分數值(90)高於前述之調整門檻值(85)，故依據前述之式2，運算出調整後之飽和度成分數值，即0.8。如此，對應點P1於圖3A所示之色彩平面上的座標便為(105°,0.8)。另一方面，由於對應點P2之強度成分數值(85)不高於前述之調整門檻值(85)，故依據前述之式4，運算出調整後之飽和度成分數值，即0.8。如此，對應點P2於圖2A所示之色彩平面上的座標便為(130°,0.7)。
再如前述之色彩特徵擷取程序之步驟(A4)所述，依據對應點P1及對應點P2分別具有的第一參數值及調整後之第二參數值，即色調成分數值及調整後之飽和度成分數值，將這兩個影像元素所具之色彩分類至圖3A所示之色彩平面上之5個色彩區塊其中之一內或5個模糊區塊其中之一。
而如圖3A所示，對應點P1因其座標為(105°,0.8)，而被分類至綠色區塊32，對應點P2因其座標為(130°,0.7)，則被分類至一位於綠色區塊32及青色區塊33之間的模糊區塊36。
接著，如前述之色彩特徵擷取程序之步驟(A5)所述，依據前述之分類結果，分別賦予這兩個影像元素一色彩特徵向量。其中，當影像元素所具之色彩被分類至前述之5個色彩區塊其中之一時，此影像元素所被賦予的色彩特徵向量係包含一第一分量、一第二分量、一第三分量、一第四分量、一第五分量及一第六分量。此外，在本實施例中，第一分量係對應至紅色區塊31，第二分量係對應至綠色區塊32，第三分量係對應至青色區塊33，第四分量係對應至藍色區塊34，第五分量係紅紫色區塊35，第六分量則對應至一消色區塊(achromatic)。
除此之外，第六分量的數值係等於1減去此調整後之飽和度成分，即1-S’。而且，第一分量之數值、第二分量之數值、第三分量之數值、第四分量之數值、第五分量之數值及第六分量之數值的總和係為1。在本例子中，只有對應至此影像元素所具之色彩所被分類至的色彩區塊的分量(即第二分量)及第六分量有不為零的數值，且兩者之數值的總和為1。在前述之狀況中，只有對應至此影像元素所具之色彩所被分類至的色彩區塊的分量及第六分量有不為零的數值，且兩者之數值的總和為1。
一般來說，前述之achromatic色彩特徵係對應於一影像元素所具之色彩中，白光成分的多寡。此成分的多寡可以使得視覺效果上看到色彩的飽和程度的差異，在一般影像元素中，同一色調卻不同飽和度之色彩給人的感知程度會有極大的差異，舉例來說，極明亮的紅色與暗紅色，其色調成分會相當接近，但在飽和方面卻大大不同，是因為其白光成分差異甚大，所以多定義此achromatic色彩特徵來幫助萃取出更具有色彩特性的特徵。
然而，當影像元素所具之色彩並未被分類至前述之5個色彩區塊其中之一時，如被分類至前述之5個模糊區塊其中之一時，此影像元素所被賦予的色彩特徵向量係包含一第一分量、一第二分量、一第三分量、一第四分量、一第五分量及一第六分量。而如前所述，第六分量的數值係等於1減去此調整後之飽和度成分，即1-S’。而且，第一分量之數值、第二分量之數值、第三分量之數值、第四分量之數值、第五分量之數值及第六分量之數值的總和係為1。在本例子中，只有分別對應至兩位於前述之模糊區塊兩側之色彩區塊的兩分量(即第二分量及第三分量)及第六分量有不為零的數值，且三者之數值的總和為1。
如前所述，由於對應點P1係被分類至綠色區塊32，故在此色彩特徵向量中，僅有對應至綠色區塊32的第二分量及第六分量有不為零的數值，如圖3B所示。況且，由於對應點P1之調整後之飽和度成分數值係為0.8，故在前述之色彩特徵向量中，對應至綠色區塊32之第二分量的數值為0.8，而第六分量的數值則為0.2(1-0.8=0.2)。如此，便可依據一影像元素所具之色彩，賦予此影像元素一色彩特徵向量V1(0,0.8,0,0,0,0.2)。
另一方面，由於對應點P2係被分類至一位於綠色區塊32及青色區塊33之間的模糊區塊36，故在此色彩特徵向量中，僅有對應至綠色區塊32的第二分量、對應至青色區塊33的第三分量及第六分量有不為零的數值。除此之外，由於影像元素所具之色彩並未被分類至前述之5個色彩區塊其中之一，即對應點P2係被分類至一位於綠色區塊32及青色區塊33之間的模糊區塊的情況，第二分量的數值係依據下列公式運算而出：
C =S '*Belongingness ；(式5)
其中，C係為此第二分量的數值，S’係為調整後之飽和度成分，Belongingness則為歸屬度，而歸屬度則依據下列公式運算而出：
其中，U係指在模糊區塊於色彩平面上所具有的兩個邊界中，一遠離第二分量所對應之色彩區塊之邊界於色彩平面上所具有的角度，L係另一鄰近第二分量所對應之色彩區塊之邊界於色彩平面上所具有的角度，H則為色調成分於色彩平面上所具有的角度。
以對應點P2為例，由於對應點P2係被分類至一位於綠色區塊32及青色區塊33之間的模糊區塊，故需先分別運算出其對於相鄰兩色彩區塊(綠色區塊32及青色區塊33)的歸屬度。首先，先針對綠色區塊32運算，由於對應點P2之座標為(130°,0.7)，故其色調成分於色彩平面上所具有的角度即為130°。接著，此模糊區塊具有兩個邊界，而一遠離綠色區塊32之邊界於色彩平面上的角度(U)係為170°，另一鄰近綠色區塊32之邊界於色彩平面上的角度(L)則為120°。所以，其對於綠色區塊32的歸屬度則為：
所以，由於對應點P2之調整後之飽和度成分數值係為0.7，且再依據前述之式5，便可運算出對應至綠色區塊32的分量為0.7*0.8=0.56，如圖3C所示。
同理，依循相同的定義，運算對應點P2相對於青色區塊33之歸屬度所需用到的參數係為：一遠離青色區塊33之邊界於色彩平面上的角度(U)係為120°，另一鄰近青色區塊33之邊界於色彩平面上的角度(L)則為170°。
如此，對應點P2相對於青色區塊33的歸屬度則可由下列運算而出：
所以，由於對應點P2之調整後之飽和度成分數值係為0.7，且再依據前述之式5，便可運算出對應至青色區塊33的分量為0.7*0.2=0.14，如圖3C所示。而由於調整後之飽和度成分數值係為0.7，所以第六分量的數值則為0.3(1-0.7=0.3)。如此，便可依據一影像元素所具之色彩，賦予此影像元素一色彩特徵向量V2(0,0.56,0.14,0,0,0.3)。
隨後，於上述之步驟(A6)中，係應用一分群演算法，依據每一此等影像元素所分別被賦予之色彩特徵向量，將此等影像元素分群至複數個色彩群別(cluster)內。一般而言，此處可使用之分群演算法可為K-means分群演算法、CRLA(constraint run length algorithrm)分群演算法或SBKM(symmetry distance Based K-means algorithm)分群演算法等，但較佳使用K-means分群演算法。
最後，在前述之步驟(A7)中，便將彼此相鄰且位於同一色彩群別內之此等影像元素包含於同一色彩特徵區塊內，以形成此等色彩特徵區塊。
如此，本發明一實施例之三維視訊內容產生方法之步驟(B)所執行的色彩特徵擷取程序可將一二維影像訊號所包含之複數個影像元素所分別具有的色彩，精確地擷取出一可代表此色彩的色彩特徵向量，例如V1(0,0.8,0,0,0,0.2)及V2(0,0.56,0.14,0,0,0.3)，再將這兩個色彩特徵向量賦予至對應的影像元素。隨後，藉由應用一分群演算法，可依據每一影像元素所被賦予之色彩特徵向量，將此二維影像訊號所包含的每一個影像元素分類至複數個色彩群別(cluster)內。最後，複數個彼此相鄰且位於同一色彩群別內之影像元素便被包含於同一色彩特徵區塊內。如此，便可形成複數個色彩特徵區塊。
再者，關於本發明一實施例之三維視訊內容產生方法之步驟(C)中之利用紋理特徵之影像分割程序，請參閱圖4。其中，圖4係本發明一實施例之三維視訊內容產生方法之利用紋理特徵之影像分割程序的流程示意圖，此利用紋理特徵之影像分割程序係包括下列步驟：
(B1)接收此二維影像訊號；
(B2)應用一賈伯濾波器組，對每一此等影像元素執行一賈伯濾波程序，且再對執行此賈伯濾波程序所得之輸出，執行一數值運算程序；
(B3)依據執行此數值運算程序所得之輸出，分別賦予每一此等影像元素一紋理特徵向量；
(B4)依據每一此等影像元素所被賦予之紋理特徵向量，對此二維影像訊號執行一分割程序，使得此二維影像訊號具有複數個紋理特徵區塊，且位於同一紋理特徵區塊內的此等影像元素均具有相同群別的紋理特徵向量；
(B5)依據此等紋理特徵區塊於此二維影像訊號中的分佈，對此二維影像訊號所包含之複數個色彩特徵區塊分別執行一再分割程序，使得至少一此等色彩特徵區塊具有複數個紋理色彩特徵區塊，且位於同一紋理色彩特徵區塊內的此等影像元素均具有相同群別的紋理特徵向量及相同群別的色彩特徵向量；以及
(B6)依據此等紋理色彩特徵區塊於此二維影像訊號中的分佈，形成此影像區塊分佈圖。
首先，於步驟(B1)中，此二維影像訊號係包含複數個影像元素。且此二維影像訊號之格式亦如前所述並無任何限制，即以任何格式所表示之二維影像訊號皆可被應用於此利用紋理特徵之影像分割程序。
接著，於步驟(B2)中，將此二維影像訊號輸入一賈伯濾波器組，以對每一個影像元素執行一賈伯濾波程序，且再對執行賈伯濾波程序所得的輸出，接續執行一數值運算程序。而此數值運算程序係為運算此賈伯濾波程序所得之輸出的振幅大小。此外，在本例子中，此賈伯濾波器組係由係由一內子帶賈伯濾波器組51及一外子帶賈伯濾波器組52所構成，且內子帶賈伯濾波器組51及外子帶賈伯濾波器組52均包含6個二維賈伯濾波器，即內子帶賈伯濾波器組51及外子帶賈伯濾波器組52所具有之二維賈伯濾波器的數目係相同。至於這12個二維賈伯濾波器於一空間平面上的配置方式，則請參閱圖5。
此外，這12個二維賈伯濾波器均可由下列公式描述：
其中，σx 、σy 分別係為一高斯核心的標準差，ω係為一傅立葉基頻，θ係為二維賈伯濾波器的方向。而且，x’ 、y’ 、x 、y之間並滿足下列公式：
x '=x cosθ+y sinθ；(式10)
y '=-x sinθ+y cosθ；(式11)
除此之外，在本例子中，構成前述之內子帶賈伯濾波器組51之6個二維賈伯濾波器所具有的標準差σx 及σy 較佳為分別設定在1.75至6.5之間，而構成外子帶賈伯濾波器組52之6個二維賈伯濾波器所具有的標準差σx 及σy 較佳為分別設定在1.75至4.5之間。此外，傅立葉基頻ω較佳為設定在介於0.2π至0.6π之間。
接著，於步驟(B3)中，依據執行前述之數值運算程序所得的輸出(振幅大小)，分別賦予此二維影像訊號所包含之每一個影像元素一紋理特徵向量。其中，這些紋理特徵向量之維度的數目係等於步驟(B2)之賈伯濾波程序中所使用之二維賈伯濾波器的數目。
再者，於步驟(B4)中，依據每一個影像元素所被賦予之紋理特徵向量，對此二維影像訊號執行一分割程序(segmentation)，使得此二維影像訊號具有複數個紋理特徵區塊。而且，位於同一個紋理特徵區塊內的複數個影像元素均具有相同群別的紋理特徵向量。如此，經過分割程序後的二維影像訊號便被分割成複數個紋理色彩特徵區塊，而這些紋理色彩特徵區塊則可分佈於二維影像訊號之全區域內的任何部分。在本實施例中，此分割程序係應用一K-means分群演算法。至於K-means分群演算法的詳細步驟，由於K-means分群演算法已經廣泛被應用於各領域中，且廣為業界人士所熟悉，故在此便不再贅述。
之後，於步驟(B5)中，依據此等紋理特徵區塊於此二維影像訊號中的分佈，如位於二維影像訊號中的相對位置，對此二維影像訊號所包含之複數個色彩特徵區塊分別執行一再分割程序，使得至少一此等色彩特徵區塊具有複數個紋理色彩特徵區塊。而此再分割程序係包括下列步驟：將每一此等色彩特徵區塊之面積值與一再分割門檻值互相比較；以及當其中之一此等色彩特徵區塊之面積值高於此再分割門檻值時，便依據此等紋理特徵區塊於此二維影像訊號中的分佈，將此色彩特徵區塊再分割為此等紋理色彩特徵區塊。
至於前述之再分割程序的結果，則請同時參閱圖6A及圖6B。其中，圖6A係顯示複數個色彩特徵區塊於一二維影像訊號中之分佈情況的示意圖，而圖6B係顯示經過再分割程序後，圖6A之色彩特徵區塊被進一步分割為複數個紋理色彩特徵區塊的示意圖。
最後，在步驟(B6)中，依據此等紋理色彩特徵區塊於此二維影像訊號中的分佈，形成本發明一實施例之三維視訊內容產生方法之步驟(C)所得出之影像區塊分佈圖。
如此，本發明一實施例之三維視訊內容產生方法之步驟(C)中之利用紋理特徵之影像分割程序的詳細運作已經敘述於前。然而，在本發明一實施例之三維視訊內容產生方法中，步驟(C)於執行前述之利用紋理特徵之影像分割程序後，可依據實際需要，更包括再執行一影像區塊合併程序，以將複數個紋理色彩特徵區塊合併為一影像合併紋理色彩特徵區塊。
而有關此影像區塊合併程序的詳細步驟，則請參閱圖7A。其中，圖7A係本發明一實施例之三維視訊內容產生方法之影像區塊合併程序的流程示意圖，且此影像區塊合併程序係包括下列步驟：
(C1)擷取每一此等紋理色彩特徵區塊所分別具有之面積數值及周長數值，以運算出每一此等紋理色彩特徵區塊所具之緊緻度數值；
(C2)依據每一此等紋理色彩特徵區塊所具之緊緻度數值，將此等紋理色彩特徵區塊以一由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊的順序排序；
(C3)依據此由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊的順序，對每一此等紋理色彩特徵區塊執行一合併測試程序，以形成一暫存影像合併紋理色彩特徵區塊，此暫存影像合併紋理色彩特徵區塊係包含其中之一此等紋理色彩特徵區塊與相鄰之另一此等紋理色彩特徵區塊，且擷取出此暫存影像合併紋理色彩特徵區塊之面積數值及周長數值，以運算出此暫存影像合併紋理色彩特徵區塊之緊緻度數值；以及
(C4)將此暫存影像合併紋理色彩特徵區塊之緊緻度數值與其中之一此等紋理色彩特徵區塊之緊緻度數值互相比較，且當此暫存影像合併紋理色彩特徵區塊之緊緻度數值係高於其中之一此等紋理色彩特徵區塊之緊緻度數值時，將此暫存影像合併紋理色彩特徵區塊設定為此影像合併紋理色彩特徵區塊。
以下，將配合圖7B與圖7C，詳細說明前述之合併測試程序的運作。其中，圖7B係顯示複數個紋理色彩特徵區塊於一二維影像訊號中之分佈情況的示意圖，而圖7C係顯示將編號1之紋理色彩特徵區塊與編號5之紋理色彩特徵區塊合併成一暫存影像合併紋理色彩特徵區塊之動作的示意圖。
其中，上述之複數個紋理色彩特徵區塊之緊緻度數值係分別依據下列公式運算而出：
其中，C係為緊緻度數值，A係為面積數值，P則為周長數值。如此，便可運算出每一個紋理色彩特徵區塊的緊緻度數值。
再者，於前述之影像區塊合併方法中，依據前述之順序(由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊)，對每一個紋理色彩特徵區塊執行一合併測試程序，以形成一暫存影像合併紋理色彩特徵區塊。其中，此暫存影像合併紋理色彩特徵區塊係包含其中之一此等紋理色彩特徵區塊與相鄰之另一此等紋理色彩特徵區塊。之後，便運算出此暫存影像合併紋理色彩特徵區塊之面積數值及周長數值，以運算出其緊緻度數值。
在本例子中，係從編號1之紋理色彩特徵區塊開始執行前述之合併測試程序。如圖7B所示，係先從鄰近於編號1之紋理色彩特徵區塊的複數個紋理色彩特徵區塊開始嘗試合併。例如，先將編號1之紋理色彩特徵區塊與編號5之紋理色彩特徵區塊合併成一暫存影像合併紋理色彩特徵區塊。接著，再將編號1之紋理色彩特徵區塊與編號4之紋理色彩特徵區塊合併成另一暫存影像合併紋理色彩特徵區塊，如此依序執行下去。
然而，在某些應用環境中，會於執行前述之「合併測試程序」前，執行一門檻值確認程序。意即，預先將每一個紋理色彩特徵區塊之面積數值及緊緻度數值分別與一面積門檻值及一緊緻度門檻值互相比較。而且，只有當比較出一個紋理色彩特徵區塊之面積數值低於前述之面積門檻值，且此紋理色彩特徵區塊之緊緻度數值亦低於前述之緊緻度門檻值之結果後，才會執行前述之合併測試程序。在本實施例中，此面積門檻值係介於120至240之間，較佳為180，此緊緻度門檻值則介於0.001至0.008之間較佳為0.003，端看應用環境的需求而定。
隨後，如圖7C所示，係將編號1之紋理色彩特徵區塊與編號5之紋理色彩特徵區塊合併成一暫存影像合併紋理色彩特徵區塊，而此包含編號1及標號5兩個紋理色彩特徵區塊之暫存影像合併紋理色彩特徵區塊的面積數值及周長數值便可被運算出來。如此，此暫存影像合併紋理色彩特徵區塊的緊緻度數值亦可被運算出來。
最後，將此暫存影像合併紋理色彩特徵區塊之緊緻度數值與編號1之紋理色彩特徵區塊之緊緻度數值互相比較。而當此暫存影像合併紋理色彩特徵區塊之緊緻度數值高於編號1之紋理色彩特徵區塊之緊緻度數值，將此暫存影像合併紋理色彩特徵區塊設定為此影像合併紋理色彩特徵區塊。反之，若此暫存影像合併紋理色彩特徵區塊之緊緻度數值並不高於編號1之紋理色彩特徵區塊之緊緻度數值，將重複執行前述之步驟。例如，將編號1之紋理色彩特徵區塊與編號4之紋理色彩特徵區塊合併成另一暫存影像合併紋理色彩特徵區塊，再擷取出此另一暫存影像合併紋理色彩特徵區塊的面積數值及周長數值，進而運算出此另一暫存影像合併紋理色彩特徵區塊的緊緻度數值。
而當所有鄰近於編號1之紋理色彩特徵區塊的數個紋理色彩特徵區塊均已被執行過前述之合併測試程序後，則依照前述之順序(由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊)，改由面積值次大的紋理色彩特徵區塊作為執行合併測試程序的基準紋理色彩特徵區塊。
最後，當所有的紋理色彩特徵區塊均被執行過前述之合併測試程序(作為合併測試程序的基準紋理色彩特徵區塊)後，便完成前述之影像區塊合併程序。意即，在前述之二維影像訊號中，所有符合紋理色彩特徵區塊合併條件(如緊緻度數值低於緊緻度門檻值等)的各個紋理色彩特徵區塊，均已依據它們之間的相對位置關係而合併為複數個影像合併紋理色彩特徵區塊。
至於本發明一實施例之三維視訊內容產生方法之步驟(D)中之深度圖產生程序，則請參閱圖8。其中，圖8係本發明一實施例之三維視訊內容產生方法之深度圖產生程序的流程示意圖，而此深度圖產生程序係包括下列步驟：
(D1)對每一此等紋理色彩特徵區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；以及
(D2)依據此寬長比檢測程序的結果及此感興趣區塊重合比率運算程序的結果，分別賦予每一此等紋理色彩特徵區塊一深度值，以產生此深度圖。
其中，前述之寬長比檢測程序係用於運算出每一此等紋理色彩特徵區塊之寬長比數值，且當其中之一此等紋理色彩特徵區塊之寬長比數值係低於一寬長比門檻值時，此紋理色彩特徵區塊所被賦予之深度值係與垂直鄰近之另一紋理色彩特徵區塊所被賦予的深度值相同。
另一方面，前述之感興趣區塊重合比率運算程序則用於運算出每一此等紋理色彩特徵區塊分別與一感興趣區塊(包含於本發明一實施例之三維視訊內容產生方法之步驟(A)所接收之感興趣區塊分佈圖中)的一重合比率，而互相鄰近並同樣具有一高於一重合比率門檻值之重合比率的此等紋理色彩特徵區塊則均被賦予相同的深度值。
再者，前述之感興趣區塊分佈圖係執行一感興趣區塊分佈圖產生程序後所得，而關於此感興趣區塊分佈圖產生程序，則請參閱圖9A，其係本發明一實施例之三維視訊內容產生方法之感興趣區塊分佈圖產生程序的流程示意圖。此感興趣區塊分佈圖產生程序係包括下列步驟：
(E1)接收此影像訊號，此影像訊號具有複數個影像元素及複數個基準影像元素；
(E2)運算出此等影像元素及此等基準影像元素所分別具有的一動態特徵值；
(E3)依據每一此等影像元素之此動態特徵值及每一此等基準影像元素之此動態特徵值，將每一此等影像元素及每一此等基準影像元素分類至複數個群別；以及
(E4)依據此等基準影像元素所被分類至此等群別的結果，從此等群別中擷取出一構成一感興趣區塊之群別，且將被分類至此群別之此等影像元素及此等基準影像元素設定為此影像訊號之此感興趣區塊。
其中，構成此感興趣區塊之群別所具有之此等基準影像元素的數目係小於其餘未構成此感興趣區塊之群別所具有之此等基準影像元素的數目。
其中，在本實施例中，前述所應用之複數個基準影像元素91的數目係為9個，且它們均等地位於一影像訊號中，如圖9B所示。
此外，如圖9C所示，此等影像元素及此等基準影像元素所分別具有的一動態特徵值(motion feature value)係以下列步驟運算而出：接收此影像訊號，此影像訊號具有此等影像元素及此等基準影像元素；運算出此等影像元素及此等基準影像元素所分別具有的一動態參數；依據此等基準影像元素之此動態參數，運算出此影像訊號之一廣域動態參數，且依據此等影像元素之此動態參數，運算出每一此等影像元素之一元素動態參數；以及依據將每一此等影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等影像元素之動態特徵值，且依據將每一此等基準影像元素之此元素動態參數與此影像訊號之此廣域動態參數比較的結果，分別運算出每一此等基準影像元素之動態特徵值。
其中，此等影像元素及此等基準影像元素所分別具有的一動態參數係先藉由比較這些影像元素(基準影像元素)在此影像訊號中與前一影像訊號中之位置差異的方式，得出一移動向量(motion vector)的X軸分量 MV x 與此移動向量的Y軸分量 MV y 。接著，再經過一數值運算程序(magnitude operation)後，以得出前述之動態參數(motion parameter)。
另一方面，再得出前述之9個基準影像元素91所分別具有的動態參數後，便經過一中位數程序，以擷取出這9個動態參數的一中位數值。之後，便將此中位數值設定為此影像訊號的廣域動態參數(GMP)。此外，此等影像元素之此動態參數便設定為出每一此等影像元素之一元素動態參數(PMP)。
除此之外，前述之「依據將每一此等影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等影像元素之動態特徵值」係指擷取一影像元素之「元素動態參數」(PMP)與此影像訊號之「廣域動態參數」(GMP)兩者中，數值較大者為此影像元素之「動態特徵值」。同理，前述之「依據將每一此等基準影像元素之此元素動態參數與此影像訊號之此廣域動態參數相互比較的結果，分別運算出每一此等基準影像元素之動態特徵值」係指擷取一基準影像元素之「元素動態參數」(PMP)與此影像訊號之「廣域動態參數」(GMP)兩者中，數值較大者為此基準影像元素之「動態特徵值」。如此，便可得出此影像訊號中，所有影像元素及所有基準影像元素所分別具有的「動態特徵值」，即步驟(E2)。
請再參閱圖9A，當得出此影像訊號中，所有影像元素及所有基準影像元素所分別具有的「動態特徵值」後，便依據每一影像元素之此動態特徵值及每一基準影像元素之此動態特徵值，將每一影像元素及每一基準影像元素分類至複數個群別，即步驟(E3)。一般而言，此分類程序係可使用K-means分群演算法、CRLA(constraint run length algorithm)分群演算法或SBKM(Symmetry distance Based K-means algorithm)分群演算法等。但在本實施例中，較佳使用K-means分群演算法。
隨後，依據這些基準影像元素所被分類至此等群別的結果，即這9個基準影像元素被分類至複數個群別的結果，從這些群別中擷取出一構成一感興趣區塊之群別。在本實施例中，這9個基準影像元素被分類至2個群別，即一包含動態特徵值等於一動態特徵值最低門檻值之複數個基準影像元素的群別及另一包含動態特徵值大於此動態特徵值最低門檻值之複數個基準影像元素的群別。在本實施例中，前述之動態特徵值最低門檻值係為4。
此時，除了前述之9個基準影像元素外，此影像訊號所具有之複數個影像元素亦被分類至前述之2個群別。即一包含動態特徵值等於此動態特徵值最低門檻值之複數個影像元素的群別及另一包含動態特徵值大於此動態特徵值最低門檻值之複數個影像元素的群別。
之後，依據各群別所包含之基準影像元素的數目，擷取包含較少數目之基準影像元素的群別為一構成一感興趣區塊之群別。意即，構成此感興趣區塊之群別所具有之基準影像元素的數目係小於其餘未構成此感興趣區塊之群別所具有之基準影像元素的數目。
最後，此被擷取為一構成一感興趣區塊之群別所包含的複數個影像元素及複數個基準影像元素，即被分類至此感興趣區塊之群別的複數個影像元素及複數個基準影像元素，便被設定為此影像訊號之此感興趣區塊(ROI)，即步驟(E4)。
如此，便可得出本發明一實施例之三維視訊內容產生方法之步驟(A)所接收之感興趣區塊分佈圖，如圖9D所示。其中，一共有5個紋理色彩特徵區塊位於圖9D中，它們分別為第一紋理色彩特徵區塊92、第二紋理色彩特徵區塊93、第三紋理色彩特徵區塊94、第四紋理色彩特徵區塊95及第五紋理色彩特徵區塊96。此外，虛線所包圍之範圍係為感興趣區塊97。
接著，便執行本發明一實施例之三維視訊內容產生方法之深度圖產生程序之感興趣區塊重合比率運算程序，以分別運算出每一個紋理色彩特徵區塊之重合比率。而經過運算之後，除了第三紋理色彩特徵區塊94之外，其餘4個紋理色彩特徵區塊(即第一紋理色彩特徵區塊92、第二紋理色彩特徵區塊93、第四紋理色彩特徵區塊95及第五紋理色彩特徵區塊96)之重合比率均高於一重合比率門檻值。一般而言，此重合比率門檻值係介於50%至80%之間。但是，在本實施例中，此重合比率門檻值係為60%。
所以，如圖9E所示，由於前述之4個紋理色彩特徵區塊(即被陰影區覆蓋之部分)互相鄰近且分別具有一高於一重合比率門檻值之重合比率，故它們均被賦予相同的深度值。
再者，所謂之「感興趣區塊」(region of interesting,ROI)係指整個二維影像訊號中，特別需要被關注的部分，例如對應至一移動物體之紋理色彩特徵區塊部分。除此之外，寬長比檢測程序係用於運算出每一個紋理色彩特徵區塊的寬長比數值(aspect ratio value)，而另一被執行之感興趣區塊重合比率運算程序則用於運算出每一個紋理色彩特徵區塊分別與一感興趣區塊的一重合比率(overlapping percentage)。
如此，每一個紋理色彩特徵區塊之寬長比數值及重合比率均已經被運算出來。而依據每一個紋理色彩特徵區塊之寬長比數值與一寬長比門檻值之間的數值關係，以及重合比率與一重合比率門檻值之間的數值關係，分別賦予每一個紋理色彩特徵區塊一深度值。如此，便可產生一對應至此影像訊號之深度圖。
以下，將配合一個例子，詳細敘述本發明一實施例之深度圖產生方法的如何運作：
首先，請參閱圖10A，其係一包含複數個紋理色彩特徵區塊之影像區塊分佈圖的示意圖。其中，此影像區塊分佈圖係包含5個紋理色彩特徵區塊，分別為對應至人物頭部之第一紋理色彩特徵區塊101、對應至人物頭髮之第二紋理色彩特徵區塊102、對應至人物手指部分之第三紋理色彩特徵區塊103、對應至人物身體部分之第四紋理色彩特徵區塊104及對應至背景部分的第五紋理色彩特徵區塊105。
接著，如圖8所示之深度圖產生方法之步驟(D2)所述，分別對這5個紋理色彩特徵區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序。在本實施例中，前述之寬長比檢測程序係指對一紋理色彩特徵區塊執行一寬長比擷取方法。而如圖10B所示，此寬長比擷取方法係包括下列步驟：從此二維影像訊號中擷取出此紋理色彩特徵區塊，且運算出此紋理色彩特徵區塊之面積數值；以一矩形框將此紋理色彩特徵區塊包圍於其中，且使此矩形框與此紋理色彩特徵區塊之週緣切齊；調整此矩形框於此二維影像訊號中之大小及位置，使得調整後之此矩形框係將此紋理色彩特徵區塊之70%的面積包圍於其中；以及運算出調整後之此矩形框的寬長比數值，且將此調整後之此矩形框的寬長比數值設定為此紋理色彩特徵區塊之寬長比數值。
其中，如圖10C所示，其係顯示使得一矩形框將此紋理色彩特徵區塊106包圍於其中，並使此矩形框與此紋理色彩特徵區塊106之週緣切齊之狀態的示意圖。接著，調整此矩形框於此二維影像訊號中之大小及位置，使得調整後之此矩形框係將此紋理色彩特徵區塊之70%的面積107包圍於其中，如圖10D所示。
在此例子中，係先對第一紋理色彩特徵區塊101(對應至人物頭部)執行前述之寬長比擷取方法，得出第一紋理色彩特徵區塊101之寬長比數值係為0.45(45/99)接著，此寬長比數值係與一寬長比門檻值(aspect ratio threshold)互相比較。在本實施例中，此寬長比門檻值係介於1.1至1.3之間，較佳為1.1765或1.25。
如前所述，由於第一紋理色彩特徵區塊101之寬長比數值(0.45)係低於前述之寬長比門檻值時，故第一紋理色彩特徵區塊101所被賦予之深度值便與垂直鄰近之另一紋理色彩特徵區塊(如對應至人物身體部分之第四紋理色彩特徵區塊104)所被賦予的深度值相同。至於要執行前述之寬長比檢測程序的原因係在於要判斷出一紋理色彩特徵區塊是否對應於一站立物體，例如一個人或一棵樹等。而如果某些紋理色彩特徵區塊經過執行前述之寬長比檢測程序後，被判斷出係對應至一個站立物體，例如前述之對應至人物頭部之第一紋理色彩特徵區塊101、對應至人物頭髮之第二紋理色彩特徵區塊102、對應至人物手指部分之第三紋理色彩特徵區塊103及對應至人物身體部分之第四紋理色彩特徵區塊104均被判斷出對應至一個人物，這些紋理色彩特徵區塊便可合理地被賦予相同的深度值(因相對於身後的背景，同屬於一個人物的這些紋理色彩特徵區塊的深度值幾乎可視作完全相同)。
以下，將分別敘述在不同數值關係情況下，本發明一實施例之三維視訊內容產生方法之深度圖產生程序如何賦予一紋理色彩特徵區塊一深度值。
首先，當此紋理色彩特徵區塊之寬長比數值係低於此寬長比門檻值，或此紋理色彩特徵區塊之重合比率係高於此重合比率門檻值時，此紋理色彩特徵區塊所被賦予之深度值D係由下列公式運算而出：
其中，VLP係為在此紋理色彩特徵區塊、垂直鄰近此紋理色彩特徵區塊之另一紋理色彩特徵區塊及與此紋理色彩特徵區塊互相鄰近之複數個紋理色彩特徵區塊中，於此二影像訊號中之最低影像元素的位置，h則為此二維影像訊號的高度數值。而前述之紋理色彩特徵區塊於此二維影像訊號中之分佈狀態，則如圖11A所示。
而如前所述，由於此紋理色彩特徵區塊之寬長比數值係低於此寬長比門檻值，或此紋理色彩特徵區塊之重合比率係高於此重合比率門檻值，故此紋理色彩特徵區塊、垂直鄰近此紋理色彩特徵區塊之另一紋理色彩特徵區塊及與此紋理色彩特徵區塊互相鄰近之複數個紋理色彩特徵區塊所被賦予之深度值均為D。
其次，當此紋理色彩特徵區塊之寬長比數值係不低於此寬長比門檻值，且此紋理色彩特徵區塊之重合比率係不高於此重合比率門檻值時，此紋理色彩特徵區塊所被賦予之深度值D係由下列公式運算而出：
其中，VHP係為在此紋理色彩特徵區塊、垂直鄰近此紋理色彩特徵區塊之另一紋理色彩特徵區塊及與此紋理色彩特徵區塊互相鄰近之複數個影像區塊中，於此影像訊號中之最高影像元素的位置；VLP係為在此紋理色彩特徵區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個紋理色彩特徵區塊中，於此二維影像訊號中之最低影像元素的位置；VCP係為在此紋理色彩特徵區塊、垂直鄰近此影像區塊之另一影像區塊及與此影像區塊互相鄰近之複數個紋理色彩特徵區塊中，於此二維影像訊號中之一待指定深度值之影像元素的位置；h係為此二維影像訊號的高度，Dmin 係為最小深度值，其數值為，Dmax 則為最大深度值，其數值為。而前述之紋理色彩特徵區塊於此二維影像訊號中之分佈狀態，則如圖11B所示。
而由式14之公式可看出，在本實施例中，此紋理色彩特徵區塊之一待指定深度值之影像元素的深度值，係以線性關係對應至此影像元素於此二維影像訊號中之位置，而此關係則如圖11C所示。然而，在某些應用情況中，前述之線性關係亦可更改其他不同類型之關係，如二階關係或三階關係等。
除此之外，前述之深度圖產生方法亦可產生對應至一影像訊號之一調整後之深度圖。其中，如圖12所示，此深度圖產生方法係包括下列步驟：
(F1)對每一此等紋理色彩特徵區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；
(F2)依據此寬長比檢測程序的結果及此感興趣區塊重合比率運算程序的結果，分別賦予每一此等紋理色彩特徵區塊一深度值，以產生此深度圖；以及
(F3)依據此深度圖及一前一時間點之深度圖，產生一調整後之深度圖。
而由於前述之步驟(F1)及步驟(F2)係與圖8所示之深度圖產生方法所包含的步驟(D1)及步驟(D2)相同，故關於步驟(F1)及步驟(F2)的詳細運作程序及各種可能的態樣，在此便不再贅述。
但關於步驟(F3)的詳細運作程序，則敘述於下：
如圖13A所示，其係顯示步驟(F3)所包含之各子步驟的流程圖，其係包含：
(G1)接收此深度圖及此前一時間點之深度圖；
(G2)將每一此等紋理色彩特徵區塊於此深度圖中所分別被賦予的深度值與每一此等紋理色彩特徵區塊於此前一時間點之深度圖中所分別被賦予的深度值互相比較；以及
(G3)依據比較所得之結果，分別賦予每一此等紋理色彩特徵區塊一調整後之深度值，以產生此調整後之深度圖。
除此之外，步驟(F3)所依據之前一時間點之深度圖係係應用一前一時間點之深度圖運算公式，依據一向前移動向量及一向後移動向量，而從此深度圖運算而出。其中，前述之前一時間點之深度圖運算公式係為：
DVT (x ,y ,t )=DVT (x ',y ',t -1);(式15)
其中，
而在式15、式16及式17中，DVT (x ,y ,t )係為在此二維影像訊號中，此紋理色彩特徵區塊於此深度圖中的位置，DVT (x ',y ',t -1)則為此紋理色彩特徵區塊於此前一時間點之深度圖中之位置，FW _MV x 係為此向前移動向量(forward motion vector)的X軸分量，FW _MV y 係為此向前移動向量的Y軸分量，BW _MV x 係為此向後移動向量(backward motion vector)的X軸分量，BW _MV y 則為此向後移動向量的Y軸分量。除此之外，在前述之式15、式16及式17中所出現之各參數之間的關係，則可由圖13B看出。
藉由使用圖12所示之深度圖產生程序，在本發明一實施例之三維視訊內容產生方法之深度圖產生程序中，可將每一個紋理色彩特徵區塊於此深度圖中所分別被賦予的深度值與同一個紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值互相比較。
最後，便依據比較出來的結果，分別賦予每一個紋理色彩特徵區塊一調整後之深度值。如此，便可產生此調整後之深度圖。而且，依據一存在於每一個紋理色彩特徵區塊於此深度圖中所分別被賦予的深度值與同一個紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值之間的數值關係，前述之深度圖產生方法依據不同的設定，分別賦予每一個紋理色彩特徵區塊一調整後之深度值。
首先，第1種情況：當(1)一當一介於此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)與同一個紋理色彩特徵區塊於此深度圖中所被賦予的深度值(DVS)之間的差值係低於一調整門檻值(ΔE)，即DVT-DVS<ΔE；以及(2)當此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)係低於1減去此調整門檻值(ΔE)所得之數值，即DVT<1-ΔE時，此紋理色彩特徵區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：
此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)加上此調整門檻值(ΔE)。意即，D=DVT+ΔE。
其次，第2種情況：當(1)一當一介於此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)與同一個紋理色彩特徵區塊於此深度圖中所被賦予的深度值(DVS)之間的差值係高於一調整門檻值(ΔE)，即DVT-DVS>ΔE；以及(2)當此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)係高於此調整門檻值(ΔE)，即DVT>ΔE時，此紋理色彩特徵區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：
此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)減去此調整門檻值(ΔE)。意即，D=DVT-ΔE。
最後，若前述之兩種情況均未發生時，此紋理色彩特徵區塊於此調整後之深度圖中所被賦予的深度值D係被設定為：
此紋理色彩特徵區塊於此前一時間點之深度圖中所被賦予的深度值(DVT)。意即，D=DVT。
請再參閱圖14，在本發明一實施例之三維視訊內容產生方法中，步驟(E)之三維影像形成程序係包括下列步驟：
(H1)接收一二維影像訊號、此深度圖及一雙眼視差數值；以及
(H2)依據將每一此等紋理色彩特徵區塊於此影像區塊分佈圖中的位置、每一此等紋理色彩特徵區塊於此深度圖中所被賦予的深度值以及此雙眼視差數值，分別運算出一對應至左眼視覺的二維影像訊號及一對應至右眼視覺的二維影像訊號，以形成此三維影像訊號。
而由於依據一觀賞者之雙眼視差數值，而配合所接收之二維影像訊號及深度圖，分別運算出一對應至此觀賞者之左眼視覺的二維影像訊號與另一對應至此觀賞者之右眼視覺的二維影像訊號的演算法已經廣為業界及學術界使用，故其間所使用之各詳細演算步驟在此便不再贅述。
最後，當藉由前述之三維影像形成程序得出複數個三維影像訊號後，便依據一幀率(frame rate)，將這些分別對應於不同時間點之複數個三維影像訊號串接成一三維視訊訊號(三維視訊流)。其中，前述之幀率係指每秒所播放之影像訊號數目，且其數值已於進行前述之影像訊號串接程序之前便被確定。一般而言，一視訊訊號係包括複數個影像訊號，但在某些特定應用環境下，亦可僅包括一影像訊號。
此外，對於一般應用而言，幀率=24(即每秒播放24個影像訊號)已足敷使用，例如用於顯示一以一般速率於畫面中移動的物體。但是，對於某些較為特殊的應用而言，例如顯示一高速移動之賽車時，視訊訊號的幀率至少要30，甚或要40以上，才足以清晰顯示出高速移動之賽車的細節。另一方面，由於依據一幀率而將複數個影像訊號(如三維影像訊號)串接成一視訊訊號(如三維視訊訊號)的技術已經廣為業界及學術界使用，故其間所使用之各詳細演算步驟在此便不再贅述。
因此，本發明之三維視訊內容產生方法確實能藉由接收一二維影像訊號並使得此二維影像訊號經過適當之運算程序的方式，而將此二維影像訊號轉換成一三維視訊訊號。
上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。
31．．．紅色區塊
32．．．綠色區塊
33．．．青色區塊
34．．．藍色區塊
35．．．紅紫色區塊
51．．．內子帶賈伯濾波器組
52．．．外子帶賈伯濾波器組
91．．．基準影像元素
92、101．．．第一紋理色彩特徵區塊
93、102．．．第二紋理色彩特徵區塊
94、103．．．第三紋理色彩特徵區塊
95、104．．．第四紋理色彩特徵區塊
96、105．．．第五紋理色彩特徵區塊
97．．．感興趣區塊
106．．．紋理色彩特徵區塊
107．．．具有70%面積的紋理色彩特徵區塊
圖1係本發明一實施例之三維視訊內容產生方法的流程示意圖。
圖2係本發明一實施例之三維視訊內容產生方法之色彩特徵擷取程序的流程示意圖。
圖3A係顯示本發明一實施例之三維視訊內容產生方法之色彩特徵擷取程序將一二維影像訊號之兩個影像元素所分別具有之色彩分別映射至一HSI色彩空間模型之一色彩平面，以將這兩個影像元素所分別具有之色彩分類至一色彩區塊及一模糊區塊之過程的示意圖。
圖3B係顯示依據圖3A所示之分類結果，賦予第一影像元素一色彩特徵向量之過程的示意圖。
圖3C係顯示依據圖3A所示之分類結果，賦予第二影像元素一色彩特徵向量之過程的示意圖。
圖4係本發明一實施例之三維視訊內容產生方法之利用紋理特徵之影像分割程序的流程示意圖。
圖5係顯示本發明一實施例之三維視訊內容產生方法之利用紋理特徵之影像分割程序所使用之賈伯濾波器組所包含之12個二維賈伯濾波器於一空間平面上之配置方式的示意圖。
圖6A係顯示複數個色彩特徵區塊於一二維影像訊號中之分佈情況的示意圖。
圖6B係顯示經過再分割程序後，圖6A之色彩特徵區塊被進一步分割為複數個紋理色彩特徵區塊的示意圖。
圖7A係本發明一實施例之三維視訊內容產生方法之影像區塊合併程序的流程示意圖。
圖7B係顯示複數個紋理色彩特徵區塊於一二維影像訊號中之分佈情況的示意圖。
圖7C係顯示將編號1之紋理色彩特徵區塊與編號5之紋理色彩特徵區塊合併成一暫存影像合併紋理色彩特徵區塊之動作的示意圖。
圖8係本發明一實施例之三維視訊內容產生方法之深度圖產生程序的流程示意圖。
圖9A係顯示本發明一實施例之三維視訊內容產生方法之感興趣區塊分佈圖之產生程序的流程示意圖。
圖9B係顯示一影像訊號所具有之9個基準影像元素於此影像訊號上之分佈情況的示意圖。
圖9C係顯示運算出複數個影像元素及複數個基準影像元素所具有之動態特徵值之各運算步驟的示意圖。
圖9D係顯示5個紋理色彩特徵區塊及1個感興趣區塊於一二維影像訊號中之分佈情況的示意圖。
圖9E係顯示在圖9D之5個紋理色彩特徵區塊中，其中4個紋理色彩特徵區塊被賦予相同深度值之情況的示意圖。
圖10A係一包含複數個紋理色彩特徵區塊之影像區塊分佈圖的示意圖。
圖10B係顯示在本發明一實施例之三維視訊內容產生方法之深度圖產生程序所需執行之寬長比擷取程序的流程示意圖。
圖10C係一顯示使得一矩形框將此紋理色彩特徵區塊包圍於其中，且使此矩形框與此紋理色彩特徵區塊之週緣切齊之狀態的示意圖。
圖10D係在調整此矩形框於此二維影像訊號中之大小及位置後，使得調整後之此矩形框將此紋理色彩特徵區塊之70%的面積包圍於其中之狀態的示意圖。
圖11A係顯示賦予複數個影像元素一相同深度值之情況的示意圖。
圖11B係顯示賦予複數個影像元素一線性分佈之深度值之情況的示意圖。
圖11C係顯示一用於賦予一待指定深度值之影像元素之深度值所使用之線性關係的示意圖。
圖12係顯示另一種可產生對應至一影像訊號之一調整後之深度圖之深度圖產生程序的流程示意圖。
圖13A係顯示圖12所示之深度圖產生程序之步驟(F3)所包含之各子步驟的流程示意圖。
圖13B係顯示使用一向前移動向量及一向後移動向量產生一前一時間點之深度圖之方法所需之各參數之間關係的示意圖。
圖14係本發明一實施例之三維視訊內容產生方法之三維影像形成程序的流程示意圖。
(該圖為一流程圖故無元件代表符號)

Claims (28)

  1. 一種三維視訊內容產生方法，係用以產生一三維視訊訊號，包括下列步驟：(A)接收一二維影像訊號，且從該二維影像訊號分析出一感興趣區塊分佈圖，該二維影像訊號係包含複數個分別具有一色彩的影像元素，該感興趣區塊分佈圖則包含一感興趣區塊；(B)執行一色彩特徵擷取程序，以形成複數個色彩特徵區塊；(C)執行一利用紋理特徵之影像分割程序，以形成一包含複數個紋理色彩特徵區塊的影像區塊分佈圖；(D)執行一深度圖產生程序，以依據該感興趣區塊分佈圖及該影像區塊分佈圖產生一深度圖，且於該深度圖中，每一該等紋理色彩特徵區塊分別被賦予一深度值；(E)執行一三維影像形成程序，以依據該影像區塊分佈圖及該深度圖，形成一三維影像訊號；以及(F)依據一幀率，將該三維影像訊號串接成該三維視訊訊號。
  2. 如申請專利範圍第1項所述之三維視訊內容產生方法，其中，步驟(B)之該色彩特徵擷取程序係包括下列步驟：接收該二維影像訊號；將該二維影像訊號投影至一色彩空間模型中，使得每一該等影像元素所具之色彩分別被映射至該色彩空間模型中的一對應點，且該對應點之座標係由一第一參數值、一第二參數值及一第三參數值表示；該色彩空間模型包含一色彩平面，且該色彩平面係由複數個色彩區塊及複數個模糊區塊構成；將該第三參數值與一調整門檻值互相比較，且依據比較所得之結果及該第二參數值，運算出一調整後之第二參數值；依據該第一參數值及該調整後之第二參數值，依序將每一該等影像元素所具之色彩分類至該色彩平面上之其中之一該等色彩區塊或其中之一該等模糊區塊；依據每一該等影像元素所具之色彩被分類後所得之結果，分別賦予每一該等影像元素一色彩特徵向量；應用一分群演算法，依據每一該等影像元素所分別被賦予之色彩特徵向量，將該等影像元素分群至複數個色彩群別內；以及將彼此相鄰且位於同一色彩群別內之該等影像元素包含於同一色彩特徵區塊內，以形成該等色彩特徵區塊。
  3. 如申請專利範圍第2項所述之三維視訊內容產生方法，其中，該色彩空間模型係為一HSI色彩空間模型，且該第一參數值係為色調成分，該第二參數值係為飽和度成分，該第三參數值則為強度成分。
  4. 如申請專利範圍第3項所述之三維視訊內容產生方法，其中，該調整門檻值係介於70至90之間，且當該強度成分高於該調整門檻值時，便依據下列公式運算出該調整後之飽和度成分：S '=a +b *S ；其中，S’係為該調整後之飽和度成分，S係為該飽和度成分，a及b則為兩任意正數，且滿足a +b =1之條件；而當該強度成分不高於該調整門檻值時，則依據下列公式運算出該調整後之飽和度成分： 其中，S’係為該調整後之飽和度成分，S係為該飽和度成分，T係為該調整門檻值，a及b則為兩任意正數，且滿足a +b =1之條件。
  5. 如申請專利範圍第3項所述之三維視訊內容產生方法，其中，該等色彩區塊係包含一第一色彩區塊、一第二色彩區塊、一第三色彩區塊、一第四色彩區塊及一第五色彩區塊，且每一該等色彩區塊分別對應於一色彩，而該色彩平面上未被該等色彩區塊覆蓋之部分則為該等模糊區塊。
  6. 如申請專利範圍第5項所述之三維視訊內容產生方法，其中，該第一色彩區塊係為紅色區塊，該第二色彩區塊係為綠色區塊，該第三色彩區塊係為青色區塊，該第四色彩區塊係為藍色區塊，該第五色彩區塊係為紅紫色區塊。
  7. 如申請專利範圍第6項所述之三維視訊內容產生方法，其中，當其中之一該等影像元素所具之色彩被分類至其中之一該等色彩區塊時，其中之一該等影像元素所被賦予的該色彩特徵向量係包含一第一分量、一第二分量、一第三分量、一第四分量、一第五分量及一第六分量，且該第一分量、該第二分量、該第三分量、該第四分量及該第五分量係分別對應至每一該等色彩區塊，該第六分量的數值則為1減去該調整後之飽和度成分；該第一分量之數值、該第二分量之數值、該第三分量之數值、該第四分量之數值、該第五分量之數值及該第六分量之數值的總和並為1。
  8. 如申請專利範圍第6項所述之三維視訊內容產生方法，其中，當其中之一該等影像元素所具之色彩被分類至其中之一該等模糊區塊時，其中之一該等影像元素所被賦予的該色彩特徵向量係包含一第一分量、一第二分量、一第三分量、一第四分量、一第五分量及一第六分量，該第一分量及該第二分量係分別對應至兩分別位於每一該等影像元素所具之色彩所被分類至的其中之一該等模糊區塊之兩側的色彩區塊，且該第一分量、該第二分量、該第三分量、該第四分量及該第五分量係分別對應至每一該等色彩區塊，該第六分量的數值則為1減去該調整後之飽和度成分；該第一分量之數值、該第二分量之數值、該第三分量之數值、該第四分量之數值、該第五分量之數值及該第六分量之數值的總和並為1。
  9. 如申請專利範圍第8項所述之三維視訊內容產生方法，其中，該第一分量之數值係依據下列公式運算而出：C =S '*Belongingness ；其中，C係為該第一分量之數值，S’係為該調整後之飽和度成分，Belongingness則為歸屬度，而歸屬度則依據下列公式運算而出： 其中，U係指在該模糊區塊於該色彩平面上所具有的兩邊界中，一遠離該第一分量所對應之色彩區塊之邊界於該色彩平面上所具有的角度，L係另一鄰近該第一分量所對應之色彩區塊之邊界於該色彩平面上所具有的角度，H則為該色調成分於該色彩平面上所具有的角度。
  10. 如申請專利範圍第1項所述之三維視訊內容產生方法，其中，步驟(C)之該利用紋理特徵之影像分割程序係包括下列步驟：接收該二維影像訊號；應用一賈伯濾波器組，對每一該等影像元素執行一賈伯濾波程序，且再對執行該賈伯濾波程序所得之輸出，執行一數值運算程序；依據執行該數值運算程序所得之輸出，分別賦予每一該等影像元素一紋理特徵向量；依據每一該等影像元素所被賦予之紋理特徵向量，對該二維影像訊號執行一分割程序，使得該二維影像訊號具有複數個紋理特徵區塊，且位於同一紋理特徵區塊內的該等影像元素均具有相同群別的紋理特徵向量；依據該等紋理特徵區塊於該二維影像訊號中的分佈，對該二維影像訊號所包含之複數個色彩特徵區塊分別執行一再分割程序，使得至少一該等色彩特徵區塊具有複數個紋理色彩特徵區塊，且位於同一紋理色彩特徵區塊內的該等影像元素均具有相同群別的紋理特徵向量及相同群別的色彩特徵向量；以及依據該等紋理色彩特徵區塊於該二維影像訊號中的分佈，形成該影像區塊分佈圖。
  11. 如申請專利範圍第10項所述之三維視訊內容產生方法，其中，該賈伯濾波器組係由一內子帶賈伯濾波器組及一外子帶賈伯濾波器組所構成，且該內子帶賈伯濾波器組及該外子帶賈伯濾波器組係分別由複數個二維賈伯濾波器構成，該內子帶賈伯濾波器組所具有之二維賈伯濾波器的數目並與該外子帶賈伯濾波器組所具有之二維賈伯濾波器的數目相同。
  12. 如申請專利範圍第11項所述之三維視訊內容產生方法，其中，每一該等二維賈伯濾波器係由下列公式描述： 其中，σx 、σy 分別係為一高斯核心的標準差，ω係為一傅立葉基頻，θ係為二維賈伯濾波器的方向，且x’、y’、x、y之間並滿足下列公式：x '=x cosθ+y sinθy '=-xsinθ+y cosθ。
  13. 如申請專利範圍第11項所述之三維視訊內容產生方法，其中，該內子帶賈伯濾波器組係由6個二維賈伯濾波器構成，且該6個二維賈伯濾波器所具有的標準差σx 及σy 分別介於1.75至6.5之間，該外子帶賈伯濾波器組則由6個二維賈伯濾波器構成，且該6個二維賈伯濾波器所具有的標準差σx 及σy 分別介於1.75至4.5之間。
  14. 如申請專利範圍第10項所述之三維視訊內容產生方法，其中，步驟(C)於執行該利用紋理特徵之影像分割程序後，更包括一影像區塊合併程序，以將複數個紋理色彩特徵區塊合併為一影像合併紋理色彩特徵區塊，而該影像區塊合併程序係包括下列步驟：擷取每一該等紋理色彩特徵區塊所分別具有之面積數值及周長數值，以運算出每一該等紋理色彩特徵區塊所具之緊緻度數值；依據每一該等紋理色彩特徵區塊所具之緊緻度數值，將該等紋理色彩特徵區塊以一由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊的順序排序；依據該由面積數值大之紋理色彩特徵區塊依序排列至面積數值小之紋理色彩特徵區塊的順序，對每一該等紋理色彩特徵區塊執行一合併測試程序，以形成一暫存影像合併紋理色彩特徵區塊，該暫存影像合併紋理色彩特徵區塊係包含其中之一該等紋理色彩特徵區塊與相鄰之另一該等紋理色彩特徵區塊，且擷取出該暫存影像合併紋理色彩特徵區塊之面積數值及周長數值，以運算出該暫存影像合併紋理色彩特徵區塊之緊緻度數值；以及將該暫存影像合併紋理色彩特徵區塊之緊緻度數值與其中之一該等紋理色彩特徵區塊之緊緻度數值互相比較，且當該暫存影像合併紋理色彩特徵區塊之緊緻度數值係高於其中之一該等紋理色彩特徵區塊之緊緻度數值時，將該暫存影像合併紋理色彩特徵區塊設定為該影像合併紋理色彩特徵區塊。
  15. 如申請專利範圍第14項所述之三維視訊內容產生方法，其中，每一該等紋理色彩特徵區塊之緊緻度數值係依據下列公式運算而出： 其中，C係為緊緻度數值，A係為面積數值，P則為周長數值。
  16. 如申請專利範圍第14項所述之三維視訊內容產生方法，其中，在執行該合併測試程序以形成該暫存影像合併紋理色彩特徵區塊之前，係先將該每一該等紋理色彩特徵區塊之面積數值與一面積門檻值互相比較，且將每一該等紋理色彩特徵區塊之緊緻度數值與一緊緻度門檻值互相比較，而當得出每一該等紋理色彩特徵區塊之面積數值低於該面積門檻值，且每一該等紋理色彩特徵區塊之緊緻度數值亦低於該緊緻度門檻值的比較結果後，執行該合併測試程序；該面積門檻值係介於120至240之間，該緊緻度門檻值則介於0.001至0.008之間。
  17. 如申請專利範圍第1項所述之三維視訊內容產生方法，其中，步驟(D)之該深度圖產生程序係包括下列步驟：對每一該等紋理色彩特徵區塊執行一寬長比檢測程序及一感興趣區塊重合比率運算程序；以及依據該寬長比檢測程序的結果及該感興趣區塊重合比率運算程序的結果，分別賦予每一該等紋理色彩特徵區塊一深度值，以產生該深度圖；其中，該寬長比檢測程序係用於運算出每一該等紋理色彩特徵區塊之寬長比數值，且當其中之一該等紋理色彩特徵區塊之寬長比數值係低於一寬長比門檻值時，該紋理色彩特徵區塊所被賦予之深度值係與垂直鄰近之另一紋理色彩特徵區塊所被賦予的深度值相同；該感興趣區塊重合比率運算程序則用於運算出每一該等紋理色彩特徵區塊分別與該感興趣區塊的一重合比率，而互相鄰近並同樣具有一高於一重合比率門檻值之重合比率的該等紋理色彩特徵區塊則均被賦予相同的深度值。
  18. 如申請專利範圍第1項所述之三維視訊內容產生方法，其中，該感興趣區塊分佈圖係執行一感興趣區塊分佈圖產生程序後所得，且該感興趣區塊分佈圖產生程序係包括下列步驟：接收該二維影像訊號，該二維影像訊號具有複數個影像元素及複數個基準影像元素；運算出該等影像元素及該等基準影像元素所分別具有的一動態特徵值；依據每一該等影像元素之該動態特徵值及每一該等基準影像元素之該動態特徵值，將每一該等影像元素及每一該等基準影像元素分類至複數個群別；以及依據該等基準影像元素所被分類至該等群別的結果，從該等群別中擷取出一構成一感興趣區塊之群別，且將被分類至該群別之該等影像元素及該等基準影像元素設定為該二維影像訊號之該感興趣區塊；其中，構成該感興趣區塊之群別所具有之該等基準影像元素的數目係低於其餘未構成該感興趣區塊之群別所具有之該等基準影像元素的數目。
  19. 如申請專利範圍第18項所述之三維視訊內容產生方法，其中該等影像元素及該等基準影像元素所分別具有的該動態特徵值係以下列步驟運算而出：接收該二維影像訊號，該二維影像訊號具有該等影像元素及該等基準影像元素；運算出該等影像元素及該等基準影像元素所分別具有的一動態參數；依據該等基準影像元素之該動態參數，運算出該二維影像訊號之一廣域動態參數，且依據該等影像元素之該動態參數，運算出每一該等影像元素之一元素動態參數；以及依據將每一該等影像元素之該元素動態參數與該二維影像訊號之該廣域動態參數相互比較的結果，分別運算出每一該等影像元素之動態特徵值。
  20. 如申請專利範圍第17項所述之三維視訊內容產生方法，其中，該寬長比擷取程序係包括下列步驟：從該二維影像訊號中擷取出該紋理色彩特徵區塊，且運算出該紋理色彩特徵區塊之面積數值；以一矩形框將該紋理色彩特徵區塊包圍於其中，且使該矩形框與該紋理色彩特徵區塊之週緣切齊；調整該矩形框於該二維影像訊號中之大小及位置，使得調整後之該矩形框係將該紋理色彩特徵區塊之70%的面積包圍於其中；以及運算出調整後之該矩形框的寬長比數值，且將該調整後之該矩形框的寬長比數值設定為該紋理色彩特徵區塊之寬長比數值。
  21. 如申請專利範圍第17項所述之三維視訊內容產生方法，其中，當其中之一該等紋理色彩特徵區塊之寬長比數值係低於該寬長比門檻值，或其中之一該等紋理色彩特徵區塊之重合比率係高於該重合比率門檻值時，其中之一該等紋理色彩特徵區塊所被賦予之深度值D係由下列公式運算而出： 其中，VLP係為在其中之一該等紋理色彩特徵區塊、垂直鄰近之另一紋理色彩特徵區塊及互相鄰近之該等紋理色彩特徵區塊中，於該二維影像訊號中之最低影像元素的位置，h則為該二維影像訊號的高度數值。
  22. 如申請專利範圍第17項所述之三維視訊內容產生方法，其中，當其中之一該等紋理色彩特徵區塊之寬長比數值係不低於該寬長比門檻值，且其中之一該等紋理色彩特徵區塊之重合比率係不高於該重合比率門檻值時，其中之一該等紋理色彩特徵區塊所被賦予之深度值D係由下列公式運算而出： 其中，VHP係為其中之一該等紋理色彩特徵區塊、垂直鄰近之另一紋理色彩特徵區塊及互相鄰近之該等紋理色彩特徵區塊中，於該二維影像訊號中之最高像素元素的位置，VLP係為其中之一該等紋理色彩特徵區塊、垂直鄰近之另一紋理色彩特徵區塊及互相鄰近之該等紋理色彩特徵區塊中，於該二維影像訊號中之最低像素元素的位置，VCP係為其中之一該等紋理色彩特徵區塊、垂直鄰近之另一紋理色彩特徵區塊及互相鄰近之該等紋理色彩特徵區塊中，於該二維影像訊號中之一待指定深度值之影像元素的位置，h係為該二維影像訊號的高度，Dmin 係為，Dmax 則為
  23. 如申請專利範圍第17項所述之三維視訊內容產生方法，其中，該寬長比門檻值係介於1.1至1.3之間，該重合比率係指每一該等紋理色彩特徵區塊之面積數值除以該感興趣區塊之面積所得之比率，且該重合比率門檻值則介於50%至80%之間。
  24. 如申請專利範圍第1項所述之三維視訊內容產生方法，其中，步驟(D)之該深度圖係再依據該深度圖及一前一時間點之深度圖，產生一調整後之深度圖，其中該步驟係包括：接收該深度圖及該前一時間點之深度圖；將每一該等紋理色彩特徵區塊於該深度圖中所分別被賦予的深度值與每一該等紋理色彩特徵區塊於該前一時間點之深度圖中所分別被賦予的深度值互相比較；以及依據比較所得之結果，分別賦予每一該等紋理色彩特徵區塊一調整後之深度值，以產生該調整後之深度圖。
  25. 如申請專利範圍第24項所述之三維視訊內容產生方法，其中該前一時間點之深度圖係應用一前一時間點之深度圖運算公式，依據一向前移動向量及一向後移動向量，而從該深度圖運算而出：其中，該前一時間點之深度圖運算公式係為：DVT (x ,y ,t )=DVT (X ',y ',t -1)； 其中，DVT (x ,y ,t )係為在該二維影像訊號中，該紋理色彩特徵區塊於該深度圖中之位置，DVT (x ',y ',t -1)則為該紋理色彩特徵區塊於該前一時間點之深度圖中之位置，FW _MV x 係為該向前移動向量的X軸分量，FW _MV y 係為該向前移動向量的Y軸分量，BW _MV x 係為該向後移動向量的X軸分量，BW _MV y 則為該向後移動向量的Y軸分量。
  26. 如申請專利範圍第24項所述之三維視訊內容產生方法，其中，當一介於其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值與其中之一該等紋理色彩特徵區塊於該深度圖中所被賦予的深度值之間的差值係低於一調整門檻值，且其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值係低於1減去該調整門檻值所得之數值時，其中之一該等紋理色彩特徵區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值加上該調整門檻值。
  27. 如申請專利範圍第26項所述之三維視訊內容產生方法，其中，當一介於其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值與其中之一該等紋理色彩特徵區塊於該深度圖中所被賦予的深度值之間的差值係高於該調整門檻值，且其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值係高於該調整門檻值時，其中之一該等紋理色彩特徵區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等紋理色彩特徵區塊於該前一時間點之深度圖中所被賦予的深度值減去該調整門檻值。
  28. 如申請專利範圍第27項所述之三維視訊內容產生方法，其中，其中之一該等紋理色彩特徵區塊於該調整後之深度圖中所被賦予的深度值係被設定為其中之一該等影像區塊於該前一時間點之深度圖中所被賦予的深度值。
TW100123743A 2011-04-26 2011-07-05 三維視訊內容產生方法 TWI455062B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161478965P 2011-04-26 2011-04-26

Publications (2)

Publication Number Publication Date
TW201243763A TW201243763A (en) 2012-11-01
TWI455062B true TWI455062B (zh) 2014-10-01

Family

ID=47054745

Family Applications (5)

Application Number Title Priority Date Filing Date
TW100123740A TWI543116B (zh) 2011-04-26 2011-07-05 影像區塊合併方法
TW100123742A TWI469087B (zh) 2011-04-26 2011-07-05 深度圖產生方法
TW100123738A TWI469086B (zh) 2011-04-26 2011-07-05 利用紋理特徵之影像分割法
TW100123737A TWI467516B (zh) 2011-04-26 2011-07-05 色彩特徵擷取方法
TW100123743A TWI455062B (zh) 2011-04-26 2011-07-05 三維視訊內容產生方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW100123740A TWI543116B (zh) 2011-04-26 2011-07-05 影像區塊合併方法
TW100123742A TWI469087B (zh) 2011-04-26 2011-07-05 深度圖產生方法
TW100123738A TWI469086B (zh) 2011-04-26 2011-07-05 利用紋理特徵之影像分割法
TW100123737A TWI467516B (zh) 2011-04-26 2011-07-05 色彩特徵擷取方法

Country Status (3)

Country Link
US (5) US8761501B2 (zh)
CN (5) CN102761767B (zh)
TW (5) TWI543116B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
CA2772607A1 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US8718356B2 (en) * 2010-08-23 2014-05-06 Texas Instruments Incorporated Method and apparatus for 2D to 3D conversion using scene classification and face detection
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
TWI543116B (zh) * 2011-04-26 2016-07-21 國立成功大學 影像區塊合併方法
JP5884966B2 (ja) * 2011-09-09 2016-03-15 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US9041773B2 (en) * 2011-11-22 2015-05-26 Corel Corporation Conversion of 2-dimensional image data into 3-dimensional image data
US9299127B2 (en) * 2012-09-21 2016-03-29 ImmerVision Splitting of elliptical images
GB201217721D0 (en) * 2012-10-03 2012-11-14 Holition Ltd Video image processing
EP2747028B1 (en) 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
US9262690B2 (en) * 2013-08-27 2016-02-16 Htc Corporation Method and device for detecting glare pixels of image
CN103530882B (zh) * 2013-10-17 2017-02-08 南京大学 一种改进的基于图和色彩纹理特征的图像分割方法
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US10021366B2 (en) * 2014-05-02 2018-07-10 Eys3D Microelectronics, Co. Image process apparatus
CN103957402B (zh) * 2014-05-07 2015-10-21 四川虹微技术有限公司 一种实时全高清2d转3d系统行读写时序设计方法
CN104268535B (zh) * 2014-10-10 2017-12-19 上海海事大学 一种二维图像的特征提取方法
CN104318232B (zh) * 2014-10-16 2018-03-30 中国人民解放军第三军医大学第三附属医院 基于图像处理的椎间盘自动定位方法
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
GB2533450B (en) * 2014-12-19 2019-07-24 Adobe Inc Settings of a digital camera for depth map refinement
CN104616341A (zh) * 2015-02-06 2015-05-13 浪潮集团有限公司 一种图像处理方法
TWI623889B (zh) * 2015-03-17 2018-05-11 國立高雄應用科技大學 三維手勢影像辨識方法及其系統
TWI616763B (zh) * 2015-09-25 2018-03-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
US10264238B2 (en) * 2015-11-12 2019-04-16 Bitanimate, Inc. Stereoscopic mapping
CN106934846B (zh) * 2015-12-29 2020-05-22 深圳先进技术研究院 一种布料图像处理方法及系统
TWI588777B (zh) * 2015-12-29 2017-06-21 Method of Fuzzy Clustering Automated Contrast Change
CN105678285B (zh) * 2016-02-18 2018-10-19 北京大学深圳研究生院 一种自适应的道路鸟瞰图变换方法和道路车道检测方法
CN105678341B (zh) * 2016-02-19 2018-11-13 天纺标检测认证股份有限公司 一种基于Gabor小波分析的羊毛羊绒识别算法
CN106600676A (zh) * 2016-12-20 2017-04-26 飞狐信息技术（天津）有限公司 在三维虚拟场景中使用曲面播放3d视频的方法、装置及手机
CN108280851B (zh) * 2017-01-05 2024-04-19 钰立微电子股份有限公司 深度图产生装置
CN107507206B (zh) * 2017-06-09 2021-08-20 合肥工业大学 一种基于显著性检测的深度图提取方法
CN109429560B (zh) * 2017-06-21 2020-11-27 深圳配天智能技术研究院有限公司 一种图像处理方法、装置、系统及计算机存储介质
CN107610118B (zh) * 2017-09-25 2020-12-08 中国科学院遥感与数字地球研究所 一种基于dM的图像分割质量评价方法
CN109214322A (zh) * 2018-08-27 2019-01-15 厦门哲林软件科技有限公司 一种文档图像视觉效果的优化方法及系统
CN109840914B (zh) * 2019-02-28 2022-12-16 华南理工大学 一种基于用户交互式的纹理分割方法
US11276250B2 (en) * 2019-10-23 2022-03-15 International Business Machines Corporation Recognition for overlapped patterns
CN110992320B (zh) * 2019-11-22 2023-03-21 电子科技大学 一种基于双重交错的医学图像分割网络
US11636683B2 (en) 2021-09-14 2023-04-25 Black Sesame Technologies Inc. Precise object segmentation with multi-modal input for realtime video application
CN114387326A (zh) * 2022-01-12 2022-04-22 腾讯科技（深圳）有限公司 一种视频的生成方法、装置、设备及存储介质
CN116205788B (zh) * 2023-04-27 2023-08-11 粤港澳大湾区数字经济研究院(福田) 一种三维特征图的获取方法、图像处理方法及相关装置
CN116188786B (zh) * 2023-05-04 2023-08-01 潍坊医学院附属医院 一种肝胆管及胆道结石的图像分割系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6801573B2 (en) * 2000-12-21 2004-10-05 The Ohio State University Method for dynamic 3D wavelet transform for video compression
TWI229556B (en) * 2003-12-22 2005-03-11 Sunplus Technology Co Ltd Method of motion detection for 3D comb filter video decoder
TW200843516A (en) * 2007-02-21 2008-11-01 Qualcomm Inc 3D video encoding
TW201027979A (en) * 2008-10-21 2010-07-16 Koninkl Philips Electronics Nv Method and system for processing an input three dimensional video signal
TW201043000A (en) * 2008-12-19 2010-12-01 Koninkl Philips Electronics Nv Method and device for overlaying 3D graphics over 3D video
TW201105112A (en) * 2009-06-05 2011-02-01 Qualcomm Inc Encoding of three-dimensional conversion information with two-dimensional video sequence

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671294A (en) * 1994-09-15 1997-09-23 The United States Of America As Represented By The Secretary Of The Navy System and method for incorporating segmentation boundaries into the calculation of fractal dimension features for texture discrimination
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
US6169817B1 (en) * 1998-11-04 2001-01-02 University Of Rochester System and method for 4D reconstruction and visualization
US6192150B1 (en) * 1998-11-16 2001-02-20 National University Of Singapore Invariant texture matching method for image retrieval
US6658399B1 (en) * 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6625308B1 (en) * 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US6850644B1 (en) * 1999-10-01 2005-02-01 Samsung Electronics Co., Ltd. Method for analyzing texture of digital image
US7158178B1 (en) * 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6628827B1 (en) * 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US6700999B1 (en) * 2000-06-30 2004-03-02 Intel Corporation System, method, and apparatus for multiple face tracking
US6571228B1 (en) * 2000-08-09 2003-05-27 Po-Tong Wang Hybrid neural networks for color identification
KR100378351B1 (ko) * 2000-11-13 2003-03-29 삼성전자주식회사 색-텍스추어 거리 측정 방법 및 장치와 이를 이용한영상의 영역 구분 방법 및 장치
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
US6885765B2 (en) * 2001-04-04 2005-04-26 Mitsubishi Electric Research Laboratories, Inc. Method for determining compactness ratios of multiple data and signal sets
WO2004111832A1 (en) 2003-05-27 2004-12-23 Purdue Research Foundation Improved method for diagnosing and treating breast cancer
US7496228B2 (en) 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP4080386B2 (ja) * 2003-07-01 2008-04-23 日本電信電話株式会社 奥行き情報の再生成方法、奥行き情報の再生成装置、プログラム、および記録媒体
JP2005122351A (ja) * 2003-10-15 2005-05-12 Seiko Epson Corp 顔画像候補領域検索方法及び検索システム並びに検索プログラム
US7359555B2 (en) * 2004-10-08 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Detecting roads in aerial images using feature-based classifiers
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
CN100412681C (zh) * 2005-03-14 2008-08-20 佛山市顺德区顺达电脑厂有限公司 影像的补光方法
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
TWI309136B (en) * 2005-12-01 2009-04-21 Novatek Microelectronics Corp Apparatus for adjusting specific color attributes and method thereof
US20070160266A1 (en) * 2006-01-11 2007-07-12 Jones Michael J Method for extracting features of irises in images using difference of sum filters
US8233712B2 (en) * 2006-07-28 2012-07-31 University Of New Brunswick Methods of segmenting a digital image
US8170293B2 (en) * 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
US8165407B1 (en) * 2006-10-06 2012-04-24 Hrl Laboratories, Llc Visual attention and object recognition system
CN101207829B (zh) 2006-12-18 2011-03-23 友达光电股份有限公司 用于显示器补偿色彩饱和度的方法及其相关装置
JP4845715B2 (ja) * 2006-12-22 2011-12-28 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、及び記憶媒体
US7826676B2 (en) * 2007-03-08 2010-11-02 Mitsubishi Electric Research Laboraties, Inc. Method for filtering data with arbitrary kernel filters
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
CN101489142B (zh) * 2008-01-15 2010-09-22 华晶科技股份有限公司 数字影像的彩色插补方法
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
CN101719361B (zh) * 2008-10-09 2012-04-11 华硕电脑股份有限公司 饱和度调整法与饱和度调整模块
CN101833772B (zh) 2009-03-09 2012-07-04 奇景光电股份有限公司 感知特征集的撷取方法及系统
US8963949B2 (en) * 2009-04-22 2015-02-24 Qualcomm Incorporated Image selection and combination method and device
KR20100135032A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 2차원 영상의 3차원 영상 변환 장치 및 방법
CN101930593B (zh) * 2009-06-26 2012-11-21 鸿富锦精密工业（深圳）有限公司 单一物体影像萃取系统及方法
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
JP5402504B2 (ja) * 2009-10-15 2014-01-29 株式会社Ｊｖｃケンウッド 擬似立体画像作成装置及び擬似立体画像表示システム
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN101742349B (zh) * 2010-01-05 2011-07-20 浙江大学 一种对三维场景的表达方法及其电视系统
CN101908141B (zh) * 2010-08-04 2014-05-07 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN102023045B (zh) * 2010-10-18 2011-12-14 中国矿业大学(北京) 一种非接触式煤仓煤位光电测量方法
TWI543116B (zh) * 2011-04-26 2016-07-21 國立成功大學 影像區塊合併方法
US8369595B1 (en) * 2012-08-10 2013-02-05 EyeVerify LLC Texture features for biometric authentication

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6801573B2 (en) * 2000-12-21 2004-10-05 The Ohio State University Method for dynamic 3D wavelet transform for video compression
TWI229556B (en) * 2003-12-22 2005-03-11 Sunplus Technology Co Ltd Method of motion detection for 3D comb filter video decoder
TW200843516A (en) * 2007-02-21 2008-11-01 Qualcomm Inc 3D video encoding
TW201027979A (en) * 2008-10-21 2010-07-16 Koninkl Philips Electronics Nv Method and system for processing an input three dimensional video signal
TW201043000A (en) * 2008-12-19 2010-12-01 Koninkl Philips Electronics Nv Method and device for overlaying 3D graphics over 3D video
TW201105112A (en) * 2009-06-05 2011-02-01 Qualcomm Inc Encoding of three-dimensional conversion information with two-dimensional video sequence

Also Published As

Publication number Publication date
US8774502B2 (en) 2014-07-08
CN102761767A (zh) 2012-10-31
US20120293499A1 (en) 2012-11-22
CN102802005B (zh) 2014-11-05
US20120301019A1 (en) 2012-11-29
TWI469087B (zh) 2015-01-11
TW201243772A (en) 2012-11-01
US20120294521A1 (en) 2012-11-22
US8774503B2 (en) 2014-07-08
CN102843497B (zh) 2015-06-10
CN102802005A (zh) 2012-11-28
TW201243768A (en) 2012-11-01
US9030468B2 (en) 2015-05-12
US8761501B2 (en) 2014-06-24
US20120301018A1 (en) 2012-11-29
CN102761767B (zh) 2014-12-10
CN102843497A (zh) 2012-12-26
CN102761766A (zh) 2012-10-31
US20120294516A1 (en) 2012-11-22
TW201243769A (en) 2012-11-01
CN102761766B (zh) 2015-01-28
TW201243763A (en) 2012-11-01
TWI469086B (zh) 2015-01-11
CN102760292A (zh) 2012-10-31
US8948510B2 (en) 2015-02-03
TW201243771A (en) 2012-11-01
TWI467516B (zh) 2015-01-01
TWI543116B (zh) 2016-07-21

Similar Documents

Publication Publication Date Title
TWI455062B (zh) 三維視訊內容產生方法
CN111066065B (zh) 用于混合深度正则化的系统和方法
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
Krig Computer vision metrics: Survey, taxonomy, and analysis
CN104756491B (zh) 基于组合的深度提示从单视场图像生成深度图
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
CN101765022B (zh) 一种基于光流与图像分割的深度表示方法
US20140327736A1 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
Hervieu et al. Stereoscopic image inpainting: distinct depth maps and images inpainting
JP5303692B1 (ja) 立体画像処理装置及び立体画像処理方法
CN102436666A (zh) 基于ihs变换的对象与场景融合方法
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
JP6285686B2 (ja) 視差画像生成装置
JP5210416B2 (ja) 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
GB2585197A (en) Method and system for obtaining depth data
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
CN117671159A (zh) 三维模型的生成方法及装置、设备、存储介质
Babbar et al. Hybrid model of alternating least squares and root polynomial technique for color correction
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
KR101608804B1 (ko) 품질 향상을 위한 변이 지도의 경계 왜곡 보정 기반 가상시점 영상 생성 방법
WO2020115866A1 (ja) 深度処理システム、深度処理プログラムおよび深度処理方法
CN118379436B (zh) 三维虚拟场景的生成方法、装置、设备及存储介质
CN102622770A (zh) 一种2d转3d技术中易于硬件实现的运动向量提取方法
Lai et al. Surface-based background completion in 3D scene