TWI459796B - 產生多視角三維立體影像的方法及其裝置 - Google Patents

產生多視角三維立體影像的方法及其裝置 Download PDF

Info

Publication number
TWI459796B
TWI459796B TW099121946A TW99121946A TWI459796B TW I459796 B TWI459796 B TW I459796B TW 099121946 A TW099121946 A TW 099121946A TW 99121946 A TW99121946 A TW 99121946A TW I459796 B TWI459796 B TW I459796B
Authority
TW
Taiwan
Prior art keywords
image
dimensional
view
source
pixel
Prior art date
Application number
TW099121946A
Other languages
English (en)
Other versions
TW201127022A (en
Inventor
Hsin Jung Chen
Feng Hsiang Lo
Sheng Dong Wu
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Publication of TW201127022A publication Critical patent/TW201127022A/zh
Application granted granted Critical
Publication of TWI459796B publication Critical patent/TWI459796B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Description

產生多視角三維立體影像的方法及其裝置
本提案是有關一種產生三維影像(3D image)的方法及其裝置，特別是一種可以應用於三維立體顯示器(stereo displayer)，利用二維影像(two-dimensional image)及其對應的深度圖產生多視角三維立體影像的方法及其裝置。
三維(three-dimension，3D)立體影像的視覺原理，是基於人類的左眼和右眼分別接受不同視角(view)的影像，再透過大腦利用兩眼視差(Binocular parallax)而在腦中呈現出具有深度和距離感的立體影像，而三維立體影像顯示技術就是基於此一原理發展出來的技術。
已知的三維立體影像產生方法可以概略分為兩種，第一種方法是利用多個配置在不同位置的攝影機(camera)，模擬人類的雙眼以不同的視角攝取同一物體的影像，再透過例如偏光眼鏡這種設備，將不同視角取得的兩幅影像分別導入人的左眼和右眼，就可以在腦中產生具有深度和距離感的三維立體影像。另一種方法則是利用二維影像和深度圖合成三維立體影像，例如已公開的美國專利US 7,126,598 B2「3D IMAGE SYSTHESIS FROM DEPTH ENCODED SOURCE VIEW」就是這類的方法，其中的深度圖記錄著二維影像中各個像素(pixel)的深度資訊，以此方法合成的三維立體影像再透過三維立體顯示器顯示出來，就能在裸眼觀賞的情形下在觀賞者的腦中呈現出具有深度和距離感的三維立體影像；另一方面，依據三維立體影像的各個像素在三維立體顯示器中的排列位置，再配合三維立體顯示器的特殊硬體設計，就能顯示多視角三維立體影像(Multi-views 3D stereoscopic image)。
在利用二維影像和深度圖合成多視角三維立體影像的過程中，必需考慮影像處理的速度和記憶體空間的使用問題。以九個視角(9 views)的三維立體影像為例，已知方法的處理次序如「第1圖」所示，第一個步驟是先利用來源二維影像10和深度圖11中的深度資訊經由運算產生九個視角影像(View image)21~29，再利用這九個視角影像21~29去合成九個視角的三維立體影像30。在合成的過程中，需要大量的記憶體空間來儲存九個視角影像21~29，另一方面，由於有大量的視角影像21~29在記憶體內做存取的動作，將會使得資料處理的速度變得緩慢，例如處理過程中利用來源二維影像10及深度圖11運算獲得各個視角影像21~29之後，首先會有一次將產生的各個視角影像21~29寫入記憶體的寫入動作，隨後在進行多視角三維立體影像30的合成階段，則需要利用先前的已存入記憶體中的各個視角影像21~29，此時又須要將各個視角影像21~29做讀出記憶體的動作，頻繁的記憶體讀寫動作，將會造成處理速度緩慢的結果。
以「第1圖」的習知技術為例，若是輸入端的二維影像解析度為640 x 360像素(pixel)，輸出端的三維立體影像30的解析度為1920 x 1080像素，在合成處理過程中，會產生出九個不同的視角影像，其解析度皆為640 x 360像素，因此，可推算得知，各個視角影像需要的記憶體空間為640 x 360 x 24 bits=5,529,600 bits，九個視角影像21~29總共需要的記憶體空間為9 x 5,529,600 bits約等於50M bits，再加上輸入端與輸出端影像的記憶體空間為2 x (55,296,000+49,766,400)，總共約等於210M bits，因而需要大量的記憶體空間，以儲存影像資訊。
本提案提出了一種產生多視角三維立體影像的方法，依據多視角三維立體影像之各個視角影像的像素在三維立體顯示器的顯示位置，利用一種以來源二維影像及其相應之深度圖二者所組合而成的二維-深度混合影像，以反推搜尋的方式在二維-深度混合影像找出各個顯示位置所需的來源像素，進而產生用於三維立體顯示器中顯示的多視角三維立體影像。
本提案所提出的產生多視角三維立體影像的方法的一實施例，利用來源二維影像和對應之深度圖產生用於三維立體顯示器顯示的多視角三維立體影像，包括下列步驟：
1.　取得多視角三維立體影像之各個視角影像的像素在三維立體顯示器的顯示位置；
2.　依據各個視角影像的像素在三維立體顯示器的顯示位置，在二維-深度混合影像中尋找對應顯示位置的來源像素位置；以及
3.　將來源像素位置(就是來源二維影像的像素位置)的來源像素設為對應的視角影像之顯示位置的像素，產生多視角三維立體影像。
在另一方面，本提案所提出的產生多視角三維立體影像的方法的實施例，還包括了：計算每個視角影像的像素的最大位移量的步驟，用以提高在二維-深度混合影像中尋找來源像素位置的速度。
在另一方面，本提案還包括了產生多視角三維立體影像的裝置，用以產生用於三維立體顯示器中顯示的多視角三維立體影像，本提案之裝置的一實施例包括：一混合影像取得單元，用以取得以來源二維影像和其對應的深度圖兩者所組合而成的二維-深度混合影像；一來源像素位置搜尋單元，依據各個視角影像之像素在三維立體顯示器中的顯示位置，在二維-深度混合影像中尋找對應顯示位置的來源像素位置，將來源像素位置的來源像素設為對應的視角影像之顯示位置的像素；以及一儲存單元，儲存多視角三維立體影像中各個視角影像的像素資訊，用以產生用於三維立體顯示器顯示的多視角三維立體影像。
本提案還包括了一種晶片，用以執行前述的方法進而產生多視角三維立體影像。
有關本提案的實施例及其他的功效及優點，將配合所附的圖式在下文作詳細的說明。
目前坊間有許多種類的三維立體顯示器(3D顯示器)都能支援多視角三維立體影像，但由於構造的差異以及能夠支援的視角數目不同，以致於多視角三維立體影像的各個視角影像的像素(pixel)在3D顯示器中的顯示位置也有所不同，「第2圖」顯示的一個例子是一種支援九視角(9 views)的3D顯示器40，其中九個視角影像的像素(pixel)在3D顯示器40中的顯示位置如圖中的符號所表示，其中11R 表示第1個視角影像的第1個像素的紅色(R)的顯示位置，11G 表示第1個視角影像的第1個像素的綠色(G)的顯示位置，11B 表示第1個視角影像的第1個像素的藍色(B)的顯示位置，21R 表示第2個視角影像的第1個像素的紅色(R)的顯示位置，餘此類推。
本提案的方法是利用來源二維影像(source 2D image)和其對應的深度圖(depth map)產生多視角三維立體影像，並且將多視角三維立體影像的各個視角影像的像素依據3D顯示器40中已經決定的顯示位置顯示於3D顯示器40。如「第3圖」所示來源二維影像包含許多以陣列(array)方式排列的來源像素12(source pixel)，深度圖中紀錄著對應著每一個來源像素12的深度值Dv。為了便於理解及區別，下文的說明中將以「來源像素12」一詞稱呼來源二維影像的像素。深度值Dv可以視實際情況的需要決定其分割深度，假設以8bits為分割深度，則深度值Dv可以0~255區間的任一數值來表示；同理也可以採用其他的分割深度如10bits，12bits或是更高的分割深度來記錄來源像素12的深度值Dv。
本提案所提出之方法利用一來源二維影像和對應之一深度圖產生用於3D顯示器40顯示的多視角三維立體影像，如「第4圖」所示為本提案方法的一實施例，包括下列步驟：
1.　取得多視角三維立體影像的各個視角影像的像素在3D顯示器40的顯示位置；
2A.依據各個視角影像的像素在3D顯示器40的顯示位置，在二維-深度混合影像中尋找對應顯示位置的來源像素位置；以及
3.　將來源像素位置的來源像素設為對應的視角影像之顯示位置的像素，產生多視角三維立體影像。
產生前述二維-深度混合影像的基本原則，就是把來源二維影像和其對應的深度圖重新排列，產生一個和多視角三維立體影像的解析度相同的二維-深度混合影像，依據這個原則，二維-深度混合影像可以有多種的排列方式。其中一種排列方式是利用n倍交錯排列的方式(nX interlacing)，將來源二維影像和深度圖重新排列成為二維-深度混合影像，並且使二維-深度混合影像的解析度和最後顯示在3D顯示器40的多視角三維立體影像的解析度相同，其中的n恰好為一個整數；從另一觀點而言，這個二維-深度混合影像就是實施本提案方法時的輸入資料，而多視角三維立體影像則是本提案方法的輸出資料。「第5圖」顯示了二維-深度混合影像的排列方式之一，二維-深度混合影像的左半側部分是來源二維影像的來源像素12，右半側部分是其對應的深度圖的深度值Dv，其中來源二維影像的第一列來源像素12(水平方向的列)和深度圖中第一列對應的深度值Dv都被排在二維-深度混合影像的第一列，換言之、來源二維影像在水平方向的任何一列中的來源像素12和其對應的深度值Dv皆會被排在二維-深度混合影像中的同一列位置；而在二維-深度混合影像的垂直方向，則是以重複二維-深度混合影像中某一列的內容的方式排列，而重複的次數即為前述的n值。舉例說明如下。
二維-深度影像的例子之一：假設3D顯示器40所顯示的九視角三維立體影像的解析度為1920 x 1080像素，而來源二維影像和其對應的深度圖皆為640 x 360像素，依據前述的原則，二維-深度混合影像的解析度也必需是1920 x 1080像素，n值可由下列(公式1)決定n=3(1920/640=3)，換言之二維-深度混合影像的每一列內容需要在垂直方向重複三次。
n=V1/V2‧‧‧‧‧(公式1)
其中：V1是多視角三維立體影像在垂直方向的解析度(單位：像素)；V2是來源二維影像在垂直方向的解析度(單位：像素)。
承前例，二維-深度混合影像在水平方向的解析度為1080像素，所以二維-深度混合影像的左半側部分和右半側部分的解析度都應為540像素(即為1080像素的一半)，在本例中，來源二維影像和其對應的深度圖在水平方向的解析度皆為360像素，顯然不足，對於此一問題，可以在左半側部分不足的部份直接重複來源二維影像的來源像素12，在右半側部分重複和來源像素12對應的深度值Dv，在「第6圖」所顯示的二維-深度混合影像的例子就是依此方式排列的結果，在「第5圖」的二維-深度混合影像的左半側部分內容可以看出，H1’所標示的範圍就重複了來源像素12中的部分前段內容，H2’所標示的範圍則是重複了對應之深度值Dv的內容。所以二維-深度混合影像中的垂直方向是由重複n次的每一列內容組成，水平方向的每一列則是由同一列的來源像素12和其對應的深度值Dv混合排列。
前述「第4圖」和「第5圖」所揭露的只是二維-深度混合影像的排列方式的一種實施例，其他可能的實施例還包括：可以將來源二維影像和其對應的深度圖的位置對調，令二維-深度混合影像的左半側部分為深度圖，右半側部分為來源二維影像的來源像素12；另外一種可能的實施例，也可以是將同一列的來源像素12和其對應的深度值Dv交錯排列，換言之就是二維-深度混合影像中同一列的內容是由同一列的來源像素12和其對應的深度值Dv混合而成。
多視角三維立體影像基本上是由多個視角影像(view image)所組成，這些視角影像的像素在3D顯示器40中都有一個固定的位置(如前述的「第2圖」就是一種例子)，為了便於區別，在本提案的實施例說明中將這個固定的位置稱為「顯示位置」。每一個顯示位置的像素資訊(包含顏色和亮度)則是選自來源二維影像中的某一個來源像素12，至於每一個來源像素12應該被配置到哪一個顯示位置，則可由對應於來源像素12的深度值Dv來決定。從另一觀點而言，來源二維影像中的每一個來源像素12都有一個和其對應的深度值Dv，透過「深度-位移量轉換公式」就可以決定每一個來源像素12應該被配置到哪一個視角影像的同一列中的哪一個顯示位置，由於不同的3D顯示器40都有不同的「深度-位移量轉換公式」，下文中的「深度-位移量轉換公式(公式2)」只是其中的一種例子，並非以此(公式2)為限。
下列的深度-位移量轉換公式(公式2)可以算出來源像素12在某一視角影像中的相對位移量(指相對於來源影像中的當前位置的位移量)，只要把來源像素12位於來源二維影像中的當前位置(x,y)輔以「深度-位移量轉換公式」(例如：公式2)算出的相對位移量d，就能獲知這個來源像素12應被配置在某一視角影像中的哪一個顯示位置，由於來源像素12只會在同一列的位置作水平方向的位移，所以顯示位置可表示為(x+d,y)，其中x表示在列中的水平位置，y則表示列。
位移量=[(z*VS_EYE_INTERVAL*VS_V/0.5)/(VS_VIEW_DISTANCE+z)]*(VS_PIXEL_SIZE/VS_SCREEN_SIZE)‧‧‧‧(公式2)
其中各個參數的意義如下：
z=DispBitmap*(VS_Z_NEAR-VS_Z_FAR)/255.0+VS_Z_FAR，代表產生出的視角影像跟3D顯示器40之螢幕的距離；其中的255表示此例子是採用8bits的分割深度，但並不以此為限，可視實際情況的需要選擇其他適合的分割深度，若是採用10bits的分割深度則除以1023，餘此類推，若是採用n bits的分割深度，則除以(2^n)-1。
DispBitmap‧‧‧‧‧‧‧‧‧深度
VS_SCREEN_SIZE‧‧‧‧‧螢幕寬度，單位：cm
VS_PIXEL_SIZE‧‧‧‧‧‧螢幕解析度，單位：pixel
VS_EYE_INTERVAL‧‧‧‧眼睛間距，單位：cm
VS_VIEW_DISTANCE‧‧‧眼睛與螢幕距離，單位：cm
VS_Z_NEAR‧‧‧‧‧‧‧立體成像實際離螢幕的最近距離，單位cm(負代表螢幕前)
VS_Z_FAR‧‧‧‧‧‧‧‧立體成像實際離螢幕的最遠距離，單位cm(正代表螢幕前)
VS_V‧‧‧‧‧‧‧‧‧‧第幾個視角影像
「第7圖」的例子顯示了多視角三維立體影像中某一視角影像的像素的顯示位置和二維-深度混合圖二者之間的關係。本提案依據多視角三維立體影像之各個視角影像的像素在3D顯示器40的顯示位置，利用二維-深度混合影像所記載的資訊，以反推搜尋(inverse view image search)的方式在二維-深度混合影像之中找出各個顯示位置所需的來源像素12，進而產生用於3D顯示器40中顯示的多視角三維立體影像。
如「第7圖」所示，例如九視角三維立體影像中的B’代表第一個視角影像(view image 1)的第一個像素的顯示位置，本提案前述方法的步驟3的詳細執行過程的一實施例，將會由二維-深度混合圖中左半側部分同一列(第一列)的第一個來源像素12的來源像素位置P1.1開始，依序依「深度-位移量轉換公式」尋找同一列中每個來源像素12的相對位移量d，進一步計算出來源像素12會被配置到的對應的視角影像的哪一個顯示位置，直至找到某一來源像素12(例如圖中的P1.4)被配置的顯示位置和當前的顯示位置B’一致，就把被找到的來源像素12(圖中的P1.4)設為對應的視角影像之顯示位置B’的像素，依此步驟反推搜尋3D顯示器40的每一個顯示位置所需的來源像素12，就能產生多視角三維立體影像。
本提案方法的另一實施例(如「第8圖」所示)，其中的步驟2B還可包括：計算來源像素12在每個視角影像中的最大相對位移量max-d，然後依據各個視角影像的像素在3D顯示器40的顯示位置，在最大相對位移量max-d的範圍內從二維-深度混合影像中尋找對應顯示位置的來源像素位置。
由於來源像素12在各個視角影像的相對位移量d與來源像素12對應的深度值Dv有關，相對位移量d愈大表示來源像素12被配置到各個視角影像中的顯示位置會與來源像素12在來源二維影像中的位置相隔較遠，以致步驟3的搜尋時間可能會變長，因此，可以先用最大的深度值Dv(例如為255)和最小的深度值Dv(例如為0)代入「深度-位移量轉換公式」，預先計算出來源像素12在各個視角影像中的最大相對位移量max-d，如「第9圖」所示的圖例，其中某一列的第x個來源像素12，分別用最大的深度值Dv(例如為255)和最小的深度值(例如為0)代入前述「深度-位移量轉換公式」計算出第x個來源像素12在某一個視角影像中的最大相對位移量範圍max-d，然後依據各個視角影像的像素在3D顯示器40的顯示位置，在最大相對位移量的範圍max-d內從二維-深度混合影像中尋找對應顯示位置的來源像素位置，將有助於節省尋找的時間。
本提案方法的另一實施例(如「第10圖」所示)，其中的步驟2C還可包括了：依據當前所要尋找之視角影像的排列順序，決定在二維-深度混合影像中的尋找方向，然後依據各個視角影像的像素在3D顯示器40的顯示位置，在最大相對位移量的範圍max-d內從二維-深度混合影像中尋找對應顯示位置的來源像素位置。多視角三維立體影像包含兩個或兩個以上的視角影像，且會分成左、右兩邊區域的視角，以九視角三維立體影像為例，其中每一個視角影像中的物體60和第一至第九個視角影像51~59的觀賞點的位置關係如「第11圖」所示，假設第五個視角為正視的視角，而第一個到第四個視角51-54與第六個到第九個視角56-59則會分成左、右兩邊區域的視角，左邊區域的視角在進行來源像素12的搜尋時，會在最大相對位移量範圍max-d內依序從左至右尋找每一個來源像素12；相反地，在右邊區域的視角則會依序從右至左尋找，若發現相同的資訊時，這種尋找方式可以避免選擇錯誤的來源像素12。
本提案之裝置的一實施例，如「第12圖」所示，能夠產生用於3D顯示器40中顯示的多視角三維立體影像，包括：一混合影像取得單元70，由來源二維影像和其對應的深度圖兩者取得其所組合而成的二維-深度混合影像；一來源像素位置搜尋單元71，依據各個視角影像之像素在3D顯示器40中的顯示位置，在二維-深度混合影像中尋找對應顯示位置的來源像素位置，將來源像素位置的來源像素12設為對應的視角影像之顯示位置的像素；以及一儲存單元72，儲存多視角三維立體影像中各個視角影像的像素資訊，用以產生用於3D顯示器40顯示的多視角三維立體影像。
前述裝置的實施例之一可以透過韌體(firmware)的形式實施，具體而言可以使用具有資料處理能力的積體電路元件(IC)或是晶片(chip)來實現前述裝置中的各個單元70~72，若是積體電路元件或是晶片之中還內建有記憶體(memory)更佳，利用積體電路元件(IC)或是晶片(chip)之中的運算單元(CPU)運行混合影像取得單元70和來源像素位置搜尋單元71，將二維-深度混合影像作為裝置的輸入資料，而將多視角三維立體影像作為輸出資料，以便顯示在3D顯示器40的螢幕。
「第13圖」是本提案之裝置的另一實施例，其中還包括一最大位移量範圍的計算單元73，以利來源像素位置搜尋單元71依據各個視角影像的像素在3D顯示器40的顯示位置，在最大相對位移量的範圍max-d內從二維-深度混合影像中尋找對應顯示位置的來源像素位置，以助於節省尋找的時間。
綜上所述，依據本提案所提出的產生多視角三維立體影像的方法及其裝置，可以節省記憶體的佔用空間並且改善產生多視角三維立體影像的速度；與前述習知技術相較，本提案方法所需要的記憶體空間可以由下列表1瞭解，確實可以節省許多的記憶空間，這也可使得本提案裝置在利用積體電路元件(IC)或是晶片(chip)來實現的情形下，也能收到縮小元件面積的功效。
 習知圖式
10．．．來源二維影像
11．．．深度圖
21~29．．．視角影像(View image)
30．．．三維立體影像
40．．．3D顯示器
本提案圖式
12．．．來源像素(source pixel)
51~59．．．第一至第九個視角影像
60．．．物體
70．．．混合影像取得單元
71．．．來源像素位置搜尋單元
72．．．儲存單元
73．．．最大位移量範圍的計算單元
Dv．．．深度值
d．．．相對位移量
B’．．．第一個視角影像(view image 1)的第一個像素的顯示位置
P1.1．．．第一個來源像素的來源像素位置
P1.4．．．來源像素
max-d．．．來源像素在每個視角影像中的最大相對位移量
H1’．．．重複了來源像素中的部分前段內容的範圍
H2’．．．重複了對應之深度值Dv的內容的範圍
第1圖，揭示了習知技術產生多視角三維立體影像的方法。
第2圖，為習知3D顯示器的一個例子，顯示多視角三維立體影像的各個視角影像的像素在3D顯示器中的顯示位置。
第3圖，顯示來源二維影像和其對應之深度圖的關係。
第4圖，為本提案方法的一實施例步驟。
第5圖，顯示本提案之二維-深度混合影像的排列方式的一實施例。
第6圖，顯示二維-深度混合影像的一實例影像。
第7圖，為本提案的一實施例，顯示多視角三維立體影像中某一視角影像的像素的顯示位置和二維-深度混合影像二者之間的關係。
第8圖，為本提案方法的另一實施例步驟。
第9圖，為本提案方法中計算最大相對位移量範圍的一實施例圖。
第10圖，為本提案方法的另一實施例步驟。
第11圖，顯示物體和第一至第九個視角影像的觀賞點的位置關係。
第12圖，為本提案之裝置的一實施例。
第13圖，為本提案之裝置的另一實施例。

Claims (18)

  1. 一種產生多視角三維立體影像的方法，利用一來源二維影像和對應之一深度圖產生用於三維立體顯示器顯示的多視角三維立體影像，包括：將該來源二維影像和該深度圖組合成一二維-深度混合影像；取得該多視角三維立體影像的各個視角影像的像素在該三維立體顯示器的一顯示位置；依據各個該視角影像的像素在該三維立體顯示器的該顯示位置，在該來源二維影像和該深度圖中尋找對應該顯示位置的一來源像素位置；以及將該來源像素位置的一來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像；其中，該來源二維影像在水平方向的任何一列該來源像素和其對應的該深度圖的深度值都排在該二維-深度混合影像中的同一列位置，而在該二維-深度混合影像的垂直方向，則是將該二維-深度混合影像中某一列的內容重複n次的方式排列，該n=V1/V2，其中該V1是該多視角三維立體影像在垂直方向的解析度，該V2是該來源二維影像在垂直方向的解析度。
  2. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中該二維-深度混合影像的解析度和該多視角三維立體影像的解析度相同。
  3. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中該來源二維影像和其對應的該深度圖分別排列在該二維-深度混合影像的左半側部分和右半側部分。
  4. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中該二維-深度混合影像中同一列的內容可由同一列的該來源像素和其對應的深度值以交錯排列方式混合而成。
  5. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中將該來源像素位置的該來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像之步驟，係依據該多視角三維立體影像之各個該視角影像的像素在該三維立體顯示器的該顯示位置，利用該二維-深度混合影像所記載的資訊，以反推搜尋(inverse view image search)的方式在該二維-深度混合影像之中找出各個該顯示位置所需的該來源像素。
  6. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中將該來源像素位置的該來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像之步驟，係由該二維-深度混合圖中的第一個該來源像素的該來源像素位置開始，依序以一深度-位移量轉換公式尋找與該顯示位置的同一列中每個該來源像素的相對位移量，進一步計算出該來源像素會被配置到對應的該視角影像的哪一個該顯示位置，直至找到某一該來源像素被配置的該顯示位置和當前的該顯示位置一致，就把被找到的該來源像素設為對應的該視角影像之該顯示 位置的像素。
  7. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中將該來源像素位置的該來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像之步驟，還包括了：計算該來源像素在每一個該視角影像中的一最大相對位移量，然後依據該各個視角影像的像素在該三維立體顯示器的該顯示位置，在該最大相對位移量的範圍內從該二維-深度混合影像中尋找對應該顯示位置的該來源像素位置。
  8. 如申請專利範圍第7項所述產生多視角三維立體影像的方法，其中還包括了：依據當前所要尋找之該視角影像的排列順序，決定在該二維-深度混合影像中的尋找方向，然後依據各個該視角影像的像素在該三維立體顯示器的該顯示位置，在該最大相對位移量的範圍內從該二維-深度混合影像中尋找對應該顯示位置的該來源像素位置。
  9. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中將該來源像素位置的該來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像之步驟，係由該來源二維影像和該深度圖中的第一個該來源像素的位置開始，依序以一深度-位移量轉換公式尋找和該顯示位置的同一列中每個該來源像素的相對位移量，進一步計算出該來源像素會被配置到對應的該視角影像的哪一個該顯示位置，直至找到某一該來源像素被配置的該顯示位置和當前的該顯示位置一致， 就把被找到的該來源像素設為對應的該視角影像之該顯示位置的像素。
  10. 如申請專利範圍第1項所述產生多視角三維立體影像的方法，其中將該來源像素位置的該來源像素設為對應的該視角影像之該顯示位置的像素，以產生該多視角三維立體影像之步驟，還包括了：計算該來源像素在每一個該視角影像中的一最大相對位移量，然後依據該各個視角影像的像素在該三維立體顯示器的該顯示位置，在該最大相對位移量的範圍內從來源二維影像和該深度圖中尋找對應該顯示位置的該來源像素位置。
  11. 如申請專利範圍第10項所述產生多視角三維立體影像的方法，其中還包括了：依據當前所要尋找之該視角影像的排列順序，決定在該來源二維影像和該深度圖中的尋找方向，然後依據各個該視角影像的像素在該三維立體顯示器的該顯示位置，在該最大相對位移量的範圍內從該來源二維影像和該深度圖中尋找對應該顯示位置的該來源像素位置。
  12. 一種產生多視角三維立體影像的裝置，利用一來源二維影像和對應之一深度圖產生用於三維立體顯示器顯示的多視角三維立體影像，包括：一混合影像取得單元，取得由該來源二維影像和其對應的該深度圖兩者所組合而成的一二維-深度混合影像；一來源像素位置搜尋單元，依據該各個視角影像之像素在該三維立體顯示器中的該顯示位置，在該來源二維影像和該深 度圖中尋找對應該顯示位置的一來源像素位置，將該來源像素位置的一來源像素設為對應的該視角影像之該顯示位置的像素；以及一儲存單元，儲存該多視角三維立體影像中各個該視角影像的像素資訊，用以產生用於該三維立體顯示器顯示的該多視角三維立體影像；其中，該來源二維影像在水平方向的任何一列該來源像素和其對應的該深度圖的深度值皆排在該二維-深度混合影像中的同一列位置，而在該二維-深度混合影像的垂直方向，則是將該二維-深度混合影像中某一列的內容重複n次的方式排列，該n=V1/V2，其中該V1是該多視角三維立體影像在垂直方向的解析度，該V2是該來源二維影像在垂直方向的解析度。
  13. 如申請專利範圍第12項所述產生多視角三維立體影像的裝置，其中該來源像素位置搜尋單元和該儲存單元可為具有資料處理能力的積體電路元件(IC)或是晶片(chip)。
  14. 如申請專利範圍第12項所述產生多視角三維立體影像的裝置，其中該二維-深度混合影像的解析度和該多視角三維立體影像的解析度相同。
  15. 如申請專利範圍第12項所述產生多視角三維立體影像的裝置，其中該來源二維影像和其對應的該深度圖分別排列在該二維-深度混合影像的左半側部分和右半側部分。
  16. 如申請專利範圍第12項所述產生多視角三維立體影像的裝 置，其中該二維-深度混合影像中同一列的內容可由同一列的該來源像素和其對應的深度值以交錯排列方式混合而成。
  17. 如申請專利範圍第12項所述產生多視角三維立體影像的裝置，其中該來源像素位置搜尋單元係依據該多視角三維立體影像之各個該視角影像的像素在該三維立體顯示器的該顯示位置，利用該二維-深度混合影像所記載的資訊，以反推搜尋(inverse view image search)的方式在該二維-深度混合影像之中找出各個該顯示位置所需的該來源像素。
  18. 如申請專利範圍第12項所述產生多視角三維立體影像的裝置，其中還包括一最大位移量範圍的計算單元，以供該來源像素位置搜尋單元依據各個該視角影像的像素在該顯示位置，在一最大相對位移量的範圍max-d內從該來源二維影像和該深度圖中尋找對應該顯示位置的該來源像素位置。
TW099121946A 2009-12-29 2010-07-02 產生多視角三維立體影像的方法及其裝置 TWI459796B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US29081009P 2009-12-29 2009-12-29

Publications (2)

Publication Number Publication Date
TW201127022A TW201127022A (en) 2011-08-01
TWI459796B true TWI459796B (zh) 2014-11-01

Family

ID=44186941

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099121946A TWI459796B (zh) 2009-12-29 2010-07-02 產生多視角三維立體影像的方法及其裝置

Country Status (2)

Country Link
US (1) US8698797B2 (zh)
TW (1) TWI459796B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP5898842B2 (ja) 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP6021296B2 (ja) * 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
KR101779423B1 (ko) * 2011-06-10 2017-10-10 엘지전자 주식회사 영상처리방법 및 영상처리장치
DE102011052050A1 (de) * 2011-07-21 2013-01-24 Sick Ag 3D-Kamerasystem
US9100642B2 (en) * 2011-09-15 2015-08-04 Broadcom Corporation Adjustable depth layers for three-dimensional images
US10931927B2 (en) 2013-01-31 2021-02-23 Sony Pictures Technologies Inc. Method and system for re-projection for multiple-view displays
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
KR20140115854A (ko) * 2013-03-22 2014-10-01 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
TWI535282B (zh) * 2013-07-10 2016-05-21 宏達國際電子股份有限公司 用於產生多視點視訊的方法和電子裝置
US10141022B2 (en) 2013-07-10 2018-11-27 Htc Corporation Method and electronic device for generating multiple point of view video
KR102526754B1 (ko) 2016-07-13 2023-04-27 삼성전자주식회사 3차원 영상 처리 방법 및 장치
US9998700B1 (en) * 2016-12-05 2018-06-12 Omnivision Technologies, Inc. Image sensor failure detection
US10684537B2 (en) * 2017-11-14 2020-06-16 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and correction
US10681318B2 (en) * 2017-11-14 2020-06-09 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and slope-based correction

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179638A (en) 1990-04-26 1993-01-12 Honeywell Inc. Method and apparatus for generating a texture mapped perspective view
ES2273457T3 (es) 1996-02-01 2007-05-01 Vi(Z)Rt Ltd Sistema de escenario de estudio con clave croma.
AU2002952874A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd 3D image synthesis from depth encoded source view
CN101203881B (zh) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 图像和相关数据的组合交换
CN101690249B (zh) * 2007-06-26 2012-06-20 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、用于3d视频信号解码器的方法和系统

Also Published As

Publication number Publication date
US8698797B2 (en) 2014-04-15
US20110157159A1 (en) 2011-06-30
TW201127022A (en) 2011-08-01

Similar Documents

Publication Publication Date Title
TWI459796B (zh) 產生多視角三維立體影像的方法及其裝置
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
JP5431726B2 (ja) 画像および関連データの組み合わされた交換
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
CN108513123B (zh) 一种集成成像光场显示的图像阵列生成方法
TWI492186B (zh) 修補三維立體影像之裝置及方法
WO2010013382A1 (ja) 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
CN106604018B (zh) 3d显示设备及其控制方法
CN103809293B (zh) 基于子像素的3d集成成像显示设备
US20100201783A1 (en) Stereoscopic Image Generation Apparatus, Stereoscopic Image Generation Method, and Program
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
JP2009516864A (ja) マルチビューディスプレイ装置のためのビューの描画
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
CN108712643A (zh) 二维图像转换成三维图像的方法、装置及三维成像系统
US8577202B2 (en) Method for processing a video data set
JP2005165614A (ja) 画像合成装置および画像合成方法
TWI387934B (zh) 多視角影像之建構方法及系統
US8797383B2 (en) Method for stereoscopic illustration
TWI462569B (zh) 三維影像攝相機及其相關控制方法
TW201101227A (en) Image transformation method adapted to computer programming product and image display device
KR101794492B1 (ko) 다시점 영상 디스플레이 시스템
TWI491243B (zh) 影像處理方法
TW201431349A (zh) 應用於裸視３ｄ顯示之影像轉換方法與模組
CN103250185A (zh) 使用能量值的图像处理装置及其图像处理方法和显示方法
CN102843571A (zh) 多视角立体显示器影像合成方法