TW202304199A - 多視像影像創造系統和創造方法 - Google Patents
多視像影像創造系統和創造方法 Download PDFInfo
- Publication number
- TW202304199A TW202304199A TW111112833A TW111112833A TW202304199A TW 202304199 A TW202304199 A TW 202304199A TW 111112833 A TW111112833 A TW 111112833A TW 111112833 A TW111112833 A TW 111112833A TW 202304199 A TW202304199 A TW 202304199A
- Authority
- TW
- Taiwan
- Prior art keywords
- view
- image
- view image
- layer
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000002131 composite material Substances 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000002156 mixing Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000011068 loading method Methods 0.000 claims description 4
- 230000003362 replicative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 230000008676 import Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003989 dielectric material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明針對一種從單視像影像創造多視像影像的多視像影像創造系統和創造方法。創造多視像影像包含導入單視像影像並且將單視像影像指派給合成多視像影像的第一多視像影像圖層。創造多視像影像進一步包含:將單視像影像複製到第一多視像影像圖層的複數個視像影像中;將第一多視像影像圖層的深度設定基於視像影像的序號轉換為對應視像影像的複數個偏移值;以及根據對應偏移值來偏移第一多視像影像圖層的視像影像;複數個多視像影像圖層可以在多視像顯示器上以預定義順序自動成像為合成多視像影像。
Description
本發明關於一種創造系統和創造方法,特別是多視像影像創造系統和創造方法。
多視像影像表示具有不同視像的場景。視像可能會根據視角而以不同程度重疊。觀看者可以感知同時呈現在顯示器上的多視像影像的不同視像,因為他或她位於相對於顯示器的不同視角。例如,多視像影像的不同視像分別呈現給觀看者的每隻眼睛,以創造深度感。在一些情況下,觀看者可以佩戴特殊眼鏡來控制眼睛感知哪個視像。在其他情況下,視像以裸視立體方式引導到每隻眼睛,而無需特殊眼鏡。在任何情況下,多視像顯示系統都會成像多視像影像以顯示。在一些情況下,多視像影像是使用不同視點的攝影機(或多個攝影機)創造以擷取場景。每個視像組合在一起來形成多視像影像。
為了實現這些與其他優點並且根據本發明的目的,如本文所體現和廣泛描述的,提供一種創造多視像影像的方法,該方法包括:將一單視像影像導入一應用程式,該單視像影像指派給形成一合成多視像影像的複數個多視像影像圖層中的一第一多視像影像圖層;將該單視像影像複製到該第一多視像影像圖層的複數個視像影像中;接收使用者輸入,該使用者輸入包括用於該第一多視像影像圖層的一深度設定;將該深度設定基於每個該視像影像的序號轉換為對應視像影像的複數個偏移值;根據響應於該第一多視像影像圖層被選擇的對應的該偏移值,來偏移該第一多視像影像圖層的該視像影像;以及在一多視像顯示器上將該複數個多視像影像圖層以一預定義順序自動成像為該合成多視像影像。
根據本發明一實施例,該單視像影像格式化為位元圖格式,該位元圖格式包括每個像素的顏色通道值和透明度值。
根據本發明一實施例,該造多視像影像的方法進一步包括將該視像影像中的其中一個指派為一基本視像影像,其中該基本視像影像的該偏移值為零。
根據本發明一實施例,偏移每個該視像影像包括沿著水平方向偏移每個該視像影像的像素。
根據本發明一實施例,該創造多視像影像的方法進一步包括將該第一多視像影像圖層的每個該視像影像與該複數個多視像影像圖層的一第二多視像影像圖層的對應視像影像混合。
根據本發明一實施例,所述將該複數個多視像影像圖層以該預定義順序自動成像為該合成多視像影像包括:成像由該預定義順序界定的一上層多視像影像圖層,同時省略該上層多視像影像圖層的透明區域。
根據本發明一實施例,所述將該複數個多視像影像圖層以該預定義順序自動成像為該合成多視像影像包括:將每個該視像影像的像素映射到該多視像顯示器的隔行掃描位置。
根據本發明一實施例,該創造多視像影像的方法進一步包括選擇該第一多視像影像圖層的一區域並選擇性地偏移落在該選擇區域內的該視像影像的一部分。
根據本發明一實施例,進一步包括以使用者指定的多視像檔案格式將該合成多視像影像格式化。
在本發明之另一態樣中,提供一種多視像影像產生系統,包括:一多視像顯示器;一處理器;以及一記憶體,儲存複數個指令,當該複數個指令執行時會使該處理器執行以下處理:在形成一合成多視像影像的複數個多視像影像圖層之中選擇一第一多視像影像圖層,該第一多視像影像圖層包括複數個視像影像;接收使用者輸入,該使用者輸入包括用於該第一多視像影像圖層的一深度設定;將該深度設定基於每個該視像影像的一序號轉換為對應視像影像的複數個偏移值;根據對應的該偏移值來偏移所選擇的該第一多視像影像圖層的該視像影像;以及在該多視像顯示器上將該複數個多視像影像圖層以一預定義順序自動成像為該合成多視像影像。
根據本發明一實施例,該複數個視像影像是從一單視像影像複製的相同視像影像。
根據本發明一實施例,將該視像影像中的其中一個指派為一基本視像影像,其中該基本視像影像的該偏移值為零。
根據本發明一實施例,當該複數個指令執行時會進一步使該處理器執行以下處理:將該第一多視像影像圖層的每個該視像影像與該複數個多視像影像圖層的一第二多視像影像圖層的對應視像影像混合。
根據本發明一實施例,該多視像影像產生系統進一步包括一著色器,配置為藉由將每個該多視像影像圖層的像素映射到該多視像顯示器的隔行掃描位置,而以該預定義順序疊代地成像該複數個多視像影像圖層。
根據本發明一實施例,該多視像顯示器配置為使用一廣角背光件在一二維(2D)模式期間提供一廣角發射光,其中,該多視像顯示器配置為使用具有一多光束元件陣列的一多視像背光件在一多視像模式期間提供一方向性發射光,該方向性發射光包括由該多光束元件陣列中的每個多光束元件提供的複數個方向性光束,其中,該多視像顯示器配置為使用一模式控制器對該2D模式和該多視像模式進行時間多工,以依序啟動在對應該2D模式的一第一連續時間間隔期間的該廣角背光件以及在對應該多視像模式的一第二連續時間間隔期間的該多視像背光件,以及其中,該複數個方向性光束中的方向性光束的方向對應於該合成多視像影像的不同視像方向。
根據本發明一實施例,該多視像顯示器配置為在一導光體中引導光以作為一引導光,以及其中,該多視像顯示器配置為使用該多光束元件陣列中的多光束元件將該引導光的一部分散射為該方向性發射光,該多光束元件陣列中的每個多光束元件包括一繞射光柵、一微折射元件和一微反射元件其中一個或多個。
在本發明之另一態樣中,提供一種非暫時性電腦可讀取儲存媒體,其儲存可執行指令,當該可執行指令由一電腦系統的一處理器執行時,會實施從一深度圖創造一多視像影像的操作,包括:將一單視像影像指派給一第一多視像影像圖層;載入用於該第一多視像影像圖層的該深度圖;修改該深度圖的大小和形狀其中之一或之二,以提供一修改後深度圖;從該單視像影像以及從該修改後深度圖合成複數個視像影像以用於該第一多視像影像圖層;以及在一多視像顯示器上將該第一多視像影像圖層以及一第二多視像影像圖層以一預定義順序自動成像為一合成多視像影像。
根據本發明一實施例,所述合成複數個視像影像包括使用一神經網路預測該複數個視像影像。
根據本發明一實施例,所述自動成像包括將每個該視像影像的像素映射到該多視像顯示器的隔行掃描位置。
根據本發明一實施例,一使用者介面配置為在該單視像影像上疊加該深度圖,並且接收使用者輸入以修改該深度圖的大小和形狀其中之一或之二。
根據本文描述的原理的示例和實施例,本發明提供了一種多視像影像編輯創造和編輯的解決辦法。雖然可以使用攝影機(或者攝影機系統)創造多視像影像(multiview image),以在場景的不同視點擷取影像,本發明討論的實施例允許使用者藉由以下方式創造多視像內容:導入或以其他方式創造單視像影像(single view image);複製單視像影像以形成複數個視像影像;藉由自動偏移不同的視像影像來修改深度;並且將結果自動成像以顯示。實施例涉及多視像影像圖層,其中每個多視像影像圖層包括形成多視像影像圖層的不同視像影像。可以選擇多視像影像圖層,以便將各種影像編輯操作選擇性地應用於所選的多視像影像圖層。這種操作例如包含修改所選多視像影像圖層的內容深度。單視像影像可以在應用程式中輸入,並且與新的或預存的多視像影像圖層相關聯。可以複製單視像影像以產生複數個視像影像,其為單視像影像的副本。使用者可以操作各種深度設定來變更導入內容的相對深度。作為回應,應用程式將深度設定轉換為偏移值,以將不同視像影像與深度設定和視像位置(例如姿態)成比例地偏移。藉由沿著座標系移動不同視像影像的像素,可以在不同的視像影像之間創造視差。此視差會由觀看者實現為相對於顯示器表面的深度。因此,實施例引入了深度設定的概念,以在單視像影像轉換為多視像影像的時候,選擇性地修改單視像影像的特徵。
在一些實施例中,可以將深度圖載入並應用於單視像影像,以將其轉換為採用由深度圖界定的深度輪廓的多視像影像。深度圖可以是像素陣列(例如位元圖),其中像素的每個像素值表示像素位置的深度設定。然後,深度圖可以應用於單視像影像,以允許單視像影像採用深度圖的深度特徵。例如,深度圖可以界定具有深度的各種形狀(例如凸面、凹面、立方體、金字塔),並且深度圖可以應用於單視像影像,從而將其轉換為多視像影像。可以修改深度圖(例如拉伸傾斜、裁剪)以符合由單視像影像表示的物體的形狀和大小。可以執行視像合成以從修改後深度圖和單視像影像產生多個視像影像。
圖1是根據與本發明所述原理一致的一實施例,顯示示例中的多視像影像的示意圖。多視像影像103具有複數個視像106(例如視像影像)。每個視像106對應於不同主要角度方向109(例如,左視像、右視像、中心視像等)。視像106由多視像顯示器112成像以顯示。每個視像106表示由多視像影像103表示的場景的不同視角或者立體圖。因此,不同視像106彼此之間具有一定程度的視差。觀看者可以用右眼感知一個視像106,並用左眼感知不同的視像106。這使觀看者能夠同時感知不同的視像106,從而體驗到三維(3D)的效果。
在一些實施例中,當觀看者在物理上改變其相對多視像顯示器112的視角時,觀察者的眼睛可以擷取到多視像影像103的不同視像106。因此,觀看者可以與多視像顯示器112互動,看到多視像影像103的不同視像106。例如,隨著觀看者向左移動,觀看者可以看到多視像影像103中更多的場景的左側。多視像影像103可以具有沿著水平面的多個視像106和/或沿著垂直面的多個視像106。因此,當使用者改變視角以看到不同的視像106時,觀看者可以獲得多視像影像103擷取的場景的額外視覺細節。
如上文所述,每個視像106由多視像顯示器112在不同的、相應的主要角度方向109呈現。每個視像106對應於一束光(例如,具有相似主要角度方向109的光線的集合)。當呈現多視像影像103以顯示時,視像106可以實際出現在多視像顯示器112上或在其附近。觀察光場內容的特性是能夠同時觀察不同的視像。光場內容包含可以出現在螢幕前和螢幕後的視覺意象,以向觀看者傳達深度感。
2D顯示器可以與多視像顯示器112基本相似,除了2D顯示器通常配置為提供單一視像(例如,只有其中一個視像)之外,這與多視像顯示器112提供多視像影像103的不同視像106相反。本發明中,「二維顯示器」或「2D顯示器」定義為配置以提供影像的視像的顯示器,而不論該影像是從甚麼方向觀看的(亦即,在2D顯示器的預定視角內或預定範圍內),該影像的視像基本上是相同的。很多智慧型手機和電腦螢幕中會有的傳統液晶顯示器(LCD)是2D顯示器的示例。與此相反,「多視像顯示器」定義為配置從使用者的視點相對於在不同視像方向(view direction)上或從不同視像方向同時提供多視像影像(multiview image)(例如多視像畫面)的不同視像(different views)的電子顯示器或顯示系統。具體來說,不同視像106可以呈現多視像影像103的不同立體圖。
多視像顯示器112可以使用適應不同影像視像的呈現的各種技術以實現,從而同時感知不同影像。多視像顯示器的一個示例是採用散射光的多光束元件以控制不同視像106的主要角度方向的多視像顯示器。根據一些實施例,多視像顯示器112可以是光場顯示器,其表示對應不同的視像的不同顏色和不同方向的複數個光束的顯示器。在一些示例中,光場顯示器是所謂的「裸視立體」三維(3-D)顯示器,其可以使用多光束元件(例如繞射光柵)以提供多視像影像的自動立體呈現,而不需要穿戴特別的眼鏡以感知深度。
圖2是根據與本發明所述原理一致的一實施例,顯示多視像顯示器的示例的示意圖。多視像顯示器112在多視像模式下運作時可以表示多視像影像103。在一些實施例中,多視像顯示器112根據其操作模式使多視像影像以及2D影像成像。舉例而言,多視像顯示器112可以包括複數個背光件,以在不同模式下運作。多視像顯示器112可以配置為在2D模式期間使用廣角背光件115提供廣角發射光。另外,多視像顯示器112可以配置為使用具有多光束元件陣列的多視像背光件118在多視像模式期間提供方向性發射光,該方向性發射光包括由多光束元件陣列其中每一個多光束元件提供的複數個方向性光束。在一些實施例中,多視像顯示器112可以配置為使用模式控制器121對2D模式和多視像模式進行時間多工,以依序啟動對應於該2D模式的第一連續時間間隔內的廣角背光件115以及對應於該多視像模式的第二連續時間間隔內的多視像背光件118。方向性光束中的方向性光束的方向可以對應於多視像影像103的不同視像方向。模式控制器121可以產生模式選擇訊號124,以啟動廣角背光件115或多視像背光件118。
在2D模式下,廣角背光件115可以用於產生影像,以使多視像顯示器112像二維顯示器一樣運作。根據定義,「廣角」發射光定義為具有錐角的光,並且廣角發射光的錐角大於多視像影像或多視像顯示器的視像的錐角。具體來說,在一些實施例中,廣角發射光可以具有大於大約二十度(例如,>±20°)的錐角。在其他實施例中,廣角發射光的錐角可以大於大約三十度(例如,>±30°),或者大於大約四十度(例如,>±40°),或者大於大約五十度(例如,>±50°)。例如,廣角發射光的錐角可以大約大於六十度(例如,>±60°)。
多視像模式可以使用多視像背光件118取代廣角背光件115。多視像背光件118可以在頂層表面或底層表面具有多光束元件的陣列,其將光散射為具有互相不同的主要角度方向的複數個方向性光束。例如,如果多視像顯示器112在多視像模式下運行以顯示具有四個視像的多視像影像,則多視像背光件118可以將光散射為四個方向光束,每個方向性光束對應不同的視像。模式控制器121可以在2D模式和多視像模式之間依序切換,以使用多視像背光件在第一連續時間間隔期間顯示多視像影像以及使用廣角背光件在第二連續時間間隔期間顯示2D影像。方向性光束可以具有預定角度,其中每一個方向性光束對應於多視像影像的不同視像。
在一些實施例中,多視像顯示器112的每一個背光件配置為在導光體中引導光以作為引導光。在本發明中,「導光體」定義為使用全內反射(total internal reflection,TIR)在結構內引導光的結構。具體來說,導光體可以包含在導光體的工作波長下基本上為透明的核心。在各個示例中,術語「導光體」一般指的是介電材料的光波導,其利用全內反射在導光體的介電材料和圍繞導光體的物質或介質之間的界面引導光。根據定義,全內反射的條件是導光體的折射係數大於與導光體材料的表面鄰接的周圍介質的折射係數。在一些實施例中,導光體可以在利用上述的折射係數差異之外額外包含塗層,或者利用塗層取代上述的折射係數差異,藉此進一步促成全內反射。舉例而言,該塗層可以是反射塗層。導光體可以是數種導光體中的任何一種,包含但不限於平板或厚平板導光體和條狀導光體其中之一或之二。導光體的形狀可以是平板狀或厚平板狀。導光體可以由光源(例如發光裝置)側光式發光。
在一些實施例中,多視像顯示器112的多視像背光件118配置為使用多光束元件陣列之中的多光束元件將引導光的一部分散射為方向性發射光,多光束元件陣列之中每一個多光束元件包括繞射光柵、微折射元件和微反射元件其中一個或多個。在一些實施例中,多光束元件的繞射光柵可以包括複數個個別子光柵。在一些實施例中,微反射元件配置為反射性耦合出或散射出引導光的一部分以作為複數個方向性光束。微反射元件可以具有反射塗層以控制引導光的散射方向。在一些實施例中,多光束元件包括微折射元件,微折射元件配置以藉由或使用折射以耦合出或散射出引導光的一部分(亦即,折射性散射出引導光的一部分)以作為複數個方向性光束。
多視像顯示器112可以進一步包含位於背光件上方的光閥陣列(例如,在廣角背光件115和多視像背光件118上方)。光閥陣列中的光閥可以是,例如,液晶光閥、電泳光閥、基於或採用電潤濕的光閥、或其任何組合。當在2D模式下工作時,廣角背光件115向光閥陣列發光。此光可以是以廣角發射的擴散光。每個光閥受控制以實現特定的像素閥以顯示2D影像,因為其被廣角背光件115發出的光而照明。在此態樣,每個光閥對應於單一像素。在此態樣,單一像素,可以包含不同的彩色像素(例如紅色、綠色、藍色),組成單一像素單元(例如,液晶單元)。
當在多視像模式下運作時,多視像背光件118發出方向性光束來照明光閥陣列。光閥可以組合在一起,以形成多視像像素。例如,在四視像的多視像配置中,多視像像素可以包括不同的像素,每個像素對應不同的視像。在多視像像素的情況下,多視像像素中的每一個像素可以稱為子像素。多視像像素中的每一個子像素可以進一步包括不同的彩色像素。
多視像像素佈置中的每一個光閥可以被其具有主要角度方向的其中一個光束照明。因此,多視像素像素是像素群組,其提供多視像影像的像素的不同視像。在一些實施例中,多視像背光件118的每一個多光束元件都專門用於光閥陣列的多視像像素。
多視像顯示器112包括顯示多視像影像103的螢幕。舉例而言,螢幕可以是電話(例如手機、智慧型手機等)、平板電腦、筆記型電腦、桌上型電腦的電腦顯示器、攝影機顯示器、或基本上顯示任何其他裝置的電子顯示器的顯示螢幕。
如本發明所用,「視差」定義為多視像影像的至少兩個視像在對應位置的差別。例如,在立體視覺的情況中,左眼和右眼可以看到同一個物體,但由於兩眼之間的視角不同,其物體的位置會略有不同。這種差別可以量化為視差性。整個多視像影像的視差變化表達了深度感。
如本發明所使用,「基線」或 「攝影機基線」定義為擷取多視像影像對應視像的兩個攝影機之間的距離。例如,在立體視覺的情況中,基線是左眼和右眼之間的距離。較大的基線會導致視差的增加,並且可以增強多視像影像的三維效果。
如本發明所使用,「透明度」指的是物體的屬性,其定義物體背後的其他物體可以被看到的程度。增加上層的透明度將使下層能被看到。最小的透明度(例如,無透明度)將使下層不能被看到,而最大的透明度將使特定層不能被看到,從而完全顯示出下層。
如本發明所使用的,冠詞「一」旨在具有其在專利領域中的通常含義,亦即「一個或多個」。例如,「一處理器 」指一個或多個處理器,並因此,本發明中「該記憶體」是指「 一個或多個記憶體組件」。
圖3是根據與本發明所述原理一致的一實施例,顯示從單視像影像創造多視像影像的示例的示意圖。圖3表示由計算裝置執行的計算裝置或應用程式203的功能。此外,圖3表示創造多視像影像的電腦實施方法。
應用程式203可以是使用者等級應用程式,如相對於圖12的進一步詳細討論。應用程式203可以提供使用者介面以允許使用者創造和編輯多視像影像,例如,圖1的多視像影像103。應用程式203可以執行各種操作,例如,將單視像影像導入應用程式203,單視像影像指派給形成合成多視像影像的複數個多視像影像圖層之中的第一多視像影像圖層。單視像影像205可以是任何2D影像,並且可以格式化為位元圖格式,其包括每個像素的顏色通道值和透明度值。例如,單視像影像205可以是RBG影像(紅色、綠色、藍色),其中每個像素具有紅色值、綠色值和藍色值。此外,單視像影像205可以具有指定每個像素的透明度值的α通道。
應用程式203可以允許使用者藉由將內容從剪貼簿黏貼到應用程式中來導入影像。例如,操作系統可以提供剪貼簿或其他系統記憶體其暫時儲存複製影像資料。此資料可以由應用程式203藉由黏貼操作來接收。應用程式203也可以允許使用者將單視像影像205導入為影像檔案。單視像影像205可以藉由本地或遠端存取影像庫來導入到應用程式203中。
應用程式203可以管理多視像影像圖層資料207。例如,多視像影像圖層資料207可以由應用程式203產生並載入到系統記憶體的位址空間中。多視像影像圖層資料207可以包括多視像影像圖層的列表。多視像影像圖層可以根據多視像影像圖層順序210的排序並且由多視像影像圖層名稱213標示。每個多視像影像圖層包含視像影像216的集合。將每個多視像影像圖層組合在一起形成合成多視像影像,其最終會成像以顯示。因此,對於給定的多視像影像圖層,視像影像216的集合表示合成多視像影像的層。在單視像影像導入到應用程式203時,單視像影像205可以指派給特定的多視像影像圖層。例如,使用者可以在導入單視像影像205之前選擇多視像影像圖層。因此,在單視像影像導入到應用程式203時,單視像影像205可以指派給所選擇的多視像影像圖層。作為另一示例,導入單視像影像205可以導致應用程式203創造新的多視像影像圖層,其中所導入的單視像影像205隨後指派給新創造的多視像影像圖層。因此,應用程式203可以創造並選擇多視像影像圖層,或者使用者可以選擇預先存在的多視像影像圖層,導入的單視像影像205會指派到該多視像影像圖層。
圖3的示例描繪複數個多視像影像圖層,其儲存為多視像影像圖層資料207。使用者可以藉由提供多視像影像圖層名稱213來命名每個多視像影像圖層。在此示例中,有三個名為「背景」、「山峰」、「新圖層」的多視像影像圖層。可以命名多視像影像圖層以允許使用者在創造多視像影像內容時追蹤多視像影像圖層。可以添加新多視像影像圖層並對其給定預設多視像影像圖層名稱213,例如「新圖層」。
多視像影像圖層順序210界定要在其中成像多視像影像圖層的順序。多視像影像圖層從底層到頂層成像,使得底層多視像影像圖層首先繪製,然後中間多視像影像圖層繪製在上,最後繪製頂層多視像影像圖層。因此,由於多視像影像圖層是依序成像的,每個多視像影像圖層可以覆蓋其下方的多視像影像圖層。在一些具體實施方式中,在圖層成像以顯示時,可以應用混合操作將圖層混合在一起。使用者可以改變多視像影像圖層順序210的順序。
編輯多視像影像時,使用者可以藉由選擇多視像影像圖層來操作特定的多視像影像圖層。使用者指定的所有影像處理操作可以限制在所選的多視像影像圖層。在圖3的示例中,「新圖層」是所選的多視像影像圖層,其可以稱為第一多視像影像圖層219。此允許使用者對正在創造或以其他方式編輯的多視像影像的所選部分操作。當導入單視像影像205時,單視像影像205可以指派給複數個多視像影像圖層之中的第一多視像影像圖層219。在一些實施例中,單視像影像205的導入會自動創造第一多視像影像圖層219,以使所導入的單視像影像205指派給新的多視像影像圖層。當依序成像每個多視像影像圖層時,其結果會形成合成多視像影像。
每個多視像影像圖層包含自身擁有的視像影像216的集合。視像影像集合之中的每一個視像影像表示不同的視像,如圖1的視像106。每個視像影像相對於其他視像影像都具有自身的位置。視像影像可以以各種多視像配置來格式化。多視像配置界定視像影像的數量。例如,立體多視像配置只有左視像和右視像,因此其為雙視像配置。四視像多視像配置具有四個視像,依此類推。此外,多視像配置也可以指視像的定向。視像可以水平地定向、垂直地定向或者以上述兩者定向。例如,四視像的多視像配置可以為以橫跨的四個視像而水平地定向、可以為以向下的四個視像而垂直地定向、或者可以為以橫跨的兩個視像與向下的兩個視像而四邊形地定向。應用程式203可以配置為根據多視像配置來管理每個多視像影像圖層的視像。在一些實施例中,使用者可以藉由調整視像的數量、視像的位置、視像之間的距離(例如稱為基線)等等來修改多視像配置。
圖4是根據與本發明所述原理一致的一實施例,顯示複製單視像影像創造多視像影像的示意圖。例如,圖4顯示將單視像影像205複製到第一多視像影像圖層219的複數個視像影像222中。單視像影像205可以響應導入單視像影像205而自動複製。第一多視像影像圖層219可以預先選擇或者響應單視像影像205的導入而自動產生。因此,圖4顯示視像影像222是如何產生並指派給多視像影像圖層。
至少在一開始,每個視像影像222可以是單視像影像205的複製或副本,使得每個視像影像222之間沒有視差。在此示例中,單視像影像205是行走的人的影像(例如物體)。在每個視像影像222中加入垂直虛線以顯示位於視像影像222中的對象的位置。
單視像影像205可以根據指定視像數量以及視角或位置的多視像配置來複製。每個視像皆可以具有序號,其為視像索引。在此示例中,視像1(v1)具有數字1,視像2(v2)具有數字2,視像3(v3)具有數字3,並且視像4(v4)具有數字4。每個序數可以對應視像的相對位置。在此示例中,v3視為基本視像或中心視像。最左側的視像,v1在v3左側2個單位距離之處,v2在v3左側1個單位距離之處,並且v4在v3右側1個單位距離之處。因此,實施例針對將其中一個視像影像(例如v3)指派為基本視像影像。如下文所述,基於深度的操作以相對於基本視像影像的方式對視像影像處理。
圖5是根據與本發明所述原理一致的一實施例,顯示將深度設定轉換為複數個偏移值的示例的示意圖。圖5顯示接收使用者輸入,使用者輸入包括用於第一多視像影像圖層的深度設定。應用程式203可以提供使用者介面,其用於編輯多視像影像內容。使用者介面可以包含使用者介面元件225,其允許使用者為第一多視像影像圖層219指定深度設定228。使用者介面元件225可以是滑動條、轉盤、文字方塊或任何其他元件,允許使用者指定深度設定228。深度設定可以是對應於成像內容相對於多視像顯示器被感知的位置的值。例如,深度值為零表示多視像內容將以等於螢幕的深度出現(例如在螢幕上)。在此示例中,正值對應於螢幕前的深度,而負值對應於螢幕後的深度。在圖5的示例中,使用者選擇深度設定228為7,以便將單視像影像的成像有效地移動到更靠近觀看者的位置(以特定距離出現在螢幕前)。深度設定228可以僅應用於與所選(多個)多視像影像圖層相關聯的內容。
圖5進一步顯示將深度設定基於每個視像影像的序號轉換為對應視像影像的複數個偏移值的操作。例如,圖5顯示如何將為7的深度設定228轉換為四個視像影像222的偏移值234,其中v1具有的偏移值為-20,v2具有的偏移值為-10,v3具有的偏移值為0,並且v4具有的偏移值為+10。偏移值可以表示相對於基本視像影像的偏移距離(例如v3)。偏移值234的正負號可以對應偏移的方向(例如左或右)。因此,v1是向左偏移20個像素的v3的副本。
圖5還顯示將其中一個視像影像指定為基本視像影像,其中基本視像影像的偏移值234為零。在此態樣,在其他視像影像相對於基本視像影像(例如v3)偏移時,v3會保持靜態。當使用者編輯第一多視像影像圖層219的內容時,相同的編輯會自動應用於第一多視像影像圖層219內的所有視像。然而,視像保持互相偏移。例如,當使用者對基本視像影像執行影像編輯操作時,影像編輯操作會自動應用於多視像影像圖層中的其他視像。
當將深度設定228轉換為偏移值234時,應用程式可以考量視像序號。序號對應視像的位置,從而對應於視像之間的距離。例如,v1距離v3比距離v2更遠。各種多視像參數231可以控制如何將深度設定228轉換為偏移值234。一個示例是基線,基線是指擷取多視像影像的對應視像的兩個攝影機(例如虛擬攝影機)之間的距離。
圖6是根據與本發明所述原理一致的一實施例,顯示偏移視像影像以修改多視像影像的感知深度的示例的示意圖。圖6顯示,根據響應於所選擇的第一多視像影像圖層的對應偏移值來偏移第一多視像影像圖層的視像影像。例如,第一多視像影像圖層219可以具有單視像影像205,其導入並複製以創造四個不同的視像影像。可以有其它多視像影像圖層,例如第二多視像影像圖層237。然而,複製的四個視像影像僅指派給第一多視像影像圖層219。深度設定228的應用選擇性地施加到第一多視像影像圖層219上。使用者可以在創造新的多視像影像內容時,控制各個多視像影像圖層的不同物體之間的相對深度。
第一多視像影像圖層219的內容在v1中向左偏移20個像素,在v2中向左偏移10個像素,在v3中不偏移,在v4中向右偏移10個像素。第二多視像影像圖層237中的內容在這些偏移操作中保持不變。當成像時,此偏移會影響第一多視像影像圖層219的內容與第二多視像影像圖層237的內容之間的相對深度量。
圖6的示例顯示,每個視像影像的偏移包括沿著水平方向偏移每個視像影像的像素。例如,視像(v1、v2、v3、v4)在4x1配置中具有水平攝影機。在其它實施例中,視像可以具有垂直視像或者具有水平視像和垂直視像兩者。
圖6還顯示指派給第一多視像影像圖層219的所有內容如何響應於深度設定228而偏移。部分實施例涉及選擇第一多視像影像圖層219的區域並選擇性偏移落在所選區域內的視像影像的一部分。例如,使用者可以藉由繪製方塊(或任何其他形狀)、選擇特定顏色、或者選擇任何其他像素位置來選擇第一多視像影像圖層219的一部分。此後,深度設定僅應用於所選多視像影像圖層的選定區域。例如,第一多視像影像圖層219的視像影像可以表示具有各種特徵的人(例如,身體、手臂、頭部等)。使用者可以選擇特徵(或其一部分),以使深度設定僅應用於特徵的像素。
圖7是根據與本發明所述原理一致的一實施例,顯示自動成像複數個多視像影像圖層的示例的示意圖。例如,圖7描繪在多視像顯示器上將複數個多視像影像圖層以預定義順序自動成像為合成多視像影像。在一些實施例中,成像是自動的,以使應用程式可以響應使用者輸入而自動成像複數個多視像影像圖層。例如,每次使用者在一個或多個多視像影像圖層中繪製、編輯或以其他方式修改圖像內容時,應用程式都會自動成像圖像內容以供顯示,以允許使用者查看所編輯的結果。在一些實施例中,成像是自動的,使得應用程式可以週期性地成像多視像影像圖層以顯示最近對多視像內容所做的編輯。自動成像允許使用者在變更深度時即時感知合成多視像影像。在使用者調整深度設定時,會自動修改多視像影像圖層的不同視像影像(例如平移)。
多視像影像圖層儲存為多視像影像圖層資料207。成像多視像影像圖層的應用程式可以利用著色器(shader)240來執行成像。著色器240可以是在圖形管線中執行的模組或程式,其用於處理紋理資料或其他視訊資料。著色器240可以是作為GPU的一部分的硬體組件,也可以是在圖形管線中執行的軟體程式。著色器240可以根據一預定義順序來繪製每個多視像影像圖層。預定義順序可以由使用者指定並且可以作為多視像影像圖層資料207的一部分。例如,預定義順序可以是由使用者設置的多視像影像圖層順序210。預定義順序可以指定底層多視像影像圖層249、一個或多個中間多視像影像圖層250、以及頂層多視像影像圖層251。首先,著色器240可以在多視像顯示器112上以第一順序(顯示為第一箭頭)繪製底層多視像影像圖層249。然後,著色器240可以在多視像顯示器112上繪製中間多視像影像圖層250。當每個多視像影像圖層繪製到多視像顯示器112上時,當前的多視像影像圖層可以覆蓋或以其他方式優先於第二順序中的底下的多視像影像圖層(顯示為第二箭頭)。在此態樣,底下的多視像影像圖層的像素值會替換為目前的多視像影像圖層的像素值。然後著色器240可以以第三順序(顯示為第三箭頭)在多視像顯示器112上繪製頂層多視像影像圖層251。如此就完成了多視像影像圖層(底層多視像影像圖層249、中間多視像影像圖層250、頂層多視像影像圖層251)的成像,其在多視像顯示器112上產生合成多視像影像252。由著色器240執行的繪製涉及將特定多視像影像圖層的像素值映射到螢幕上的對應位置。繪製是影像成像以顯示的一部分。在一些實施例中,著色器240配置為在將影像成像到顯示器上之前先將影像繪製到圖形記憶體緩衝區。
在一些實施例中,創造多視像影像的操作包含藉由成像由預定義順序界定的上層多視像影像圖層同時省略上層多視像影像圖層的透明區域來自動成像複數個多視像影像圖層。例如,除了顏色通道,多視像影像圖層可以包含指定每個像素的透明度的透明通道。透明區域包含一個或多個像素,其像素值指示該區域是透明(例如完全或部分透明)。當成像中間多視像影像圖層250的透明區域時,底層多視像影像圖層249的對應部分將保持在合成多視像影像252中,除非其被上層多視像影像圖層覆蓋。
在一些實施例中,創造多視像影像的操作包括以使用者指定的多視像檔案格式格式化合成多視像影像252。多視像檔案格式可以是控制特定多視像配置(例如,視像數量、視像方向)的格式。在產生多視像影像時,使用者可以首先指定在視像數量、視像方向、基線等方面上界定多視像影像的最終外觀的特徵。這些特徵可以符合複數種可選多視像影像格式其中之一。一但做出選擇,應用程式可以根據多視像格式的選擇產生合成多視像影像252。
在一些實施例中,創造多視像影像的操作包含將第一多視像影像圖層的每個視像影像與複數個多視像影像圖層的第二多視像影像圖層的對應視像影像混合。例如,多視像影像圖層可以在自動成像處理中混合。例如,當在底層多視像影像圖層249上繪製中間多視像影像圖層250(例如第二多視像影像圖層)時,著色器240可以混合不同多視像影像圖層的像素值,而不是用中間多視像影像圖層250的像素值完全覆寫於底層多視像影像圖層249。混合可能涉及將上層多視像影像圖層的像素值與繪製的下層多視像影像圖層的像素值兩者平均。混合可以涉及逐一像素的操作,以平均或以其他方式合併兩個像素的顏色值。在此態樣,正在繪製的多視像影像圖層與先前繪製的多視像影像圖層混合。因此,在成像處理中可能出現混合。
圖8是根據與本發明所述原理一致的一實施例,顯示將每個視像影像的像素映射到多視像顯示器的隔行掃描位置(interlaced locations)的示例的示意圖。例如,在一些實施例中,創造多視像影像的操作包含藉由將每個視像影像的像素映射到多視像顯示器的隔行掃描位置來自動成像複數個多視像影像圖層。執行成像的著色器240可以接收多視像影像圖層資料207,並對每個多視像影像圖層產生成像多視像影像圖層254以作為輸出。成像多視像影像圖層254可以例如是,底層多視像影像圖層249、(多個)中間多視像影像圖層250,或頂層多視像影像圖層251。成像多視像影像圖層254可以載入到圖形記憶體緩衝區中,或者以其他方式繪製到多視像顯示器112上。著色器240可以根據多視像顯示器112的特定格式以及本體格式,來格式化成像多視像影像圖層254。在一些實施例中,此涉及隔行掃描每個視像的像素,以根據其對應位置來並置各個視像的像素。例如,在產生成像多視像影像圖層254時,可以並置每個視像的最左上角像素。換句話說,每個視像的像素空間多工或者以其他方式隔行掃描來產生成像多視像影像圖層254。
如圖8所示,成像多視像影像圖層254具有空間多工或者以其他方式隔行掃描的視像。圖8顯示對應於四個視像其中一個視像的像素,其中像素是隔行掃描的(例如,交錯、空間多工的)。數字1表示屬於視像1的像素,數字2表示屬於視像2的像素,數字3表示屬於視像3的像素,並且數字4表示屬於視像4的像素。成像多視像影像圖層254的視像是水平地沿著每行、基於像素隔行掃描的。成像多視像影像圖層254具有由大寫字母A-E表示的像素行和由小寫字母a-h表示的像素列。圖8顯示一個多視像像素257在E行、e-h列的位置。多視像像素257是從四個視像其中每一個視像的像素擷取的像素排列。換句話說,多視像像素257是將四個視像其中每一個視像的個別像素隔行掃描的結果,以使其空間多工。雖然圖8顯示將不同視像的像素在水平方向上隔行掃描,但不同視像的像素可以在垂直方向上以及水平與垂直兩方向上隔行掃描。
隔行掃描視像可以導致多視像像素257具有來自四個視像其中每一個視像的像素。在一些實施例中,如圖8所示,多視像像素可以在特定方向上交錯,其中多視像像素水平地對齊,同時垂直地交錯。在其它實施例中,多視像像素可以水平地交錯並且垂直地對齊。多視像像素隔行掃描和交錯的特定方式可以取決多視像顯示器112的設計及其多視像配置。成像多視像影像圖層254可以隔行掃描像素並將其像素排列成多視像像素,以允許其映射到多視像顯示器112的實體像素(例如光閥陣列259)。換句話說,成像多視像影像圖層254的像素座標對應於多視像顯示器112的實體位置。多視像像素257具有映射261到光閥陣列259之中的特定光閥集合。控制光閥陣列259以根據成像多視像影像圖層254調變光。額外的多視像影像圖層由著色器240處理以產生額外的成像多視像影像圖層,然後繪製在底層成像多視像影像圖層上。
圖9是根據與本發明所述原理一致的一實施例,顯示產生多視像影像產生系統和操作系統的方法的流程圖。圖9的流程圖提供由執行指令集的電腦裝置(例如圖12的多視像顯示系統)實施的不同類型功能的一個示例。例如,多視像影像產生系統可以包含多視像顯示器(例如,圖1、圖2、圖7和圖8的多視像顯示器112)。多視像影像產生系統可以進一步包含處理器和儲存有複數個指令的記憶體,當執行指令時,會使處理器執行如流程表所示的各種操作。作為替代例,圖9的流程圖可視為描繪根據一個或多個實施例在電腦裝置中實施的方法的元件的示例。圖9也可以表示非暫時性電腦可讀取儲存媒體,其儲存可執行指令,當可執行指令由電腦系統的處理器執行時,會實施創造多視像影像的操作。
多視像影像產生系統配置為執行指令以使處理器將單視像影像導入到應用程式中304。多視像影像產生系統可以執行應用程式(例如圖2的應用程式203),其接收或獲取對單視像影像的存取。多視像影像產生系統配置為執行指令以使處理器複製單視像影像307。預設的多視像影像格式或使用者指定的多視像影像格式可以控制視像的數量或視像的方向。單視像影像可以根據此多視像影像格式來複製。例如,如圖3所示,根據四視像多視像影像格式複製單視像影像205以產生具有水平視差的四個視像。
多視像影像產生系統配置為執行指令以使處理器選擇多視像影像圖層310。例如,處理器可以在形成合成多視像影像的複數個多視像影像圖層中選擇第一多視像影像圖層,第一多視像影像圖層包括複數個視像影像。複數個視像影像可以是相同的視像影像,其從先前導入的單視像影像來複製。在一些實施例中,當導入單視像影像時,應用程式可以自動對單視像影像圖層創造新多視像影像圖層,然後複製單視像影像圖層,以對新多視像影像圖層產生相同視像。新多視像影像圖層可以預設選擇為響應單視像影像的導入。在其他實施例中,使用者以手動選擇任何預先存在的多視像影像圖層。由使用者指定的影像編輯操作限制在所選的多視像影像圖層(例如第一多視像影像圖層)中。
多視像影像產生系統配置為執行指令以使處理器接收包括對第一多視像影像圖層的深度設定的使用者輸入313。深度設定可以是多視像影像的編輯操作,其在成像多視像影像時調整深度。深度設定可以是對應於向使用者顯示的視覺內容相對於螢幕距離的值。在此態樣,深度設定可以使內容顯示在多視像顯示器的螢幕之前、之上或之後。深度設定可以僅應用於所選多視像影像圖層的內容。
多視像影像產生系統配置為執行指令以使處理器將深度設定轉換為偏移值316。例如,處理器可以將深度設定基於每個視像影像的序號轉換為對應視像影像的複數個偏移值。例如,視像影像可以從最左邊的視像到最右邊的視像排序為從1到4。偏移值可以取決於每個視像影像的相對位置。在一些實施例中,視像影像中的其中一個被指派為基本視像影像,此處基本視像影像的偏移值為零。在此態樣,視像影像相對於基本視像影像而偏移。
多視像影像產生系統配置為執行指令以使處理器偏移所選的多視像影像圖層的視像影像319。例如,處理器可以根據對應偏移值來偏移所選擇的該第一多視像影像圖層的視像影像。此示例將在下文相對圖6更詳細地討論。
多視像影像產生系統配置為執行指令以使處理器自動成像多視像影像圖層322。例如,舉例而言可以在多視像顯示器上將複數個多視像影像圖層以預定義順序成像為自動合成多視像影像。此示例將在下文相對圖7更詳細地討論。此外,多視像影像產生系統可以包含著色器,其配置為藉由將每個多視像影像圖層的像素映射到多視像顯示器的隔行掃描位置,而以預定義順序疊代地成像複數個多視像影像圖層。在其他實施例中,當以預定義順序成像每個多視像影像圖層時,目前的多視像影像圖層可以在自動成像期間混合。在此態樣,處理器可以將第一多視像影像圖層的每個視像影像與複數個多視像影像圖層的第二多視像影像圖層的對應視像影像混合。
上文所討論的圖9的流程圖可以顯示產生多視像影像的系統或方法和可執行指令集的實施。如果以軟體實現,每個方框可以代表一模組、代碼的一區段、一部分,其中包括實現(多個)特定邏輯功能的指令。指令可以由原始碼的形式實現,包括以程式語言編寫的人類可讀語句、從源代碼編譯的目標碼、或者包括可以被合適的執行系統(如處理器或電腦裝置)辨識的數字指令的機器碼。機器碼可以從原始碼中轉換出等。如果以硬體實現,每個區塊可以表示一個電路或者多個互相連接的電路以實現指定的(多個)邏輯功能。
儘管圖9的流程圖顯示了具體的執行順序,但應理解的是,執行順序可以與所描述的不同。例如,兩個或多個區塊的執行順序可以相對於所示順序打亂。另外,所示的兩個或多個區塊可以為同時執行,也可以為部分同時執行。此外,在一些實施例中,可以跳過或者省略其中一個或多個方框。
圖10是根據與本發明所述原理一致的一實施例,顯示從深度圖產生多視像影像的示例的示意圖。圖10提供由執行指令集的電腦裝置(例如圖12的多視像顯示系統)實施的不同類型功能的一個示例。圖10也顯示非暫時性電腦可讀取儲存媒體的實施例,其儲存可執行指令,當可執行指令由電腦系統的處理器執行時,會實施使用深度圖來創造多視像影像的操作。
圖10顯示將單視像影像指派給第一多視像影像圖層的操作。該操作進一步包含載入用於第一多視像影像圖層的深度圖。此外,該操作包含修改深度圖的大小和形狀其中之一或之二。該操作進一步包含從單視像影像以及從修改後深度圖合成複數個視像影像以用於第一多視像影像圖層;以及在多視像顯示器上將第一多視像影像圖層以及第二多視像影像圖層以預定義順序自動成像為合成多視像影像。
具體來說,圖10描繪深度圖402。深度圖可以格式化為影像檔案或者可以以其他方式包含像素陣列。深度圖可以包含每個像素的像素值405,其中像素值405指定像素的深度設定。深度圖可以可視化為灰階影像。深度圖402可以應用於單視像影像,以逐個像素地控制2D影像的深度。圖10的示例描繪反映球形的深度圖,其中朝向球體中心的像素表示距離觀看者更近的位置,而朝向球體邊緣的像素表示距離觀看者更遠的位置。深度圖402應用於單視像影像408,以使單視像影像408採用深度圖402界定的深度屬性。單視像影像408可以在使用者介面411中呈現給使用者。深度圖402可以縮放、傾斜、調整大小、調整形狀或以其他方式變形以符合單視像影像408中物體的邊緣。使用者可以拖動深度圖402(或單視像影像)的各個角落或邊緣以將深度圖402與單視像影像408對齊。在此態樣,初始深度圖402a可以由使用者調整以產生修改後深度圖402b。單視像影像408可以指派給複數個多視像影像圖層中的多視像影像圖層。視像合成器415可以將修改後深度圖402b應用於單視像影像408以產生多視像影像418的視像影像。因此,可以對所選的或特定的多視像影像圖層合成視像影像,同時保留非所選的多視像影像圖層的視像影像。
為了進一步解釋,可以藉由將單視像影像指派給第一多視像影像圖層來創造多視像影像。如上文所述,使用者可以將單視像影像408導入到應用程式(例如圖3的應用程式203)中。可以藉由更新多視像影像圖層資料來反映該分配以將單視像影像指派給多視像影像圖層。藉由將單視像影像指派給第一多視像影像圖層,對單視像影像408執行的影像編輯操作可以僅限於第一多視像影像圖層而不影響其它多視像影像圖層。
該操作進一步包含載入用於第一多視像影像圖層的深度圖402。深度圖402可以作為影像檔案儲存在儲存庫中,諸如本地記憶體或遠端伺服器。深度圖402可以由使用者將影像轉換為灰階影像來創造。操作包含修改後深度圖402的大小和形狀其中之一或之二。使用者可以修改深度圖402的形狀或大小,使得初始深度圖402a產生修改後深度圖402b。使用者介面411可以配置為在單視像影像408上疊加深度圖402,並且接收使用者輸入以修改深度圖402的大小和形狀其中之一或之二。例如,使用者可以使用游標、觸控螢幕或其他輸入機構來拉伸、扭曲、放大或縮小深度圖402的形狀和大小。深度圖402或單視像影像408可以是部分透明的,以允許使用者同時看到深度圖402和單視像影像408。使用者可以移動、調整或修改深度圖402以使其對齊,或者以其他方式使深度圖402的形狀與單視像影像408中的物體或特徵的形狀相符。應用程式可以允許使用者將深度圖402中特徵的邊界或邊緣與單視像影像408中特徵的邊界或邊緣相匹配。圖10的示例顯示如何調整將初始深度圖402a的大小調整為修改後深度圖402b,將深度圖402的球形特徵放大和縮放以符合單視像影像408的球形特徵。
一旦深度圖402調整大小或調整形狀,操作包含從單視像影像408和從修改後深度圖402b合成複數個視像,以用於第一多視像影像圖層。視像合成器415可以用於執行視像合成。視像合成器415可以從修改後深度圖402b和單視像影像408產生目標數量的視像影像。視像合成器415可以外推單視像影像408以產生一個或多個新視像影像。視像合成可以涉及前向扭曲(forward warping)、深度測試和圖像修復技術(in-painting technique)其中一個或多個,以對附近區域進行採樣,例如填充去遮擋區域。前向扭曲是對源影像轉換的影像失真處理。來自源影像的像素可以按掃描線順序進行處理,並且將結果投影到目標影像上。深度測試是藉由著色器處理(或將要處理)影像片段具有相對於將寫入的樣本的深度所測試的深度值。當測試失敗時,會丟棄片段。並且當測試通過時,深度緩衝區以片段的輸出深度更新。圖像修復指填充影像的缺失或未知的區域。部分技術涉及根據附近像素的預測像素值,或將附近的像素反射到未知或缺失的區域。影像的缺失或未知區域可能是由於場景去遮擋造成,其指被另一個場景物體部分地覆蓋的場景對象。在此態樣,視像合成可以涉及影像處理技術,以從原始立體圖建立場景的立體圖。視像合成可以涉及使用神經網路預測複數個視像影像。神經網路可以使用訓練資料來訓練。訓練資料可以包含多視像影像以及對應的深度圖。
一旦合成了視像影像,電腦系統可以執行附加操作,其包含:在多視像顯示器上將第一多視像影像圖層以及第二多視像影像圖層以預定義順序自動成像為合成多視像影像。上文關於圖7已討論了以預定序列成像多視像影像圖層的示例。在一些實施例中,自動成像是藉由將每個視像影像的像素映射到多視像顯示器的隔行掃描位置來執行。上文關於圖8已討論了隔行掃描多視像影像圖層的不同視像的像素的示例。
圖11是根據與本發明所述原理一致的一實施例,顯示允許使用者創造和編輯多視像影像的應用程式的使用者介面的示例的示意圖。使用者介面502可以由應用程式提供,例如圖3的應用程式203。使用者介面502允許使用者進行以下操作:載入單視像影像;將其轉換為多視像影像;層疊不同的多視像影像;編輯所選圖層;調整不同多視像影像圖層的多視像參數,以及在對多視像影像編輯時,在多視像顯示器上即時將結果可視化。使用者介面502包含影像區域506,其在編輯影像時會顯示該影像。影像區域506會表示已被使用者最新的編輯處理過的影像。在此態樣,當使用者編輯多視像影像時,應用程式會自動成像多視像影像並將其呈現在影像區域506中。
使用者介面502也可以包含2D/多視像切換開關509。2D/多視像切換開關509允許使用者在「2D」和「多視像」之間切換編輯影像的呈現。當2D/多視像切換開關509設置為「2D」時,影像區域506會將編輯後的影像顯示為2D影像。在一些情況下,影像的編輯以2D呈現可以更方便,因為使用者可以更容易選擇多視像影像的特定部分來執行影像編輯操作。此外,當選擇「2D」視像選項時,會向使用者呈現基本視像影像。然後,對基本視像影像所做的編輯可以自動應用於其他視像。當2D/多視像切換開關509設置為「多視像」時,影像區域506會將編輯後的影像顯示為多視像影像。
使用者介面502可以包含深度控制器512。深度控制器512可以類似圖5的使用者介面元件225以允許使用者輸入深度設定。深度控制器512可以用於將深度設定應用於所選的多視像影像圖層或所選的多視像影像圖層的所選部分。例如,當使用者修改特定多視像影像的深度設定時,多視像影像會自動呈現以允許使用者感知跟隨深度設定的深度。
使用者介面502可以包含多視像影像圖層列表515。多視像影像圖層列表515可以向使用者傳達多視像影像圖層資料,其包含多視像影像圖層的序列表。使用者可以選擇一個或多個多視像影像圖層,只對所選的多視像影像圖層予以應用編輯操作。示例圖11顯示選擇了「MV layer 2」,而未選擇「MV layer 1」和「MV layer 3」。因此,影像編輯操作(例如,深度設定調整、影像移動等)僅適用於「MV layer 2」的視像影像。此外,使用者可以改變反映在多視像影像圖層列表515中的多視像影像圖層的順序。該順序可以指定多視像影像圖層從底層到頂層的順序。在此示例中,「MV layer 1」是底層多視像影像圖層的名稱,「MV layer 2」是中間多視像影像圖層的名稱,「MV layer 3」是頂層多視像影像圖層的名稱。
使用者介面502可以具有選擇工具518的選單。選擇工具518可以包含各種使用者介面元件,其允許使用者選擇影像區域506中顯示的像素。例如,使用者可以使用套索來選擇像素群組,使用者可以選擇對應於顏色或顏色範圍的像素,或者使用者可以選擇落在影像區域506中編輯影像的特徵的邊界或邊緣內的像素。可以選擇性地對所選像素應用各種影像編輯操作。
使用者介面502可以包含導入影像521的選單。導入影像521的選單可以提供對包含單視像影像的影像的儲存庫的存取。在此態樣,可以使用使用者介面502導入單視像影像。使用者介面502可以包含類型524的選單。類型524是濾鏡、紋理、圖案或色彩配置,其轉換編輯後影像以採用類型524的視覺屬性。類型524可以應用於單視像影像以及多視像影像。
使用者介面502可以包含影像編輯工具527。影像編輯工具527允許使用者繪製形狀、添加顏色填充、擦除顏色、添加文字或以其他方式創造視覺內容。影像編輯工具527也包含用於修改視覺屬性的工具,其包含銳化、羽化、模糊、暈染、扭曲、混合像素顏色、或創造新影像或圖像內容。可以使用影像編輯工具527從頭開始創造單視像影像,然後藉由修改深度將其轉換為多視像影像。
使用者介面502可以包含混合工具530。混合是指在多視像影像圖層按預定義順序成像時,對不同多視像影像圖層的像素值進行混合。混合工具530可以指定在成像期間混合哪些多視像影像圖層以及應該應用任何混合功能。
使用者介面502可以包含載入深度圖533的選單。例如,使用者介面502可以操作類似圖10的使用者介面411以允許使用者介面選擇並載入特定深度圖(例如圖10的深度圖402)。使用者介面502可以包含選擇多視像參數536的選單。多視像參數536包含指定如何格式化多視像影像的參數。多視像參數536可以類似於圖5的多視像參數231。例如,多視像參數536可以包含基線、視像數量或視像的方向。使用者介面502可以包含儲存影像539的選單。使用者可以在保存影像時指定多視像檔案格式。
因此,使用者介面502允許使用者從單視像影像創造多視像影像,並且在進行這些編輯時即時查看對多視像影像所做的編輯。使用者介面可以將單視像影像轉換為所選多視像影像圖層內的多視像影像,並且允許使用者調整多視像影像的深度和其它多視像參數,而不是在不同的時間點創造單獨的視像。當多視像參數和影像編輯操作應用於單視像影像時,自動產生不同視像的創造與編輯。
圖12是根據與本發明所述原理一致的一實施例,顯示說明多視像顯示系統1000的一個示例的示意方塊圖。多視像顯示系統1000可以包括組件系統,其向多視像顯示系統1000的使用者執行各種電腦操作。多視像顯示系統1000可以是膝上型電腦、平板電腦、智慧型手機、觸控螢幕系統、智慧顯示系統、電腦裝置或其他客戶端裝置。多視像顯示系統1000可以包含各種組件,例如(多個)處理器1003、記憶體1006、(多個)輸入/輸出(I / O)組件1009、顯示器1012以及其他可能的組件。這些組件可以耦接到用作局部介面的匯流排1015,以允許多視像顯示系統1000的組件互相連通。儘管多視像顯示系統1000的組件顯示為包含在多視像顯示系統1000中,應理解為,至少部分組件可以藉由外部連接耦接到多視像顯示系統1000。例如,組件可以經由外部埠、插座、插頭或連接器從外部插入多視像顯示系統1000或者以其他方式連接多視像顯示系統1000。
處理器1003可以是中央處理單元(CPU)、圖形處理單元(GPU)、執行電腦處理操作的任何其他積體電路,或其組合。(多個)處理器1003可以包含一個或多個處理核心。(多個)處理器1003包括執行指令的電路。指令包含,例如,電腦編碼、程式、邏輯或其他機器可讀指令,其藉由(多個)處理器1003接收並執行,以執行指令中包含的電腦功能。(多個)處理器1003可以執行指令以操作資料。例如,(多個)處理器1003可以接收輸入資料(例如影像)、根據指令集處理輸入資料、並產生輸出資料(例如,處理後的影像)。作為另一個示例,(多個)處理器1003可以接收指令並產生新指令以用於後續執行。處理器1003可以包含實施著色器以成像影像的硬體,例如上文相對圖7討論的著色器240。(多個)處理器1003可以包括一個或多個GPU核心、向量處理器、純量處理器或硬體加速器,其實施圖形管線。
記憶體1006可以包含一個或多個記憶體組件。記憶體1006在本發明中界定為包含揮發性和非揮發性記憶體其中之一或之二。揮發性記憶體組件是指那些在斷電後不會保留資訊的記憶體組件。例如,揮發性記憶體可以包含隨機存取記憶體(RAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、磁性隨機存取記憶體(MRAM)或其他隨機存取記憶體結構。系統記憶體(例如,主記憶體、快取記憶體等)可以使用揮發性記憶體來實現。系統記憶體是指快速記憶體,其可以臨時儲存用於快速讀取和寫入存取的資料或指令以輔助(多個)處理器1003的指令。
非揮發性記憶體組件是在斷電後保留資訊的記憶體組件。非揮發性記憶體包含唯讀記憶體(ROM)、硬碟驅動器,固態硬碟、USB隨身碟、經由記憶卡讀取器訪問的記憶卡、經由關聯的軟碟驅動器存取的軟碟、經由光碟驅動器存取的光碟、經由適當的磁帶驅動器存取的磁帶。ROM可以包括,例如,可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、可電氣抹除可程式化唯讀記憶體(EEPROM)或其他類似記憶體裝置。可以使用非揮發性記憶體以實現儲存記憶體,以提供資料和指令的長期保留。
記憶體1006可以指用於儲存指令以及資料的揮發性和非揮發性記憶體的組合。例如,資料和指令可以儲存在非揮發性記憶體中,並且加載到揮發性記憶體中以由(多個)處理器1003進行處理。指令的執行可以包含,例如:編譯程式,被轉譯成機器碼:其格式可以從非揮發性記憶體加載到揮發性記憶體中,然後由處理器1003運行;原始碼,被轉換為適當格式,例如能夠加載到揮發性記憶體中以供處理器1003執行的目標碼;或者原始碼,其由另一可執行程式解譯以在揮發性記憶體中產生指令並由處理器1003執行碼。指令可以儲存或加載到記憶體1006的任何部分或組件,例如,記憶體1006包含RAM、ROM、系統記憶體、儲存器或其任何組合。
雖然記憶體1006顯示為與多視像顯示系統1000的其他組件分離,應當理解為,記憶體1006可以至少部分地嵌入或者以其他方式整合到一個或多個組件中。例如,(多個)處理器1003可以包含內建記憶體暫存器,其暫存或快取以執行處理操作。
例如,(多個)I / O組件1009包含觸控螢幕、揚聲器、麥克風、按鈕、開關、轉盤、攝影機、感測器、加速計或其他組件以接收使用者輸入或產生導向使用者的輸出。(多個)I / O組件1009可以接收使用者輸入並轉換為資料,以儲存在記憶體1006中或由處理器1003處理。(多個)I / O組件1009可以接收由記憶體1006或(多個)處理器1003輸出的資料,並將其轉換為使用者可以感知的形式(例如,聲音、觸覺響應、視覺資訊等)。上文討論的使用者介面可以藉由諸如例如鍵盤、觸控螢幕或滑鼠等的I/O組件1009接收使用者輸入。
I / O組件1009的特定類型是顯示器1012。顯示器1012可以包含多視像顯示器(例如多視像顯示器112)。可以在顯示器內疊放作為I / O組件1009的電容式觸控螢幕層,以讓使用者在感知視覺輸出同時提供輸入。(多個)處理器1003可以產生資料,其以影像的形式呈現在顯示器1012上。(多個)處理器1003可以執行指令以在顯示器上成像影像以讓使用者感知。
匯流排1015有利於(多個)處理器1003、記憶體1006、(多個)I / O組件1009、顯示器1012和多視像顯示系統1000的任何其他組件之間的指令和資料通訊。匯流排1015可以包含位址轉換器、位址解碼器、結構、導電跡線、導線、端口、插頭、插座和其他連接器,以讓資料和指令通訊。
記憶體1006內的指令可以由各種實現至少一部分的軟體堆疊的方式實現。例如,這些指令可以體現為操作系統1031的一部分、(多個)應用程式1034、裝置驅動器(例如顯示驅動器1037)、韌體(例如顯示韌體1040)或其他軟體組件。操作系統1031是支援多視像顯示系統1000的基本功能的軟體平台,諸如排程任務、控制I / O組件1009、提供硬體資源的存取、管理電源以及支持應用程式1034。
(多個)應用程式1034可以經由操作系統1031在操作系統1031上執行,並且存取多視像顯示系統1000的硬體資源。在此態樣,(多個)應用程式1034的執行至少一部分由操作系統1031控制。(多個)應用程式1034可以是向使用者提供高級功能、服務和其他功能的使用者級軟體程式。在一些實施例中,應用程式1034可以是專用的「app」,使用者可以在多視像顯示系統1000下載或者以其他方式存取。使用者可以經由操作系統1031提供的使用者介面以啟動(多個)應用程式1034。(多個)應用程式1034可以由開發人員開發並定義為各種原始碼格式。可以使用各種程式語言或手稿語言以開發應用程式1034,例如C、C ++、C#、Objective C,Java®、Swift、JavaScript®、Perl、PHP、VisualBasic®、Python®、Ruby、Go或其他手稿語言。(多個)應用程式1034可以由編譯器編譯成目標碼,或者可以由解譯器解譯以由(多個)處理器1003執行。應用程式1034可以類似圖3的應用程式203。應用程式1034也可以提供使用者介面(例如,使用者介面411、使用者介面502)。
諸如顯示驅動器1037的裝置驅動器包含指令,其讓操作系統1031與各種I / O組件1009通訊。每個I / O組件1009可以具有自身的裝置驅動器。可以安裝裝置驅動器,以使其儲存在儲存器中並加載到系統記憶體中。例如,安裝後,顯示驅動器1037將從操作系統1031接收的高階顯示指令轉換成由顯示器1012實施的較低階指令以顯示影像。
韌體,例如顯示韌體1040,可以包含允許I / O組件1009或顯示器1012執行低階操作的機器碼或組合語言碼。韌體可以將特定組件的電訊號轉換成更高階的指令或資料。例如,顯示韌體1040可以藉由調整電壓或電流訊號以控制顯示器1012如何啟動低位準電壓的各個像素。韌體可以儲存在非揮發性記憶體中,並且可以直接從非揮發性記憶體執行。例如,顯示韌體1040可以體現在耦接到顯示器1012的ROM晶片中,從而使ROM晶片與多視像顯示系統1000的其他儲存器和系統記憶體分開。顯示器1012可以包含用於執行顯示韌體1040的處理電路。
操作系統1031,(多個)應用程式1034、驅動器(例如顯示驅動器1037)、韌體(例如顯示韌體1040)以及其他可能的指令集,可以各自包括(多個)處理器1003可執行的指令、或者多視像顯示系統1000的其他處理電路,以執行上述功能和操作。儘管本發明所述的指令可以實現為由上述(多個)處理器1003執行的軟體或代碼,但作為替代,指令也可以實現為在專用硬體或軟體和專用硬體的組合中。例如,上文所述的指令執行的功能和操作可以實施為電路或狀態機,其採用多種技術中的任一種或其組合。這些技術可以包含但不限於:分立邏輯電路,其具有用於在應用一個或多個資料訊號時實施各種邏輯功能的邏輯閘;具有適當邏輯閘的特殊應用積體電路(ASIC);現場可程式邏輯閘陣列(FPGA);或者其他組件等。
在一些實施例中,實施上文所討論的功能和操作的指令可以實現在非暫時性電腦可讀取儲存媒體中。例如,實施例旨在儲存可執行指令的非暫時性電腦可讀取儲存媒體,當可執行指令由電腦系統(例如多視像顯示系統1000)的處理器(例如處理器1003)執行時,會使處理器執行上文所述的各種功能,包含從單視像影像產生多視像影像的操作。非暫時性電腦可讀取儲存媒體可以是或可以不是多視像顯示系統1000的一部分。例如,指令可以包含可以從電腦可讀取媒體擷取並由處理電路(例如(多個)處理器1003)執行的敘述、代碼或宣告。在本發明中,「非暫時性電腦可讀取儲存媒體」界定為可以包含:儲存或保持本發明所述指令以供指令執行系統(例如多視像顯示系統1000)使用或與其結合的任何媒體,並且進一步排除例如包含載波的暫時性媒體。
非暫時性電腦可讀取儲存媒體可以包括多種實體媒體其中任一種,例如磁性、光學或半導體媒體。合適的非暫時性電腦可讀取儲存媒體的更具體的示例可以包含但不限於:磁帶、軟磁碟、硬磁碟、記憶卡、固態硬碟、USB隨身碟或光碟。並且,非暫時性電腦可讀取儲存媒體可以是隨機存取記憶體(RAM),例如,其包含靜態隨機存取記憶體(SRAM)和動態隨機存取記憶體(DRAM)或磁性隨機存取記憶體(MRAM)。另外,非暫時性電腦可讀取儲存媒體可以是唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、可電氣抹除可程式化唯讀記憶體(EEPROM)或其他種類的記憶體裝置。
多視像顯示系統1000可以執行上述的任何操作或實現上述的功能。例如,上文討論的流程圖和處理流程可以由執行指令並處理資料的多視像顯示系統1000以執行。儘管多視像顯示系統1000顯示為單一裝置,但是實施例不限於此。在一些實施例中,多視像顯示系統1000可以由分佈式的方式卸載指令的處理,以使複數個多視像顯示系統1000或者其他電腦裝置一起操作以執行指令,指令可以分佈式排列地儲存或載入。例如,至少一些指令或資料可以在與多視像顯示系統1000結合操作的雲端式系統中儲存、加載或執行。
因此,本發明已描述了創造多視像影像的示例和實施例,多視像影像可以從單視像影像產生。應用程式可以將單視像影像複製到複數個視像中。使用者可以調整深度,其基於複製視像影像的相對位置自動偏移複製視像影像。此外,使用者可以將深度圖應用於單視像並且從深度圖合成複數個視像影像。使用者可以修改深度圖的形狀或大小,使其配合單視像影像的特徵。實施例針對使用者級應用程式,用於從導入單視像影像創造和編輯多視像內容。應該理解的是,上述示例僅是說明本發明所述的原理的多個具體示例的其中一些示例。很明顯的,所屬技術領域中具有通常知識者可以輕易設計出多種其他配置,但這些配置不會超出本發明申請專利範圍所界定的範疇。
本發明申請案主張於2021年4月4日提交的第 PCT/US2021/025687號國際專利申請的優先權,其全部內容通過引用併入本文。
103,418:多視像影像
106:視像
109:主要角度方向
112:多視像顯示器
115:廣角背光件
118:多視像背光件
121:模式控制器
124:模式選擇訊號
203,1034:應用程式
205,408:單視像影像
207:多視像影像圖層資料
210:多視像影像圖層順序
213:多視像影像圖層名稱
216,222:視像影像
219:第一多視像影像圖層
225:使用者介面元件
228:深度設定
231,536:多視像參數
234:偏移值
237:第二多視像影像圖層
240:著色器
249:底層多視像影像圖層
250:中間多視像影像圖層
251:頂層多視像影像圖層
252:合成多視像影像
254:成像多視像影像圖層
257:多視像像素
259:光閥陣列
261:映射
304,307,310,313,316,319,322:步驟
402:深度圖
402a:初始深度圖
402b:修改後深度圖
405:像素值
411,502:使用者介面
415:視像合成器
506:影像區域
509:多視像切換開關
512:深度控制器
515:多視像影像圖層列表
518:選擇工具
521:導入影像
524:類型
527:影像編輯工具
530:混合工具
533:載入深度圖
539:儲存影像
1000:多視像顯示系統
1003:處理器
1006:記憶體
1009:輸入/輸出(I / O)組件
1012:顯示器
1015:匯流排
1031:操作系統
1037:顯示驅動器
1040:顯示韌體
v1:視像1
v2:視像2
v3:視像3
v4:視像4
根據在本發明所述的原理的示例和實施例的各種特徵可以參考以下結合附圖的詳細描述而更容易地理解,其中相同的元件符號表示相同的結構元件,並且其中:
圖1是根據與本發明所述原理一致的一實施例,顯示示例中的多視像影像的示意圖。
圖2是根據與本發明所述原理一致的一實施例,顯示多視像顯示器的示例的示意圖。
圖3是根據與本發明所述原理一致的一實施例,顯示從單視像影像創造多視像影像的示例的示意圖。
圖4是根據與本發明所述原理一致的一實施例,顯示複製單視像影像創造多視像影像的示意圖。
圖5是根據與本發明所述原理一致的一實施例,顯示將深度設定轉換為複數個偏移值的示例的示意圖。
圖6是根據與本發明所述原理一致的一實施例,顯示偏移視像影像以修改多視像影像的感知深度的示例的示意圖。
圖7是根據與本發明所述原理一致的一實施例,顯示自動成像複數個多視像影像圖層的示例的示意圖。
圖8是根據與本發明所述原理一致的一實施例,顯示將每個視像影像的像素映射到多視像顯示器的隔行掃描位置的示例的示意圖。
圖9是根據與本發明所述原理一致的一實施例,顯示產生多視像產生系統和操作系統的方法的流程圖。
圖10是根據與本發明所述原理一致的一實施例,顯示從深度圖創造多視像影像的示例的示意圖。
圖11是根據與本發明所述原理一致的一實施例,顯示允許使用者創造和編輯多視像影像的應用程式的使用者介面的示例的示意圖。
圖12是根據與本發明所述原理一致的一實施例,顯示說明多視像顯示系統的一個示例的示意方塊圖。
特定示例和實施例具有上述參考附圖所示的特徵之外的其他特徵,或者具有代替上述參考附圖中所示的特徵的其他特徵。下文將參照上述參考附圖,詳細描述這些特徵和其他特徵。
203:應用程式
205:單視像影像
207:多視像影像圖層資料
210:多視像影像圖層順序
213:多視像影像圖層名稱
216:視像影像
219:第一多視像影像圖層
v1:視像1
v2:視像2
v3:視像3
v4:視像4
Claims (20)
- 一種創造多視像影像的方法,該方法包括: 將一單視像影像導入一應用程式,該單視像影像指派給形成一合成多視像影像的複數個多視像影像圖層中的一第一多視像影像圖層; 將該單視像影像複製到該第一多視像影像圖層的複數個視像影像中; 接收使用者輸入,該使用者輸入包括用於該第一多視像影像圖層的一深度設定; 基於每個該視像影像的一序號,將該深度設定轉換為對應視像影像的複數個偏移值; 根據響應於該第一多視像影像圖層被選擇的對應的該偏移值,來偏移該第一多視像影像圖層的該視像影像;以及 在一多視像顯示器上將該複數個多視像影像圖層以一預定義順序自動成像為該合成多視像影像。
- 如請求項1之創造多視像影像的方法,其中,該單視像影像格式化為位元圖格式,該位元圖格式包括每個像素的顏色通道值和透明度值。
- 如請求項1之創造多視像影像的方法,進一步包括將該視像影像中的其中一個指派為一基本視像影像,其中該基本視像影像的該偏移值為零。
- 如請求項1之創造多視像影像的方法,其中,偏移每個該視像影像包括沿著水平方向偏移每個該視像影像的像素。
- 如請求項1之創造多視像影像的方法,進一步包括將該第一多視像影像圖層的每個該視像影像與該複數個多視像影像圖層的一第二多視像影像圖層的對應視像影像混合。
- 如請求項1之創造多視像影像的方法,其中,所述將該複數個多視像影像圖層以該預定義順序自動成像為該合成多視像影像包括:成像由該預定義順序界定的一上層多視像影像圖層,同時省略該上層多視像影像圖層的透明區域。
- 如請求項1之創造多視像影像的方法,其中,所述將該複數個多視像影像圖層以該預定義順序自動成像為該合成多視像影像包括:將每個該視像影像的像素映射到該多視像顯示器的隔行掃描位置。
- 如請求項1之創造多視像影像的方法,進一步包括選擇該第一多視像影像圖層的一區域並選擇性地偏移落在該選擇區域內的該視像影像的一部分。
- 如請求項1之創造多視像影像的方法,進一步包括以使用者指定的多視像檔案格式將該合成多視像影像格式化。
- 一種多視像影像產生系統,包括: 一多視像顯示器; 一處理器;以及 一記憶體,儲存複數個指令,當該複數個指令執行時會使該處理器執行以下處理: 在形成一合成多視像影像的複數個多視像影像圖層之中選擇一第一多視像影像圖層,該第一多視像影像圖層包括複數個視像影像; 接收使用者輸入,該使用者輸入包括用於該第一多視像影像圖層的一深度設定; 基於每個該視像影像的一序號,將該深度設定轉換為對應視像影像的複數個偏移值; 根據對應的該偏移值來偏移所選擇的該第一多視像影像圖層的該視像影像;以及 在該多視像顯示器上將該複數個多視像影像圖層以一預定義順序自動成像為該合成多視像影像。
- 如請求項10之多視像影像產生系統,其中,該複數個視像影像是從一單視像影像複製的相同視像影像。
- 如請求項10之多視像影像產生系統,其中,將該視像影像中的其中一個指派為一基本視像影像,其中該基本視像影像的該偏移值為零。
- 如請求項10之多視像影像產生系統,其中,當該複數個指令執行時會進一步使該處理器執行以下處理: 將該第一多視像影像圖層的每個該視像影像與該複數個多視像影像圖層的一第二多視像影像圖層的對應視像影像混合。
- 如請求項10之多視像影像產生系統,進一步包括一著色器,配置為藉由將每個該多視像影像圖層的像素映射到該多視像顯示器的隔行掃描位置,而以該預定義順序疊代地成像該複數個多視像影像圖層。
- 如請求項10之多視像影像產生系統,其中,該多視像顯示器配置為使用一廣角背光件在一二維(2D)模式期間提供一廣角發射光, 其中,該多視像顯示器配置為使用具有一多光束元件陣列的一多視像背光件在一多視像模式期間提供一方向性發射光,該方向性發射光包括由該多光束元件陣列中的每個多光束元件提供的複數個方向性光束, 其中,該多視像顯示器配置為使用一模式控制器對該2D模式和該多視像模式進行時間多工,以依序啟動在對應該2D模式的一第一連續時間間隔期間的該廣角背光件以及在對應該多視像模式的一第二連續時間間隔期間的該多視像背光件,以及 其中,該複數個方向性光束中的方向性光束的方向對應於該合成多視像影像的不同視像方向。
- 如請求項15之多視像影像產生系統,其中,該多視像顯示器配置為在一導光體中引導光以作為一引導光,以及 其中,該多視像顯示器配置為使用該多光束元件陣列中的多光束元件將該引導光的一部分散射為該方向性發射光,該多光束元件陣列中的每個多光束元件包括一繞射光柵、一微折射元件和一微反射元件其中一個或多個。
- 一種非暫時性電腦可讀取儲存媒體,其儲存可執行指令,當該可執行指令由一電腦系統的一處理器執行時,會實施從一深度圖創造一多視像影像的操作,包括: 將一單視像影像指派給一第一多視像影像圖層; 載入用於該第一多視像影像圖層的該深度圖; 修改該深度圖的大小和形狀其中之一或之二,以提供一修改後深度圖; 從該單視像影像以及從該修改後深度圖合成複數個視像影像以用於該第一多視像影像圖層;以及 在一多視像顯示器上將該第一多視像影像圖層以及一第二多視像影像圖層以一預定義順序自動成像為一合成多視像影像。
- 如請求項17之非暫時性電腦可讀取儲存媒體,其中,所述合成複數個視像影像包括使用一神經網路預測該複數個視像影像。
- 如請求項17之非暫時性電腦可讀取儲存媒體,其中,所述自動成像包括將每個該視像影像的像素映射到該多視像顯示器的隔行掃描位置。
- 如請求項17之非暫時性電腦可讀取儲存媒體,其中,一使用者介面配置為在該單視像影像上疊加該深度圖,並且接收使用者輸入以修改該深度圖的大小和形狀其中之一或之二。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2021/025687 WO2022216268A1 (en) | 2021-04-04 | 2021-04-04 | Multiview image creation system and method |
WOPCT/US21/25687 | 2021-04-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202304199A true TW202304199A (zh) | 2023-01-16 |
TWI823323B TWI823323B (zh) | 2023-11-21 |
Family
ID=83545623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111112833A TWI823323B (zh) | 2021-04-04 | 2022-04-01 | 多視像影像創造系統和創造方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230412789A1 (zh) |
EP (1) | EP4320859A1 (zh) |
JP (1) | JP2024514534A (zh) |
KR (1) | KR20230145421A (zh) |
CN (1) | CN117083852A (zh) |
CA (1) | CA3213167A1 (zh) |
TW (1) | TWI823323B (zh) |
WO (1) | WO2022216268A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NZ521505A (en) * | 2002-09-20 | 2005-05-27 | Deep Video Imaging Ltd | Multi-view display |
TW201218741A (en) * | 2010-10-22 | 2012-05-01 | Himax Media Solutions Inc | Image display system |
KR101831652B1 (ko) * | 2011-09-07 | 2018-02-26 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
TWI521469B (zh) * | 2012-06-27 | 2016-02-11 | Reallusion Inc | Two - dimensional Roles Representation of Three - dimensional Action System and Method |
KR101952684B1 (ko) * | 2012-08-16 | 2019-02-27 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체 |
KR102143473B1 (ko) * | 2013-11-13 | 2020-08-12 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 |
CN111127538B (zh) * | 2019-12-17 | 2022-06-07 | 武汉大学 | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 |
-
2021
- 2021-04-04 WO PCT/US2021/025687 patent/WO2022216268A1/en active Application Filing
- 2021-04-04 KR KR1020237031127A patent/KR20230145421A/ko unknown
- 2021-04-04 JP JP2023560964A patent/JP2024514534A/ja active Pending
- 2021-04-04 CA CA3213167A patent/CA3213167A1/en active Pending
- 2021-04-04 EP EP21936198.7A patent/EP4320859A1/en active Pending
- 2021-04-04 CN CN202180096669.3A patent/CN117083852A/zh active Pending
-
2022
- 2022-04-01 TW TW111112833A patent/TWI823323B/zh active
-
2023
- 2023-08-29 US US18/239,691 patent/US20230412789A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2024514534A (ja) | 2024-04-02 |
CA3213167A1 (en) | 2022-10-13 |
TWI823323B (zh) | 2023-11-21 |
KR20230145421A (ko) | 2023-10-17 |
EP4320859A1 (en) | 2024-02-14 |
CN117083852A (zh) | 2023-11-17 |
WO2022216268A1 (en) | 2022-10-13 |
US20230412789A1 (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240169489A1 (en) | Virtual, augmented, and mixed reality systems and methods | |
TWI810818B (zh) | 提供三維模型的電腦實施方法與系統及其相關之儲存媒體 | |
US20230290046A1 (en) | Multiview display system and method employing multiview image convergence plane tilt | |
TWI823323B (zh) | 多視像影像創造系統和創造方法 | |
US11818325B2 (en) | Blended mode three dimensional display systems and methods | |
KR102336156B1 (ko) | 초고화질 이미지 구현 방법 및 시스템 | |
TWI830147B (zh) | 多視像檔案格式的檢測系統與檢測方法 | |
TWI815300B (zh) | 光場攝影機系統以及多重攝影機設備的基線和匯聚距離的設定方法 | |
US20240153200A1 (en) | View synthesis system and method using depth map | |
CN117917070A (zh) | 多视图图像捕获系统和方法 | |
JP4956574B2 (ja) | 立体画像描画装置および描画方法 |