TW201536025A - 產生用於裸眼式多視角顯示器的影像 - Google Patents
產生用於裸眼式多視角顯示器的影像 Download PDFInfo
- Publication number
- TW201536025A TW201536025A TW103139936A TW103139936A TW201536025A TW 201536025 A TW201536025 A TW 201536025A TW 103139936 A TW103139936 A TW 103139936A TW 103139936 A TW103139936 A TW 103139936A TW 201536025 A TW201536025 A TW 201536025A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- view
- views
- group
- eye
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本發明揭示一種裸眼式多視角顯示器,其包括一第一影像產生器(807),該第一影像產生器產生該顯示器之視圖之一第一群組之連續視圖之視圖的第一影像。一第二影像產生器(809)產生一第二群組之連續視圖之視圖的第二影像且一第三影像產生器(811)產生一第三群組之連續視圖之至少一視圖的一第三影像。該等第一影像對應於一右眼視角且該等第二影像對應於一場景之一左眼視角。該第三影像對應於該右眼視角與該左眼視角之間之一視角。使用對應於中間視角之一過渡群組之視圖可實質上減少串擾及鬼影效應。其可結合觀看者追蹤而提供允許增大深度位準之一實用且高效能之裸眼式多視角顯示器。
Description
本發明係關於產生用於一裸眼式多視角顯示器的影像,且特定言之(但不限於),本發明係關於使用作為一單個觀看者顯示器之一多視角顯示器來產生影像。
三維顯示器日益受到關注,且開始進行如何對一觀看者提供三維感知之重要研究。三維(3D)顯示器藉由對一觀看者之雙眼提供所注視場景之不同視圖而將一第三維度新增至觀看體驗。此可藉由使使用者戴上眼鏡來使所顯示之兩個視圖分離而達成。然而,由於此對使用者而言相對較不便,所以在諸多情境中可期望使用裸眼式顯示器,其直接產生不同視圖且將該等等視圖投射至使用者之眼睛。實際上,一段時間以來,各種公司已在積極開發適合於使三維成像再現之裸眼式顯示器。裸眼式器件可對觀看者呈現一3D效果且無需特殊頭戴聽筒及/或眼鏡。
裸眼式顯示器大體上提供不同視角之不同視圖。依此方式,可針對一觀看者之左眼產生一第一影像且針對其右眼產生一第二影像。藉由顯示適當影像(即,分別來自左眼及右眼之視點的適當影像),可對觀看者傳達一3D效果。
裸眼式顯示器趨向於使用構件(諸如雙凸透鏡或障壁遮罩)來使視
圖分離且在不同方向上發送該等視圖,使得該等視圖個別地到達使用者之眼睛。立體顯示器需要兩個視圖,但大多數裸眼式顯示器通常利用更多視圖(諸如(例如)九個視圖)。
為實現3D影像效應之期望,內容經建立以包含描述所擷取之場景之3D態樣的資料。例如,對於電腦產生之圖形,可開發三維模型且使用其來計算來自一給定觀看位置之影像。例如,此一方法經常用於提供三維效應之電腦遊戲。
作為另一實例,越來越多地產生包含一些3D資訊之視訊內容,諸如電影或電視節目。可使用專用3D攝影機來擷取此資訊,該等專用3D攝影機自略微偏移之攝影機位置擷取兩個同時影像,藉此產生立體影像。
通常,裸眼式顯示器產生視圖之「視錐(cone)」,其中各視錐含有對應於一場景之不同視角的兩個或通常兩個以上視圖。相鄰(或在一些情況中,經進一步位移)視圖之間之視角差經產生以對應於一使用者之右眼與左眼之間之視角差。據此,一觀看者(其左眼及右眼看見兩個適當視圖)將感知三維效應。圖1繪示此一系統之一實例,其中九個不同視圖產生於一觀看視錐中。
諸多裸眼式顯示器能夠產生大量視圖。例如,產生九個視圖之裸眼式顯示器並不罕見。此等顯示器(例如)適合於多觀看者之情境,其中若干觀看者可同時注視顯示器且全部體驗三維效應。亦已開發具有更高數目個視圖之顯示器,其包含(例如)可提供28個不同視圖之顯示器。此等顯示器通常可使用相對較窄之觀看視錐,使得觀看者之眼睛將自複數個視圖同時接收光。此外,左眼及右眼通常將定位於不相鄰之視圖中(如同圖1之實例)。
然而,雖然所描述之裸眼式顯示器提供一非常有利之三維體驗,但其具有一些相關聯缺點。例如,裸眼式顯示器趨向於對觀看者
之位置高度敏感且因此趨向於較不適合於動態情境(其中無法保證一個體處於一非常特定位置處)。明確言之,正確三維感知高度取決於使用者,該使用者經定位使得觀看者之眼睛感知對應於正確視角之視圖。然而,在一些情形中,使用者之眼睛無法經定位以接收適合影像視圖,且因此一些裸眼式顯示器應用及情境可具有使人類視覺系統混亂以導致觀看者之一不適感(其可導致一些不適或甚至可導致頭痛等等)的一趨勢。
諸多多視角裸眼式顯示器之一特定缺點在於:視圖之間可存在一相對較高之串擾度,且此可使所感知之三維效應及所感知之影像品質劣化。
為減少由觀看者感知之串擾,已提出將顯示器之視圖分組成兩個群組,其中一群組之所有視圖顯示相同左眼影像且另一群組之所有視圖顯示相同右眼影像。因此,已提出僅將左眼及右眼影像/視圖分配給一裸眼式多視角3D顯示器之個別多視角輸入。
例如,對於一28視圖之多視角裸眼式顯示器,視圖1至14可顯示相同左眼視圖(L)且視圖15至28可顯示一立體影像之相同右眼視圖(R)。該配置可由以下各者演示(其中垂直地書寫視圖編號):0000000001111111111222222222 1234567890123456789012345678 LLLLLLLLLLLLLLRRRRRRRRRRR
然而,雖然此一方法可減少個別視圖之間之串擾(此係因為其展示相同影像),但其亦導致分別用於左眼視圖及右眼視圖之視圖之間之大量串擾。例如,將存在自視圖14(其含有一L視圖)至視圖17(其含有一R視圖)或自視圖15(其含有一R視圖)至視圖12(其含有一L視圖)之實質串擾。圖2繪示可在此一方法中體驗之串擾之一實例。在圖中,x軸展示自視圖14與15之間之邊界之視圖編號之偏移且y軸展示相
關串擾值。
作為一典型實例,可由一28視圖之多視角顯示器之約10個視圖使一觀看者之眼睛分離。當觀看者之眼睛集中於左視圖與右視圖之間(即,視圖14與15之間)之過渡時,串擾量通常將可接受(如圖3中所繪示)。然而,若存在自中心之即使一小偏移,則此通常將導致一眼睛中之大量串擾(如由圖4所繪示)。
因此,在此等系統中,相對於顯示器而非常精確地定位使用者係至關重要的,且實際上,需要使用者非常安靜地坐著。為解決此問題,已提出使用一眼睛/面部偵測器/追蹤器以適應視圖視錐之方向,使得使用者相對於此視錐而中心地定位。然而,為達成可接受之效能,通常需要追蹤器係高度精確且快速的。實際上,追蹤器通常必須能夠實質上即時地且精確度達數毫米地追蹤使用者移動。精確度及延時方面之此一嚴格要求使此等追蹤系統之實用性受限制且實際上在諸多情境中使其成為一不可行方法。
因此,用於驅動裸眼式顯示器之一改良方法將係有利的,且特定言之,允許提高靈活性、減少複雜性、提高影像品質、改良三維感知、增強三個深度效應、減少不適性、減少串擾、減少強度變動及/或增強效能之一方法將係有利的。
據此,本發明尋求單獨地或依任何組合方式較佳地減輕、緩和或消除上文所提及缺點之一或多者。
根據本發明之一態樣,提供一種用於產生一裸眼式多視角顯示器之影像的裝置,該裸眼式多視角顯示器經配置以顯示複數個視圖;該裝置包括:一第一影像產生器,其用於產生該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;一第二影像產生器,其用於產生該複數個視圖之一第二群組之連
續視圖之視圖的第二影像,該等第二影像對應於一左眼視角;一第三影像產生器,其用於產生該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;且其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
該方法可允許改良來自一多視角裸眼式顯示器之三維影像之再現。特定言之,當該多視角裸眼式顯示器用於一單個觀看者時,該方法可允許改良再現。
明確言之,在諸多實施例中,該方法可實質上減少所感知之串擾。在諸多情境中,該方法減少串擾,同時維持一非常低之強度變動度,且實際上在諸多實施例中,在不引入任何額外強度變動之情況下達成串擾之減少。
減少之串擾可實質上降低使用者被最佳定位之要求。因此,該方法可允許一使用者具有一較高之頭部移動自由度,且可在使用頭部或眼睛追蹤器之實施例中實質上降低追蹤效能之要求。
當使該多視角裸眼式顯示器再現影像時,該方法可提供一改良之總體感知影像品質。
在傳統裸眼式多視角顯示器中,由不同視圖之影像之差異引起之劣化及尤其是串擾通常具有使得像差及因此三維效應保持於一低位準處之意義。實際上,裸眼式多視角顯示器之典型深度範圍通常為約20厘米至約30厘米以不引入經感知以降低影像品質或甚至可引起觀看者略微不適之劣化。使用本發明之方法,通常可提供一非常高之深度效應。實際上,吾人已發現:可在不引起顯著影像劣化(特定言之,鬼影)或使用者不適之情況下達成大於1米之深度範圍。因此,該方法可允許比可由習知顯示器達成之深度模式更強烈得多之深度模式。
在一些實施例中,該多視角裸眼式顯示器可包括用於產生該多
視角裸眼式顯示器之影像的該裝置。在一些實施例中,該裝置可位於該多視角裸眼式顯示器之外部。例如,該裝置可包括於一器件(諸如一視訊轉換器)中。因此,在一些實施例中,該裝置可包括用於產生該多視角裸眼式顯示器之一驅動信號的一輸出,該驅動信號包括該等第一影像、該等第二影像及該至少第三影像。在一些實施例中,該驅動信號可包括用於該多視角裸眼式顯示器之各視圖的一影像。該等影像可在該驅動信號中表示為任何適合形式,其包含(例如)提供一些影像作為複數個視圖之共同影像、作為編碼或未編碼影像、直接作為該顯示器之像素之驅動信號,等等。
該等第一影像、該等第二影像及該第三影像係相同場景之所有視圖。該等視圖具有不同視角。實際上,影像通常由用於該裸眼式多視角顯示器之所有視圖的相同場景產生。該等影像可對應於場景之不同視角,其中該等第一影像對應於一右眼之一視角(或視點),該等第二影像對應於一左眼之一視角(或視點)。因此,由右眼感知時之該等第一影像及由左眼感知時之該等第二影像將提供場景之三維表示。該第三影像將對應於該等第一影像及該等第二影像之視角之間之一視角,即,對應於該左眼視角與該右眼視角之間之一視角。
該等第一影像可為實質上相同之影像。實際上,在大多數實施例中,相同影像用於該第一群組之連續視圖之所有視圖,即,該等第一影像可為相同影像。在一些實施例中,微小差異(通常為實質上不可感知之差異)可發生於該等第一影像之間。
該等第二影像可為實質上相同之影像。實際上,在大多數實施例中,相同影像用於該第二群組之連續視圖之所有視圖,即,該等第二影像可為相同影像。在一些實施例中,微小差異(通常為實質上不可感知之差異)可發生於該等第二影像之間。
在一些實施例中,該等影像之至少部分可為部分影像。在一些
實施例中,一眼睛之全影像可由複數個視圖之一組合提供。
明確言之,在一些實施例中,該等第一影像可為相同全影像(其係觀看者之右眼之一影像)之不同部分影像。類似地,在一些實施例中,該等第二影像可為相同全影像(其係觀看者之左眼之一影像)之不同部分影像。
在諸多實施例中,該顯示器之視圖總數不可小於9個視圖,或在諸多實施例中甚至不可小於18個或24個視圖。有利地,該第一群組之連續視圖中之視圖數目通常為至少三個視圖且通常為至少五個或七個視圖。
該第一群組之連續視圖及該第二群組之連續視圖之至少一者包括複數個視圖,且該第一群組之連續視圖及該第二群組之連續視圖兩者通常包括複數個視圖。有利地,該第二群組之連續視圖中之視圖數目通常為至少三個視圖且通常為至少五個或七個視圖。有利地,該第三群組之連續視圖中之視圖數目通常為至少三個視圖且通常為至少五個或七個視圖。
明確言之,該第三群組之連續視圖僅包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖,且明確言之,可包括該第一群組之連續視圖與該第二群組之連續視圖之間之所有視圖。
與影像相關之術語「視角」一般反映該等影像相對於由該等影像表示之場景的視角,且不反映觀看者相對於該顯示器之視角。因此,該等第一影像之該右眼視角表示一觀看者之右眼之視角且該等第二影像之左眼視角表示一觀看者之左眼之視角(在產生或擷取該等影像之位置處)。此不反映一使用者相對於該顯示器之位置。
根據本發明之一選用特徵,該裝置進一步包括用於接收三維影像之一接收器,且其中該第一影像產生器經配置以自該三維影像產生該等第一影像,該第二影像產生器經配置以自該三維影像產生該等第
二影像,且該第三影像產生器經配置以自該三維影像產生該第三影像。
此可允許一有效率且實用之方法基於適合於分佈之影像信號而驅動一裸眼式多視角顯示器。
該三維影像可為任何影像,其包括由直接深度資料提供或由間接深度資料(諸如對應於一場景之不同視角的影像之間之像差)提供之深度資訊之一形式。例如,明確言之,該三維影像可包括一單個影像及深度資訊、來自不同視角/視點之相同場景之影像、遮蔽資訊或其等之任何組合。
明確言之,該三維影像可為一視訊序列之一影像。
根據本發明之一選用特徵,該三維影像係包括一左眼影像及一右眼影像之一立體影像,且該第一影像產生器經配置以產生對應於該右眼影像之該等第一影像,該第二影像產生器經配置以產生對應於該左眼影像之該等第二影像;且該第三影像產生器經配置以藉由應用於該左眼影像及該右眼影像之至少一者之視點移位而產生該第三影像。
該方法可提供一尤其適合方法,其基於立體影像(其係直接提供給一個體之各自眼睛之影像)(且其可經產生以與使用眼鏡之習知三維顯示技術一起使用)而驅動一裸眼式多視角顯示器。
該方法允許自一裸眼式多視角顯示器提供一實質上增強之深度效應,藉此允許使用此等立體影像(其通常具有一較高的深度之程度)且實際上通常允許直接使用此等立體影像。
根據本發明之一選用特徵,該裝置進一步包括一像差調適器,其經配置以在產生該等第一影像、該等第二影像及該第三影像之前調適該左眼影像與該右眼影像之間之像差。
明確言之,在使用該等影像來產生該裸眼式多視角顯示器之影像之前,該調適器可降低該左眼影像與該右眼影像之間之像差。明確
言之,經修改之左眼影像及右眼影像可直接用作為該等第一影像及該等第二影像,藉此直接提供深度效應。可藉由調整該等影像之間之像差而調整深度效應,且明確言之,可鑑於該可用該裸眼式多視角顯示器增強深度範圍而使用深度效應來產生具有所要深度效應之影像。
根據本發明之一選用特徵,該三維影像係具有相關聯深度資訊之一單個視點影像,且該第一影像產生器經配置以基於該深度資訊藉由該單個視點影像之視點移位而產生該等第一影像,該第二影像產生器經配置以基於該深度資訊藉由該單個視點影像之視點移位而產生該等第二影像,該等第二影像之視點移位係在該等第一影像之視點移位之一相反方向上;且其中該第三影像產生器經配置以產生對應於該單個視點影像之該第三影像。
在諸多實施例及情境中,此可提供一裸眼式多視角顯示器之一尤其有利驅動。
根據本發明之一選用特徵,該第三群組之連續視圖包括複數個視圖,且該第三影像產生器經配置以產生對應於該右眼視角與該左眼視角之間之視角的該第三群組之連續視圖之所有視圖之影像。
在諸多實施例中,此可提供改良之效能,且特定言之,可減少串擾及可能之強度變動,藉此(例如)允許提供一增強之深度效應。
有利地,在諸多實施例中,該第三群組之連續視圖中之視圖數目可不小於2、3、5或甚至7。
根據本發明之一選用特徵,該第三影像產生器經配置以產生用於該第三群組之連續視圖之該複數個視圖的影像作為該第三影像之至少部分。
在一些實施例中,相同中間視角影像可用於該第三群組之連續視圖之所有視圖。在諸多情境中,此可提供所要效能,同時維持低複雜性及計算資源需求。在諸多實施例中,自該第三影像產生用於該第
三群組之連續視圖之所有視圖的影像,即,該第三連續群組內之所有視圖展示該第三影像之至少部分。
根據本發明之一選用特徵,該第三影像產生器經配置以產生對應於視角的該第三連續群組之該複數個視圖之影像,該等視角具有與該等視圖至該第一群組之連續視圖之一距離的一單調關係。
該第三群組之連續視圖可呈現影像,該等影像對應於該右眼視角與該左眼視角之間之視角且具有自朝向該右眼視角逐漸改變至朝向該左眼視角之不同視角。該等視角可依其等分別與該第一群組之連續視圖及該第二群組之連續視圖之接近程度之順序單調地改變。
根據本發明之一選用特徵,該關係為一線性關係。
在諸多情境中,此可提供一改良之使用者體驗,且在諸多情境中,可對觀看者自理想位置之偏移提供至少所感知之串擾。
根據本發明之一選用特徵,該裝置進一步包括:一觀看者位置追蹤單元,其經配置以產生一使用者視角估計;及一調適器,其經配置以回應於該使用者視角估計而調適由該複數個視圖形成之至少一觀看視錐之一方向。
本發明可允許一大幅改良之三維使用者體驗,其中一觀看者位置追蹤單元可控制再現影像,使得該第三群組之連續視圖之過渡區域被最佳地導引朝向使用者。歸因於該第三群組之連續視圖之驅動,可達成與使用者追蹤之一實質上更佳整合。例如,更不精確之追蹤方法可用於提供改良之效能。
根據本發明之一選用特徵,該多視角顯示器之該複數個視圖之所有視圖屬於該第一群組之連續視圖、該第二群組之連續視圖及該第三群組之連續視圖之一者。
在諸多實施例中,此可提供改良之效能。
根據本發明之一選用特徵,該第三影像產生器經配置以產生用
於該第三群組之連續視圖之至少一些視圖的不同部分影像。
在諸多實施例中,此可提供改良效能及/或促進實施方案。實際上,驅動一裸眼式多視角顯示器之方法尤其適合於藉由使用不同視圖之部分影像而提高有效解析度。
該等部分影像可對應於一影像之不同部分,該影像對應於該右眼視角與該左眼視角之間之一視角。
根據本發明之一態樣,提供經配置以顯示複數個視圖之裸眼式多視角顯示器,該顯示器包括:一第一影像產生器,其用於產生該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;一第二影像產生器,其用於產生該複數個視圖之一第二群組之連續視圖之視圖的第二影像,該等第二影像對應於一左眼視角;一第三影像產生器,其用於產生該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;且其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
根據本發明之一態樣,提供一種產生一裸眼式多視角顯示器之影像的方法,該裸眼式多視角顯示器經配置以顯示複數個視圖,該裝置包括:產生用於該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;產生用於該複數個視圖之一第二群組之連續視圖之視圖的第二影像,該等第二影像對應於一左眼視角;產生用於該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;且其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
將參考下文所描述之(若干)實施例而明白及闡明本發明之此等及其他態樣、特徵及優點。
501‧‧‧裸眼式多視角顯示器
503‧‧‧觀看視錐
505‧‧‧視圖
801‧‧‧裝置
803‧‧‧裸眼式多視角顯示器
805‧‧‧接收器
807‧‧‧第一影像產生器
809‧‧‧第二影像產生器
811‧‧‧第三影像產生器
1201‧‧‧觀看者位置追蹤單元
1203‧‧‧外部感測器
1205‧‧‧調適器
將僅依舉例方式參考圖式來描述本發明之實施例,其中圖1繪示具有九個視圖之一裸眼式多視角顯示器之一實例;圖2繪示一裸眼式多視角顯示器之串擾之一實例;圖3繪示一裸眼式多視角顯示器之串擾之一實例;圖4繪示一裸眼式多視角顯示器之串擾之一實例;圖5繪示具有九個視圖之一裸眼式多視角顯示器之一實例;圖6繪示一裸眼式多視角顯示器之視角之分配之一實例;圖7繪示一裸眼式多視角顯示器之視角之分配之一實例;圖8繪示根據本發明之一些實施例之一裸眼式多視角顯示器之一實例;圖9繪示一裸眼式多視角顯示器之視角之分配之一實例;圖10繪示一裸眼式多視角顯示器之視角之分配之一實例;圖11繪示一裸眼式多視角顯示器之視角之分配之一實例;圖12繪示根據本發明之一些實施例之一裸眼式多視角顯示器之一實例;及圖13繪示一裸眼式多視角顯示器之視角之分配之一實例;
以下描述聚焦於可應用於使用一裸眼式多視角顯示器來對一單個觀看者提供三維影像的本發明之實施例。然而,應瞭解,本發明不限於此應用。
裸眼式多視角顯示器已被開發以提供無需眼鏡之三維影像再現。此等顯示器可產生複數個視圖,該複數個視圖投射對應於一場景之不同視角的影像。一使用者將經定位使得其眼睛接收不同視圖,因此導致對應於不同視角之不同影像由使用者之眼睛感知。此可用於提供三維感知。
圖5中展示一例示性裸眼式多視角顯示器501。該圖繪示實例之裸眼式多視角顯示器501如何產生一總體觀看視錐503,該觀看視錐包括複數個視圖505,該複數個視圖之各者可呈現一不同影像(或可為部分影像)。該圖繪示包括九個視圖之一總體觀看視錐,但在其他實施例中,可由裸眼式多視角顯示器501產生其他數目個視圖。實際上,吾人正在開發具有顯著更多視圖之裸眼式多視角顯示器,其包含通常具有28個視圖之顯示器。
熟悉技術者應明白,通常使用(例如)像素層頂部上之凸透螢幕或障壁遮罩來產生不同視圖。在大多數顯示器中,此導致彼此相鄰之多個觀看視錐。例如,觀看視錐之複製品/重複結構將緊鄰於圖5之觀看視錐503(即,將重複視圖)。
在習知顯示器中,視圖之各者通常用於使對應於一不同視角之一影像再現。例如,可將視角分佈至視圖,如圖6中所繪示。在該圖中,x軸展示視圖數目且y軸展示視角(在該實例中,視錐覆蓋自0至8之一範圍,其可被視為與(例如)通常為5°至10°之一總視錐視角成比例(即,實例可被視為展示8°之一視錐))。
習知裸眼式多視角顯示器中之串擾通常導致可感知之影像劣化且在一些情況中甚至導致使用者不適。因此,通常將由一裸眼式多視角顯示器提供之深度之程度降低至相對較低位準,諸如,通常降低至相對於顯示器之僅20厘米至30厘米。
然而,已提出將一裸眼式多視角顯示器之視圖分成兩個群組,其中一側上之視圖提供一左眼影像且另一側上之視圖提供一右眼影像。圖7中繪示此一分佈。
若顯示器由準確地定位於正確位置處(即,其中兩個眼睛至觀看視錐之中心的距離相等)之一單個使用者使用,則此提供一改良之三維影像,此係因為個別視圖之間之串擾被減少(因為此等所有視圖在
觀看視錐之一半中展示相同影像)。然而,在觀看視錐之不同側面之間仍經歷一些串擾。因此,右眼影像仍可由左眼感知,且反之亦然。當使用者未準確地位於中心時,效應更顯著,如由圖4所繪示。
在多個視圖中使用相同影像之此方法可減少串擾,藉此允許一增強之深度效應。然而,不同影像之間之串擾仍較顯著且通常將導致至少一明顯鬼影效應。因此,深度效應通常仍將被減弱。
此外,即使觀看者進行較小移動,但藉由(例如)不使用一些視圖(例如,藉由使一些視圖成為黑色視圖)而減少串擾導致強度變動,其趨向於更易於感知。此外,歸因於對精確度及延時之極端要求,使用眼睛或臉部追蹤來跟隨使用者之移動趨向於不切實際的。
圖8繪示根據本發明之一些實施例之顯示器之一實例。該顯示器包括用於產生一裸眼式多視角顯示器803之影像的一裝置801。
在該實例中,顯示器係一整合器件,其接收三維影像(或(例如)來自一視訊序列之影像)且其使此(等)影像自一多視角顯示器803再現。因此,顯示器本身可被視為一裸眼式多視角顯示器。應瞭解,在其他實施例中,可分佈功能,且特定言之,裝置801可產生饋送至一分離且外部之裸眼式多視角顯示器之影像。
例如,在一些實施例中,該裝置可包括一輸出單元,其產生及輸出包括第一影像、第二影像及第三影像之信號。接著,可將該輸出信號傳送至可萃取該等影像且使該等影像自適當視圖再現之一外部且可能遠端之裸眼式多視角顯示器。
在圖8之顯示器中,將裸眼式多視角顯示器803之多個視圖分成(至少)三個群組之連續視圖,其中第一群組用於使右眼影像再現且第二群組用於使左眼影像再現。一第三群組之視圖由該第一群組之視圖與該第二群組之視圖之間之一或多個視圖形成。接著,該第三群組中之視圖用於使對應於右眼影像之視角與左眼影像之視角之間之(一或
多個)視角的影像再現。因此,該第三群組之視圖形成右眼影像與左眼影像之間之一過渡區段且使對應於在左眼與右眼之間之一或多個位置處可看見之影像的一或多個影像再現。
例如,可使用圖9之配置。在該實例中,將多視角顯示器803之28個視圖分成三個群組之連續視圖。一第一群組之連續視圖由視圖18至28形成。此等視圖用於使右眼影像再現(即,該等視圖用於使針對觀看者之右眼所產生之一影像再現)。一第二群組之連續視圖由視圖01至11形成。此等視圖用於使左眼影像再現(即,該等視圖用於使針對觀看者之左眼所產生之一影像再現)。因此,視圖01至11使對應於左眼之一場景之一視角的一影像再現且視圖18至28使對應於右眼之一場景之一視角的一影像再現。因此,該兩個群組一起使一場景之三維表示再現。
應瞭解,根據此領域中之習知實踐而適當地使用術語「觀看者」,且術語「觀看者」據此可適當地係指以下兩者:顯示器之輸出之實體觀看者;及假想觀看者,其用作為用於產生不同眼睛之影像的參考(且(例如)用作為用於影像之視角的參考)。
一第三群組之連續視圖由視圖12至17形成。因此,該第三群組之連續視圖之視圖定位於第一群組之連續視圖之視圖與第二群組之連續視圖之視圖之間。在該實例中,該第三群組之連續視圖之視圖用於使一中心影像(即,對應於場景之一視角的一影像,該視角係對應於左眼之場景之視角與對應於右眼之場景之視角之間之中間視角)再現。本質上,若使用者在左眼與右眼之間具有一中心眼,則中心視圖可被視為對應於將被感知之一視圖。
圖10中繪示個別視圖之視角之分佈。
因此,在該實例中,一群組之視圖用作為左眼視圖與右眼視圖之間之一分離段或過渡段。該等視圖用於提供對應於左眼視圖與右眼
視圖之間之一視圖的一中間影像。
明確言之,圖8之裝置包括一接收器805,其接收三維影像資訊,諸如一單個三維影像或一3D視訊序列。可提供呈任何適合形式(其包含作為一立體影像、作為具有深度資訊之一單個影像,等等)之3D影像。
接收器805耦合至一第一影像產生器807,第一影像產生器807產生用於多視角顯示器803之第一群組之連續視圖之視圖的影像(指稱第一影像)。第一影像產生器807產生對應於場景之一右眼視角的影像,即,產生影像作為意欲由右眼接收之影像。例如,若一立體影像由接收器805接收,則第一影像產生器807可(例如)產生直接成為右眼之接收影像的第一影像。第一影像產生器807耦合至多視角顯示器803且第一影像提供至多視角顯示器803之適當視圖,即,在特定實例中,提供至視圖18至28。所有第一影像可通常為相同影像,即,相同影像提供至視圖18至28。
此外,接收器805耦合至一第二影像產生器809,第二影像產生器809產生用於多視角顯示器803之第二群組之連續視圖之視圖的影像(指稱第二影像)。第二影像產生器809產生對應於場景之一左眼視角的影像,即,產生影像作為意欲由左眼接收之影像。例如,若一立體影像由接收器805接收,則第二影像產生器809可(例如)產生直接成為左眼之接收影像的第二影像。第二影像產生器809耦合至多視角顯示器803且第二影像提供至多視角顯示器803之適當視圖,即,在特定實例中,提供至視圖01至11。所有第二影像可通常為相同影像,即,相同影像提供至視圖01至11。
另外,接收器805耦合至一第三影像產生器811,第三影像產生器811產生用於多視角顯示器803之第三群組之連續視圖之視圖的影像(指稱第三影像)。第三影像產生器811產生對應於場景之視角的影
像,該等視角介於左眼視角與右眼視角之間。在特定實例中,可產生至少一第三影像作為對應於左眼視角與右眼視角之間之一中間視角的一中心影像。
可(例如)藉由處理左眼影像及右眼影像之一者以引入一視角移位而產生中心影像。
因此,在圖8之系統中,多視角顯示器803具有對應於三個不同視角之三個不同影像。一第一群組之連續視圖呈現有對應於觀看者之右眼之一影像的第一影像,一第二群組之連續視圖呈現有對應於觀看者之左眼之一影像的第二影像,且一第三群組之連續視圖呈現有對應於觀看者之右眼與左眼之間之一中間視角之一影像的第三影像。因此,不同群組之視圖之各者用於呈現一場景之一影像但具有各自不同視角,且明確言之,其中一群組之視圖對應於右眼,一群組之視圖對應於左眼,且一群組之視圖介於此等群組之視圖之間。
吾人已發現,此一方法提供相較於習知方法之實質改良。特定言之,吾人已發現,所感知之串擾(且特定言之,所感知之鬼影效應)被實質上減少。
此外,此在不引入(例如)與不使用一些視圖相關聯之強度變動之情況下達成。特定言之,若跳過一些視圖,則甚至較小之頭部移動將引起所感知之視圖之強度(或甚至所感知之視圖)之變動且此將引起可在本發明之方法中藉由使用具有對應強度(及強度分佈)之影像而避免之強度變動。因此,實質上減少觀看者移動其頭部時之圖像之強度調變,藉此提供一大幅改良之使用者體驗。
該方法可提供觀看者之一實質上提高之移動自由度。實際上,相較於其中甚至數毫米之移動可引起可感知劣化之習知方法,本發明之方法通常可使敏感度降低一個以上數量級。實際上,在諸多情境中,數厘米之頭部移動將對所感知之影像具有極少效應。此一改良可
使顯示器系統甚至用於無專用觀看者追蹤之情況。此外,其可實質上降低強加於觀看者追蹤之要求,藉此允許且實際上在諸多實施例中實現顯示器之實際觀看者追蹤及控制。
所提供之改良允許提供一大幅增強之深度效應且不導致不可接受之影像劣化或使用者不適。
在該實例中,多視角顯示器803之所有視圖屬於第一群組之連續視圖、第二群組之連續視圖及第三群組之連續視圖之一者,即,將多視角顯示器803之所有視圖分成三個群組。在大多數情境中,此可提供改良之效能,且特定言之,可提供最佳影像品質。然而,在其他實施例中,一或多個視圖可不包含於該等群組之一者中。例如,外部視圖之一或多者可不用於對其他觀看視錐提供分離,等等。
在諸多實施例中,多視角顯示器803包括九個或九個以上視圖。此外,包括於第一群組之連續視圖及第二群組之連續視圖中之視圖數目通常為三個或三個以上。此外,在大多數實施例中,第三群組之連續視圖包括至少兩個且通常至少四個視圖。
通常,各群組中之視圖數目將取決於多視角顯示器803之視圖數目。例如,在諸多實施例中,第一群組之連續視圖及第二群組之連續視圖中之視圖數目係相同的,且第三群組中之視圖數目不小於所有視圖數目之1/8且不大於所有視圖數目之1/4,其中將剩餘視圖分配給第一群組之連續視圖及第二群組之連續視圖。
在諸多實施例中,第一群組之連續視圖及第二群組之連續視圖之至少一者(且通常兩者)包括觀看視錐之一外部視圖(即,最遠離右邊之視圖或最遠離左邊之視圖)。此外,第三群組之連續視圖通常包括一中心視圖。
在該實例中,所有第一影像係相同影像(或可為相同影像之(不同)部分)。類似地,所有第二影像係相同影像(或可為相同影像之(不
同)部分)。然而,應瞭解,在諸多實施例中,第一影像及/或第二影像可僅為實質上相同之影像,在此意義上,所有第一影像及/或第二影像可實質上對應於左眼或右眼之一視角。例如,雖然所有第一影像對應於右眼影像,但此等影像之間可存在一些差異,例如,其等可對應於略微不同之視角。類似地,雖然所有第二影像對應於左眼影像,但此等影像之間可存在一些差異,例如,其等可對應於略微不同之視角。
應瞭解,至裝置之輸入可為呈任何適合形式之三維影像資訊。亦應瞭解,接收器805可自包含外部資源及內部資源兩者之任何適合資源接收影像資訊。
例如,在一些實施例中,該裝置可包括一給定場景之三維模型,且可藉由直接評估給定視角之模型而產生用於不同視圖之影像。明確言之,對於一給定觀看方向,可針對對應於左眼之一視點、針對對應於右眼之一視點及針對左眼與右眼之間之一視點而評估模型。
該方法尤其適合及有利於立體影像之再現。一立體影像可藉由提供左眼及右眼之分離影像而提供三維資訊。因此,各立體影像有效地包括兩個分離影像,其等係一場景之同時影像但具有對應於一觀看者之兩個眼睛的不同視角/視點。
在一些實施例中,接收器805可接收一立體影像且將右眼影像轉送至第一影像產生器807及將左眼影像轉送至第二影像產生器809。接著,第一影像產生器807可繼續產生對應於所接收之右眼影像的第一影像。實際上,其可直接使用所接收之右眼影像作為第一影像,或在一些實施例中,其可在使用影像之前對影像提供一些處理,諸如(例如)雜訊濾波、銳化等等。
類似地,第二影像產生器809可繼續產生對應於所接收之左眼影像的第二影像。實際上,其可直接使用所接收之左眼影像作為第二影
像,或在一些實施例中,其可在使用影像之前對影像提供一些處理,諸如(例如)雜訊濾波、銳化等等。
在一些實施例中,可將所接收之右眼影像及左眼影像兩者饋送至第三影像產生器811,第三影像產生器811可繼續藉由左眼影像及右眼影像之至少一者之視點移位而產生(若干)第三影像。因此,將一視點或視角移位演算法應用於右眼影像及左眼影像之至少一者。該視點移位演算法經配置以使影像朝向中心位置移位。
應瞭解,可使用任何適合視點移位演算法,且熟悉技術者將明白諸多不同演算法。
例如,作為一低複雜性實例,第三影像產生器811可經配置以識別左眼影像及右眼影像中之個別對應影像物體。可判定兩個影像中之各影像物體之位置,且可將第三影像中之位置判定為兩個位置之平均值(即,左眼影像及右眼影像之相對影像位置之間之中間)。由於物體接近觀看者,所以此將導致一相對較大移動,而其將通常導致背景中之物體(或背景)不移動。接著,可使用來自左眼影像及右眼影像之一者(其取決於間隙位於最先影像物體(即,具有最大移動之影像物體)之何側上)之影像資料來填充處理整體影像之後之任何剩餘孔。
應瞭解,可使用更複雜且更高級之演算法,其包含利用額外深度資訊或可能之遮蔽層之演算法。
特定言之,該方法可允許通常意欲用於使用一基於眼鏡之系統來再現之此等立體影像與一裸眼式多視角顯示器一起使用。通常,立體影像經產生以提供習知裸眼式多視角顯示器無法實現之一極強深度效應。然而,所描述之方法可允許提供此一強深度效應且不引入不可接受之影像品質或不適。該方法可進一步提供多視角顯示器之一低複雜性驅動。
在一些實施例中,該裝置可進一步經配置以在產生第一影像、
第二影像及第三影像之前調適左眼影像與右眼影像之間之像差。因此,所接收之右眼影像及左眼影像可經處理以產生一經修改之右眼影像及一經修改之左眼影像,該等影像之一者可與輸入影像相同。接著,基於該等經修改之影像,上文所描述之程序可用於產生第一影像、第二影像及第三影像。
明確言之,該修改可使得深度效應被改變且通常相對於輸入立體影像而減弱。因此,三維效應可經調整以尤其適合實際方法及由再現方法所致之性質。因此,特定再現方法與輸入立體影像之調適之間之一協同效應允許來自一裸眼式多視角顯示器之立體影像之一最佳化再現。
特定言之,調適器可調整右眼影像與左眼影像之間之像差。例如,可判定對應影像物體。接著,可藉由移動影像物體使得對應影像物體之間之像差(位置偏移或差異)被減小至原始像差之一比例而產生(例如)一新左眼影像。例如,可將位移減小至(例如)原始立體影像之50%,藉此使深度效應之強度減半。
在一些實施例中,輸入影像可為一單影像,即,所接收之(若干)影像可對應於一單個視點。除影像之外,亦可提供深度資訊,諸如(例如)展示各像素之相對深度的一深度圖。
在此一情境中,影像可(例如)提供至第三影像產生器811且直接用於產生(若干)第三影像。明確言之,可直接產生第三影像作為所接收之影像。
此外,可將影像及深度資訊饋送至第一影像產生器807及第二影像產生器809,第一影像產生器807及第二影像產生器809可繼續執行一視點/視角移位以使單個影像之視角移位。第一影像產生器807及第二影像產生器809可執行相同視角移位但在相反方向上。
應瞭解,可使用任何適合視點移位操作。例如,可使輸入影像
之各像素水平地移位達與深度圖中之像素所指示之深度成比例之一值。第一影像及第二影像之移位係在相反方向上。任何所得孔可藉由來自最遠離後部之相鄰區域之外推而填充,或可(例如)藉由所提供之遮蔽資料以及輸入影像而填充。
在前述實例中,第三群組之連續視圖用於呈現對應於一中心影像之一單個影像。然而,在其他實施例或情境中,可產生及使用其他影像。此外,不同影像可用於連續視圖群組之不同視圖。然而,在大多數實施例中,第三群組之連續視圖之所有視圖將包括對應於左眼視角與右眼視角之間之一視角的場景之影像。此將提供改良之影像品質,且明確言之,提供減少之串擾,藉此允許(例如)增強深度效應。
因此,雖然在前述實例中,第三影像產生器811經配置以產生用於第三群組之連續視圖之複數個視圖的影像作為一影像之至少部分,但在其他實施例中,第三影像產生器811產生用於第三群組之連續視圖之不同視圖的不同影像,例如,該等不同影像對應於右眼視角與左眼視角之間之不同視角。
明確言之,用於第三群組之連續視圖中之影像的視角可自較接近於右眼視角逐漸改變至較接近於左眼視角。因此,用於第三連續群組之影像可對應於左眼視角與右眼視角之間之中間視角,但具有一單調增大(或減小)之視角。因此,依自右到左之順序,視角在自右眼視角至左眼視角之方向上逐漸改變。因此,比第三群組之連續視圖之另一視圖更遠離左邊之一視圖之一視角將相同於此另一視圖之視角或比此另一視圖之視角更靠左。
因此,在諸多實施例中,第三影像產生器811有利地產生用於第三連續群組之複數個視圖的影像以對應於與該等視圖至第一群組之連續視圖之一距離具有一單調關係之視角。例如,個別視圖與提供一右眼視圖之視圖分離越遠(就視圖而言),視角與右眼視角相距越遠。
等效地,在諸多實施例中,第三影像產生器811有利地產生用於第三連續群組之複數個視圖的影像以對應於與該等視圖至第二群組之連續視圖之一距離具有一單調關係之視角。例如,個別視圖與提供一左眼視圖之視圖分離越遠(就視圖而言),視角與左眼視角相距越遠。
明確言之,在諸多實施例中,視角可依據與第一群組之連續視圖及/或第二群組之連續視圖之一距離而線性變化。
例如,在一實施例中,連續視圖群組之分離或過渡視圖可具有全部不同且對應於視角(其取決於視圖與第一連續群組或第二連續群組之相對位置及/或視圖與觀看視錐之中心之相對位置)之影像。例如,第三影像產生器811可使用視角移位演算法來合成對應於線性變化之視角的影像。明確言之,第三影像產生器811並非如前述實例中所描述般使用中心影像,而是可合成以下影像:
視圖13:在L與R之間依20%/80%之合成影像/視圖
視圖14:在L與R之間依40%/60%之合成影像/視圖
視圖15:在L與R之間依60%/40%之合成影像/視圖
視圖16:在L與R之間依80%/20%之合成影像/視圖
圖11中繪示實例。
在一些實施例中,如圖12中所繪示,該裝置可進一步包括一觀看者位置追蹤單元1201,其經配置以產生一使用者視角估計(使用者視角指示自使用者至顯示器之角度)。觀看者位置追蹤單元1201可(例如)自一外部感測器1203(諸如一或多個攝影機)接收一輸入。熟悉技術者應明白,觀看者位置追蹤單元1201可(例如)使用眼睛偵測來估計使用者相對於顯示器之一位置。
觀看者位置追蹤單元1201耦合至一調適器1205,調適器1205經配置以回應於觀看者視角而調適由第一群組之連續視圖、第二群組之連續視圖及第三群組之連續視圖形成之觀看視錐。
例如,若使用者向左移動使得其眼睛不再位於視圖14與15之邊界之中心而是位於視圖13與14之間,則調適器1205可改變影像之產生,使得整體觀看視錐被有效地移位,使得觀看視錐之中心此時位於新位置之中心。因此,先前對應於觀看視錐之視圖13及14的多視角顯示器803之視圖此時經重新分配以成為觀看視錐之視圖14及15。因此,使由多視角顯示器803有效地產生之觀看視錐有效地向左移位一個視圖,藉此跟隨使用者且使使用者保持位於觀看視錐之中心。
應瞭解,可亦使觀看視錐移位達小於一整體視圖距離。明確言之,可藉由對對應於小於一像素之一空間移位的影像執行空間內插濾波而使影像移位達小於一像素尺寸。
明確言之,將三個不同影像分配給圖9中所展示之視角假定:觀看者之眼睛準確地位於裸眼式顯示器之觀看視錐之中心。
此對應於圖13之上實例,其中觀看者位置追蹤單元1201實際上已識別觀看者之眼睛準確地位於視錐之中心且調適器1205據此已控制第一影像產生器807、第二影像產生器809及第三影像產生器811以產生用於視圖之影像,如圖中所展示。
然而,當使用者未準確地位於中心時,使所有個別視角循環地移位超過可用角度,即,超過28個視圖。此繪示於(例如)圖13之下實例中,其中觀看者位置追蹤單元1201已識別觀看者之眼睛之中心位於對應於視圖17與18之間之邊界的特定位置處。因此,依此方式,回應於使用者視角估計而調適由顯示器形成之各觀看視錐之有效方向/中心。
因此,追蹤使用者移動且根據使用者視角估計而將視圖分配給不同群組之連續視圖。實際上,在一些實施例中,調適器1205可經配置以回應於視角估計而將裸眼式多視角顯示器之視圖之各視圖分配給第一連續群組之視圖、第二連續群組之視圖或第三連續群組之連續視
圖。
吾人已發現,使用第三群組之連續視圖之過渡視圖允許大幅降低觀看者位置之追蹤之精確度。實際上,吾人已發現,無需進行約數毫米之即時追蹤,該方法使用具有僅數厘米之一精確度之觀看者位置追蹤器來提供可比品質。據此,此可允許對精確度(及因此延時)具有實質上降低要求之觀看者估計。實際上,系統允許裸眼式顯示器基於觀看者位置追蹤且不引入不切實際且通常不可行之複雜且昂貴之追蹤系統。
前述實例已聚焦於其中各視圖提供全影像之情境。然而,在一些實施例中,一或多個視圖僅可提供部分影像。此意謂:一個特定視角(例如視圖06)將不含用於填充整個螢幕區域之所有像素。然而,當一特定視角(例如06)中之一部分影像與相鄰視角(例如05及07)組合時,整個螢幕區域將被覆蓋。
例如,在圖9及圖10之實例(其中第三群組之連續視圖之六個影像經產生以對應於相同視角)中,各視圖僅可提供(例如)各視圖中之全影像之1/3。例如,一視圖可對應於一區域,下一視圖對應於一不同區域,第三視圖對應於又一區域,第四視圖再次對應於第一區域,等等。使用者通常將同時感知複數個視圖,且因此將由個別視圖之一組合達成全影像之感知。此一方法可提供一改良之解析度,此係因為各視圖之像素僅需支援一較小區域。
應瞭解,相同方法可應用於第三群組之連續視圖之視圖的影像,即使此等影像不對應於相同視角。此外,該方法可用於第一群組之連續視圖及第二群組之連續視圖中之視圖。
應瞭解,為清楚起見,以上描述已參考不同功能電路、單元及處理器來描述本發明之實施例。然而,應明白,可在不減損本發明之情況下使用不同功能電路、單元或處理器之間之任何適合功能分佈。
例如,經繪示以由分離處理器或控制器執行之功能可由相同處理器或控制器執行。因此,參考特定功能單元或電路僅被視作參考用於提供所描述之功能的適合構件,而非指示一嚴格邏輯或實體結構或組織。
本發明可實施為包含硬體、軟體、韌體或其等之任何組合之任何適合形式。本發明可視情況至少部分實施為運行於一或多個資料處理器及/或數位信號處理器上之電腦軟體。可在實體上、功能上及邏輯上依任何適合方式實施本發明之一實施例之元件及組件。實際上,功能可實施於一單個單元中,實施於複數個單元中,或實施為其他功能單元之部分。因而,本發明可實施於一單個單元中或可在實體上及功能上分佈於不同單元、電路及處理器之間。
雖然已結合一些實施例描述本發明,但其不意欲受限於本文中所闡述之特定形式。確切而言,本發明之範疇僅由隨附申請專利範圍限制。另外,雖然一特徵可似乎結合特定實施例而描述,但熟悉此項技術者將識別到,可根據本發明而組合所描述之實施例之各種特徵。在申請專利範圍中,術語「包括」不排除存在其他元件或步驟。
此外,雖然個別地列出複數個構件、元件、電路或方法步驟,但該複數個構件、元件、電路或方法步驟可由(例如)一單個電路、單元或處理器實施。另外,雖然個別特徵可包含於不同請求項中,但可有利地組合此等特徵,且包含於不同請求項中不隱含特徵之一組合不可行及/或非有利。此外,一特徵包含於一類別之請求項中不隱含對此類別之一限制,而是指示該特徵可視情況同樣適用於其他請求項類別。此外,請求項中之特徵之順序不隱含該等特徵工作時必須依從之任何特定順序,且特定言之,一方法請求項中之個別步驟之順序不隱含必須依此順序執行該等步驟。確切而言,可依任何適合順序執行該等步驟。另外,單數指涉物不排除複數個。因此,「一」、「第一」、「第二」等等之指涉物不排除複數個。僅作為一澄清實例而提供之申
請專利範圍中之參考符號絕不應被解釋為限制申請專利範圍之範疇。
801‧‧‧裝置
803‧‧‧裸眼式多視角顯示器
805‧‧‧接收器
807‧‧‧第一影像產生器
809‧‧‧第二影像產生器
811‧‧‧第三影像產生器
Claims (15)
- 一種用於產生一裸眼式多視角顯示器之影像的裝置,該裸眼式多視角顯示器經配置以顯示複數個視圖;該裝置包括:一第一影像產生器(807),其用於產生該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;一第二影像產生器(809),其用於產生該複數個視圖之一第二群組之連續視圖之視圖的第二影像,該等第二影像對應於一左眼視角;一第三影像產生器(811),其用於產生該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;及其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
- 如請求項1之裝置,其進一步包括用於接收一個三維影像之一接收器(805),且其中該第一影像產生器(807)經配置以自該三維影像產生該等第一影像,該第二影像產生器(809)經配置以自該三維影像產生該等第二影像,且該第三影像產生器(811)經配置以自該三維影像產生該第三影像。
- 如請求項2之裝置,其中該三維影像係包括一左眼影像及一右眼影像之一立體影像,且該第一影像產生器(807)經配置以產生對應於該右眼影像之該等第一影像,該第二影像產生器(809)經配置以產生對應於該左眼影像之該等第二影像,且該第三影像產生器(811)經配置以藉由應用於該左眼影像及該右眼影像之至少 一者的視點移位而產生該第三影像。
- 如請求項3之裝置,其進一步包括一像差調適器,該像差調適器經配置以在產生該等第一影像、該等第二影像及該第三影像之前調適該左眼影像與該右眼影像之間之像差。
- 如請求項2之裝置,其中該三維影像係具有相關聯之深度資訊之一單個視點影像,且該第一影像產生器(807)經配置以基於該深度資訊藉由該單個視點影像之視點移位而產生該等第一影像,該第二影像產生器(809)經配置以基於該深度資訊藉由該單個視點影像之視點移位而產生該等第二影像,該等第二影像之該視點移位係在該等第一影像之該視點移位之一相反方向上;且其中該第三影像產生器(811)經配置以產生對應於該單個視點影像之該第三影像。
- 如請求項1之裝置,其中該第三群組之連續視圖包括複數個視圖,且該第三影像產生器(811)經配置以產生對應於該右眼視角與該左眼視角之間之視角的該第三群組之連續視圖之所有視圖之影像。
- 如請求項6之裝置,其中該第三影像產生器(811)經配置以產生該第三群組之連續視圖之該複數個視圖的影像作為該第三影像之至少部分。
- 如請求項6之裝置,其中該第三影像產生器(811)經配置以產生該第三連續群組之該複數個視圖之影像,該等影像對應於具有與該等視圖至該第一群組之連續視圖之一距離的一單調關係之視角。
- 如請求項8之裝置,其中該關係為一線性關係。
- 如請求項1之裝置,其進一步包括:一觀看者位置追蹤單元(1201),其經配置以產生一使用者視角估計;及一調適器 (1205),其經配置以回應於該使用者視角估計而調適由該複數個視圖形成之至少一觀看視錐之一方向。
- 如請求項1之裝置,其中該多視角顯示器之該複數個視圖之所有視圖屬於該第一群組之連續視圖、該第二群組之連續視圖及該第三群組之連續視圖之一者。
- 如請求項1之裝置,其中該第三影像產生器(811)經配置以產生該第三群組之連續視圖之至少一些視圖的不同部分影像。
- 一種裸眼式多視角顯示器,其經配置以顯示複數個視圖,該顯示器包括:一第一影像產生器(807),其用於產生該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;一第二影像產生器(809),其用於產生該複數個視圖之一第二群組之連續視圖之視圖的第二影像,該等第二影像對應於一左眼視角;一第三影像產生器(811),其用於產生該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;及其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
- 一種產生一裸眼式多視角顯示器之影像的方法,該裸眼式多視角顯示器經配置以顯示複數個視圖,該裝置包括:產生該複數個視圖之一第一群組之連續視圖之視圖的第一影像,該等第一影像對應於一右眼視角;產生該複數個視圖之一第二群組之連續視圖之視圖的第二影 像,該等第二影像對應於一左眼視角;產生該複數個視圖之一第三群組之連續視圖之至少一視圖的一第三影像,該第三群組之連續視圖包括該第一群組之連續視圖與該第二群組之連續視圖之間之視圖;及其中該第三影像對應於該右眼視角與該左眼視角之間之一視角。
- 一種電腦程式產品,其包括電腦程式碼構件,該電腦程式碼構件經調適以在該程式運行於一電腦上時執行請求項14之所有步驟。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13193687 | 2013-11-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201536025A true TW201536025A (zh) | 2015-09-16 |
Family
ID=49619834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103139936A TW201536025A (zh) | 2013-11-20 | 2014-11-18 | 產生用於裸眼式多視角顯示器的影像 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20160295200A1 (zh) |
EP (1) | EP3072294A2 (zh) |
JP (1) | JP2017510092A (zh) |
CN (1) | CN105723705B (zh) |
TW (1) | TW201536025A (zh) |
WO (1) | WO2015074807A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI654447B (zh) | 2018-06-20 | 2019-03-21 | 明基電通股份有限公司 | 影像顯示系統及影像顯示方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104104934B (zh) * | 2012-10-04 | 2019-02-19 | 陈笛 | 无眼镜多观众三维显示的组件与方法 |
KR20180082808A (ko) * | 2017-01-11 | 2018-07-19 | 삼성전자주식회사 | 유기금속 화합물, 유기금속 화합물-함유 조성물 및 유기 발광 소자 |
WO2019243539A1 (en) | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Tile partitions with sub-tiles in video coding |
EP3811624A1 (en) | 2018-06-21 | 2021-04-28 | Telefonaktiebolaget LM Ericsson (publ) | Tile shuffling for 360 degree video decoding |
KR102629907B1 (ko) * | 2018-10-02 | 2024-01-30 | 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) | 타일 그룹 id에 기초한 화상들의 인코딩 및 디코딩 |
CN110830783B (zh) | 2019-11-28 | 2021-06-01 | 歌尔光学科技有限公司 | 一种vr影像处理方法、装置、vr眼镜及可读存储介质 |
CN111314687B (zh) | 2019-11-28 | 2021-06-25 | 歌尔光学科技有限公司 | 一种vr影像处理方法、装置、vr眼镜及可读存储介质 |
JP7498288B2 (ja) * | 2020-03-01 | 2024-06-11 | レイア、インコーポレイテッド | マルチビュースタイル変換のシステムおよび方法 |
WO2023219638A1 (en) * | 2022-05-10 | 2023-11-16 | Leia Inc. | Head-tracking multiview display and method |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4320271B2 (ja) * | 2003-11-28 | 2009-08-26 | 博文 伊藤 | 立体画像表示方法 |
WO2008122838A1 (en) * | 2007-04-04 | 2008-10-16 | Nokia Corporation | Improved image quality in stereoscopic multiview displays |
WO2009001255A1 (en) * | 2007-06-26 | 2008-12-31 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal |
KR101468267B1 (ko) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
JP5514219B2 (ja) * | 2008-10-28 | 2014-06-04 | コーニンクレッカ フィリップス エヌ ヴェ | 三次元表示システム |
US8446461B2 (en) * | 2010-07-23 | 2013-05-21 | Superd Co. Ltd. | Three-dimensional (3D) display method and system |
US9560344B2 (en) * | 2011-04-20 | 2017-01-31 | Koninklijke Philips N.V. | Position indicator for 3D display |
GB2499426A (en) * | 2012-02-16 | 2013-08-21 | Dimenco B V | Autostereoscopic display device with viewer tracking system |
CN104185987B (zh) * | 2012-03-27 | 2017-03-08 | 皇家飞利浦有限公司 | 具有位置追踪的多用户自动立体显示 |
KR101924058B1 (ko) * | 2012-04-03 | 2018-11-30 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
CN103200405B (zh) * | 2013-04-03 | 2016-06-01 | 清华大学 | 一种3dv视频编码方法及编码器 |
CN103345736B (zh) * | 2013-05-28 | 2016-08-31 | 天津大学 | 一种虚拟视点绘制方法 |
-
2014
- 2014-10-17 EP EP14837068.7A patent/EP3072294A2/en not_active Withdrawn
- 2014-10-17 CN CN201480063735.7A patent/CN105723705B/zh not_active Expired - Fee Related
- 2014-10-17 JP JP2016526903A patent/JP2017510092A/ja not_active Withdrawn
- 2014-10-17 US US15/035,524 patent/US20160295200A1/en not_active Abandoned
- 2014-10-17 WO PCT/EP2014/072313 patent/WO2015074807A2/en active Application Filing
- 2014-11-18 TW TW103139936A patent/TW201536025A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI654447B (zh) | 2018-06-20 | 2019-03-21 | 明基電通股份有限公司 | 影像顯示系統及影像顯示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105723705B (zh) | 2019-07-26 |
EP3072294A2 (en) | 2016-09-28 |
JP2017510092A (ja) | 2017-04-06 |
WO2015074807A2 (en) | 2015-05-28 |
CN105723705A (zh) | 2016-06-29 |
WO2015074807A3 (en) | 2016-01-21 |
US20160295200A1 (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201536025A (zh) | 產生用於裸眼式多視角顯示器的影像 | |
US8913108B2 (en) | Method of processing parallax information comprised in a signal | |
TWI545934B (zh) | 處理輸入三維視訊信號之方法及系統 | |
US7557824B2 (en) | Method and apparatus for generating a stereoscopic image | |
KR102492971B1 (ko) | 3차원 이미지를 생성하기 위한 방법 및 장치 | |
CN108141578B (zh) | 呈现相机 | |
WO2012020522A1 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
US20170171534A1 (en) | Method and apparatus to display stereoscopic image in 3d display system | |
RU2707726C2 (ru) | Генерирование изображения для автостереоскопического дисплея | |
KR101992767B1 (ko) | 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법 | |
US10122987B2 (en) | 3D system including additional 2D to 3D conversion | |
Boev et al. | Comparative study of autostereoscopic displays for mobile devices | |
TWI462569B (zh) | 三維影像攝相機及其相關控制方法 | |
Chauvier et al. | Does size matter? The impact of screen size on stereoscopic 3DTV | |
JP2009500878A (ja) | 奥行錯覚デジタル撮像 | |
Calagari et al. | Depth personalization and streaming of stereoscopic sports videos | |
TWI502960B (zh) | 二維轉三維轉換裝置及其方法 | |
Knorr et al. | Basic rules for good 3D and avoidance of visual discomfort | |
Boisson et al. | Disparity profiles in 3DV applications: overcoming the issue of heterogeneous viewing conditions in stereoscopic delivery | |
Tasaki et al. | Sense of virtual reality: Effectiveness of replacing 3D imagery with 2D/3D hybrid imagery | |
JP2013090170A (ja) | 立体視映像再生装置 |