TWI521941B - Stereoscopic image display device and method - Google Patents

Stereoscopic image display device and method Download PDF

Info

Publication number
TWI521941B
TWI521941B TW100133020A TW100133020A TWI521941B TW I521941 B TWI521941 B TW I521941B TW 100133020 A TW100133020 A TW 100133020A TW 100133020 A TW100133020 A TW 100133020A TW I521941 B TWI521941 B TW I521941B
Authority
TW
Taiwan
Prior art keywords
unit
viewpoint
display
image
visibility
Prior art date
Application number
TW100133020A
Other languages
English (en)
Other versions
TW201225640A (en
Inventor
Ryusuke Hirai
Takeshi Mita
Kenichi Shimoyama
Yoshiyuki Kokojima
Rieko Fukushima
Masahiro Baba
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201225640A publication Critical patent/TW201225640A/zh
Application granted granted Critical
Publication of TWI521941B publication Critical patent/TWI521941B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Description

立體影像之顯示裝置及方法
本實施形態係關於一種立體影像之顯示。
依據某種之立體影像顯示裝置，視聽者不使用特殊眼鏡(即裸眼)就可視聽立體影像。此種立體影像顯示裝置，係顯示視點不同之複數個圖像，且藉由光線控制元件(例如視差屏障(parallax barrier)、雙凸透鏡(lenticular lens)等)來控制此等的光線之指向方向。指向方向受到控制之光線，係導引至視聽者之兩眼。若視聽位置適當的話，則視聽者可辨識立體影像。
作為此種立體影像顯示裝置的問題點之一，可列舉可良好地視聽立體影像的區域是受到限定的。例如，左眼感知的圖像之視點會比起右眼感知的圖像之視點還相對地成為右側，且存在無法正確辨識立體影像的視聽位置。此種視聽位置，被稱為幻視(pseudoscopic)區域。故而，一種讓視聽者辨識可良好地視聽裸眼方式之立體影像的區域等之視聽支援功能是被期待的。
專利文獻1：日本特許第3443271號公報
 (發明所欲解決之問題)
因而，本實施形態之目的在於提供裸眼方式之立體影像的視聽支援功能。
(解決問題之手段)
依據實施例，立體影像之顯示裝置，係包含顯示部和提示部。顯示部，係藉由控制來自像素之光線的複數個光線控制元件，而能夠顯示視點不同之複數個圖像。提示部，係對視聽者提示每一視聽位置對顯示部之可見度，該可見度係根據在複數個視聽位置產生幻視像之光線控制元件的個數而算出。
以下，參照圖式，就實施形態加以說明。
另外，在各實施形態中，於與說明過之其他實施形態相同或類似的要素附記相同或類似之元件符號，且基本上省略重複的說明。
(第1實施形態)
如第1圖所示，第1實施形態之立體影像顯示裝置，係具備提示部51和顯示部(顯示器)104。提示部51，係包含可見度算出部101、映射產生部102及選擇器103。
顯示部104，係顯示立體影像信號12中所含的複數個視點圖像(信號)。顯示部104，典型上雖然是液晶顯示器，但是亦可為電漿顯示器、OLED(有機電致發光二極體)顯示器等的其他顯示器。
顯示部104，係在其面板上具備複數個光線控制元件(例如視差屏障、雙凸透鏡等)。如第11圖所示，複數個視點圖像之光線，係藉由各光線控制元件而朝向例如水平方向分離並導引至視聽者之兩眼。另外，光線控制元件，當然亦可以朝向垂直方向等之其他方向分離光線的方式而配置在面板上。
備置於顯示部104的光線控制元件，係具有關於輻射亮度的特性(以後，亦稱為亮度輪廓)。例如，當發出顯示器之最大亮度時，可將穿透光線控制元件後的光線之衰減率當作輪廓。
例如，如第19圖所示，各光線控制元件，係分離視點圖像(次像素)1、…、9之光線。另外，在以後的說明中，係就顯示9個視點圖像1、…、9的情況作為一例加以敘述。在此等的視點圖像1、…、9中，視點圖像1係對應最右側之視點，視點圖像9係對應最左側之視點。換句話說，若進入左眼的視點圖像之指標(index)比進入右眼的視點圖像之指標還大，則不會變成幻視像。視點圖像5之光線係在方向角θ=0輻射最強。另外，亮度輪廓，係藉由能以亮度計等來測量各視點圖像之光線輻射於方向角θ的光線之強度而製作。在此的方向角θ，為-Π/2≦θ≦Π/之範圍。亦即，依存於顯示部104(備置於顯示部104的光線控制元件)之構成而決定亮度輪廓。
在第19圖中，雖然僅針對光線控制元件之背面的像素加以敘述，但是實際的顯示部104係如第13圖般並排有光線控制元件及子像素。故而，雖然方向角θ變得越陡峭就越能觀測到計測亮度輪廓的光線控制元件之相鄰的光線控制元件之背面的子像素之光線，但是由於光線控制元件和子像素之距離小，所以和相鄰的光線控制元件之下方的子像素之光程差較小。因而，亮度輪廓係可視為相對於方向角θ成為週期性。又，根據第13圖也可明白，上述週期，係可根據光線控制元件和顯示器之距離、子像素之大小及光線控制元件之特性等的設計資訊來求出。
如第17圖所示，備置於顯示部104的各光線控制元件之位置，係可藉由以顯示部104之中心為起點(原點)的位置向量s來表示。更且，如第18圖所示，各視聽位置，係可藉由以顯示部104之中心為起點的位置向量p來表示。另外，第18圖係從鉛垂方向觀看到顯示部104及其周邊的俯視圖。亦即，視聽位置，係可在從鉛垂方向觀看到顯示部104及其周邊的平面上來規定。
在位置向量p之視聽位置中，藉由來自位置向量s的光線控制元件之光線而感知的亮度，係可使用第20圖而導出如下。在第20圖中，點C係表示光線控制元件位置，點A係表示視聽位置(例如，視聽者的眼睛位置)。又，點B係表示從點A朝向顯示部104之垂線的腳。更且，θ係表示以點C為基準的點A之方向角。依據前述的亮度輪廓，可根據方向角θ而算出各視點圖像的光線之輻射亮度。另外，方向角θ，在幾何上例如可按照下述的數式(1)而算出。
[數1]
亦即，在任意的視聽位置中，若算出來自全部的光線控制元件之輻射亮度，則可獲得如第15A圖、第15B圖、第16A圖、第16B圖所示的亮度輪廓。另外，在以後的說明中，為了與前述的每一光線控制元件之亮度輪廓作區別，此種每一視聽位置之亮度輪廓係被稱為視點亮度輪廓。
又，若考量方向角θ和亮度輪廓之週期性，可明白在視點亮度輪廓中具有週期性。例如，在第14圖中，假定有：可觀察來自點C之1個位於左邊的光線控制元件之背面的視點圖像5之子像素的光線之位置A。此時，從方向角θ之週期性來看，則有：可觀察點C之2個位於左邊的光線控制元件之背面的視點圖像5之子像素的位置A’。同樣地，有：可觀察點C的光線控制元件之背面的視點圖像5之子像素的位置A”。由於視點圖像i的子像素之排列為等間隔，所以如第14圖所示，自顯示器垂下之垂線大小為相同的A、A’、A”係以等間隔排列。
若利用此視點亮度輪廓，則在位置向量p之視聽位置，藉由來自位置向量s之光線控制元件的視點圖像i之光線而感知的像素值，係可以下面的數式(2)來表示。在此，針對各視點圖像1、…、9，分別定義為指標i=1、…、9。又，將視點亮度輪廓定義為a()。又，將光線控制元件之背面的子像素之視點圖像i的像素值設為x(w、i)。
[數2]
在此，Ω係包含備置於顯示部104之全部的光線控制元件之位置向量s的集合。另外，在從光線控制元件位置s輸出的光線中，由於不僅包含有來自位於位置向量s的光線控制元件之背面的子像素之光線而且也包含有來自位於其周邊的子像素之光線，所以在數式(2)中，可計算不僅包含位置向量s的光線控制元件之背面的像素，也包含其周邊之子像素值的和。
上述數式(2)，亦可如下面的數式(3)般地使用向量來表示。
[數3]
y (s,p, i )=a(s,p, i )x( i )　(3)
亦即，若將視點圖像之總數設為N，則在位置向量p之視聽位置，藉由來自位置向量s之光線控制元件的各視點圖像之光線而感知的亮度，係可以下面的數式(4)來表示。
[數4]
另外，上述數式(4)，亦可利用下面數式(5)、(6)，來表示為下面數式(7)。
[數5]
[數6]
X=(x(1)…x(9)) T 　(6)
[數7]
更且，若將在視聽位置p可觀察的圖像設為1次元向量Y(p)，則可以下面的數式(8)來表示之。
[數8]
Y(p)= A (p)X　(8)
在此，直覺地說明上述數式(8)。例如，如第12圖所示，在來自中央之光線控制元件的光線之中，右眼可感知視點圖像5之光線，而左眼可感知視點圖像7之光線。故而，視聽者的兩眼會感知互異的視點圖像，且藉由該視點圖像間的視差而能夠獲得立體視。換句話說，藉由視點位置p有所差異，來感知不同的影像，藉此就能夠獲得立體視。
可見度算出部101，係算出每一視聽位置對顯示部104的可見度。例如，即使在可正確地視聽立體影像的正視區域，每一視聽位置之可見度也會因產生幻視像的光線控制元件之數量大小等的要因而有所不同。因而，藉由算出每一視聽位置對顯示部104之可見度，且利用作為每一視聽位置的立體影像之品質的一指標，藉此就能夠進行有效的視聽支援。
可見度算出部101，係根據至少顯示部104之特性(例如，亮度輪廓、視點亮度輪廓等)而算出每一視聽位置之可見度。可見度算出部101，係將所算出的每一視聽位置之可見度輸入至映射產生部102。
例如，可見度算出部101，係按照下面的數式(9)，而算出函數ε(s)。函數ε(s)，係幻視像若因位置向量s之光線控制元件而產生的話則歸為1，若沒有產生幻視像則歸為0的函數。
[數9]
另外，在以下的說明中，∥L係表示向量的範數(norm)，且可使用L1範數至L2範數。
在此，位置向量p係指視聽者的兩眼之中心。另外，d係表示兩眼視差向量。亦即，向量p+d/2係指視聽者的左眼，而向量p-d/2係指視聽者的右眼。若視聽者之左眼所感知最強的視點圖像之指標比視聽者之右眼所感知最強的視點圖像之指標還大，則ε(s)會變成0，若非如此則變成1。
更且，可見度算出部101，係使用藉由數式(9)而算出的函數ε(s)，並按照下面的數式(10)，算出位於位置向量p之視聽位置的可見度Q0。
在數式(10)中，σ1，係備置於顯示部104的光線控制元件之個數越多則具有越大值的常數。又，Ω係包含備置於顯示部104之全部的光線控制元件之位置向量s的集合。依據可見度Q0，則可評估產生幻視像的光線控制元件之個數(的多寡)。可見度算出部101，亦可將可見度Q0輸出作為最終的可見度，又可如後述般地施行不同的演算。
例如，可見度算出部101，亦可藉由下面的數式(11)來取代前述的數式(9)而算出ε(s)。
在數式(11)中，σ2，係備置於顯示部104的光線控制元件之個數越多則具有越大值的常數。依據數式(11)，則可考量在畫面端產生的幻視像比在畫面中央產生的幻視像還不顯眼之主觀的性質。亦即，在產生幻視像時ε(s)所歸還的值，係隨著離開顯示部104之中心的距離越大的光線控制元件而變得越小。
又，可見度算出部101，亦可按照下面的數式(12)而算出Q1，且使用該Q1和前述的Q0並按照下面的數式(13)來算出最終的可見度Q。或是，可見度算出部101，亦可將Q1來取代前述的Q0而算出作為最終的可見度Q。
[數13]Q(p)=Q 0(p)Q 1(p) (13)
在數式(12)中，σ3，係備置於顯示部104的光線控制元件之個數越多則具有越大值的常數。
在數式(8)中，係顯示藉由各視點圖像之線性和，而表現出感知的圖像。數式(8)中的視點亮度輪廓矩陣A(p)，由於全部是正定值矩陣，所以會因完成一種的低通濾波器之操作而產生模糊。因此，有提出以下的方法：在視點p，事先準備沒有模糊的銳化之圖像Y^(p)(數式(14)之右邊第2項)，且將藉由數式(14)而定義的能量E最小化，藉此決定顯示的視點圖像X。
[數14]
能量E係可改寫成如下面的數式(15)。當在如將數式(15)最小化的視聽位置p有兩眼之中心時就能夠觀察因數式(8)而產生模糊之影響被減低後的銳化之圖像。如此的視聽位置p係能夠設定1個至複數個，且在以後的說明中以設定視點Cj來表示此等。
[數15]
例如第21圖之C1、C2係表示上述的設定視點。與設定視點大致相同的視點亮度輪廓矩陣，由於即使在如前面所述般不同的視點位置也會週期性地出現，所以例如第21圖之C’1、C’2也能夠視為設定視點。將此等的設定視點之中，與視聽位置p最為接近的設定視點，在數式(7)是以C(p)來表示。依據可見度Q1，則可評估來自設定視點的視聽位置之偏移(之大小)。
映射產生部102，係產生對視聽者提示來自可見度算出部101之每一視聽位置的可見度之映射。映射，典型上雖然如第23圖所示，為藉由對應的顏色而表現每一視聽區域之可見度的圖像，但是並未限於此亦可為視聽者能夠掌握每一視聽位置之立體影像的可見度之任意形式的資訊。映射產生部102，係將所產生的映射輸入至選擇器103。
選擇器103，係選擇來自映射產生部102之映射的顯示之有效/無效。選擇器103，係例如如第1圖所示，按照使用者控制信號11而選擇映射的顯示之有效/無效。另外，選擇器103，亦可按照其他的條件選擇映射的顯示之有效/無效。例如，選擇器103，亦可在顯示部104開始顯示立體影像信號12之後至經過預定時間使映射的顯示成為有效，且之後使其成為無效。當選擇器103使映射的顯示成為有效時，來自映射產生部102的映射就會透過選擇器103而供給至顯示部104。顯示部104，例如可使映射重疊於顯示中的立體影像信號12並予以顯示。
以下，使用第2圖說明第1圖之立體影像顯示裝置的動作。
當開始處理時，可見度算出部101，係算出每一視聽位置對顯示部104之可見度(步驟S201)。映射產生部102，係產生對視聽者提示在步驟S201中算出的每一視聽位置之可見度的映射(步驟S202)。
選擇器103，例如是按照使用者控制信號11而判定映射顯示是否為有效(步驟S203)。若判定映射顯示為有效則處理會前進至步驟S204。在步驟S204，顯示部104係使在步驟S202產生的映射重疊於立體影像信號12並予以顯示，且結束處理。另一方面，若在步驟S203判定映射顯示為無效，則可省略步驟S204。亦即，顯示部104並不會顯示在步驟S202產生的映射，且會結束處理。
如以上說明般，第1實施形態之立體影像顯示裝置，係算出每一視聽位置對顯示部之可見度，且產生對視聽者提示該可見度的映射。因而，依據本實施形態之立體影像顯示裝置，則視聽者可輕易地掌握每一視聽位置之立體影像的可見度。尤其是，藉由本實施形態之立體影像顯示裝置而產生的映射，並非僅是提示正視區域，由於也以多階段地提示正視區域內的可見度，所以有助於立體影像之視聽支援。
另外，在本實施形態中，可見度算出部10，係根據顯示部104之特性而算出每一視聽位置之可見度。亦即，若顯示部104之特性被決定，則也能夠在事前算出每一視聽位置之可見度並產生映射。若將如此於事前產生的映射保存於記憶部(記憶體等)，則即使將第1圖之可見度算出部101及映射產生部102置換成上述記憶部亦可獲得同樣的效果。因而，如第24圖所示，本實施形態，亦可謀求一種：包含可見度算出部101、映射產生部102以及記憶部105的映射產生裝置。更且，如第25圖所示，本實施形態，亦可謀求一種：包含記憶藉由第24圖之映射產生裝置而產生的映射之記憶部105、(必要的話也包含選擇器103、)以及顯示部104的立體影像顯示裝置。
(第2實施形態)
如第3圖所示，第2實施形態之立體影像顯示裝置，係具備提示部52及顯示部104。提示部52，係包含視點選擇部111、可見度算出部112、映射產生部102以及選擇器103。
視點選擇部111，係輸入立體影像信號12，且按照使用者控制信號11來選擇包含於此的複數個視點圖像之顯示順序。選擇顯示順序後之立體影像信號13，係供給至顯示部104。更且，對可見度算出部112通知被選出的顯示順序。具體而言，視點選擇部111，例如是按照指定映射中之任一個位置的使用者控制信號11，並以指定位置包含於正視區域內的方式(或是，將指定位置中的可見度最大化的方式)來選擇視點圖像之顯示順序。
在第15A圖及第15B圖之例中，係於視聽者之右側存在幻視區域。當使如此的視點圖像之顯示順序朝向右方向位移1張時，視聽者所感知的視點圖像就會如第16A圖及第16B圖所示地朝向右方向位移1張。換言之，正視區域及幻視區域分別朝向右方向位移。藉由此種顯示順序之選擇，就能夠進行正視區域之變更、指定位置中的可見度之變更等。
可見度算出部112，係根據顯示部104之特性和藉由視點選擇部111而選出之顯示順序而算出每一視聽位置之可見度。亦即，由於例如數式(3)之x(i)會隨著藉由視點選擇部111而選出之顯示順序產生變化，所以可見度算出部112有需要根據此而算出每一視聽位置之可見度。可見度算出部112，係將算出的每一視聽位置之可見度輸入至映射產生部102。
以下，使用第4圖說明第3圖之立體影像顯示裝置的動作。
當開始處理時，視點選擇部111，係輸入立體影像信號12，且按照使用者控制信號11而選擇包含於此的複數個視點圖像之顯示順序，並將立體影像信號13供給至顯示部104(步驟S211)。
其次，可見度算出部112，係根據顯示部104之特性和在步驟S211藉由視點選擇部111而選出之顯示順序來算出每一視聽位置之可見度(步驟S212)。
如以上說明般，第2實施形態之立體影像顯示裝置，係以指定位置包含於正視區域內的方式，或將指定位置中的可見度最大化的方式來選擇視點圖像之顯示順序。因而，依據本實施形態之立體影像顯示裝置，則視聽者可緩和視聽環境(家具配置等)所造成的限制，且可提高所期望之視聽位置的立體影像之可見度。
另外，在本實施形態中，可見度算出部112，係根據顯示部104之特性和藉由視點選擇部111而選出之顯示順序來算出每一視聽位置之可見度。在此，視點選擇部111所能選擇的顯示順序之數量(亦即，視點之數量)為有限。亦即，亦能夠在事前算出提供各顯示順序時的每一視聽位置之可見度以產生映射。若將與如此在事前產生之各顯示順序對應的映射保存於記憶部(記憶體等)，且在顯示立體影像時讀出與藉由視點選擇部111而選出之顯示順序對應的映射，則即使將第3圖之可見度算出部112及映射產生部102置換成上述記憶部亦可獲得同樣的效果。因而，本實施形態，亦可謀求一種：包含可見度算出部112、映射產生部102以及未圖示之記憶部的映射產生裝置。更且，本實施形態，亦可謀求一種：包含記憶與藉由上述映射產生裝置而事前產生的之各顯示順序對應的映射之未圖示的記憶部、視點選擇部111、(必要的話也包含選擇器103、)以及顯示部104的立體影像顯示裝置。
(第3實施形態)
如第5圖所示，第3實施形態之立體影像顯示裝置，係具備提示部53和顯示部104。提示部53，係包含視點圖像產生部121、可見度算出部122、映射產生部102以及選擇器103。
視點圖像產生部121，係輸入影像信號14及深度信號15，且根據此等而產生視點圖像，並將包含所產生的視點圖像之立體影像信號16供給至顯示部104。另外，影像信號14，亦可為2次元圖像(亦即，1個視點圖像)，又可為3次元圖像(亦即，複數個視點圖像)。習知以來雖然有根據影像信號14及深度信號15而產生所期望之視點圖像用的各種手法為人所周知，但是視點圖像產生部121係可利用任意的手法。
例如，如第22圖所示，當將9個照相機橫向排列而進行拍攝時，就可獲得9個視點圖像。然而，典型上，係對立體影像顯示裝置輸入有藉由1個或2個之照相機而拍攝的1個或2個之視點圖像。已有以下之技術為人所周知：從該1個或2個之視點圖像推定各像素之深度值，或是從所輸入之深度信號15中直接取得，藉此虛擬產生現實上並未被拍攝的視點圖像。有關第22圖之例，若對應於i=5的視點圖像被提供作為影像信號14，則根據各像素之深度值來調整視差量，藉此就可虛擬產生對應於i=1、…、4、6、…、9的視點圖像。
具體而言，視點圖像產生部121，係按照例如指定映射中之任一個位置的使用者控制信號11，而選擇所產生的視點圖像之顯示順序，以提高在指定位置中所感知的立體影像之品質。例如視點數若為3以上，則視點圖像產生部121係以(來自影像信號14之)視差量小的視點圖像可被導引至指定位置的方式選擇視點圖像之顯示順序。若視點數為2，則視點圖像產生部121係以指定位置包含於正視區域內的方式選擇視點圖像之顯示順序。可對可見度算出部122通知藉由視點圖像產生部121而選出之顯示順序、和對應於影像信號14的視點。
在此，針對將視差量小的視點圖像導引至指定位置、和該指定位置中的立體影像之品質提高的關係進行簡單說明。
作為使根據影像信號14及深度信號15而產生的立體影像之品質劣化的一個要因，為人周知的是遮蔽現象(occlusion)。亦即，有時必須在不同的視點之圖像中表現在影像信號14中無法參照(不存在)的區域(例如，因物件而被遮蔽的區域(陰影面))。此現象，一般是與影像信號14之間的視點間距離越大，亦即，來自影像信號14之視差量越大則越容易發生。例如，有關第22圖之例，若對應於i=5的視點圖像被提供作為影像信號14，則對應於i=9的視點圖像比起對應於i=6的視點圖像，在對應於i=5的視點圖像中不存在的區域(陰影面)會變大。因而，可藉由使其視聽視差量小之視點圖像來抑制因遮蔽現象所造成的立體影像之品質劣化。
可見度算出部122，係根據顯示部104之特性、藉由視點圖像產生部121而選出之顯示順序、以及對應於影像信號14之視點，來算出每一視聽位置之可見度。亦即，由於數式(3)之x(i)會隨著藉由視點圖像產生部121而選出之顯示順序產生變化，且離開影像信號14之視點的距離越大則立體影像之品質就越劣化，所以可見度算出部122，有需要根據此等而算出每一視聽位置之可見度。可見度算出部122，係將所算出的每一視聽位置之可見度輸入至映射產生部102。
具體而言，可見度算出部122，係按照下面的數式(16)，而算出函數λ(s,p,it)。另外，為了簡化起見，在數式(16)中，假定影像信號14為1個視點圖像。函數λ(s,p,it)，係具有在視聽位置向量p之視聽位置所感知的視差圖像之視點越接近影像信號14之視點it就越小的值。
[數16]
更且，可見度算出部122，係使用藉由數式(16)而算出的函數λ(s,p,it)，並按照數式(17)來算出位置向量p之視聽位置中的可見度Q2。
[數17]
在數式(17)中，σ4，係備置於顯示部104的光線控制元件之個數越多則具有越大值的常數。又，Ω係包含備置於顯示部104之全部的光線控制元件之位置向量s的集合。依據可見度Q2，則可評估因遮蔽現象所造成的立體影像之品質劣化的程度。可見度算出部122，亦可將該可見度Q2輸出作為最終的可見度Q，又可組合前述的可見度Q0或Q1而算出最終的可見度Q。亦即，可見度算出部122，亦可按照下面的數式(18)、(19)等，來算出最終的可見度Q。
[數18]
Q (p)= Q 0 (p) Q 2 (p)　(18)
[數19]
Q (p)= Q 0 (p) Q 1 (p) Q 2 (p)　(19)
以下，使用第6圖說明第5圖之立體影像顯示裝置的動作。
當開始處理時，視點圖像產生部121係，產生基於影像信號14及深度信號15的視點圖像，且按照使用者控制信號11而選擇此等的顯示順序，並將立體影像信號16供給至顯示部104(步驟S221)。
其次，可見度算出部122，係根據顯示部104之特性、在步驟S221中藉由視點圖像產生部121而選出之顯示順序、以及對應於影像信號14之視點，而算出每一視聽位置之可見度(步驟S222)。
如以上說明般，第3實施形態之立體影像顯示裝置，係根據影像信號及深度信號而產生視點圖像，而選擇視點圖像之顯示順序，俾使此等視點圖像之中來自影像信號之視差量較小者可導引至指定位置。因而，依據本實施形態之立體影像顯示裝置，可抑制因遮蔽現象所造成的立體影像之品質劣化。
另外，在本實施形態中，可見度算出部122，係根據顯示部104之特性、藉由視點圖像產生部121而選出之顯示順序、以及對應於影像信號14之視點而算出每一視聽位置之可見度。在此，視點圖像產生部121所能夠選擇的顯示順序之數量(亦即，視點之數量)為有限。又，有可能對應於影像信號14的視點之數量也是有限，而對應於影像信號14之視點或許為固定(例如，中央之視點)。亦即，也有可能在事前算出可提供各顯示順序(及影像信號14之各視點)時的每一視聽位置之可見度並產生映射。若將與如此於事前產生之各顯示順序(及影像信號14之各視點)對應的映射保存於記憶部(記憶體等)，且讀出與顯示立體影像時藉由視點圖像產生部121而選出之顯示順序、以及影像信號14之視點對應的映射，則即使將第5圖之可見度算出部122及映射產生部102置換成上述記憶部亦可獲得同樣的效果。因而，本實施形態，亦可謀求一種：包含可見度算出部122、映射產生部102以及未圖示之記憶部的映射產生裝置。更且，本實施形態，亦可謀求一種：包含記憶與藉由上述映射產生裝置而於事前產生之各顯示順序(及影像信號14之各視點)對應的映射之未圖示的記憶部、視點圖像產生部121、(必要的話也包含選擇器103、)以及顯示部104的立體影像顯示裝置。
(第4實施形態)
如第7圖所示，第4實施形態之立體影像顯示裝置，係具備提示部54、感測器132及顯示部104。提示部54，係包含視點圖像產生部121、可見度算出部122、映射產生部131及選擇器103。另外，視點圖像產生部121及可見度算出部122，亦可置換成可見度算出部101，又可置換成視點圖像選擇部111及可見度算出部112。
感測器132，係檢測視聽者之位置資訊(以下，稱為視聽者位置資訊17)。例如，感測器132，亦可利用顏色辨識技術來檢測視聽者位置資訊17，又可利用在人體運動感測器(motion sensor)等之領域中為人所知的其他手法來檢測視聽者位置資訊17。
映射產生部131，係與映射產生部102同樣，產生相應於每一視聽位置之可見度的映射。更且，映射產生部131，係在所產生的映射重疊視聽者位置資訊17之後供給至選擇器103。例如，映射產生部131，係在對應於映射中之視聽者位置資訊17的位置附加預定之符號(例如，○、×、識別特定之視聽者的標記(例如，事前設定的顏色標記)等)。
以下，使用第8圖說明第7圖之立體影像顯示裝置的動作。
在步驟S222(或是，亦可為步驟S202或步驟S212)結束後，映射產生部131係按照所算出的可見度而產生映射。映射產生部131，係將藉由感測器132而檢測出的視聽者位置資訊17重疊於映射之後供給至選擇器103(步驟S231)，且處理會前進至步驟S203。
如以上說明般，第4實施形態之立體影像顯示裝置，係產生重疊視聽者位置資訊後的映射。因而，依據本實施形態之立體影像顯示裝置，由於視聽者可掌握映射中之自己的位置，所以可順利地實施移動、視點之選擇等。
另外，在本實施形態中，映射產生部131按照可見度而產生的映射，亦能夠如前述般地於事前產生並記憶於未圖示的記憶部內。亦即，若映射產生部131從上述記憶部讀出適合的映射，並重疊視聽者位置資訊17，則即使將第7圖之可見度算出部122置換成上述記憶部亦可獲得同樣的效果。因而，本實施形態中，亦可謀求一種：包含記憶事前產生的映射之未圖示的記憶部、讀出記憶於該記憶部之映射並重疊視聽者位置資訊17的映射產生部131、視點圖像產生部121、(必要的話也包含選擇器103、)以及顯示部104的立體影像顯示裝置。
(第5實施形態)
如第9圖所示，第5實施形態之立體影像顯示裝置，係具備提示部55、感測器132及顯示部104。提示部55，係包含視點圖像產生部141、可見度算出部142、映射產生部131及選擇器103。另外，映射產生部131，亦可置換成映射產生部102。
視點圖像產生部41，係與前述的視點圖像產生部121不同，並非按照使用者控制信號11而是按照視聽者位置資訊17來產生基於影像信號14及深度信號15的視點圖像，且將包含所產生之視點圖像的立體影像信號18供給至顯示部104。具體而言，視點圖像產生部141，係為了提高在目前的視聽者位置所感知的立體影像之品質，而選擇所產生的視點圖像之顯示順序。例如視點數若為3以上，則視點圖像產生部141係以(來自影像信號14之)視差量小的視點圖像可被導引至目前的視聽者位置之方式選擇視點圖像之顯示順序。若視點數為2，則視點圖像產生部141係以目前的視聽者位置包含於正視區域內的方式選擇視點圖像之顯示順序。可對可見度算出部142通知藉由視點圖像產生部141而選出之顯示順序、和對應於影像信號14的視點。
另外，視點圖像產生部141，亦可全憑感測器132之檢測精度而選擇視點圖像之產生手法。具體而言，若感測器132之檢測精度比臨限值還低，則視點圖像產生部141亦可與視點圖像產生部121同樣，按照使用者控制信號11而產生視點圖像。另一方面，若感測器132之檢測精度為臨限值以上則按照視聽者位置資訊17而產生視點圖像。
或是，視點圖像產生器141，亦可輸入立體影像信號12，且將包含於此的複數個視點圖像之顯示順序置換成按照視聽者位置資訊17而選擇之未圖示的視點圖像選擇部。該視點圖像選擇部，例如是以目前的視聽者位置包含於正視區域之方式，或是以將目前的視聽者位置之可見度最大化的方式來選擇視點圖像之顯示順序。
可見度算出部142，係與可見度算出部122同樣，根據顯示部104之特性、藉由視點圖像產生部121而選出之顯示順序、以及對應於影像信號14之視點，而算出每一視聽位置之可見度。可見度算出部142，係將所算出的每一視聽位置之可見度輸入至映射產生部131。
以下，使用第10圖說明第9圖之立體影像顯示裝置的動作。
開始處理時，視點圖像產生部141，係產生基於影像信號14及深度信號15之視點圖像，且按照藉由感測器132而檢測出的視聽者位置資訊17來選擇此等的顯示順序，並將立體影像信號18供給至顯示部104(步驟S241)。
其次，可見度算出部142，係根據顯示部104之特性、在步驟S241中藉由視點圖像產生部141而選出之顯示順序、以及對應於影像信號14之視點，而算出每一視聽位置之可見度(步驟S242)。
如以上說明般，第5實施形態之立體影像顯示裝置，係按照視聽者位置資訊而自動產生立體影像信號。因而，依據本實施形態之立體影像顯示裝置，則視聽者不需要進行移動及操作就可視聽高品質的立體影像。
另外，在本實施形態中，可見度算出部142係與可見度算出部122同樣，根據顯示部104之特性、藉由視點圖像產生部141而選出之顯示順序、以及對應於影像信號14之視點來算出每一視聽位置之可見度。亦即，也有可能在事前算出可提供各顯示順序(及影像信號14之各視點)時的每一視聽位置之可見度並產生映射。若將與如此於事前產生之各顯示順序(及影像信號14之各視點)對應的映射保存於記憶部(記憶體等)，且讀出與顯示立體影像時藉由視點圖像產生部141而選出之顯示順序、以及影像信號14之視點對應的映射，則即使將第9圖之可見度算出部142置換成上述記憶部亦可獲得同樣的效果。因而，本實施形態，亦可謀求一種：包含可見度算出部142、映射產生部102以及未圖示之記憶部的映射產生裝置。更且，本實施形態，亦可謀求一種：包含記憶藉由上述映射產生裝置而於事前產生的映射之未圖示的記憶部、讀出記憶於該記憶部之映射並重疊聽者位置資訊17的映射產生部131、視點圖像產生部141、(必要的話也包含選擇器103、)以及顯示部104的立體影像顯示裝置。
上述各實施形態之處理，係能夠藉由使用通用的電腦作為基本硬體來實現。實現上述各實施形態之處理的程式，亦可儲存於電腦可讀取之記憶媒體來提供。程式，係以能夠安裝之形式的檔案或能夠執行之形式的檔案來記憶於記憶媒體內。作為記憶媒體，只要是磁碟、光碟(CD-ROM、CD-R、DVD等)、光磁碟(MO等)、半導體記憶體等可記憶程式、且為電腦可讀取之記憶媒體，則亦可為任何形態。又，亦可將實現上述各實施形態之處理的程式，儲存於與網際網路等之網路連接的電腦(伺服器)上，且經由網路下載至電腦(客戶端)。
雖然已說明本發明之幾個實施形態，但是此等的實施形態，乃是提示作為例子，並未意圖限定發明之範圍。此等新穎的實施形態，係能夠以其他的各種形態來實施，且只要在不脫離發明要旨之範圍，可進行各種的省略、置換、變更。此等實施形態或其變化，係涵蓋在發明之範圍或要旨內，並且涵蓋在申請專利範圍所記載之發明與其均等的範圍內。
11．．．使用者控制信號
12、13、16、18．．．立體影像信號
14．．．影像信號
15．．．深度信號
17．．．視聽者位置資訊
51、52、53、54、55．．．提示部
101、112、122、142．．．可見度算出部
102、131．．．映射產生部
103．．．選擇器
104．．．顯示部
105．．．記憶部
111．．．視點選擇部
121、141．．．視點圖像產生部
132．．．感測器
第1圖係例示第1實施形態之立體影像顯示裝置的方塊圖。
第2圖係例示第1圖之立體影像顯示裝置之動作的流程圖。
第3圖係例示第2實施形態之立體影像顯示裝置的方塊圖。
第4圖係例示第3圖之立體影像顯示裝置之動作的流程圖。
第5圖係例示第3實施形態之立體影像顯示裝置的方塊圖。
第6圖係例示第5圖之立體影像顯示裝置之動作的流程圖。
第7圖係例示第4實施形態之立體影像顯示裝置的方塊圖。
第8圖係例示第7圖之立體影像顯示裝置之動作的流程圖。
第9圖係例示第5實施形態之立體影像顯示裝置的方塊圖。
第10圖係例示第9圖之立體影像顯示裝置之動作的流程圖。
第11圖係取決於裸眼之立體視的原理之說明圖。
第12圖係左右眼所感知之視點圖像的說明圖。
第13圖係亮度輪廓之週期性的說明圖。
第14圖係視點亮度輪廓之週期性的說明圖。
第15A圖係幻視像之說明圖。
第15B圖係幻視像之說明圖。
第16A圖係視點選擇之說明圖。
第16B圖係視點選擇之說明圖。
第17圖係光線控制元件位置之說明圖。
第18圖係視聽位置之說明圖。
第19圖係亮度輪廓之說明圖。
第20圖係視點亮度輪廓之說明圖。
第21圖係正視區域之說明圖。
第22圖係視點圖像產生手法之說明圖。
第23圖係例示映射之示意圖。
第24圖係例示第1實施形態之映射產生裝置的方塊圖。
第25圖係例示第1圖之立體影像顯示裝置之變化例的方塊圖。
11．．．使用者控制信號
12．．．立體影像信號
14．．．影像信號
51．．．提示部
101．．．可見度算出部
102．．．映射產生部
103．．．選擇器
104．．．顯示部

Claims (10)

  1. 一種立體影像之顯示裝置，其特徵為，具備：顯示部，其係藉由控制來自像素之光線的複數個光線控制元件，而能夠顯示視點不同之複數個圖像；算出部，根據在複數個視聽位置的各者產生幻視像之前述光線控制元件的個數，算出對前述顯示部之該複數個視聽位置的各者的個別的可見度；以及產生部，其係產生示意前述複數個視聽位置的各者的個別的可見度的映射。
  2. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，前述算出部，係更進一步根據在前述複數個視聽位置的各者產生前述幻視像的前述光線控制元件之位置而算出前述個別的可見度。
  3. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，前述算出部，係更進一步根據來自預設的理想視聽位置之偏移而算出前述個別的可見度。
  4. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，前述產生部，係藉由對應之顏色來表現前述複數個視聽位置的各者的個別的可見度，藉此產生前述映射。
  5. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，前述產生部復具備判定部，其係按照使用者之控制而判定前述映射是否被顯示於前述顯示部。
  6. 如申請專利範圍第1項所述的立體影像之顯示裝 置，其中，復具備：選擇部，其係按照使用者之控制而選擇前述複數個圖像之位於前述顯示部的顯示順序，以便將指定位置中的可見度最大化。
  7. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，復具備：圖像產生部，其係根據影像信號及深度信號而產生前述複數個圖像，且按照使用者之控制而選擇前述複數個圖像之位於前述顯示部的顯示順序。
  8. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，復具備：感測器，其係檢測視聽者之位置；前述產生部，係將示意前述視聽者之位置的資訊重疊於前述映射。
  9. 如申請專利範圍第1項所述的立體影像之顯示裝置，其中，復具備：感測器，其係檢測視聽者之位置資訊；以及圖像產生部，其係根據影像信號及深度信號而產生前述複數個圖像，且按照前述視聽者之位置資訊而選擇前述複數個圖像之位於前述顯示部的顯示順序。
  10. 一種立體影像之顯示方法，其特徵為：藉由控制來自像素之光線的複數個光線控制元件，將視點不同之複數個圖像，顯示於顯示部，根據在複數個視聽位置的各者產生幻視像之前述光線控制元件的個數，算出對前述顯示部之該複數個視聽位置的各者的個別的可見度， 產生示意前述複數個視聽位置的各者的個別的可見度的映射。
TW100133020A 2010-11-30 2011-09-14 Stereoscopic image display device and method TWI521941B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/071389 WO2012073336A1 (ja) 2010-11-30 2010-11-30 立体映像表示装置及び方法

Publications (2)

Publication Number Publication Date
TW201225640A TW201225640A (en) 2012-06-16
TWI521941B true TWI521941B (zh) 2016-02-11

Family

ID=46171322

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100133020A TWI521941B (zh) 2010-11-30 2011-09-14 Stereoscopic image display device and method

Country Status (5)

Country Link
US (1) US20120293640A1 (zh)
JP (1) JP5248709B2 (zh)
CN (1) CN102714749B (zh)
TW (1) TWI521941B (zh)
WO (1) WO2012073336A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
CN103959340A (zh) * 2011-12-07 2014-07-30 英特尔公司 用于自动立体三维显示器的图形呈现技术
CN102802014B (zh) * 2012-08-01 2015-03-11 冠捷显示科技（厦门）有限公司 一种多人跟踪功能的裸眼立体显示器
JP5395934B1 (ja) * 2012-08-31 2014-01-22 株式会社東芝 映像処理装置および映像処理方法
KR101996655B1 (ko) * 2012-12-26 2019-07-05 엘지디스플레이 주식회사 홀로그램 표시 장치
JP2014206638A (ja) * 2013-04-12 2014-10-30 株式会社ジャパンディスプレイ 立体表示装置
EP2853936A1 (en) 2013-09-27 2015-04-01 Samsung Electronics Co., Ltd Display apparatus and method
US11917118B2 (en) 2019-12-27 2024-02-27 Sony Group Corporation Information processing apparatus and information processing method
CN112449170B (zh) * 2020-10-13 2023-07-28 万维仁和(北京)科技有限责任公司 一种立体视频重定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3443272B2 (ja) * 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
JP3443271B2 (ja) * 1997-03-24 2003-09-02 三洋電機株式会社 立体映像表示装置
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP4236428B2 (ja) * 2001-09-21 2009-03-11 三洋電機株式会社 立体画像表示方法および立体画像表示装置
JP4207981B2 (ja) * 2006-06-13 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
US20080123956A1 (en) * 2006-11-28 2008-05-29 Honeywell International Inc. Active environment scanning method and device
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
US8189035B2 (en) * 2008-03-28 2012-05-29 Sharp Laboratories Of America, Inc. Method and apparatus for rendering virtual see-through scenes on single or tiled displays
US9406132B2 (en) * 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video

Also Published As

Publication number Publication date
WO2012073336A1 (ja) 2012-06-07
CN102714749A (zh) 2012-10-03
US20120293640A1 (en) 2012-11-22
CN102714749B (zh) 2015-01-14
JPWO2012073336A1 (ja) 2014-05-19
TW201225640A (en) 2012-06-16
JP5248709B2 (ja) 2013-07-31

Similar Documents

Publication Publication Date Title
TWI521941B (zh) Stereoscopic image display device and method
JP5625979B2 (ja) 表示装置および表示方法ならびに表示制御装置
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
EP2728888B1 (en) Multi-view display apparatus and image processing therefor
KR101675961B1 (ko) 적응적 부화소 렌더링 장치 및 방법
EP3350989B1 (en) 3d display apparatus and control method thereof
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
EP2869571B1 (en) Multi view image display apparatus and control method thereof
US9432657B2 (en) Naked-eye stereoscopic display apparatus, viewpoint adjustment method, and naked-eye stereoscopic vision-ready video data generation method
KR20160025522A (ko) 위치 감지와 뷰들의 적응 수를 갖는 멀티뷰 3차원 디스플레이 시스템 및 방법
US10694173B2 (en) Multiview image display apparatus and control method thereof
JP5257248B2 (ja) 画像処理装置および方法、ならびに画像表示装置
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
US20150085087A1 (en) Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
JP2015154091A (ja) 画像処理方法、画像処理装置、及び電子機器
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
JP5931062B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP2013090129A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20140085434A1 (en) Image signal processing device and image signal processing method
CN104270625A (zh) 一种减弱自由立体显示赝立体像的合成图生成方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees