TWI470995B - 應用於三維顯示器的方法與相關裝置 - Google Patents

應用於三維顯示器的方法與相關裝置 Download PDF

Info

Publication number
TWI470995B
TWI470995B TW100115386A TW100115386A TWI470995B TW I470995 B TWI470995 B TW I470995B TW 100115386 A TW100115386 A TW 100115386A TW 100115386 A TW100115386 A TW 100115386A TW I470995 B TWI470995 B TW I470995B
Authority
TW
Taiwan
Prior art keywords
display
positioning information
test
sound
dimensional
Prior art date
Application number
TW100115386A
Other languages
English (en)
Other versions
TW201246904A (en
Inventor
Kun Nan Cheng
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW100115386A priority Critical patent/TWI470995B/zh
Priority to US13/307,160 priority patent/US20120280977A1/en
Publication of TW201246904A publication Critical patent/TW201246904A/zh
Application granted granted Critical
Publication of TWI470995B publication Critical patent/TWI470995B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Description

應用於三維顯示器的方法與相關裝置
本發明是有關於一種應用於三維顯示器的方法與相關裝置,且特別是有關於一種結合三維影像與感測定位的方法與相關裝置。
三維顯示技術能顯示三維影像,為使用者帶來更生動豐富的感官體驗,已成為現代資訊廠商的研發重點。
當要顯示某一物體的三維影像時,三維顯示器將此物體的左影像與右影像分別顯示至使用者(觀賞者)的左眼與右眼;由於左影像與右影像間有視差(parallax),使用者便會看到物體的三維成像。
不過,有許多因素會影響使用者觀看到的三維影像位置;三維影像資料內容中欲以視差偏移量傳達的三維影像位置會和使用者實際觀看到三維影像位置有所差異。這不僅會影響三維影像的播放效果,使用者也無法正確地和三維影像互動。
因此,本發明提供一種能結合三維影像成像位置與觀賞者位置的技術,讓使用者能正確地和三維影像架構的虛擬環境互動。
本發明的目的之一是提供一種應用於一三維顯示器的方法,包括:以三維顯示器顯示一或多個測試物體的三維影像,各測試物體三維影像相關於一預設視差偏移量;感應使用者回應測試物體三維影像的回應訊號,並感測使用者的測試定位資訊(包括三維影像與螢幕間的距離);其中,預設視差偏移量與測試定位資訊間具有一特定關係,故能以一函數關係描述不同視差偏移量所對應的定位資訊。
本發明可利用視差偏移量與定位資訊間的函數關係讓使用者能與三維影像互動。舉例而言,可用三維顯示器顯示預設數目個互動物體的三維影像,各互動物體三維影像關聯於一預設程序並對應一第二視差偏移量;而各第二視差偏移量可代入至函數關係以提供一對應的參考定位資訊。以感測器感應使用者回應互動物體三維影像的互動定位資訊,然後將互動定位資訊與各互動物體三維影像所對應的參考定位資訊進行比對。若互動定位資訊符合某一互動物體對應的參考定位資訊,三維顯示器便可進行該相符互動物體所關聯的預設程序。
也就是說,三維顯示器可用三維影像呈現出多個立體的虛擬互動物體,並依據函數關係的校正來預測使用者感受到的三維成像位置(即參考定位資訊)。當使用者與各互動物體互動時,感測器依據使用者的動作偵測出一互動定位資訊;若偵測到的互動定位資訊符合某一互動物體的參考定位資訊,三維顯示器便可執行該互動物體關聯的程序。如此,使用者便可和三維顯示器進行三維互動。
一實施例中,當比對結果顯示互動定位資訊不符合各參考定位資訊,可發出提示,令使用者調整使用者位置,並再次感測該使用者之互動定位資訊。
在另一實施例中,當比對結果顯示互動定位資訊不符合各參考定位資訊,可根據使用者互動定位資訊與特定關係以提供一互動視差偏移量,並使互動物體三維影像的視差偏移量等於互動視差偏移量,使其對應的參考定位資訊符合使用者之互動定位資訊。
一實施例中,感測器設有複數個鏡頭;此複數個鏡頭擷取使用者影像以產生複數個感測影像,並依據這些感測影像間的差異提供感測的定位資訊。在產生該些感測影像時,亦可一併利用該些感測影像間的差異進行對焦。
一實施例中,感測器包括一發射器與一接收器。發射器向使用者發出定位波,接收器接收定位波的反射波;依據反射波,便可提供感測的定位資訊。定位波可以是電磁波、紅外線光波或聲波、超音波、震波等等。
本發明可利用視差偏移量與定位資訊間的函數關係預期使用者感受到的三維影像位置,進而調整三維影像,讓使用者能在預期的位置感受到三維影像。在顯示一展示物體時,若希望使用者能在一給定的展示位置感受到其三維成像,便可將展示位置對應的展示定位資訊代入函數關係,以求出一對應的展示視差偏移量。三維顯示器依據展示視差偏移量顯示展示物體的三維影像,使用者便能正確地在展示位置看到展示物體的三維成像。
三維顯示器可包括複數個揚聲器,本發明更可依據感測器感測的定位資訊調整各揚聲器的播放參數,校正揚聲器的立體音場,讓使用者能在預期位置感受到應有的立體音效。
本發明的又一目的是提供一種應用於一三維顯示器的方法,包括:以三維顯示器顯示預設數目個測試三維影像,每一測試三維影像對應一預設視差偏移量;以及,依據使用者對各測試三維影像的回應訊號分別取得一對應的測試定位資訊。依據每一預設視差偏移量與每一測試定位資訊,便可計算一函數關係,以將不同視差偏移量關聯於對應的定位資訊。
函數關係可用於調整/校正三維影像,包括:取得一展示影像資料,此展示影像資料中有第二預設數目個三維展示影像,各三維展示影像分別對應一展示定位資訊。各展示定位資訊代入至函數關係分別提供一對應的展示視差偏移量;依據各展示視差偏移量,便可調整展示影像資料中的各個三維展示影像,讓使用者能在展示定位資訊所對應的展示位置觀看到各個三維展示影像。
本發明更可利用立體音場進行三維影像的校正。在顯示測試三維影像時,以三維顯示器播放第二預設數目個測試聲音資料,各聲音測試資料對應一預設音效偏移資訊。依據每一預設音效偏移資訊與每一測試定位資訊計算一函數關係以描述不同音效偏移資訊所對應的定位資訊。此函數關係可用於校正/調整聲音資料,讓聲音資料對應的立體音效能符合三維影像建構出的虛擬環境。取得待調整/播放的展示聲音資料,將此展示聲音資料對應的展示定位資訊代入至函數關係以提供一對應的展示音效偏移資訊。依據展示音效偏移資訊,便可調整展示聲音資料。
本發明的再一目的是提供一種應用於三維播放的裝置,包括一影像處理模組、一影像校正模組、一影像調整模組,一聲音處理模組、一選擇性設置的聲音校正模組與一選擇性設置的聲音調整模組。影像處理模組接收預設數目個測試三維影像並取得有關之預設數目個預設視差偏移量。影像校正模組接收視差偏移量,並針對各預設視差偏移量接收一對應的測試定位資訊。其中,各預設視差偏移量關聯於一測試三維影像,各測試定位資訊則由感測器提供,對應於使用者對各測試三維影像的回應。影像校正模組更依據各預設視差偏移量與各測試定位資訊計算一函數關係,以將不同視覺偏移量關聯於對應定位資訊。
影像調整模組接收一展示影像資料,此展示影像資料對應第二預設數目個展示定位資訊。影像校正模組將各展示定位資訊代入至函數關係,針對各展示定位資訊提供一對應的展示視差偏移量,由影像調整模組接收。影像調整模組更依據各展示視差偏移量調整展示影像資料。
聲音處理模組接收預設數目個預設音效偏移資訊,關連於預設數目個測試聲音資料以及測試三維影像;聲音校正模組接收各測試定位資訊與第二預設數目個預設音效偏移資訊,各預設音效偏移資訊關聯於一測試聲音資料,並關聯於測試三維影像。聲音校正模組依據各預設音效偏移資訊與各測試定位資訊計算一第二函數關係,以將不同音效偏移資訊關聯於對應定位資訊。
展示影像資料更關聯於一展示聲音資料,此展示聲音資料對應於一第二展示定位資訊。聲音校正模組將第二展示定位資訊代入至第二函數關係以提供一關聯的展示音效偏移資訊,而影像調整模組依據各展示視差偏移量與展示音效偏移資訊調整展示影像資料。
聲音調整模組接收展示聲音資料,並接收聲音校正模組提供的展示音效偏移資訊。聲音調整模組依據各展示音效偏移資訊與各展示視差偏移量調整展示聲音資料。
為了對本發明之上述及其他方面有更佳的瞭解,下文特舉較佳實施例,並配合所附圖式,作詳細說明如下:
左影像與右影像間的偏移量可被稱為三維深度(3D depth),其係與觀賞者感知之三維成像的位置有關。請參考第1A圖至第1C圖,其所示意的是不同偏移量所對應的三維成像位置。如第1A圖所示,若某一物體在螢幕SC上的左影像IL偏右,右影像IR偏左,兩者間的偏移量Xa會使此物體的成像Iob位在螢幕SC之前,與螢幕SC相距一距離值Ya。假設觀賞者的位置不變,若左影像IL和右影像IR分別向中間移動而使偏移量Xa的大小縮減,距離值Ya的大小也會連帶地縮減,物體的三維成像Iob會逐漸接近螢幕SC。如第1B圖所示,若左影像IL與右影像IR間的偏移量Xb為0,其所形成的三維成像Iob剛好落位在螢幕SC上,與螢幕SC間隔的距離值Yb為0。如第1C圖所示,若左影像IL偏左而右影像IR偏右,兩者間的偏移量Xc就會使成像Iob位在螢幕SC之後,此時與螢幕SC之間相隔距離值Yc。
由第1A至1C圖的例子可知,改變左右影像間的偏移量,就能調整其三維成像的位置(相對於螢幕或使用者而言)。不過,還有其他的因素會影響三維影像的成像位置;第2A至2B圖與第3A至3B圖分別示意影響三維影像位置的其他因素。
影響三維影像成像位置的因素之一是顯示螢幕的大小。在第2A圖中,左右影像IL與IR顯示於一個比較小的螢幕SC;在第2B圖中,左右影像IL與IR則等比例地顯示於一個較大的螢幕SC2,而其之間的偏移量也等比例放大。雖然觀賞者與螢幕間距離相同,但對較大的螢幕SC2而言,其所呈現的三維成像Iob會比較接近觀賞者。
另一個影響三維影像成像位置的因素為觀賞者與螢幕間的距離。在第3A與3B圖中,左右影像IL與IR皆顯示於相同尺寸的螢幕SC,且兩者的左右影像偏移量維持不變。由第3B圖可見,觀賞者與螢幕間的距離較遠於第3A圖中的距離,連帶地,三維成像Iob的位置也隨之改變。另外,如觀賞者雙眼間距離等因素也會影響其所看到的三維影像位置(距離)。
由以上討論可知,有許多因素會影響使用者觀看到的三維影像位置;三維影像資料內容中欲以視差偏移量傳達的三維影像位置會和使用者實際觀看到三維影像位置有所差異。這不僅會影響三維影像的播放效果,使用者也無法正確地和三維影像互動。
本發明一實施例之三維顯示器係利用三維顯示器之顯示技術使觀賞者對影像產生三維深度的感受,同時並利用感測器來偵測觀賞者相對於螢幕的位置,進而結合影像成像之位置以及觀賞者位置,而讓觀賞者與三維顯示器播放的影像產生互動的效果。請參考第4A至4C圖,其係依據本發明一實施例而進行感測定位的示意圖。為實現本發明,一三維顯示螢幕SC包含或搭配一感測器MS,例如為攝影(像)機。在第4A至4C圖的實施例中,感測器MS設有左鏡頭CL與右鏡頭CR。如第4A圖所示,針對與感測器MS相距距離值Ys的物體OB,例如在螢幕前被攝影之觀賞者,左鏡頭CL拍攝物體OB而產生的左影像IL1位於左畫面PL,右鏡頭CR拍攝物體OB而產生的右影像IR1位於右畫面PR。由於左右鏡頭CL與CR兩者之間位置的差異,故左右畫面PL與PR上的左右影像IL1與IR1之間產生偏移量Xs。
如第4B圖所示,感測器的兩個鏡頭有如人類的雙眼,若物體OB與感測器MS間的距離值Ys變大,當左右鏡頭CL與CR分別拍攝物體OB的左右影像IL2與IR2時,左右影像IL2與IR2間的偏移量Xs會變小。由此可知,物體OB的位置(如距離值Ys)係關聯於其左右影像間的差異(如偏移量Xs)。如第4C圖所示,較大的偏移量Xs(1)對應較短的距離值Ys(1),較小的偏移量Xs(2)對應較長的距離值Ys(2),偏移量和距離值兩者之間係具有一種函數關係。此函數關係係關連於一三維顯示螢幕SC的尺寸大小,亦即,不同的螢幕所獲得的函數關係可能不一樣。依據左右影像間的偏移量Xs,感測器MS就可決定出物體OB的相對位置(例如說是距離感測器MS的遠近),並針對物體OB提供對應的定位資訊,包括距離值Ys。再者,在一實施例中,感測器MS亦可一併依據左右影像的偏移量來進行對焦;也就是說,在攝取物體的影像時,依據其左右影像間的偏移量判斷是否已經正確聚焦於該物體上。
在本發明另一種實施例中(未圖示),感測器MS可以為一或多個發射器與一或多個接收器,而非以攝影(像)機來實現。發射器向物體發出定位波,接收器接收定位波的反射波;依據反射波(例如比較定位波與反射波的差異,或比較不同接收器接收的反射波),便可提供感測的定位資訊。定位波可以是電磁波、紅外線光波或聲波、超音波、震波等等。
本發明提供的三維顯示系統係利用感測器所求得之使用者(觀賞者)位置,並考量先前所述之使用者實際感受到的三維成像位置,經由調整三維成像的位置及/或調整使用者位置的方式,使用者(由眼睛或由肢體動作)可正確地感受三維成像,進而可與三維成像進行互動,以達成虛擬實境的臨場感。
請參考第5圖,其所示意的是依據本發明一實施例的流程100,用以將三維顯示與感測定位結合;其主要步驟可描述如下:
步驟102:顯示測試三維影像。例如,可在三維顯示器的螢幕SC上產生一物體的左右影像ILt與IRt;左右影像ILt與IRt間有視差偏移量Xt,讓使用者得以感受到成像Iobt,也就是以成像Iobt作為測試三維影像。
步驟104:三維顯示器可提示使用者依據其所觀察到的清晰三維成像Iobt而作出一些特定的回應訊號,例如一些回應動作:特殊手勢、觸碰或拍打其所觀察到的三維成像;或者,在另一例中,當可清晰地感知該三維成像時,使用者主動提供一回應訊號。一實施例中,感測器MS偵測測試定位資訊Pt;此測試定位資訊Pt中包括了感測使用者與感測器的距離值Yt。一實施例中,感測器MS係偵測使用者的特定回應動作並感測其位置,進而得到該定位資訊Pt。另一實施例中,使用者的特定回應訊號係可藉由其他方式傳遞至三維顯示器,譬如使用者按下遙控器之按鈕以傳達回應。
詳細來說,感測器MS可利用使用者的各種參考點(如身體、肩膀及/或手臂、手指)的邊緣及/或位置來感測出測試定位資訊Pt。舉例而言,可用第4C圖中的鏡頭CL與CR擷取使用者影像以產生左右影像,並依據左右影像的差異提供測試定位資訊Pt。
步驟106:依據三維測試影像的視差偏移量Xt與測試定位資訊Pt中的距離值Yt建立兩者間的函數關係,使此函數關係可以描述各種視差偏移量所對應的定位資訊(包括距離值)。實際上,步驟102與104係遞迴進行,例如每次進行時可在步驟102中採用具有不同的視差偏移量Xt的三維影像,以形成位置不同的成像Iobt;在步驟104中,依據使用者的實際感受感測出各個視差偏移量Xt對應的不同定位資訊Pt與距離值Yt,以在步驟106中累積多組的「視差偏移量Xt與距離值Yt」對應之特定關係,進而推導得出兩者間的汎用函數關係。
步驟108:判斷是否繼續累積「視差偏移量Xt與距離值Yt」間的對應關係,若尚未結束,則繼續遞迴進行步驟102與104。若視差偏移量與距離值/定位資訊間的函數關係已經建立完成,進行步驟110。
步驟110:結束流程100。
利用流程100中得到的函數關係,本發明就能讓使用者能正確地和三維影像的虛擬物體/虛擬環境互動。請參考第6圖,其所示意的是依據本發明一實施例而進行三維虛擬環境互動的流程200。流程200的主要步驟可說明如下。
步驟202:以三維顯示器的螢幕SC顯示一或多個互動物體的三維影像,如成像Iob(n)與Iob(n’)。各成像Iob(n)由左右影像ILc(n)與IRc(n)形成,左右影像間對應視差偏移量Xc(n)。各視差偏移量Xc(n)可代入至步驟106的函數關係以提供對應的距離值Yc(n)及參考定位資訊Pc(n)。各成像Iob(n)關聯於一預設程序fcn(n)。預設程序fcn(n)可以是三維顯示器能夠進行的各種操作,例如說是調節顯示的亮度、對比、暫停播放、繼續播放、選擇播放章節等等;再者,三維顯示器也可以是用於播放一主機提供的內容,而預設程序fcn(n)為該主機可以執行的操作。舉例而言,該主機可以是一遊戲主機(game console),當執行預設程序時,可改變其提供的顯示內容,讓三維顯示器顯示的三維虛擬場景有所變化,藉以因應使用者的觸發而與使用者互動。
步驟204:感應使用者的互動定位資訊Pi。
步驟206:將互動定位資訊Pi與各成像Iob(n)的參考定位資訊Pc(n)進行比對。若比對結果顯示互動定位資訊Pi符合某一互動物體對應的參考定位資訊Pc(n0),進行至步驟208;否則,可遞迴至步驟204,持續感應使用者的後續動作。本實施例之步驟206之目的係求得在三維互動場景的諸多物件中,使用者所欲觸碰的特定物件(某個特定三維影像)。
步驟208:由於互動定位資訊Pi符合參考定位資訊Pc(n0),例如說兩者間的誤差在一預設的誤差範圍內,三維顯示器便可執行其所關聯的預設程序fcn(n0)。此步驟意即若Pi符合參考定位資訊Pc(n0),則代表使用者回應於對應於位置Pc(n0)成像的三維物件。
在一實施例中,當使用者的互動定位資訊不符合任何互動物體的參考定位資訊時,可以代表使用者不想要進行任何互動。舉例而言,當使用者觸發互動時,可能只是要調整坐姿、接電話、喝飲料等等;經由互動定位資訊的比對,便可得知使用者並不是要觸發任何預設程序。再者,若有複數個互動物體(互動成像),使用者可以只和其中之一(或一些)互動。
一實施例中,當比對結果顯示互動定位資訊不符合各參考定位資訊,可發出提示,令使用者調整使用者位置,並再次感測該使用者之互動定位資訊。
在另一實施利中,當比對結果顯示互動定位資訊不符合各參考定位資訊,可根據使用者互動定位資訊與特定關係以提供一互動視差偏移量,並使互動物體三維影像的視差偏移量等於互動視差偏移量,使其對應的參考定位資訊符合使用者之互動定位資訊。
在進行流程100後,已經可以在三維影像的視差偏移量X與使用者實際感受到的距離值Y之間建立函數關係。當在步驟202中顯示成像Iob(n)時,便可依據視差偏移量Xc(n)得知使用者會在哪個位置、哪個距離值下觀察到此成像Iob(n)。若使用者在此位置、此距離值下與成像Iob(n)進行互動,就代表使用者要觸發成像Iob(n)對應的程序fcn(n)。據此,使用者便可和三維顯示器播放的三維影像進行三維互動。
如第2A至2B圖與第3A至3B圖曾討論過的,僅依據左右影像的視差偏移量並不能準確得知使用者會在哪個位置、哪個距離值下看到三維成像,也就無法正確地讓使用者和三維場景互動。因為由不同尺寸螢幕產生的三維成像的視差偏移量不同,建立的距離值也不同;再者,使用者實際上與螢幕的距離亦會影響距離值。本發明之本實施例可在流程100中實際感測使用者觀察到成像的距離值與位置,據此校正視差偏移量與距離值/成像位置間的函數關係,進而使流程200的三維互動得以實現。
舉例而言,若成像Iob(n)的視差偏移量Xc(n)原本應成像於某一距離值Y_expect,但實際成像的距離值Y_actual卻因第2A至2B圖、第3A至3B圖等因素而與距離值Y_expect有所差異。不過,經由本發明建立的函數關係,可由視差偏移量Xc(n)求算出距離值Y_actual。當使用者於距離值Y_actual處進行互動(發出互動訊號)時,便可得知使用者是要與成像Iob(n)進行互動。因此,預期的距離值Y_expect不會影響互動的正確性;即使距離值Y_expect與使用者實際感受到的距離值Y_actual不同,本發明還是可正確地和使用者互動。
除了將感測定位與三維影像結合,本發明亦可進一步將感測定位與立體音場結合。請參考第7圖,其係依據本發明一實施例以多揚聲器SK1至SK5建立立體音場的示意圖。除了螢幕SC與感測器MS之外,三維顯示器也可搭配不同位置的揚聲器SK1至SK5,以配合三維顯示進行立體音效的播放。三維顯示的影像資料會以視覺上的視差偏移量建立三維成像,立體音場的聲音資料則以聽覺上的音效偏移資訊(包括頻率、相位、延遲及/或音量上的偏移)塑造三維虛擬空間中的立體音效,讓使用者能在聽覺上感受到虛擬音源的位置。不過,視差偏移量建立的三維成像距離值與使用者實際觀察到的距離值會有所差異,音效偏移資訊欲建立的音源位置與使用者實際收聽到的音源位置也會不同。而本發明就可依據感測器MS的定位感測來校正音效偏移資訊與音源位置間的函數關係。
舉例而言,流程100的步驟106已經建立視差偏移量與成像距離值間的函數關係,而本發明可直接利用此函數關係來調整/修正聲音資料的音效偏移資訊,使音效偏移資訊建立的音源位置符合使用者實際定位的音源位置。或者,類似步驟102與104,本發明亦可播放測試聲音資料予使用者,由使用者回應或指示其所收聽到的音源位置,(甚至可以感測器MS感測使用者的動作以取得資訊),以取得使用者定位音源位置的測試定位資訊。依據測試聲音資料的音效偏移資訊與測試定位資訊,就可建立音效偏移資訊與音源定位資訊間的函數關係,類似於步驟106。
就像流程200,本發明也可利用立體音場中音效偏移資訊與音源定位資訊間的函數關係來與使用者進行互動。例如說,若一互動音源的聲音資料對應一音效偏移資訊,可由函數關係得出其所對應的參考定位資訊。當感測器MS偵測使用者的動作並提供對應互動定位資訊時,若互動定位資訊符合參考定位資訊,就可播放該互動音源的聲音資料。立體音場的互動可配合三維影像的互動,增加使用上的趣味。舉例而言,可用三維影像顯示一虛擬的鈴鐺,當使用者觸動此虛擬鈴鐺時,便可播放虛擬鈴鐺的鈴聲聲音資料,且此聲音的音源位置會和虛擬鈴鐺的成像位置一致。
利用三維影像資料中視差偏移量與感測定位資訊間函數關係,以及/或者立體音場聲音資料中音效偏移資訊與感測定位資訊間的函數關係,本發明可調整影像資料與聲音資料,使視差偏移量建立的三維成像距離值能符合使用者觀察到的距離值,而聲音偏移資訊建立的音源位置也能符合使用者收聽到的音源位置。
請參考第8圖,其示意的是依據本發明一實施例的聲音資料調整流程300。流程300的主要步驟可說明如下:
步驟302:播放測試聲音資料,此測試聲音資料係依據一對應的測試音效偏移資訊建立立體音效。
步驟304:由使用者定位測試聲音資料的音源,並可感測使用者的定位動作或由使用者回應一定位資訊,作為測試定位資料。
步驟306:比對使用者於測試定位資料中定位的音源位置是否符合測試音效偏移資訊欲建立的音源位置。若兩者不符(兩者間的誤差超過一容忍值),進行至步驟308。若兩者相符,則進行至步驟310。
步驟308:調整測試聲音資料的測試音效偏移資訊,以改變測試音效偏移資訊所建立的音源位置,並重複步驟302。可利用音效偏移資訊與音源定位資訊間的函數關係來調整測試音效偏移資訊,使測試音效偏移資訊建立的音源位置能符合使用者於測試定位資料中定位的音源位置。等效而言,調整測試音效偏移資訊,也就是改變各揚聲器的播放參數,如音量大小、延遲、相位及/或頻率。
步驟310:結束流程300。
請參考第9圖,其所示意的是依據本發明一實施例的裝置10;裝置10應用於三維顯示,以依據感測的使用者定位資訊來調整/修正三維影像資料與聲音資料的成像/音效位置。裝置10中設有一控制模組12、一影像處理模組13、一影像校正模組14、一影像調整模組16、一聲音處理模組17、一聲音校正模組18與一聲音調整模組20。控制模組12控制其他各模組的運作。如同流程100中的步驟102與104,影像處理模組13接收測試三維影像並取得有關之預設視差偏移量;影像校正模組14接收測試三維影像的視差偏移量,並由感測器MS接收各視差偏移量對應的測試定位資訊,也就是使用者對測試三維影像的定位資訊。據此,影像校正模組14便可依據各預設視差偏移量與對應測試定位資訊計算一函數關係(如步驟106),以將不同視差偏移量關聯於對應定位資訊。
當要顯示一三維的展示影像資料時,影像調整模組16便可依據影像校正模組14的運作來調整展示影像資料的偏移量。影像調整模組16接收展示影像資料,此展示影像資料對應一或多個三維影像的展示定位資訊,各展示定位資訊代表一個待展示物體所應成像的位置。影像校正模組14將各展示定位資訊代入至函數關係以提供對應的展示視差偏移量,並由影像調整模組16所接收。也就是說,若要讓使用者在展示定位資訊所代表的位置上觀看到三維成像,此三維成像的左右影像間視差偏移量應該符合影像校正模組14算出的展示視差偏移量。而影像調整模組16就是要依據各展示視差偏移量調整展示影像資料中的各個視差偏移量。由於每個螢幕尺寸固定,產生三維影像時所能調整的偏移量有最大限制,因此,另一實施例中,亦可以由顯示器發出指示或資訊令使用者稍微調整其定位,以使定位資訊所對應的偏移量在該螢幕能採用的最大限制之內。
舉例而言,三維顯示器顯示的三維展示影像資料可以是由三維虛擬模型即時算圖(render)而得,故可在對三維虛擬模型算圖時的依據偏移量改變算圖的焦點、角度等參數,使三維成像能位在展示定位資訊中指定的位置。或者,三維顯示器可調整其播放左右影像的光學參數(如角度、方向等等),以調整左右影像間的視差偏移量,進而修正三維成像的距離值。
類似於影像校正模組14的運作原理,聲音處理模組17接收預設音效偏移資訊,分別關連於測試聲音資料;在播放測試聲音資料後,聲音校正模組18會針對測試聲音資料中的各個音效偏移資訊接收使用者定位音源的測試定位資訊。聲音校正模組18依據各音效偏移資訊與對應的測試定位資訊計算一第二函數關係,以將不同音效偏移資訊關聯於對應定位資訊。
當要播放展示影像資料關聯的展示聲音資料時,聲音校正模組18將展示聲音資料對應的展示定位資訊代入至第二函數關係以提供一關聯的展示音效偏移資訊。聲音調整模組20接收展示聲音資料,並接收聲音校正模組18提供的展示音效偏移資訊,以依據展示音效偏移資訊及/或展示視差偏移量及/或影像校正模組14的函數關係來調整展示聲音資料的音效偏移量。經聲音調整模組20調整後的聲音資料可輸出至三維顯示器的揚聲器(如第7圖的揚聲器SK1至SK5),讓展示定位資訊欲建立的音源位置能符合使用者聆聽到的音源位置。同理,影像調整模組16亦可一併依據各展示視差偏移量及/或展示音效偏移資訊及/或聲音校正模組18的第二函數關係來調整展示影像資料,並將調整後的影像資料輸出至三維顯示器,讓展示定位資訊欲建立的三維成像位置(距離值)符合使用者實際看到的位置。
裝置10可實現於三維顯示器的控制晶片中,影像校正模組14、影像調整模組16、聲音校正模組18與聲音調整模組20可用軟體、韌體及/或硬體來加以實現。聲音校正模組18及/或聲音調整模組20亦可省略。
在第6圖的實施例中顯示互動影像Iob(n)時,視差偏移量Xc(n)的預期距離值Y_expect與實際成像的距離值Y_actual可以是相異的;即使兩者相異,本發明仍可正確實現三維互動。在第9圖實施例中,本發明係進一步調整視差偏移量以改變實際成像的距離值Y_actual,使成像的預期距離值Y_expect可以等於使用者實際感受到的距離值Y_actual。當然,第6圖與第9圖實施例可以互相結合搭配。
總結來說,本發明係將感測定位與三維影像顯示/聲音播放結合,能使三維播放符合使用者的感覺,亦讓使用者能正確地與三維播放建立的虛擬環境互動。
綜上所述,雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10...裝置
12...控制模組
13...影像處理模組
14...影像校正模組
16...影像調整模組
17...聲音處理模組
18...聲音校正模組
20...聲音調整模組
100、200、300...流程
102-110、202-208、302-310...步驟
IR、IR1-IR2、IRt、IRc(.)...右影像
IL、IL1-IL2、ILt、ILc(.)...左影像
Xa-Xc、Xs、Xt、Xc(.)...偏移量
Ya-Yc、Ys、Yt、Yc(.)、Yi...距離值
Pt...測試定位資訊
fcn(.)...程序
Pc(.)、Pi...定位資訊
SC、SC2...螢幕
OB...物體
Iob、Iobt、Iob(.)...成像
MS...感測器
PR...右畫面
PL...左畫面
CR...右鏡頭
CL...左鏡頭
SK1-SK5...揚聲器
第1A圖至第1C圖示意視差偏移量與三維成像位置的關係。
第2A至2B圖與第3A至3B圖示意各種影響三維成像位置的因素。
第4A至4C圖係依據本發明一實施例進行感測定位的示意圖。
第5圖係依據本發明一實施例以感測定位校正三維成像位置的流程。
第6圖係依據本發明一實施例實行三維互動的流程。
第7圖係依據本發明一實施例建立立體音場的示意圖。
第8圖係依據本發明一實施例以感測定位校正立體音場的流程。
第9圖係依據本發明一實施例的三維播放應用裝置示意圖。
100...流程
102-110...步驟
IRt...右影像
ILt...左影像
Xt...偏移量
Yt...距離值
Pt...測試定位資訊
SC...螢幕
Iobt...成像
MS...感測器

Claims (23)

  1. 一種應用於一三維顯示器的方法,包含:利用該三維顯示器產生一測試物體的一三維影像,該三維影像有關於一預設視差偏移量;感應一使用者之一回應訊號,該回應訊號係有關於該三維影像;以及回應於該回應訊號,感測有關於該使用者之一測試定位資訊,其中該預設視差偏移量與該測試定位資訊係具有一特定關係。
  2. 如申請專利範圍第1項所述的方法,更包括:產生複數三維影像,該複數三維影像有關於不同之複數預設視差偏移量;感應一使用者之複數回應訊號;感測有關於該使用者之複數測試定位資訊;以及依據該複數預設視差偏移量與該複數測試定位資訊求得該特定關係,供描述不同視差偏移量所對應的不同定位資訊。
  3. 如申請專利範圍第1項所述的方法,更包含:以該三維顯示器產生複數互動物體的三維影像,各該三維影像對應一第二視差偏移量;根據各該第二視差偏移量與該特定關係以提供一對應的參考定位資訊;感測該使用者之至少一互動定位資訊;將該至少一互動定位資訊與各該參考定位資訊進行比對。
  4. 如申請專利範圍第3項所述的方法,更包括:感應使用者之至少一回應訊號,該至少一回應訊號係有關於該複數三維影像;以及回應於該至少一回應訊號之後,感測該使用者之該至少一互動定位資訊。
  5. 如申請專利範圍第3項所述的方法,更包括:當一比對結果顯示該互動定位資訊不符合各該參考定位資訊,發出一提示令使用者調整一使用者位置;以及再次感測該使用者之一互動定位資訊。
  6. 如申請專利範圍第3項所述的方法,更包括:當一比對結果顯示該互動定位資訊不符合各該參考定位資訊,根據該使用者之該互動定位資訊與該特定關係以提供一互動視差偏移量;以及調整該複數互動物體之三維影像至少其一之一第二視差偏移量成為該互動視差偏移量,使其對應的一參考定位資訊符合該使用者之該互動定位資訊。
  7. 如申請專利範圍第3項所述的方法,更包含:使每一該複數互動物體分別關聯於一預設程序;以及若一比對結果顯示該互動定位資訊符合該複數參考定位資訊其中之一,則使該三維顯示器進行該相符互動物體所關聯的該預設程序。
  8. 如申請專利範圍第1項所述的方法,更包含:擷取使用者影像以產生複數個感測影像;依據該些感測影像間的差異提供該測試定位資訊。
  9. 如申請專利範圍第8項所述的方法,更包含:在產生該些感測影像時,利用該些感測影像間的差異進行對焦。
  10. 如申請專利範圍第1項所述的方法,其中感測該使用者之該測試定位資訊包含:向該使用者發出一定位波;接收該定位波的一反射波;以及依據該反射波提供該測試定位資訊。
  11. 如申請專利範圍第1項所述的方法,更包含:在顯示一展示物體時,將一展示定位資訊代入該特定關係以提供一對應的展示視差偏移量;以及依據該展示視差偏移量,以該三維顯示器顯示該展示物體的三維影像。
  12. 如申請專利範圍第1項所述的方法,該三維顯示器包含複數個揚聲器,而該方法更包含:依據該定位資訊調整各該揚聲器的播放參數。
  13. 一種應用於一三維顯示器的方法,包含:利用該三維顯示器顯示複數測試三維影像,每一該測試三維影像對應一預設視差偏移量;以及依據使用者對每一該測試三維影像的一回應訊號分別取得對應的一測試定位資訊。
  14. 如申請專利範圍第13項所述的方法,更包含:依據每一該預設視差偏移量與每一該測試定位資訊計算一函數關係以將不同視差偏移量關聯於對應的定位資訊。
  15. 如申請專利範圍第14項所述的方法,更包含:取得一展示影像資料,該展示影像資料對應第二展示定位資訊;將各該展示定位資訊代入至該函數關係以分別提供一對應的展示視差偏移量;以及依據各該展示視差偏移量調整該展示影像資料。
  16. 如申請專利範圍第13項所述的方法,更包含:在顯示該複數測試三維影像時,以該三維顯示器播放複數測試聲音資料,各該聲音測試資料對應一預設音效偏移資訊;以及依據每一該預設音效偏移資訊與每一該測試定位資訊計算一函數關係以描述不同音效偏移資訊所對應的複數定位資訊。
  17. 如申請專利範圍第16項所述的方法,更包含:取得一展示聲音資料,該展示聲音資料對應一展示定位資訊;將該展示定位資訊代入至該函數關係以提供一對應的展示音效偏移資訊;以及依據該展示音效偏移資訊調整該展示聲音資料。
  18. 如申請專利範圍第13項所述的方法,更包含:以一感測器感應使用者對各該測試三維影像的回應以取得各該測試定位資訊。
  19. 一種應用於三維播放的裝置,包含:一影像處理模組,接收預設數目個測試三維影像並取得有關之預設數目個預設視差偏移量;一影像校正模組,接收該預設數目個預設視差偏移量,並接收預設數目個測試定位資訊,有關一使用者對該預設數目個測試三維影像的回應,以及依據各該預設視差偏移量與各該測試定位資訊計算一函數關係;以及一影像調整模組,接收一展示影像資料對應第二預設數目個展示定位資訊與對應的第二預設數目個展示視差偏移量,依據各該展示視差偏移量調整該展示影像資料。
  20. 如申請專利範圍第19項所述的裝置,更包含:一聲音處理模組,接收第二預設數目個預設音效偏移資訊,關連於第二預設數目個測試聲音資料以及該第一預設數目個測試三維影像;一聲音校正模組,接收各該測試定位資訊,依據各該預設音效偏移資訊與各該測試定位資訊計算一第二函數關係,以將不同音效偏移資訊關聯於對應定位資訊。
  21. 如申請專利範圍第20項所述的裝置,其中該展示影像資料更關聯於一展示聲音資料,該展示聲音資料對應於一第二展示定位資訊;該聲音校正模組更將該第二展示定位資訊代入至該第二函數關係以提供一關聯的展示音效偏移資訊,而該影像調整模組更依據各該展示視差偏移量與該展示音效偏移資訊調整該展示影像資料。
  22. 如申請專利範圍第20項所述的裝置,更包含:一聲音調整模組,接收一展示聲音資料,該展示聲音資料對應一第二展示定位資訊;該聲音調整模組並接收一展示音效偏移資訊,該展示音效偏移資訊係由該聲音校正模組將該第二展示定位資訊代入至該第二函數關係所提供;且該聲音調整模組更依據該展示音效偏移資訊調整該展示聲音資料。
  23. 如申請專利範圍第22項所述的裝置,其中該聲音調整模組更依據各該展示音效偏移資訊與各該展示視差偏移量調整該展示聲音資料。
TW100115386A 2011-05-02 2011-05-02 應用於三維顯示器的方法與相關裝置 TWI470995B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100115386A TWI470995B (zh) 2011-05-02 2011-05-02 應用於三維顯示器的方法與相關裝置
US13/307,160 US20120280977A1 (en) 2011-05-02 2011-11-30 Method for Three-Dimensional Display and Associated Apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100115386A TWI470995B (zh) 2011-05-02 2011-05-02 應用於三維顯示器的方法與相關裝置

Publications (2)

Publication Number Publication Date
TW201246904A TW201246904A (en) 2012-11-16
TWI470995B true TWI470995B (zh) 2015-01-21

Family

ID=47089956

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100115386A TWI470995B (zh) 2011-05-02 2011-05-02 應用於三維顯示器的方法與相關裝置

Country Status (2)

Country Link
US (1) US20120280977A1 (zh)
TW (1) TWI470995B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489148B (zh) * 2013-08-23 2015-06-21 Au Optronics Corp 立體顯示器與驅動方法
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
TWI588672B (zh) * 2015-08-04 2017-06-21 逢甲大學 虛擬園區之體感探索互動系統及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007582A1 (en) * 2007-04-03 2010-01-14 Sony Computer Entertainment America Inc. Display viewing system and methods for optimizing display view based on active tracking
CN101668220A (zh) * 2008-09-07 2010-03-10 联发科技股份有限公司 可调整的视差栅栏三维显示器
CN102016878A (zh) * 2008-05-08 2011-04-13 皇家飞利浦电子股份有限公司 定位声音信号源的位置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2471137B (en) * 2009-06-19 2011-11-30 Sony Comp Entertainment Europe 3D image processing method and apparatus
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007582A1 (en) * 2007-04-03 2010-01-14 Sony Computer Entertainment America Inc. Display viewing system and methods for optimizing display view based on active tracking
CN102016878A (zh) * 2008-05-08 2011-04-13 皇家飞利浦电子股份有限公司 定位声音信号源的位置
CN101668220A (zh) * 2008-09-07 2010-03-10 联发科技股份有限公司 可调整的视差栅栏三维显示器

Also Published As

Publication number Publication date
TW201246904A (en) 2012-11-16
US20120280977A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
US9794722B2 (en) Head-related transfer function recording using positional tracking
US10142618B2 (en) Imaging apparatus and imaging method
CN106919294B (zh) 一种3d触控交互装置、其触控交互方法及显示装置
US20050275913A1 (en) Binaural horizontal perspective hands-on simulator
CN112369048B (zh) 音频装置和其操作的方法
US10431006B2 (en) Multisensory augmented reality
JP2012058968A (ja) プログラム、情報記憶媒体及び画像生成システム
US20140200080A1 (en) 3d device and 3d game device using a virtual touch
CN101006492A (zh) 水平透视显示
US8674980B2 (en) Three-dimensional image interactive system and position-bias compensation method of the same
KR20130013248A (ko) 3d 영상 재생 기기 및 그 3d 영상 제어 방법
CN105657396A (zh) 一种播放视频的处理方法及装置
TWI470995B (zh) 應用於三維顯示器的方法與相關裝置
KR20090022718A (ko) 음향처리장치 및 음향처리방법
CN113228615A (zh) 信息处理装置、信息处理方法和信息处理程序
JP5842371B2 (ja) ビデオゲーム装置およびビデオゲーム制御方法
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN102769764B (zh) 应用于三维显示器的方法与相关装置
JP4955718B2 (ja) 立体表示制御装置、立体表示システムおよび立体表示制御方法
KR20220052922A (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
KR20130054569A (ko) 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
WO2018187743A1 (en) Producing three-dimensional images using a virtual 3d model
US11134358B2 (en) Audio adjusting method and audio adjusting device
US20140176502A1 (en) Image display apparatus and method

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees
MM4A Annulment or lapse of patent due to non-payment of fees