TWI526875B - 互動式顯示 - Google Patents

互動式顯示 Download PDF

Info

Publication number
TWI526875B
TWI526875B TW100128903A TW100128903A TWI526875B TW I526875 B TWI526875 B TW I526875B TW 100128903 A TW100128903 A TW 100128903A TW 100128903 A TW100128903 A TW 100128903A TW I526875 B TWI526875 B TW I526875B
Authority
TW
Taiwan
Prior art keywords
display screen
layer
camera
light
projector
Prior art date
Application number
TW100128903A
Other languages
English (en)
Other versions
TW201214200A (en
Inventor
拉吉提摩西
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201214200A publication Critical patent/TW201214200A/zh
Application granted granted Critical
Publication of TWI526875B publication Critical patent/TWI526875B/zh

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0205Diffusing elements; Afocal elements characterised by the diffusing properties
    • G02B5/0236Diffusing elements; Afocal elements characterised by the diffusing properties the diffusion taking place within the volume of the element
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/02Diffusing elements; Afocal elements
    • G02B5/0273Diffusing elements; Afocal elements characterized by the use
    • G02B5/0284Diffusing elements; Afocal elements characterized by the use used in reflection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • G03B21/60Projection screens characterised by the nature of the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/132Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/134Projectors combined with typing apparatus or with printing apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)

Description

互動式顯示
本發明係關於互動式顯示。
相較於螢幕及鍵盤或其他此類輸入裝置而言,互動式顯示裝置(如,表面計算裝置)可能藉由物體之表面而與使用者互動。各種觸碰感應機構(包括但不限於光學式及電容式觸碰感應機構)可致使感應於互動式表面上的多重暫時重疊觸碰。此觸碰感應機構可能致使辨識基於觸碰及基於手勢的輸入,藉此提供豐富的使用者體驗。
於此所揭示之各種實施例係關於互動式顯示的前投影。舉例而言,所揭露的一個實施例提供一種互動式顯示系統,該互動式顯示系統包括:投影機;及顯示螢幕,該顯示螢幕係配置以顯示由該投影機所投影之影像,該顯示螢幕包括:逆向反射層;及散射層,該散射層覆蓋該逆向反射層,該散射層係配置以散射地反射由該投影機所發出之入射於該散射層上的光之第一部分,使得光的第二部分通過該散射層且由該逆向反射層反射回去而穿過該散射層。該互動式顯示系統亦包括攝影機,該攝影機係配置以經由該逆向反射層所反射之光而擷取該顯示螢幕的複數個影像;邏輯子系統;及資料儲存子系統,該資料儲存子系統儲存由該邏輯子系統所可執行的複數個指令,以經由該攝影機而獲得複數個影像並經由該等影像而辨識執行於該投影機和該顯示螢幕間的使用者手勢。
此發明內容係以簡單形式而提供介紹概念之選項,且概念之選項將於以下之實施方式中進一步說明。此發明內容並不意欲分辨所主張標的的主要特徵或必要特徵,且並不意欲被使用以限制所主張標的的範疇。此外,所主張標的不限於解決於本案之任何部分中所示的任何或所有缺點之實施。
如上所述,互動式顯示裝置可提供使用者藉由物體之表面而互動,其中表面同時作為顯示裝置和輸入介面。舉例而言,一些表面計算裝置可採取具有水平顯示表面的類桌型之裝置,該水平顯示表面係亦配置以偵測觸碰輸入。舉例而言,影像可能藉由背投影機構而投影至顯示表面上,且舉例而言,觸碰可能經由置於由使用者視角而言為在表面後之一或多個紅外線攝影機而於顯示表面上偵測。
儘管類桌型互動式顯示裝置於許多使用環境係有優點的,亦有其他的使用環境較不適於此種硬體結構。舉例而言,因為用於背投影互動式顯示裝置的封閉投影容積可能相對地大,將此裝置壁掛可能不切實際。此外,雖然攝影機於此類裝置中係機械地固定至與投影機相同框架,攝影機和投影機並未分享光軸。因此,相反地於由紅外線攝影機所偵測之場景和所顯示之可視影像間不存在有固定關係,如此可能於設定及偶爾的再校直維修期間需要校直。此外,包含投影容積之物體的外殼可能增加額外的支出以製造此種互動式顯示裝置。
因此,於此所揭露之實施例係關於使用前投影以顯示互動影像至使用者之互動式顯示裝置。第1圖圖示此種互動式顯示系統100的實施例,且第2圖圖示互動式顯示系統100之方塊圖。所示之互動式顯示系統100包括投影機102,該投影機102係配置以投影影像於顯示螢幕104;且亦包含攝影機106,該攝影機106係配置以擷取顯示螢幕104的影像。儘管顯示螢幕104係圖示為水平方向且投影機102係圖示為位於顯示螢幕104上方,應理解投影機102可能具有與顯示螢幕104的任何其他位置關係。舉例而言,於一些使用環境中,顯示螢幕104可能於垂直方向上安裝於壁上。
如以下進一步詳述,顯示螢幕104包括設置於逆向反射層上方之散射層,其中術語“上方”意為在入射光抵達逆向反射層之前,入射光通過散射層。因此,由投影機所發出入射於顯示螢幕104上之光的第一部分由散射層而分散,而第二部分穿過散射層且藉由逆向反射層而反射回去穿過散射層並朝向投影機102和攝影機106。散射地反射之光可使由寬範圍之使用者位置觀察所投影之影像,而逆向反射之光幫助與系統互動之物體的光學偵測。
於第1圖中,散射地反射之光係由從顯示螢幕於每一圖示之入射光線處而延伸的短箭頭所圖示,且逆向反射光係由從顯示螢幕平行每一入射光線而延伸之較長箭頭所圖示。於第2圖中,逆向反射光係以從顯示螢幕朝攝影機和投影機以對入射光線具有些微角度而延伸之兩光線所圖示。此是為顯示逆向反射層可能因逆向反射層之反射表面的輕微變化而以與入射光線些微地非平行之方式反射一些光。因此,相對投影機之軸而離軸放置之攝影機可能仍然從顯示螢幕偵測逆向反射之光線,只要攝影機置於接收此非平行逆向反射之光的位置。
參考第2圖,於一些實施例中,可能使用偏極化器202以經由偏極化光而投影影像。同樣地,偏極化分析器204可置於攝影機106之前方。如以下進一步詳述,此可幫助於顯示螢幕104上的陰影偵測及/或觸碰偵測。此外,於一些實施例中,互動式顯示裝置100亦可能包含第二攝影機206。第二攝影機206的使用可允許獲得範圍資料,且藉此可允許決定於使用者手部和顯示螢幕104的表面間之距離。
互動式顯示系統更包括與投影機102、攝影機106和光學第二攝影機206電性通信之計算裝置210。計算裝置210包含邏輯子系統212和資料儲存子系統214。邏輯子系統212可包含一或多個實體裝置,該一或多個實體裝置係配置以執行一或多個指令。舉例而言,邏輯子系統可配置以執行為一或多個應用、服務、程式、常式、程式庫、物件、部件、資料結構或其他邏輯結構之部分的一或多個指令,以執行於此所揭示之方法和其他工作的各種實施例。此類指令可能以執行工作、實施資料類型、轉換一或多個裝置之狀態或相反地達成所欲結果而實施。
邏輯子系統211可能包含配置以執行軟體指令之一或多個處理器。額外地或替代地,邏輯子系統212可包含配置以執行硬體或韌體指令之一或多個硬體或韌體邏輯機械。邏輯子系統212之處理器可為單核或多核,且於處理器上所執行之程式可能配置用於平行式或分散式處理。邏輯子系統212可選地包含分布於整個兩或多個裝置之獨立部件,該兩或多個裝置可遠端地設置及/或配置用於協調處理。邏輯子系統212的一或多個態樣可藉由配置於雲端計算結構中之遠端存取網路計算裝置而虛擬化及執行。
資料儲存子系統214可包含一或多個實體裝置,該一或多個實體裝置係配置以儲存藉由邏輯子系統而可執行之資料及/或指令,以實施於此所述之方法及處理。當此方法和處理實施時,資料儲存子系統214的狀態可轉換(如,儲存不同資料)。
資料儲存子系統214可包含可移除的媒體及/或內建裝置。資料儲存子系統214可包含光學記憶體裝置(如,CD、DVD、HD-DVD、藍光光碟等)、半導體記憶體裝置(如,RAM、EPROM、EEPROM等)及/或磁性記憶體裝置(如,硬碟驅動機、軟碟驅動機、磁帶機、MRAM等)等。資料儲存子系統214可包含具有一或多個以下特性之裝置:揮發、非揮發、動態、靜態、讀/寫、唯讀、隨機存取、順序存取、位置尋址、檔案尋址及內容尋址。於一些實施例中,邏輯子系統212和資料儲存子系統214可整合於一或多個共用裝置(如特殊應用積體電路或單晶片系統)。
圖2亦圖示以一或多個可移除電腦可讀取儲存媒體216之形式呈現的資料儲存子系統之態樣,該等可移除電腦可讀取儲存媒體216可使用以儲存及/或傳送可執行以實施於此所述之方法和處理的資料及/或指令。可移除電腦可讀取儲存媒體可採用CD、DVD、HD-DVD、藍光光碟、EEPROM及/或軟碟等之形式。
投影機102可使用以呈現由資料儲存子系統214所儲存之虛擬資料表示。於此所述之方法及處理改變由資料儲存子系統所儲存之資料,且因此轉換資料儲存子系統之狀態,投影機102之狀態可能同樣地被轉換以於顯示螢幕104上虛擬地表示於下方資料中的改變。
計算裝置210可進一步包含其他部件(如,通訊子系統218)。當包含有通訊子系統218時,通訊子系統218可配置以通訊地將計算系統與一或多個其他計算系統耦接,且通訊子系統218可包含有線的及/或無線的、與一或多個不同的通訊協定相容之通訊裝置。作為非限制性實例,通訊子系統218可配置用於經由無線電話網路、無線區域網路、有線區域網路、無線廣域網路、有線廣域網路等而通訊。於一些實施例中,此通訊子系統218可允許計算裝置210經由網路(如網際網路)傳送訊息至其他裝置及/或從其他裝置接收訊息。
如上所述,顯示螢幕114係配置以散射地反射光的第一部分,而逆向反射光的其他部分。第3圖圖示用以於互動式顯示裝置中顯示前投影影像之顯示螢幕104的實施例之截面圖。所示之前投影顯示螢幕包括支持逆向反射層302之支持層300。黏著層304(或其他合適層)係設置於逆向反射層302和散射層306間。此外,表面層308可設置於散射層上以達成所欲的表面特性(如,強度、損壞抗性、觸覺特質等)。
散射層306和逆向反射層302合作以散射地反射入射光的第一部分,使得所投影之影像具有用於從一範圍的使用者位置觀察之合適的亮度和強度分佈,且朝向投影機和攝影機逆向反射光的第二部分回去,以幫助偵測於顯示器前方的物體。因此,當設置於投影機和顯示螢幕間的物體係未逆向反射時,此物體將以陰影出現於螢幕前方。即使是放置於顯示螢幕上的白紙也可由白散射層306而輕易地分辨,因藉白紙將抵達逆向反射層之光線遮擋於白紙後而造成之陰影。
任何合適的逆向反射結構可使用作為逆向反射層302。於一實例中,逆向反射層可藉由將角立方突出至PET薄膜上以形成稜鏡陣列而形成。通常,逆向反射材料可具有任意大的螢幕增益(亦即,行進回至投影機的光之比例,如將從散射螢幕行進回至投影機之光之分數)。因此,逆向反射層302可配置以具有任何合適的增益,包含(但不限於)1000或更多的增益。應理解具有低於1000之增益的逆向反射層亦可能使用。合適的逆向反射層之實例包含(但不限於)由康涅狄格州(Connecticut)埃文(Avon)的Reflexite Display Optics公司所製造之微結構逆向反射材料(Micro-Structured Reflective Materials)。
散射層306同樣地可具有任何合適的結構。舉例而言,散射層306可包括於基材上網版印刷的白點圖案、一層合適的白色結構及/或任何其他合適的散射結構。散射層306可配置以散射地反射任何合適比例的入射光。入射光的合適比例包含令整個可視角範圍足以達到所欲亮度的投影影像,且亦允許光的合適部分朝投影機和攝影機逆向反射回去之比例。於特定實施例中,散射層306可配置以散射地反射於60-90%間的入射光,使得於10-40%間之入射光藉由逆向反射層302而反射。應理解於上所述之範圍係為用於例示之目的而呈現,非為意欲以任何方式作限制。
於散射90%的入射光和逆向反射10%之入射光、具有最高增益為1000的顯示螢幕之特定實例中,因超過反向散射層之散射反射的逆向反射層之增益,於投影機處所觀察之光強度比由觀察者所觀察之散射地反射光亮約100倍。因此,攝影機看到較使用者更亮的投影光之影像。此外,如上所述,因放置於螢幕前方之物體係未逆向反射且將相對小量之光送回攝影機,所以此物體對攝影機而言,無視顏色、表面紋路及/或物體的顏色而呈現黑色。
與逆向反射相較,除了散射地反射之光量之外,應理解系統效能可為其他變數的函數。該等變數的實例包含投影機輸出功率、顯示螢幕區域、顯示亮度、逆向反射層增益、環境照度、非逆向反射環境。下表1展示用於該等變數之實例的數值,該等變數可能導致與從顯示螢幕所發出之逆向反射光相較,從於顯示螢幕上之白紙板所發出之散射地反射光之對比度,其中該實例之數值導致約9的對比度。於一些實施例中,大於2的對比度可允許充足的視覺系統效能。然而,應理解低於2之對比度亦可用於一些環境和應用中。應理解該等數值係為例示之目的而呈現,且非意欲以任何方式作為限制。
顯示螢幕104可具有任何合適的形狀和方向。舉例而言,顯示螢幕104可為平坦的,或可具有表面輪廓。此外,顯示螢幕104可水平地設置(如,作為桌的表面)、垂直地設置(如,掛於壁上),或具有相對於投影機102之任何其他合適的方向。此外,投影機102可具有相對於顯示螢幕104之任何合適的位置和方向,且可能或可能不將光以垂直螢幕的方向而投影至螢幕上。
攝影機106可具有相對於投影機之任何合適的位置,於此位置攝影機106可偵測合適強度的逆向反射光,以允許物體偵測。應理解可抵達攝影機106的一數量之逆向反射光可能為逆向反射層302之準確性和攝影機106之位置的函數。用以說明逆向反射層之術語“準確性”係有關於由逆向反射層所反射之光錐的角度強度分佈和寬度,其中較準確的逆向反射層反射及導引較窄的光錐及/或於平行於入射光的方向中反射光,而較不準確之逆向反射層反射較寬的光錐,且該反射具有較低之平行於入射光的強度。
於一些實施例中,攝影機106可與投影機共享共用的光軸。此可幫助於顯示螢幕前方物體提供物體之亮的、高對比影像。應理解於該等實施例中,可使用光束分離器和其他此種光學裝置以重新導引從逆向反射層朝向攝影機所接收之光線。
於其他實施例中,如第1圖和第2圖所示,攝影機106可放置接近於投影機102,使得投影機和攝影機之光軸係空間地接近但並不共用。於此例中,一些較不準確之逆向反射層的使用可允許更多的光抵達攝影機106。此可允許省略光線分離器和其他此種光學裝置(反之,該等裝置將使用以配置用於投影機102和攝影機106之共用光軸)。於該等實施例中,將攝影機106放置接近投影機102可幫助避免於影像中由攝影機106所獲得之視差錯誤。
如上所述,放置於投影機102和顯示螢幕104間的物體於由攝影機106所獲得的影像中顯示成黑色。因此,使用者可經由於投影機102和顯示螢幕104間所作之手勢(動作及/或姿勢)而與互動式顯示系統100互動。作為手勢之實例,由使用者之手所作之夾捏姿勢對攝影機呈現黑色箍狀。作為進一步實例,伸出之手部可能代表維持手勢,而指向手指可能代表推手勢。因此,此姿勢越過整個顯示器之移動可由計算裝置210解釋為不同的輸入,且可引起源自計算裝置之不同回應。
第4圖至第6圖圖示具有互動式顯示系統100之使用者,經由於顯示螢幕104上所作的手勢而互動的實例。首先,第4圖圖示使用以拉引線402越過顯示螢幕104之夾捏手勢400。如上所述,使用者之手部姿勢於顯示螢幕104上方以黑色箍狀呈現至攝影機106。因為並無實質的視差錯誤存在於使用者手指404和顯示表面間,計算裝置210可配置以產生和顯示回應影像,使得對手勢之虛擬回應顯示於使用者之手指404的陰影406之位置處。當使用者移動“夾捏”手勢越過顯示螢幕104時,此於第4圖中以從使用者之手指的陰影406所浮現的線402圖示。應理解使用者可藉由如放開手指404而停止拉引線,以停止“夾捏”手勢。
第5圖和第6圖圖示使用者與互動式顯示系統100之其他示例性互動。首先參考第5圖,使用者執行“窄夾捏”手勢500,使得由使用者手部形成的箍狀具有相對較窄的寬度。作為回應,計算裝置210可產生跟隨使用者手指之相對較窄的線502之顯示。接下來參考第6圖,使用者執行“寬夾捏”手勢600,使得由使用者手部形成的箍狀具有相對較寬的寬度。作為回應,計算裝置210可產生跟隨使用者手指之相對較寬的線602之顯示。因此,與置於顯示螢幕104前方之物體相比,當使用者動態改變姿勢,同時執行手勢時,由逆向反射層302所提供之影像對比可能允許產生相對精細的差別,且亦允許基於動態產生之手部姿勢的改變而提供給使用者虛擬的反饋。
計算裝置210亦可配置以回應及與其他除使用者手部以外之物體互動。舉例而言,若置於顯示螢幕104上方之物體係偵測於影像資料中,則計算裝置210可移除由物體所給予之投影影像輪廓的部分,並以另一影像取代該部分。作為一較特定之實例,計算裝置210可配置以投影文字至在顯示螢幕104上偵測到的空白紙板上。同樣地,空白書可具有投影於空白書上的影像。
於另一實施例中,IR(紅外線)光源可增加至投影機102。舉例而言,於投影機102由LED光源220(以RGB源顯示)所充能處,可增加IR(紅外線)LED光源222。LED投影機可以為依序顯示紅色、綠色和藍色影像之場序設置。若增加IR LED 222,可增加第四幀至序列中,其中第四幀為IR,而非紅色、綠色或藍色。以此方式,IR幀可為均勻明亮的IR影像,藉此提供均勻的背景。相較於物體係位於可視非均勻投影影像的背景之前方處之情形,對於從攝影機106所獲得之影像中的物體辨識,此可幫助提供更多的確認。即使是由投影機所顯示之純黑影像,此亦可致使偵測物體。於另一實施例中,計算裝置210可配置以歸納所投影影像的動態範圍,使得影像的純黑部分可調整成非純黑。使用於此之術語“純黑”意指部分影像,在該部分影像中,被逆向反射之光線對於藉由攝影機偵測而言不夠充分。儘管所示實施例之紅外線光源圖示存在於投影機內側,應理解紅外線光源可具有任何合適的位置,且應理解配置以偵測逆向反射之紅外線光的攝影機可同樣地具有任何合適的位置。
如上所述,於一些實施例中,可增加第二攝影機206以幫助獲得範圍資訊。舉例而言,當第二攝影機206相對第一攝影機106和投影機102而偏軸設置時(如,使得第二攝影機未接收逆向反射之光),則範圍資訊(如,攝影機之視場中的物體和顯示螢幕104間的距離)可藉由比較從第一攝影機106所獲得之逆向反射影像和從第二攝影機206所獲得之散射影像而決定。
如上所述,於一些實施例中,互動式顯示裝置100可配置以經由偏極化光而投影影像。逆向反射層302轉動偏極化光之偏極化平面,反之散射層306移除偏極化。因此,藉由使用可切換之分析器、一對正交的偏極化攝影機,或其他此種配置,放置於顯示螢幕104之表面上或上方之物體的陰影可經由物體本身而辨別。此可幫助達成與物體更精確的互動。
於一些實施例中,偏極化光亦可使用以經由位在顯示螢幕104上方之物體而辨別碰觸顯示螢幕104的物體。舉例而言,顯示螢幕可包含顯示高壓感雙折射的材料層。此種材料之實例包含合成橡膠(如,聚氨酯、矽膠和乙烯基橡膠)。當該層因觸碰而變形時,此種材料調整通過該層之光的極性(如,轉動及/或去極性)。第7圖圖示此種前投影顯示螢幕700的示例性實施例。顯示螢幕700包括支持逆向反射層704之支持層702,和黏著層706或將散射層708附接至逆向反射層704之類似層。此外,顯示有高壓感雙折射之材料層710係設置於散射層708上。
當該層未變形時,顯示有高壓感雙折射之材料層710並未改變通過之光的極性,但當該層藉由觸碰(如712所示)而變形時,材料層710卻改變通過之光的極性。因此,當經由合適地定向之偏極化分析器觀察時,由逆向反射層704所反射之偏極化入射光相較於未受觸碰影響之區域可於觸碰之周圍具有較少的強度。
第8圖圖示流程圖,該流程圖圖示操作互動式顯示裝置之方法800的實施例。方法800包括(於步驟802)經由投影機投影影像至前投影顯示螢幕上。如上所述且如步驟804所示,所投影之光線可於一些實施例中被偏極化,以幫助陰影及/或觸碰偵測。此外,如上所述且如步驟805所示,除了可視影像外,IR影像可週期地投影。
方法800進一步包括(於步驟806)經由顯示螢幕之散射層散射地反射顯示螢幕上入射光之第一部分,及(於步驟808)經由散射層傳送顯示螢幕上入射光之第二部分到達逆向反射層,並接著從逆向反射層送回穿過散射層離開顯示螢幕。任何適當比例的入射光可在顯示螢幕上經散射和逆向反射。例如,在一些實施例中,光之第二部分包括從投影機發出而在顯示螢幕上接收到的光之10-40%,且光之第一部分包括入射光之60-90%。應理解該等範圍為例示之目的而呈現,且並不意欲以任何方式作限制。
方法800接著包括(於步驟810)經由從顯示螢幕所發出之逆向反射光而以攝影機擷取一連串的影像。由攝影機所獲得之影像可為可視影像(如步驟812所示)及/或紅外線影像(如步驟814所示)。接著,於步驟816,方法800包括由一連串之影像偵測於顯示螢幕和攝影機間的物體。物體可包括使用者之手部或手臂、無生命之物體、有生命及無生命物體之結合等。此外,使用者手勢、物體的移動和其他暫時改變的互動可由一連串的影像而偵測。應理解影像可如上所述經由兩或多個攝影機所偵測以偵測範圍資訊。
此外,多重暫時重疊互動可經由一連串的影像而偵測。此外,於投影機投影偏極化影像處,偏極化分析器及/或其他合適的光學裝置可使用以偵測物體陰影(如步驟818所示)及/或觸碰資訊(如步驟820所示)(如,藉由因於顯示螢幕上顯示有高壓感雙折射之材料層之變形,而減少反射強度而偵測)。
接下來,方法800包括(於步驟822)投影影像至顯示螢幕上,該影像顯示有對偵測物體之回應。任何合適的影像或複數影像可投影以回應偵測之物體。舉例而言,可增加、修改、移動及/或刪除以投影影像呈現之圖形虛擬物體(如,線、形狀、文字、圖像、影像、背景等)以回應所偵測之物體;可開始或退出應用程式;可開始或停止媒體文件的錄放;及/或可投影至顯示螢幕上之任何其他合適的回應。將理解該等特定的使用者互動係為例示之目的而呈現,且並不意欲以任何方式作限制。
依據於此所述之實施例的互動式顯示裝置,可提供於各種方向和使用環境中的節省成本之安裝。應理解於此所述之結構及/或方法係本質上作為例示,且應理解該等特定實施例或實例並不被視為限制意義,因可能有各種變化。於此所述之常式及方法可代表一或多個任何數量的處理策略。因此,各種所示之動作可以所示之順序執行、以其他順序執行、平行執行,或於某些實例中可省略。同樣地,於上所述之過程的順序可改變。
本案之標的包含所有新穎的和非顯而易知的各種處理、系統和結構的結合和子結合,且包含於此所揭露之其他特徵、功能、動作及/或特性,和其任何及所有的均等物。
100...互動式顯示系統
102...投影機
104...顯示螢幕
106...攝影機
202...偏極化器
204...偏極化分析器
206...第二攝影機
210...計算裝置
212...邏輯子系統
214...資料儲存子系統
216...電腦可讀儲存媒體
218...通信子系統
220...LED光源
222...紅外線LED
300...支持層
302...逆向反射層
304...黏著層
306...散射層
308...表面層
400...夾捏手勢
402...線
404...手指
406...陰影
500...窄夾捏手勢
502...較窄線
600...寬夾捏手勢
602...較寬線
700...顯示螢幕
702...支持層
704...逆向反射層
706...黏著層
708...散射層
710...高壓感雙折射之材料層
712...觸碰
800...方法
802...步驟
804...步驟
805...步驟
806...步驟
808...步驟
810...步驟
812...步驟
814...步驟
816...步驟
818...步驟
820...步驟
822...步驟
第1圖圖示互動式顯示裝置的實施例之圖。
第2圖圖示第1圖之實施例的方塊圖。
第3圖圖示第1圖之實施例的顯示螢幕的實施例之截面圖。
第4圖圖示使用者與互動式顯示裝置之實施例互動的示意性說明。
第5圖至第6圖圖示使用者與互動式顯示裝置之實施例互動的另一示意性說明。
第7圖圖示用於在前投影互動式顯示裝置中使用的顯示螢幕的另一實施例之截面圖。
第8圖圖示流程圖,該流程圖說明操作互動式顯示裝置之方法的實施例。
100...互動式顯示系統
102...投影機
104...顯示螢幕
106...攝影機

Claims (20)

  1. 一種互動式顯示系統,該互動式顯示系統包括:一投影機,該投影機係配置以投影可見光;一顯示螢幕,該顯示螢幕係配置以顯示由該投影機所投影之一影像,該顯示螢幕包括:一逆向反射層;及一散射層,該散射層覆蓋該逆向反射層,該散射層係配置以散射地反射由該投影機所發出之入射於該散射層上的該可見光之一第一部分,使得該可見光的一第二部分通過該散射層且由該逆向反射層反射回去而穿過該散射層;一攝影機,該攝影機係放置以從一位置處擷取該顯示螢幕的複數個影像,該位置係在該攝影機接收來自該投影機而由該逆向反射層所反射之可見光處;一邏輯子系統;及一資料儲存子系統,該資料儲存子系統儲存由該邏輯子系統所可執行的複數個指令,以經由該攝影機而獲得複數個影像並經由該等影像而辨識執行於該投影機和該顯示螢幕間的一使用者手勢。
  2. 如請求項1之系統,其中該攝影機係配置以獲得該顯示螢幕的一可視影像。
  3. 如請求項1之系統,其中該散射層係配置以散射地反射由該投影機所發出入射於該顯示螢幕之可見光的60-90%,且允許由該投影機所發出入射於該顯示螢幕之光的10-40%係由該逆向反射層所反射。
  4. 如請求項1之系統,其中該等指令係可執行以歸納一投影影像的一動態範圍以將該投影影像的複數個純黑部分修正成非純黑。
  5. 如請求項1之系統,其中該攝影機係為一第一攝影機,且進一步包括一第二攝影機,該第二攝影機係配置以擷取由與該第一攝影機之一不同位置所發出之該顯示螢幕的一影像。
  6. 如請求項1之系統,其中該投影機係配置以投影偏極化可見光,且其中該系統進一步包括置於該顯示螢幕和該投影機間的一偏極化分析器。
  7. 如請求項1之系統,該系統進一步包括一紅外線光源,該紅外線光源係配置以投影紅外線光至該顯示螢幕上,且其中該攝影機係配置以偵測紅外線光。
  8. 如請求項7之系統,其中該顯示螢幕進一步包括一層,該層包括一聚胺脂、一矽膠和一乙烯基橡膠之一 或多個。
  9. 如請求項1之系統,其中該邏輯子系統係配置以經由該投影機而顯示對一使用者手勢的一回應。
  10. 一種用以顯示一投影影像的前投影之顯示螢幕,該顯示螢幕包括:一逆向反射層;及一散射層,該散射層覆蓋該逆向反射層,該散射層係配置以散射地反射由一投影機所發出入射於該顯示螢幕之光的50-90%,使得入射於該顯示螢幕之光的10-40%係由該逆向反射層所反射。
  11. 如請求項10之顯示螢幕,其中該散射層係配置以散射地反射入射於該顯示螢幕之光的60-90%,且朝該光之一來源而將光的10-40%反射回去。
  12. 如請求項10之顯示螢幕,該顯示螢幕進一步包括介於該散射層和該逆向反射層間的一黏著層。
  13. 如請求項10之顯示螢幕,該顯示螢幕進一步包括支持該逆向反射層之一支持層。
  14. 如請求項10之顯示螢幕,該顯示螢幕進一步包括設 置於該散射層上的一矽氧樹脂層。
  15. 一種操作一互動式顯示系統之方法,該方法包括以下步驟:經由一投影機而投影一影像至一顯示螢幕上;經由該顯示螢幕的一散射層而散射入射於該顯示螢幕之光的一第一部分;經由該散射層而傳送入射於該顯示螢幕之光的一第二部分至一逆向反射層,且接著由該逆向反射層反射光之該第二部分回去而穿過該散射層,其中光的該第二部分包括由該投影機所發出,而於該顯示螢幕所接收之光的10-40%;經由一攝影機而擷取由該顯示螢幕所逆向反射之光的一連串影像;從該顯示螢幕之該一連串影像,偵測於該顯示螢幕和該攝影機間的一物體;及投影一影像至該顯示螢幕上,該影像顯示有對該物體之偵測的一回應。
  16. 如請求項15之方法,其中擷取該一連串影像之步驟包括以下步驟:擷取一連串可視影像。
  17. 如請求項15之方法,其中擷取該一連串影像之步驟包括以下步驟:經由兩或多個攝影機而擷取該一連串 影像。
  18. 如請求項15之方法,其中散射入射於該顯示螢幕之光的該第一部分之步驟包括以下步驟:散射入射於該顯示螢幕之光的60-90%。
  19. 如請求項15之方法,其中全部的該等投影步驟包括以下步驟:投影偏極化光,且其中擷取該一連串影像之步驟包括以下步驟:使用介於該顯示螢幕和該攝影機間的一偏極化分析器。
  20. 如請求項19之方法,其中全部的該等投影步驟包括以下步驟:投影偏極化光,且其中擷取該一連串影像之步驟包括以下步驟:偵測強度之減少,強度之減少係因包括有一或多個一聚胺脂、一矽膠和一乙烯基橡膠的一材料層之變形。
TW100128903A 2010-09-24 2011-08-12 互動式顯示 TWI526875B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/889,778 US8682030B2 (en) 2010-09-24 2010-09-24 Interactive display

Publications (2)

Publication Number Publication Date
TW201214200A TW201214200A (en) 2012-04-01
TWI526875B true TWI526875B (zh) 2016-03-21

Family

ID=45514926

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100128903A TWI526875B (zh) 2010-09-24 2011-08-12 互動式顯示

Country Status (5)

Country Link
US (1) US8682030B2 (zh)
EP (1) EP2619640B1 (zh)
CN (1) CN102339165B (zh)
TW (1) TWI526875B (zh)
WO (1) WO2012039969A2 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872799B2 (en) * 2011-06-20 2014-10-28 The Regents Of The University Of California Scalable distributed/cooperative/collaborative paradigm for multi-user interaction with projection-based display walls
US9030445B2 (en) * 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US9025111B2 (en) * 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US8823641B2 (en) * 2012-05-22 2014-09-02 Delphi Technologies, Inc. System for projecting 3D images and detecting gestures
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
KR101382287B1 (ko) * 2012-08-22 2014-04-08 현대자동차(주) 적외선을 이용한 터치스크린 및 그 터치스크린의 터치 인식장치 및 방법
US9297942B2 (en) * 2012-10-13 2016-03-29 Hewlett-Packard Development Company, L.P. Imaging with polarization removal
US9164596B1 (en) 2012-10-22 2015-10-20 Google Inc. Method and apparatus for gesture interaction with a photo-active painted surface
US20150083917A1 (en) * 2013-09-23 2015-03-26 Qualcomm Incorporated Infrared light director for gesture or scene sensing fsc display
US9454265B2 (en) 2013-09-23 2016-09-27 Qualcomm Incorporated Integration of a light collection light-guide with a field sequential color display
US20150102993A1 (en) * 2013-10-10 2015-04-16 Omnivision Technologies, Inc Projector-camera system with an interactive screen
US10003777B2 (en) 2013-11-21 2018-06-19 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting light
US9320201B2 (en) * 2013-12-20 2016-04-26 Elwha Llc Reflective articles and methods for increasing photosynthesis
JPWO2015098190A1 (ja) * 2013-12-27 2017-03-23 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US9653044B2 (en) 2014-02-14 2017-05-16 Microsoft Technology Licensing, Llc Interactive display system
CN107148595B (zh) * 2014-10-27 2022-02-22 米拉维兹公司 一种用于反射器显示器的入射角优化的方法
WO2017095341A1 (en) * 2015-12-04 2017-06-08 Koc Universitesi Physical object reconstruction through a projection display system
US10685580B2 (en) 2015-12-31 2020-06-16 Flightsafety International Inc. Apparatus, engine, system and method of providing simulation of and training for the operation of heavy equipment
WO2018191550A1 (en) * 2017-04-13 2018-10-18 Mirraviz, Inc. Retroreflective display systems configured to display images using shaped light profile
US9989777B1 (en) 2017-06-05 2018-06-05 Disney Enterprises, Inc. Accurate and balanced lighting in a pepper's ghost projection system for live cinematic performances
JP7267209B2 (ja) 2017-06-08 2023-05-01 メドス・インターナショナル・エスエイアールエル 滅菌野及び他の作業環境のためのユーザインターフェースシステム
CN107918490B (zh) * 2017-11-22 2022-05-31 联想(北京)有限公司 一种控制方法及电子设备
EP3876083A4 (en) * 2018-11-01 2021-12-29 Sony Group Corporation Information processing device, information processing method, and program
US11050944B2 (en) 2018-11-29 2021-06-29 Microsoft Technology Licensing, Llc Switched polarization imaging to detect display screen
US10924645B2 (en) 2018-11-29 2021-02-16 Microsoft Technology Licensing, Llc Polarization imaging to detect display screen
US11158220B2 (en) * 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
CN113821103B (zh) * 2021-08-20 2023-12-05 苏州创捷传媒展览股份有限公司 一种屏上物体识别展示系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6481857B2 (en) 1997-12-16 2002-11-19 Reflexite Corporation Perforated retroreflective film
US6157486A (en) 1998-01-13 2000-12-05 3M Innovative Properties Company Retroreflective dichroic reflector
US6381068B1 (en) * 1999-03-19 2002-04-30 3M Innovative Properties Company Reflective projection screen and projection system
KR100421002B1 (ko) * 2001-03-07 2004-03-03 삼성전자주식회사 전면 투사형 스크린
CN100339955C (zh) 2003-02-28 2007-09-26 茂德科技股份有限公司 防止阻挡层被过度蚀刻的方法与结构及其应用
US6796656B1 (en) 2003-06-14 2004-09-28 Imatte, Inc. Generating a matte signal from a retro reflective component of a front projection screen
CN1926497A (zh) 2003-12-09 2007-03-07 雷阿卡特瑞克斯系统公司 自主交互式视频显示系统
US8589824B2 (en) 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN101809498A (zh) 2007-09-25 2010-08-18 夏普株式会社 屏幕
US7874681B2 (en) 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8139110B2 (en) 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US20090219253A1 (en) 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces
US8952894B2 (en) 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8643691B2 (en) 2008-05-12 2014-02-04 Microsoft Corporation Gaze accurate video conferencing

Also Published As

Publication number Publication date
EP2619640A4 (en) 2015-12-30
WO2012039969A2 (en) 2012-03-29
TW201214200A (en) 2012-04-01
US8682030B2 (en) 2014-03-25
US20120076353A1 (en) 2012-03-29
EP2619640A2 (en) 2013-07-31
WO2012039969A3 (en) 2012-07-12
EP2619640B1 (en) 2020-06-17
CN102339165B (zh) 2014-11-12
CN102339165A (zh) 2012-02-01

Similar Documents

Publication Publication Date Title
TWI526875B (zh) 互動式顯示
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
KR101258587B1 (ko) 자체로서 완비된 상호작용 비디오 디스플레이 시스템
US8060840B2 (en) Orientation free user interface
US9996197B2 (en) Camera-based multi-touch interaction and illumination system and method
US8730183B2 (en) Large scale multi-user, multi-touch system
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
US20110050640A1 (en) Calibration for a Large Scale Multi-User, Multi-Touch System
US20110055703A1 (en) Spatial Apportioning of Audio in a Large Scale Multi-User, Multi-Touch System
JP2007514241A (ja) 内蔵型インタラクティブ・ビデオ・ディスプレイ・システム
US10379680B2 (en) Displaying an object indicator
CN106415439A (zh) 用于镜面反射红外光的投影屏幕
CN106462222B (zh) 透明白板显示器
US10481733B2 (en) Transforming received touch input
CN101587404A (zh) 基于摄像头的后定位装置和方法及其应用
US20170213386A1 (en) Model data of an object disposed on a movable surface
Chan et al. On top of tabletop: A virtual touch panel display
KR20190001108A (ko) 플로팅 홀로그램 터칭 시스템
CN107111354B (zh) 非故意触摸拒绝
JP6065533B2 (ja) 電子看板装置及び動作方法
KR102221192B1 (ko) 인터렉티브 스크린 장치
CN105654872A (zh) 一种虚拟讲解员装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees