TWI471769B - 用於實體使用者介面上之影像投影之裝置、系統、及方法 - Google Patents

用於實體使用者介面上之影像投影之裝置、系統、及方法 Download PDF

Info

Publication number
TWI471769B
TWI471769B TW98106709A TW98106709A TWI471769B TW I471769 B TWI471769 B TW I471769B TW 98106709 A TW98106709 A TW 98106709A TW 98106709 A TW98106709 A TW 98106709A TW I471769 B TWI471769 B TW I471769B
Authority
TW
Taiwan
Prior art keywords
projected
onto
computing device
light
mode
Prior art date
Application number
TW98106709A
Other languages
English (en)
Other versions
TW200947285A (en
Inventor
Stuart Taylor
Shahram Izadi
Daniel Rosenfeld
Stephen Hodges
David Alexander Butler
James Scott
Nicolas Villar
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW200947285A publication Critical patent/TW200947285A/zh
Application granted granted Critical
Publication of TWI471769B publication Critical patent/TWI471769B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F19/00—Advertising or display means not otherwise provided for
    • G09F19/12—Advertising or display means not otherwise provided for using special optical effects
    • G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Description

用於實體使用者介面上之影像投影之裝置、系統、及方法
本發明係關於實體使用者介面之影像投影。
已發展一種表面運算裝置，其包含一表面可用於顯示圖形使用者介面及用於使用者輸入。表面運算裝置偵測表面上之使用者手指，或偵測由使用者操控之真的實體物件，此稱作「實體使用者介面(tangible user interface,TUI)」。在一實例中，物件可為遊戲片，其可由使用者移動且由表面運算裝置偵測此移動。表面運算裝置可設計成由單一使用者使用，或者其可為多使用者裝置。
已開發數種用來追蹤或偵測表面上之物件之技術，例如使用攝影機自表面上方對物件成像(一「自上而下」組態)，或使用光源由下方照明表面及使用攝影機偵測自與該表面接觸之物件反射之反射光(一「自下而上」組態)。另一種技術依賴受抑內全反射(frustrated total internal reflection,FTIR)，當一指尖接觸到表面時用以散射光，且此散射光係由表面下之攝影機偵測。
以下所描述之具體實施例不限於用來解決已知表面運算裝置之所有或任一缺點。
下文將簡單呈現本發明之發明內容，以提供讀者對本發明之基礎認識。此發明內容並非本揭示案之一詳盡概述，且不辨識本發明之關鍵/重要元件或描繪本發明之範疇。其唯一目的是以一簡化形式作為下面展示之更詳細說明之一序部，展示本文所揭示之某些概念。
本發明描述一種表面運算裝置，其具有一表面可在透明狀態及漫射狀態間進行轉換。當該表面在漫射狀態時，可將影像投影至該表面上，而當該表面在透明狀態時，可將影像投影通過該表面而至一物件上。在一具體實施例中，經投影至物件上之影像被重定向至該物件之不同表面上，以提供一額外顯示表面或增加該物件之表面。在另一具體實施例中，影像可重定向至另一物件上。
藉由參考以下結合所附該等圖式考慮之詳細說明，將更易於瞭解及更佳地理解許多此等輔助特徵結構。
以下結合所附該等圖式提供之「實施方式」意欲作為本發明實例之一說明，且無意於代表可建構或利用本發明實例之唯一形式。本說明闡述該實例之該等功能及用於建構及操作該實例之步驟序列。然而，可藉由不同實例完成相同或等效功能及序列。
第1圖係一表面運算裝置100之示意圖，包括：一投影機101，其配置在一可切換表面102之後方，即對於使用者而言，投影機101係在該可切換表面上相對使用者之另一端(未示於第1圖中)。可切換表面102具有二操作模式：一「顯示模式」，此模式下表面大致漫射(對可見光而言)，且任何經背投影之影像或其它圖形資料係顯示在該表面上；及一「投影模式」，此模式下表面大致透明(對可見光而言)，且任何經背投影之影像(或其它圖形資料)被投影通過該表面。若一物件(例如物件103)係放置在表面102上(或附近)，則當裝置處於投影模式時，可將影像投影至該物件之底面104。
僅為了說明之目的，此處之說明係指將圖形資料投影通過該表面或投影至該表面上(例如由投影機101)。此圖形資料可包含任意形式之影像或資料，包括數位或類比資料。將瞭解到，投影機可投影任何形式之圖形資料通過表面，且依據不同應用選擇不同形式之資料。在某些實例中，可投影文字或圖形使用者介面(GUI)(其包含文字及/或影像)，而在其它實例中，可投影影像(可為靜止或動態影像)，另在其它實例中，可投影單一色彩或其它光圖型(例如，結構化光圖型)。
第2圖顯示表面運算裝置100之範例操作方法流程圖。在此例中，可切換表面102起初在顯示模式，且一用於表面運算裝置之圖形使用者介面或任一其它圖形資料係經投影至該表面(方塊201)上。接著該表面切換至投影模式(方塊202)，即由大致漫射狀態切換至大致透明狀態(對可見光)，且圖形資料經投影通過該表面而投影至一物件(方塊203)。可切換表面接著可切換回顯示模式(方塊204)，並重覆該方法。
可以任何速率進行表面之切換(方塊202及204)。在一實例中，表面可以超過閃爍知覺臨限之速率進行切換(例如，60Hz)。以此速率進行切換，使用者將可同時看見表面上之GUI(或其他圖形資料)及經投影至物件上之圖形資料(可能為另一GUI)。因此，此設備及方法可大致同步顯示圖形資料、GUI或其它形式資料之二種不同元素。此二元素可完全不相關且獨立受控。在其它實例中，相同圖形資料可投影至表面上及通過該表面(例如，經投影至該切換表面以外之一第二顯示表面)。
為了顯示不同的圖形資料於表面上且通過該表面，可使用具有足夠高切換速率之投影機於圖形資料之元素間進行切換，且該投影機與該表面之切換同步(例如，方塊202及204)。或者，系統可包含一第二投影機106，且一可切換快門(或濾波器)107、108可配置在每一投影機101、106前方。在此一具體實施例中，快門107、108之切換可與可切換表面102同步，且投影機101、106可連續投影(或以低速進行切換)。或者，投影機101可被提供用以投影圖形資料通過表面，而一替代顯示構件(如，一液晶顯示器面板(LCD))可用於在顯示模式下投影圖形資料至在顯示模式下之表面上。在此一實例中，顯示器101可用作為LCD面板之背光，或者可提供一獨立背光。僅為了以下說明之目的，投影機將用於在顯示模式下提供圖形資料，然而將瞭解到在其它實例中，可使用任何可投影通過的顯示構件。
表面運算裝置100之雙重投影功能，可用於建立有趣的舖層(layering)及神奇透鏡效應。經投影通過表面之圖形資料可視覺上連接至經投影至該表面之圖形資料。例如，經投影至該表面之圖形資料可為一車圖，且將包含一揭露該車內部運作之相關影像之圖形資料投影通過該表面。在此實例狀況下，若使用者將一片半透明材料(或其它物件)越過該車，其將揭示此隱藏資訊，即建立了雙層效果。可使用各種不同形式及形狀的半透明物件來建立此功能，每一者皆有效用作為一實體神奇透鏡。物件不需要停在該表面上或甚至與其接觸。當其離開該表面後，該經投影通過表面之圖形資料仍可維持。可在六個自由度上操控該物件。以下將描述其它實例。
投影機101、106可為任何型態之投影機，舉例而言但不具限制性，包括LCD、LCOS(矽液晶顯示面板，liquid crystal on silicon)、DLP(數位光學投影機，Digital Light ProcessingTM )及雷射投影機。投影機可固定或可轉向。可切換快門107、108(或濾波器/鏡子)可為任何類型之可切換快門，例如鐵電液晶顯示器快門.
可切換表面102可包括一聚合物穩定性膽固醇(Polymer Stabilished Cholesteric Textured,PSCT)液晶薄片，或聚合物分散液晶(Polymer Dispersed Liquid Crystal,PDLC)之一薄片。這些材料可藉由供應一電壓以電子方式切換於大致漫射及透明狀態之間。一般而言，PSCT之切換速率高於PDLC，且PSCT可以超過閃爍知覺臨限之速率進行切換(例如，可以大約60Hz之速率進行切換)。
在一使用PSCT之範例具體實施例中，表面可以60Hz之速率進行切換，每一週期大約為8.3微秒，當提供150V電壓於營幕以使其清晰時，之後會持續8.3微秒不供應電壓，而在此時便回到其原本的漫射狀態。每一狀態之確切時間比例(即，責任週期)可依據系統設計之特定需求作改變。例如，增加漫射期間需付出清晰期間減少之代價，如此將增加表面上顯示之亮度，但亦會造成通過投影之亮度減少。其亦將減少由攝影機所接收到用於通過該表面成像之光。在此例中，150V電壓之極性於另一週期時可倒轉，且可使用H-電橋式驅動電路，其中該可切換表面之每一端連接至半個橋電路，而能夠在0及150V間進行切換。因此，可依據左半部或右半部電橋(個別地)被賦能，來提供0V、150V或-150V橫誇於PSCT-LC。每一半電橋可實現成一由NPN及PNP功率音訊電晶體構成之補償式射極追隨。這些電晶體能夠傳送所需之高電流(~4A)用以切換該表面，其實際上為一大約6μF之非線性電容，其切換速率足夠快。功率輸出級可經由一額外電流增益級驅動。可藉由使用一光耦合電壓位準調整器，來隔離高電壓電路與系統之其餘部分。將瞭解到這僅為一可能的實施方式且僅以舉例方法提出。
或者，可切換表面可使用任何其它科技或配置來提供此二種操作模式，例如使用選擇性充滿光漫射或光透明氣體之氣體空腔，或可將擴散元件切換成及切換出表面之表面的機械裝置(例如，以類似百葉窗的方式)。在所有此等實例中，表面可在一可見光大致漫射模式與一可見光大致透明模式此二模式之間進行切換。在某些實例中，可切換表面亦能夠切換成中繼模式，此模式下表面具有不同的漫射率。
在某些實例中，整個表面102可在該等二模式(方塊202及204)之間進行切換，而在其他實例中，僅該螢幕之一部分可在各狀態之間進行切換。在某些實例中，根據進行切換之區域之控制粒度，可在該表面中打開一透明窗口(例如，在一放置在該表面上之物件之後)，而該表面之其餘部分保持在其大體漫射狀態。在該表面之切換速度低於該閃爍臨限時，切換部分表面可能很有用，以使圖形資料(諸如一影像或圖形使用者介面)能夠顯示於該表面之一部分上，同時通過該表面之一不同部分而投影至一物件上。
在其他實例中，該表面不能在不同模式間進行切換，但操作模式可與該表面上之入射光的性質相關。舉例而言，該表面針對一特定方向之偏振光可作為一漫射器，而對於另一方向之偏振光為透明。在另一實例中，該表面之光學特性(進而其操作模式)可視入射光入射角而定。
雖然第1圖顯示一平坦表面，然而在其它實例中，可切換表面102可為彎曲或非平坦表面。表面可為剛性或彈性。此外，表面運算裝置100可包括額外元件，例如一捕獲裝置，未示於第1圖中。
如前所述，當系統係在投影模式時，圖形資料可通過該表面而投影至一物件103(方塊203)上。此物件可與表面接觸、靠近該表面或遠離該表面。圖形資料所投影到的物件可設計來重定向光(例如，透過反射/折射)，以將該圖形資料投影至該物件之一表面上。圖形資料所投影到的表面可平行於該可切換表面，或不平行於該表面。在另一實例中，所投影的光可藉由該物件重定向，使得該光以一不同角度(不同於其被投影通過該表面之角度)由該物件發射出，藉此能夠投影在另一物件。物件可為被動式或主動式(即，包括電子電路)，以下將說明之。
通過表面所投影之圖形資料不同於投影至表面上之圖形資料(於顯示模式)，其可用於提供一替代顯示表面(例如，提供一私人顯示)，以增加物件之表面(例如，投影一影像至一張紙上或投影一動畫臉至一遊戲片上)，用於感測(例如，用於物件上觸摸偵測或用於光束切斷感測器)或用於其它目的。該等物件可提供實體使用者介面(UI)控制給表面運算裝置，或者提供使用者輸入至該表面運算裝置。以下將說明各種物件實例及其使用方法。
第3圖顯示各種將進入一表面上物件之光重定向至該物件之另一表面上之被動物件示意圖。此光已經投影通過在投影模式下的可切換表面。被動物件301之第一實例包括一等腰直菱柱，且入射於底面302上之光係90度反射，如第3圖所示。此依賴菱柱之內全反射(TIR)性質，然而可替代使用一具有鏡面表面的物件。若物件之垂直面303被霜化或具有一漫射或散射層，則任何經投影至菱柱之底面302上的圖形資料將被顯示於垂直面303上。此一物件301可因此使用來對一使用者提供一私人顯示(例如顯示遊戲片或機密資訊)，特別是當表面運算裝置係一多使用者裝置時。
被動物件301之第二實例包括菱柱308之一窄切面ABC，其由C點開始繞一週360度。入射於平坦底面312(EO、OG)之光線將再次經歷內全反射(於面DO、OF)，且由外曲面313(DE、FG)穿出。若二維(2D)影像(或其它圖形資料)投影至物件之平坦底面312，則該影像將反射而從該物件之側曲面穿出；然而，若曲面附有適當漫射材料(或提供漫射面漆)，則穿出光將於該曲面上形成人眼可見之影像。
第4圖顯示物件311之變化形之示意圖，其中入射於底面之光係重定向至一個以上之面上，導致圖形資料被顯示在物件之一個以上之面上。一第一變化形401包括一外圓柱部分，其具有表面頂面及底面410、411。任何光自下方投影進此圓柱區域，其將自物件之頂面穿出，且藉由放置一漫射器於該頂面(或提供漫射面漆)，圖形資料可同時形成於該外曲面412及頂面410上之一環。當圖形資料之二投影元素(於表面412、410上)係從入射圖形資料之不同區域取得時(於物件之底面411、413)，可分別對圖形資料之投影元素進行獨立控制。
第二變化形402亦可造成投影在頂面420及外曲面421二者上，但此變化形造成投影在該頂面之中央區域上(而非投影在如先前之變化形401所示的外環上)。物件之中央部分具有一平行於底面423之表面422。藉由加入一漫射層424或加入一漫射層(或表面)漆至平坦中央表面422，可使得圖形資料於頂面上被看見。另一種變化形(未示於第4圖中)係前述二變化形401、402之結合。這裡提供三種不同的投影區：外曲面、頂面上外環及頂面之中央部分，且如前所述，可分別獨立控制每一區上之投影。
另一變化形403亦顯示在第4圖中，物件之中央部分包括一透鏡(諸如凹透鏡430)。圖形資料從下方投影至此區域，且被擴展以填滿物件之整個(或大部分)頂面431，且如前所述，可提供一漫射層432。在此一實例中，所投影之圖形資料之尺寸會與所投影之圖形資料之解析度相衝突，即透鏡雖在頂面上放大所投影之圖形資料尺寸，但其解析度仍保持不變，因此圖形資料之實際解析度將小於投影在側曲面433上圖形資料之解析度。透鏡可能造成失真，但可為經投影之圖形資料進行修正。凹透鏡顯示於第4圖中，然而在其它實例中可使用其它透鏡，例如複合式透鏡或凸透鏡。
將瞭解到前述實例僅為可搭配可切換表面層使用的諸多不同範例物件之一部分，以重定向光使其投影通過表面，並在某些例子中提供投影至物件之多數表面上。依據物件之設計及所投影之圖形資料，圖形資料可投影在該物件之整個表面或所有表面上。雖然實例中顯示具有一平坦頂面，但是這僅是以舉例方式說明，其它物件亦包括一曲頂面。在另一實例中，物件可大致呈半球狀。
雖然物件可接觸可切換表面，然而在其它實例中，物件可與該表面分離，例如第4圖所示物件可具有腳或其他構件以與可切換表面分開。在投影設備(其例如可包括一個以上投影機及可切換濾波器)及表面可以超過閃爍臨限之速率進行切換的情況下，可使不同圖形資料投影在物件上或投影在物件下。
經投影通過表面之圖形資料可依據所偵測到的圖形資料所投影到物件之位置來進行變化。此偵測位置可為一平行於可切換表面之平面上之一位置(例如x-y平面位置)、物件與表面間之隔離(例如，z方向位置)、及/或物件之方向(例如，傾斜或旋轉)。在一第一實例中，當漫射物件與表面接觸時，一第一顏色可投影至該漫射物件上，而當該物件不與表面接觸時，一第二顏色可投影至該該物件上。在一第二實例中，當物件移動靠近或遠離表面時，可應用縮放效果於所投影之圖形資料，如此該物件可類似於一放大鏡。在一第三實例中，依據物件位置，不同的圖形資料可投影至該物件上(如前述之神奇透鏡實例)。
可以任何方式偵測漫射物件與表面之間的接觸(例如使用觸摸偵測法)。當該漫射物件被舉離此表面時，可使用觸摸偵測或透過深度偵測(例如使用飛行時間攝影機或偵測投影至物件之結構化光圖形)，來偵測物件離開表面。當偵測到物件與表面間之隔離變化時，所投影之光可進行改變，例如改變成不同顏色或不同圖形資料。在一實例中，所投影之圖形資料可進行調整，使其仍聚焦或保持相同尺寸於該物件上等。如此可提供3D互動及3D顯示。
搭配可切換表面所使用的物件可具有整合特徵或內嵌的電子元件，以追蹤其相對表面之位置。實例中包括使用被動式(回復反射)或主動式(功率LED)標籤，其可使用可見光或紅外線光或者其它波長之光。其它實例包括使用無線通訊(例如，RFID標籤)。以下將更詳細說明其它實例。
在第5圖所示實例中，物件501可具有複數LED502或其它光源內嵌於其中(例如，在角處)，且可藉由偵測通過在投影模式下之可切換表面之LED之位置來追蹤物件之位置。為了達到此目的，攝影機503、影像獲取裝置或其它成像設備可放置在可切換表面102後方。當有一個以上物件鄰近表面時，不同物件可使用不同閃動樣式(或不同調制方案)以有助於分辯出每一物件。在另一實例中，一物件之LED可回應所接收之訊號(例如，一無線電訊號)而切換成開或關，且可使用此來分辨每一物件。在另一實例中，物件可包括反射元件(例如，以取代主動式LED)，其反射至少一部分經投影通過在投影模式下之可切換式表面之光。自這些元件反射之光可藉由一攝影機或其它成像設備來偵測，以追蹤物件之位置。
除了LED或其它光源外(或用以取代他們)，一物件可包括其它主動電子元件。例如，物件可包括內嵌的電子元件或裝置，以有助於確定物件之位置及/或方向，諸如指南針、加速度計、傾斜開關等，且物件可使用無線通訊技術(例如，IrDA、藍芽(BluetoothTM )、WiFi等)自這些感測器傳輸資料至表面運算裝置。這些裝置可使用來取代或搭配偵測由物件所發出或反射之光。可相對於可切換表面來偵測物件位置及/或方向，或相對另一物件或方向(例如，相對重力方向)來偵測物件位置及/或方向。在由物件之角發出光或反射光的情況下，額外資料可用以解決由於不完整視覺資料(例如影像獲取裝置僅獲取四個角中三個角之資料)所造成的模糊地帶，或提供較佳位置/追蹤資料。在另一實例中，物件可包括一攝影機或其它影像獲取裝置，且可傳送指示獲取的影像之資料至表面運算裝置。藉由將所接收資料與任何顯示於可切換表面上或經投影通過該表面之圖形資料關聯起來，表面運算裝置可確定該物件相對於該表面之位置。
當追蹤到一物件或確定其位置時，經投影至該物件上之圖形資料可依據物件位置來進行修改。在一實例中，圖形資料可進行調整以修正與位置相關之失真(例如下文中更詳細說明情況)，或基於物件之不同位置而投影的圖形資料亦可不同(例如，提供顯示於在顯示模式下之可切換表面上之圖形資料中一部分資料的放大視圖、提供虛擬放大器)。如此可提供3D顯示及達成使用者之3D互動(例如，當使用者相對該可切換表面移動物件時)。
搭配可切換表面所使用的物件，可透過偵測使用者於表面上之輸入位置(例如，使用如前述之物件追蹤)及/或透過偵測使用者與物件之互動，來進行使用者輸入至該表面運算裝置。第6圖示出二個配置實例601、602，其可進行偵測使用者與物件之互動。在第一實例601中，二菱柱610、611放置在表面102上，用以提供一光束切斷感測器。經投影通過在投影模式下之該表面之光進入其中一菱柱610之基座，並反射跨過二菱柱間之間隔612。一攝影機或其它成像裝置可用來偵測由第二菱柱611反射回來通過該表面(於投影模式下)之光。光束切斷感測器可使用可見光或可使用另一波長之光，諸如紅外線(IR)輻射。
第6圖顯示第二配置602，其透過偵測使用者觸摸到表面102上(或附近)之一物件620，來進行使用者輸入。此觸摸偵測可藉由在該物件基座上照光(例如，自光源622通過可切換表面102)，然後該光被有角度斜面重定向(如前所述)。當使用者觸摸到物件時，到達手指621的入射光被反射並由成像設備623偵測到。在一實例中可使用IR光，此時光源622即為IR源，而該成像設備即為一IR成像設備，例如IR敏感攝影機。光之投影及偵測可在表面102處於投影模式下時執行，或者在使用IR光的情況下，在顯示模式下之表面可至少部分對IR光來說係透明，藉此允許投影及偵測在顯示模式下執行。除了使用物件來提供使用者輸入外，可見光可經投影通過在投影模式下之表面，以投影圖形資料於物件上。
在另一實例中，主動式物件(即包含電子電路之物件)可搭配可切換式表面使用，以提供使用者輸入。例如，雖然第6圖之配置601、602顯示光(例如，IR光)係投影在物件上，但在另一實例中，物件可為主動式物件且可包括光源(例如，IR LED)。
在一實例中，主動式物件可包括一觸控營幕。此觸控營幕可使用任何適合的觸控營幕科技，諸如電阻或電容科技或第7圖所示之FTIR(受抑內全反射)，此將於後文中說明。在一實例中，觸控營幕可包括一可切換表面。
在一實例700，如第7圖所示，一物件701可包括一光源702，其耦接光至該物件，使得光在物件內經歷TIR。當一使用者觸摸該物件時，全內反射(TIR)受抑且光散射出物件703。此散射光703可由一成像設備704偵測得，該成像設備704配置於可切換表面102之另一端。散射光之偵測可用以提供使用者輸入至表面運算裝置，且該使用者輸入亦可取決於所偵測到散射光之位置。所使用之光可為可見光或可為IR光。裝置可另外包括一投影機101，其係配置以於投影模式下投影圖形資料至物件701上。在另一實例710中，物件可為被動式，且基於FTIR進行觸摸偵測所使用之光，可使用一鏡面或稜柱形元件將其投影通過該表面且耦接至該物件。物件701、710亦可包括表面經粗糙化(或經其它處理)之區域，以抑制TIR。由此等區域所散射之光，可由一成像設備(例如，設備704)偵測得並用來追蹤該物件相對於可切換表面102之位置。
第7圖中顯示的前二個配置700、710，可達成追蹤觸摸到物件前表面(例如遠離可切換表面之表面)之手指。第7圖所顯示的第三配置720，可達成追蹤該物件另一端上(即，在最靠近可切換表面的物件表面上，可稱作背面或底面)之手指。物件721包括一層722，在此層中發生TIR且IR光可由物件中LED提供(如配置700)，或該光可經投影及耦接至該物件(如配置710)。物件721亦包括一IR反射表面723。當一使用者觸摸到物件之背面724(例如，使用一指尖725)時，TIR受抑且散射IR光係由反射表面723反射，並使用IR成像設備704偵測得。
在另一實例中，使用者輸入係藉由物件(光係經投影通過在投影模式下之可切換表面而投影至該物件上)之扭曲或變形來達成。物件之扭曲可藉由追蹤該物件或其部分(例如，角及/或邊)之位置來偵測得，且此可使用前述技術之一來達成。在另一實例中，如第8圖所示，扭曲之偵測可藉由偵測物件之光特性之改變來達成，例如使用偏振光失真。一偏振光源可包括投影機101(或另一光源)及一偏振器803，此偏振光源可用以投影偏振光至物件801上，該物件例如可為一聚碳酸酯或壓克力片。當光已通過該物件後，其可由前表面(即最靠近使用者且遠離可切換表面102之表面)之反射塗層802反射，並返回通過偏振器803以被偵測到(例如使用一攝影機系統804)。可使用任何適當的物件，且當通過該物件時對光之偏振之影響係關聯材料所受壓力量。當使用者施一力於該物件時，物件片之光偏振特性改變，使得通過該物件之任一部分之光之偏振旋轉量係取決於應變(即物件片之不同部分將經歷不同應變，而此將造成對通過物件之光進行不同變化之偏振)。結果，偵測到的影像提供該物件片之應變之映射，該影像可進行解讀以確定導致此現象之使用者動作(或所施之力)。
在一實例中，一觸控營幕可搭配表面運算裝置使用，以建立一觸摸敏感文件並將其顯示給使用者。在此一實例中，觸控營幕(其係透明的或包括一可切換表面)可具有一列印文件置於其上端。該觸控營幕可偵測到一使用者觸摸該文件，且表面運算裝置中之投影機可例如回應經由觸控營幕所偵測到的使用者輸入，而投影增加物至該文件上。
在前述諸多實例中，經投影通過可切換表面之圖形資料係顯示於一物件上，該物件在該表面上或該表面附近並重定向光。在其它實例中，物件可將光重定向另一投影表面上，諸如牆、天花板或投影營幕上。在某些實例中，投影營幕可適當放置以當作該表面運算裝置附近的延伸投影空間，如第9圖所示。為了能夠投影在另一替代投影表面900上，其中一投影機之方向可設成離軸。第9圖之系統亦包括一獨立投影機101，用以投影圖形資料於在顯示模式下之表面。
第9圖顯示一稜柱形物件902，該物件可選擇性包括一鏡面或可以任何其它方式重定向光。在一實例中，光可經投影在一鏡面(例如其配置於可切換表面上方之天花板上)上，並反射至一物件上(例如，反射至一物件之上表面上及/或一不透光之物件上)。該鏡面可轉動以追蹤該物件之所有移動(可以前述方式進行追蹤)。在另一實例中，可使用一提供360°防護的物件(例如，一外部鍍銀的半球或一外部為鏡面的圓錐體)。
在某些實例中，用來重定向光至一替代投影表面之物件，其位置可被追蹤以達成補償該經投影圖形資料。藉由追蹤物件相對於可切換表面之角度，可修改經投影圖形資料，使得該經投影圖形資料維持在固定的方向、尺寸或形狀(例如，維持在矩形而非不同的平行四邊形或梯形)。在此實例之一變化型中，這可以一虛擬方式來實現。圖形資料可經投影通過在投影模式下之表面(如前述說明)而投影至一物件，且當物件由一使用者操蹤時可追蹤該物件。之後，可使用另一投影機來將該圖形資料直接投影至該替代投影表面(即不經由該物件重定向)上，其中經直接投影之圖形資料之位置係取決於物件相對於表面運算裝置之位置。在此二例中使用者知覺可為相同。
在另一實例中，可追蹤可切換表面附近之使用者位置，且可修改經投影圖形資料，以避免將圖形資料投影到使用者臉上。這可藉由增加黑色區域至經投影圖形資料來實現，該區域係依據所追蹤到之使用者臉部位置來放置在適當位置並進行調整。對使用者之追蹤可使用成像設備904來實現。
前述物件中某些物件包括內嵌電子元件或其它主動裝置，例如LED。這些裝置之電力係由位於物件內之電池所供應。除此之外(或替代地)，可由表面運算裝置以無線方式供應電力。在一實例中，一物件可包括光電池或其它能夠將入射光能量轉換成電能之元件。入射光能量可經投影通過在投影模式下之可切換表面，且所獲得之電能可(例如)用以供應LED或其光源所需之電力。在一替代配置中，電力可自表面運算裝置或其它可用的無線供電技術來感應耦合至物件。在某些實例中，由表面運算裝置供應之電力(例如感應供電或透過光電轉換)可用來再充電裝置內之電池。為了減少一主動裝置之電力消耗，這些主動元件僅可於部分時間被供電。在一實例中，主動裝置可在可切換表面處於投影模式時被供電。
在某些實例中，經投影之圖形資料可能由於背投影圖形資料之發散而導致失真。當物件係放置在可切換表面上經投影圖形資料之光軸上時，進入該物件之光線大致王交於該物件之頂/底面。然而，如第10圖之第一配置1000所示，當物件1001係放置在可切換表面102上但不在光軸1002上時，進入物件1001之光不再正交其底面，且如第10圖所示，這可造成入射光通過該物件但不入射至菱柱。一解決方案為納入一菲涅爾透鏡1011，其以光軸為中心放置且其大致覆蓋可切換表面之整個投影區。可選擇透鏡焦距等於投影機到可切換表面間距離之菲涅爾透鏡。如此將使得來自投影機101之發散光聚焦成平行光線，且其正交於該表面，如第10圖第二配置1010所示。
如第10圖所示之菲涅爾透鏡1011，其提供一薄形狀因子透鏡，但在其它實例中可使用替代透鏡(例如一準直透鏡或一淺梯度折射率透鏡)。在另一實例1020中，可使用一拋物面鏡1021以提供相同光學效果。在第10圖所示之實例中，一成像設備(視需要)可放置在拋物面鏡前方(例如，位置1022處)、拋物面鏡孔洞之後方1023、在拋物面鏡1021處被定向之投影機101之旁邊或其它位置。可替代地使用其它光學技術以提供一準直投影光束。
在一針對使用透鏡之替代解決方案中，可追蹤圖形資料(如前述說明)，且可依據所偵測到的物件位置對經投影圖資料進行調整，以修正任何失真現象。在另一替代解決方案中，用以投影通過表面並投影至物件上之投影機，可放置在一可移動座(例如，在x-y平面上)，且可改變投影機之位置以追蹤其投影之物件之位置。在又另一實例中，可提供複數投影機，並從中選定一投影機用以依據所偵測到的物件位置來投影圖形資料(例如，可使用光軸上最靠近物件位置之投影機)。
前述實例中之物件係單一物件；然而在其它實例中，物件可包括一機械接合。在一實例中，物件可包括一滑鼠替換裝置並包括一滾輪，其位置可被追蹤(如前述說明)以提供使用者輸入至一表面運算裝置。在另一實例中，物件可為一動畫物件(例如，一個人)、可不為固體(例如，可為露)或可為全像裝置。物件可為剛性或彈性(例如，一彈性的光籤引導)。
表面運算裝置可包括圖式中未示出及前述說明未提及之額外元件。例如，表面運算裝置可包括一影像獲取裝置或其它成像設備，其配置用以執行通過在投影模式下之表面之成像，及/或在顯示模式(此時表面為大致漫射)下之成像。該成像可使用任何波長，例如可見光或IR輻射。
第11圖為一表面運算裝置之範例操作方法流程圖，該裝置如本文所述及第1及5-10圖所示之任一裝置，其可搭配如本文所述及第1及3-10圖所示之任一物件來運作。當表面係在其透明狀態時(如方塊1101之切換)，此狀態稱作投影模式，圖形資料經投影通過該表面而投影至一物件上(方塊1102)。該物件可接觸該表面、靠近該表面或遠離該表面。除了將圖形資料投影通過在投影模式下之表面外，圖形資料可通過該表面而被獲取(方塊1103)。此影像獲取(方塊1103)可包括照亮該表面(未示於第11圖中)。在裝置包括電子電路的情況下，當表面係在透明狀態時，該電子電路可被開啟(方塊1104)。所獲取影像(自方塊1103)可用以通過表面來偵測物件之位置(方塊1105)，或者可依據接收自物件內電子裝置之資訊來確定位置(方塊1105)。依據所偵測到的位置(自方塊1105)，可改變所投影之圖形資料(方塊1106)。所獲取影像(自方塊1103)及/或所偵測到的物件位置(自方塊1105)，可用以識別一使用者輸入(方塊1109)，而這可接著用以控制在該表面運算裝置上執行的一程式(例如，一應用程式)(方塊1110)。當該表面係在其漫射狀態時(如方塊1107之切換)，漫射狀態稱作顯示模式，圖形資料被投影至該表面上(方塊1108)。
可重複該程序，使該平面(或其部分)以任何速率在二模式間(即，漫射及透明狀態之間)進行切換。在某些實例中，該平面可以超過閃爍知覺臨限之速率進行切換。在其他通過表面之投影僅係定期發生之實例中，該表面可維持在顯示模式下(即在其漫射狀態中)直到需要投影為止，然後該表面可切換至投影模式(即切換至其透明狀態)。
第12圖例示說明一基於表面運算之範例裝置1200之各種組件，裝置1200可建構為任何形式之運算及/或電子裝置，且其中可實施本文所述方法之具體實施例(例如，如第2圖及第11圖中所示)。
基於運算之裝置1200包括一或多個處理器1201，其可為微處理器、控制器或任何其他適當類型之處理器，以用於處理電腦可執行指令以控制該裝置之操作，以便如上所述進行運作(例如，如第2或11圖所示)。可在該基於運算之裝置上提供平臺軟體(包括一作業系統1202或任何其他適當平臺軟體)，以使應用程式軟體1203-1208能夠在該裝置上執行。
該應用程式軟體可包括以下模組之一或多者：
●一顯示模組1204，其經配置以控制多個投影機101、106(及可能的任何關聯該等投影機的快門107、108及FTIR光源及無線傳輸至視域中之物件)；
●一表面模組1205，其經配置以使該可切換表面102在二模式間(即在透明與漫射狀態之間)進行切換；
●一影像獲取模組1206，其經配置以控制該影像獲取裝置1210；
●一物件偵測/追蹤模組1207，其經配置以確定(且在某些實例中可額外地追蹤)一物件相對於表面102之位置；及
●一觸摸偵測模組1208，其經配置以偵測觸摸事件(例如，如前述參照第6或7圖之說明)；
每一模組經配置以使可切換表面電腦如前述任何一或多個實例中所述之方式操作。
電腦可執行指令，諸如作業系統1202及應用程式軟體103-1208，可由任何電腦可讀取媒體(諸如記憶體1209)來提供。該記憶體係任何適當類型之記憶體，諸如隨機存取記憶體(RAM)、諸如磁或光儲存器裝置之任何類型之碟儲存裝置、一硬磁碟驅動機，或一CD、數位視訊光碟或其他碟驅動器。亦可使用快閃記憶體、可抹除可程式化唯讀記憶體或電子可抹除可程式化唯讀記憶體。該記憶體亦可包括一資料儲存區1211，該資料儲存區可用於儲存用來顯示的捕獲之影像及/或數位資料等。
該基於運算之裝置1200亦包括一可切換表面102、一或多個投影機101、106及(在某些實例中)一或多個影像捕獲裝置1210。該裝置可更包括一或多個額外投影機、一FTIR子系統、無線子系統(例如用以與物件進行通訊)、可切換快門、一光源等。該基於運算之裝置1200可更包括一或多個輸入(例如任何適當類型之輸入，以用於接收媒體內容、網際網路協定(IP)輸入等)、一傳輸介面及一或多個輸出，諸如一聲頻輸出。
雖然所述實例係經描述及圖示成實現於一表面運算系統中，但是所述系統僅提供作為實施例而非用以限制本發明。本領域之熟習技藝人士將瞭解到，本文所提及實例適用於應用在各種不同類型的運算系統中。
前述實例係使用被動或主動物件並結合一可切換表面。將瞭解到被動及主動物件可結合在一起，物件可部分被動式操作而部分主動式操作(由於物件內電子電路)。此外，物件可堆疊，使得經投影通過一第一物件之圖形資料亦可被投影至一第二物件上(或在某些實例中投影通過該第二物件)，且這些物件中每一者可為被動式物件或主動式物件。
前述實例顯示可切換表面之方向係以水平配置，且描述物件之位置係在該表面之上/下方或前/後方。將瞭解到此水平方向配置僅係舉例說明，該表面可以任何方向放置。此外，如前所述，表面可不為平面而可為曲面及/或可彎曲。在一實例中，表面運算裝置可設置成該可切換表面係垂直，且圖形資料所投影到的物件可為使用者之手部。
在本文中，「電腦」一詞係指具有處理功能而可執行指令之任何裝置。本領域之熟習技藝人士將認識到，此等處理功能被併入許多不同裝置，且因此「電腦」一詞包含個人電腦、伺服器、行動電話、個人數位助理及許多其他裝置。
本文所述方法可藉由以機器可讀之形式位於一實體儲存媒體上之軟體執行。該軟體可適合用於在一平行處理器或一串列處理器上執行，以便可以任何適當順序或同時執行該等方法步驟。
此認可軟體可係一有價、可單獨交易之商品。其意欲包含運行於(或控制)「啞的」或標準的硬體上以執行所期望功能之軟體。亦意欲包含「描述」或定義硬體之軟體(諸如HDL(硬體描述語言)軟體，如用於設計矽晶片，或以用於配置通用可程式化晶片)，以執行所期望功能之軟體。
熟習此項技術者將認識到，用於儲存程式指令之儲存裝置可分散於一網路上。舉例而言，一遠端電腦可儲存被描述為軟體之程序之實例。一區域或終端電腦可存取該遠端電腦及下載一部分或所有軟體，以運行該程式。或者，該區域電腦可視需要下載軟體片段，或在該區域終端上及在遠端電腦(或電腦網路)上執行某些軟體指令。本領域之熟習技藝人士亦將認識到，利用本領域之熟習技藝人士所熟知之習知技術，所有該等軟體指令或其一部分可藉由一專用電路執行，諸如一數位訊號處理器、可程式邏輯陣列，或諸如此類。
如對本領域之熟習技藝者所顯而易見的，本文給出之任何範圍或裝置值可被擴展或被改變而不失所追求之效果。
當然上述該等優點及優勢可係關於一具體實施例或可係關於若干具體實施例。該等具體實施例並不限於解決任何或所有所述問題或具有任何或所有所述優點及優勢。此外應瞭解，文中所述「一」項目係指一或多個彼等項目。
本文所述該等方法之步驟可以任何適當順序執行，或在適當時同時執行。此外，在不背離在本文所描述之本發明主體之精神與範圍的情況下，可自任何該等方法中刪除個別方塊。任何上述該等實例之態樣可與所述之任何其他實例之態樣組合，以形成其他實例而不失所追求之效果。
如在本文中所使用之術語「包括」係指包含所辨識之該等方法方塊或元件，但此等方塊或元件不包括一排他性清單，且一方法或裝置可含有其他方塊或元件。
當然，以上對於一較佳具體實施例之說明僅係藉由實例之方式給出，熟習此項技術者可進行各種修改。以上說明、實例及資料提供了對於本發明之例示性具體實施例之結構及使用之完整說明。儘管以上已經以一定程度之特定性，或參考一或多個個別具體實施例，描述了本發明之各種具體實施例，但熟習此項技術者可對該等所揭示具體實施例進行眾多修改，而不背離本發明之精神或範疇。
100．．．表面運算裝置
101．．．投影機/光源
102．．．可切換表面
103．．．物件
104．．．底面
106．．．投影機
107、108．．．快門
301．．．被動物件
302．．．底面
303．．．垂直面
308．．．菱柱
311．．．物件
312．．．底面
313．．．外曲面
401、402、403．．．物件變化形
410．．．頂面
411．．．底面
412．．．外曲面
413．．．底面
421．．．外曲面
423．．．底面
424．．．漫射層
430．．．凹透鏡
431．．．頂面
432．．．漫射層
433．．．側曲面
501．．．物件
502．．．LED
503．．．攝影機
601、602．．．配例實例
610、611．．．菱柱
612．．．間隔
620．．．物件
621．．．手指
622．．．光源
623．．．成像設備
700．．．實例
701．．．物件
702．．．光源
703．．．物件
704．．．成像設備
710．．．實例
720．．．實例
721．．．物件
722．．．層
723．．．IR反射表面
724．．．背面
725．．．指尖
801．．．物件
802．．．反射塗層
803．．．偏振器
804．．．攝影機系統
900．．．投影表面
902．．．稜柱形物件
904．．．成像設備
1000．．．配置
1001．．．物件
1002．．．光軸
1010．．．配置
1011．．．菲涅爾透鏡
1020．．．配置
1021．．．拋物面鏡
1200．．．裝置
1201．．．處理器
1202．．．作業系統
1203．．．應用程式軟體
1204．．．顯示模組
1205．．．表面模組
1206．．．影像獲取模組
1207．．．物件偵測/追蹤模組
1208．．．觸摸偵測模組
1209．．．記憶體
1210．．．影像捕獲裝置
1211．．．資料儲存區
經由參照隨附該等圖式來閱讀以上詳細說明，可更佳地瞭解本說明，其中：
第1圖係一表面運算裝置示意圖；
第2圖係一表面運算裝置之一範例操作方法之流程圖；
第3及4圖顯示可用於一表面運算裝置之各種被動物件之示意圖；
第5圖係一主動物件及一表面運算裝置之示意圖；
第6至8圖顯示可用於偵測使用者輸入之表面運算系統示意圖；
第9圖係另一表面運算裝置示意圖；
第10圖顯示用於修正失真之光學配置示意圖；
第11圖係一表面運算裝置之另一範例操作方法之流程圖；及
第12圖例示說明一可實現所述之方法實施例之範例計算式裝置。
在隨附圖式中，相同元件符號用於指示相同元件。

Claims (20)

  1. 一種表面運算裝置，包含：一表面層，其具有至少二操作模式，其中在一第一操作模式下該表面層對於可見光係大致漫射，而在一第二操作模式下該表面層對於可見光係大致透明；及投影設備，其係可操作來投影圖形資料至在該第一操作模式下之該表面層上，及將圖形資料投影通過在該第二操作模式下之該表面而投影至一物件上。
  2. 如申請專利範圍第1項所述之表面運算裝置，其中該投影設備係配置來在每一操作模式下投影不同的圖形資料。
  3. 如申請專利範圍第1項所述之表面運算裝置，更包含：物件偵測設備，其係配置來偵測該物件相對於該表面層之位置及方向中之至少一者。
  4. 如申請專利範圍第3項所述之表面運算裝置，其中經投影通過在該第二操作模式下之該表面而投影至一物件上之該圖形資料，係取決於所偵測到的該物件之位置及方向中之至少一者。
  5. 如申請專利範圍第1項所述之表面運算裝置，更包含：成像設備，其係配置來獲取一通過在該第二操作模式下之該表面層的影像。
  6. 如申請專利範圍第5項所述之表面運算裝置，更包含：一處理器；及記憶體，其係配置來儲存可執行指令，其使該處理器執行以下步驟：處理該影像以識別一使用者輸入；及依據該使用者輸入，提供一輸入至在該表面運算裝置上執行的一程式。
  7. 如申請專利範圍第1項所述之表面運算裝置，其中該投影設備包含一顯示裝置，其可操作來投影圖形資料至在該第一操作模式下之該表面層上；及一投影機，其可操作來將圖形資料投影通過在該第二操作模式下之該表面而投影至一物件上。
  8. 一種操作一表面運算裝置之方法，包含以下步驟：在一大致漫射狀態及一大致透明狀態間切換一表面層；在該大致漫射狀態下，投影圖形資料至該表面層上； 及在該大致透明狀態下，將圖形資料投影通過該表面而投影至一物件上。
  9. 如申請專利範圍第8項所述之方法，更包含以下步驟：偵測該物件相對於該表面層之位置。
  10. 如申請專利範圍第9項所述之方法，更包含以下步驟：依據所偵測到的位置，改變經投影通過該表面而投影至該物件上的該圖形資料。
  11. 如申請專利範圍第8項所述之方法，更包含以下步驟：在該大致透明狀態下，獲取一通過該表面之影像。
  12. 如申請專利範圍第11項所述之方法，更包含以下步驟：處理該影像以識別一使用者輸入；及依據該使用者輸入，控制在該表面運算裝置上執行的一程式。
  13. 一種表面運算系統，包含： 一層，其可電子切換於二狀態間，其中一第一狀態對於可見光係大致漫射，而一第二狀態對於可見光係大致透明；及投影設備，其包含至少一投影機，且其係配置來投影圖形資料至在其第一狀態下之該層上，及將圖形資料投影通過在其第二狀態下之該層而投影至一物件上。
  14. 如申請專利範圍第13項所述之表面運算系統，更包含該物件，且其中該物件可操作來重定向經投影至該物件上之該圖形資料。
  15. 如申請專利範圍第14項所述之表面運算系統，其中該物件包含一顯示表面，且其中該物件可操作來重定向該圖形資料至該顯示表面上。
  16. 如申請專利範圍第15項所述之表面運算系統，其中該物件包含複數顯示表面，且其中經投影通過在其第二狀態下之該層之該圖形資料，包含要顯示在該等複數顯示表面中至少一者之圖形資料。
  17. 如申請專利範圍第13項所述之表面運算系統，更包含：物件偵測設備，其係配置來偵測該物件之位置及方向中之至少一者。
  18. 如申請專利範圍第17項所述之表面運算系統，其中該投影設備更經配置來依據所偵測到的該物件之位置及方向中之至少一者，投影不同的圖形資料至該物件上。
  19. 如申請專利範圍第17項所述之表面運算系統，其中該物件偵測設備包含一影像獲取裝置。
  20. 如申請專利範圍第13項所述之表面運算系統，更包含：觸摸偵測設備，其經配置來偵測一使用者觸摸該物件，且控制執行於該表面運算系統上之一程式，以回應一使用者觸摸該物件之該偵測。
TW98106709A 2008-05-02 2009-03-02 用於實體使用者介面上之影像投影之裝置、系統、及方法 TWI471769B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/114,421 US8042949B2 (en) 2008-05-02 2008-05-02 Projection of images onto tangible user interfaces

Publications (2)

Publication Number Publication Date
TW200947285A TW200947285A (en) 2009-11-16
TWI471769B true TWI471769B (zh) 2015-02-01

Family

ID=41255659

Family Applications (2)

Application Number Title Priority Date Filing Date
TW98106709A TWI471769B (zh) 2008-05-02 2009-03-02 用於實體使用者介面上之影像投影之裝置、系統、及方法
TW103127668A TWI543038B (zh) 2008-05-02 2009-03-02 用於實體使用者介面上之影像投影之裝置、系統、及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103127668A TWI543038B (zh) 2008-05-02 2009-03-02 用於實體使用者介面上之影像投影之裝置、系統、及方法

Country Status (8)

Country Link
US (2) US8042949B2 (zh)
EP (1) EP2271965A4 (zh)
JP (1) JP5069374B2 (zh)
CN (1) CN102016713B (zh)
CA (1) CA2720683C (zh)
IL (1) IL208487A (zh)
TW (2) TWI471769B (zh)
WO (1) WO2009134563A2 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8253713B2 (en) * 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
US20110212774A1 (en) * 2008-11-14 2011-09-01 Karl Wudtke Terminal including a button and button having projected images and method
US20100207909A1 (en) * 2009-02-13 2010-08-19 Ming-Cho Wu Detection module and an optical detection device comprising the same
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP2011175110A (ja) * 2010-02-24 2011-09-08 Seiko Epson Corp 画像形成装置および背面投影型表示装置
TW201205551A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Display device assembling a camera
US8682030B2 (en) 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
WO2013009071A2 (en) * 2011-07-11 2013-01-17 Samsung Electronics Co., Ltd. Input device
CN102520900B (zh) * 2011-12-20 2015-03-25 Tcl集团股份有限公司 一种多层显示设备及其显示控制方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9256089B2 (en) * 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
JP2014078799A (ja) * 2012-10-09 2014-05-01 Toshiba Corp 画像処理装置及び画像処理方法
US9146668B2 (en) * 2013-01-31 2015-09-29 Hewlett-Packard Development Company, L.P. Graphical element placement on a display surface
US20140247263A1 (en) * 2013-03-04 2014-09-04 Microsoft Corporation Steerable display system
US9658717B2 (en) 2013-05-14 2017-05-23 Otter Products, Llc Virtual writing surface
US9229583B2 (en) 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
US9170685B2 (en) * 2013-06-20 2015-10-27 Otter Products, Llc Object location determination
US9137542B2 (en) 2013-07-23 2015-09-15 3M Innovative Properties Company Audio encoding of control signals for displays
US9575352B2 (en) 2013-07-23 2017-02-21 3M Innovative Properties Company Addressable switchable transparent display
US20150084848A1 (en) * 2013-09-25 2015-03-26 Bby Solutions, Inc. Interaction between generic interaction devices and an interactive display
US9335866B2 (en) 2013-11-20 2016-05-10 Otter Products, Llc Retractable touchscreen adapter
US9653044B2 (en) 2014-02-14 2017-05-16 Microsoft Technology Licensing, Llc Interactive display system
WO2016039713A1 (en) * 2014-09-08 2016-03-17 Hewlett-Packard Development Company, L.P. Capture and projection of an object image
US10013065B2 (en) 2015-02-13 2018-07-03 Microsoft Technology Licensing, Llc Tangible three-dimensional light display
JP5943312B2 (ja) * 2015-03-06 2016-07-05 大日本印刷株式会社 表示装置
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
CN104793814A (zh) * 2015-05-12 2015-07-22 京东方科技集团股份有限公司 一种光学式触控装置及触控显示装置
HK1215348A2 (zh) * 2015-07-03 2016-08-19 賢納科技有限公司 顯示系統
WO2017035650A1 (en) * 2015-09-03 2017-03-09 Smart Technologies Ulc Transparent interactive touch system and method
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
US10720082B1 (en) * 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
US10726233B2 (en) * 2017-08-09 2020-07-28 Fingerprint Cards Ab Providing test patterns for sensor calibration
CN108227347A (zh) * 2018-02-01 2018-06-29 珠海格力电器股份有限公司 一种具有投影功能的空调室内机和空调器
US10641942B2 (en) 2018-07-16 2020-05-05 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10545275B1 (en) 2018-07-16 2020-01-28 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10690752B2 (en) 2018-07-16 2020-06-23 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
US10690846B2 (en) 2018-10-24 2020-06-23 Shenzhen Guangjian Technology Co., Ltd. Light projecting method and device
CN111323931B (zh) 2019-01-15 2023-04-14 深圳市光鉴科技有限公司 光投射系统和方法
US10585173B1 (en) 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Systems and methods for enhanced ToF resolution
US10585194B1 (en) * 2019-01-15 2020-03-10 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
US10564521B1 (en) 2019-01-15 2020-02-18 Shenzhen Guangjian Technology Co., Ltd. Switchable diffuser projection systems and methods
CN110149510B (zh) 2019-01-17 2023-09-08 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备
CN110456602B (zh) * 2019-08-22 2021-06-18 歌尔股份有限公司 一种投影系统的投影图案校正装置、方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787559B2 (ja) * 1986-06-30 1995-09-20 ソニー株式会社 背面投写装置
US5235363A (en) 1991-05-10 1993-08-10 Nview Corporation Method and apparatus for interacting with a computer generated projected image
JP3339504B2 (ja) * 1992-03-24 2002-10-28 ソニー株式会社 液晶プロジェクタ
US5422494A (en) * 1992-10-16 1995-06-06 The Scott Fetzer Company Barrier transmission apparatus
US5729242A (en) * 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
US5784138A (en) * 1996-08-22 1998-07-21 Lucent Technologies Inc. Fast transition polymer dispersed liquid crystal shutter for display screen and method of manufacture therefor
DE69837591T2 (de) 1997-12-16 2007-12-27 KURARAY CO., LTD, Kurashiki Rückprojektionsschirm mit einem Prisma
US6052231A (en) 1998-01-21 2000-04-18 International Business Machines Corporation Beam dividing elements permitting projection of an image with high contrast
TW418341B (en) 1999-03-01 2001-01-11 Fresnel Optics Inc An optical element screen
US6417966B1 (en) 1999-07-07 2002-07-09 3M Innovative Properties Company Rear projection screen using internal reflection
JP2001183994A (ja) * 1999-12-27 2001-07-06 Sony Corp 画像表示装置
US6616284B2 (en) * 2000-03-06 2003-09-09 Si Diamond Technology, Inc. Displaying an image based on proximity of observer
JP3900818B2 (ja) * 2000-10-31 2007-04-04 セイコーエプソン株式会社 プロジェクタ
JP3937767B2 (ja) * 2001-02-28 2007-06-27 富士ゼロックス株式会社 光書込装置
JP2003058071A (ja) * 2001-08-16 2003-02-28 Arisawa Optic Co Ltd 遮光透明シートおよび遮光画面装置
US6755534B2 (en) 2001-08-24 2004-06-29 Brookhaven Science Associates Prismatic optical display
US6814443B2 (en) 2001-09-26 2004-11-09 Digital Advertising Network Inc Image projection system and its method of use
US6724529B2 (en) * 2002-04-17 2004-04-20 Howard Sinkoff Reflection-type projection screens
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7088507B2 (en) 2002-08-16 2006-08-08 Infocus Corporation Rear projection display
JP2004184979A (ja) * 2002-09-03 2004-07-02 Optrex Corp 画像表示装置
US6820982B1 (en) 2003-06-19 2004-11-23 Eastman Kodak Company Method and apparatus for forming an image on a curved diffusive surface
GB0325849D0 (en) 2003-11-05 2003-12-10 Microsharp Corp Ltd Rear projection screen,and rear projection system using the screen
EP1683130A1 (en) * 2003-11-06 2006-07-26 Koninklijke Philips Electronics N.V. Switchable transparent display
JP4340135B2 (ja) * 2003-12-04 2009-10-07 株式会社リコー 画像表示方法及び画像表示装置
WO2005069073A1 (en) 2004-01-09 2005-07-28 Koninklijke Philips Electronics N.V. Image projection apparatus
JP2005241920A (ja) * 2004-02-26 2005-09-08 Dainippon Printing Co Ltd 光拡散性スクリーン
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
GB0412651D0 (en) 2004-06-07 2004-07-07 Microsharp Corp Ltd Autostereoscopic rear projection screen and associated display system
WO2006014407A2 (en) 2004-07-06 2006-02-09 Luminoz Inc. Total internal reflection fresnel lens and devices
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
JP2007017664A (ja) * 2005-07-07 2007-01-25 Seiko Epson Corp スクリーン、プロジェクタシステム、リアプロジェクタ
JP2007081864A (ja) * 2005-09-14 2007-03-29 Fuji Xerox Co Ltd 表示記録媒体システムおよび表示記録媒体
KR20070073543A (ko) * 2006-01-05 2007-07-10 최해용 고선명 박막 반사 스크린
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
KR20090060283A (ko) * 2006-08-03 2009-06-11 퍼셉티브 픽셀 인코포레이티드 좌절형 전반사를 통한 멀티 터치 검출 디스플레이
US8328368B2 (en) * 2007-04-26 2012-12-11 Accuvein Inc. Projection system
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
US8042949B2 (en) 2008-05-02 2011-10-25 Microsoft Corporation Projection of images onto tangible user interfaces

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644369A (en) * 1995-02-24 1997-07-01 Motorola Switchable lens/diffuser

Also Published As

Publication number Publication date
CA2720683A1 (en) 2009-11-05
TW200947285A (en) 2009-11-16
TWI543038B (zh) 2016-07-21
JP2011525635A (ja) 2011-09-22
WO2009134563A2 (en) 2009-11-05
JP5069374B2 (ja) 2012-11-07
US8272743B2 (en) 2012-09-25
CN102016713B (zh) 2012-11-07
EP2271965A4 (en) 2012-11-21
IL208487A0 (en) 2010-12-30
CN102016713A (zh) 2011-04-13
EP2271965A2 (en) 2011-01-12
TW201443744A (zh) 2014-11-16
WO2009134563A3 (en) 2009-12-23
US20120038891A1 (en) 2012-02-16
US8042949B2 (en) 2011-10-25
IL208487A (en) 2015-03-31
US20090276734A1 (en) 2009-11-05
CA2720683C (en) 2018-05-22

Similar Documents

Publication Publication Date Title
TWI471769B (zh) 用於實體使用者介面上之影像投影之裝置、系統、及方法
Izadi et al. Going beyond the display: a surface technology with an electronically switchable diffuser
JP5693972B2 (ja) 切替え可能なディフューザを備える対話型サーフェイスコンピュータ
EP2619640B1 (en) Interactive display
CN103733247B (zh) 在各显示设备查看模式之间进行改变
KR101247095B1 (ko) 인터랙티브 디스플레이 조명 및 개체 검출 방법과 인터랙티브 디스플레이 시스템
Hirsch et al. BiDi screen: a thin, depth-sensing LCD for 3D interaction using light fields
US9535537B2 (en) Hover detection in an interactive display device
US8619062B2 (en) Touch-pressure sensing in a display panel
RU2579952C2 (ru) Система и способ мультисенсорного взаимодействия и подсветки на основе камеры
TWI536227B (zh) 光學觸控偵測
US20050280631A1 (en) Mediacube
JP2017514232A (ja) 双方向ディスプレイスクリーン用の圧力、回転およびスタイラス機能
US20120127084A1 (en) Variable light diffusion in interactive display device
CA2996034A1 (en) Transparent interactive touch system and method
Wang et al. Bare finger 3D air-touch system using an embedded optical sensor array for mobile displays
Chan et al. On top of tabletop: A virtual touch panel display
KR100978437B1 (ko) 멀티터치 제어시스템 및 제어방법
BE1023596B1 (fr) Système interactif basé sur des gestes multimodaux et procédé utilisant un seul système de détection
Hušek Multi-touch Table with Image Capturing
TWM524488U (zh) 非接觸互動式立體投影器

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees