TW201447643A - 增強型呈現環境 - Google Patents

增強型呈現環境 Download PDF

Info

Publication number
TW201447643A
TW201447643A TW103107024A TW103107024A TW201447643A TW 201447643 A TW201447643 A TW 201447643A TW 103107024 A TW103107024 A TW 103107024A TW 103107024 A TW103107024 A TW 103107024A TW 201447643 A TW201447643 A TW 201447643A
Authority
TW
Taiwan
Prior art keywords
information
presentation
action
movement
interaction space
Prior art date
Application number
TW103107024A
Other languages
English (en)
Inventor
Frederick David Jones
Anton Oguzhan Alford Andrews
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201447643A publication Critical patent/TW201447643A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在此揭露的實施包含：用於增強型呈現(enhanced presentation)的系統、方法，及軟體。在至少一實施中，產生動作資訊，該動作資訊與從對象的一俯視視角且在三維度中獲取的對象的動作相關聯。至少部份地基於動作資訊來識別出一控制，及至少部份地基於該控制來顯現資訊的呈現。

Description

增強型呈現環境 【相關的申請案】
此申請案主張美國臨時專利申請案第61/771,896號的利益和優先權，該專利申請案在2013年3月3日提出申請，及標題為「增強型呈現環境(ENHANCED PRESENTATION ENVIRONMENTS)」，該專利申請案特此藉由引用之方式全體併入本文中。
本揭露的態樣係關於計算硬體和軟體技術，及特定而言，本揭露的態樣係關於呈現顯示技術。
呈現可在各種環境中被體驗。在傳統的環境中，文件、試算表、多媒體呈現，或類似者可被直接地呈現在由計算系統所驅動的顯示螢幕上。一對象可藉由滑鼠、觸控介面，或一些其他的介面機制的方式與該呈現進行互動，以為了要導航或另外地控制該呈現。
在其他的環境中，呈現可藉由語音互動或手勢來控制。當手勢可利用各種方式來偵測時，可使用語音分析技術來解譯一對象的語音。在一示例中，一動作感測器從一正面 視角(head-on perspective)獲取一對象的視訊與處理該視訊以產生動作資訊。然後可基於該動作資訊來控制該呈現。舉例而言，一對象可從一選單中作出選擇、開啟或關閉檔案，或另外地藉由手勢和其他的動作與一呈現進行互動。
一個普遍的系統係：促進對象以經由一自然使用者介面而使用手勢和口語的命令來控制一視訊遊戲控制台和與該視訊遊戲控制台進行互動的Microsoft® Kinect®。此些系統包含：攝像機、深度感測器，及允許全身的3D的動作獲取的多-陣列的麥克風、臉部辨識，及語音辨識。此感測設備允許對象經由各種動作(例如揮手、跳躍，及類似者)與遊戲和其他的內容進行互動。
大型顯示螢幕也已經變得普遍的，其中在該大型顯示螢幕上顯示呈現。會議室目前可配備有一螢幕陣列，該螢幕陣列潛在性地延伸該室的整體寬度(或潛在性地延伸該室的整體寬度到至少足夠用於呈現在一會議中的多個人士的寬度)。此些大型螢幕陣列可藉由允許會議參與者的全尺寸(full-size)的顯現來增強呈現。大量的資料亦可被顯示。
此外，此些螢幕陣列可包含：觸控-感應式的螢幕。在此些情況中，對象能夠藉由各種習知的觸碰手勢的方式(例如單一或多-觸碰的手勢)與在一螢幕陣列上的呈現進行互動。
在此所提供者係：用於促進增強型呈現環境的系統、方法，及軟體。在一實施中，適當的計算系統產生：動作資訊，該動作資訊與從該對象的一俯視視角且在三維度中 獲取的對象的動作相關聯。該計算系統至少部份地基於動作資訊來識別一控制，及至少部份地基於該控制來顯現：資訊的呈現。
此【發明內容】被提供以利用簡化的形式以作出選擇性觀念的介紹，該等觀念進一步地被描述在後文的【實施方式】中。應理解到：此【發明內容】無意欲於識別所請求的申請標的之關鍵特徵或必要特徵，及無意欲於被使用以限制所請求的申請標的之範疇。
100‧‧‧增強型呈現環境
101‧‧‧互動空間
103‧‧‧地板
105‧‧‧天花板
107‧‧‧對象
108‧‧‧手臂
109‧‧‧顯示系統
111‧‧‧計算系統
113‧‧‧感測器系統
115‧‧‧行動裝置
191‧‧‧呈現
193‧‧‧時間表
197‧‧‧對象
200‧‧‧增強型呈現程序
201‧‧‧方法/步驟
203‧‧‧方法/步驟
300‧‧‧增強型呈現程序
301‧‧‧方法/步驟
303‧‧‧方法/步驟
305‧‧‧方法/步驟
800‧‧‧計算系統
801‧‧‧處理系統
803‧‧‧儲存系統
805‧‧‧軟體
807‧‧‧通訊介面
809‧‧‧使用者介面
811‧‧‧顯示介面
可參照後續的圖式更佳地理解本揭露的許多態樣。當結合此些圖式來描述一些實施時，本揭露並不被限制為：在此揭露的實施。相反地，所欲者係涵蓋所有的替代者、修正，及等效者。
第1圖示例說明：在一實施中的增強型呈現環境。
第2圖示例說明：在一實施中的增強型呈現程序。
第3圖示例說明：在一實施中的增強型呈現程序。
第4圖示例說明：在一實施中的操作情境。
第5圖示例說明：在一實施中的操作情境。
第6圖示例說明：在一實施中的操作情境。
第7圖示例說明：在一實施中的操作情境。
第8圖示例說明：在一實施中的計算系統。
第9A圖至第9D圖示例說明：在一實施中的操作情境。
在此揭露的實施提供增強型呈現環境。在增強型呈現環境之內，一對象可基於該對象與被界定在三維度中的互動空間之間的各種互動來控制資訊(例如一呈現)的顯示。從對象的俯視視角且在三維度中獲取對象的動作。藉由獲取在三維度中的對象的動作，各種的和豐富的控制係可能的。此外，該對象能夠藉由與該呈現之間的觸碰手勢的方式來進行互動。
第1圖示例說明一此環境(增強型呈現環境100)。增強型呈現環境100包含：互動空間101、地板103，及天花板105。對象107位於互動空間101之內和在互動空間101中到處走動。增強型呈現環境100亦包含：顯示系統109，該顯示系統係由計算系統111來驅動。可理解到：顯示系統109和計算系統111可為：獨立的元件，或可被整合在一起。計算系統111與感測器系統113進行通訊，該感測器系統感測：在互動空間101內的對象107的位置和動作。
在操作中，計算系統111驅動顯示系統109以顯示數個呈現。在此實施中，可被呈現在一呈現的情境內的資訊係由各種字母(「a」、「b」、「c」，及「d」)來代表。感測器系統113針對關於對象107的移動或位置從一俯視視角來監控互動空間101。感測器系統113將表示任何的此些互動的動作資訊傳訊至計算系統111，該計算系統依次地至少部份地基於該動作資訊來顯現該呈現(如同於後文中更為詳細地討論者)。在一些實施中，顯示系統109包含：一觸控螢幕，該觸 控螢幕能夠接受由對象107所作出的觸碰手勢和將相關聯的手勢資訊傳訊至計算系統111，其中在該情況中該呈現亦可基於該觸碰手勢被顯現。
第2圖示例說明一增強型呈現程序200，該增強型呈現程序可被感測器系統113利用以增強：由顯示系統109所顯示的呈現。在操作中，對象107可在互動空間101中到處走動。感測器系統113獲取：在所有三維度中(x、y，及z)的對象107的動作(步驟201)。此者可藉由(例如)下列者來達成：測量光相對於感測器系統113向對象107行進多長的距離和光從對象107相對於感測器系統113行進多長的距離。感測器系統113的示例係：來自Microsoft®的Kinect®系統。可能有：可獲取一對象的動作的其他的方式，例如聽覺上地、使用紅外線處理技術、利用視訊分析，或利用一些其他的方式。
在獲取對象107的動作之後，感測器系統113將描述對象107的動作之動作資訊傳訊至計算系統111(步驟203)。計算系統111然後可至少部份地基於該動作來驅動顯示系統109。舉例而言，在互動空間101內的對象107的動作或位置(或二者)可決定(govern)：特定的呈現題材如何地被顯示。舉例而言，與呈現題材相關聯的動畫可至少部分地藉由對象107的動作或位置來進行控制。可能有：各種不同的方式，其中在該等各種不同的方式中在三維度中獲取的一對象的動作可控制呈現如何地被顯示，及該等各種不同的方式可在本揭露的範疇內被加以考慮。
第3圖示例說明：另一增強型呈現程序300，該增強型呈現程序可被計算系統111利用以增強：由顯示系統109所顯示的呈現。在操作中，對象107可在互動空間101中到處走動。計算系統111獲得來自感測器系統113的動作資訊，該動作資訊係從對象107的俯視視角獲取(步驟301)。動作資訊描述：在互動空間101內於所有的三維度(x、y，及z)中的對象107的動作。在獲取對象107的動作之後，計算系統111至少部份地基於動作資訊來顯現該呈現(步驟303)。舉例而言，在互動空間101內的對象107的動作或位置(或二者)可決定：該呈現如何地表現、如何地被編排成某種形式(formatted)，或如何地形成動畫效果的(animated)。可能有：可控制該呈現的許多其他的方式，及該等許多其他的方式可在本揭露的範疇內被考慮。計算系統111然後驅動顯示系統109以顯示：被顯現的呈現(步驟305)。
第4圖示例說明：一操作情境，該操作情境相關於增強型呈現環境100來展示：一呈現的顯示可如何地被修改、如何地被改變，或如何另外地被在互動空間101內的對象107的動作影響和控制。在此情境中，對象107已經朝向顯示系統109移動。此動作(被感測器系統113偵測到和被傳訊至計算系統111)導致：被顯示在該呈現的情境內的資訊的至少一些者的擴散(blooming)。注意到：字母「a」已經如何地被擴展為單字「alpha」，及字母「d」已經如何地被擴展為單字「delta」。此者意欲為代表：當一對象靠近一顯示器時的資訊的擴散。
第5圖和第6圖示例說明涉及到增強型呈現環境100的另一操作情境以展示：可如何地基於在三維度中的對象107的動作來控制一呈現。可理解到：被示例說明在第5圖和第6圖中的情境係經過簡化以達到示例說明性的目的。
參照至第5圖，對象107可舉起他的手臂108。感測器系統113可偵測對象107的手臂108被延伸所處於的一角度和可提供相關聯的資訊至計算系統111。當驅動顯示系統109時，計算系統111則可將手臂108的動作、位置，或動作和位置納入為重要的因素。在此短暫的情境中，可理解到：顯示系統109的左上象限被畫上陰影(shaded)以表示：一些動畫或其他的特徵係基於手臂108的動作來驅動。
參照至第6圖，對象107然後可放下他的手臂108。感測器系統113可偵測：對象107的手臂108被延伸所處於的一角度，及可提供相關聯的資訊至計算系統111。當驅動顯示系統109時，計算系統111則可將手臂108的動作、位置，或動作和位置納入為重要的因素。在此短暫的情境中，可理解到：顯示系統109的左下象限被畫上陰影以表示：一些動畫或其他的特徵係基於手臂108的動作來驅動。
第7圖示例說明：涉及到增強型呈現環境100的另一操作情境，但是其中具有由對象107所擁有的行動裝置115的新增。顯示系統109不僅可基於對象107的動作或位置來驅動，而且亦可基於對象107擁有何者裝置來驅動。感測器系統113可偵測對象107的手臂108被延伸所處於的一角度，及可提供相關聯的資訊至計算系統111。感測器系統113亦可 偵測到：對象107正手持著行動裝置115。如何地將呈現顯示在顯示系統109上可將此事實(該事實亦可被傳訊至計算系統111)考慮進來。當驅動顯示系統109時，計算系統111可將手臂108的動作、位置，或動作和位置與對象107擁有行動裝置115的事實納入為重要的因素。
在此短暫的情境中，可理解到：顯示系統109的左上象限被畫上交叉影線(cross-hatched)以表示：一些動畫或其他的特徵係基於手臂108的動作來驅動。此外，該交叉影線意欲於表示：該呈現係利用相較於在第5圖和第6圖中當對象107並不擁有行動裝置115時為不同的方式來顯示。在一些情境中，該呈現的控制或其他的態樣亦可被顯露在行動裝置115上。
後續的情境簡短地描述：可相關於增強型呈現環境100來進行的各種其他的實施。可理解到：整體上，增強型呈現環境100提供：同步的自然使用者介面(NUI)體驗，該同步的自然使用者介面(NUI)體驗可作出從一空中手勢至觸碰的無縫的轉變(例如盤旋手勢後面接續著一觸碰)(即使該等手勢係使用不同的輸入方法來進行處理)。語音辨識和分析技術亦可增進該體驗。在一些實施中，裝置可改變互動(例如運用蜂巢式行動電話來進行指向手勢以建立相較於空手的指向(empty-handed point)為不同的互動)。蜂巢式行動電話甚至可藉由顯露控制、透過輕彈(flick)來傳送資料，或從使用顯示系統109來實施的該牆中接收資料，變成「智慧牆」體驗的整合的部分。確實地，在一些實施中，顯示系統109可具有足 夠大的尺寸以被稱之為「牆(wall)」顯示器，或智慧牆。顯示系統109的尺寸範圍可從小型尺寸至大型尺寸(其中在一些情況中使用單一的顯示器至在其他的情況中使用多個顯示器)。
在各種情境中的資料的擴散涉及到：採用縮短的資料(condensed data)(例如時間表(timeline))，及當使用者接近大型顯示器的一特定的部分時提供更多的細節。擴散亦可基於個別的使用者的辨識(藉由臉部辨識、裝置接近性、RFID標籤等等)來增強一顯示器的數個部分。當藉由使用多個識別(identities)以顯露相關於二位人士的資訊(例如他們二位都在工作上進行的專案)，或識別他們並未察覺到的通用性(commonality)(例如使用者二位都將在下週於布拉格(Prague)參加分別的貿易展)來辨識多於一位使用者時，擴散可進一步地增強一顯示器的數個部分。辨識可符合人體工學地調整使用者介面(藉由在一非常大型的顯示器上重新配置資料、或改變該顯示器的實際的排置)。
在一實施中，增強型呈現環境100可適合用於提供：在遠離增強型呈現環境100的遠端操作的車輛上使用3d深度感測攝像機的自動化的建築物演示(building tour)。在此一情況中，當與互動空間101進行互動時，使用者可請求：設施的演示。使用者可控制配備有3d攝像機的機器人到處走動與探究一設施。來自該演示的視訊(由機器人所獲取)可被串流至計算系統111和被顯示系統109顯示，其中來自該演示的視訊顯示：由進行偵察的機器人所促進的即時的演示。
視訊演示對於尋求以投入，或使用該設施的使用者 (或該使用者可為檢查狀況、進度等等的一監督者)可為有益的。3d攝像機資料被使用以識別：重要的結構、工具，或其他的特徵。視訊覆蓋(video overlay)然後可識別：來自彼些被識別的結構的脈絡(context)的相關的資訊。舉例而言，二氧化碳洗滌器的圖像可觸發：在該圖像中被覆蓋的該設施的所報告的碳負荷(carbon load)的顯示。脈絡資料(contextual data)可覆蓋該視訊，該視訊來自至少三個來源：來自該設施本身的市場資訊；第三方資料(Bing®搜尋資料、弗雷斯特研究公司的資料(Forrester research data)、政府資料等等)；及使用者的組織所知悉的專屬的資料(例如與該公司的過去的交易、過去的準時遞送(on-time delivery)的評量指標(metric)，及類似者)。在一些實施中，安全性過濾器可基於一使用者的憑證、一天中的時間，或基於其他的限制來清除(erase)或限制具有敏感性的設備或區域，或避免機器人全部一起進入區域中。
可理解到：獲得一對象的一俯視視角促進計算系統111以決定：在該對象(或多個對象)與呈現之間的一距離。舉例而言，計算系統111可決定：在對象107與顯示系統109之間的一距離。對象107相對於顯示系統109的動作亦可使用從一俯視視角產生的動作資訊來進行分析，例如對象107是否朝向顯示系統109移動、或是否移動而遠離顯示系統109。此外，獲取一俯視視角可減少：對於前視的攝像機(front-view camera)或其他的動作獲取系統的需要。此者可證實：在大型顯示陣列的情境中為有用的，其中在該大型顯示陣列的情境中找出或放置一前向的感測器系統(front-on sensor system)係困難的。
第8圖示例說明：計算系統800，該計算系統代表：適合用於實施在第1圖中示例說明的計算系統111的任何的計算裝置、系統，或系統的集合。計算系統800的示例包含：一般性目的電腦、桌上型電腦、膝上型電腦、平板電腦、工作站、虛擬電腦，或任何的其他類型的適當的計算系統、系統的組合，或其變化者。第8圖的更為詳細的討論接續於後文中(在進行第9A圖至第9D圖的討論之後)。
第9A圖至第9D圖示例說明：相關於增強型呈現環境100的操作情境。在此情境中，從一自頂向下的視角(top-down perspective)來示例說明互動空間101。在第9A圖中，互動空間101包含：地板103、對象107，及顯示系統109。顯示系統109顯示：一呈現191。為了達到示例說明性的目的，呈現191包含：時間表193。時間表193包含：由字元a、b、c，及d所代表的各項資訊。在操作中，取決於在互動空間101中的對象的位置和移動，呈現191可被動態地控制。舉例而言，被包含在呈現191中的該資訊可被改變，以為了達到呈現效果。呈現有效的示例包含：當一對象靠近該資訊時，將該資訊擴散。
相關於第9A圖，對象107在休息且相離於顯示系統109一特定的距離，以使得在呈現191中的資訊係利用對應於該距離的某程度的細節性(granularity)來顯示。在第9B圖至第9D圖中，對象107在互動空間101中到處走動，因此觸發：在該資訊如何地被顯示中的一改變。此外，額外的對 象197被引入至互動空間101。
參照至第9B圖，對象107朝向顯示系統109前進。感測器系統113(未被顯示出)針對關於對象107的移動或位置從一俯視視角來監控互動空間101。感測器系統113將動作資訊傳訊至計算系統111(未被顯示出)，該動作資訊表示：對象107朝向顯示系統109的水平的動作。依次地，計算系統111至少部份地基於該動作資訊來顯現呈現191。在此情境中，字母「b」被擴展為「bravo」，前述者表示：資訊可如何地基於對象的動作來擴散或另外地出現。可理解到：當對象107退後或移動而遠離顯示系統109時，擴散效果可停止，及被擴展的資訊可消失。因此，單字「bravo」可崩解(collapse)為僅有字母「b」(作為資訊可如何地崩解的表示)。
在第9C圖中，對象107相對於顯示系統109側向地移動。從而，感測器系統113獲取動作和將動作資訊傳訊至計算系統111，該動作資訊表示：對象107向左側的移動。計算系統111將呈現191顯現以反映側向的移動。在此情境中，字母「a」被擴展為單字「alpha」以表示：可如何地利用較具有細節性的方式(granular fashion)來擴展或顯示資訊。此外，當對象107的動作亦包含遠離呈現191的此部分的側向的動作時，單字「bravo」崩解回僅有字母「b」。因此，當對象107相對於顯示系統從一側移動至另一側時，對象107的側向的動作可驅動：較具有細節性(granular)的資訊的出現以及資訊的態樣的消失二者。
在第9D圖中引入額外的對象197。為了達成示例性 的目的，可假設為：額外的對象197初始地處於相離於顯示系統109為足夠遠的位置，以使得並無任何的在呈現191中的資訊已經由於額外的對象197的位置或動作而擴散。為了達到示例性的目的，亦可假設為：由於對象107對於在顯示系統109上的區域的接近性(其中「a」被呈現)，字母「a」被擴散以顯示「alpha」。
在操作中，額外的對象197可接近顯示系統109。從而，額外的對象197的動作係藉由感測器系統113來獲取和表示額外的對象197的動作之動作資訊被傳訊至計算系統111。計算系統111驅動呈現191的顯示以包含與額外的對象197的動作相關聯的呈現效果。在此情境中，額外的對象197已經接近字母「c」。因此，呈現191被修改以顯示單字「charlie」而表示：當對象接近時，資訊可如何地擴散。
可理解到：當多個對象進行互動和在互動空間101中到處走動時，該等對象的個別的動作實質上可同時地藉由感測器系統113來獲取。當顯現呈現191時，計算系統111因此可將多個對象的動作考慮進去。舉例而言，當對象107移動而遠離顯示系統109時，呈現191的資訊的各種態樣可消失。同時地，額外的對象197可朝向顯示系統109移動，因此觸發：被包含在呈現191中的資訊的擴散。
在一簡單的示例中，一螢幕陣列可被排置，以使得一呈現可橫跨於數個螢幕被顯示。與感測器系統和計算系統相耦接地，該螢幕陣列可被認為是一「智慧牆」，該「智慧牆」可回應於：對象在一互動空間中接近該智慧牆的動作。 在一特定的情境中，可給予：關於產品開發的呈現。各種時間表可被呈現在智慧牆上，例如計劃、市場、製造、設計，及工程時間表。當對象從時間表旁走過時，額外的細節出現，該等額外的細節經過最佳化以用於特寫式的閱讀(close-up reading)。此內容基於該對象而出現或消失，前述者明確表示：智慧牆知悉某人何時正站在該智慧牆的前面(以及某人正站在該智慧牆的前面的何處)。
不僅特定的數個資料可擴散，而且一欄(column)亦可被呈現，該欄貫穿(run through)各種時間表的每一時間表的區段(section)。該欄可對應於在互動空間中的對象的位置。在落於該欄之內的各種時間表上的資訊可被擴展以顯示額外的細節。此外，全新的數項資訊可被顯示在由該欄在各種時間表上的呈現所建立的區域之內。
該對象可藉由觸碰智慧牆或可能藉由在空中作出手勢與資料進行互動。舉例而言，該對象可在智慧牆上向前掃動或向後掃動以循環切換(cycle through)各項資訊。在另一示例中，該對象可作出向前揮手的手勢或向後揮手的手勢以導航該資訊。
返回參照至第8圖，計算系統800包含：處理系統801、儲存系統803、軟體805、通訊介面807、使用者介面809，及顯示介面811。計算系統800可選擇性地包含：為了達到簡潔的目的並未在此討論的額外的裝置、特徵，或功能。舉例而言，計算系統111可在一些情境中包含：整合的感測器設備、裝置，及功能(例如當計算系統與感測器系統相整合 時)。
處理系統801係操作性地與儲存系統803、通訊介面807、使用者介面809，及顯示介面811相耦接。處理系統801從儲存系統803載入和執行軟體805。當一般性地由計算系統800與特定地由處理系統801執行時，軟體805導引計算系統800以如同在此針對於增強型呈現程序300所描述般進行操作，以及如同其任何的變化者或在此描述的其他的功能般進行操作。
依然參照至第8圖，處理系統801可包含：微處理器與從儲存系統803中擷取和執行軟體805的其他的電路。處理系統801可被實施在單一的處理裝置之內，但是亦可橫跨於多個處理裝置或子系統而被分散，該等處理裝置或子系統共同合作以執行程式指令。處理系統801的示例包含：一般性目的中央處理單元、特定應用的處理器，和邏輯裝置，以及任何其他類型的處理裝置、組合，或其變化。
儲存系統803可包含：可由處理系統801讀取和能夠儲存軟體805的任何的電腦可讀取儲存媒體。儲存系統803可包含：利用用於儲存資訊(例如電腦可讀取指令、資料結構、程式模組，或其他的資料)的任何的方法或技術來實施的揮發性媒體和非揮發性媒體、可移除媒體和不可移除媒體。儲存媒體的示例包含：隨機存取記憶體、唯讀記憶體、磁碟、光碟、快閃記憶體、虛擬記憶體和非虛擬記憶體、磁性卡匣、磁帶、磁碟儲存或其他的磁性儲存裝置，或任何其他的適當的儲存媒體。在任何情況下該儲存媒體都並非為一傳播訊 號。除了儲存媒體之外，在一些實施中，儲存系統803亦可包含：通訊媒體，其中透過該通訊媒體軟體805可在內部地或外部地被傳訊。儲存系統803可被實施以作為單一的儲存裝置，但儲存系統803亦可橫跨於多個儲存裝置或子系統而被實施，該等儲存裝置或子系統共同地位於同一處或相對於彼此之間為分散的。儲存系統803可包含：能夠與處理系統801進行通訊的額外的元件(例如控制器)。
軟體805可被實施在程式指令中和其他的函數間，及當一般性地由計算系統800或特定地由處理系統801來執行時，軟體805可導引計算系統800或處理系統801以如同在此針對於增強型呈現程序300所描述般進行操作。軟體805可包含：額外的程序、程式，或元件(例如作業系統軟體或其他的應用程式軟體)。軟體805亦可包含：韌體或可由處理系統801執行的一些其他的形式的機器-可讀取的處理指令。
一般而言，軟體805當被載入至處理系統801和被執行時，可將計算系統800整體地從一般性目的計算系統轉換至特殊性目的計算系統，該特殊性目的計算系統經過客製化以促進：如同在此針對於每一實施所描述的增強型呈現環境。確實地，在儲存系統803上編碼軟體805可轉換儲存系統803的實質的結構。實質的結構的特定的轉換可取決於：在此描述的不同的實施中的各種因素。此些因素的示例可包含(但不限於)：被使用以實施儲存系統803的儲存媒體的技術，及電腦-儲存媒體被特徵化為主要的儲存、或是被特徵化為次要的儲存。
舉例而言，若電腦-儲存媒體被實施以作為基於半導體的記憶體，當程式於其中被編碼時，軟體805可轉換半導體記憶體的物理狀態(例如藉由轉換構成半導體記憶體的電晶體、電容器，或其他的離散電路元件的狀態)。類似的轉換可相關於磁性或光學資料來發生。可能有實體媒體的其他的轉換，而不偏離本描述的範疇，其中前述的示例僅被提供而用以促進此討論。
應理解到：計算系統800一般性地意欲於代表：一計算系統，其中運用該計算系統來部署和執行軟體805，以為了要實施增強型呈現程序300(及其變化者)。然而，計算系統800亦可代表：任何的計算系統，在該等計算系統上軟體805可被排置(staged)，及其中從該等計算系統中軟體805可被分佈、被傳送、被下載，或另外地被提供至又一計算系統以供部署和執行、或額外的分佈。
再次地參照至前文所描述的各種實施，經由利用軟體805的計算系統800的操作，可相關於增強型呈現環境100來執行轉換。作為一示例，在一狀態中，呈現可被顯現和被顯示在顯示系統109上。在對象107利用一特定的方式(例如藉由移動或另外地改變他本身的位置、在空中作出手勢，或利用一些其他的方式)與互動空間101進行互動之後，計算系統111(與感測器系統113進行通訊)可利用一新的方式來顯現該呈現。因此，顯示系統109將被驅動以利用一新的方式來顯示該呈現，藉此轉換至少該呈現至一不同的狀態。
再次地參照至第8圖，通訊介面807可包含通訊連 接和裝置，該等通訊連接和裝置允許在計算系統800與其他的計算系統(未被顯示出)之間透過通訊網路或網路的集合(未被顯示出)或是透過空中所進行的通訊。舉例而言，計算系統111可透過網路或直接的通訊鏈接與感測器系統113進行通訊。共同地允許系統之間(inter-system)的通訊的連接和裝置的示例可包含：網路介面卡、天線、功率放大器、RF電路、收發器，及其他的通訊電路。連接和裝置可透過通訊媒體(例如金屬、玻璃、空氣，或任何的其他的適當的通訊媒體)來進行通訊以與其他的計算系統或系統的網路交換通訊。前述的通訊媒體、網路、連接，及裝置係習知的和不需要在此被詳細地討論。
使用者介面809(該使用者介面係可選擇的)可包含：滑鼠、鍵盤、聲音輸入裝置、用於接收來自使用者的觸碰手勢的觸碰輸入裝置、用於偵測由使用者所進行的非-觸碰的手勢和其他的動作之動作輸入裝置，及能夠接收來自使用者的使用者輸入的其他的可比較的輸入裝置和相關聯的處理元件。輸出裝置(例如顯示器、揚聲器、觸覺裝置，及其他類型的輸出裝置)亦可被包含在使用者介面809中。前述的使用者介面元件係習知的和不需要在此被詳細地討論。
顯示介面811可包含：各種連接和裝置，該等連接和裝置允許：在計算系統800和顯示系統之間透過通訊鏈接或鏈接的集合、或是透過空中所進行的通訊。舉例而言，計算系統111可藉由顯示介面的方式與顯示系統109進行通訊。共同地允許系統之間(inter-system)的通訊的連接和裝置 的示例可包含：各種顯示埠、圖形卡、顯示纜線與連接，及其他的電路。顯示介面811將被顯現的呈現傳訊至一顯示系統以供顯示，例如視訊和其他的圖像。在一些實施中，顯示系統能夠接受具有觸碰手勢的形式的使用者輸入，在該情況中顯示介面811亦能夠接收：對應於此些手勢的資訊。前述的連接和裝置係習知的和不需要在此被詳細地討論。
可從前文的討論中理解到：在至少一實施中，一適當的計算系統可執行軟體以促進：增強型呈現。當執行該軟體時，計算系統可被導引以產生動作資訊，該動作資訊與從對象的俯視視角且在三維度中獲取的對象的動作相關聯、至少部份地基於動作資訊來識別一控制，及至少部份地基於該控制來驅動資訊的呈現。
動作資訊可包含：在互動空間內的對象的位置與在互動空間內的對象的移動的方向。該控制可包含：對應於移動的方向的呈現效果。
舉例而言，當移動的方向係在互動空間內的該對象朝向該呈現的水平的移動時，呈現效果可包含：該資訊的至少一部分的出現。在另一示例中，當移動的方向係在互動空間內的對象遠離該呈現的水平的移動時，呈現效果可包含：資訊的至少一部分的消失。
當移動的方向包含在互動空間內的對象朝向該資訊的該部分的側向的移動時，呈現效果亦可包含：該資訊的至少一部分的出現。在另一示例中，當移動的方向係在互動空間內的對象遠離資訊的該部分的側向的移動時，呈現效果可 包含：該資訊的至少一部分的消失。
在一些實施中，可同時地監控多個對象和基於多個對象的一俯視視角來驅動一呈現。計算系統可產生額外的動作資訊，該額外的動作資訊與從額外的對象的俯視視角且在三維度中獲取的額外的對象的額外的動作相關聯、至少部份地基於該額外的動作資訊來識別一額外的控制，及至少部份地基於該額外的控制來驅動資訊的呈現。
在其他的實施中，如何地顯示一呈現亦可將對象是否擁有一特定的裝置(例如行動電話)考慮進來。在一實施中，執行適當的軟體的計算系統獲得：動作資訊，該動作資訊表示：從對象的一俯視視角且在三維度中獲取的對象的動作，及獲得：擁有資訊，該擁有資訊表示：對象擁有一裝置(或缺乏其裝置)。計算系統然後至少部份地基於動作資訊和擁有資訊來顯現一呈現。
動作資訊可包含：在互動空間內的對象的位置與在互動空間內的對象的移動的方向。擁有資訊可指示：對象是否擁有該裝置。該控制的一示例包含：相關於被包含在該呈現中的資訊的呈現效果。
在各種情境中，動作資訊的示例可包含：在互動空間內對象的手臂被延伸所處於的一角度，在該情況中呈現效果可隨著角度改變而改變。示例亦可包含：該資訊的至少一部分的出現與該資訊的至少一部分的消失。
在各種實施中，當對象擁有該裝置時相對於當對象並不擁有該裝置時，呈現效果可為不同的。舉例而言，呈現 效果可包含：顯露一選單，該選單當對象擁有該裝置時相對於當對象並不擁有該裝置時係不同的。在另一示例中，呈現效果可包含：該呈現的至少一部分的一動畫，該呈現當對象擁有該裝置時相對於當對象不擁有該裝置時係不同的。
在前述的示例中的許多者中，使用者藉由動作的方式(例如該等使用者的移動(在一空間中)或手勢、或二者)與一呈現進行互動。然而，同步的自然使用者介面(NUI)體驗亦被考慮到，其中在該同步的自然使用者介面體驗中從一空中手勢至一觸碰手勢的轉變被達成，以使得二個手勢可被認為是無縫的(seamless)。換言之，空中手勢可與觸碰手勢相組合，及可被認為是單一的組合的手勢。舉例而言，在至少一實施中，後面接續著一觸碰手勢的盤旋手勢可被組合，及一控制係基於手勢的組合來識別。盤旋(hovering)或指向一元件後面接續著觸碰該元件可被認為是：等效於傳統的觸碰並且按住的手勢。雖然此些組合的手勢可具有在傳統的觸碰示範(touch paradigm)中的類比性，可理解到可能有：其他的、新的控制或特徵。
被提供在圖式中的功能性方塊圖、操作序列，及流程圖代表：用於執行本揭露的新穎的態樣的示例性的架構、環境，及方法。然而，為了要達成解釋的簡單性之目的，在此所包含的方法可具有功能圖、操作序列，或流程圖的形式，及可被描述為一序列的步驟，要明白和理解到：該等方法並不被步驟的順序所限制，因為一些步驟可依照下列所述者來進行：利用與在此顯示和描述者為不同的順序來發生，及/或 與在此顯示和描述者為不同地而與其他的步驟同時地發生。舉例而言，彼些習知技藝者將明白和理解到：一方法可替代性地被表示為：一序列的相互關聯的狀態或事件(例如在一狀態圖中)。再者，並非被示例說明在一方法中的所有的步驟需要被用於新穎的實施。
所包含的描述和圖式描繪特定的實施以教示彼些習知技藝者如何地作出最佳的選擇和使用最佳的選擇。為了要達成教示具發明性的原理之目的，一些習知的態樣已經被簡化或忽略。彼些習知技藝者將從落於本發明的範疇內的此些實施中理解到數個變化者。彼些習知技藝者亦將理解到：前文所描述的特徵可利用各種方式來組合以形成多個實施。結果，本發明並不被限制為：前文所描述的特定的實施，但是本發明僅藉由申請專利範圍和申請專利範圍的等效者來加以限制。
100‧‧‧增強型呈現環境
101‧‧‧互動空間
103‧‧‧地板
107‧‧‧對象
109‧‧‧顯示系統
191‧‧‧呈現
193‧‧‧時間表

Claims (20)

  1. 一種裝置，包含：一或更多個電腦可讀取儲存媒體；及程式指令，該等程式指令被儲存在該等一或更多個電腦可讀取儲存媒體上，當該等程式指令由一處理系統執行時導引該處理系統以至少進行以下步驟：產生動作資訊，該動作資訊與從該對象的一俯視視角且在三維度中獲取的一對象的動作相關聯；至少部份地基於該動作資訊來識別一控制；及至少部份地基於該控制來驅動資訊的一呈現。
  2. 如請求項1所述之裝置，其中該動作資訊包含：在一互動空間內的該對象的一位置和在該互動空間內的該對象的移動的一方向，及其中該控制包含：對應於移動的該方向的一呈現效果。
  3. 如請求項2所述之裝置，其中當移動的該方向包含在該互動空間內的該對象朝向該呈現的一水平的移動時，該呈現效果包含：該資訊的至少一部分的一出現。
  4. 如請求項2所述之裝置，其中當移動的該方向包含在該互動空間內的該對象遠離該呈現的一水平的移動時，該呈現效果包含：該資訊的至少一部分的一消失。
  5. 如請求項2所述之裝置，其中當移動的該方向包含在該互動空間內的該對象朝向該資訊的該部分的一側向的移動時，該呈現效果包含：該資訊的至少一部分的一出現。
  6. 如請求項2所述之裝置，其中當移動的該方向包含在該互動空間內的該對象遠離該資訊的該部分的一側向的移動時，該呈現效果包含：該資訊的至少一部分的一消失。
  7. 如請求項1所述之裝置，其中該等程式指令進一步地導引該處理系統以至少進行以下步驟：產生額外的動作資訊，該動作資訊與從該額外的對象的該俯視視角且在該三維度中獲取的一額外的對象的額外的動作相關聯、至少部份地基於該額外的動作資訊來識別一額外的控制，及至少部份地基於該額外的控制來驅動該資訊的該呈現。
  8. 如請求項1所述之裝置，進一步包含：一感測器，該感測器經組態以從該對象的該俯視視角且在該三維度中獲取該對象的該動作；經組態以執行該等程式指令的該處理系統；及一顯示系統，該顯示系統經組態以顯示該呈現。
  9. 一種具有儲存於其上的程式指令的電腦可讀取儲存媒體，當該等程式指令由一計算系統執行時，導引該計算系統以至少進行以下步驟： 獲得動作資訊，該動作資訊包含：從該對象的一俯視視角且在三維度中獲取的一對象的動作；獲得擁有資訊，該擁有資訊包含：該對象擁有一裝置；及至少部份地基於該動作資訊和該擁有資訊，顯現一呈現。
  10. 如請求項9所述之電腦可讀取儲存媒體，其中該動作資訊包含：在一互動空間內的該對象的一位置與在該互動空間內的該對象的移動的一方向，其中該擁有資訊指示：該對象是否擁有該裝置，及其中顯現該呈現係至少部份地基於該動作資訊和該擁有資訊，該等程式指令導引該計算系統顯現關於被包含在該呈現中的資訊的一呈現效果。
  11. 如請求項10所述之電腦可讀取儲存媒體，其中該動作資訊進一步包含：在該互動空間內該對象的一手臂被延伸所處於的一角度，及其中該呈現效果隨著該角度改變而改變。
  12. 如請求項10所述之電腦可讀取儲存媒體，其中該呈現效果包含：該資訊的至少一部分的一出現和該資訊的至少一部分的一消失中的一者。
  13. 如請求項10所述之電腦可讀取儲存媒體，其中該呈現效果當該對象擁有該裝置時相對於當該對象並不擁有該裝置時係不同的。
  14. 如請求項13所述之電腦可讀取儲存媒體，其中該呈現效果包含：一選單的一顯露，該選單當該對象擁有該裝置時相對於當該對象並不擁有該裝置時係不同的。
  15. 如請求項13所述之電腦可讀取儲存媒體，其中該呈現效果包含：該呈現的至少一部分的一動畫，該呈現當該對象擁有該裝置時相對於當該對象並不擁有該裝置時係不同的。
  16. 一種用於促進增強型呈現的方法，包含以下步驟：產生動作資訊，該動作資訊與從該對象的一俯視視角且在三維度中獲取的一對象的動作相關聯；至少部份地基於該動作資訊來識別一控制；及至少部份地基於該控制來驅動資訊的一呈現。
  17. 如請求項16所述之方法，進一步包含以下步驟：從該對象的該俯視視角且在該三維度中獲取該對象的該動作，及其中該呈現並不包含：該對象的任何的呈現。
  18. 如請求項16所述之方法，其中該動作資訊包含：在一互動空間內的該對象的一位置和在該互動空間內的該對象的移動的一方向，及其中該控制包含：對應於移動的該方向的一呈現效果。
  19. 如請求項18所述之方法，其中當移動的該方向包含在該互動空間內的該對象朝向該呈現的一水平的移動與在該互動空間內的該對象朝向該資訊的該部分的一側向的移動中的一者時，該呈現效果包含：該資訊的至少一部分的一擴散。
  20. 如請求項19所述之方法，其中當移動的該方向包含在該互動空間內的該對象朝向該呈現的一額外的水平的移動或在該互動空間內的該對象遠離該資訊的該部分的一額外的側向的移動中的一者時，該呈現效果包含：該資訊的至少一部分的一消失。
TW103107024A 2013-03-03 2014-03-03 增強型呈現環境 TW201447643A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361771896P 2013-03-03 2013-03-03
US13/917,086 US20140250413A1 (en) 2013-03-03 2013-06-13 Enhanced presentation environments

Publications (1)

Publication Number Publication Date
TW201447643A true TW201447643A (zh) 2014-12-16

Family

ID=51421685

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103107024A TW201447643A (zh) 2013-03-03 2014-03-03 增強型呈現環境

Country Status (5)

Country Link
US (1) US20140250413A1 (zh)
EP (1) EP2965171A1 (zh)
CN (1) CN105144031A (zh)
TW (1) TW201447643A (zh)
WO (1) WO2014137673A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11181908B2 (en) * 2016-09-20 2021-11-23 Hewlett-Packard Development Company, L.P. Access rights of telepresence robots

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US6971072B1 (en) * 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
US6554433B1 (en) * 2000-06-30 2003-04-29 Intel Corporation Office workspace having a multi-surface projection and a multi-camera system
TW200408986A (en) * 2002-11-18 2004-06-01 Inventec Corp Flow process approval management system and method thereof
EP1426919A1 (en) * 2002-12-02 2004-06-09 Sony International (Europe) GmbH Method for operating a display device
CA2599483A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3d camera and 3d video
CN1831932A (zh) * 2005-03-11 2006-09-13 兄弟工业株式会社 基于位置的信息
JP4899334B2 (ja) * 2005-03-11 2012-03-21 ブラザー工業株式会社 情報出力装置
US20080021731A1 (en) * 2005-12-09 2008-01-24 Valence Broadband, Inc. Methods and systems for monitoring patient support exiting and initiating response
US20080055263A1 (en) * 2006-09-06 2008-03-06 Lemay Stephen O Incoming Telephone Call Management for a Portable Multifunction Device
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8325214B2 (en) * 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US20110122159A1 (en) * 2009-11-20 2011-05-26 Sony Ericsson Mobile Communications Ab Methods, devices, and computer program products for providing multi-region touch scrolling
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US20110234481A1 (en) * 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US20120069055A1 (en) * 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
WO2012155105A1 (en) * 2011-05-12 2012-11-15 Apple Inc. Presence sensing
US8942412B2 (en) * 2011-08-11 2015-01-27 At&T Intellectual Property I, Lp Method and apparatus for controlling multi-experience translation of media content

Also Published As

Publication number Publication date
US20140250413A1 (en) 2014-09-04
EP2965171A1 (en) 2016-01-13
WO2014137673A1 (en) 2014-09-12
CN105144031A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
US20230045812A1 (en) Collaborative augmented reality
KR102278822B1 (ko) 가상 현실 입력의 수행
CN102541256B (zh) 具有视觉反馈的位置知晓姿势作为输入方法
Houben et al. Watchconnect: A toolkit for prototyping smartwatch-centric cross-device applications
US9696813B2 (en) Gesture interface robot
Badam et al. Supporting visual exploration for multiple users in large display environments
CN105378623B (zh) 插入式动态内容预览窗格
CN108885521A (zh) 跨环境共享
US20200193938A1 (en) Systems and methods for virtual displays in virtual, mixed, and augmented reality
Yixian et al. Zoomwalls: Dynamic walls that simulate haptic infrastructure for room-scale vr world
US20160329006A1 (en) Interactive integrated display and processing device
Herskovitz et al. Making mobile augmented reality applications accessible
US20210255328A1 (en) Methods and systems of a handheld spatially aware mixed-reality projection platform
CN103425450B (zh) 转换和显示多个应用的运行屏幕的方法和装置
US10067664B2 (en) Method and system for providing prototyping tool, and non-transitory computer-readable recording medium
US20170177077A1 (en) Three-dimension interactive system and method for virtual reality
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN103502910B (zh) 用于操作激光二极管的方法
Monteiro et al. Teachable reality: Prototyping tangible augmented reality with everyday objects by leveraging interactive machine teaching
US10824239B1 (en) Projecting and receiving input from one or more input interfaces attached to a display device
Garber Tangible user interfaces: Technology you can touch
US20160266648A1 (en) Systems and methods for interacting with large displays using shadows
TW201447643A (zh) 增強型呈現環境
US20130201095A1 (en) Presentation techniques
Ventes et al. A Programming Library for Creating Tangible User Interfaces