TWI546725B - 於手勢和使用者介面元件間之延續虛擬連結技術 - Google Patents

於手勢和使用者介面元件間之延續虛擬連結技術 Download PDF

Info

Publication number
TWI546725B
TWI546725B TW100149538A TW100149538A TWI546725B TW I546725 B TWI546725 B TW I546725B TW 100149538 A TW100149538 A TW 100149538A TW 100149538 A TW100149538 A TW 100149538A TW I546725 B TWI546725 B TW I546725B
Authority
TW
Taiwan
Prior art keywords
display
virtual object
input data
mapping
user
Prior art date
Application number
TW100149538A
Other languages
English (en)
Other versions
TW201239743A (en
Inventor
格倫Ｊ 安德森
萊恩 波曼
Original Assignee
英特爾公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾公司 filed Critical 英特爾公司
Publication of TW201239743A publication Critical patent/TW201239743A/zh
Application granted granted Critical
Publication of TWI546725B publication Critical patent/TWI546725B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

於手勢和使用者介面元件間之延續虛擬連結技術
本發明係有關於在手勢和使用者介面元件間之延續虛擬連結技術。
 發明背景
典型計算輸入空中手勢(空中手勢係與觸控螢幕手勢相對照)可涉及使用者移動身體而在顯示器上出現相對應作用。目前空中手勢技術使用感測器(諸如任天堂公司(Nintendo Company)的Wii搖控器)或3D攝影機技術(諸如微軟公司(Microsoft Corporation)的微軟Kinect)來估算身體動作作為模型輸入源。電視機顯示器乃觀看空中手勢模型輸入對圖形環境之效應的典型回授機構。已知整合式攝影機收集手勢檢測之視訊輸入，手勢輸入之基本解譯可以可在個人電腦上跑的軟體達成。伊娃公司(EVAS Corporation)出品的PC. QualiEYE乃此型軟體產品之一例。也已知增加深度感測攝影機技術允許辨識個人身體相對於顯示器或計算裝置之位置。此外，也眾所周知結合觸控螢幕技術的行動顯示器，諸如其螢幕可回應於觸摸輸入的膝上型電腦、平板電腦、及智慧型手機。在電子遊戲情境中也已經可能藉顯示器螢幕上的觸碰及掃拂手勢而將物件從一個螢幕(掌上型主機台螢幕)移動至另一個螢幕(例如電視機螢幕)，及例如當使用索尼公司(Sony Corporation)上市的可攜式遊戲機台(PlayStation Portable)遊戲主機台時體現。此外，蘋果公司(Apple Corporation)透過iTunes上市的凱蒂貓擲銅板是個可檢測iPhone的翻轉動作並翻轉iPhone螢幕上的虛擬硬幣的應用程式。也已經研究利用手勢來與螢幕上的物件做螢幕上互動。
依據本發明之一實施例，係特地提出一種裝置包含一電子顯示器及一處理器來從一影像檢測器接收輸入資料，該輸入資料係包括從追蹤一使用者身體部分之空中移動與該電子顯示器之一虛擬物件互動所得的資料，該處理器係將該輸入資料對映至一控制輸入來移動該虛擬物件超過該顯示器。
圖式簡單說明
附圖之各幅圖式中係舉例說明本發明之實施例但非限制性，附圖中類似的元件符號係指相似的元件。
第1a-1h圖顯示依據第一實施例移動虛擬物件橫過螢幕之方法；
第2a-2d圖顯示依據第二實施例移動虛擬物件橫過螢幕之方法；
第3a-3c圖顯示移動虛擬物件至顯示器螢幕之溝緣區之方法；
第4圖顯示第1a-1h或2a-2d圖所示第一顯示器及第二顯示器包括功能模組之實施例略圖；及
第5圖為方法實施例之流程圖。
 詳細說明
隨著有能力以三度空間檢測人類動作的攝影機技術尺寸的持續縮小與價格持續降低，最終膝上型電腦及智慧型手機可以變成涉及使用攝影機來檢測使用者手勢作為使用行動平台裝置的模型輸入的攝影機技術平台。原因在於如前文記述，回應於觸碰的行動顯示器將變成普遍存在於行動裝置上，實施例中提出將空中手勢輸入與電子裝置之觸摸手勢密切配對來允許更為多樣化的物件操弄。依據一個實施例，使用者身體部分之空中移動係使用影像檢測器追蹤，及來自此種追蹤的輸入資料係對映至控制輸入來將虛擬物件移出電子顯示器之外。「顯示器」一詞表示視覺顯示器，無論在裝置的螢幕上，或係從裝置投影而形成在裝置外部的虛擬影像，諸如牆上的投影畫面。
本詳細說明部分提供例如可使用觸控螢幕及3D攝影機完成的若干新穎互動辦法及手勢。也提出跨越裝置手勢來以新穎方式橫過不同顯示器間例如橫過分開裝置的顯示器間移動物件。
依據實施例，一種裝置包括處理器來從影像檢測器接收輸入資料，於該處該輸入資料係包括從追蹤使用者身體部分之空中移動與該電子顯示器之虛擬物件互動的所得資料，該處理器係將該輸入資料對映至控制輸入來移動該虛擬物件超過該顯示器。該裝置例如可包括行動裝置諸如智慧型手機或膝上型電腦。依據實施例之處理器係對映該輸入資料至控制輸入來將虛擬物件移出超出該電子顯示器。於是，處理器可對映該輸入資料至控制輸入來例如將虛擬物件從該顯示器移至另一顯示器，或將虛擬物件移至該裝置之虛擬空間(例如溝緣)。依據一個實施例，輸入資料係從影像檢測器及耦接至該顯示器螢幕之觸控螢幕感測器饋至處理器來允許對映該輸入資料至控制輸入來將虛擬物件移出超出該顯示器。舉例言之，觸控螢幕感測器可在虛擬物件被移動或舉升超出該顯示器之前，即允許從顯示器掐出該虛擬物件。如此掐捏手勢允許控制物件，而移開手勢允許虛擬地將該物件從顯示器移出。選擇性地，該處理器可對映該輸入資料至該控制輸入來產生該虛擬物件之虛擬連結而產生該虛擬物件與該使用者身體部分間之連結的虛擬演色(rendering)。虛擬連結可包含使用者身體部分與由使用者身體部分所控制的虛擬物件(VO)間之連結的視覺演色，例如3D演色。虛擬連結例如可闡釋為手指與被操弄的虛擬物件間之3D虛擬遞色(tether)。如此，例如虛擬連結可以是動態螢幕影像，以圖形方式顯示由使用者身體部分虛擬控制的虛擬物件係如何地回應於使用者移動該身體部分而表現。連結外觀可由抓握該虛擬物件的該身體部分之角度及位置決定。依據另一個實施例，該處理器係對映該輸入資料至該控制輸入來將該虛擬物件置於第二電子裝置之第二顯示器上。空中移動可包括使用者身體部分之釋放動作相對於虛擬物件在此第二顯示器上的目標位置。該處理器更可對映該輸入資料至該控制輸入來決定該虛擬物件一旦在該第二顯示器上之一慣性表現。於本文詳細說明部分中，述及「使用者身體部分」係指任何身體部分，諸如手、手指、手掌、指節、腳、腿、眼睛、頭等。此外，述及「使用者手」表示涵蓋全部使用者手部及/或包括手的任何部分諸如手指、手掌、指節等。
實施例將參考第1a-1h圖、第2a-2d圖及第3a-3c圖各自係與第4圖結合作說明。
參考第1a-1h圖、第2a-2d圖及第3a-3c圖，現在將描述各圖式間之共通元件。於各個該等圖式中，為求容易闡釋，虛擬物件VO係描繪為一顆球，但須瞭解虛擬物件可具有任何適當形狀。虛擬物件例如可包括小圖幟、圖像、或動畫圖形例示說明。虛擬物件例如可包括由標準攝影機輸入所感測的物件之圖形表示型態或使用者可選擇的特性諸如色彩。虛擬物件更可包括遊戲塊具有屬性使其可以某種方式作用，例如在遊戲設計裡的炸彈相較於弓箭。此外，虛擬物件可包括單一虛擬物件或多個虛擬物件。關注圖式中也顯示兩個裝置D1及D2(但於第3a-3c圖之實施例中D2並非必要)。於所示實施例中，D1係闡釋為含顯示器ED1之智慧型手機，及D2係闡釋為含顯示器ED2之個人電腦。如於第1a-1h圖、第2a-2d圖及第3a-3c圖可知，D1及D2各自係配備有影像檢測器ID1及ID2。第1a-1h圖、第2a-2d圖及第3a-3c圖所示各個組件將參考第4圖進一步細節說明如下。
現在結合第1a-1h圖、第2a-2d圖及第3a-3c圖參考第4圖，D1及D2各自可結合如圖所示之手勢拍攝系統(GCS1及GCS2)。各個GCS可包括一或多個處理器來執行後述功能。於如圖所示之D1及D2各自中，存在有影像檢測器ID1/ID2及一束輸入資料處理模組，包括物件及手勢辨識模組1/2、虛擬物件追蹤器模組1/2、物件速度及方向模組1/2、及虛擬物件表現模組1/2。所示實施例中之各束模組也包括相鄰螢幕透視模組1/2及螢幕演色模組1/2。相鄰螢幕透視模組1/2可包括裝置鄰近檢測模組1/2。在該束模組內部各個模組於各個GCS 1/2之貢獻容後詳述。物件及手勢辨識模組1/2、虛擬物件追蹤器模組1/2、物件速度及方向模組1/2、虛擬物件表現模組1/2、相鄰螢幕透視模組1/2及螢幕演色模組1/2、相鄰螢幕透視模組1/2及裝置鄰近檢測模組1/2可以是硬體、軟體、韌體或其組合之表示型態。
首先述及影像檢測器ID 1/2，影像檢測器例如可包括一或多個3D深度感測攝影機，或充滿視覺顯示器及外溝緣後方的光學檢測陣列。舉例言之，該等裝置中之一者的溝緣可含有IR發射器及IR接收器來允許使用者手勢的位置追蹤。影像檢測器例如適用於以影像形式拍攝使用者身體部分的空中移動，及將此等輸入資料饋給物件及手勢辨識模組。
物件及手勢辨識模組可適用於辨識與追蹤使用者的手及手勢，其一般體現乃目前最先進科技。此種模組可用來辨識手、手指、指頭手勢、手部移動、及手相對於顯示器位置。舉例言之，物件及手勢辨識模組例如可決定使用者做出身體部分姿勢來掉落或投擲虛擬物件至ED1或ED2上，或使用者做出身體部分姿勢來移動虛擬物件至D1或D2之溝緣。
另一方面，虛擬物件追蹤器模組可適用於追蹤虛擬物件須定位在電子顯示器例如諸如ED1或ED2附近的三度空間何處，及基於來自物件及手勢辨識模組的輸入而追蹤使用者的哪個身體部分抓握該虛擬物件。虛擬物件追蹤器模組1及虛擬物件追蹤器模組2例如皆可追蹤虛擬物件從ED1移向ED2，且可追蹤使用者的哪個身體部分抓握該虛擬物件。追蹤使用者的哪個身體部分抓握該虛擬物件允許藉一或多個GCS而連續地知曉身體部分的空中移動，及因而藉一或多個GCS而最終知曉該虛擬物件已經釋放在ED1或ED2上，容後詳述。此外，使用者身體部分可與顯示器互動來產生虛擬連結，當該等身體部分在空中移動時，虛擬物件追蹤器模組可適用於追蹤此種連結，該追蹤可與來自相鄰螢幕透視模組的輸入相關，將說明於下段。此外，當虛擬物件追蹤器模組決定抓握虛擬物件的使用者身體部分係位在超出顯示器諸如ED1及並無額外顯示器係在虛擬物件彈道時，例如，虛擬物件追蹤器模組可將輸入直接送給螢幕演色模組，來顯示包括周圍區表示型態之對映圖視圖。該對映圖視圖為儲存在裝置內通常不顯示在顯示器上的物件之虛擬表示型態，諸如儲存於溝緣區的物件，而可虛擬地拉出溝緣區(例如藉虛擬地拉出溝緣區旁的一個記號)來觀察。如此對映圖在沿一平面操弄虛擬物件時提供視覺回授，於操弄超出實體顯示器或在虛擬空間行進時在多個顯示器間操弄期間，協助使用者選擇目的地目標。
相鄰螢幕透視模組可包括裝置鄰近檢測模組，可適用於一個顯示器螢幕相對於另一顯示器螢幕的角度，諸如ED1螢幕對ED2螢幕的相對夾角，例如若相鄰螢幕透視模組為相鄰螢幕透視模組1，及反之亦然，相鄰螢幕透視模組為相鄰螢幕透視模組2。舉例言之，於第1a-1h圖及第2a-2d圖之實施例中，於該處D1為智慧型手機及D2為個人電腦，D2的相鄰螢幕透視模組可適用於檢測D1的存在，及運用源自於ED1的虛擬物件影像分析來決定ED1螢幕對ED2螢幕的相對夾角。此種透過軟體檢測來自投影顯示器發射光之形狀而檢測螢幕及顯示區角度係屬最先進技藝。投影顯示器例如包括投影在牆面或屏幕上的影像。檢測附近螢幕的鄰近程度及從其中投影之顯示畫面的相對應角度或方向性的能力例如可使用紅外線發射器及接收器、或電磁或光檢測感測能力達成。針對允許投影顯示器具有觸控輸入之技術，目前存在有軟體分析輸入視訊來決定投影顯示器位置及校正因夾角顯示所帶來的失真。以實施例為例，運用加速度計例如允許決定裝置諸如D1的固定角度，而紅外線可允許決定裝置D1相對於相鄰裝置D2上感測器的方向。依據實施例，利用此種軟體相鄰螢幕透視模組，D2可決定D1螢幕座標相對於其本身螢幕座標。於是，相鄰螢幕透視模組可決定哪個裝置係彼此鄰近，及更進一步決定將一或多個虛擬物件移動橫過螢幕間之潛在目標。相鄰螢幕透視模組可更提示該虛擬物件在目標螢幕上的目標著陸或釋放區段，例如若虛擬物件係從ED1移動至ED2則呈ED2上的陰影形式。
物件速度及方向模組可適用於藉從虛擬物件追蹤器模組接收輸入而估計虛擬物件之移動動力學，諸如其彈道、速度(線性速度或角速度)、動量(線性或角)等。物件速度及方向模組更可適用於例如藉估計虛擬連結之拉伸程度而估計虛擬連結之動力學，及一旦被使用者身體部分釋放時的動態表現。於後述情況下，物件速度及方向模組可建立在既有軟硬體上，該軟硬體追蹤使用者與出現在螢幕上的3D影像的互動。舉例言之，手勢檢測結合BiDi(雙向)螢幕已經被提示用在麻省理工學院發展的原型技術。參考http://web.media.mit.edu/~mhirsch.bidi。物件速度及方向模組也可建立在既有模組上，該等模組使用影像動作、尺寸及角度變化來估計物件速度，諸如手及手指速度，該等模組目前被用在遊戲，例如用在軟體動力公司(Softkinetic Corporation)出品的軟體動力iisu SDK。參考http://www.softkinetic.net/Solutions/iisuSDK.aspx。依據一個實施例，例如此種軟體可用來補償及/或決定虛擬物件或虛擬連結形狀，定義如後，依據來源顯示器相對於目標顯示器之角度及方向而校正虛擬影像之幾何形狀。
虛擬物件表現模組係適用於從物件速度及方向模組接收輸入，及將此輸入施加至顯示在顯示器上的虛擬物件。如此舉例言之，物件及手勢辨識模組將藉將所拍攝得的使用者手部移動對映至所辨識的移動而解譯來自該影像檢測器ID之輸入；虛擬物件追蹤器模組將虛擬物件的位置及移動與藉物件及手勢辨識模組所辨識的移動相聯結；物件速度及方向模組將拍攝虛擬物件移動之動力學；及虛擬物件表現模組將接收來自物件速度及方向模組的輸入而產生資料，該資料將指示虛擬物件之移動相對應於來自物件速度及方向模組之輸入。
螢幕演色模組係適用於接收來自虛擬物件表現模組之資料，及以符合此等所接收的資料之方式來將虛擬物件及/或虛擬連結演色在螢幕諸如ED1或ED2上。如此，來自虛擬物件表現模組之資料例如將決定虛擬物件及/或相聯結的虛擬連結之位置及動力學，及螢幕演色模組將據此而在顯示器上描繪該虛擬物件及/或相聯結的虛擬連結。若虛擬物件將移動至該相鄰螢幕透視模組所相聯結的裝置之顯示器上，則螢幕演色模組更可適用於從相鄰螢幕透視模組接收資料來闡釋虛擬物件的目標著陸區。如此，例如若虛擬物件係從ED1移動至ED2，相鄰螢幕透視模組2可發送資料給螢幕演色模組2，來以陰影形式提示例如虛擬物件在ED2上的一或多個目標著陸區，其係追蹤使用者的手部移動。
至於更進一步顯示於第4圖之實施例，D1之GCS1也可包括觸控螢幕系統1，諸如習知觸控螢幕系統，該系統可包括觸控螢幕感測器TSS。來自觸控螢幕感測器之資料可饋至觸控螢幕模組，該模組可包含硬體、軟體、韌體或其組合。該觸控螢幕模組可取得自觸控螢幕感測器之資料，例如來將使用者手部在螢幕上的觸摸手勢對映至虛擬物件之相對應動態表現。觸控螢幕模組例如可包括動量及慣量模組，其允許基於來自使用者手部輸入而有虛擬物件之多個瞬間表現。動量及慣量模組之使用為眾所周知。舉例言之，與蘋果公司製造的iPad相聯結的觸控螢幕系統基於使用者手指相對於螢幕的敲擊率而產生一或多個虛擬物件在iPad螢幕上的渦卷動量矩。依據一實施例之觸控螢幕模組例如可適用於某些使用者手部相對於螢幕之互動，例如掐捏手勢，該手勢由觸控螢幕模組解譯為指示使用者期望從顯示器螢幕舉升該虛擬物件，及/或開始產生與該虛擬物件相聯結的虛擬連結，容後就第1a-1h圖及第2a-2d圖詳述。舉例言之，為了區別變焦指令與掐捏及舉升指令，變焦指令於目前觸控螢幕系統中典型地涉及一手的大拇指與食指接觸該關注螢幕之同時將兩根手指彼此閉合，而掐捏及舉升指令係從螢幕掐捏及舉升該虛擬物件，觸控螢幕模組例如可適用於將使用者手部大拇指與食指之比變焦指令更靠近的手勢解譯為掐捏及舉升指令。
雖然所示第4圖實施例闡釋各個裝置為結合影像檢測器，及多個軟體模組用以將輸入資料從影像檢測器對映至控制輸入，但實施例並非囿限於此。如此舉例言之，D1及D2可適用於處理來自一共享影像檢測器(圖中未顯示)之輸入資料，或來自一共享影像處理系統(圖中未顯示)之輸入資料，該共享影像處理系統包括一影像檢測器耦接至物件及手勢辨識模組、虛擬物件追蹤器模組、速度共享影像處理系統、及虛擬物件表現模組，例如此一處理系統係在D1與D2間共享而將虛擬物件從ED1移動至ED2(第1a-1h圖及第2a-2d圖)。此外，雖然第4圖闡釋D1為包括觸控螢幕系統，實施例之範圍內涵蓋觸控螢幕系統結合於D1及D2二者，或不結合於D1及D2的任一者。
首先參考第1a-1h圖及第4圖，闡釋一實施例於該處：(1)虛擬物件VO可從屬於第一電子裝置D1之第一電子顯示器ED1之螢幕取得，由使用者手部虛擬地揀取，移動至屬於第二電子裝置D2之第二電子顯示器ED2之螢幕，及虛擬地釋放至第二螢幕上；及(2)虛擬物件可從ED2螢幕取得及虛擬地移回ED1。
然後首先參考第1a圖，虛擬物件VO出現在裝置D1之ED1的螢幕上，於本實施例包含如前記智慧型手機。使用者手部於第1a圖顯示為朝向虛擬物件移動，及準備將虛擬物件從ED1掐捏及舉升。其次參考第1b圖，顯示使用者手部為大拇指與食指間掐捏虛擬物件意圖透過觸控螢幕掐捏手勢而虛擬地取得物件。第4圖之觸控螢幕感測器系統在此點可作動來感測與解譯使用者手部與ED1螢幕間之互動。其次參考第1c圖，顯示使用者手部為仍然虛擬地捏住該虛擬物件，已經移動至ED2螢幕亦即筆記型電腦顯示器上之一位置。至少從使用者手部離開其相對於ED1螢幕的接觸位置的時間算起，使用如前文就第4圖所述之GCS1及/或GCS2，ID1或ID2或二者追上使用者手部空中移動與虛擬物件的互動。因此，當使用者手部置放在筆記型電腦顯示器ED2上方時，在ED1上在使用者手部取得虛擬物件位置可顯示虛擬物件之影子，在虛擬物件實際上移動至ED2之前，在ED2上該虛擬物件之選擇性目標釋放位置，也顯示虛擬物件影子在ED2。其次參考第1d圖，顯示使用者手部為掐捏-釋放手勢，可藉ID2拍攝來執行虛擬物件之虛擬釋放在ED2上，如圖所示。由於釋放手勢結果，具有潛在性質及資料之虛擬物件係藉從ED1移動至ED2而被有效地從D1移動至D2。其次參考第1e圖，顯示使用者手部做出空中掐捏手勢，可由ID1或ID2或二者拍攝為取得虛擬物件之取得手勢。其次參考第1f圖，顯示使用者手部為仍然虛擬地抓住該虛擬物件，已經移動通過ED1螢幕位置，換言之，通過智慧型手機顯示器螢幕上方。當使用者手部已經位在筆記型電腦顯示器ED2上方時，虛擬物件影子可顯示於ED2在使用者手部取得該物件位置，及在該虛擬物件實際上移動至ED1之前，虛擬物件影子也可顯示於ED1在該虛擬物件在ED1上的選擇性目標釋放位置。其次參考第1g圖，顯示使用者手部為做出掐捏-釋放手勢，可藉ID2拍攝來如圖所示執行虛擬物件之虛擬地釋放在ED2上。由於釋放手勢結果，該虛擬物件連同潛在性質及資料可藉從ED2移動至ED1有效地從D2移回D1。其次參考第1h圖，虛擬物件顯示為已經從其釋放位置移動，原因在於與D1相聯結的GCS1之慣性能力(第4圖)，基於使用者手部釋放手勢之動力學及虛擬物件之虛擬性質而執行該虛擬物件橫過ED1螢幕的繼續移動。於第1a-1h圖闡釋之整個處理程序中，就第4圖描述之GCS1及GCS2可以作動來追蹤使用者手部移動而執行虛擬物件之移動超過給定顯示器。
其次參考第2a-2d圖，闡釋另一個實施例，於該處使用者手部係有效在電子顯示器上產生虛擬連結而可將虛擬物件從該顯示器有效地移動至另一顯示器。如第2a圖所示，使用者手部可掐捏在螢幕上，例如掐捏一個角落，及如第2b圖所示，然後使用者手部可從ED1螢幕將掐捏的手指抽回，此時可出現虛擬連結，顯示為從ED1螢幕突起，如圖所示且使用3D更為加強。如第2b圖所示，且如前文解說，虛擬連結可包括手指與被操弄的虛擬物件間之3D虛擬遞色。如此虛擬連結可提供動作記憶體相對於使用者身體部分移動的模擬，要緊地給使用者提供有關使用者移動的視覺回授。虛擬連結例如可以一或多個虛擬遞色或虛擬牆壁形式出現。虛擬連結例如可體現為十字弓或彈弓彈射，或具有可用來將虛擬物件從一個虛擬位置移動至另一個虛擬位置之任何其它虛擬物件形狀。其次參考第2c圖，使用者可用另一隻手妨礙該虛擬連結，例如做出如圖所示的掐捏手勢。此種與虛擬連結的互動可使得虛擬連結彎曲，因而當虛擬連結朝向使用者的另一隻手拉伸時將虛擬物件拉向其本身。如此與虛擬連結的互動造成虛擬連結特性的改變，諸如其動態性質(動能、目標方向等)。其次參考第4d圖，使用者另一隻手顯示為就該虛擬連結執行釋放手勢，於所示實例中，使得虛擬物件依據其慣性而現在出現在ED2上。如第2a-2d圖所示整個處理程序期間，如就第4圖描述的GCS1及GCS2可作動來追蹤使用者手部移動來執行虛擬物件之移動超出該給定顯示器。
其次參考第3a-3c圖闡釋另一個實施例，於該處虛擬物件被移動至螢幕的溝緣區而被移動超出電子顯示器。「溝緣」一詞於本文描述表示在顯示器的邊或緣的一區域。可於裝置顯示器空間受限之情況下或因其它理由故，虛擬物件例如可被移動至裝置溝緣。首先參考第4a圖，使用者手部經由ED1上的觸控螢幕掐捏手勢而將虛擬物件虛擬地掐捏在大拇指與食指間，如先前就第1b圖所述。其次參考第4b圖，顯示使用者手部可採掐捏手勢至超過ED1的螢幕溝緣區域，如圖所示。其次如第4c圖所見，使用者手部可在溝緣區域做出掐捏-釋放手勢，如圖所示，該手勢可將虛擬物件釋放在D1的溝緣區域。然後記號M顯示虛擬物件位在D1溝緣區域之位置。如第3a-3c圖所示整個處理程序期間，如就第4圖描述的GCS1之手勢拍攝系統可作動來追蹤使用者手部移動來執行虛擬物件之移動超出ED1至溝緣區域。
就第1a-1h圖、第2a-2d圖及第3a-3c圖之實施例，雖然只闡釋某些特定手部移動及手勢來執行相對應的期望結果，但實施例並非囿限於此，在實施例之範圍內涵蓋將手勢拍攝系統調整至適合手部或其它的任何姿勢集合來執行虛擬物件之移動超出該給定顯示器。舉例言之，虛擬物件可被打擊或輕彈朝向另一個顯示器，或食指從拇指彈指例如表示虛擬物件期望橫過螢幕移動。另外，為了指示期望橫過螢幕移動，使用者可透過手勢或觸摸給定裝置上的按鈕而首先進入一種模式。關注實施例可更允許一旦虛擬物件已經被釋放在新顯示器上(諸如虛擬地甩下或打平)時將釋放手勢之慣性轉移給虛擬物件的虛擬物件表現模組，及依據一個實施例，如就第4圖描述之此種手勢拍攝系統可適用於允許此種虛擬物件基於其慣性而與新螢幕上的其它物件互動。
此外，至於第2a-2d圖之實施例，虛擬連結無需藉雙手控制，及實施例涵蓋以任何其它方式例如藉單手操弄虛擬連結。虛擬連結可進一步以3D闡釋或否，且例如可以附圖中闡釋的手勢以外的手勢操弄，例如透過搖手而刪除虛擬連結，或用另一隻手切斷虛擬連結。此外，依據另一個實施例，使用者無需觸摸顯示器，諸如透過使用者手部的空中移動即可發生虛擬連結及橫過顯示器的移動。
至於實施例更進一步發現雖然第1a-1h圖、第2a-2d圖及第3a-3c圖所述實施例係有關於使用手勢來操弄虛擬物件，但實施例並非囿限於此，及於實施例之範圍內包括使用任何身體部分之移動來操弄虛擬物件，及也包括使用不同身體部分遞色至虛擬物件不同部分，諸如透過虛擬連結。身體部分可包括身體的任一部分，諸如手、腳、頭、眼、腿、手臂等。
其次參考第5圖，顯示方法實施例之流程圖。依據第5圖，於方塊510，方法500可包括從一影像檢測器接收輸入資料，該輸入資料係包括從追蹤一使用者身體部分之空中移動與該電子顯示器之一虛擬物件互動的所得資料；及於方塊520，將該輸入資料對映至一控制輸入來移動該虛擬物件超過該顯示器。
優異地，實施例允許手勢辨識，諸如利用觸摸與空中手勢的組合辨識，來允許使用者虛擬地獲得一虛擬物件及移動該虛擬物件橫過螢幕或移動至顯示器的溝緣區域。一實施例更允許使用手勢辨識來許可使用者虛擬地投擲或射出一虛擬物件從一個螢幕至另一個螢幕，選擇性地保留使用者釋放移動之慣性於虛擬物件在新螢幕上的動態表現。此外，優異地，一實施例允許手勢辨識，透過虛擬連結藉做出手勢來允許使用者控制一虛擬物件的表現，特別係在剛透過一個手勢將虛擬物件置放於螢幕上時尤為如此。虛擬連結提供即時視覺回授來將操弄實體物件經驗的認知過程及觸覺期望與圖形仿真所虛擬經驗的過程鏈接。舉例言之，虛擬連結優異地許可虛擬物件藉身體部分之移動操弄，諸如被移動、被下推而變平坦或放大、或另外透過類似木偶拉線狀控制操弄。此外，優異地，一實施例允許同一位使用者身上多點以虛擬連結而連結至顯示器上多個元件(例如針對每根手指，或針對每隻手臂或每隻腿等虛擬連結出現在螢幕上)。如此連結的虛擬物件隨後可優異地以使用者身上多點的協作姿勢加以控制。
依據若干實施例，使用者可優異地將一虛擬物件從一個顯示器拋至另一個顯示器。使用者可抓住虛擬物件及朝向顯示器投擲。虛擬物件可被拋離第一顯示器及然後去到另一顯示器，及可能回到第一顯示器。前文已述設備之實施例如此允許追蹤虛擬物件之姿勢、位置、及物理學。於若干實施例中，使用者也可發射虛擬發射體從一個螢幕至另一螢幕。利用有螢幕的掌上型裝置，使用者可拉回虛擬物件，顯示虛擬連結，然後釋放該虛擬物件讓它虛擬地彈離使用者持有的掌上型裝置螢幕而彈向第二顯示器。於此種系統中，使用者可使用觸控螢幕而選擇虛擬物件(取決於遊戲，選擇可以自動移動至虛擬連結來操弄虛擬物件，或使用者可單純拖曳虛擬物件)。所選虛擬物件可如同發射體般使用虛擬連結而發射。使用此種系統玩遊戲中，第一系統可追蹤遊戲的進行至一點，然後將參數發送(透過直接無線連結或透過網路)給第二裝置，然後第二裝置從該點開始繼續遊戲。於虛擬連結之情況下，使用者可使用語音指令來改變欲發射物件的本質(色彩、類別、能力)，或改變如何發射的本質，或依使用者改變出現在顯示器上的外觀。另外，二次移動諸如眼睛追蹤可用來影響虛擬物件的目標鎖定及物理學。使用者可運用該系統來掃描實際物件及然後用在虛擬世界作為虛擬物件。
實施例可體現為下列中之任一者或其組合：使用主機板互連的一或多個微晶片或積體電路、有線邏輯、由記憶體裝置儲存及藉微處理器執行的軟體、韌體、特定應用積體電路(ASIC)、及/或可現場規劃閘陣列(FPGA)。「邏輯」一詞例如可包括軟體或硬體及/或軟體與硬體的組合。
實施例例如可提供為電腦程式產品，可包括一或多個機器可讀取媒體其上儲存有機器可執行指令，而該等指令當藉一或多個機器諸如電腦、電腦網路、或其它電子裝置執行時可造成一或多個機器進行依據本發明實施例之操作。機器可讀取媒體可包括但非限於軟碟、光碟、光碟-唯讀記憶體(CD-ROM)、及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、可抹除可規劃唯讀記憶體(EPROM)、可電氣抹除可規劃唯讀記憶體(EEPROM)、磁卡或光卡、快閃記憶體、或適用於儲存機器可執行指令的其它型別媒體/機器可讀取媒體。
此外，實施例可下載為電腦程式產品，其中該程式可透過通訊鏈路(例如數據機及/或網路連結)，藉由在載波或其它傳播媒體具體實施及/或調變的一或多個資料信號而從遠端電腦(例如伺服器)轉移給請求電腦(例如客端電腦)。因此如此處使用，機器可讀取媒體可以但非必要包含此種載波。
述及「一個實施例」、「一實施例」、「具體實施例」、「多個實施例」、等指示如此描述之本發明之實施例可包括特定特徵、結構、或特性，但並非必要每個實施例皆含括該等特定特徵、結構、或特性。又，若干實施例可具有部分、全部、或無針對其它實施例所描述的特徵。
後文詳細說明部分及申請專利範圍中，可使用「耦合」連同其衍生詞。「耦合」係用來指示二或多個元件彼此協力或互動，但其間可有或可沒有中間實體或電氣組件。
除非另行載明，否則如使用於申請專利範圍，序數形容詞「第一」、「第二」、「第三」、等用來描述一個共通元件僅只指示相似元件的不同情況，而絕非意圖暗示如此描述的元件須呈排名上或任何其它方式之時間上、空間上的任何給定順序。
附圖及前文詳細說明部分敘述實施例之若干實例。熟諳技藝人士將瞭解一或多個所述元件可良好地組合成單一功能元件。另外，某些元件可分裂成多個功能元件。來自一個實施例之元件可加至另一個實施例。舉例言之，此處描述之處理程序之順序可以改變而非限於此處描述之方式。此外，任何流程圖的動作無須以所示順序體現；也並非必要執行全部動作。又，與其它動作不具相依性的該等動作可與其它動作並列地執行。實施例之範圍絕非受此等特定實例所限。無數變化例無論是否明確地給定於說明書中或否，諸如結構、維度、及材料的使用差異皆屬可能。實施例之範圍至少係如下申請專利範圍給定的範圍般。
500．．．方法
510、520．．．處理方塊
BEZEL‧‧‧溝緣
M‧‧‧記號
D1-2‧‧‧裝置
TSS‧‧‧觸控螢幕感測器
ED1-2‧‧‧顯示器
VO‧‧‧虛擬物件
GCS1-2‧‧‧手勢拍攝系統
VB‧‧‧虛擬連結
ID1-2‧‧‧影像檢測器
第1a-1h圖顯示依據第一實施例移動虛擬物件橫過螢幕之方法；
第2a-2d圖顯示依據第二實施例移動虛擬物件橫過螢幕之方法；
第3a-3c圖顯示移動虛擬物件至顯示器螢幕之溝緣區之方法；
第4圖顯示第1a-1h或2a-2d圖所示第一顯示器及第二顯示器包括功能模組之實施例略圖；及
第5圖為方法實施例之流程圖。
D1-2．．．裝置
GCS1-2．．．手勢拍攝系統
ID1-2．．．影像檢測器
TSS．．．觸控螢幕感測器

Claims (31)

  1. 一種裝置，其包含：一觸控螢幕顯示器，及一處理器用以(1)從該觸控螢幕顯示器接收觸控輸入資料，該觸控輸入資料包括從感測一使用者與該觸控螢幕顯示器之一虛擬物件互動所得的資料及(2)從一影像檢測器接收空中移動輸入資料，該空中移動輸入資料包括從追蹤該使用者的一身體部分之空中移動與該虛擬物件互動所得的資料，該處理器用以將該等觸控及空中移動輸入資料對映至一控制輸入來移動該虛擬物件超過該觸控螢幕顯示器。
  2. 如請求項1之裝置，其進一步包含該影像檢測器。
  3. 如請求項1之裝置，其中該身體部分為一手或一手之一部分。
  4. 如請求項1之裝置，其中：該觸控螢幕顯示器為一第一顯示器；及該處理器用以對映該等觸控及空中移動輸入資料至該控制輸入來將該虛擬物件從該第一顯示器朝向一第二顯示器移動。
  5. 如請求項4之裝置，其中：該裝置為一第一裝置；及該處理器在對映該輸入資料至該控制輸入前，用以決定包括該第二顯示器之一第二裝置係在該第一裝置鄰近。
  6. 如請求項1之裝置，其中該等互動包括該使用者身體部 分相對於該虛擬物件在該第一顯示器之該顯示器螢幕上之一位置之一掐捏動作，該處理器係對映該第一輸入資料至該控制輸入來從該第一顯示器掐捏該虛擬物件。
  7. 如請求項6之裝置，其中該等空中移動包括該使用者身體部分相對於該虛擬物件在該第二顯示器上之目標位置之一釋放動作，該處理器係對映該第二輸入資料至該控制輸入來將該虛擬物件釋放至該第二顯示器上。
  8. 如請求項1之裝置，其中該處理器係將該第一輸入資料及該第二輸入資料對映至該控制輸入來產生該虛擬物件之一虛擬連結(binding)。
  9. 如請求項8之裝置，其中該使用者身體部分為該使用者之第一身體部分，該處理器係從該影像檢測器接收一第三輸入資料，該第三輸入資料包括由該使用者之一第二身體部分之空中移動與該第一顯示器上的該虛擬連結互動所得的資料，該處理器係對映該第三輸入資料至該控制輸入來操弄該虛擬連結。
  10. 如請求項1之裝置，其中該處理器係對映該輸入資料至該控制輸入來將該虛擬物件從該觸控螢幕顯示器移動至該裝置之一溝緣(bezel)。
  11. 如請求項10之裝置，其中該處理器係對映該輸入資料至該控制輸入來指示在該溝緣之該虛擬物件於該顯示器之一對映圖上之一位置。
  12. 一種裝置，其包含：一處理器用以(1)從一第一裝置之一觸控螢幕顯示器接 收觸控輸入資料，該觸控輸入資料包括從感測一使用者與該觸控螢幕顯示器之一虛擬物件互動所得的資料及(2)從該第一裝置之一影像檢測器接收空中移動輸入資料，該空中移動輸入資料包括從追蹤該使用者的一身體部分之空中移動與該虛擬物件互動所得的資料，該處理器用以將該等觸控及空中移動輸入資料對映至一控制輸入來將該虛擬物件放置於一第二電子裝置之一第二顯示器上。
  13. 如請求項12之裝置，其係進一步包括該影像檢測器。
  14. 如請求項12之裝置，其中該身體部分為一手或一手之一部分。
  15. 如請求項12之裝置，其中該處理器係決定含該觸控螢幕顯示器之一第一裝置係在該第二裝置鄰近，及在移動該虛擬物件至該第二顯示器前，對映該輸入資料至該控制輸入來顯示該虛擬物件在該第二顯示器上之一選擇性目標位置。
  16. 如請求項12之裝置，其中該等空中移動包括該使用者身體部分相對於該虛擬物件在該第二顯示器上之一目標位置之一釋放動作。
  17. 如請求項12之裝置，其中該輸入資料包括該釋放動作之慣性性質之資料，該處理器係對映該輸入資料至該控制輸入來決定該虛擬物件一旦在該第二顯示器上之一慣性表現。
  18. 一種方法，其包含：從一觸控螢幕顯示器接收觸控輸入資料，該觸控輸 入資料包括從感測一使用者與該觸控螢幕顯示器之一虛擬物件互動所得的資料；從一影像檢測器接收空中移動輸入資料，該空中移動輸入資料包括從追蹤該使用者的一身體部分之空中移動與該虛擬物件互動所得的資料；以及對映該等觸控及空中移動輸入資料至一控制輸入來移動該虛擬物件超過該觸控螢幕顯示器。
  19. 如請求項18之方法，其中：該觸控螢幕顯示器為一第一顯示器；及對映係包括對映該等觸控及空中移動輸入資料至該控制輸入來將該虛擬物件從該第一顯示器朝向一第二顯示器移動。
  20. 如請求項19之方法，其中該觸控螢幕顯示器為一第一電子裝置之一部分，該方法係進一步包括在對映之前，決定含該第二顯示器之一第二電子裝置係在該第一電子裝置鄰近。
  21. 如請求項18之方法，其中：該等互動包括該使用者身體部分相對於該虛擬物件在該第一顯示器之一顯示器螢幕上之一位置之一掐捏動作；及該對映係包括對映該第一輸入資料至該控制輸入來從該第一顯示器掐捏該虛擬物件。
  22. 如請求項21之方法，其中：該等空中移動包括該使用者身體部分相對於該虛 擬物件在該第二顯示器上之一目標位置之一釋放動作；及該對映係包括對映該第二輸入資料至該控制輸入來將該虛擬物件釋放至該第二顯示器上。
  23. 如請求項18之方法，其中該對映係包括將該第一輸入資料及該第二輸入資料對映至該控制輸入來產生該虛擬物件之一虛擬連結。
  24. 如請求項18之方法，其中該對映係包括對映該輸入資料至該控制輸入來將該虛擬物件從該電子顯示器移動至該觸控螢幕顯示器之一溝緣。
  25. 如請求項24之方法，其中該對映係包括對映該輸入資料至該控制輸入來指示在該溝緣之該虛擬物件於該觸控螢幕顯示器之一對映圖上之一位置。
  26. 如請求項19之方法，其中該對映係包括對映該輸入資料至該控制輸入來進一步將該虛擬物件放置於該第二顯示器上。
  27. 如請求項26之方法，其係進一步包括決定該觸控螢幕顯示器係在該第二電子裝置鄰近，其中該對映係包括在移動該虛擬物件至該第二顯示器前，對映該輸入資料至該控制輸入來顯示該虛擬物件在該第二顯示器上之一選擇性目標位置。
  28. 如請求項26之方法，其中該等空中移動包括該使用者身體部分相對於該虛擬物件在該第二顯示器上之一目標位置之一釋放動作。
  29. 如請求項26之方法，其中：該輸入資料包括該釋放動作之慣性性質之資料；及該對映係包括對映該輸入資料至該控制輸入來決定該虛擬物件一旦在該第二顯示器上之一慣性表現。
  30. 一種以電腦可執行指令編碼之非暫態電腦可讀取媒體，該等指令當被存取時致使一機器進行包含下列之操作：從一觸控螢幕顯示器接收觸控輸入資料，該觸控輸入資料包括從感測一使用者與該觸控螢幕顯示器之一虛擬物件互動所得的資料；從一影像檢測器接收空中移動輸入資料，該空中移動輸入資料包括從追蹤該使用者的一身體部分之空中移動與該虛擬物件互動所得的資料；以及對映該等觸控及空中移動輸入資料至一控制輸入來移動該虛擬物件超過該觸控螢幕顯示器。
  31. 如請求項30之非暫態電腦可讀取媒體，其中：該觸控螢幕顯示器為一第一顯示器；及該對映係包括對映該等觸控及空中移動輸入資料至該控制輸入來將該虛擬物件從該第一顯示器朝向一第二顯示器移動。
TW100149538A 2011-03-29 2011-12-29 於手勢和使用者介面元件間之延續虛擬連結技術 TWI546725B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/074,639 US8717318B2 (en) 2011-03-29 2011-03-29 Continued virtual links between gestures and user interface elements

Publications (2)

Publication Number Publication Date
TW201239743A TW201239743A (en) 2012-10-01
TWI546725B true TWI546725B (zh) 2016-08-21

Family

ID=46926521

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100149538A TWI546725B (zh) 2011-03-29 2011-12-29 於手勢和使用者介面元件間之延續虛擬連結技術

Country Status (3)

Country Link
US (1) US8717318B2 (zh)
TW (1) TWI546725B (zh)
WO (1) WO2012134583A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI701575B (zh) * 2019-03-07 2020-08-11 緯創資通股份有限公司 手勢辨識方法以及手勢辨識裝置

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405459B2 (en) 2011-08-24 2016-08-02 Z124 Unified desktop laptop dock software operation
US9268518B2 (en) 2011-09-27 2016-02-23 Z124 Unified desktop docking rules
US9715252B2 (en) 2011-08-24 2017-07-25 Z124 Unified desktop docking behavior for window stickiness
US20130104062A1 (en) 2011-09-27 2013-04-25 Z124 Unified desktop input segregation in an application manager
US20120218202A1 (en) * 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US20120225694A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US20120225693A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9152306B2 (en) * 2011-03-29 2015-10-06 Intel Corporation Techniques for touch and non-touch user interaction input
US9094813B2 (en) * 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
US20130104051A1 (en) 2011-09-27 2013-04-25 Z124 Unified desktop big brother application pools
US20130080899A1 (en) 2011-09-27 2013-03-28 Paul E. Reeves Unified desktop big brother applications
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US11416131B2 (en) 2011-09-27 2022-08-16 Z124 Unified desktop input segregation in an application manager
US8610684B2 (en) * 2011-10-14 2013-12-17 Blackberry Limited System and method for controlling an electronic device having a touch-sensitive non-display area
EP2783269B1 (en) * 2011-11-23 2018-10-31 Intel Corporation GESTURE INPUT WITH MULTIPLE VIEWS and DISPLAYS
US9164544B2 (en) 2011-12-09 2015-10-20 Z124 Unified desktop: laptop dock, hardware configuration
EP2791790B1 (en) * 2011-12-14 2019-08-14 Intel Corporation Gaze activated content transfer system
US20130285919A1 (en) * 2012-04-25 2013-10-31 Sony Computer Entertainment Inc. Interactive video system
US9507462B2 (en) * 2012-06-13 2016-11-29 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-dimensional image detection apparatus
CN103019597A (zh) 2012-12-10 2013-04-03 中兴通讯股份有限公司 一种内置截图功能的智能终端及其实现方法
US9014428B2 (en) * 2013-02-15 2015-04-21 Sony Corporation Object detection using difference of image frames
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US9928652B2 (en) 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
KR20150103240A (ko) 2013-03-14 2015-09-09 인텔 코포레이션 깊이 기반 사용자 인터페이스 제스처 제어
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
WO2014186972A1 (en) * 2013-05-24 2014-11-27 Thomson Licensing Method and apparatus for rendering object for multiple 3d displays
US9430045B2 (en) * 2013-07-17 2016-08-30 Lenovo (Singapore) Pte. Ltd. Special gestures for camera control and image processing operations
CN105324736B (zh) * 2013-07-23 2018-09-11 英特尔公司 触摸式和非触摸式用户交互输入的技术
US9261966B2 (en) * 2013-08-22 2016-02-16 Sony Corporation Close range natural user interface system and method of operation thereof
US10664162B2 (en) 2013-11-18 2020-05-26 Red Hat, Inc. Multiple display management
IN2014DE00899A (zh) * 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
US20150301606A1 (en) * 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
US9958946B2 (en) 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
JP2016130925A (ja) * 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
US11237624B2 (en) * 2015-06-03 2022-02-01 James M. O'Neil System and method for adapting auditory biofeedback cues and gait analysis using wireless signals and digital responses
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
DE102015012720B4 (de) * 2015-10-01 2024-08-01 Audi Ag Interaktives Bediensystem und Verfahren zum Durchführen einer Bedienhandlung bei einem interaktiven Bediensystem
US10186081B2 (en) 2015-12-29 2019-01-22 Microsoft Technology Licensing, Llc Tracking rigged smooth-surface models of articulated objects
US10565791B2 (en) 2015-12-29 2020-02-18 Microsoft Technology Licensing, Llc Tracking rigged polygon-mesh models of articulated objects
US10209785B2 (en) 2016-02-02 2019-02-19 Microsoft Technology Licensing, Llc Volatility based cursor tethering
US10459597B2 (en) * 2016-02-03 2019-10-29 Salesforce.Com, Inc. System and method to navigate 3D data on mobile and desktop
US10297085B2 (en) 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
CA3045286C (en) * 2016-10-28 2024-02-20 Axon Enterprise, Inc. Systems and methods for supplementing captured data
WO2019130896A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
CA3033605C (en) * 2018-02-14 2021-11-23 Aaron Derouin Three-dimensional visual target acquisition systems
KR102524586B1 (ko) * 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
USD914021S1 (en) 2018-12-18 2021-03-23 Intel Corporation Touchpad display screen for computing device
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
CN110162183B (zh) * 2019-05-30 2022-11-01 努比亚技术有限公司 凌空手势操作方法、可穿戴设备及计算机可读存储介质
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11341569B2 (en) * 2019-10-25 2022-05-24 7-Eleven, Inc. System and method for populating a virtual shopping cart based on video of a customer's shopping session at a physical store
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US20230218973A1 (en) * 2022-01-11 2023-07-13 Wistron Corporation Systems and methods for assisting physical exercises
CN114470768B (zh) * 2022-02-15 2023-07-25 北京字跳网络技术有限公司 虚拟道具控制方法、装置、电子设备及可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20300882U1 (de) * 2003-01-21 2003-03-13 Fraunhofer Ges Forschung Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
KR20070034767A (ko) * 2005-09-26 2007-03-29 엘지전자 주식회사 다중 표시영역을 갖는 이동통신 단말기 및 이를 이용한 디스플레이 간의 데이터 표시 방법
US7788607B2 (en) * 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
JP2007249536A (ja) * 2006-03-15 2007-09-27 Mitsubishi Electric Corp 計算機システム
JP2008152377A (ja) * 2006-12-14 2008-07-03 Seiko Epson Corp マルチディスプレイシステム、表示制御方法、表示制御プログラム、記録媒体及び画像出力装置
US9740386B2 (en) * 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
JP4670860B2 (ja) * 2007-11-22 2011-04-13 ソニー株式会社 記録再生装置
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8077157B2 (en) * 2008-03-31 2011-12-13 Intel Corporation Device, system, and method of wireless transfer of files
DE602008003680D1 (de) * 2008-05-29 2011-01-05 Lg Electronics Inc Transparente Anzeige und Betriebsverfahren dafür
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US20110175920A1 (en) * 2010-01-13 2011-07-21 Smart Technologies Ulc Method for handling and transferring data in an interactive input system, and interactive input system executing the method
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
KR101184460B1 (ko) * 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US9354804B2 (en) * 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI701575B (zh) * 2019-03-07 2020-08-11 緯創資通股份有限公司 手勢辨識方法以及手勢辨識裝置

Also Published As

Publication number Publication date
WO2012134583A2 (en) 2012-10-04
US20120249429A1 (en) 2012-10-04
US8717318B2 (en) 2014-05-06
WO2012134583A3 (en) 2013-02-21
TW201239743A (en) 2012-10-01

Similar Documents

Publication Publication Date Title
TWI546725B (zh) 於手勢和使用者介面元件間之延續虛擬連結技術
US9152306B2 (en) Techniques for touch and non-touch user interaction input
US8736583B2 (en) Virtual links between different displays to present a single virtual object
US12099658B2 (en) Systems and methods for extensions to alternative control of touch-based devices
JP6077523B2 (ja) 手動およびカメラ・ベースのアバター制御
US9983687B1 (en) Gesture-controlled augmented reality experience using a mobile communications device
CN105518575B (zh) 与自然用户界面的双手交互
KR101791366B1 (ko) 증강된 가상 터치패드 및 터치스크린
US20170277282A1 (en) Input device for transmitting user input
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
WO2015013404A1 (en) Techniques for touch and non-touch user interaction input
EP2701815B1 (en) Control of separate computer game elements
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
KR20110044391A (ko) 입력 장치 및 방법
JP6561400B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
JP6603024B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN112711326A (zh) 虚拟物体操作系统及虚拟物体操作方法
JP6307651B1 (ja) ゲームプログラム、方法、および、情報処理装置
Zhang Virtual Reality Gesture Interface based on Human-animal Interaction
JP2018187360A (ja) ゲームプログラム、方法、および、情報処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees