TWI512541B - 利用多模態輸入來控制顯示器上多個物件之技術 - Google Patents

利用多模態輸入來控制顯示器上多個物件之技術 Download PDF

Info

Publication number
TWI512541B
TWI512541B TW099144934A TW99144934A TWI512541B TW I512541 B TWI512541 B TW I512541B TW 099144934 A TW099144934 A TW 099144934A TW 99144934 A TW99144934 A TW 99144934A TW I512541 B TWI512541 B TW I512541B
Authority
TW
Taiwan
Prior art keywords
modal
modal input
user
type
group
Prior art date
Application number
TW099144934A
Other languages
English (en)
Other versions
TW201207667A (en
Inventor
Glen J Anderson
Rina A Doherty
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201207667A publication Critical patent/TW201207667A/zh
Application granted granted Critical
Publication of TWI512541B publication Critical patent/TWI512541B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Biomedical Technology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Neurosurgery (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

利用多模態輸入來控制顯示器上多個物件之技術 發明的技術領域
本發明的實施例係大致有關積體電路的技術領域，且更確切來說，本發明的實施例係大致有關用以透過使用多模態輸入來控制一顯示器上之多個物件的系統、方法與裝置。
 發明的技術背景
姿態輸入技術已經隨著任天堂()公司出品的WiiTM 以及其他遊戲裝置而越來越受到歡迎。因為整合式相機與陣列麥克風在運算產品中越來越普遍，例如姿態、語音與視線(使用眼球或頭部的移動動作)等的輸入方法將成為更普遍的輸入方法。
 發明的概要說明
依據本發明的一實施例，係特地提出一種模組化多模態輸入系統，其包含：多個模態輸入裝置，各個模態輸入裝置用以從一使用者擷取一模態輸入資料串流；模態解譯邏輯組件，其用以把該等多個已擷取模態輸入資料串流中的各個串流解譯為對應的一組動作；模態配對邏輯組件，其用以分派對應的各組動作，以控制多個經顯示物件中的一物件；以及模態控制邏輯組件，其藉著各個經顯示物件的受分派動作組來控制各個經顯示物件。
圖式的簡要說明
係以舉例方式以及不具限制性的方式來展示出本發明實施例；在圖式中，相同/相似的元件編號表示相似的元件；在圖式中：
第1圖展示出視線模態輸入的一實施例，其操控在顯示器上所看到的東西。
第2圖展示出多模態輸入的一實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。
第3圖展示出多模態輸入的另一個實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。
第4圖展示出多模態輸入的一實施例，其為二位使用者各藉以控制一顯示器上之多個物件的方式。
第5圖以方塊圖展示出一種模組化多模態輸入系統的一實施例。
第6圖以流程圖展示出一種使用一模態輸入串流來控制一經顯示物件之程序的一實施例。
第7圖以流程圖展示出一種使用多模態輸入以同時地控制不只一個經顯示物件之程序的一實施例。
第8圖展示出一種電腦系統的一實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
第9圖展示出一種電腦系統的另一個實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
 較佳實施例的詳細說明
本發明的實施例係大致有關用以使用多模態輸入來控制一顯示器上之多個物件的系統、方法與設備。
在許多實施例中，一種使用多模態輸入以控制經顯示物件的程序包含接收數個模態輸入串流。該模態輸入可為來自任何類型模態輸入裝置的輸入。例如，模態輸入裝置可包括視訊攝影機、麥克風、例如加速度計的動作檢測器、用以檢測腦部或肌肉組織中之電場/脈衝的皮膚附著式電子測量設備、或其他該等裝置。模態輸入裝置可能能夠捕捉(即記錄)的多種模態輸入為眼球移動(即視線方向)、頭部移動、手臂與手部移動、腳部與足部移動、語音命令、以及多種其他形式的模態輸入。
一模態輸入〝串流〞係表示由該等模態輸入裝置中之一捕捉到的一資料串流。例如，一視訊攝影機可對準一使用者的眼球移動動作。該視訊攝影機每秒可記錄下該使用者眼睛近距離觀點的60個圖框之視訊。該等圖框可稱為模態輸入資料串流。其他串流包括音訊捕捉串流以及來自動作捕捉裝置的座標資料串流，例如WiiTM 遙控器，其可每隔幾毫秒提供該裝置之位置的三維座標。
該等模態輸入串流中的某些可被接收到一運算裝置中。各個串流隨後由該運算裝置中的邏輯組件來解譯，以確定一組動作。
該組動作隨後受分派給一顯示器裝置上的一物件。一電視機可能為所使用的一顯示器裝置。該電視機上的該物件可為一虛擬手部、一虛擬腳部、一球體、或者可受顯示之多種其他類型物件中的一種。此外，在許多實施例中，該物件可為該螢幕的一虛擬視線相機觀點。換言之，藉著操控該相機的觀點，在螢幕上所看到的東西就會改變。例如，如果視線從左邊轉到右邊，可顯示在該螢幕上的一虛擬世界便響應地轉動到右邊。基本上，此程序允許該組動作能受附接到所顯示的一物件(或與所看見的顯示畫面相關)，且該物件因此藉由該等動作而動態地在該顯示器上受到操控。
此程序的一實例是使用一使用者眼球移動串流。如果該使用者的眼睛從向左邊觀看改變為向右邊觀看，該解譯邏輯組件可分辨出此項移動，並且產生可能與一時間戳記耦接之該移動有關的可作用命令。該組動作中的一單一動作看起來可能是這樣：(視線：位於中心左邊30度、位於中心下方15度；時間：10:17:57.098)。
第1圖展示出視線模態輸入的一實施例，其操控在顯示器上所看到的東西。該顯示器在時間1中展示出使用者的眼睛聚焦在螢幕上，其展示出一經顯示環境，而在該螢幕的右側有一棵樹。此眼部位置係由視線追蹤設備100(例如可能在一使用者頭戴安裝架上的一視訊攝影機)來追蹤。在時間2，該顯示器正顯示出相同的環境位置，但突然間，該使用者的視線朝向右邊，此動作被視線追蹤設備100記錄下來。
該眼球移動可隨後受到解譯，其揭露出部分地位於目前經顯示環境右邊的一所欲環境參考圖框。該解譯邏輯組件隨後產生控制該觀點朝右邊移動的一組動作，其展示出時間2+中，那棵樹(其在時間1與時間2位於該螢幕的右邊)已經因為眼球移動動作而更靠近地往該螢幕的中心移動。此狀況可以滿足該使用者，因為該所欲觀點現在位於該顯示器的中心，且因此該使用者的眼睛再次地聚焦在該顯示器上。
第2圖展示出多模態輸入的一實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。第2圖特別地使用視線移動與手臂姿態移動作為二種類型的模態輸入。特定地，該使用者的視線移動係由模態輸入裝置2A(200)來追蹤，而手臂姿態移動則由模態輸入裝置2B(202)來追蹤。該使用者的視線移動受分配程可操控該顯示器的該參考圖框，而該使用者的手臂移動受分派成可操控該顯示器上之一位虛擬四分衛的手臂。
當該使用者將他的視線移動到右邊時，該觀點便改變到該新進參考圖框。此狀況係由結果2A(204)來表示，其展示出對應於正受到修改以聚集在該螢幕上之上顯示參考圖框的類型。此狀況將使足球運動員從該顯示畫面的右邊移動到中心。
當此動作正發生時，該使用者以他/她的手臂作出一個擲出動作(即，姿態)。此姿態由模態輸入裝置2B 202捕捉到。解譯邏輯組件解譯該擲出動作手臂姿態，並且控制該螢幕上的一虛擬四分衛手臂，以對該足球運動員擲出一足球，其為結果2B(206)。
第3圖展示出多模態輸入的另一個實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。第3圖特別地使用視線移動、手臂姿態移動、以及語音命令作為三種類型的模態輸入。特定地，該使用者的視線移動由模態輸入裝置3A(300)追蹤，該手臂姿態移動由模態輸入裝置3B(302)追蹤，且該使用者的語音命令由模態輸入裝置3C(304)記錄。該使用者的視線移動受分派成可操控該顯示器的該參考圖框、該使用者的手臂移動受分派成可操控揮舞著一武器之一位虛擬冒險者的手臂，且該使用者的語音命令受分派成可操縱一非玩家控制角色(NPC)冒險者朋友將進行以在該顯示器上幫助該冒險者的動作。
當該使用者把他的視線移到左邊或右邊時，該觀點改變為該新進參考圖框。此狀況由結果3A(306)來表示，其展示出目前該使用者已經他/她的參考圖框集中在該螢幕上，因此不需要任何移動動作。
與該模態輸入使用者視線追蹤動作同時進行的是，該使用以他/她的手臂作出一動作(即，姿態)。此姿態由模態輸入裝置3B 302捕捉。解譯邏輯組件解譯該手臂姿態，並且以該冒險家手中的虛擬武器來控制該冒險者的手臂以做出攻擊、抵擋等動作。
再者，與該模態輸入使用者視線追蹤動作以及模態輸入使用者手臂姿態追蹤動作同時進行的是，該使用者發出動作命令的聲音來作為該冒險家之NPC朋友的指令。例如，該使用者可能注意到有一弓箭即將要擊中該冒險家的朋友，並且大聲叫出〝快躲開〞，以使該NPC朋友能躲開該弓箭。任何數量的語音命令都能受到解譯(例如跳動、攻擊、坐下等)。因此該使用者可透過他/她眼睛、手臂與語音的同時模態輸入，同時地操控該顯示器上的多個物件。
第4圖展示出多模態輸入的一實施例，其為二位使用者各藉以控制一顯示器上之多個物件的方式。第4圖特別地使用視線移動與手臂姿態移動作為二種類型的模態輸入。雖然並未展示於第4圖中，可使用相同或相似的模態輸入裝置來追蹤使用者視線移動與手臂姿態移動。運動員1的視線移動動作控制運動員1守門員402的移動，此種分派係透過模態控制鏈結1而視覺化。運動員1的手臂姿態移動動作404控制運動員1射球員406的移動，此係透過模態控制鏈結2而視覺化。運動員2的視線移動動作408控制運動員2守門員410的移動，此係透過模態控制鏈結3而視覺化。最後，運動員2的手臂姿態移動動作412控制運動員2射球員414的移動，此係透過模態控制鏈結4而視覺化。
第5圖以方塊圖展示出一種模組化多模態輸入系統的一實施例。
多模態輸入運算裝置500可為任何類型的運算裝置，例如桌上型電腦、伺服器、工作站、膝上型電腦、手持式裝置、電視機上盒裝置、媒體中心裝置、遊戲控制台、整合式系統裝置(例如位於一車中)、或其他類型的運算裝置。該運算裝置可耦合至數種模態輸入裝置，例如模態輸入裝置A 502(一視訊攝影機)以及模態輸入裝置B 504(一麥克風)。在其他實施例中，可以有其他以及可能更多模態輸入裝置，例如麥克風或視訊攝影機、動作檢測裝置、位置知悉裝置(例如一全球定位系統致能裝置)的完整陣列，以及其他類型的模態輸入裝置。
該等模態輸入裝置各耦合至模態解譯邏輯組件506。如上所述，模態解譯邏輯組件506可能能夠把一模態輸入資料串流解譯為一組動作/命令。該組動作被傳送到模態配對邏輯組件508，其產生由一模態輸入以及一顯示器物件配對而成的配對資訊。該配對資訊以及該等動作組隨後被饋送到模態控制邏輯組件510，其接收該等動作/命令並且使用該配對資料來判定顯示在顯示器512上的哪個物件係藉由哪組動作來受控制。
例如，模態輸入裝置A 502可與經顯示物件A 514配對，而模態輸入裝置B 504可與經顯示物件B 516配對。此多模態輸入程序係以此種方式來模組化，其中模態配對邏輯組件508可解除一給定模態輸入資料串流與一第一經顯示物件的聯結，並且使相同串流與一第二物件再聯結。因此，可在任何時間使一輸入串流從控制一第一物件的動作切換為控制一第二物件的動作。此外，可把一物件從受一第一串流的控制切換成受一第二串流的控制。
在許多實施例中，模態配對邏輯組件508可實行一使用者介面，以給予該使用者能明確地對一顯示物件或其他受控制元件(例如觀點視線實行方案)分派各個輸入模態的能力。因此，在許多實施例中，該使用者可進入具有一第一可得輸入模態清單以及一第二可得顯示物件/元件/功能清單的一使用者介面，以進行控制動作。該使用者可隨後明確地使各個模態與一物件等配對。可隨後由模態配對邏輯組件508在操作該系統的過程中使用此資訊。
此外，並非任何輸入串流均有能力可以控制任何物件，但如果有任何限制，可藉由限制某些使用者設定編程模態配對邏輯組件的方式來預先判定並實行該等限制。
第6圖以流程圖展示出一種使用一模態輸入串流來控制一經顯示物件之程序的一實施例。
該程序係由處理邏輯組件來執行，該處理邏輯組件可包括硬體(例如一般用途電腦中的電路)、軟體(例如OS或軟體應用程式程式碼)、韌體(例如微碼或基本輸入/輸出系統(BIOS)程式碼)、或該處理邏輯組件之該等形式中任何二或更多種的一組合。第6圖中的程序係有關一個單一模態輸入串流。在許多實施例中，此程序係針對各個模態輸入串流來進行。
此程序藉著處理邏輯組件從一使用者擷取一模態輸入資料串流(處理方塊600)來開始。接下來，處理邏輯組件把該模態輸入資料串流解譯成一組動作或命令(處理方塊602)。隨後，處理邏輯組件分派該組動作/命令，以控制一特定經顯示物件(處理方塊604)。最後，處理邏輯組件使用該組動作來控制該經分派經顯示物件(處理方塊606)。
第7圖以流程圖展示出一種使用多模態輸入以同時地控制不只一個經顯示物件之程序的一實施例。
再度地，此程序係由處理邏輯組件來執行，該處理邏輯組件可包括硬體(例如一般用途電腦中的電路)、軟體(例如OS或軟體應用程式程式碼)、韌體(例如微碼或基本輸入/輸出系統(BIOS)程式碼)、或該處理邏輯組件之該等形式中任何二或更多種的一組合。
該程序藉著由處理邏輯組件分派一第一模態輸入(藉由與該第一模態輸入相關聯的該等解譯動作)，以控制一顯示器螢幕上的一第一物件(處理方塊700)來開始。接下來，處理邏輯組件分派一第二模態輸入(藉由與該第二模態輸入相關聯的該等解譯動作)，以控制該顯示器螢幕上的一第二物件(處理方塊702)。
在此時點，此程序流程分叉進行，且方塊704與方塊706同時地由處理邏輯組件來進行。特定地，處理邏輯組件使用該第一模態輸入(透過與該第一模態輸入有關的該組解譯動作)來控制該顯示器螢幕上的該第一物件(處理方塊704)。同時間，處理邏輯組件使用該第二模態輸入(透過與該第二模態輸入有關的該組解譯動作)來控制該顯示器螢幕上的該第二物件(處理方塊706)，且該程序便結束。
第8圖展示出一種電腦系統的一實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
圖上繪示出電腦系統800。在數個實施例中，電腦系統800包括一或多個中央處理單元(CPU)。雖然在許多實施例中，可能有多個CPU，為了清楚展示的目地，在展示於第8圖的實施例中，僅展示出二個CPU(802與804)。CPU 802與CPU 804可為(英特爾公司)出品的CPU，或者可為另一個品牌出品的CPU。各個CPU包括一或多個核心。在展示出的實施例中，CPU 802包括核心A0(806)、核心A1(808)、核心A2(810)、以及核心A3(812)，而CPU 804包括核心B0(814)、核心B1(816)、核心B2(818)、以及核心B3(820)。
在其他實施例中，CPU 802與CPU 804可各具有數個核心，多於或少於展示於第8圖中的該等四個核心皆可。在許多實施例中，各個核心(例如核心A0(806))包括多個內部功能區塊，例如一或多個執行單元、退隱單元、一組一般用途與特定暫存器等。如果展示於第8圖的該等核心為多執行緒核心或為超執行緒核心，各個硬體執行緒便亦可被視為一核心。
CPU 802與CPU 804亦可各包括一或多個快取記憶體，例如分別地包括最後階層快取記憶體(LLC) 822與最後階層快取記憶體(LLC) 824。在許多未展示出的實施例中，可實行除了快取記憶體822與快取記憶體824以外的其他快取記憶體，其中多個快取記憶體階層存在於各個核心與記憶體的執行單元之間。在不同實施例中，可利用不同方式來分派該等快取記憶體。在不同實施例中，快取記憶體822與快取記憶體824可各為不同大小。例如，快取記憶體822與快取記憶體824可各為一個8百萬位元組(MB)快取記憶體、一個16 MB快取記憶體等。此外，在不同實施例中，該快取記憶體可為一直接映射快取記憶體、一完全關聯式快取記憶體、一多通道成組關聯式快取記憶體、或具有另一種對映類型的快取記憶體。各個快取記憶體可包括該個別CPU中所有核心之間共享的一大部分，或者可被劃分為數個分離的功能片段(例如各個核心一個片段)。各個快取記憶體亦可包括在所有核心之間共享的一部分以及為每個核心之分離功能片段的數個其他部分。
在許多實施例中，CPU 802與CPU 804各包括其本身的系統記憶體控制器(分別地為826與828)，以提供用以和系統記憶體830與系統記憶體832通訊的一介面。在未展示出的其他實施例中，記憶體控制器830與記憶體控制器832可為分立裝置，或者在電腦系統800的其他裝置中受整合。
系統記憶體830與系統記憶體832可包含動態隨機存取記憶體(DRAM)，例如一種雙資料率(DDR) DRAM、非依電性記憶體(例如快閃記憶體)、相變記憶體(PCM)、或根據另一種記憶體技術。系統記憶體830與系統記憶體832可為用以儲存分別由CPU 802與CPU 804操作之資料與指令的一般用途記憶體。此外，電腦系統800中可以有其他可能的裝置，其具有可讀取該等系統記憶體且對該等系統記憶體寫入的性能，例如一直接記憶體存取(DMA)致能I/O(輸入/輸出)裝置。
使各個CPU與各個個別系統記憶體耦合的鏈結(即匯流排、互連體等)可包括能夠傳輸資料、位址、控制、與時脈資訊的一或多個光學、金屬、或其他電線(即線路)。
再者，CPU 802與CPU 804可分別使用P2P介面電路834與P2P介面電路836而透過一點對點(P2P)介面來彼此通訊。該P2P介面可包括高速雙向串列鏈結、分離的單向串列鏈結對、或並行實行的鏈結等。除了彼此通訊之外，CPU 802與CPU 804亦可透過相同類型的P2P介面與一高效能介面複合體838通訊。特定地，CPU 802可透過位於該CPU側上的P2P介面電路840以及位於複合體838側上的P2P介面電路842與複合體838通訊，而CPU 804可透過位於該CPU側上的P2P介面電路844以及位於複合體838側上的P2P介面電路846與複合體838通訊。
高效能介面複合體838可對需要高資料傳輸量的任何子系統提供一介面。例如，高效能圖形子系統848可透過I/O介面850與該等CPU通訊，而高效能通訊子系統852可透過I/O介面854進行通訊。高效能介面複合體838亦可包括用以與I/O中樞複合體858通訊的I/O介面856，其使用I/O介面860。用於展示在電腦系統800中之各個I/O介面的電路可為相同的或者可為不同的。例如，使高效能圖形子系統848耦合至複合體838的I/O介面850可包含一個16通道周邊部件介面(PCI)快速協定鏈結，而使高效能介面複合體838耦合至I/O複合體858的I/O介面856可使用一種不同的協定。
I/O中樞複合體858可提供介於耦合至一或多個I/O互連體(即匯流排)以及CPU 802與CPU 804之多個裝置間的一個一般通訊介面。例如，I/O中樞複合體858可包括一或多個I/O轉接器，例如I/O轉接器862，其可提供允許I/O裝置(例如I/O裝置864)能通訊地耦合至電腦系統800之其他部分的一介面。例如，一I/O中樞複合體可為一通用串列匯流排(USB)中樞複合體，而另一個I/O中樞複合體可為一既有PCI中樞複合體。儲存轉接器866亦可被整合到I/O中樞複合體858中。儲存轉接器866提供一通訊介面給大量儲存裝置868。大量儲存裝置368可為一硬碟驅動機、一固態驅動機、一相變記憶體陣列、或另一種形式的大量儲存體。
輸入介面870允許電腦系統800能耦合到多個輸入裝置，例如相機872與麥克風874。
能夠成功地實行執行CLMARK與FASTCMPXCHG指令之處理邏輯組件的至少一實施例可存在於電腦系統300的各個核心中。此邏輯組件係分別地由核心A0(306)、核心A1(308)、核心A2(310)與核心A3(312)中的處理邏輯組件400、處理邏輯組件402、處理邏輯組件404與處理邏輯組件406來表示，以及分別地由核心B0(314)、核心B1(316)、核心B2(318)與核心B3(320)中的處理邏輯組件408、處理邏輯組件410、處理邏輯組件412與處理邏輯組件414來表示。再者，在其他實施例中，能夠成功地執行CLMARK與FASTCMPXCHG指令的該處理邏輯組件可散佈在展示於第3圖的數個電路、邏輯組件單元或裝置中。
雖然並未展示出來，使用CPU、匯流排、記憶體等之不同佈置的其他電腦系統實行方案亦可完美地用來實行本發明。
此外，在進行操作的不同時間中，用以實行使用多模態輸入來控制一顯示器上之多個物件之一程序的邏輯組件可駐存在電腦系統800的一或多個位置中。例如，該邏輯組件可包含實行該程序的軟體程式碼876。可把此邏輯組件儲存於系統記憶體830或系統記憶體832中(邏輯組件876A或邏輯組件876B)、儲存於快取記憶體822或快取記憶體824中(邏輯組件876C或邏輯組件876D)、儲存於大量儲存裝置868中(邏輯組件876E)、或儲存於電腦系統800內部的他處或儲存於電腦系統800外部的他處。在其他實施例中，可使該處理邏輯組件部分地實行於系統800的韌體或硬體中。
第9圖展示出一種電腦系統的另一個實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
圖上繪示出電腦系統900。第9圖中的電腦系統大致上包含一晶片上系統(SoC)佈置。該SoC佈置可用於任何類型的電腦系統中，但對小尺寸外型的運算裝置有效，例如蜂巢式電話、智慧型電話、機上盒、遊戲控制台、與小型筆記型電腦，例如小筆電類型運算裝置。
電腦系統900的多個部件與上面參照第8圖所述的部件相同，包括CPU 902。在一種SoC佈置中，具有一個單一CPU是相當普遍的，雖然在未展示的其他實施例中，一或多個額外CPU亦可位於電腦系統900中。
再度地，CPU 902可為公司出品的CPU，或者可為另一個品牌出品的CPU。CPU 902包括一或多個核心。在展示出的實施例中，CPU 902包括核心A(904)、核心B(906)、核心C(908)、以及核心D(910)。僅需要使用一個核心來操作該電腦系統，但額外的核心可使工作負荷散佈並且可能增高整體系統效能。CPU 902亦可包括一或多個快取記憶體，例如快取記憶體912。
在許多實施例中，CPU 902包括系統記憶體控制器914，其用以提供與系統記憶體916進行通訊的一介面。CPU 902亦可包括整合式圖形子系統918，其能夠運算欲顯示在顯示器裝置920上的像素、頂點、與幾何資料。CPU 902可額外地包括用以提供與外部裝置通訊之一I/O介面的通訊子系統922。通訊子系統922可包括有線介面924與無線介面926二種。
CPU 902亦包括儲存控制器928，其用以對大量儲存裝置930提供一介面。此外，CPU 902能夠與I/O裝置通訊，例如分別透過I/O主機控制器936與I/O主機控制器938和I/O裝置932與I/O裝置934通訊。該等I/O轉接器可各允許CPU 902能透過某一種協定與一或多個I/O裝置通訊。最後，輸入介面940允許該電腦系統能耦合至多個輸入裝置，例如一或多個相機942、一或多個麥克風944、以及其他輸入裝置。該等輸入裝置中的多個可包含模態輸入裝置。
在許多實施例中，邏輯組件，可能包括用以實行多模態輸入以控制顯示器裝置920上之多個物件的邏輯組件，可存在於以下多個位置的任何一個位置中。當把該邏輯組件的至少一部分實行於軟體時，該邏輯組件可存在於系統記憶體916中(邏輯組件946A)、大量儲存體930中(邏輯組件946B)、快取記憶體912中(邏輯組件946C)，或可能位於任何核心中(未展示)。當把該邏輯組件的至少一部分實行於硬體時，該邏輯組件可存在於位於CPU 902之該等核心(邏輯組件946D)外部的一般電路(非核心)中。
亦可把本發明實施例的元件備置為一種用以儲存機器可執行指令的機器可讀媒體。該機器可讀媒體包括但不限於：快閃記憶體、光碟片、小型碟片唯讀記憶體(CD-ROM)、數位多用途/視訊碟片(DVD) ROM、隨機存取記憶體(RAM)、可抹除可規劃唯讀記憶體(EPROM)、電性可抹除可規劃唯讀記憶體(EEPROM)、磁性或光學卡、傳播媒體、或適於儲存電子指令的其他類型機器可讀媒體。例如，可把本發明實施例作為電腦程式以供下載，並且利用體現在載波或其他傳播媒體中的資料信號並透過通訊鏈路(例如數據機或網路連結)從遠端電腦(例如伺服器)傳輸到提出請求的電腦(例如客戶機)。
在上面的說明中，係使用某種用語來解說本發明的實施例。例如，〝邏輯組件〞一語代表用以進行一或多個功能的硬體、韌體、軟體(或該等的任何組合)。例如，〝硬體〞的實例包括但不限於：一積體電路、一有限狀態機器、或甚至包括組合式邏輯組件。該積體電路可呈一處理器的形式，例如一微處理器、一特定應用積體電路、一數位信號處理器、一微控制器等。
應該了解的是，本發明說明中所謂的〝一個實施例〞或〝一實施例〞表示的是參照實施例所述的一特定特徵、結構、或者特性係包括在本發明的至少一實施例中。因此，要強調且應該了解的是，本發明說明不同部分中出現的二或更多個〝一個實施例〞或〝一實施例〞或〝一替代實施例〞未必均表示相同的實施例。再者，在本發明的一或多個實施例中，可適當地結合該等特定特徵、結構或特性。
相似地，應該了解的是，在上面的本發明實施例詳細說明中，有時於單一實施例、圖式、或說明中把各種不同的特徵結合在一起，以協助了解本發明各種不同面向。然而，所揭露的方法並不應被解釋為反映出本發明請求項目需要多於清楚地在各個申請專利範圍說明的特徵。反之，如以下申請專利範圍反映地，本發明的面向在於少於前述單一揭露實施例的所有特徵中。因此，伴隨在本發明詳細說明之後的申請專利範圍藉此併入到本發明詳細說明中。
100．．．視線追蹤設備
102．．．參考圖框
200、202．．．模態輸入裝置2A~2B
204、206．．．結果2A~2B
300~304．．．模態輸入裝置3A~3C
306~310．．．結果3A~3C
400．．．運動員1視線
402．．．運動員1守門員
404．．．運動員1手臂姿態移動
406．．．運動員1射球員
408．．．運動員2視線
410．．．運動員2守門員
412．．．運動員2手臂姿態移動
414．．．運動員2射球員
500．．．多模態輸入運算裝置
502、504．．．模態輸入裝置A~B
506．．．模態解譯邏輯組件
508．．．模態配對邏輯組件
510．．．模態控制邏輯組件
512．．．顯示器
514、516．．．經顯示物件A~B
600~606．．．步驟方塊
700~706．．．步驟方塊
800、900．．．電腦系統
802、804、902．．．CPU
806~812．．．核心A0~A3
814~820．．．核心B0~B3
822、824．．．最後階層快取記憶體(LLC)
826、828、914．．．系統記憶體控制器
830、832、916．．．系統記憶體
834、836、840~846．．．P2P介面電路
838、848．．．高效能介面複合體
850、854~856、860．．．I/O介面
852．．．高效能通訊子系統
858．．．I/O中樞複合體
862．．．I/O轉接器
864、932~934．．．I/O裝置
866．．．儲存轉接器
868、930．．．大量儲存裝置
870、940．．．輸入介面
872、942．．．相機
874、944．．．麥克風
876A~E、946A~D．．．邏輯組件
904~910．．．核心A~D
912．．．快取記憶體
918．．．整合式圖形子系統
920．．．顯示器裝置
922．．．通訊子系統
924．．．有線介面
926．．．無線介面
928．．．儲存控制器
936~938．．．I/O主機控制器
第1圖展示出視線模態輸入的一實施例，其操控在顯示器上所看到的東西。
第2圖展示出多模態輸入的一實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。
第3圖展示出多模態輸入的另一個實施例，其為一使用者藉以控制一顯示器上之多個物件的方式。
第4圖展示出多模態輸入的一實施例，其為二位使用者各藉以控制一顯示器上之多個物件的方式。
第5圖以方塊圖展示出一種模組化多模態輸入系統的一實施例。
第6圖以流程圖展示出一種使用一模態輸入串流來控制一經顯示物件之程序的一實施例。
第7圖以流程圖展示出一種使用多模態輸入以同時地控制不只一個經顯示物件之程序的一實施例。
第8圖展示出一種電腦系統的一實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
第9圖展示出一種電腦系統的另一個實施例，該電腦系統實行多模態輸入以控制一顯示器上的多個物件。
500．．．多模態輸入運算裝置
502．．．模態輸入裝置A
504．．．模態輸入裝置B
506．．．模態解譯邏輯組件
508．．．模態配對邏輯組件
510．．．模態控制邏輯組件
512．．．顯示器
514．．．經顯示物件A
516．．．經顯示物件B

Claims (21)

  1. 一種模組化多模態輸入系統，其包含：多個模態輸入裝置，各個模態輸入裝置用以從一使用者擷取一模態輸入資料串流；模態解譯邏輯組件，其用以把該等多個已擷取模態輸入資料串流中的各個串流解譯為對應的一組動作；模態配對邏輯組件，其用以分派對應的各組動作，以控制多個經顯示物件中的一物件，其中該模態配對邏輯組件實行一使用者介面使該使用者能夠明確地分派模態輸入之各個串流至一顯示物件；以及模態控制邏輯組件，其藉著各個經顯示物件的受分派動作組來控制各個經顯示物件，其中該等多個模態輸入裝置各別捕捉與一不同類型之遊戲性動作(gameplay action)對應的一不同類型之模態輸入資料，及其中該模態配對邏輯組件可運作以使該等多個經顯示物件中之一第一經顯示物件的一控制分派內容，從具有一第一類型資料之一第一類型輸入裝置的一第一模態輸入資料串流，動態地改變為具有與該第一類型資料不同的一第二類型資料之一第二類型輸入裝置的一第二模態輸入資料串流。
  2. 如申請專利範圍第1項之模組化多模態輸入系統，其中該模態配對邏輯組件可運作以使該等多個模態輸入資料串流中的一第一模態輸入資料串流從控制一第一經 顯示物件動態地改變為控制一第二經顯示物件。
  3. 如申請專利範圍第1項之模組化多模態輸入系統，其另包含：模態輸入管理邏輯組件，其用以為該使用者當作一群組來管理該等多個模態輸入裝置中的二或更多個，該模態輸入裝置群組允許該使用者提供同時控制該等多個經顯示物件中之二或更多個物件的功能。
  4. 如申請專利範圍第3項之模組化多模態輸入系統，其中該群組中之該等多個模態輸入裝置中的至少二個為免持式模態輸入裝置。
  5. 如申請專利範圍第3項之模組化多模態輸入系統，其中該群組中的一第一模態輸入裝置以及該群組中的一第二模態輸入裝置為不同的模態類型。
  6. 如申請專利範圍第1項之模組化多模態輸入系統，其中該等多個模態輸入裝置中的至少一模態輸入裝置為一視訊攝影機、一麥克風、以及一加速度計中的一個。
  7. 如申請專利範圍第1項之模組化多模態輸入系統，其中該使用者介面包含一第一可得模態輸入之串流清單及一第二可得用以控制之顯示物件清單。
  8. 一種用於模組化多模態輸入之方法，其包含下列步驟：從一使用者擷取多個模態輸入資料串流，該等模態輸入資料之各個串流擷取自多個模態輸入裝置中之一不同者；把該等多個已擷取模態輸入資料串流中的各個串流 解譯為對應的一組動作；分派對應的各組動作，以控制多個經顯示物件中的一物件；實行一使用者介面使該使用者能夠明確地分派模態輸入之各個串流至一顯示物件；藉著各個經顯示物件的受分派動作組來控制各個經顯示物件；以及使該等多個經顯示物件中之一第一經顯示物件的一控制分派內容，從具有一第一類型資料之一第一類型輸入裝置的一第一模態輸入資料串流，動態地改變為具有與該第一類型資料不同的一第二類型資料之一第二類型輸入裝置的一第二模態輸入資料串流，其中該等多個模態輸入裝置各別捕捉與一不同類型之遊戲性動作對應的一不同類型之模態輸入資料。
  9. 如申請專利範圍第8項之方法，其另包含下列步驟：使該等多個模態輸入資料串流中的一第一模態輸入資料串流從控制一第一經顯示物件動態地改變為控制一第二經顯示物件。
  10. 如申請專利範圍第8項之方法，其另包含下列步驟：為該使用者當作一群組來管理該等多個模態輸入裝置中的二或更多個，該模態輸入裝置群組允許該使用者提供同時控制該等多個經顯示物件中之二或更多個物件的功能。
  11. 如申請專利範圍第10項之方法，其中該群組中之該等 多個模態輸入裝置中的至少二個為免持式模態輸入裝置。
  12. 如申請專利範圍第10項之方法，其中該群組中的一第一模態輸入裝置以及該群組中的一第二模態輸入裝置為不同的模態類型。
  13. 如申請專利範圍第8項之方法，其中該等多個模態輸入裝置中的至少一模態輸入裝置為一視訊攝影機、一麥克風、以及一加速度計中的一個。
  14. 如申請專利範圍第8項之方法，其中該使用者介面包含一第一可得模態輸入之串流清單及一第二可得用以控制之顯示物件清單。
  15. 一種儲存有指令的非暫態機器可讀媒體，該等指令受一機器執行時會使該機器進行包含下列動作的一方法：從一使用者擷取多個模態輸入資料串流，該等模態輸入資料之各個串流擷取自多個模態輸入裝置中之一不同者；把該等多個已擷取模態輸入資料串流中的各個串流解譯為對應的一組動作；分派對應的各組動作，以控制呈現於一顯示裝置上之多個經顯示物件中的一物件；實行一使用者介面使該使用者能夠明確地分派模態輸入之各個串流至一顯示物件；藉著各個經顯示物件的受分派動作組來控制各個經顯示物件；以及 使該等多個經顯示物件中之一第一經顯示物件的一控制分派內容，從具有一第一類型資料之一第一類型輸入裝置的一第一模態輸入資料串流，動態地改變為具有與該第一類型資料不同的一第二類型資料之一第二類型輸入裝置的一第二模態輸入資料串流，其中該等多個模態輸入裝置各別捕捉與一不同類型之遊戲性動作對應的一不同類型之模態輸入資料。
  16. 如申請專利範圍第15項之非暫態機器可讀媒體，其中所進行的該方法另包含下列步驟：使該等多個模態輸入資料串流中的一第一模態輸入資料串流從控制一第一經顯示物件動態地改變為控制一第二經顯示物件。
  17. 如申請專利範圍第15項之非暫態機器可讀媒體，其中所進行的該方法另包含下列步驟：為該使用者當作一群組來管理該等多個模態輸入裝置中的二或更多個，該模態輸入裝置群組允許該使用者提供同時控制該等多個經顯示物件中之二或更多個物件的功能。
  18. 如申請專利範圍第17項之非暫態機器可讀媒體，其中該群組中之該等多個模態輸入裝置中的至少二個為免持式模態輸入裝置。
  19. 如申請專利範圍第17項之非暫態機器可讀媒體，其中該群組中的一第一模態輸入裝置以及該群組中的一第二模態輸入裝置為不同的模態類型。
  20. 如申請專利範圍第15項之非暫態機器可讀媒體，其中該等多個模態輸入裝置中的至少一模態輸入裝置為一視訊攝影機、以及一麥克風中的一個。
  21. 如申請專利範圍第15項之非暫態機器可讀媒體，其中該使用者介面包含一第一可得模態輸入之串流清單及一第二可得用以控制之顯示物件清單。
TW099144934A 2009-12-31 2010-12-21 利用多模態輸入來控制顯示器上多個物件之技術 TWI512541B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/655,583 US8977972B2 (en) 2009-12-31 2009-12-31 Using multi-modal input to control multiple objects on a display

Publications (2)

Publication Number Publication Date
TW201207667A TW201207667A (en) 2012-02-16
TWI512541B true TWI512541B (zh) 2015-12-11

Family

ID=43567363

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099144934A TWI512541B (zh) 2009-12-31 2010-12-21 利用多模態輸入來控制顯示器上多個物件之技術

Country Status (5)

Country Link
US (1) US8977972B2 (zh)
CN (1) CN102117118B (zh)
DE (1) DE102010055219A1 (zh)
GB (1) GB2476711B (zh)
TW (1) TWI512541B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8000969B2 (en) * 2006-12-19 2011-08-16 Nuance Communications, Inc. Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
USD625733S1 (en) 2009-03-04 2010-10-19 Apple Inc. Graphical user interface for a display screen or portion thereof
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US9348417B2 (en) * 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US20120244935A1 (en) * 2011-03-24 2012-09-27 International Business Machines Corporation Synchronizing game character display with game player viewing detection
US9094813B2 (en) * 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
USD671558S1 (en) 2011-10-04 2012-11-27 Apple Inc. Display screen or portion thereof with icon
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
JP5539945B2 (ja) * 2011-11-01 2014-07-02 株式会社コナミデジタルエンタテインメント ゲーム装置、及びプログラム
WO2013095626A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Eye movement based knowledge demonstration
USD703231S1 (en) 2012-03-06 2014-04-22 Apple Inc. Display screen or portion thereof with graphical user interface
USD705808S1 (en) 2012-03-27 2014-05-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD703695S1 (en) 2012-06-10 2014-04-29 Apple Inc. Display screen or portion thereof with graphical user interface
USD711408S1 (en) 2012-06-10 2014-08-19 Apple Inc. Display screen or portion thereof with graphical user interface
USD754159S1 (en) 2012-06-11 2016-04-19 Apple Inc. Display screen or portion thereof with graphical user interface
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
USD747344S1 (en) 2013-08-02 2016-01-12 Apple Inc. Display screen with graphical user interface
USD733744S1 (en) 2013-10-21 2015-07-07 Apple Inc. Display screen or portion thereof with graphical user interface
USD743443S1 (en) 2013-10-22 2015-11-17 Apple Inc. Display screen or portion thereof with graphical user interface
USD771112S1 (en) 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
USD775185S1 (en) 2015-03-06 2016-12-27 Apple Inc. Display screen or portion thereof with graphical user interface
USD760746S1 (en) 2015-06-04 2016-07-05 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD790575S1 (en) 2016-06-12 2017-06-27 Apple Inc. Display screen or portion thereof with graphical user interface
CN106371583B (zh) * 2016-08-19 2020-07-31 北京儒博科技有限公司 一种智能设备的控制方法及装置
US10297085B2 (en) 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
US10751605B2 (en) 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
JP6298523B1 (ja) * 2016-12-26 2018-03-20 株式会社コロプラ 仮想空間を介して通信するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるためのプログラム、およびコンピュータ装置
TWI634487B (zh) * 2017-03-02 2018-09-01 合盈光電科技股份有限公司 Action gesture recognition system
CN107390598B (zh) * 2017-08-31 2020-10-09 广东美的制冷设备有限公司 设备控制方法、电子设备和计算机可读存储介质
USD843442S1 (en) 2017-09-10 2019-03-19 Apple Inc. Type font
US10664041B2 (en) 2017-11-13 2020-05-26 Inernational Business Machines Corporation Implementing a customized interaction pattern for a device
USD877174S1 (en) 2018-06-03 2020-03-03 Apple Inc. Electronic device with graphical user interface
CN109101167B (zh) * 2018-08-31 2021-06-11 北京新界教育科技有限公司 控制方法及装置
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US12039215B2 (en) * 2019-01-07 2024-07-16 Cerence Operating Company Multimodal input processing for vehicle computer
USD902221S1 (en) 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
USD900871S1 (en) 2019-02-04 2020-11-03 Apple Inc. Electronic device with animated graphical user interface
US11652959B2 (en) 2020-05-12 2023-05-16 True Meeting Inc. Generating a 3D visual representation of the 3D object using a neural network selected out of multiple neural networks
US11805157B2 (en) * 2020-05-12 2023-10-31 True Meeting Inc. Sharing content during a virtual 3D video conference
USD942509S1 (en) 2020-06-19 2022-02-01 Apple Inc. Display screen or portion thereof with graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW366465B (en) * 1997-03-26 1999-08-11 Ibm Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
TW200740497A (en) * 2006-04-26 2007-11-01 Pixart Imaging Inc Interactive game apparatus and game controller using thereof
TW200821899A (en) * 2006-11-15 2008-05-16 Inventec Appliances Corp Interaction system and method
EP2077496A1 (en) * 2008-01-03 2009-07-08 WunderWorks B.V. Multi-user collaboration system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885361B1 (en) * 1987-03-24 2005-04-26 Sun Microsystems, Inc. Tactile feedback mechanism for a data processing system
US5339389A (en) * 1991-12-31 1994-08-16 International Business Machines Corporation User selectable lock regions
US5586243A (en) * 1994-04-15 1996-12-17 International Business Machines Corporation Multiple display pointers for computer graphical user interfaces
JPH0822370A (ja) * 1994-07-06 1996-01-23 Minolta Co Ltd 情報処理装置
JP3363283B2 (ja) * 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6459926B1 (en) * 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20030055644A1 (en) 2001-08-17 2003-03-20 At&T Corp. Systems and methods for aggregating related inputs using finite-state devices and extracting meaning from multimodal inputs using aggregation
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
EP1576769A4 (en) * 2002-11-13 2011-08-31 Intel Corp MULTIMODE WEB INTERACTION ON A WIRELESS NETWORK
JP4027269B2 (ja) 2003-06-02 2007-12-26 キヤノン株式会社 情報処理方法及び装置
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US7802265B2 (en) 2004-03-15 2010-09-21 Imi Innovations, Inc. Computer interface system using multiple independent graphical data input devices
US9389702B2 (en) * 2005-10-06 2016-07-12 Hewlett-Packard Development Company, L.P. Input association
US7599520B2 (en) 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
EP2016562A4 (en) 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
WO2008069519A1 (en) 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
TW200836563A (en) * 2007-02-27 2008-09-01 Awind Inc Pointing control system for multi-site presentation conference
US7973232B2 (en) * 2007-09-11 2011-07-05 Apple Inc. Simulating several instruments using a single virtual instrument
US8217854B2 (en) * 2007-10-01 2012-07-10 International Business Machines Corporation Method and system for managing a multi-focus remote control session
EP2090346B1 (en) * 2008-02-11 2015-07-08 Nintendo Co., Ltd. Method and apparatus for simulating games involving a ball
US8858330B2 (en) * 2008-07-14 2014-10-14 Activision Publishing, Inc. Music video game with virtual drums

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW366465B (en) * 1997-03-26 1999-08-11 Ibm Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
TW200740497A (en) * 2006-04-26 2007-11-01 Pixart Imaging Inc Interactive game apparatus and game controller using thereof
TW200821899A (en) * 2006-11-15 2008-05-16 Inventec Appliances Corp Interaction system and method
EP2077496A1 (en) * 2008-01-03 2009-07-08 WunderWorks B.V. Multi-user collaboration system

Also Published As

Publication number Publication date
US20110161890A1 (en) 2011-06-30
DE102010055219A1 (de) 2013-01-17
TW201207667A (en) 2012-02-16
GB201021412D0 (en) 2011-01-26
US8977972B2 (en) 2015-03-10
CN102117118A (zh) 2011-07-06
GB2476711B (en) 2012-09-05
GB2476711A (en) 2011-07-06
CN102117118B (zh) 2015-02-04

Similar Documents

Publication Publication Date Title
TWI512541B (zh) 利用多模態輸入來控制顯示器上多個物件之技術
JP6002424B2 (ja) ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
JP6158406B2 (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
JP5654430B2 (ja) 家庭用ゲームシステムにおいて実行中のゲーム又はアプリケーションをリアルタイムに記録又は変更するための携帯型ゲーム装置の使用
CN106133645B (zh) 使用第二屏幕作为私用跟踪抬头显示器
US10076703B2 (en) Systems and methods for determining functionality of a display device based on position, orientation or motion
JP5084052B2 (ja) コンピュータプログラムとのインタフェース時に方向検出を可能にするための方法およびシステム
US8957858B2 (en) Multi-platform motion-based computer interactions
US20170354864A1 (en) Directional Interface Object
US11833430B2 (en) Menu placement dictated by user ability and modes of feedback
US20200380259A1 (en) Response to a Real World Gesture in an Augmented Reality Session
CN112742025A (zh) 游戏事件识别
TW202113559A (zh) 具有多組且多埠口的分散式共享記憶體的人工實境系統
JP2012179420A (ja) ユーザ動作の欠如の判定、ユーザの活動レベルの判定、および／またはシステムに対して新たなプレーヤを追加する際に用いられる方法および装置
JP2020177607A (ja) 一人称視点モードと三人称視点モードとの間で切り替え可能なヘッドマウントディスプレイシステム、関連する方法、関連するプログラム及び関連する非一時的なコンピュータ可読記憶媒体
CN118265560A (zh) 用于渲染数据的预加载的输入预测
US9215478B2 (en) Protocol and format for communicating an image from a camera to a computing environment
TWI696092B (zh) 可根據現實物件創建虛擬物件並為虛擬物件賦予預設互動特性之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
Tseng Development of a low-cost 3D interactive VR system using SBS 3D display, VR headset and finger posture motion tracking

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees