TWI483140B - 偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法 - Google Patents

偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法 Download PDF

Info

Publication number
TWI483140B
TWI483140B TW101135595A TW101135595A TWI483140B TW I483140 B TWI483140 B TW I483140B TW 101135595 A TW101135595 A TW 101135595A TW 101135595 A TW101135595 A TW 101135595A TW I483140 B TWI483140 B TW I483140B
Authority
TW
Taiwan
Prior art keywords
user
portable consumer
consumer device
gesture
user activity
Prior art date
Application number
TW101135595A
Other languages
English (en)
Other versions
TW201331786A (zh
Inventor
Wendy March
Lakshman Krishnamurthy
Rahul C Shah
Carol A Wilder
Jack Schulze
David M Jones
Nick Ludlam
Matthew W Webb
Joseph A Malia
Aaron D Davies
Giuseppe Raffa
Lama Nachman
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201331786A publication Critical patent/TW201331786A/zh
Application granted granted Critical
Publication of TWI483140B publication Critical patent/TWI483140B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)

Description

偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法 相關申請案之交互參照
本申請案主張美國臨時申請案第61/546,799號之優先權(標題為GAME WITH GESTURE RECOGNITION AND CONTEXT AWARENESS，其係於2011/10/13申請)，以引用方式併入本文。
本揭露之態樣通常係關於可攜裝置，且更特別的是關於基於裝置感測器所收集的裝置動作和情境資訊來識別使用者活動的可攜裝置。
如行動電話和平板電腦的可攜裝置一般係用來執行多種不同的應用。藉由將如加速度計和迴轉儀之慣性感測器整合至可攜裝置中，提供偵測裝置行動的功能。因此，有機會有使用慣性感測器的已改善之可攜裝置和相關應用。另外，有機會有基於至少部分結合與一可攜裝置環境關聯的情境資訊之偵測移動及/或方向來識別和處理使用者活動的可攜裝置應用。
本揭露之實施例可提出可攜消費裝置及相關應用，配置以收集與可攜消費裝置之行動或可攜消費裝置之方向之 至少一者關聯的測量資料、以及與可攜消費裝置之外部環境關聯的資料。所收集的資料可被估算以判斷可攜消費裝置隨時間的移動以及與可攜消費裝置關聯的多種情境資訊，例如音頻資訊、周圍光資訊、及/或位置資訊。基於所判斷的移動以及所判斷的情境資訊可判斷使用者活動。如所希望，可與適當應用情境，如遊戲應用情境，結合地估算使用者活動。
基於本揭露之目的，「可攜消費裝置」之術語可指可易於用手攜帶或運送，以及用來執行一或多個估算使用者手勢及/或與使用者手勢關聯的情境資訊之應用的任何適當裝置。適當的「可攜消費裝置」之例子包括，但不受限於行動裝置(例如，行動電話、個人數位助理等)、平板電腦、手錶、手鐲、及/或以上之組合(例如，可穿戴式裝置與行動電話或平板的組合)。
現在將於下參考附圖來更加充分說明某些實施例，其中顯示各種實施例及/或態樣。然而，各種態樣可以不同形式來實作且不應被解釋成受限於本文所提出的實施例；反而，提出這些實施例使得本揭露將變得詳盡且完整，且將對本領域之熟知技藝者充分傳達本揭露之範圍。本文中的相同數字係指相同元件。
第1圖繪示可用來結合一可攜裝置及/或一相關可攜裝置應用的示範系統100之方塊圖。在某些實施例中，系統100可包括一可攜消費裝置105，配置以執行一些適當應用，如遊戲應用。在其他實施例中，可設置一或多個適 當的電腦可讀媒體，且電腦可讀媒體可配置以儲存與一可攜裝置應用關聯的資訊。這些電腦可讀媒體可包括由一或多個處理裝置執行的電腦可執行指令以執行或實作一可攜裝置應用。如本文所使用，「電腦可讀媒體」之術語說明任何形式的適當記憶體或以任何形式保留資訊的記憶體裝置，包括各種有形儲存裝置(例如，磁性的、光學的、靜態的等)。更確切地說，本揭露之各種實施例可以多種適當形式來實作。
如所希望，系統100可包括與適當硬體及/或軟體關聯的一或多個計算裝置。這些計算裝置可包括一些用於處理資料並執行電腦可執行指令的處理器、以及本技術所熟知的其他內部和周邊元件。另外，這些計算裝置可包括或通訊於一些可用來儲存資料及/或電腦可執行指令(如與一遊戲應用或其他應用關聯之電腦可執行指令)的適當記憶體裝置。藉由執行電腦可執行指令，可形成基於移動和情境資訊來判斷和估算使用者活動的專用電腦或特定機制。
參考第1圖，系統100可包括一或多個可攜消費裝置105A、105B(個別被稱為可攜消費裝置105)。示範可攜消費裝置包括，但不限於，行動裝置105A和平板電腦105B。如所希望，系統100可額外地包括一些遊戲伺服器110及/或應用伺服器115。可攜消費裝置105可配置以執行一或多個估算使用者活動的應用。雖然本文說明遊戲應用，但若需要的話可使用其他類型的應用。在某些實施例中，一或多個遊戲伺服器110可配置以提供情境及/或其 他遊戲資訊給可攜消費裝置105。另外，在某些實施例中，一或多個應用伺服器115(若需要的話可與遊戲伺服器110結合)可配置以提供(例如，下載、經由無線傳輸技術來提供等)遊戲應用(及/或其他適當應用)給可攜消費裝置105。如所希望，一些適當網路(如所示之網路120)可促進各種可攜消費裝置105A、105B之間及/或可攜消費裝置105A、105B與系統100之其他元件(如遊戲伺服器110或應用伺服器115)之間的通訊。會進一步詳細討論這些元件之各者。
示範可攜消費裝置105可包括一些處理器130、記憶體裝置135(通常被稱為記憶體135)、感測器140、通訊介面145、及/或輸入/輸出(「I/O」)介面150。處理器130可包括一些適當處理裝置，例如中央處理單元(「CPU」)、數位信號處理器(「DSP」)、精簡指令集電腦(「RISC」)、複雜指令集電腦(「CISC」)、微處理器、微控制器、行動處理器、現場可程式閘陣列(「FPGA」)、或任何以上之組合。如所希望，可提供晶片組(未顯示)來控制處理器130與可攜消費裝置105的一或多個其他元件之間的通訊。可攜消費裝置105亦可包括一或多個處理器作為部份之用於處理特定資料處理功能或工作之一或多個應用特定積體電路(「ASIC」)或應用特定標準產品(「ASSP」)。
記憶體135可包括一些適當記憶體裝置，例如快取、唯讀記憶體裝置、隨機存取記憶體(「RAM」)、快閃記憶 體裝置、電子式可抹除可程式化唯讀記憶體(「EEPROM」)、非揮發性RAM(「NVRAM」)、通用序列匯流排(「USB」)可移除式記憶體、磁性儲存裝置、可移除式儲存裝置(例如，記憶卡等)、及/或不可移除式儲存裝置。在某些實施例中，可攜消費裝置105可包括一或多個包括處理和記憶體元件兩者的晶片。如所希望，記憶體135可包括與可攜消費裝置105通訊之內部記憶體裝置及/或外部記憶體裝置。記憶體135可儲存資料、可執行指令、及/或處理器130所使用的各種程式模組。可由記憶體135儲存的資料例子包括資料檔案155及/或一些適當程式模組及/或可由處理器130執行的應用，例如作業系統(「OS」)160及/或遊戲應用165。
在某些實施例中，可攜消費裝置105可額外地包括一感測器處理元件及/或相關感測器集線器應用(其被稱為感測器集線器166)。如所希望，遊戲應用165可引動及/或使用感測器集線器166來處理所收集的感測器資料(例如，情境資訊、行動資料等)。另外，在某些實施例中，當遊戲應用165正在背景模式中運作及/或當處理器130正在休眠模式中運作時，感測器集線器166可處理所收集的感測器資料，且感測器集線器166可基於至少部分處理來開始遊戲應用165。
資料檔案155可包括促進可攜消費裝置105之操作、遊戲應用165及/或感測器集線器處理模組之接收、及/或任何應用之執行的任何適當資料。例如，所儲存的資料檔 案155可包括，但不限於，使用者個人檔案資訊、從一或多個感測器140收集的測量資訊、與所欲之使用者活動關聯的資料、與所識別之使用者活動關聯的資料、與執行一或多個遊戲情境或迷你遊戲關聯的資料、與一或多個遊戲情境之結果關聯的資料、與使用者成績關聯的資料、及/或從系統100之一或多個其他元件收到的資料。OS 160可以是促進可攜消費裝置105的一般操作、以及執行其他程式模組(如遊戲應用165)的適當模組或應用。
遊戲應用165可包括一些適當軟體模組及/或應用，其促進與所欲之使用者活動關聯的方向之輸出、使用者活動之識別及/或判斷、及/或使用者活動之估算。如上所述，遊戲應用165可經由一些適當技術(如下載技術或無線傳輸技術)從如應用伺服器115或可攜記憶體裝置之多種適當來源獲得。在某些實施例中，遊戲應用165可配置來在使用者攜帶可攜消費裝置105時執行(隨接即用)「on the go」。例如，遊戲應用165可配置來使用在多種與可攜消費裝置105關聯的作業環境中，包括但不限於各種位置及/或在傳輸期間。
在操作過程中，遊戲應用165可輸出與一些情境及/或迷你遊戲關聯的資訊。例如，如於下參考第7-30圖更加詳細所述，遊戲應用165可輸出與間諜或特務情境關聯的資訊。若需要的話亦可使用其他類型的情境。可關聯一情境來產生多種適當的音頻及/或顯示(例如，文字、影像、視頻等)輸出。另外，協同輸出資訊，遊戲應用165 可引導使用者使用可攜消費裝置105來完成多種不同工作及/或所欲之活動。多種不同測量資料及環境資料接著可依需求從感測器140收到並被估算以識別或判斷已使用可攜消費裝置105來進行的使用者活動。接著可比較所判斷之使用活動與所欲之活動，且可基於至少部分比較來控制及/或更新情境或迷你遊戲的輸出。
如所希望，遊戲應用165可要求使用者完成一些不同活動。例如，可要求使用者利用可攜消費裝置105來做出與情境關聯的所欲手勢。接著可估算慣性感測器測量資料(如從加速度計及/或迴轉儀收集的資料)以判斷是否已做出所欲手勢。作為另一實例，可要求使用者利用可攜消費裝置105來收集所欲之音頻輸入。另外，在某些實施例中，多種情境資訊可與所欲之使用者活動關聯。例如，可要求使用者在相對低光線(例如，黑暗)的環境中、在吵雜(例如，相對高噪音)或安靜(例如，相對低噪音)的環境中、或在相對冷或相對溫暖的環境中做出所欲之手勢。作為另一實例，可要求使用者在特定位置或特定類型的位置中(例如，在藥局中、在家中等)做出所欲之手勢。
與可攜消費裝置105關聯之多種適當的感測器140(例如，GPS 170、一些加速度計172、一些迴轉儀174、光感測器176、音量感測器(未顯示)、溫度感測器(未顯示)、鄰近感測器(未顯示)、及/或一些經由I/O介面150來連接的I/O裝置感測器(例如，麥克風、照相機等))可用來收集與可攜消費裝置105關聯的行動資訊(例如， 動作、方向等)及/或與可攜消費裝置105之外部環境關聯的情境資訊。另外，在某些實施例中，情境資訊可經由一些通訊介面145來收集。例如，可指示使用者在可攜消費裝置105與另一裝置通訊時進行一活動。如所希望，I/O介面150亦可促進與一些其他適當的I/O裝置通訊，如一些適當的輸入元件(例如，鍵盤、觸控螢幕顯示器等)、一或多個揚聲器、及/或一或多個適當的顯示裝置(例如，液晶顯示器、發光二極體顯示器、有機發光二極體顯示器、觸控螢幕顯示器等)。
如在各種實施例中所希望，可收集及/或估算多種不同類型的情境資訊。第2圖係可攜消費裝置105之示範感測能力的圖表200。第2圖所示之感測能力可用來識別多種使用者活動及/或動作。參考第2圖，感測器140可促進收集資料，其可被估算以感測實體活動、光線、音頻、手勢、羅盤及/或迴轉儀資料、GPS或位置資料、及/或各種網路通訊。可被感測之實體活動的例子包括，但不限於，使用者仍靜止、使用者漫步、使用者行走、使用者跑步、及/或使用者循環動作。可估算如位置(及/或位置隨時間的變化)和慣性感測器資料(例如，加速度計172、迴轉儀174等)的多種測量資料以判斷或識別不同的實體活動。另外，可利用多種適當的演算法來偵測及/或區分各種實體活動。
光感測器176可以是任何適當的元件或裝置，配置以偵測及/或測量與可攜消費裝置環境關聯的周圍亮度級或 光強度。在某些實施例中，光感測器176可被併入可攜消費裝置105之適當的照相機元件中。例如，電荷耦合裝置(「CCD」)、互補式金氧半導體(「CMOS」)感測器、或其他適當的照相機裝置可促進亮度級之偵測及/或測量。如所希望，可比較所測得之亮度級與一些適當的臨界值以識別多種照明環境，例如相對低光線(或黑暗)的環境、正常光線環境、及/或相對高光線(或明亮)的環境。如在各種實施例中所希望，可使用一些與不同亮度級關聯的臨界值及/或相關環境。另外，在某些實施例中，光感測器可配置以識別各種類型的光線，例如螢光、日光、紅外光、及/或不同顏色的光線。
麥克風可包括任何已知類型的麥克風，包括但不限於電容麥克風、動態麥克風、電容隔膜麥克風、壓電麥克風、光學拾音麥克風、及/或各種以上之組合。在操作過程中，麥克風可收集聲波及/或壓力波，並提供所收集的音頻資料(例如，語音資料等)給處理器130以供估算。可處理所收集的音頻輸入及/或將其與一些臨界值比較以識別多種音頻環境，例如相對低音量(或安靜)的環境及/或相對高音量(或吵雜)的環境。另外。可處理所收集的音頻輸入以識別多種不同類型的聲音，例如人的說話、群眾喋喋不休、與可攜消費裝置105關聯的噪音、音樂、及/或機械聲音。如所希望，可利用如語音辨識演算法之多種適當的演算法來區分各種類型的聲音。
加速度計172可包括一些如3D加速度計之適當的裝 置，其配置以測量與可攜消費裝置105關聯之適當加速度。迴轉儀174可包括一些如電子及/或微電機(「MEMS」)迴轉儀之適當的裝置，其配置以測量及/或判斷可攜消費裝置105的方向。可利用從加速度計172和迴轉儀174收集的測量資料來識別裝置方向及/或多種與可攜消費裝置105關聯的行動。另外，測量資料可使用一些適當的演算法及/或技術來估算以識別一或多個由使用者使用可攜消費裝置105所進行的手勢。可識別或判斷多種不同類型的行動及/或手勢，例如，向上和向下移動、向左和向右移動、對角線移動、沿著一些軸的行動、各種形狀(例如，圓形等)、字母及/或以上之任何適當組合可基於慣性感測器所收集的資料來偵測。可利用多種適當的演算法及/或技術來估算慣性感測器測量及/或資料以識別各種類型的手勢。
GPS 170可以是任何適當裝置或元件，配置以基於與GPS衛星網路的互動來判斷可攜消費裝置105的位置。GPS 170可識別位置資訊(例如，座標)及/或與位置變化關聯的資訊。如所希望，可使用其他適當的位置元件及/或位置識別技術，例如多點定位無線電鐵塔之間的無線電信號及/或用於行動通訊(「GSM」)追蹤的全球系統。
由於GPS資訊，可作出多種基於位置的判斷。例如，可作出關於是否將可攜消費裝置105帶入所欲區域或區域類型中(例如，商店類型等)的判斷。另外，在判斷實體活動期間可估算位置的變化。
最後，一或多個適當的通訊介面145可促進可攜消費裝置105連接多種不同類型的網路120(例如網路、藍牙啟動的網路、Wi-Fi啟動的網路、及/或蜂巢式網路)。如所希望，其他類型的通訊裝置可併入可攜消費裝置105中，如紅外線通訊裝置。由於各種通訊技術，可攜消費裝置105可與多種其他裝置(例如，伺服器、其他可攜消費裝置105、輸出資訊的裝置等)通訊，並可基於所識別的連接性(例如，裝置是否與特定裝置通訊等)及/或所收到的資料來作判斷。
僅藉由舉例的方式來提出第2圖所示之感測能力。如所希望，多種其他感測能力可併入可攜消費裝置105中並結合遊戲應用來使用。
繼續參考第1圖，在某些實施例中，情境資訊可被遊戲應用165(例如，使用感測器集線器166)或被感測器集線器166使用以促進手勢辨識之分段。在此方面，可攜消費裝置105可進行手勢之無按鈕的分段。例如，可識別與開始手勢辨識關聯的情境資訊(例如，到達某個位置、使用光偵測器來識別低光線環境、使用音量或音頻偵測器來識別「安靜」或「吵雜」的環境、使用適當的語音辨識來識別口說命令、識別與另一裝置或系統的通訊、等等)，且可初始手勢辨識及/或可基於至少部分情境資訊來識別手勢的開始。在其他實施例中，可初始手勢辨識及/或可基於輸出方向來識別手勢的開始。例如，可引導使用者使用可攜消費裝置105來「畫出一個圓」或「在15秒之內 畫出一個圓」，且可攜消費裝置105在輸出方向之後可開始手勢辨識。在又一實施例中，識別手勢可觸發情境資訊之收集和估算。例如，可指示使用者「在吵雜的環境中畫出一個圓」。一旦辨識圓形手勢，就可收集並估算環境音頻資訊以判斷使用者是否在吵雜的環境中。
更確切地說，多種手勢可能倚賴於環境及/或被定制成特定動作、環境、或情況。作為一實例，可要求使用者在吵雜的環境中畫出一個圓。作為另一實例，可要求使用者在移動時(例如，跑步、循環動作、行走等)進行一特定行動或手勢。另外，可使用多種適當的演算法來識別各種類型的手勢。例如，可攜消費裝置105可在振動裝置105與輕彈裝置105之間作區分。同樣地，可使用多種適當的演算法來識別各種類型的行動，例如行走、跑步、循環動作、及/或仍靜止。
如在各種實施例中所希望，亦可藉由遊戲應用165來決定手勢分數或分級。例如，可在由使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷或計算出使用者手勢與所欲之手勢之間的相關。在此方面，針對所欲之手勢可計分或分級手勢。接著可使用分數或分級來鼓勵使用者改善手勢及/或判斷是否已圓滿完成情境。另外，在某些實施例中，可比較使用者做出的手勢或動作與其他使用者做出的手勢及/或動作，並可針對其他手勢及/或動作來分級及/或計分使用者手勢或動作。例如，可將與使用者手勢或動作關聯的資訊傳遞至遊戲伺服器110 以促進分級。
感測器集線器166(其在各種實施例中是可選擇的)可包括一些促進情境資訊及/或代表遊戲應用165的使用者活動之識別的適當硬體元件及/或適當軟體模組或應用。例如，一旦遊戲應用165輸出與所欲之活動關聯的指令，感測器集線器166就可進行情境資訊之收集及/或手勢及/或其他行動之估算。接著可將與估算關聯的資訊提供給遊戲應用165。
另外，在某些實施例中，可基於感測器集線器166判斷已收到所欲之情境資訊及/或使用者已進行所欲之活動來喚醒及/或開始遊戲應用165。同樣地，若感測器集線器166被實作為單獨的硬體元件，則使用感測器集線器166可允許將可攜消費裝置處理器130置於感測器集線器未決之估算感測器資料的休眠模式中。在此方面，可提高裝置功率及/或電池壽命。另外，可沒有時間限制地實作多種情境及/或迷你遊戲。作為一實例，可引導使用者在低光線環境中做出手勢。在輸出方向之後(及/或在所希望的一段時間之後)，可將遊戲應用165關閉或轉換成背景應用及/或可將處理器130置於休眠模式中。接著感測器集線器166可估算與周圍亮度級關聯的情境資訊。一旦識別低光線環境，感測器集線器166就可「喚醒」遊戲應用165及/或處理器130。在其他實施例中，感測器集線器166可額外地估算從慣性感測器收到的測量資料以判斷是否已進行所欲之手勢，且若判斷已進行所欲之手勢便可喚醒遊戲 應用165。
如第1圖所示，感測器集線器166可包括一些適當介面及/或處理模組，促進接收各種類型的輸入資訊(例如，測量資料等)及/或估算各種輸入以判斷行動、情境資訊、及/或使用者活動。例如，音頻介面180可促進音頻資料之接收，且音頻處理模組182可估算音頻資料以判斷振幅級、比較振幅級、及/或識別各種類型的聲音。行動介面184可促進慣性感測器測量資料之接收，且行動處理模組186可估算測量資料以識別多種行動、方向、實體活動、及/或手勢。光介面188可促進周圍光資料之接收，且光處理模組190可估算光資料以判斷周圍亮度級及/或比較周圍亮度級與臨界值。最後，位置介面192可促進GPS及/或其他位置資訊之接收，且位置處理模組194可結合判斷使用者活動地估算位置資訊。如所希望，音頻處理模組182、光處理模組190、及位置處理模組194可被稱為環境處理模組。另外，如所希望，可提出一些處理模組，並可組合一些所示之模組。例如，可組合行動處理模組186與位置處理模組194之態樣以判斷使用者是否正在行走、跑步、循環動作等。
如所希望，遊戲應用165及/或感測器集線器166的各種軟體元件可實作為一些適當的模組及/或應用。另外，遊戲應用165及/或一或多個感測器集線器處理模組之至少一者可當作活動處理模組。於下參考第3-30圖來更加詳細說明遊戲應用165及/或感測器集線器166之運 作的一些實例。
僅藉由舉例的方式來提出以上參考第1圖所述之系統100或架構。如所希望，多種其他系統及/或架構可用來輸出與所欲之使用者活動關聯的方向並判斷所從事的使用者活動。這些系統及/或架構可包括不同元件及/或不同於第1圖所示之元件的排列。
第3圖係用來執行如可攜裝置遊戲應用之可攜裝置應用之示範方法300的流程圖。方法300可開始於方塊305。在方塊305中，應用165(例如，遊戲應用)可透過一些適當技術(例如，從與應用開發者關聯的應用商店或伺服器下載、無線傳輸(over-the-air)、從另一計算裝置、從可攜記憶體裝置接收、等等)被可攜消費裝置105接收。一旦被可攜消費裝置105接收，在方塊310中，一或多個與可攜消費裝置105關聯的處理器就可執行應用165。可為了多種不同目的而執行應用165。例如，遊戲應用165可與使用者為了完成及/或享受而執行的一或多個間諜或特務任務關聯。
在方塊315中，可輸出與應用關聯的主選單以透過適當的顯示元件呈現給使用者。主選單可提供多種與遊戲應用關聯的使用者選項。例如，主選單可允許使用者選擇促進執行一連串任務及/或情境的故事模式、促進個別任務或情境之人工選擇和執行的任務選擇模式、及/或求助選單或求助模式。若在方塊315中作出故事模式選擇，接著便可在方塊320中繼續操作。
在方塊320中，應用165可執行一連串任務、情境、及/或迷你遊戲以呈現遊戲的故事模式。如所希望，每個任務可提示使用者使用可攜消費裝置105來完成一或多個所欲之活動。接著可估算多種測量及/或情境資訊以識別使用者活動，並接著可比較所識別之使用者活動與所欲之活動。另外，可基於至少部分使用者活動之估算及/或基於比較來調整或改變故事模式之操作。在方塊325中，可產生故事模式的結果(及/或個別情境、任務、或迷你遊戲的各種結果)並輸出以呈現給使用者。例如，可輸出解鎖內容(例如，新的可用任務等)的分數、成績、指示及/或提升後續任務或等級的指示。如在方塊325中所希望，使用者可選擇重播一或多個任務或回到主選單。若需要的話亦可接收並處理多種其他的使用者輸入及/或選擇。
若在方塊315中收到任務選擇輸入，接著便可在方塊330中繼續操作。在方塊330中，可輸出一列可用任務、情境、及/或迷你遊戲以呈現給使用者。接著可接收及/或識別(例如，經由處理輸入命令)所欲之任務(或情境或迷你遊戲)的使用者選擇，且可在方塊335中執行所選擇的任務。如所希望，任務可提示使用者使用可攜消費裝置105來完成一或多個所欲之活動。接著可估算多種測量及/或情境資訊以識別使用者活動，並接著可比較所識別之使用者活動與所欲之活動。另外，可基於至少部分使用者活動之估算來調整或改變任務的操作。在方塊340中，可產生任務的結果並輸出以呈現給使用者。例如，可輸出解鎖 內容(例如，新的可用任務等)的分數、成績、指示及/或提升後續任務或等級的指示。如在方塊340中所希望，使用者可選擇回到主選單、選擇及/或播放另一任務、或重播所選擇的任務。若需要的話亦可接收並處理多種其他的使用者輸入及/或選擇。
若在方塊315中收到求助選單選擇，接著便可在方塊345中繼續操作。在方塊345中，可提供多種適當的求助及/或疑難排解功能給使用者。例如，可輸出與遊戲關聯的大致方向。作為另一實例，可顯示經常詢問的問題。作為又一實例，可允許使用者進入一求助主題，且可識別與所進入之主題關聯的求助資訊並輸出以供顯示。在某些實施例中，遊戲應用可建立與一或多個外部伺服器及/或裝置的通訊以促進提供求助資訊。針對處理求助請求及/或輸入，在方塊315中可繼續操作，且遊戲應用可回到主選單。
方法300可在接收使用者選擇(例如經由主選單所作出的選擇或關閉應用的可攜消費裝置輸入之選擇)之後結束以退出遊戲應用。另外，可將遊戲應用置於休眠模式或背景操作模式中，且隨後可藉由適當的感測器集線器及/或基於所收到的使用者輸入來喚醒遊戲應用。
第4圖係用於估算結合可攜消費裝置105之使用者活動之示範方法400的流程圖。適當的遊戲應用165可例如使用適當的感測器集線器166來進行方法400的各種操作。方法400可開始於方塊405。在方塊405中，可識別 或判斷多種任務、情境、及/或迷你遊戲資訊。例如，可識別多種與遊戲任務關聯的呈現資訊(例如，音頻呈現資訊、視覺呈現資訊等)並輸出以供呈現。另外，可處理一些使用者輸入，且可基於處理使用者輸入來調整與任務關聯的輸出。若需要的話可使用多種適當的演算法及/或技術以識別、處理、及/或輸出與任務關聯的資訊。
在方塊410中，可結合任務地判斷或識別所欲之使用者活動。例如，可識別所欲之輸入、輸入組合、工作、及/或與任務關聯的工作之組合。若需要的話可識別多種不同的所欲之使用者活動。於下參考第7-30圖來更加詳細討論一些示範使用者活動。另外，所欲之使用者活動可與一些所欲之使用者輸入及/或輸入的組合(例如，一或多個所欲之手勢、一或多個所欲之實體活動、及/或情境資訊的一些項目(例如，所欲之音頻、所欲之音頻或聲音級、所欲之周圍亮度級、所欲之位置、所欲之通訊等))關聯。
在方塊415中，可產生一或多個與所欲之使用者活動關聯的方向並輸出以呈現給使用者。一或多個方向可指示使用者進行一些工作及/或提供一些與所欲之使用者活動關聯的輸入。例如，可指示使用者做出一些所欲之手勢。作為另一實例，可指示使用者收集一些語音輸入。另外，一或多個方向可提供與多種不同類型之情境資訊關聯的指令。例如，可指示使用者在吵雜的環境中或在黑暗的環境中做出手勢。
在方塊420中，可收集多種測量及/或監控資料。例 如，可從一些適當的感測器及/或一些與可攜消費裝置105關聯的通訊介面收集測量資料。可估算至少一部分的測量資料以識別或判斷使用者所進行的使用者活動。在此方面，可作出關於所進行之活動是否對應於所欲之活動的判斷，且可基於至少部分判斷來控制任務或情境的操作。
在某些實施例中，可在輸出方向之後將遊戲應用165置於背景模式中及/或可將裝置處理器130置於休眠模式中。在此方面，可沒有時間限制地實作多種情境及/或迷你遊戲。接著感測器集線器166可估算所收集的測量資料，且感測器集線器166可判斷測量資料是否滿足一些與喚醒遊戲應用165及/或處理器130關聯的預定條件。如所希望，感測器集線器166可識別情境資訊、手勢、及/或情境資訊和與喚醒遊戲應用165關聯的手勢之組合。作為一實例，輸出方向可引導使用者在吵雜的環境中畫出一個圓。在某些實施例中，感測器集線器166可估算周圍聲音級以判斷何時將可攜消費裝置105帶入吵雜的環境中，且一旦識別吵雜的環境就可作出判斷以喚醒遊戲應用165。在其他實施例中，感測器集線器166可估算慣性感測器資料以識別一圓形手勢，且一旦識別圓形就可作出判斷以喚醒遊戲應用165。在又一實施例中，感測器集線器166可識別圓形手勢和吵雜的環境，且一旦識別所欲之使用者活動的兩個組成部分，就可作出判斷以喚醒遊戲應用165。
在使用感測器集線器166的實施例中，在方塊425 中，感測器集線器166可基於已滿足一或多個喚醒條件的判斷來喚醒遊戲應用165(及/或處理器130)。在方塊430中，接著遊戲應用165可判斷及/或識別所進行的使用者活動。在方塊435中，可作出關於所判斷之使用者活動是否已滿足一或多個與所欲之活動關聯的參數之判斷。例如，可判斷所判斷之使用者活動是否對應所欲之使用者活動及/或各種與所判斷之使用者活動關聯的測量及/或參數是否滿足一些與所欲之使用者活動關聯的臨界值。如所希望，可估算多種與情境資訊關聯的臨界值，如音頻級臨界值、亮度級臨界值、時間臨界值等。若在方塊435中判斷未滿足一或多個參數，接著便可在方塊440中繼續操作，且可識別任務失敗(或不能從事所欲之活動)。另外，若在方塊435中判斷已滿足一或多個參數，接著便可在方塊445中繼續操作，且可識別成功的活動。另外，基於活動參數的估算，可調整任務的操作及/或用於呈現給使用者的資料輸出及/或可提供多種使用者反饋。
方法400可在方塊440或方塊445之後結束。替代地，任務或情境可繼續，並可提示使用者從事一些額外的活動。例如，可引導使用者在吵雜的環境中進行第一手勢且在進行第一手勢之後的一段時間內，在安靜的環境中進行第二手勢。
第5圖係用來識別或判斷結合可攜消費裝置105之使用者做出的一手勢之示範方法500的流程圖。在某些實施例中，手勢可以是待進行之使用者活動或待進行之使用者 活動的組成部分。第5圖所示之方法500係為可進行在第4圖所示之方法400的方塊430和435中之操作的一實例。方法500可開始於方塊505。在方塊505中，可識別與手勢關聯的情境資訊。多種情境資訊可與手勢及/或所欲之使用者活動關聯。例如，可要求使用者在相對低光線(例如，黑暗)的環境中或在吵雜(例如，相對高噪音)的環境中做出所欲之手勢。作為另一實例，可要求使用者在特定位置或特定類型的位置中(例如，在藥局中、在家中等)做出所欲之手勢。作為又一實例，可指示使用者在終止計時器之前做出所欲之手勢(及/或完成使用者活動之一或多個其他組成部分)。如以上參考第1圖更加詳細所述，在某些實施例中，情境資訊可用來促進手勢辨識之分段。在此方面，可攜消費裝置105可進行手勢之無按鈕的分段。
在方塊510中，可收集多種手勢資料。例如，可從一些慣性感測器(和GPS(若需要的話))收集資料，並可使用一些適當的演算法及/或技術來估算所收集的資料以在方塊515中識別或判斷手勢。在方塊520中，可計分或分級所判斷或所識別的手勢。例如，可在使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷或計算使用者手勢與所欲之手勢之間的相關。在此方面，針對所欲之手勢可計分或分級手勢。例如，可判斷相配的百分比或使用者的手勢與所欲之手勢相配的機率。接著可使用分數或分級來鼓勵使用者改善手勢及/或判斷是否已圓滿完成情境。方法500可在方塊520之後結束。
如本發明之各種實施例所希望，第3-5圖的方法300、400、500所說明及所顯示的操作可以任何適當順序來實行或進行。另外，在某些實施例中，可並行地實行至少一部分的操作。另外，在某些實施例中，可進行少於或多於第3-5圖所述的操作。
結合遊戲應用及/或遊戲環境，使用者可得到多種不同類型的成績。例如，當完成各種活動及/或任務時，可隨時間得到不同的成績。第6圖係繪示使用者隨時間可協同一可攜裝置應用來得到之示範成績的圖600。
參考第6圖，在得到各種成績時，使用者可隨時間開發與遊戲關聯的角色(例如，與間諜遊戲關聯的間諜或特務角色等)。例如，角色可隨著新手完成更多工作且得到成績而變成專家時被開發出。另外，可如各種實施例所希望地得到多種不同類型的成績。例如，若判斷使用者已帶著手機走過一段預定距離及/或使用一些所欲之方法(例如，行走、跑步、等)來走過一段預定距離或一段預定時間，便可得到「旅客」徽章。作為另一實例，若判斷使用者已留在相對黑暗及/或相對安靜的環境中一段預定時間，便可獲得「袐密行動」的徽章。作為又一實例，基於成功地完成一些任務、情境、及/或如使用者觸發的迷你遊戲及/或系統觸發的迷你遊戲之迷你遊戲可獲得多種徽章。若需要的話可獲得多種其他徽章。
在遊戲環境及/或結合遊戲應用的遊戲環境內，可呈現給使用者多種不同的情境及/或迷你遊戲。每個迷你遊 戲可引導使用者完成多種不同工作及/或活動。第7-30圖係可由如遊戲應用的可攜裝置應用執行之示範情境或迷你遊戲的圖。首先回到第7圖，維持你的掩蔽的迷你遊戲可輸出鬍子或其他指示使用者在他/她穿過人群中時擋住他/她的臉之偽裝物的圖片。指示使用者不能讓偽裝物滑落，否則使用者將會被認出。接著可監控使用者的步伐，以及可攜消費裝置105的方向以驗證使用者是否正在移動及/或判斷偽裝物是否維持在正確的方位上。
參考第8圖，測謊欺騙迷你遊戲可引導使用者收集從一些其他個體輸入的語音以使測謊測驗無效。例如，可指示使用者讓其他個體說某些話。可收集音頻資料，並可對所收集的音頻資料進行多種語音分析及/或語音辨識。例如，可對使用者比較所收集的語音資料與所儲存的個人檔案資訊以判斷發言者是否是不同於使用者的個體。另外，在某些實施例中，可使用語音辨識來識別一或多個文法元素及/或單字。
參考第9圖，快速解毒的迷你遊戲可通知使用者他/她已經中毒。可指示使用者藉由攪拌解毒劑(例如，做出攪拌的動作或手勢)在一段預定時間(例如，20秒等)內製作解毒劑並在相對明亮或相對高光線的環境中開始解毒。在終止計時器之前，可作出關於是否做出攪拌或圓形手勢的判斷，並可估算周圍亮度級以判斷是否進入明亮的環境。參考第10圖，夜晚登山者的迷你遊戲可引導使用者找到相對黑暗的區域並擲出一爪鉤來攀登上側壁。在某些 實施例中，可給予使用者一段預定時間來完成工作。在終止計時器之前，可監控周圍亮度級以偵測黑暗的環境，並可給予使用者一些嘗試(例如，3次嘗試)來進行適當的投擲動作(例如，從下往上的手勢等)。
參考第11圖，噴塗碼字的迷你遊戲可引導使用者在安靜的區域內將碼字噴塗到牆壁或其他平面上。可引導使用者使用可攜消費裝置105來移動並噴塗一些文字及/或符號。可監控周圍音頻級以識別相對安靜的區域，並可使用慣性感測器來識別用於各種符號的多種手勢。接著可作出關於是否噴塗正確碼字的判斷。參考第12圖，慢步者的迷你遊戲可引導使用者將可攜消費裝置105放進口袋中並偷偷地走過警衛身邊而不打擾到他們。接著可監控音頻噪音級及/或移動級以判斷使用者是否正偷偷地走著或移動著而沒有推擠或輕晃到可攜消費裝置105。參考第13圖，當使用者走過雷射網格時，雷射網格的迷你遊戲可引導使用者使用可攜消費裝置105來使雷射轉向。可輸出與轉向關聯的各種行動及/或手勢，且可作出關於是否在一段預定時間內做出行動及/或手勢的判斷。
參考第14圖，陰影尋覓器的迷你遊戲可引導使用者在一段預定時間(例如，10秒等)內找到黑暗處躲起來。接著可估算周圍亮度級以判斷是否在終止計時器之前進入黑暗的環境中。參考第15圖，機器人偵測的迷你遊戲可在機器人沒在看時引導使用者行走。接著顯示器可呈現與機器人關聯的影像資訊以及行走或停止的方向(如希望的 話)。接著可利用適當的演算法或偵測技術來判斷當機器人沒在看時或當機器人轉身離去時使用者是否正在行走。參考第16圖，嗅探犬的迷你遊戲可指示使用者藉由觀察及/或控制鍊條一段預定時間(例如，20秒等)跟隨嗅探犬。可接著輸出各種鍊條移動指令，並可估算慣性感測器測量以判斷使用者是否在一段充足的時間週期內對指令作出反應。如所希望，亦可作出使用者是否正與狗一起行走的判斷。
參考第17圖，安全破解器的迷你遊戲可引導使用者收集用來破解聲波鎖之各種類型的聲音。可引導使用者在一段預定時間內收集如人群嘈雜聲、機械聲音、及/或語音輸入的各種聲音。收集各種聲音之後，可引導使用者轉動組合鎖以打開一安全或其他安全裝置。參考第18圖，玻璃切割器的迷你遊戲可引導使用者畫出一正圓以進入建築物。可收集並評估慣性感測器資料以判斷是否進行一圓形手勢，且可將圓形計分及/或與所欲之圓形手勢關聯的資訊比較。參考第19圖，欺騙生物光子掃描儀的迷你遊戲可引導使用者在一段預定時間(例如，1分鐘)內收集一些心跳(例如，與使用者的心臟關聯的音頻資料等)以混淆或欺騙生物安全系統。
參考第20圖，雷射迴避的迷你遊戲可指示使用者在迴避雷射時移動一預定距離(例如，10米等)。當使用者移動時可輸出隨機行動命令(例如，下來、爬、起來、行走、跳躍等)，並可估算慣性感測器資料以判斷使用者是 否符合行動命令。參考第21圖，紙牌老千的迷你遊戲可引導使用者依照所引導的移動藉由洗牌或發牌來操縱紙牌遊戲。參考第22圖，訓練練習的迷你遊戲可引導使用者進行多種與訓練關聯的適當動作。例如，可引導與輕彈及/或丟擲飛鏢關聯的動作，且接著可監控慣性感測器測量以判斷是否已作出適當的動作。參考第23圖，槍手的迷你遊戲可引導使用者在槍震動時，從他/她的口袋中拔出槍(例如，可攜消費裝置105)以射擊敵軍。接著可利用隨機計時器來觸發可攜消費裝置震動，且在震動之後(或音頻觸發器等)，可作出關於是否在一段預定時間內從口袋中移走可攜消費裝置105的判斷。
參考第24圖，雞尾酒調製者的迷你遊戲可引導使用者在站在人群前面時準備雞尾酒以維持掩蔽。可估算周圍噪音程度以識別相對吵雜的環境及/或人群嘈雜聲。另外，可估算裝置行動以判斷雞尾酒是否被適當地混合。參考第25圖，線索獵人的迷你遊戲可引導使用者在周圍移動一放大鏡(例如，可攜消費裝置105)直到定位或識別出所欲之物件(例如，有毒飛鏢等)為止。接著可估算裝置移動及/或方向，並可作出關於裝置是否進入與所欲之物件關聯的區域之判斷。在某些實施例中，亦可估算計時器以判斷是否在一段預定時間內定位所欲之物件。
參考第26圖，破解聲波鎖的迷你遊戲可引導使用者收集不同振幅級(例如，吵雜地、安靜地等)的各種語音命令以破解聲波鎖。接著可估算所收集的音頻資料及/或音 頻振幅以判斷是否符合語音命令參數。參考第27圖，炸彈擴散器的迷你遊戲可引導使用者選擇在擴散炸彈時切斷的電線。接著可判斷移動以識別電線選擇及/或以判斷是否選擇電線且是否以穩定或搖晃的方式切斷電線。參考第28圖，指導研究員技工的迷你遊戲可指示使用者記憶各種信號(例如，移動、行動、手勢等)並再造信號以安全地指導一研究員技工。在記憶週期之後，可估算慣性感測器測量以判斷使用者是否給定適當的信號。
參考第29圖，秘密開鎖器的迷你遊戲可引導使用者在撬開鎖時打開一些音樂。適當的音頻輸入估算技術一旦偵測到音樂，就可輸出撬開鎖的移動及/或方位方向，並可作出使用者是否維持各種移動及/或方位達所希望的時間之判斷。最後，參考第30圖，光線映射護目鏡的迷你遊戲可引導使用者在穿過人群導航一條安全路線時留在明亮的環境中。可估算周圍亮度級以判斷使用者是否在移動時留在光線中。第7-30圖所示之迷你遊戲及/或情境僅藉由舉例方式來提出。如本發明之各種實施例所希望，可使用多種其他適當的迷你遊戲。這些迷你遊戲可與間諜遊戲應用程式及/或與多種其他類型的遊戲關聯。
本文所述之揭露的一些實施例可具有提出可攜消費裝置及/或識別多種使用者活動之相關應用程式的技術效果。一些使用者活動可包括情境資訊與行動或手勢的組合。另外，情境資訊可促進手勢之分段及/或判斷何時開始手勢。
以上參考示範系統、方法、設備、及/或電腦程式產品的方塊和流程圖來說明本揭露之一些態樣。將了解到方塊圖和流程圖的一或多個方塊、以及方塊圖和流程圖中的方塊組合分別能藉由電腦可執行程式指令來實作。同樣地，根據一些實施例之方塊圖和流程圖的一些方塊不必以所呈現的順序來進行，或不必全部進行。
這些電腦可執行程式指令可載入到專用電腦或其他特定機器、處理器、或其他可編程資料處理裝置上以產生特定機器，使得執行在電腦、處理器、或其他可編程資料處理設備上的指令產生用於實作流程圖方塊或方塊中指定的一或多個功能之手段。這些電腦程式指令亦可儲存在能引導電腦或其他可編程資料處理裝置以特定方式作用的電腦可讀記憶體中，使得儲存在電腦可讀記憶體中的指令產生包括實作流程圖方塊或方塊中指定的一或多個功能之指令手段的製品之物品。作為一實例，某些實施例可提供一種電腦程式產品，包含具有本文所實作之電腦可讀程式碼或程式指令的電腦可用媒體，上述電腦可讀程式碼適合被用來執行以實作流程圖方塊或方塊中指定的一或多個功能。電腦程式指令亦可載入到電腦或其他可編程資料處理裝置上以使一連串待進行在電腦或其他可編程裝置的操作元件或步驟產生一電腦實作程序，使得執行在電腦或其他可編程裝置上的指令提供用於實作流程圖方塊或方塊中指定的功能之元件或步驟。
因此，方塊圖和流程圖的方塊支援用於進行指定功能 之手段的組合、用於進行指定功能之元件或步驟的組合以及用於進行指定功能之程式指令手段。亦將了解到方塊圖和流程圖的每個方塊、以及方塊圖和流程圖中之方塊的組合能以進行指定功能、元件或步驟之專用、基於硬體的電腦系統、或專用硬體與電腦指令的組合來實作。
本文中所陳述的本揭露之一些修改和其他實施例將明顯地具有前面說明及相關附圖所呈現的技術之優點。於是，應了解到本揭露不侷限於所揭露之特定實施例且修改和其他實施例將包括在所附之申請專利範圍的範圍中。雖然本文中採用特定名詞，但其僅使用於通用和描述性意義而不以限制為目的。
100‧‧‧系統
105A‧‧‧可攜消費裝置
105B‧‧‧可攜消費裝置
105‧‧‧可攜消費裝置
110‧‧‧遊戲伺服器
115‧‧‧應用伺服器
120‧‧‧網路
130‧‧‧處理器
135‧‧‧記憶體
140‧‧‧感測器
145‧‧‧通訊介面
150‧‧‧輸入/輸出介面
155‧‧‧資料檔案
160‧‧‧作業系統
165‧‧‧遊戲應用
166‧‧‧感測器集線器
170‧‧‧GPS
172‧‧‧加速度計
174‧‧‧迴轉儀
176‧‧‧光感測器
180‧‧‧音頻介面
182‧‧‧音頻處理模組
184‧‧‧行動介面
186‧‧‧行動處理模組
188‧‧‧光介面
190‧‧‧光處理模組
192‧‧‧位置介面
194‧‧‧位置處理模組
200‧‧‧圖表
300‧‧‧方法
400‧‧‧方法
500‧‧‧方法
現在將參考附圖，附圖不一定係按比例來繪製，且其中：第1圖係根據本揭露之一示範實施例之可協同一可攜消費裝置及/或相關應用而使用的示範系統或架構之方塊圖。
第2圖係協同一或多個可攜裝置應用之可攜消費裝置的示範感測能力之圖表。
第3圖係用於執行一可攜裝置應用的示範方法之流程圖。
第4圖係用於估算結合一可攜消費裝置之使用者活動的示範方法之流程圖。
第5圖係用於識別或判斷結合一可攜消費裝置之使用者做出的一手勢的示範方法之流程圖。
第6圖係繪示使用者隨時間可協同一可攜裝置來得到之示範成績的圖。
第7-30圖係可由可攜裝置應用程式所執行之示範情境或迷你遊戲的圖示。
100‧‧‧系統
105A‧‧‧可攜消費裝置
105B‧‧‧可攜消費裝置
105‧‧‧可攜消費裝置
110‧‧‧遊戲伺服器
115‧‧‧應用伺服器
120‧‧‧網路
130‧‧‧處理器
135‧‧‧記憶體
140‧‧‧感測器
145‧‧‧通訊介面
150‧‧‧輸入/輸出介面
155‧‧‧資料檔案
160‧‧‧作業系統
165‧‧‧遊戲應用
166‧‧‧感測器集線器
170‧‧‧GPS
172‧‧‧加速度計
174‧‧‧迴轉儀
176‧‧‧光感測器
180‧‧‧音頻介面
182‧‧‧音頻處理模組
184‧‧‧行動介面
186‧‧‧行動處理模組
188‧‧‧光介面
190‧‧‧光處理模組
192‧‧‧位置介面
194‧‧‧位置處理模組

Claims (34)

  1. 一種可攜消費裝置，包含：至少一慣性感測器，其收集與該可攜消費裝置之行動或該可攜消費裝置之方向之至少一者關聯的測量資料；至少一情境感測器，其收集與該可攜消費裝置之一外部環境關聯的環境資料；至少一移動處理模組，其處理所收集的該測量資料資訊以判斷該可攜消費裝置隨時間的移動；至少一情境處理模組，其處理所收集的該環境資料以判斷與該可攜消費裝置關聯的情境資訊；及至少一活動處理模組，其基於所判斷的該移動和所判斷的該情境資訊來判斷一使用者活動，其中由使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷出使用者手勢與所欲之手勢之間的相關。
  2. 如申請專利範圍第1項所述之可攜消費裝置，其中該至少一慣性感測器包含(i)一加速度計或(ii)一迴轉儀之至少一者。
  3. 如申請專利範圍第1項所述之可攜消費裝置，其中所判斷的該移動包含由一使用者以該可攜消費裝置做出的一手勢。
  4. 如申請專利範圍第1項所述之可攜消費裝置，其中係基於至少部分該情境資訊來開始偵測該手勢。
  5. 如申請專利範圍第1項所述之可攜消費裝置，其中 所判斷的該移動包含(i)仍靜止、(ii)行走、(iii)漫步、(iv)跑步、或(v)循環動作之其一者。
  6. 如申請專利範圍第1項所述之可攜消費裝置，其中該至少一情境感測器包含一音頻偵測裝置，且其中該至少一情境處理模組比較所收集音頻資料的一振幅與一振幅臨界值。
  7. 如申請專利範圍第1項所述之可攜消費裝置，其中該至少一情境感測器包含一音頻偵測裝置，且其中該至少一情境處理模組處理所收集音頻資料以識別(i)人的說話、(ii)音樂、或(iii)機械聲音之其一者。
  8. 如申請專利範圍第1項所述之可攜消費裝置，其中該至少一情境感測器包含一光偵測裝置，且其中該至少一情境處理模組比較所偵測之周圍光的一振幅與一振幅臨界值。
  9. 如申請專利範圍第1項所述之可攜消費裝置，其中該可攜消費裝置包含一行動電話或一平板電腦之其一者。
  10. 如申請專利範圍第1項所述之可攜消費裝置，其中該至少一活動處理模組比較所判斷之該使用者活動與一所欲之使用者活動，並基於至少部分該比較來提供使用者反饋。
  11. 如申請專利範圍第10項所述之可攜消費裝置，其中該至少一活動處理模組提供結合一遊戲應用的使用者反饋。
  12. 如申請專利範圍第11項所述之可攜消費裝置，其 中係基於至少部分(i)所判斷的該移動、(ii)所判斷的該情境資訊、或(iii)所判斷的該使用者活動來開始該遊戲應用。
  13. 如申請專利範圍第10項所述之可攜消費裝置，其中該至少一處理模組更輸出與該所欲之使用者活動關聯的一方向。
  14. 如申請專利範圍第10項所述之可攜消費裝置，其中該至少一處理模組更基於至少部分該比較來分級所判斷的該使用者活動。
  15. 一種可攜消費裝置，包含：至少一慣性感測器，其收集與該可攜消費裝置之行動或該可攜消費裝置之方向之至少一者關聯的測量資料；至少一情境感測器，其收集與該可攜消費裝置之一外部環境關聯的資料；至少一記憶體，其儲存電腦可執行指令；及至少一處理器，其存取該至少一記憶體並執行該電腦可執行指令以：基於至少部分所收集的該測量資料和所收集的該環境資料來判斷一使用者活動；比較所判斷之該使用者活動與一所欲之使用者活動；及基於至少部分該比較來引導使用者反饋的輸出，其中由使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷出使用者手勢與所欲之手勢之 間的相關。
  16. 一種電腦可讀媒體，包含電腦可執行指令，當與一可攜消費裝置關聯之至少一處理器執行該電腦可執行指令時，便組態該至少一處理器以：從至少一慣性感測器接收與(i)該可攜消費裝置之行動或(ii)該可攜消費裝置之方向之其一者關聯的測量資料；從至少一情境感測器接收與該可攜消費裝置之一外部環境關聯的資料；基於至少部分所收到的該測量資料和所收到的該環境資料來判斷一使用者活動；比較所判斷之該使用者活動與一所欲之使用者活動；及基於至少部分該比較來提供使用者反饋，其中由使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷出使用者手勢與所欲之手勢之間的相關。
  17. 如申請專利範圍第16項所述之電腦可讀媒體，其中至少一部分的該電腦可執行指令係與一遊戲應用關聯。
  18. 如申請專利範圍第17項所述之電腦可讀媒體，其中至少一部分的該電腦可執行指令係與一感測器資料估算模組關聯，該感測器資料估算模組係組態以基於至少部分所判斷之該使用者活動來開始該遊戲應用。
  19. 如申請專利範圍第16項所述之電腦可讀媒體，其中所判斷的該使用者活動包含由一使用者以該可攜消費裝 置做出的一手勢。
  20. 如申請專利範圍第19項所述之電腦可讀媒體，其中係基於至少部分該情境資訊來開始偵測該手勢。
  21. 如申請專利範圍第16項所述之電腦可讀媒體，其中所判斷的該使用者活動包含(i)仍靜止、(ii)行走、(iii)漫步、(iv)跑步、或(v)循環動作之其一者。
  22. 如申請專利範圍第16項所述之電腦可讀媒體，其中該環境資料包含由一音頻偵測裝置所收集的音頻資料，且其中該電腦可執行指令更組態該至少一處理器以比較該音頻資料的一振幅與一振幅臨界值，並基於至少部分該比較來判斷該使用者活動。
  23. 如申請專利範圍第16項所述之電腦可讀媒體，其中該環境資料包含由一音頻偵測裝置所收集的音頻資料，且其中該電腦可執行指令更組態該至少一處理器以識別用來判斷該使用者活動的(i)人的說話、(ii)音樂、或(iii)機械聲音之其一者。
  24. 如申請專利範圍第16項所述之電腦可讀媒體，其中該環境資料包含所偵測之周圍光的一振幅，且其中該電腦可執行指令更組態該至少一處理器以比較所偵測之該振幅與一振幅臨界值，並基於至少部分該比較來判斷該使用者活動。
  25. 如申請專利範圍第16項所述之電腦可讀媒體，其 中該電腦可執行指令更組態該至少一處理器以引導與該所欲之使用者活動關聯的一方向之輸出。
  26. 一種電腦實作方法，包含：藉由包含一或多個電腦處理器的一可攜消費裝置來執行至少一應用，其配置用於：輸出與一所欲之使用者活動關聯的一方向；從至少一慣性感測器接收與(i)該可攜消費裝置之行動或(ii)該可攜消費裝置之方向之其一者關聯的測量資料；從至少一情境感測器接收與該可攜消費裝置之一外部環境關聯的資料；基於至少部分所收到的該測量資料和所收到的該環境資料來判斷一使用者活動；比較所判斷之該使用者活動與所欲之使用者活動；及基於至少部分該比較來提供使用者反饋，其中由使用者做出的手勢和與所欲之手勢關聯的儲存資訊之間作比較，並可判斷出使用者手勢與所欲之手勢之間的相關。
  27. 如申請專利範圍第26項所述之方法，其中該至少一應用包含一遊戲應用。
  28. 如申請專利範圍第27項所述之方法，更包含：藉由一感測器資料估算元件來估算該測量資料或該環境資料之至少一者；及 藉由該感測器資料估算元件基於至少部分該估算來開始該遊戲應用。
  29. 如申請專利範圍第26項所述之方法，其中判斷一使用者活動包含判斷由一使用者以該可攜消費裝置做出的一手勢。
  30. 如申請專利範圍第29項所述之方法，更包含基於至少部分該情境資訊來開始該手勢的判斷。
  31. 如申請專利範圍第26項所述之方法，其中判斷一使用者活動包含判斷(i)仍靜止、(ii)行走、(iii)漫步、(iv)跑步、或(v)循環動作之其一者。
  32. 如申請專利範圍第26項所述之方法，其中接收環境資料包含接收由一音頻偵測裝置所收集的音頻資料，且更包含：比較該音頻資料的一振幅與一振幅臨界值；及基於至少部分該比較來判斷該使用者活動。
  33. 如申請專利範圍第26項所述之方法，其中接收環境資料包含接收由一音頻偵測裝置所收集的音頻資料，且更包含：基於至少部分該音頻資料識別用來判斷該使用者活動的(i)人的說話、(ii)音樂、或(iii)機械聲音之其一者。
  34. 如申請專利範圍第26項所述之方法，其中接收環境資料包含接收所偵測之周圍光的一振幅，且更包含：比較所偵測之該振幅與一振幅臨界值；及基於至少部分該比較來判斷該使用者活動。
TW101135595A 2011-10-13 2012-09-27 偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法 TWI483140B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161546799P 2011-10-13 2011-10-13

Publications (2)

Publication Number Publication Date
TW201331786A TW201331786A (zh) 2013-08-01
TWI483140B true TWI483140B (zh) 2015-05-01

Family

ID=48082245

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101135595A TWI483140B (zh) 2011-10-13 2012-09-27 偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法

Country Status (4)

Country Link
US (1) US9870069B2 (zh)
CN (1) CN103918344A (zh)
TW (1) TWI483140B (zh)
WO (1) WO2013055380A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918344A (zh) 2011-10-13 2014-07-09 英特尔公司 通过便携式装置检测用户活动
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US8864587B2 (en) 2012-10-03 2014-10-21 Sony Corporation User device position indication for security and distributed race challenges
CN103841246B (zh) * 2012-11-20 2018-04-27 联想(北京)有限公司 一种信息处理方法、系统及一种移动终端
JP6138268B2 (ja) 2012-11-21 2017-05-31 ソムニック インク． エンパセティックコンピューティングのための装置、及び方法
US20150082408A1 (en) 2013-09-17 2015-03-19 Sony Corporation Quick login to user profile on exercise machine
CN104699365A (zh) * 2013-12-10 2015-06-10 宏碁股份有限公司 可携式电子装置及其界面显示方法
US9269119B2 (en) 2014-01-22 2016-02-23 Sony Corporation Devices and methods for health tracking and providing information for improving health
US9497592B2 (en) * 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9986086B2 (en) 2014-07-31 2018-05-29 Samsung Electronics Co., Ltd. Mobile terminal and method of operating the same
KR20160016490A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 이동 단말기 및 그 동작방법
WO2016018057A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Method and device for providing function of mobile terminal
KR20160016513A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 모바일 단말의 기능 제공 방법 및 장치
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
CN104656891B (zh) * 2015-01-15 2016-06-01 广东小天才科技有限公司 一种设备通信的方法及装置
EP3056953A1 (de) * 2015-02-11 2016-08-17 Siemens Aktiengesellschaft Autarkes Feldgerät der Automatisierungstechnik zur Fernüberwachung
US9946351B2 (en) 2015-02-23 2018-04-17 SomniQ, Inc. Empathetic user interface, systems, and methods for interfacing with empathetic computing device
US10222870B2 (en) * 2015-04-07 2019-03-05 Santa Clara University Reminder device wearable by a user
JP6320542B2 (ja) 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 初期構成を有する複数のセンサを有する可動物体に対する１または複数の外部パラメータを推定する方法、システム、及びプログラム
WO2016187759A1 (en) * 2015-05-23 2016-12-01 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
US10726281B2 (en) * 2015-07-29 2020-07-28 Invensense, Inc. Method and apparatus for user and moving vehicle detection
EP3387628B1 (en) 2015-12-11 2021-05-12 Somniq, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
USD806711S1 (en) 2015-12-11 2018-01-02 SomniQ, Inc. Portable electronic device
US9778786B1 (en) * 2016-03-21 2017-10-03 Sae Magnetics (H.K.) Ltd. Optical finger navigation module for extreme temperature operation and method for increasing life time of OFN module
US10101820B2 (en) * 2016-07-21 2018-10-16 International Business Machines Corporation Automated learning and gesture based interest processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070015558A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
CN101529878A (zh) * 2006-10-24 2009-09-09 苹果公司 在便携式设备中对用户行为的感测和自动响应
US20100056116A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co.Ltd. Method and system for displaying information collected by portable terminals
US20100321189A1 (en) * 2007-02-09 2010-12-23 David John Michael Gibson Monitoring and displaying activities
TW201112186A (en) * 2009-09-18 2011-04-01 Univ Nat Central Wherein each of basic poses corresponds to a musical note and is stored in a music mapping device for creating various music performances according to the motion of the kid, thereby helping the kid to create his/her own favorite music

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228429B2 (en) 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US7099676B2 (en) 2004-04-09 2006-08-29 Sony Corporation System and method for location and motion detection in a home wireless network
CN101146284B (zh) * 2007-08-24 2011-08-17 Tcl天一移动通信（深圳）有限公司 一种智能手机平台
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
CN101931621A (zh) * 2010-06-07 2010-12-29 上海那里网络科技有限公司 一种借助虚拟形象进行情感交流的装置和方法
CN108509038B (zh) * 2010-08-09 2022-06-07 耐克创新有限合伙公司 用于记录和追踪运动活动的系统和方法
CN103918344A (zh) 2011-10-13 2014-07-09 英特尔公司 通过便携式装置检测用户活动

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070015558A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
CN101529878A (zh) * 2006-10-24 2009-09-09 苹果公司 在便携式设备中对用户行为的感测和自动响应
US20100321189A1 (en) * 2007-02-09 2010-12-23 David John Michael Gibson Monitoring and displaying activities
US20100056116A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co.Ltd. Method and system for displaying information collected by portable terminals
TW201112186A (en) * 2009-09-18 2011-04-01 Univ Nat Central Wherein each of basic poses corresponds to a musical note and is stored in a music mapping device for creating various music performances according to the motion of the kid, thereby helping the kid to create his/her own favorite music

Also Published As

Publication number Publication date
WO2013055380A1 (en) 2013-04-18
US20160328029A1 (en) 2016-11-10
US9870069B2 (en) 2018-01-16
CN103918344A (zh) 2014-07-09
TW201331786A (zh) 2013-08-01

Similar Documents

Publication Publication Date Title
TWI483140B (zh) 偵測使用者活動的可攜消費裝置、電腦可讀媒體及電腦實作方法
JP6235681B2 (ja) ユーザの意図および／または識別情報に基づくモバイルデバイス状態の調整のための方法、記憶媒体、及びシステム
CN109091869B (zh) 虚拟对象的动作控制方法、装置、计算机设备及存储介质
US9433861B2 (en) Computer-readable storage medium having information processing program stored therein, handheld terminal apparatus, system, information processing method, and communication system
US20180060144A1 (en) Control methods for mobile electronic devices in distributed environments
CN107077550A (zh) 用于用户验证的生物联系
CN107206278B (zh) 用于依据基于飞镖针位置的击中面积提供飞镖游戏的服务器和飞镖游戏装置，及计算机程序
US20170011527A1 (en) Information processing apparatus, information processing method and recording medium
CN104822042A (zh) 一种基于摄像头的行人安全检测方法及装置
CN111589136B (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
CN110109539A (zh) 一种手势控制方法、穿戴式设备及计算机可读存储介质
KR102621649B1 (ko) 사용자의 활동 패턴과 관련된 타인의 활동 정보를 제공하는 방법 및 그 전자 장치
CN111672126B (zh) 信息显示方法、装置、设备及存储介质
CN111338534A (zh) 虚拟对象的对局方法、装置、设备及介质
EP4127872A1 (en) Shared augmented reality system
WO2019184782A1 (zh) 虚拟场景中的对象控制方法、装置及计算机设备
US10721347B2 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
CN109091867B (zh) 操作控制方法、装置、设备及存储介质
CN112569607A (zh) 预购道具的显示方法、装置、设备及介质
CN113680060B (zh) 虚拟画面显示方法、装置、设备、介质及计算机程序产品
US11039005B2 (en) Method, electronic device and storage medium for unlocking electronic device based on location
CN110841288A (zh) 提示标识的消除方法、装置、终端及存储介质
CN109491503A (zh) 一种显示屏幕的点亮方法及可穿戴设备
US20220151511A1 (en) System, apparatus and method for activity classification for a watch sensor
CN109784014B (zh) 一种屏幕解锁方法及终端设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees