JP6353160B2 - 超音波を用いたモーダルボディタッチ - Google Patents

超音波を用いたモーダルボディタッチ Download PDF

Info

Publication number
JP6353160B2
JP6353160B2 JP2017508617A JP2017508617A JP6353160B2 JP 6353160 B2 JP6353160 B2 JP 6353160B2 JP 2017508617 A JP2017508617 A JP 2017508617A JP 2017508617 A JP2017508617 A JP 2017508617A JP 6353160 B2 JP6353160 B2 JP 6353160B2
Authority
JP
Japan
Prior art keywords
user
input
ultrasonic
state
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017508617A
Other languages
English (en)
Other versions
JP2017530443A (ja
Inventor
クリステンソン、アンドレアス
フント、アレクサンデル
トルン、オーラ
ランドクヴィスト、マグヌス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2017530443A publication Critical patent/JP2017530443A/ja
Application granted granted Critical
Publication of JP6353160B2 publication Critical patent/JP6353160B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/08—Touch switches specially adapted for time-pieces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)

Description

スマートフォンなどのモバイル装置は、そのユーザに様々なサービスを提示する。ユーザは、タッチパネル及び／又はタッチレスパネルを介して、モバイル装置のディスプレイと対話することができる。タッチ及びタッチレス入力技術が、モバイル装置を操作する際に多大な柔軟性をユーザに与える一方で、設計者及び製造者は、モバイル装置とユーザとのインタオペラビリティを改善しようと絶えず努力している。
一態様によれば、方法は、ユーザにより装着可能な装置によって、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号の受信を含む、超音波イベントを検出することと、装置によって、装置が装着されたユーザの肢の状態を検出することであって、状態は、収縮状態又は弛緩状態であることと、装置によって、超音波信号の受信及び肢の状態に基づいて、入力を選択することと、を含み得る。
さらに、方法は、入力を別の装置に送信することと、他の装置による入力を実行することと、を含んでもよい。
さらに、方法は、ユーザの肢の運動を検出することと、肢の運動を検出することに基づいて、肢の状態が収縮状態にあるかどうかを判断することと、を含んでもよい。
さらに、入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つであってもよい。
さらに、方法は、受信した超音波信号の特性を分析することであって、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含むことと、分析することに基づいて、オンボディタッチの種類を識別することと、を含んでもよい。
さらに、入力は、アプリケーション固有であってもよい。
さらに、オンボディタッチは、タップ、又はスライドジェスチャであってもよい。
別の態様によれば、装置は、超音波トランスデューサと、加速度計と、ソフトウェアを記憶するメモリと、プロセッサと、を備えてもよく、プロセッサは、ソフトウェアを実行する。装置は、超音波トランスデューサを介して、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号を含む、超音波イベントを検出し、装置が装着されたユーザの肢の状態を検出し、状態は、収縮状態又は弛緩状態であり、超音波信号の受信及び肢の状態に基づいて入力を選択するように構成されてもよい。
さらに、装置は、通信インタフェースを備えてもよい。装置は、通信インタフェースを介して別の装置に入力を送信するように構成されてもよい。
さらに、加速度計は、肢の運動を検出してもよく、装置は、加速度計から受信するデータに基づいて、オンボディタッチの時間の間、肢の状態が、収縮状態であるか、それとも弛緩状態であるかを判断するように構成されてもよい。
さらに、入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つであってもよい。
さらに、装置は、受信した超音波信号の特性を分析し、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含み、特性の分析に基づいて、オンボディタッチの種類を識別するように構成されてもよい。
さらに、装置は、超音波信号のプロファイル、肢の状態、及び入力をマッピングするデータベースを記憶し、データベースを使用して入力を選択するように構成されてもよい。
さらに、装置は、超音波センシングをアクティブ化するように指示するオンボディタッチを識別するように構成されてもよい。
さらに、装置は、ユーザによって実行される特定のオンボディタッチイベントを認識し、オンボディタッチイベントに対応する入力を選択するために、ユーザが装置を訓練することを可能にする、機械学習モジュールを備えてもよい。
さらに別の態様によれば、非一時的記憶媒体は、計算装置のプロセッサによって実行可能な命令であって、実行時に、計算装置に、計算装置の超音波トランスデューサを介して、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号を含む、超音波イベントを検出させ、計算装置が装着されたユーザの肢の状態を検出させ、状態は、収縮状態又は弛緩状態であり、超音波信号の受信及び肢の状態に基づいて入力を選択させる、命令を記憶してもよい。
さらに、命令は、受信した超音波信号の特性を分析し、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含み、特性の分析に基づいて、オンボディタッチの種類を識別する、命令を含んでもよい。
さらに、命令は、超音波信号のプロファイル、肢の状態、及び入力をマッピングするデータベースを記憶し、データベースを使用して入力を選択する、命令を含んでもよい。
さらに、命令は、超音波センシングをアクティブ化するように指示するオンボディタッチを識別する命令を含んでもよい。
さらに、命令は、加速度計から受信するデータに基づいて、オンボディタッチの時間の間、肢の状態が、収縮状態であるか、それとも弛緩状態であるかを判断する命令を含んでもよい。
モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る、例示的な環境を示す図である。 モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る、別の例示的な環境を示す図である。 主装置の例示的なコンポーネントを示す図である。 超音波装置の例示的なコンポーネントを示す図である。 例示的なデータベースを示す図である。 モーダルボディタッチ超音波センシングの例示的な実施形態に関係する、例示的なシナリオを示す図である。 モーダルボディタッチ超音波センシングサービスを提供する、例示的なプロセスを示すフロー図である。
以下の詳細な説明は、添付の図面を参照する。異なる図面中の同一の参照番号は、同一又は類似の要素を識別し得る。
ユーザの身体を通じた超音波送信及びセンシングは、近年の研究領域となっている。例えば、ユーザは、ユーザの皮膚を介して超音波信号が送信及び伝播（例えば、経皮性超音波伝播）される、腕輪、アームバンド、又はその他の種類のウェアラブル装置（例えば、ヘッドウェアなど）を装着してもよい。ウェアラブル装置は、超音波信号を送信する送信機と、超音波信号を受信する受信機とを含む。例示的なユースケースによれば、ウェアラブル装置は、腕輪であり、ユーザは、自分の指で腕の皮膚にタッチしてもよく、腕を掴んでもよく、又は腕の上でスライド運動を行ってもよい。超音波信号は、受信機を介して、１つ又は複数の周波数及び／又は振幅において測定されてもよい。受信した値（複数可）及び記憶した信号プロファイルに基づいて、ユーザによって行われる入力の種類が判断できる。例えば、ユーザは、自分の前腕の特定位置をタップしてもよく、この情報（即ち、タップ及び位置）が判断されてもよい。この情報は、ウェアラブル装置以外の装置への入力として使用され得る。
残念ながら、超音波オンボディタッチセンシング技術では、センシング機器付近のタッチポイントの数に制限がある。さらに、ユーザが、「超音波センシングモード」に入る前にモバイル装置又はウェアラブル装置と対話しなければならない場合を除いて、この形態の入力方法は、誤って作動され易い。
筋組織を通じた超音波伝播は、人の筋肉がどのくらい緊張しているかに依存して、異なる速さで進む。例えば、筋肉の血液含有量に起因して、筋肉が収縮するときに超音波伝播の速度が増加（例えば、３ｍ／ｓまで）することがある。
例示的な実施形態によれば、超音波センシングに基づくモーダルインタフェースが提供される。例示的な実施形態によれば、ウェアラブル装置は、ユーザの筋肉が収縮しているか否かに基づいて、インタフェースの異なるモードを検出する。例えば、例示的な実施形態によれば、ある動作モードは、ユーザの筋肉が弛緩状態にあるときであり、別の動作モードは、ユーザの筋肉が収縮状態又は緊張状態にあるときである。さらに別の実施形態によれば、ある動作モードは、ユーザが、ある時間内に弛緩状態から収縮状態へ、又はその逆に移行するときである。例えば、ユーザが、１秒以内に拳を収縮させた後弛緩させるとき、ユーザのアクション（例えば、指を腕に沿ってスライドさせること）が、特定の入力として解釈される。さらに別の実施形態によれば、ユーザの筋肉の収縮の複数の度合い又はレベルに基づいて、複数の動作モードが提供される。異なる動作モードを考慮すると、異なる入力は、各モード、及び、より具体的には、ユーザによって行われる各種のアクション（例えば、タップ、肢を掴む、スライドジェスチャなど）、並びにその他の要素（例えば、位置、圧力、時間（例えば、アクションの始まりと終わり））にマッピングされてもよい。
例示的な実施形態によれば、ユーザの筋肉が収縮しているかどうか、又は収縮の度合いの検出は、加速度計からのデータを使用することを含む。例示的な実施形態によれば、ウェアラブル装置は、加速度計を含む。例示的な実施形態によれば、加速度計は、ユーザが筋肉を曲げたり収縮させたりするときに通常起こる、筋振戦を検出する。ユーザの筋肉が弛緩状態にあるときであっても、ある程度は筋振戦が起こることがあるが、加速度計は、曲げに関係する筋振戦の度合い、及び／又はその他の筋肉収縮の度合いを判断するためのデータを提供してもよい。このようにして、ユーザの筋肉が弛緩状態と比較して収縮状態にあるときの超音波の伝播の差に加えて、又はその代わりに、筋振戦情報が、ユーザの筋肉が収縮しているかどうかを判断するために使用される。さらに、筋振戦情報は、収縮の度合い（例えば、完全な緊張、部分的な緊張など）を判断するために使用されてもよい。
例示的な実施形態によれば、ウェアラブル装置は、主装置を構成する。例えば、ウェアラブル装置は、ディスプレイを含んでもよく、電話、ウェブアクセス、メディアプレーヤ、及び／又は様々な機能又はサービスを伴う別の種類の装置などの、様々なケイパビリティを有してもよい。別の実施形態によれば、主装置は、ウェアラブル装置を介して入力を受信する。例えば、主装置は、モバイル装置の形態を取ってもよい。入力は、超音波技術及びユーザアクションに基づいて解釈されるため、これらの入力は、ウェアラブル装置によって、主装置に送信される。主装置は、受信した入力に従って動作する。
例示的な実施形態によれば、ウェアラブル装置又は主装置は、ユーザが手動で特定のモードにロックすることを可能にする。例えば、ウェアラブル装置又は主装置は、ユーザが特定のセンシングモードに移行して動作させることを可能にする、ユーザインタフェース又はいくつかの他の種類の入力機構（例えば、ボタン、音声コマンドなど）を提供してもよい。別の例示的な実施形態によれば、ウェアラブル装置は、ユーザが特定のアクションを行うことによって、あるモードにロックすることを可能にする。例えば、ユーザの拳が固く握られる時、又はその他の故意のアクションが行われる時にのみ、タッチイベントが検出されるという点において、ユーザの腕が弛緩状態にあるときに、そのような状態が、「ロックされた」又は「休止した」状態を意味する。このように、ウェアラブル装置のセンシング機能は、ユーザが、ウェアラブル装置を手動でアクティブ化及び非アクティブ化する必要なしに、ユーザによって容易にアクティブ化及び非アクティブ化され得る。
図１Ａは、例示的な環境１００の図であり、例示的な環境１００では、モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る。図示するように、環境１００は、主装置１０５、超音波装置１１０、及びユーザ１１５を含む。図１Ｂは、別の例示的な環境１２０の図であり、例示的な環境１２０では、モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る。図示するように、環境１２０は、ユーザ１１５、及び超音波主装置１２５を含む。この環境では、前述したように、ウェアラブル装置は、超音波センシング及び主装置のケイパビリティを含んでもよい。
図１Ａ及び１Ｂはそれぞれ、腕輪タイプの超音波装置を示しているが、他の実施形態によれば、アームレット、ヘッドデバイス、ネックデバイス、アンクルデバイスなどの他の形態の超音波装置が実装されてもよい。さらに、超音波装置は、複数の装置を含んでもよい。例えば、１つの装置が超音波を送信し、別の装置が超音波を受信してもよい。そのような構成によれば、ユーザは、ユーザの身体の１つの位置に１つの装置、ユーザの身体の別の位置に他の装置を装着してもよい。
図１Ａを参照すると、主装置１０５は、ユーザ装置を含む。例えば、主装置１０５は、スマートフォン、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、タブレット装置、パームトップ装置、ネットブック、音楽再生装置、ウェブ装置、又はその他の計算装置などの、モバイル装置の形態を取ってもよい。代替的に、主装置１０５は、スマートテレビ、又はその他の適当な装置などの非モバイル装置の形態を取ってもよい。主装置１０５は、超音波装置１１０から入力信号を受信し、入力信号に従って動作する。主装置１０５について、以下でさらに説明する。
超音波装置１１０は、超音波信号を送信及び受信する装置を含む。例えば、超音波装置１１０は、超音波トランスデューサを含む。超音波トランスデューサは、超音波の送信機の役割をするトランスデューサと、超音波の受信機の役割をする別のトランスデューサとを含む。ユーザのオンボディインタラクションに基づいて、超音波装置１１０は、超音波受信機を介して受信した信号の値に基づき、モード及びアクションを識別する。例示的な実施形態によれば、超音波装置１１０は、加速度計を含む。超音波装置１１０は、加速度計からのデータを使用して、オンボディタッチセンシングのモードを判断する。超音波装置１１０は、モード及びユーザアクション（例えば、タップ、スライドジェスチャなど）を特定の入力に相互に関連付ける。超音波装置１１０は、入力信号を生成し、主装置１０５に送信する。一方、主装置１０５は、入力を受信し、入力に従って動作する。超音波装置１１０について、以下でさらに説明する。
図１Ｂを参照すると、超音波主装置１２５は、超音波装置１１０を含む。さらに、超音波主装置１２５は、ユーザのオンボディインタラクションに応答する、１つ又は複数のエンドユーザアプリケーション及び／若しくはサービスを含む。
図２Ａは、主装置１０５の例示的なコンポーネントを示す図である。図示するように、例示的な実施形態によれば、主装置１０５は、プロセッサ２０５、メモリ／記憶装置２１０、ソフトウェア２１５、通信インタフェース２２０、入力２２５、及び出力２３０を含む。他の実施形態によれば、主装置１０５は、図２Ａに示し、かつ本明細書で説明したものより少ないコンポーネント、追加のコンポーネント、異なるコンポーネント、及び／又は異なる配置のコンポーネントを含んでもよい。
プロセッサ２０５は、１つ又は複数のプロセッサ、マイクロプロセッサ、データプロセッサ、コプロセッサ、並びに／又は、命令及び／若しくはデータを解釈及び／若しくは実行するいくつかの他の種類のコンポーネントを含む。プロセッサ２０５は、ハードウェア（例えば、マイクロプロセッサなど）又はハードウェア及びソフトウェアの組み合わせ（例えば、ＳｏＣ、ＡＳＩＣなど）として実装されてもよい。プロセッサ２０５は、オペレーティングシステム及び／又は様々なアプリケーション若しくはプログラム（例えば、ソフトウェア２１５）に基づいて、１つ又は複数の動作を実行する。
メモリ／記憶装置２１０は、１つ若しくは複数のメモリ、及び／又は１つ若しくは複数のその他の種類の記憶媒体を含む。例えば、メモリ／記憶装置２１０は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、キャッシュ、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、及び／又はいくつかの他の種類のメモリを含んでもよい。メモリ／記憶装置２１０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、ソリッドステートディスクなど）を含んでもよい。
ソフトウェア２１５は、機能及び／又はプロセスを提供するアプリケーション又はプログラムを含む。ソフトウェア２１５は、ファームウェアを含んでもよい。例として、ソフトウェア２１５は、電話アプリケーション、マルチメディアアプリケーション、電子メールアプリケーション、連絡先アプリケーション、カレンダアプリケーション、インスタントメッセージアプリケーション、ウェブ閲覧アプリケーション、位置ベースアプリケーション（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ベースのアプリケーションなど）、カメラアプリケーションなどを含んでもよい。ソフトウェア２１５は、オペレーティングシステム（ＯＳ：ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）を含む。例えば、主装置１０５の実装に依存して、オペレーティングシステムは、ｉＯＳ、Ａｎｄｒｏｉｄ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、又は別の種類のオペレーティングシステム（例えば、専用品、ＢｌａｃｋＢｅｒｒｙ ＯＳなど）に対応してもよい。
通信インタフェース２２０は、主装置１０５が他の装置、ネットワーク、システムなどと通信することを可能にする。通信インタフェース２２０は、１つ又は複数の無線インタフェース及び／若しくは有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ又は複数の送信機、受信機及び／若しくは送受信機を含んでもよい。通信インタフェース２２０は、１つ又は複数のプロトコル、通信標準及び／若しくはそれに類するものに従って動作する。通信インタフェース２２０は、超音波装置１１０との通信を可能にする。
入力２２５は、主装置１０５への入力を可能にする。例えば、入力２２５は、キーボード、マウス、ディスプレイ、タッチスクリーン、タッチレススクリーン、ボタン、スイッチ、入力ポート、音声認識ロジック、及び／又はいくつかの他の種類の視覚的、聴覚的、触覚的などの入力コンポーネントを含んでもよい。出力２３０は、主装置１０５からの出力を可能にする。例えば、出力２３０は、スピーカ、ディスプレイ、タッチスクリーン、タッチレススクリーン、ライト、出力ポート、及び／又はいくつかの他の種類の視覚的、聴覚的、触覚的などの出力コンポーネントを含んでもよい。
主装置１０５は、メモリ／記憶装置２１０によって記憶されているソフトウェア２１５をプロセッサ２０５が実行することに応答して、プロセス及び／又は機能を実行してもよい。例として、命令は、別のメモリ／記憶装置２１０からメモリ／記憶装置２１０に読み込まれ、又は別の装置から通信インタフェース２２０を介してメモリ／記憶装置２１０に読み込まれてもよい。メモリ／記憶装置２１０によって記憶されている命令は、プロセッサ２０５にプロセス又は機能を実行させる。代替的に、主装置１０５は、ハードウェア（プロセッサ２０５など）の動作に基づいて、プロセス又は機能を実行してもよい。前述したように、例示的な実施形態によれば、主装置１０５は、超音波装置１１０から受信する入力に基づいて動作する。
図２Ｂは、超音波装置１１０の例示的なコンポーネントを示す図である。図示するように、例示的な実施形態によれば、超音波装置１１０は、超音波送信機２３５、超音波受信機２４０、加速度計２４５、入力インタプリタ２５０、及び通信インタフェース２５５を含む。他の実施形態によれば、超音波装置１１０は、図２Ｂに示し、かつ本明細書で説明したものより少ないコンポーネント、追加のコンポーネント、異なるコンポーネント、及び／又は異なる配置のコンポーネントを含んでもよい。例えば、超音波装置１１０は、プロセッサ２０５、メモリ／記憶装置２１０、ソフトウェア２１５、入力２２５、及び／又は出力２３０などの、主装置１０５のコンポーネントを含んでもよい。さらに、他の実施形態によれば、超音波装置１１０は、あるウェアラブル部品が超音波送信機２３５を含み、別のウェアラブル部品が超音波受信機２４０を含むという構成を含んでもよい。コンポーネント間の接続は例示的なものである。
超音波送信機２３５は、超音波信号を送信する。例えば、超音波送信機２３５は、２０ｋＨｚ〜１００ｋＨｚの超音波信号を送信する。超音波送信機２３５は、特定の中心周波数で送信するように構成されてもよい。超音波送信機２３５は、超音波トランスデューサ、超音波センサ、又は音声信号発生器を使用して実装されてもよい。例えば、低コストの圧電性超音波トランスデューサが使用されてもよい。
超音波受信機２４０は、超音波信号を受信する。超音波受信機２４０は、周波数及び／又は振幅などの、超音波信号の特性を測定する。超音波受信機２４０は、また、位相を測定してもよい。超音波受信機２４０は、超音波トランスデューサ、超音波センサ、又は他のオーディオコーデックチップを使用して実装されてもよい。
加速度計２４５は、運動を検出するロジックを含む。加速度計２４５は、微小電気機械システム（ＭＥＭＳ：Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）センサの形態を取ってもよい。前述したように、加速度計２４５は、筋振戦から生じる運動の検出に基づいて、ユーザの筋肉が収縮しているかどうか、又は収縮の度合いを検出するために使用され得る。
入力インタプリタ２５０は、超音波受信機２４０によって受信される超音波信号の特性を判断するロジックを含む。例えば、前述したように、特性は、超音波信号の周波数、超音波信号の振幅、超音波信号の伝播（例えば、速度）、及び／又は超音波信号の位相であってもよい。超音波信号特性は、固定のままであってもよく、又は経時変化してもよい。入力インタプリタ２５０は、超音波受信機２４０によって受信された超音波信号特性を、送信された超音波信号と比較して、それらの差を識別し、伝播速度を判断してもよい。判断された超音波特性（複数可）に基づいて、入力インタプリタ２５０は、超音波信号プロファイル又は超音波信号シグニチャを生成してもよい。超音波信号プロファイルは、特定のユーザアクション（例えば、ユーザの腕の上でのジェスチャなど）と相互に関連する。
入力インタプリタ２５０は、主装置１０５に送信されるべき特定の入力を選択するための基礎として、超音波信号プロファイルを使用する。以下でさらに説明するように、例示的な実装によれば、入力インタプリタ２５０は、超音波信号プロファイルを、超音波信号プロファイルを記憶するデータベースと比較する。さらに、入力インタプリタ２５０は、加速度計２４５からデータを受信する。入力インタプリタ２５０は、ボディタッチユーザアクションのモード（例えば、ユーザの肢が弛緩状態である、収縮状態である、など）を判断するための基礎として、このデータを使用する。入力インタプリタ２５０は、以下でさらに説明するように、特定の入力を選択するための基礎としてモードを使用する。
例示的な実施形態によれば、入力インタプリタ２５０は、事前訓練される（ｐｒｅ−ｔｒａｉｎｅｄ）機械学習アルゴリズムを含む。例えば、事前訓練される機械学習アルゴリズムは、異なる筋肉量、ＢＭＩ（ｂｏｄｙ ｍａｓｓ ｉｎｄｅｘ）、年齢、身長、及び／又は他の身体的特性を有し得る、様々なユーザのサンプル空間に基づいてもよい。事前訓練される機械学習アルゴリズムは、受信した超音波信号プロファイルに基づいて、特定の入力を判断する。別の例示的な実施形態によれば、入力インタプリタ２５０は、ユーザ毎に、受信した超音波信号を調整し、識別し、特定の入力にマッピングするために訓練され得る、機械学習アルゴリズムを含む。前述したように、入力インタプリタ２５０は、受信した超音波信号及び加速度計の値を入力にマッピングするために、データベースを記憶し、使用してもよい。例示的なデータベースについては、以下で説明する。
図２Ｃは、例示的なデータベース２６０を示す図である。図示するように、データベース２６０は、信号値フィールド２６１、加速度計フィールド２６３、モードフィールド２６５、入力フィールド２６７、アプリケーションフィールド２６９を含む。超音波装置１１０のユーザが、訓練プロセスを受けているかどうか（超音波装置１１０が、事前訓練されているのに対して）に依存して、データベース２６０に記憶されたデータは、他のユーザから得られるデータなどの代わりに、超音波装置１１０の使用を通じて得られる実際の値及びユーザによって行われるアクションに対応してもよい。当然ながら、超音波装置１１０は、事前訓練された値を使用するが、カレントユーザが（例えば、性能を補い、又は微調整するために）訓練プロセスを受けることも可能にする、これらの方法の組み合わせが実行されてもよい。
信号値フィールド２６１は、超音波受信機２４０を介して受信した超音波信号の特性を示すデータを記憶する。例えば、信号値フィールド２６１は、超音波信号のシグニチャ又はプロファイルを示すデータを記憶する。シグニチャ又はプロファイルは、超音波信号の周波数、振幅、位相、持続時間、及び／又は伝播特性を示してもよい。信号値フィールド２６１は、また、ユーザアクションデータを示してもよい。例えば、ユーザアクションデータは、アクションの種類（例えば、タップ、ジェスチャなど）、アクションの位置、アクションの圧力、アクションの始まり、アクションの終わりなどの、ユーザによって行われるアクションの特性を示す。
加速度計フィールド２６３は、加速度計２４５から受信するデータを記憶する。例えば、加速度計フィールド２６３は、筋肉の収縮によって生じるモードのシグニチャ又はプロファイルを示すデータを記憶する。さらなる例として、ユーザが筋肉を収縮させるとき、筋振戦が発生する。筋振戦のシグニチャが、加速度計フィールド２６３内のデータによって示されてもよい。前述したように、ユーザの筋肉収縮の複数の度合い又はレベルがあってもよく、それが、弛緩状態に加えて複数の動作モードを可能にしてもよい。また、筋振戦は、超音波よりも非常に低い周波数帯（例えば、約１〜２０Ｈｚ）にあるため、例えばローパスフィルタを使用して、干渉を容易にフィルタリングすることができる。
モードフィールド２６５は、動作モードを示すデータを記憶する。例えば、モードは、弛緩状態又は収縮状態を示してもよい。代替的に、モードは、弛緩状態、又は複数の収縮状態のうちの１つを示してもよい。さらに、モードは、特定の時間内（例えば、１秒より短い間、１秒又は複数秒の間）の弛緩状態から収縮状態へ、又はその逆への移行を示してもよい。
入力フィールド２６７は、入力を示すデータを記憶する。入力は、主装置１０５の動作を制御するために使用され得る。即ち、入力は、主装置１０５上でユーザによって別の方法で実行され得る任意の入力に対応してもよい。幅広い種類の入力が利用可能な場合、入力は、マウス入力（例えば、シングルクリック、ダブルクリック、左ボタンクリック、右ボタンクリックなど）、キーボード入力（例えば、エンター、デリート、エスケープなど）、タッチディスプレイ上のジェスチャ（例えば、タップ、ドラッグなど）などに対応してもよい。入力は、アプリケーション固有又は大域的であってもよい。例えば、アプリケーション固有の入力は、メディアプレーヤの音量を変更する入力であってもよい。別の例によれば、大域的入力は、主装置１０５の様々なアプリケーションに適用し得る、マウスクリック又はエンターコマンドであってもよい。
アプリケーションフィールド２６９は、入力が関係するアプリケーションを示すデータを記憶する。例えば、入力は、電話アプリケーションの着信音の音量、又はメディアプレーヤアプリケーションの音量を制御するためであってもよい。
図２Ｂに戻って参照すると、通信インタフェース２５５は、超音波装置１１０が、他の装置、ネットワーク、システムなどと通信することを可能にする。例えば、通信インタフェース２５５は、主装置１０５との通信を可能にする。通信インタフェース２５５は、１つ又は複数の無線インタフェース及び有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ又は複数の送信機、受信機及び／若しくは送受信機を含んでもよい。通信インタフェース２２０は、１つ又は複数のプロトコル、通信標準及び／若しくはそれに類するものに従って動作する。
他の実施形態によれば、超音波装置１１０は、図２Ｂに記載したものよりも少ないコンポーネントを含む。例えば、主装置１０５は、データベース２６０を記憶してもよく、及び／又は超音波装置１１０から主装置１０５に送信されたデータ（例えば、超音波データ、加速度計データ）に基づいて入力を判断してもよい。超音波主装置１２５は、図２Ａ及び図２Ｂに関連して説明したように、コンポーネントの組み合わせを含んでもよい。
図３は、超音波装置１１０を使用した例示的なシナリオを示す図である。記載したシナリオによれば、ユーザ１１５は、ケース３０５内で主装置１０５を持ち運んでいると仮定する。一方、他のシナリオによれば、ユーザ１１５は、（例えば、図１Ａに示すように）主装置１０５を手に持っていることもある。代替的に、ユーザ１１５は、主装置１０５を持ち運んでおらず、単に主装置１０５の近くにいてもよい。例えば、主装置１０５は、スマートテレビ、又は他の種類のユーザ装置に対応してもよい。
例示的なユースケースによれば、ユーザ１１５は、ジョギングしており、イヤーピースを介して主装置１０５で音楽を聴いていると仮定する。ジョギングの間、ユーザ１１５は、主装置１０５上で音楽を再生しているメディアプレーヤの音量を調節したいと考える。この状況によれば、ユーザ１１５は、拳を固く握り、スライドジェスチャを行うことを決定する。入力インタプリタ２５０は、超音波受信機２４０及び加速度計２４５から値を取得し、データベース２６０を使用して主装置１０５に送信されるべき入力を判断する。この場合、入力は、メディアプレーヤの音量を下げることである。超音波装置１１０は、通信インタフェース２５５を介した入力信号を、Ｂｌｕｅｔｏｏｔｈ又は他の適当な短距離若しくは近距離通信リンクを介して、主装置１０５に送信する。主装置１０５は、通信インタフェース２２０を介して入力信号を受信する。主装置１０５のメディアプレーヤは、超音波装置１１０から入力信号を受信することに基づいて、音量を下げる。
別の例示的なユースケースによれば、ユーザ１１５は、会議に入るところであり、電話着信を消音したいと考えると仮定する。この状況によれば、ユーザの左腕が弛緩状態にある間に、ユーザ１１５は、自分の左手をダブルタップする。前述したのと同様のやり方で、超音波装置１１０は、ユーザのアクション及びモードを解釈する。それに応じて、超音波装置１１０は、適切な入力を判断する。超音波装置１１０は、入力信号を生成し、通信インタフェース２５５を介して入力信号を主装置１０５に送信する。主装置１０５は、入力信号を受信し、入力信号は、主装置１０５に電話着信を消音させる。
前述したように、モーダルボディタッチセンシングは、ユーザが、従来の単一モードのボディタッチセンシングと比較して増加した数の入力を利用することを可能にする。例えば、弛緩モード、収縮モード（又はその度合い）、及びあるモードから別のモードへの移行は、各モードにおいてユーザが行い得る利用可能なアクションに結び付けられるインタラクションの様々なモダリティをユーザに提示する。さらに、前述したように、収縮モード又はその度合いは、超音波信号の伝播特性、及び／又は加速度計２４５に基づいて判断されてもよい。
さらに、ユーザは、使用する超音波装置１１０の扱いにくい「アクティブ化」フェーズをスキップしてもよい。その場合、ユーザは、主装置１０５及び／又は超音波装置１１０上の超音波センシングを、手動でアクティブ化及び非アクティブ化しなければならない。むしろ、ユーザは、ボディタッチセンシングを動作させる故意のアクションを行ってもよい。例えば、ユーザは、自分の腕を弛緩状態にしてもよく、弛緩状態は、「ロックされた」又は「休止した」ボディセンシング状態に対応する。ユーザは、拳を固く握ること、又はその他のアクションによって、ボディセンシングをアクティブ化してもよく、その結果、ユーザのアクションが解釈され得る。代替的に、図３のシナリオに記載したように、ボディセンシングは、常に「オン」状態にあってもよい。
図１Ｂに戻って参照すると、前述したように、超音波主装置１２５は、超音波装置１１０を含む。さらに、超音波主装置１２５は、ユーザのオンボディインタラクションに応答する、１つ又は複数のエンドユーザアプリケーション若しくはサービスを含む。例えば、主装置１２５は、電話アプリケーション、ウェブブラウザ、及び／又は主装置１０５上で動作し得るその他のアプリケーション若しくはサービスを含んでもよい。超音波主装置１２５が超音波信号を解釈し、モードなどを判断し、入力を判断するプロセスは、超音波装置１１０に関連して前述したのと同一であってもよい。この場合でも、超音波装置１１０について前述したように、通信インタフェース２５５を介して主装置１０５へ入力を送信する必要はない。
図４は、モーダルボディタッチセンシングを提供する、例示的なプロセス４００を示すフロー図である。プロセス４００に記載するステップ又は動作は、超音波装置１１０の１つ又は複数のコンポーネントによって実行されてもよい。例えば、プロセッサ２０５は、ソフトウェア２１５を実行して、記載されたステップを実行してもよい。プロセス４００によれば、超音波装置１１０は、訓練されており、超音波イベント及び加速度計データを受信することに基づいて、入力を選択することができると仮定する。さらに、プロセス４００によれば、超音波装置１１０が腕輪装置であると仮定する。
図４を参照すると、ブロック４０５で、超音波イベントが検出される。例えば、超音波受信機２４０は、超音波信号を受信する。
ブロック４１０で、モードが検出される。例えば、加速度計２４５は、運動を検出する。加速度計２４５からの運動データは、ユーザの肢の弛緩状態、ユーザの肢の収縮状態、収縮の度合い、又はある状態から別の状態への移行などの、特定のモードを示してもよい。
ブロック４１５で、超音波イベント及びモードに基づいて、入力が選択される。例えば、入力インタプリタ２５０は、超音波信号特性（複数可）及び加速度計２４５からの運動データを使用して、適切な入力を選択する。例えば、入力インタプリタ２５０は、データベース２６０を使用して、受信したデータに基づき入力を選択する。
ブロック４２０で、入力は、主装置に送信される。例えば、入力インタプリタ２５０は、入力信号を生成する。入力インタプリタ２５０は、通信インタフェース２５５を介して入力信号を主装置１０５に送信する。
ブロック４２５で、入力は、主装置によって受信される。例えば、主装置１０５は、通信インタフェース２２０を介して入力信号を受信する。
ブロック４３０で、主装置は、入力に応答する。例えば、主装置１０５は、入力に応答する。例えば、主装置１０５は、入力を実行し、入力は一方で、主装置１０５にいくつかのアクションを実行させる。
図４は、モーダルボディタッチセンシングを提供する例示的なプロセス４００を示しているが、プロセス４００は、図４に示し、かつ説明したものよりも、追加の動作、少ない動作、及び／又は異なる動作を含んでもよい。例えば、超音波主装置１２５は、入力信号が送信される必要がなくてもよいことなどを除く、プロセス４００を実行してもよい。
前述の実施形態の説明は、例示であり、網羅的であること又は開示された正確な形態に実施形態を限定することを意図するものではない。したがって、本明細書に記載する実施形態に対する修正が可能であってもよい。例えば、超音波装置１１０及び／又は超音波主装置１２５は、ジャイロスコープを含んでもよい。ジャイロスコープは、方位データを提供してもよい。このように、複数のモードに加えて、方位が、利用可能な入力に別の面を加えてもよい。例えば、超音波装置１１０は、ユーザの腕が、弛緩してユーザ側に下がっているか、弛緩して外側に伸びているかということを検出してもよい。これらの違いに基づいて、異なる種類の入力がマッピングされてもよい。
「ａ」、「ａｎ」、及び「ｔｈｅ」という用語は、１つ又は複数の項目を含むように解釈されることが意図される。さらに、「に基づく」という句は、明示的に特段の記載がない限り、「少なくとも部分的に基づく」と解釈されることが意図される。「及び／又は」という用語は、関連する項目のうち１つ又は複数の、いずれかの組み合わせ及び全ての組み合わせを含むように解釈されることが意図される。
加えて、一連のブロックは、図４に示すプロセスに関して説明されるが、ブロックの順序は、他の実施形態に従って修正されてもよい。さらに、非依存ブロックは、並列に実行されてもよい。さらに、本説明に記載された他のプロセスは、修正されてもよく、及び／又は非依存動作は、並列に実行されてもよい。
本明細書に記載した実施形態は、多くの異なる形態のソフトウェア、ファームウェア、及び／又はハードウェアにおいて実装されてもよい。例えば、プロセス又は機能は、「ロジック」又は「コンポーネント」として実装されてもよい。このロジック又はこのコンポーネントは、ハードウェア（例えば、プロセッサ２０５、専用プロセッサ（図示せず）など）、又はハードウェア及びソフトウェア（例えば、ソフトウェア２１５）の組み合わせを含んでもよい。ソフトウェアは、本明細書の説明及び添付図面に基づいて実施形態を実装するように設計され得るため、実施形態は、特定のソフトウェアコードを参照することなく説明されている。
さらに、本明細書に記載した実施形態は、命令、プログラムコード、データ構造、プログラムモジュール、アプリケーションなどの、データ及び／又は情報を記憶する非一時的記憶媒体として実装されてもよい。例えば、非一時的記憶媒体は、メモリ／記憶装置２１０に関連して説明した記憶媒体のうちの１つ又は複数を含む。
「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、又は「備えている（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、それらの類義語（例えば、含む（ｉｎｃｌｕｄｅ）など）と同様、明細書で使用される際には、記載する特徴、整数、ステップ、又はコンポーネントの存在を特定することを意味するが、１つ又は複数の他の特徴、整数、ステップ、コンポーネント、又はそれらの群の存在又は追加を排除するものではない。言い換えると、これらの用語は、限定ではなく包含として解釈されるべきである。
上記明細書では、様々な実施形態について、添付図面を参照して説明した。しかしながら、以下に続く特許請求の範囲で述べる発明のより広い範囲から逸脱することなく、様々な修正及び変更がそれらに対して行われてもよく、追加の実施形態が、実装されてもよい。明細書及び図面は、それに応じて、限定的ではなく例示的であると見なされるものとする。
明細書及び図面による例示において、「例示的な実施形態」、「一実施形態」、「実施形態」などに対して参照が行われており、それは、実施形態（複数可）に関連する特定の特徴、構造又は特性を含んでもよい。しかしながら、明細書中の様々な場所での「一実施形態」、「実施形態」などの句又は用語の使用は、必ずしも記載した全ての実施形態を指すものではなく、必ずしも同一の実施形態を指すものでもなく、別々の又は代替の実施形態が、必ずしも他の実施形態（複数可）を相互に排除するものでもない。同じことが、「実装（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、「実装（ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ）」などの用語にも適用される。
本出願に記載されたいかなる要素、動作、又は命令も、明示的にそのように記載されない限り、明細書に記載された実施形態に対し重要なもの又は不可欠なものと解釈されるべきではない。

Claims (13)

  1. センサからのデータを用いて、超音波センシングをアクティブ化することを示す、ユーザの肢の特定の状態を識別することと、
    前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を前記ユーザにより装着可能な装置によって行うことと、
    前記センサからのデータに基づいて、前記肢の状態を判断することと、
    前記装置によって、前記超音波信号の前記受信及び前記肢の状態に基づいて、入力を選択することと、を含み、
    前記センサには、前記ユーザの筋振戦を検出する加速度計が含まれ、
    前記肢の状態を判断することには、前記加速度計から受信した前記筋振戦のデータに基づいて、前記肢の状態が収縮状態にあるか又は弛緩状態にあるかどうかを判断することが含まれる、
    方法。
  2. 前記入力を第２の装置に送信することと、
    前記第２の装置を介して、前記入力によって指定されるアクションを実行することと、をさらに含む、請求項１に記載の方法。
  3. 前記入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つである、請求項１に記載の方法。
  4. 受信した前記超音波信号の特性を分析することと、
    前記分析することに基づいて、オンボディタッチの種類を識別することと、をさらに含み、
    前記特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含む、
    請求項１に記載の方法。
  5. 前記入力は、アプリケーション固有である、請求項１に記載の方法。
  6. 前記オンボディタッチは、タップ又はスライドジェスチャである、請求項１に記載の方法。
  7. 超音波トランスデューサと、
    加速度計と、
    ソフトウェアを記憶するメモリと、
    プロセッサと、を備える装置であって、
    前記プロセッサは、
    前記加速度計からのデータを用いて、超音波センシングをアクティブ化することを示す、前記装置が装着されているユーザの肢の特定の状態を識別し、
    前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を、前記超音波トランスデューサを介して行い、
    前記肢の状態及び収縮の度合いを検出し、
    前記超音波信号の受信、前記肢の前記状態及び前記収縮の度合いに基づいて入力を選択する、前記ソフトウェアを実行し、
    前記プロセッサは、
    前記加速度計によって検出された前記ユーザの筋振戦に基づいて、前記オンボディタッチの時間の間、前記肢の状態が収縮状態であるか弛緩状態であるかどうかを判断する前記ソフトウェアを実行する、
    装置。
  8. 通信インタフェースをさらに備え、前記プロセッサは、前記通信インタフェースを介して別の装置に前記入力を送信する前記ソフトウェアをさらに実行する、請求項７に記載の装置。
  9. 前記入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つである、請求項７に記載の装置。
  10. 前記プロセッサは、
    受信した前記超音波信号の特性を分析し、
    前記特性の分析に基づいて、前記オンボディタッチの種類を識別する、前記ソフトウェアをさらに実行し、
    前記特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含む、
    請求項７に記載の装置。
  11. 前記プロセッサは、
    前記超音波信号のプロファイル、前記肢の状態、及び入力を含むデータベースを記憶し、
    前記データベースを使用して前記入力を選択する、前記ソフトウェアをさらに実行する、請求項７に記載の装置。
  12. 前記ユーザによって実行される特定のオンボディタッチイベントを認識し、前記オンボディタッチイベントに対応する入力を選択するために、前記ユーザが前記装置を訓練することを可能にする、機械学習モジュールをさらに備える、請求項７に記載の装置。
  13. ユーザによって装着される計算装置のプロセッサによって実行可能な命令であって、
    実行時に、前記計算装置に、
    加速度計を含むセンサからのデータを用いて、超音波センシングをアクティブ化することを示す、前記計算装置が装着される前記ユーザの肢の状態を識別することと、
    前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を、超音波トランスデューサを介して行うことと、
    前記加速度計によって検出された前記ユーザの筋振戦に基づいて、前記オンボディタッチの時間の間、前記肢の状態が収縮状態であるか弛緩状態であるかどうかを判断することと、
    前記計算装置が装着された前記ユーザの肢の状態を検出することと、
    前記超音波信号の受信及び前記肢の状態に基づいて入力を選択させることとをさせる、
    前記命令を記憶する非一時的記憶媒体。

JP2017508617A 2014-08-18 2015-06-24 超音波を用いたモーダルボディタッチ Expired - Fee Related JP6353160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/461,621 2014-08-18
US14/461,621 US9389733B2 (en) 2014-08-18 2014-08-18 Modal body touch using ultrasound
PCT/US2015/037332 WO2016028385A1 (en) 2014-08-18 2015-06-24 Modal body touch using ultrasound

Publications (2)

Publication Number Publication Date
JP2017530443A JP2017530443A (ja) 2017-10-12
JP6353160B2 true JP6353160B2 (ja) 2018-07-04

Family

ID=53541932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508617A Expired - Fee Related JP6353160B2 (ja) 2014-08-18 2015-06-24 超音波を用いたモーダルボディタッチ

Country Status (6)

Country Link
US (1) US9389733B2 (ja)
EP (1) EP3183625B1 (ja)
JP (1) JP6353160B2 (ja)
KR (1) KR20170042693A (ja)
CN (1) CN106662898B (ja)
WO (1) WO2016028385A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523782A4 (en) * 2016-10-05 2020-06-24 Magic Leap, Inc. PERIOCULAR TEST FOR MIXED REALITY CALIBRATION
EP3533161B1 (en) * 2016-10-25 2020-07-29 Telefonaktiebolaget LM Ericsson (PUBL) User-worn device and touch-device for ultrasonic data transmission
US10481699B2 (en) 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
TW201928604A (zh) * 2017-12-22 2019-07-16 美商蝴蝶網路公司 用於基於超音波資料來識別姿勢的方法和設備
CN111936959A (zh) * 2018-03-23 2020-11-13 脸谱科技有限责任公司 用于在用户身上显示用户界面并检测触摸手势的方法、设备和系统
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
JPWO2022249253A1 (ja) * 2021-05-24 2022-12-01
EP4176335A1 (en) * 2021-09-27 2023-05-10 Google LLC Touch control of wearable devices

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
JP3587034B2 (ja) * 1997-10-21 2004-11-10 オムロン株式会社 電子機器及び電子遊戯機器
US7148879B2 (en) * 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
US6984208B2 (en) * 2002-08-01 2006-01-10 The Hong Kong Polytechnic University Method and apparatus for sensing body gesture, posture and movement
KR100785764B1 (ko) * 2005-05-11 2007-12-18 한국전자통신연구원 인체 안테나를 이용한 지상파 ｄｍｂ 수신 장치 및 그 방법
JP4039530B1 (ja) * 2006-11-30 2008-01-30 学校法人立教学院 視覚触知覚相互作用体感装置
KR100793079B1 (ko) * 2006-12-08 2008-01-10 한국전자통신연구원 손목착용형 사용자 명령 입력 장치 및 그 방법
KR101572768B1 (ko) * 2007-09-24 2015-11-27 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US20110071419A1 (en) * 2008-05-26 2011-03-24 Koninklijke Philips Electronics N.V. Location indicating device
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US20100056873A1 (en) * 2008-08-27 2010-03-04 Allen Paul G Health-related signaling via wearable items
TW201015099A (en) * 2008-09-10 2010-04-16 Koninkl Philips Electronics Nv System, device and method for emergency presence detection
JP2012511274A (ja) * 2008-12-05 2012-05-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 体結合通信に基づかれるユーザー識別
US8386028B2 (en) * 2009-03-24 2013-02-26 Biospace Co., Ltd. Method of analyzing body composition with measurement of voltage signals at multiple positions of body
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
CN102597931B (zh) * 2009-11-09 2016-01-27 罗姆股份有限公司 带触摸传感器的显示器、控制电路和使用它的电子设备
JP5856566B2 (ja) * 2009-11-11 2016-02-10 ニヴェウス メディカル， インコーポレーテッド 相乗的筋活性化装置
US8421634B2 (en) * 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
KR101890717B1 (ko) * 2010-07-20 2018-08-23 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
US8665210B2 (en) * 2010-12-22 2014-03-04 Microsoft Corporation Sensing user input using the body as an antenna
WO2012110042A1 (en) * 2011-02-17 2012-08-23 Sense A/S A method of and a system for determining a cardiovascular quantity of a mammal
US8908894B2 (en) * 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
US8988373B2 (en) * 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
EP2909699A1 (en) * 2012-10-22 2015-08-26 VID SCALE, Inc. User presence detection in mobile devices
EP2909755B1 (en) 2012-10-22 2019-08-28 Sony Corporation User interface with location mapping
US9226094B2 (en) * 2013-07-25 2015-12-29 Elwha Llc Systems and methods for receiving gesture indicative data at a limb wearable computing device
US9594433B2 (en) * 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction

Also Published As

Publication number Publication date
CN106662898A (zh) 2017-05-10
WO2016028385A1 (en) 2016-02-25
EP3183625A1 (en) 2017-06-28
US20160048231A1 (en) 2016-02-18
JP2017530443A (ja) 2017-10-12
EP3183625B1 (en) 2021-10-27
KR20170042693A (ko) 2017-04-19
CN106662898B (zh) 2020-09-11
US9389733B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
JP6353160B2 (ja) 超音波を用いたモーダルボディタッチ
US9727133B2 (en) Ultrasound-based facial and modal touch sensing with head worn device
CN102640086B (zh) 感测机械能以使得身体适用于进行数据输入
US20170052596A1 (en) Detector
US9857879B2 (en) Finger gesture sensing device
US20210397267A1 (en) Systems and methods for gesture-based control
JP2011048818A (ja) 指の動き検出装置およびその方法
KR101707734B1 (ko) 디바이스 본체 정위의 판단
US11241197B2 (en) Apparatus for blood pressure estimation using photoplethysmography and contact pressure
WO2018131251A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11347320B1 (en) Gesture calibration for devices
Agarwal et al. Opportunistic sensing with MIC arrays on smart speakers for distal interaction and exercise tracking
US20160202788A1 (en) Multi-on-body action detection based on ultrasound
US11262850B2 (en) No-handed smartwatch interaction techniques
US20180267618A1 (en) Method for gesture based human-machine interaction, portable electronic device and gesture based human-machine interface system
Ibrahim et al. PRESS/HOLD/RELEASE ultrasonic gestures and low complexity recognition based on TCN
Yang et al. MAF: Exploring Mobile Acoustic Field for Hand-to-Face Gesture Interactions
Cao et al. IPand: accurate gesture input with ambient acoustic sensing on hand
US20230144825A1 (en) Detecting input gestures using onboard microphones
Bose et al. A hands free browser using EEG and voice Inputs
JP6391486B2 (ja) 情報処理装置、操作制御システムおよび操作制御方法
CN106658339A (zh) 一种音频信号处理方法及装置、系统
WO2024191491A1 (en) Gesture-based control using active acoustic sensing

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180607

R150 Certificate of patent or registration of utility model

Ref document number: 6353160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees