JP5543929B2 - 入力デバイス、ウェアラブルコンピュータ、及び入力方法 - Google Patents

入力デバイス、ウェアラブルコンピュータ、及び入力方法 Download PDF

Info

Publication number
JP5543929B2
JP5543929B2 JP2010549468A JP2010549468A JP5543929B2 JP 5543929 B2 JP5543929 B2 JP 5543929B2 JP 2010549468 A JP2010549468 A JP 2010549468A JP 2010549468 A JP2010549468 A JP 2010549468A JP 5543929 B2 JP5543929 B2 JP 5543929B2
Authority
JP
Japan
Prior art keywords
change
input device
output device
ear canal
external output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010549468A
Other languages
English (en)
Other versions
JPWO2010090175A1 (ja
Inventor
和弘 谷口
敦 西川
文夫 宮崎
亜早子 小久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Priority to JP2010549468A priority Critical patent/JP5543929B2/ja
Publication of JPWO2010090175A1 publication Critical patent/JPWO2010090175A1/ja
Application granted granted Critical
Publication of JP5543929B2 publication Critical patent/JP5543929B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、外部の出力デバイスに制御命令を出力するための入力デバイス、当該入力デバイスを備えたウェアラブルコンピュータ、及び外部の出力デバイスに制御命令を出力するための入力方法に関する。
近年、身体に装着してハンズフリー操作を可能とするウェアラブルコンピュータの開発が様々な方面で行われている。このようなウェアラブルコンピュータにおいては、昨今の半導体技術、及び通信技術の進歩により、演算能力や記憶能力をネットワーク側に持たせることが可能となってきた。このため、今後、ウェアラブルコンピュータ側に求められる主要な機能は、ヒューマンインタフェース(すなわち、入力デバイス、及び出力デバイス)である。このうち、出力デバイスは、例えば、ヘッドマウントディスプレイや骨伝導ヘッドフォンとして既に開発されている例が幾つか見られる。ところが、ウェアラブルコンピュータに好適に使用される安価な入力デバイスの開発例は、未だ見当たらないのが現状である。
一方、ウェアラブルコンピュータの入力デバイスとして用いられるものではないが、ハンズフリーで情報を得ることが可能な装置の例として、人が食物等を咀嚼する際の回数を計測する咀嚼回数計測装置がある(例えば、特許文献1〜3を参照)。
人が食物等を咀嚼すると、顎の動きに伴って外耳道の筋肉が動く。そこで、特許文献1の装置では、この筋肉の動きによる外耳道内の圧力変化を外耳道内に挿入した圧力センサで検知し、圧力変化の回数を咀嚼回数として計測している。
特許文献2も上記特許文献1と同様の原理であるが、咀嚼に伴う外耳道の動きを検知する圧力センサとして、微圧センサ、圧電センサ、押圧センサを用いることが記載されている。
特許文献3も基本的には上記特許文献1及び特許文献2と同様の原理であり、咀嚼により派生する動きを検知するセンサを備えている。このセンサとして、張力検出センサ、筋電圧検出センサ、圧力検出センサが記載されている。
特開平7−213510号公報 特開平11−318862号公報 特開平7−171136号公報
しかしながら、先に述べたように、上記特許文献1〜3の装置は、そもそもウェアラブルコンピュータの入力デバイスとして使用することを全く意図していない。仮に、ウェアラブルコンピュータの入力デバイスとして使用すると、上記特許文献1〜3の装置は、何れも外耳道内の圧力変化を検知するセンサを使用しているため、使用環境(外耳道のサイズ、外耳道の形状、装着状態等)の違いによって検知結果にバラツキが発生し易い。このため、確実な操作が求められるウェアラブルコンピュータの入力デバイスには不向きである。
また、外耳道内の圧力変化を確実に検知するためには、圧力センサを装着者の外耳道にしっかりと圧入する必要があるが、これによって装着者は不快感を抱くようになる。このため、長時間の装着は困難である。この点においても、上記特許文献1〜3の装置は、ウェアラブルコンピュータの入力デバイスとして適さないと言える。
なお、圧力センサを用いた上記特許文献1〜3の装置は比較的コストが高く、構造も複雑になり易い。このため、より安価で且つ簡素な入力デバイスの開発が望まれている。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、ウェアラブルコンピュータ用に好適であり、且つ安価な入力デバイスを提供することにある。また、ウェアラブルコンピュータを操作するのに適した入力方法を提供することにある。さらに、そのような入力デバイスを備えたウェアラブルコンピュータを提供することにある。
上記課題を解決するための本発明に係る入力デバイスの特徴構成は、
外部の出力デバイスに制御命令を出力するための入力デバイスであって、
外耳道を含む外耳に装着され、前記外耳道の形状変化を距離の変化として検知する光学式センサと、
前記光学式センサからの検知信号に基づいて、前記外部の出力デバイスを制御する制御部と、
を備え
前記光学式センサは、前記外耳の所定位置に配置される検知素子と、前記外耳道に当接するとともに前記検知素子を包囲する弾性部材とを備えることにある。
本構成の入力デバイスによれば、光学式センサ外耳道を含む外耳に装着されるので、外部光等の外乱要因を極力排除した環境下で、外耳道の形状変化を検知することが可能となる。その結果、光学式センサから信頼性の高い検知信号が安定して得られ、得られた検知信号に基づいて、外部の出力デバイスを高精度に制御することが可能となる。
光学式センサは、例えば、圧力センサのようにセンサ部自身を外耳道に強く圧入させる必要が無い。このため、入力デバイスの装着者の不快感を低減することができる。その結果、長時間の装着が可能となり、ウェアラブルコンピュータの入力デバイスとして好適に使用することができる。
また、光学式センサを外耳に装着した場合、特に、外乱要因としての外部光の影響を良好に排除することができるので、入力デバイスとしての信頼性及び安定性がより向上する。
また、光学式センサを採用した場合、圧力センサ等と比較して入力デバイスの構造を簡素化することができ、しかもより安価に構成することができる。
さらに、本構成の入力デバイスによれば、外耳の所定位置に検知素子が配置され、その際、検知素子の周囲には外耳道に当接する弾性部材が設けられているので、光学式センサは外耳への装着状態であっても、弾性部材が変形することにより若干の移動が可能となる。このような移動を利用して、検知信号を増幅することができる。また、この移動による増幅は、電気的なものではなく光学式センサの機構に起因するものであるので、増幅後の信号はS/N比が優れた高品質の信号となる。
なお、検知素子を弾性部材が包囲しているため、入力デバイスの装着感が向上するという効果もある。
本発明に係る入力デバイスにおいて、
前記光学式センサは、反射型フォトセンサ、又はFBG型光ファイバセンサであることが好ましい。本発明の入力デバイスが備えた光学式センサとしてこれら既存のセンサを適用することで、より安価に入力デバイスを構成することができる。
本発明に係る入力デバイスにおいて、
前記外耳道の形状変化は、前記光学式センサを装着する者が、前記外部の出力デバイスの操作を意図して行った所定の動作に起因して発生する形状変化であることが好ましい。
本構成の入力デバイスによれば、光学式センサを装着する者が、外部の出力デバイスの操作を意図して所定の動作を行うだけで、光学式センサ外耳道の形状変化を検知して検知信号を生成することができる。
このように、本構成によれば、光学式センサを装着する者の意図により、外部の出力デバイスを制御する入力デバイスを構築することができる。
本発明に係る入力デバイスにおいて、
前記外耳道の形状変化は、前記光学式センサを装着する者が、前記外部の出力デバイスの連続的な操作を意図して行った連続的な所定の動作に起因して発生する連続的な形状変化であることが好ましい。
本構成の入力デバイスによれば、光学式センサを装着する者が、連続的な所定の動作を実行するだけで、外部の出力デバイスの連続的な操作を行い得るため、装着者の操作利便性がより向上する。
本発明に係る入力デバイスにおいて、
記所定の動作は、瞼の瞬き動作、眼球の動作、舌の動作、咀嚼動作、顔面の伸縮動作、及びこれら動作の組み合わせからなる群から選択される少なくとも一つであることが好ましい。
人が、瞼の瞬き動作、眼球の動作、舌の動作、咀嚼動作、顔面の伸縮動作、及びこれら動作の組み合わせからなる群から選択される少なくとも一つを実行すれば、それに伴って自然開孔部である外耳(外耳道を含む)の形状が変化する。そこで、本構成の入力デバイスでは、上記の動作に伴う外耳(外耳道)の形状変化を検知することで、外部の出力デバイスを制御するための制御命令を生成している。
このように、本構成によれば、光学式センサを装着する者が簡単な動作を行うだけで外部の出力デバイスを制御することができるハンズフリーの入力デバイスを構築することができる。
本発明に係る入力デバイスにおいて、
前記制御部は、
前記光学式センサから受信した検知信号と、予め求めておいた物理量の変化を表す基準とを比較する比較手段と、
前記比較手段による比較結果に基づいて、前記外部の出力デバイスを制御する制御信号を生成する信号生成手段と、
を備えることが好ましい。
本構成の入力デバイスによれば、比較手段により、光学式センサから受信した検知信号と、予め求めておいた物理量の変化を表す基準とを比較することで、制御命令を生成すべきか否かの判断材料とすることができる。そして、この比較結果に基づいて、制御命令を生成すべきと判断した場合、信号生成手段が、外部の出力デバイスを制御する制御信号を生成することができる。
本発明に係る入力デバイスにおいて、
前記物理量の変化を表す基準は、外部の記憶媒体、又はネットワーク上に設けられたデータベースに格納されていることが好ましい。
本構成の入力デバイスによれば、物理量の変化を表す基準が、外部の記憶媒体に格納されている場合、入力デバイス側に記憶手段を設ける必要がないので、装置構成を簡素化することができる。
また、物理量の変化を表す基準が、ネットワーク上に設けられたデータベースに格納されている場合では、インターネット等のネットワークを通じて入力デバイスから外部の出力デバイスに何時でも何処からでも制御命令を送信することができるようになる。従って、近未来に実現すると期待されるユビキタスネットワーク社会において、好適な入力デバイスを備えたウェアラブルコンピュータを構築することができる。
本発明に係る入力デバイスにおいて、
前記物理量の変化を表す基準は、(a)所定値以上の電圧の変化量として、(b)電圧が変化した後、変化後の電圧が所定時間以上持続することとして、あるいは、一つ以上の前記(a)と、一つ以上の前記(b)との任意の組み合わせパターンとして規定されることが好ましい。
本構成の入力デバイスによれば、物理量の変化を表す基準を、所定値以上の電圧の変化量とすることにより、光学式センサが検知する外耳道の形状変化を確実に捉えることができる。その結果、制御命令(制御信号)を生成すべきか否かの判断を良好に行うことができる。また、上述の所定値以上の電圧の変化量に加えて、電圧の変化後に、その状態が所定時間以上持続したか否かを物理量の変化を表す基準とすれば、光学式センサが検知する外耳道の形状変化をより確実に捉えることができる。
さらに、本構成の入力デバイスでは、より複雑な物理量の変化を表す基準を採用することも可能である。これは、一つ以上の(a)「所定値以上の電圧の変化量」と、一つ以上の(b)「電圧が変化した後、変化後の電圧が所定時間以上持続すること」との任意の組み合わせパターン(すなわち、電圧の変動パターン)として規定されるものである。例えば、所定値以上に電圧が変化した後、その状態が所定時間以上持続し、その後さらに電圧が所定値以上変化したこと(この場合、(a)、(b)、(a)の順に連続する変動パターン)をもって、光学式センサ外耳道が形状変化したと検知することができる。このように、より複雑な電圧の変動パターンを物理量の変化を表す基準として採用すれば、制御命令(制御信号)を生成すべきか否かの判断を極めて良好且つ確実に行うことができる。
また、上記課題を解決するための本発明に係るウェアラブルコンピュータの特徴構成は、
上記の何れか一つに記載の入力デバイスと、
前記外耳の性質に応じた情報である音声を出力する外部の出力デバイスと、
を備えた点にある。
本構成のウェアラブルコンピュータによれば、外部の出力デバイスとして、入力デバイスを装着する外耳の性質に応じた情報である音声を出力するものを採用しているので、入力デバイスと出力デバイスとの相性がよい。
また、本構成のウェアラブルコンピュータを用いれば、表情認識システムを構築することも可能となる。すなわち、入力デバイスの光学式センサが装着者の外耳道の形状変化を検知し、制御部が光学式センサから受信した検知信号に基づいて装着者の表情を認識し、制御信号を外部の出力デバイスに出力するのである。このとき、外部の出力デバイスは装着者に向けて情報を出力し、その情報に対するリアクション(表情)が再度入力デバイスに入力され、それに基づいて新たな検知信号及び制御信号が生成される。このように、ウェアラブルコンピュータと装着者との間において、いわゆるバイオフィードバックが形成される。その結果、装着者が望む最適な情報をリアルタイムで提供することが可能となる。
本発明に係るウェアラブルコンピュータにおいて、
記外部の出力デバイスは音響機器であることが好ましい。
本構成のウェアラブルコンピュータによれば、入力デバイスを装着する自然開孔部が外耳(外耳道を含む)である場合の出力デバイスとして音響機器を採用している。このため、ウェアラブルコンピュータの装着者は、自分の耳を使って直感的にハンズフリーでの操作を実行することができる。
また、本構成のウェアラブルコンピュータを用いれば、バイオフィードバックにより、例えば、装着者の笑顔の頻度が低下した場合、外部の出力デバイスが、リラックスできる音や音楽を自動的に再生する等、装着者の状況に応じた適切な出力を実行することが可能となる。
さらに、上記課題を解決するための本発明に係る入力方法の特徴構成は、
外部の出力デバイスに制御命令を出力するための入力方法であって、
外耳道の形状変化を光学式センサによって距離の変化として検知する検知工程と、
検知した前記外耳道の形状変化に基づいて、前記外部の出力デバイスを制御する制御工程と、
を包含し、
前記光学式センサは、前記外耳の所定位置に配置される検知素子と、前記外耳道に当接するとともに前記検知素子を包囲する弾性部材とを備えることにある。
本構成の入力方法によれば、上述した本発明の入力デバイスと同様の作用効果が得られる。すなわち、外耳道の形状変化を検知することにより、外部光等の外乱要因を極力排除した環境下で光学式センサによって検知することが可能となる。その結果、信頼性の高い検知結果(外耳道の形状変化)が安定して得られ、得られた検知結果に基づいて、外部の出力デバイスを高精度に制御することが可能となる。
本発明の入力デバイスを概略的に示したブロック図である。 耳掛けタイプのセンサ部を示す図である。 挿入タイプのセンサ部を示す図である。 本発明の入力方法を示したフローチャートである。 実施例1による検知信号の時間変化を示したグラフである。 実施例2による検知信号の時間変化を示したグラフである。 実施例3による検知信号の時間変化を示したグラフである。 実施例4による検知信号の時間変化を示したグラフである。 実施例5による検知信号の時間変化を示したグラフである。 実施例6による検知信号の時間変化を示したグラフである。 実施例7による検知信号の時間変化を示したグラフである。 別実施形態による患者のへそ付近の人工開孔部にセンサ部を装着した状態を示す図である。
本発明の入力デバイス、当該入力デバイスを備えたウェアラブルコンピュータ、及び入力方法に関する実施形態を図面に基づいて説明する。ただし、本発明は、以下に説明する実施形態や図面に記載される構成に限定されることを意図せず、それらと均等な構成も含む。
〔入力デバイス〕
図1は、本発明の入力デバイス100を概略的に示したブロック図である。入力デバイス100は、その基本構成として、センサ部10、及び制御部20を備えている。
<センサ部の構成>
センサ部10は、身体の自然開孔部に装着される。ここで、「身体の自然開孔部」とは、身体に形成されている器官等の開孔部を意味し、例えば、外耳(外耳道)、鼻腔、口腔、肛門、膣等が挙げられる。本実施形態では、特に、外耳(外耳道を含む)を身体の自然開孔部として利用する。なお、センサ部10は、種々のものを使用できるが、測定対象物との距離を光で計測可能な光学式センサ(例えば、反射型フォトセンサ、FBG型光センサ)を採用するのが好ましい。光学式センサは、LEDや電球などの発光素子とフォトトランジスタ、フォトダイオード、CCDなどの受光素子とを含む。なお、LEDとして赤外線LEDを使用する場合は、発信する赤外線の波長として、人体を透過しない波長のものを選択する必要がある。本実施形態では、以後、センサ部10が光学式センサであるものとして説明する。また、センサ部10の形状は、図2に示す「耳掛けタイプ」、又は図3に示す「挿入タイプ」が使い勝手が良いため好適である。
(耳掛けタイプ)
図2(a)は、耳掛けタイプのセンサ部10の斜視図である。図2(b)は、センサ部10を外耳に装着した状態を示す図である。この耳掛けタイプの場合、センサ部10は、実質的に外耳道に挿入されることなく外耳を外側から覆うように装着されるので、一旦装着されると、外耳道に対するセンサ部10の相対位置は略固定されることになる。一方、外耳道の形状変化は、場所によって発生状況が異なる。例えば、舌を動かすことによって形状変化する部位と、眼球を動かすことによって形状変化する部位とは異なる。そこで、外耳に対するセンサ部10の装着方向を、測定したい動作によって適宜調整することが好ましい。この場合、センサ部10の全体について方向調整を行ってもよいが、検知素子11のみ方向調整を行うことも可能である。
センサ部10は、検知素子11としての発信素子11a及び受信素子11bを有している。発信素子11aから発信された測定光は、その一部が外耳道の表面で反射され、受信素子11bに戻る。ここで、入力デバイス100の装着者の外耳が動くと、センサ部10の検知素子11から外耳道の反射表面までの距離が変化する。これにより、検知素子11(受信素子11b)に入射する反射光の強度が変化する。そこで、この反射光の強度変化をモニタリングすることで、外耳道の形状変化を検知することができる。なお、検知素子11は、必要に応じて複数設けることができる。また、発信素子11aとして、例えばLEDや電球などの発光素子が挙げられ、受信素子11bとして、例えばフォトトランジスタ、フォトダイオード、CCDなどの受光素子が挙げられる。特に、発信素子11aとしてLEDを採用し、受信素子11bとしてフォトトランジスタ又はフォトダイオードを採用する場合は、検知信号のノイズを低減することができるので、高品質の検知信号を得ることができる。
(挿入タイプ)
図3は、センサ部10を外耳道に挿入した状態を示す図である。この挿入タイプの場合、検知素子11としての発信素子11a及び受信素子11bは、弾性部材12によって包囲された構造を有している。弾性部材12は、センサ部10を外耳道に挿入したときに、外耳道の表面に当接する。このため、センサ部10が外耳道内の所定位置に挿入された後も、弾性部材12が撓むことにより、検知素子11は装着者の外耳道内で移動することができる。一方、外耳道の形状が変化しても装着者の鼓膜は大きく移動することはない。従って、検知素子11は、鼓膜に対して若干相対移動することが可能となる。
なお、外耳道の形状変化は、上述したように、場所によって発生状況が異なる。そこで、弾性部材12の形状や硬さを適宜調整することにより、センサ部10の検知素子11は、外耳道の特定部位の形状変化を検知し易くなる。これにより、センサ部10は、結果として、装着者の特定の動作のみに反応することが可能となる。また、弾性部材12として、比較的硬い部材と比較的柔らかい部材とを組み合わせることも有効である。これにより、より細かな調整が可能となる。
発信素子11aから発信された測定光は、その一部が鼓膜の表面で反射され、受信素子11bに戻る。ここで、外耳道の形状が変化すると、弾性部材12が撓んで検知素子11が若干相対移動し、検知素子11から鼓膜の反射表面までの距離が変化する。これにより、検知素子11(受信素子11b)に入射する反射光の強度が変化する。そこで、この反射光の強度変化をモニタリングすることで、外耳道の形状変化を検知することができる。なお、検知素子11は、必要に応じて複数設けることができる。
ところで、挿入タイプのセンサ部10では、上記のような検知素子11の相対移動を利用して、後述する検知信号αを増幅することができる。そして、この相対移動による増幅は、電気的なものではなくセンサ部10の機構に起因するものである。このため、増幅後の信号は、S/N比が優れた高品質の信号となる。
<制御部の構成>
センサ部10の検知素子11(受信素子11b)が反射光を受信すると、センサ部10は検知強度に応じた検知信号αを生成し、これを制御部20に送信する。制御部20は、比較手段21、及び信号生成手段22を有している。制御部20がセンサ部10から検知信号αを受信すると、比較手段21において、受信した検知信号αと予め求めておいた物理量の変化を表す基準βとの比較が行われる。
ここで、物理量の変化を表す基準βは、図1に示すように、外部記憶媒体30に格納されている。外部記憶媒体30としては、例えば、フラッシュメモリ、ハードディスク等が挙げられる。このような構成により、入力デバイス100側に記憶手段を設ける必要がなくなる。従って、入力デバイス100の装置構成を簡素化することができる。
一方、外部記憶媒体30の代わりに、インターネット等のネットワーク上に設けられた基準βに関するデータベース(図示せず)を利用しても構わない。このような構成により、インターネット等のネットワークを通じて入力デバイス100から外部の出力デバイス40に何時でも何処からでも後述する制御命令(制御信号γ)を送信することができるようになる。従って、本構成によれば、近未来に実現すると期待されるユビキタスネットワーク社会において、好適な入力デバイス100を備えたウェアラブルコンピュータを構築することができる。
なお、上述した物理量の変化を示す基準βの具体的内容、及び比較手段21が実行する具体的な比較手法については、後述の「入力方法」及び「実施例」において詳述する。
信号生成手段22は、比較手段21による比較結果に基づいて、外部出力デバイス40を制御する制御命令(制御信号γ)を生成する。この制御命令(制御信号γ)は、例えば、外部出力デバイス40の電源のON/OFF操作、所定機能の動作/停止操作、機能切替操作など、通常、使用者がスイッチの入力によって実行する機器操作の命令として利用することができる。また、制御命令(制御信号γ)を複数種設定すれば、比較的複雑な入力操作(例えば、コンピュータにおけるキーボード入力等)の代替手段として利用することも可能である。
以上のように構成した本発明の入力デバイス100によれば、センサ部10が身体の自然開孔部(本実施形態の場合は外耳道)に装着されるので、外部光等の外乱要因を極力排除した環境下で、当該自然開孔部の形状変化を検知することが可能となる。その結果、センサ部10から信頼性の高い検知信号αが安定して得られる。そして、得られた検知信号αに基づいて、外部出力デバイス40を高精度に制御することが可能となる。
なお、センサ部10は、光学式センサであることに限定されない。身体の自然開孔部に装着され、自然開孔部の形状変化を検知し得る限りは、センサ部10として他のセンサを適用し得る。
例えば、センサ部10は音響式センサであり得る。センサ部10は、検知素子11としての発信素子11a及び受信素子11bを有している。音響式センサとしては、例えば、超音波式距離センサが挙げられる。発信素子11aとしては例えばスピーカが、受信素子11bとしては例えばマイクが挙げられる。発信素子11aから発信された測定波は、その一部が外耳道の表面で反射され、受信素子11bに戻る。ここで、入力デバイス100の装着者の外耳が動くと、センサ部10の検知素子11から外耳道の反射表面までの距離が変化する。これにより、反射波が検知素子11(受信素子11b)に入射するまでの時間が変化する。そこで、この時間変化をモニタリングすることで、外耳道の形状変化を検知することができる。なお、測定波に用いる音波の周波数は、例えば、人間の聴覚で検知できない20kHz以上とすることができる。
例えば、センサ部10はFBG(Fiber Bragg Grating)型光ファイバセンサでもあり得る。FBG型光ファイバセンサによれば、光ファイバの中に一定の構造変化を生じさせ、構造変化を回折格子として利用することで光ファイバ内を通過する特定の波長をとらえることができる。FBG型光ファイバセンサの光ファイバを、外耳の動きに伴って光ファイバが変形するように外耳道の表面に沿わせる。光ファイバが変形すると光ファイバ内を通過する光の波長が変化するため、波長変化をモニタリングすることで、外耳の動きに伴う外耳道の変化を検知し得る。
また、センサ部10として、音響式センサ、または本実施形態のような光学式センサを用いた場合では、圧力センサのようにセンサ部10自身を身体の自然開孔部に強く圧入させる必要が無い。このため、入力デバイス100の装着者の不快感を低減することができる。その結果、長時間の装着が可能となり、ウェアラブルコンピュータの入力デバイス100として好適に使用することができる。
なお、センサ部10に光学式センサを採用すると、圧力センサ等と比較して入力デバイス100の構造を簡素化することができ、しかもより安価に構成することができるという利点もある。
〔ウェアラブルコンピュータ〕
本発明の入力デバイス100は、任意の外部出力デバイス40と組み合わせることで、ハンズフリー操作が可能なウェアラブルコンピュータとして好適に使用することができる。組み合わせ可能な外部出力デバイス40としては、例えば、音楽再生プレーヤー等の音響機器、DVDプレーヤー等の映像機器、携帯電話等の通信機器、補聴器等の医療器具などが挙げられる。
特に、本実施形態のように、外耳に装着して使用する入力デバイス100を用いてウェアラブルコンピュータを構築する場合、組み合わせる外部出力デバイス40として、音声を出力する音響機器を採用するのが好適である。つまり、入力デバイス100と組み合わせる外部出力デバイス40は、入力デバイス100を装着する自然開孔部の性質に応じた情報を出力する機器とすることが好ましい。このような入力デバイス100と外部出力デバイス40との組み合わせは理に叶ったものであり、相性の点において優れている。例えば、本実施形態を例にとると、外耳道の形状変化を検知する入力デバイス100と、外耳道に音声を出力する音響機器とを組み合わせているので、入力デバイス100の装着者は、自分の耳を使って直感的にハンズフリーでの操作を実行することができる。
また、入力デバイス100の装着者は、外部出力デバイス40をハンズフリーで操作しながら、一方で、手動の装置を操作しえる。例えば、手動の装置として、キーボードやマウスなどのコンピュータ入力装置が挙げられる。手動の装置としてキーボードを選択し、外部出力デバイス40としてマウスを選択する場合は、同時に複数のコンピュータ入力装置を操作し得ることとなり、コンピュータ操作の更なる効率向上を図り得る。
また、外部出力デバイス40として、複雑な操作が求められる装置(例えば、ロボットマニピュレータ)を選択しえる。複数の入力デバイス100を当該装置に組み合わせ、複数の入力デバイス100の各々を複数の者で装着することによって、複雑な操縦を複数の者で分担し、簡易に、効率よく、当該装置を操作し得る。
さらに、本発明のウェアラブルコンピュータによれば、表情認識システムを構築することも可能となる。すなわち、入力デバイス100のセンサ部10が装着者の身体の自然開孔部の形状変化を検知し、制御部20がセンサ部10から受信した検知信号αに基づいて装着者の表情を認識し、制御信号γを外部出力デバイス40に出力するのである。このとき、外部出力デバイス40は装着者に向けて情報を出力し、その情報に対する装着者のリアクション(表情)が再度入力デバイス100に入力され、それに基づいて新たな検知信号α及び制御信号γが生成される。このように、ウェアラブルコンピュータと装着者との間において、いわゆるバイオフィードバックが形成される。その結果、装着者が望む最適な情報をリアルタイムで提供することが可能となる。
例えば、装着者の笑顔の頻度が低下した場合、外部出力デバイス40が、リラックスできる音や音楽を自動的に再生する等、装着者の状況に応じた適切な出力を実行することが可能となる。
本発明の入力デバイス100は、任意の外部出力デバイス40と組み合わせることで、見守り機能を備えたウェアラブルコンピュータとして好適に使用することもできる。例えば、本発明の入力デバイス100に補聴器の機能を付与し、見守り機能を備えたウェアラブルコンピュータとしての「入力デバイス内蔵型補聴器」を構築し得る。この入力デバイス内蔵型補聴器によれば、補聴器として老化などにより衰えた聴覚をサポートするほか、表情を意図的に変化させ、非日常的な表情をすることでテレビなどの機器をハンズフリーで操作することができる。入力デバイス内蔵型補聴器と組み合わせ可能な外部出力デバイス40としては、携帯電話などのネットワーク端末が挙げられる。装着者の咀嚼動作やくしゃみなどを常時計測・分析することによって装着者の生活状況を示すデータを作成する。そのデータをネットワーク端末で自動的に遠隔地にいる家族や医療機関に送信することで、装着者の生活を見守り支援するシステムを構築し得る。また、熱伝対などの温度センサを追加することで体温の常時計測も可能となり、遠隔診断に適用し得る。
〔入力方法〕
次に、本発明の入力デバイス100を用いて実行する入力方法について説明する。図4は、本発明の入力方法を示したフローチャートである。このフローチャートでは、各ステップを記号「S」で示している。本発明の入力方法は、以下に説明する「事前準備」の後、身体の自然開孔部の形状変化を検知する「検知工程」、及び検知した自然開孔部の形状変化に基づいて、外部の出力デバイス40を制御する「制御工程」により実行される。
<事前準備>
本発明の入力方法を実行するに先立って、入力デバイス100を使用者(装着者)に装着する。これは、図2に示したようなセンサ部10を外耳の外側から覆うように装着するやり方と、図3に示したようなセンサ部10を装着者の外耳道に挿入するやり方がある。センサ部10を片方の外耳(外耳道を含む)のみに装着しても構わないが、センサ部10を二つ準備し、両方の外耳に装着することも可能である。このように二つのセンサ部10を使用して、両耳の外耳道(外耳)の形状変化を夫々検知すれば、より複雑な入力操作を行うことも可能となる。
<検知工程>
装着者が外部出力デバイス40の操作を行いたい(すなわち、外部出力デバイス40に対して入力を行いたい)と考えた場合、装着者は所定の動作を実行する。この所定の動作は、日常生活では通常あまり行わない故意的な動作であり、例えば、瞼を強く開閉する瞬き動作、眼球を左右に移動させる動作、舌を左右に振る動作、顎を大きく動かして口を開閉する咀嚼動作、顔面の筋肉を動かす伸縮動作等が挙げられる。これらの動作は単独で実行してもよいし、あるいは複数の動作を組み合わせて実行しても構わない。上記所定の動作を実行すると、それに伴って装着者の外耳道(外耳)の形状が変化する。そこで、この外耳道(外耳)の形状変化をセンサ部10により検知する(ステップ1;検知工程)。センサ部10は、外耳道(外耳)の形状変化に応じた検知信号αを生成する。
<制御工程>
次に、比較手段21において、検知信号αと予め求めておいた物理量の変化を表す基準βとを比較し、形状変化を示す検知信号αの値が基準βを満たすか否かを判定する(ステップ2:比較工程)。検知信号αが基準βを満たさない場合(ステップ2;No)は、一旦待機状態(ステップ3´)となり、その後、検知工程(ステップ1)に戻って検知信号αを更新する。検知信号αが基準βを満たす場合(ステップ2;Yes)は、信号生成手段22が外部出力デバイス40を制御する制御命令(制御信号γ)を生成する(ステップ3;制御信号生成工程)。制御部20は、生成した制御命令(制御信号γ)を外部出力デバイス40に出力する(ステップ4;制御信号出力工程)。このように、比較工程(ステップ2)、制御信号生成工程(ステップ3)、及び制御信号出力工程(ステップ4)により、外耳道(外耳)の形状変化を表す検知信号αに基づいて、外部出力デバイス40を制御する制御工程が実行される。
次に、本発明による具体的な実施例について説明する。この実施例では、入力システム100のセンサ部10として、図2に示した耳掛けタイプのものを使用した。そして、センサ部10を装着者の両耳に装着して外耳道の形状変化を測定した。外耳道の形状が変化したか否かの判断は、センサ部10が生成する検知信号αの電圧の変化量(単純変化量、又は、単位時間当たりの電圧の立ち上がり量)や、電圧が変化した後の持続時間に基づいて行うことができる。なお、「単純変化量」とは、変化後の電圧値から変化前の電圧値を引いた値である。従って、変化後の電圧値が変化前の電圧値よりも増加した場合は単純変化量は正の値となり、変化後の電圧値が変化前の電圧値よりも減少した場合は単純変化量は負の値となる。各実施例では、代表として、右耳における外耳道の形状変化の測定結果を示した。
〔実施例1〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の両目を大きく開き、そのままの状態をしばらく持続し、その後、両目をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図5のグラフに示す。
図5のグラフから、電圧の単純変化量は約0.12V、単位時間当たりの電圧の立ち上がり量は約0.6V/secと求められた。また、電圧の立ち上がり後の持続時間は約1.3secと求められた。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。なお、図示しないが、左耳における外耳道の形状変化の測定結果も同様であった。
実施例1における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が0.12V以上であったとき(例えば、0.13Vのとき)に、又は、電圧の立ち上がり量が0.6V/sec以上であったとき(例えば、0.7V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が0.12V以上であり、又は、電圧の立ち上がり量が0.6V/sec以上であり、且つその持続時間が所定時間以上(例えば、0.5sec以上)であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。
〔実施例2〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の両目を強く閉じ、そのままの状態をしばらく持続し、その後、両目をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図6のグラフに示す。
図6のグラフから、電圧の単純変化量は約−0.06V、単位時間当たりの電圧の立ち上がり量は約−0.3V/secと求められた。持続中の電圧については安定しなかったが、少なくとも約1.0secの持続時間が確認された。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。なお、図示しないが、左耳における外耳道の形状変化の測定結果も同様であった。
実施例2における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が−0.06V以下であったとき(例えば、−0.07Vのとき)に、又は、電圧の立ち上がり量が−0.3V/sec以下であったとき(例えば、−0.4V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が−0.06V以下であり、又は、電圧の立ち上がり量が−0.3V/sec以下であり、且つその持続時間が所定時間(例えば、0.5sec)以上であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。
〔実施例3〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の舌を左に大きく動かし、そのままの状態をしばらく持続し、その後、舌をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図7のグラフに示す。
図7のグラフから、電圧の単純変化量は約−0.07V、単位時間当たりの電圧の立ち上がり量は約−0.4V/secと求められた。また、電圧の立ち上がり後の持続時間は約1.5secであった。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。
実施例3における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が−0.07V以下であったとき(例えば、−0.08Vのとき)に、又は、電圧の立ち上がり量が−0.4V/sec以下であったとき(例えば、−0.5V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が−0.07V以下であり、又は、電圧の立ち上がり量が−0.4V/sec以下であり、且つその持続時間が所定時間(例えば、0.5sec)以上であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。
〔実施例4〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の舌を右に大きく動かし、そのままの状態をしばらく持続し、その後、舌をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図8のグラフに示す。
図8のグラフから、電圧の単純変化量は約0.10V、単位時間当たりの電圧の立ち上がり量は約0.5V/secと求められた。また、電圧の立ち上がり後の持続時間は約1.6secであった。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。
実施例4における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が0.10V以上であったとき(例えば、0.11Vのとき)に、又は、電圧の立ち上がり量が0.5V/sec以上であったとき(例えば、0.6V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が0.10V以上であり、又は、電圧の立ち上がり量が0.5V/sec以上であり、且つその持続時間が所定時間(例えば、0.5sec)以上であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。
なお、舌を右に動かした場合を示すこの実施例4のグラフ(図8)は、舌を左に動かした場合を示す実施例3のグラフ(図7)と略反対のプロファイルを示している。このことより、入力システム100の装着者は、舌を左右に動かすことにより、制御命令(制御信号γ)を使い分けることも可能となる。
〔実施例5〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の眼球を右に動かし、そのままの状態をしばらく持続し、その後、眼球をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図9のグラフに示す。
図9のグラフから、電圧の単純変化量は約0.14V、単位時間当たりの電圧の立ち上がり量は約0.8V/secと求められた。この値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。持続中の電圧については安定せず、持続時間も短かった。なお、図示しないが、左耳における外耳道の形状変化は確認されなかった。
実施例5における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が0.14V以上であったとき(例えば、0.15Vのとき)に、又は、電圧の立ち上がり量が0.8V/sec以上であったとき(例えば、0.9V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。
なお、この実施例5の場合、眼球の動かし方によって左右の耳における測定結果が異なる。このことより、入力システム100の装着者は、眼球が左右に動かすことにより、制御命令(制御信号γ)を使い分けることも可能となる。
また、実施例3、実施例4、及び実施例5の結果を考慮すると、装着者が舌又は眼球の何れを動かしたか、さらには、それらを左右の何れの方向に動かしたかまで区別することができる。そこで、装着者の両耳にセンサ部10を装着し、各センサ部10から制御部20に送信される複数種の検知信号αに夫々異なる制御命令(制御信号γ)を割り当てれば、外部出力デバイス40に対して複数種の制御を実行することが可能となる。
〔実施例6〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに装着者の口を大きく開け、そのままの状態をしばらく持続し、その後、口をもとの状態に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図10のグラフに示す。
図10のグラフから、電圧の単純変化量は約−0.14V、単位時間当たりの電圧の立ち上がり量は約−10.0V/secと求められた。また、電圧の立ち上がり後の持続時間は約2.1secであった。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。なお、図示しないが、左耳における外耳道の形状変化の測定結果も同様であった。
実施例6における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が−0.14V以下であったとき(例えば、−0.15Vのとき)に、又は、電圧の立ち上がり量が−10.0V/sec以下であったとき(例えば、−11.0V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が−0.14V以下であり、又は、電圧の立ち上がり量が−10.0V/sec以下であり、且つその持続時間が所定時間(例えば、0.5sec)以上であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。
なお、この実施例6の場合、口を開ける量と電圧値の大きさとの間には正の相関が確認された。従って、入力システム100の装着者は、口を開ける量を調整することにより、複数種の制御命令(制御信号γ)を使い分けることが可能となる。
〔実施例7〕
外部出力デバイス40の操作を意図して行う所定の動作として、初めに無表情であった装着者が笑顔を示し、そのままの状態をしばらく持続し、その後、無表情に戻した。この一連の動作の最中に、入力システム100のセンサ部10が外耳道の形状変化として検知した検知信号αの時間変化を図11のグラフに示す。
図11のグラフから、電圧の単純変化量は約−0.38V、単位時間当たりの電圧の立ち上がり量は約−0.5V/secと求められた。持続中の電圧については安定しなかったが、少なくとも約1.0secの持続時間が確認された。これらの値を、物理量の変化を表す基準βとして外部記憶媒体30に格納しておく。なお、図示しないが、左耳における外耳道の形状変化の測定結果も同様であった。
実施例7における所定の動作を行った場合では、例えば、センサ部10が生成する検知信号αの電圧の単純変化量が−0.38V以下であったとき(例えば、−0.39Vのとき)に、又は、電圧の立ち上がり量が−0.5V/sec以下であったとき(例えば、−0.6V/secのとき)に、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。あるいは、センサ部10が生成する検知信号αの電圧の単純変化量が−0.38V以下であり、又は、電圧の立ち上がり量が−0.5V/sec以下であり、且つその持続時間が所定時間(例えば、0.5sec)以上であったときに、制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。
なお、本実施例7は、装着者の表情を意図的に変化させているが、装着者の意図しない表情変化をセンサ部10が外耳道の形状変化として検知し、このときの検知信号αに基づいて制御部20が装着者の表情を認識し、制御命令(制御信号γ)を外部出力デバイス40に送信することも可能である。このような制御を行えば、本発明の入力デバイス100(ウェアラブルコンピュータ)を表情認識システムとして利用することができる。
〔実施例8〕
上記の実施例1〜7では、外耳道の形状が変化したか否かの判断を、(a)「センサ部10が生成する検知信号αの電圧の変化量(単純変化量、又は、単位時間当たりの電圧の立ち上がり量)」、あるいは、(a)に加えて(b)「電圧が変化した後の持続時間」に基づいて行っていたが、一つ以上の(a)と、一つ以上の(b)との任意の組み合わせパターン(すなわち、電圧の変動パターン)として、物理量の変化を表す基準を規定することもできる。
例えば、実施例1で使用した図5のグラフの場合、初期の電圧の単純変化量は約0.12V、電圧変化後の持続時間は約1.3sec、末期の電圧の単純変化量は約−0.10Vと求められる。そこで、この電圧の変動パターンを物理量の変化を表す基準βとして外部記憶媒体30に格納しておき、センサ部10が生成する検知信号αの電圧の変動パターンがこの基準βと略一致する場合に制御部20が外耳道の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信するようにする。このように、より複雑な電圧の変動パターンを物理量の変化を表す基準βとして採用すれば、制御命令(制御信号γ)を生成すべきか否かの判断を極めて良好且つ確実に行うことができる。
また、外耳道の形状変化は装着者の動作変化を反映するため、外耳道の連続的な形状変化を検知することで装着者の連続的な動作を区別し得る。従って、外耳道の形状変化が連続的であると判定した場合に、外部出力デバイス40の連続操作(例えば、ボリューム増減操作)を実行する制御命令(制御信号γ)を外部出力デバイス40に送信し得る。例えば、装着者が舌又は眼球を右回転で動かしたか、または左回転で動かしたか、舌又は眼球の回転時間はどの程度であるかを区別し得る。従って、回転方向がボリュームの増減に対応し、回転時間がボリューム動作時間に対応するように、基準βと制御信号γとを規定することによって、外部出力デバイス40の連続操作(ボリューム増減操作)を実行し得る。
このように、装着者が外部出力デバイス40の連続的な操作を意図して行った連続的な動作に起因して、自然開孔部の形状変化が連続的に生じるため、連続的な動作を外部出力デバイス40の連続的な操作に対応させることで、装着者の操作利便性をより向上させることができる。
〔別実施形態〕
これまで説明してきた実施形態では、本発明の入力デバイス100を使用するに際し、センサ部10を外耳等の身体の自然開孔部に装着していた。しかし、身体の自然開孔部だけでなく、身体に外科的に形成した人工開孔部にセンサ部10を装着することも考えられる。
今後、ますます高齢化社会が進むにつれて、体に障害を持った人や重い病気を患った患者が増加していくことが予想される。このような高齢化社会においては、障害者や患者が生活の質(QOL)を落とすことなく、自立して生きていくための支援体制の確立が重要課題となる。この課題を解決するためには医用工学の発展が望まれるが、本発明の入力デバイス100を用いれば、一つの解決手段を提供することが可能となる。これについて、以下、説明する。
図12は、身体に外科的に形成した人工開孔部の一例として、腹腔鏡手術等の外科手術により形成された患者のへそ付近の人工開孔部に、センサ部10を装着した状態を示す図である。この場合、センサ部10は、患者のへそ付近の皮下、筋層間、又は筋層下の位置に挿入される。センサ部10は、基本的には、図3に示した挿入タイプと同様のものを使用することができる。検知素子11としての発信素子11a及び受信素子11bは、弾性部材12によって包囲された構造を有している。弾性部材12は、センサ部10を人工開孔部に挿入したときに、人工開孔部の内側表面に当接する。このため、センサ部10が人工開孔部内の所定位置に挿入された後も、弾性部材12が撓むことにより、検知素子11は装着者の人工開孔部内で移動することができる。一方、人工開孔部の形状が変化しても装着者の内臓は速い速度で大きく移動することはない。従って、検知素子11は、内臓に対して若干相対移動することが可能となる。なお、胃腸等の内臓は装着者の意思に関わらず動くが、その動作速度はへそを取り巻く腹筋の動作速度に比べて遅いため、センサ部10は、内臓の動作と腹筋の動作とを峻別することができる。
本別実施形態のように、へそ付近の人工開孔部にセンサ部10を装着した場合、へそ付近は筋肉が少なくなっているため、外科的に人工開孔部を形成したときに傷付けられる筋肉が少なく、装着者の腹筋の運動機能の低下を少なく抑えることができる。また、へそは人間が生後から備えている傷の一種と言えるので、へそ付近に外科的に人工開孔部を形成しても美容面においてそれ程大きな影響を及ぼすことはない。そして、本別実施形態のように、腹腔鏡手術によって形成された人工開孔部をそのまま利用すれば、新たな人工開孔部を設ける必要もない。
測定の際には、装着者の腹腔内にCO等のガスを充填し、腹腔内の空間を広くすることで、センサ部10と内臓との距離を大きくすることができる。これにより、装着者の腹筋の動作を確実に検知することができる。ただし、腹腔内にガスを充填しない場合でも、センサ部10を人工開孔部に適切に設置すれば、センサ部10と内臓との距離を測定することができる。
本別実施形態において、外部出力デバイス40の操作を意図して行う所定の動作は、装着者が腹部に力を入れて腹筋を動かすことである。腹筋の動作に応じてセンサ部10が生成する検知信号αの電圧の変化が所定の基準βを満たした場合、制御部20は人工開孔部の形状変化が発生したと判定し、制御命令(制御信号γ)を外部出力デバイス40に送信する。この場合の外部出力デバイス40の例としては、病院内で使用されるナースコールや意思伝達装置等が挙げられる。このように、本別実施形態の入力デバイス100は、例えば、身体を殆ど動かすことができない手術直後の患者にとって、意思伝達の支援に大いに役立つものである。
本発明の入力デバイスは、任意の外部出力デバイス(音楽再生プレーヤー等の音響機器、DVDプレーヤー等の映像機器、携帯電話等の通信機器など)と組み合わせて、ハンズフリー操作が可能なウェアラブルコンピュータとして好適に利用することができる。
10 センサ部
11 検知素子
11a 発信素子
11b 受信素子
12 弾性部材
20 制御部
21 比較手段
22 信号生成手段
30 外部記憶媒体
40 外部出力デバイス
100 入力デバイス

Claims (11)

  1. 外部の出力デバイスに制御命令を出力するための入力デバイスであって、
    外耳道を含む外耳に装着され、前記外耳道の形状変化を距離の変化として検知する光学式センサと、
    前記光学式センサからの検知信号に基づいて、前記外部の出力デバイスを制御する制御部と、
    を備え
    前記光学式センサは、前記外耳の所定位置に配置される検知素子と、前記外耳道に当接するとともに前記検知素子を包囲する弾性部材とを備える入力デバイス。
  2. 前記光学式センサは、反射型フォトセンサ、又はFBG型光ファイバセンサである請求項に記載の入力デバイス。
  3. 前記外耳道の形状変化は、前記光学式センサを装着する者が、前記外部の出力デバイスの操作を意図して行った所定の動作に起因して発生する形状変化である請求項1又は2に記載の入力デバイス。
  4. 前記外耳道の形状変化は、前記光学式センサを装着する者が、前記外部の出力デバイスの連続的な操作を意図して行った連続的な所定の動作に起因して発生する連続的な形状変化である請求項1〜3の何れか一項に記載の入力デバイス。
  5. 記所定の動作は、瞼の瞬き動作、眼球の動作、舌の動作、咀嚼動作、顔面の伸縮動作、及びこれら動作の組み合わせからなる群から選択される少なくとも一つである請求項3又は4に記載の入力デバイス。
  6. 前記制御部は、
    前記光学式センサから受信した検知信号と、予め求めておいた物理量の変化を表す基準とを比較する比較手段と、
    前記比較手段による比較結果に基づいて、前記外部の出力デバイスを制御する制御信号を生成する信号生成手段と、
    を備えた請求項1〜5の何れか一項に記載の入力デバイス。
  7. 前記物理量の変化を表す基準は、外部の記憶媒体、又はネットワーク上に設けられたデータベースに格納されている請求項に記載の入力デバイス。
  8. 前記物理量の変化を表す基準は、(a)所定値以上の電圧の変化量として、(b)電圧が変化した後、変化後の電圧が所定時間以上持続することとして、あるいは、一つ以上の前記(a)と、一つ以上の前記(b)との任意の組み合わせパターンとして規定される請求項6又は7に記載の入力デバイス。
  9. 請求項1〜8の何れか一項に記載の入力デバイスと、
    前記外耳の性質に応じた情報である音声を出力する外部の出力デバイスと、
    を備えたウェアラブルコンピュータ。
  10. 記外部の出力デバイスは音響機器である請求項に記載のウェアラブルコンピュータ。
  11. 外部の出力デバイスに制御命令を出力するための入力方法であって、
    外耳道の形状変化を光学式センサによって距離の変化として検知する検知工程と、
    検知した前記外耳道の形状変化に基づいて、前記外部の出力デバイスを制御する制御工程と、
    を包含し、
    前記光学式センサは、前記外耳の所定位置に配置される検知素子と、前記外耳道に当接するとともに前記検知素子を包囲する弾性部材とを備える入力方法。
JP2010549468A 2009-02-05 2010-02-02 入力デバイス、ウェアラブルコンピュータ、及び入力方法 Expired - Fee Related JP5543929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010549468A JP5543929B2 (ja) 2009-02-05 2010-02-02 入力デバイス、ウェアラブルコンピュータ、及び入力方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009024889 2009-02-05
JP2009024889 2009-02-05
PCT/JP2010/051397 WO2010090175A1 (ja) 2009-02-05 2010-02-02 入力デバイス、ウェアラブルコンピュータ、及び入力方法
JP2010549468A JP5543929B2 (ja) 2009-02-05 2010-02-02 入力デバイス、ウェアラブルコンピュータ、及び入力方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014057648A Division JP2014112450A (ja) 2009-02-05 2014-03-20 入力デバイス

Publications (2)

Publication Number Publication Date
JPWO2010090175A1 JPWO2010090175A1 (ja) 2012-08-09
JP5543929B2 true JP5543929B2 (ja) 2014-07-09

Family

ID=42542068

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010549468A Expired - Fee Related JP5543929B2 (ja) 2009-02-05 2010-02-02 入力デバイス、ウェアラブルコンピュータ、及び入力方法
JP2014057648A Pending JP2014112450A (ja) 2009-02-05 2014-03-20 入力デバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014057648A Pending JP2014112450A (ja) 2009-02-05 2014-03-20 入力デバイス

Country Status (4)

Country Link
US (1) US8994647B2 (ja)
JP (2) JP5543929B2 (ja)
CN (1) CN102301314B (ja)
WO (1) WO2010090175A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170073637A (ko) * 2014-10-20 2017-06-28 가부시키가이샤 롯데 츄잉 검출장치

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384916B2 (en) 2008-07-24 2013-02-26 Massachusetts Institute Of Technology Dynamic three-dimensional imaging of ear canals
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US20120206322A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor input triggered user action capture device control of ar eyepiece facility
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
DE102010040777A1 (de) * 2010-09-15 2012-03-15 Robert Bosch Gmbh Ohrthermometer und Verfahren zur Messung der Körpertemperatur
WO2012125596A2 (en) 2011-03-12 2012-09-20 Parshionikar Uday Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US9092021B2 (en) * 2012-01-06 2015-07-28 J. T. Labs Limited Interactive apparatus
WO2014055382A1 (en) * 2012-10-01 2014-04-10 Heck Sandy L Control system and apparatus utilizing signals originating in the periauricular neuromuscular system
WO2014113621A1 (en) * 2013-01-18 2014-07-24 Augment Medical, Inc. Gesture-based communication systems and methods for communicating with healthcare personnel
JP6245603B2 (ja) * 2013-11-12 2017-12-13 公立大学法人広島市立大学 咀嚼認識装置、咀嚼認識方法及び咀嚼認識のためのプログラム
US20150150501A1 (en) * 2013-12-02 2015-06-04 United Sciences, Llc Sleep disorder appliance compliance
KR20150067812A (ko) * 2013-12-09 2015-06-19 삼성전자주식회사 제어 단말과 연동하여 청각 기기를 관리하는 스테이션
JP6427598B2 (ja) 2014-02-10 2018-11-21 アップル インコーポレイテッドApple Inc. 光学センサを使用して検出されるモーションジェスチャ入力
CN103995607B (zh) * 2014-05-22 2018-09-07 百度在线网络技术(北京)有限公司 控制方法、控制装置及被控方法和被控装置
CN104050597B (zh) * 2014-06-24 2017-06-23 深圳市摩拓触摸科技有限公司 基于曲面触摸屏的穿戴式银行业务电子日志设备和系统
CN104217363B (zh) * 2014-09-02 2018-01-19 陶珍珍 基于曲面腕戴式银行电子设备的基金分析的装置执行的方法
CN104317388B (zh) * 2014-09-15 2018-12-14 联想(北京)有限公司 一种交互方法及穿戴式电子设备
WO2016148180A1 (ja) * 2015-03-16 2016-09-22 和弘 谷口 耳装着型装置および充電装置
JP6094845B2 (ja) * 2015-03-16 2017-03-15 株式会社eRCC 耳装着型装置
JP6435526B2 (ja) 2015-08-05 2018-12-12 パナソニックIpマネジメント株式会社 イヤホン
CN105913623A (zh) * 2016-05-13 2016-08-31 李玉婷 一种隐蔽报警方法及隐蔽报警装置
CN106445123A (zh) * 2016-09-09 2017-02-22 华中科技大学 一种人机交互装置及方法
US10069956B2 (en) * 2016-11-21 2018-09-04 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for performing an action in response to a movement
CN107049328B (zh) * 2017-03-14 2020-03-06 英华达(南京)科技有限公司 单边咀嚼监测设备及监测方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达(南京)科技有限公司 单边咀嚼监测设备及其方法
CN108134971B (zh) * 2018-02-24 2024-03-15 扬州田治科技有限公司 一种穿戴式防滑落运动蓝牙耳机
CN108429956B (zh) * 2018-04-26 2021-05-04 Oppo广东移动通信有限公司 无线耳机、控制操作方法及相关产品
GB2570013B (en) * 2018-06-19 2020-02-12 Roy Gompertz Nicholas Method for detecting voluntary movements of structures in the ear to trigger user interfaces
CN113490453A (zh) * 2019-02-28 2021-10-08 日本电气株式会社 属性估计装置、属性估计方法和计算机可读记录介质
WO2020174681A1 (ja) * 2019-02-28 2020-09-03 日本電気株式会社 状態推定装置、状態推定方法、及びコンピュータ読み取り可能な記録媒体
US11984136B2 (en) 2019-02-28 2024-05-14 Nec Corporation Emotion estimation apparatus, emotion estimation method, and computer readable recording medium
CN112764518A (zh) * 2019-10-21 2021-05-07 Oppo广东移动通信有限公司 控制方法、穿戴设备和存储介质
IT202000001192A1 (it) 2020-01-22 2021-07-22 Univ Degli Studi Padova Metodo di identificazione di un utente attraverso l'analisi di variazioni del condotto uditivo esterno
GB2598042B (en) * 2020-07-16 2023-07-12 Earswitch Ltd Improvements in or relating to earpieces

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031550A (ja) * 1996-07-14 1998-02-03 Yoshimichi Yonezawa コンピュータ制御用クリック信号発生法
JP2007011627A (ja) * 2005-06-29 2007-01-18 Shibatekku Kk 機器制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07171136A (ja) 1993-12-20 1995-07-11 G C:Kk 咀嚼回数記録装置
JPH07213510A (ja) 1994-01-31 1995-08-15 Shigeo Wakamoto 咀嚼回数表示計
JPH11318862A (ja) 1998-05-11 1999-11-24 Ono Sokki Co Ltd 咀嚼センサ
JP2002044791A (ja) * 2000-07-27 2002-02-08 Yamaha Corp 補聴器および補聴器等に用いられる耳栓
US7369671B2 (en) * 2002-09-16 2008-05-06 Starkey, Laboratories, Inc. Switching structures for hearing aid
JP2006524003A (ja) * 2003-04-18 2006-10-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ イヤピース遠隔コントローラを有するパーソナルオーディオシステム
JP4179326B2 (ja) * 2003-10-09 2008-11-12 日本電信電話株式会社 生体情報検出装置及び血圧計
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
EP1767055A4 (en) * 2004-06-14 2009-07-08 Johnson & Johnson Consumer HOME CLEANING AND TEST SYSTEM OF HEARING PROSTHESIS
US8096937B2 (en) * 2005-01-11 2012-01-17 Otologics, Llc Adaptive cancellation system for implantable hearing instruments
US7991174B2 (en) * 2005-06-30 2011-08-02 Insound Medical, Inc. Hearing aid battery barrier
JP4730621B2 (ja) 2007-05-07 2011-07-20 敦 西川 入力装置
EP2071874B1 (en) * 2007-12-14 2016-05-04 Oticon A/S Hearing device, hearing device system and method of controlling the hearing device system
DK2076064T3 (en) * 2007-12-27 2017-07-17 Oticon As Hearing device comprising a mold and an output module
US8379897B2 (en) * 2008-09-17 2013-02-19 Daniel R. Schumaier Hearing assistance device having reduced mechanical feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031550A (ja) * 1996-07-14 1998-02-03 Yoshimichi Yonezawa コンピュータ制御用クリック信号発生法
JP2007011627A (ja) * 2005-06-29 2007-01-18 Shibatekku Kk 機器制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170073637A (ko) * 2014-10-20 2017-06-28 가부시키가이샤 롯데 츄잉 검출장치
US10588548B2 (en) 2014-10-20 2020-03-17 Lotte Co., Ltd. Chewing detecting device
KR102380629B1 (ko) 2014-10-20 2022-03-30 가부시키가이샤 롯데 츄잉 검출장치

Also Published As

Publication number Publication date
WO2010090175A1 (ja) 2010-08-12
JP2014112450A (ja) 2014-06-19
US8994647B2 (en) 2015-03-31
US20120001846A1 (en) 2012-01-05
CN102301314B (zh) 2015-07-01
CN102301314A (zh) 2011-12-28
JPWO2010090175A1 (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
JP5543929B2 (ja) 入力デバイス、ウェアラブルコンピュータ、及び入力方法
US11191432B2 (en) Wearable health monitoring system
US10413240B2 (en) Membrane and balloon systems and designs for conduits
US20110295083A1 (en) Devices, systems, and methods for monitoring, analyzing, and/or adjusting sleep conditions
DK2596646T3 (en) VISUALLY-BASED FITTING OF HEARING DEVICES / VISUALLY-BASED FITTING OF HEARING DEVICES
WO2014165312A2 (en) Ear-related devices implementing sensors to acquire physiological characteristics
MX2014003486A (es) Aparato de guia de respiracion para salas de parto.
US20230154450A1 (en) Voice grafting using machine learning
US20230273673A1 (en) Improvements in or relating to earpieces
KR102222694B1 (ko) 구강 착용 시스템 및 연구개 및 혀의 위치를 조정하는 방법
US20150305920A1 (en) Methods and system to reduce stuttering using vibration detection
CN115768514A (zh) 绕过验证的医疗装置控制
JP2008304451A (ja) 入力装置
CN115299077A (zh) 用于运行听力系统的方法和听力系统
US11962976B2 (en) Method for operating a hearing aid system, and hearing aid system with a hearing aid
KR102440818B1 (ko) 이명 치료용 음향 콘텐츠 제공 방법
WO2018218967A1 (zh) 一种假牙装置及其工作方法、终端、信号交互系统
US20230390608A1 (en) Systems and methods including ear-worn devices for vestibular rehabilitation exercises
KR101778499B1 (ko) 전자식 인공 후두 장치
WO2019200158A1 (en) Systems and methods for improved communication with patients

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130416

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140320

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140320

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140509

R150 Certificate of patent or registration of utility model

Ref document number: 5543929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees