JP4274823B2 - ポインティングデバイス - Google Patents
ポインティングデバイス Download PDFInfo
- Publication number
- JP4274823B2 JP4274823B2 JP2003068865A JP2003068865A JP4274823B2 JP 4274823 B2 JP4274823 B2 JP 4274823B2 JP 2003068865 A JP2003068865 A JP 2003068865A JP 2003068865 A JP2003068865 A JP 2003068865A JP 4274823 B2 JP4274823 B2 JP 4274823B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- air vibration
- cursor
- electric signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ユーザーの呼気の吹きかけ位置の変化と舌打ち音のような無声音とによってマウスに相当するカーソル操作が行えるポインティングデバイスに関する。
【０００２】
【従来の技術】
近年、ビジネス環境は勿論、一般の生活環境等にもパーソナルコンピュータの利用が定着している。また身体障害者の意思伝達装置としてもパーソナルコンピュータは必要不可欠なものとなっているが、その入力デバイスとして実用化されているものは手足を用いてマウスやボタンを操作するものがほとんどである。
【０００３】
手足を用いないでパーソナルコンピュータを操作する入力デバイスとしては「目線」、「音声」、「舌」、「息」などを利用するものが知られている。これらのうち、「目線」を使った入力デバイスは現状では高価であり、且つ重装備であり、また操作する人の疲労度も大きく、実用化にはまだ距離がある。
【０００４】
「音声」を使った入力デバイスは障害者のみならず健常者にもハンズフリーな装置として便利である。しかし、音声による入力やオペレーションには正確な発音とクリアな音声が要求され、システムにユーザーの声質やイントネーションのくせを学習させるために時間と手間がかかり、使用までの学習段階でユーザーに複雑な操作を要求し、その間は障害者が自分で操作することができない問題点がある。また、他の人に情報を伝える手段としての音声ゆえ、「音声」による入力やオペレーションはプライバシーが守れず、語り続けるゆえの声帯等の疲労も大きなものがある。またさらに、絵や図面を描く等のカーソルを自由に移動しながらの描画操作等は「音声」方式では困難である。
【０００５】
「舌」の動きを手で操作するマウスの替わりに使うポインティングデバイスは、操作する人の口腔内にトラックボールやタッチパッド的なデバイスを入れて、舌の動きを感知し操作信号に変換して入力するものである。しかしこの「舌」を用いるポインティングデバイスは、ユーザーの口腔内に電気装置や電池を入れるために肉体的、精神的苦痛や嫌悪感が伴い、また同じデバイスを他者に使用させられないという衛生的な問題もある。加えて、口腔内のデバイスと外部の制御装置とを接続する電線等をよだれが伝わる問題もある。
【０００６】
「息」を使った入力デバイスとしては大きく二つの方式に分類される。一つは、ユーザーが口唇にパイプ状（もしくは笛状）の送信器を銜え、そのパイプ状の送信器から空気圧、音波、超音波、レーザ光を発し、その信号を受信器で受け、操作信号を抽出してパーソナルコンピュータに入力し操作するものである。この入力デバイスも口唇で銜えるという衛生的見地から、他者の送信器を流用することは受け入れ難く、個々の個人専用の送信器が望まれる。また、パイプ状（笛状）送信器を操作するには、それなりの強い呼気が必要とされ、体力的に劣る障害者や弱者では、長時間の連続的な使用ができない問題点もある。
【０００７】
「息」を利用する入力デバイスとして、前述のような送信器等を口唇に装着しないで、「息」つまり「呼気」そのものを検出してマウスカーソルを操作するポインティングデバイスも知られている。この呼気を利用する従来のポインティングデバイスは、パーソナルコンピュータの画面上のマウスカーソルの矢印が一定時間（１、２秒間）で回転し、求める方向にマウスカーソルが向いた時にブレススイッチ等を「呼気」でオン・オフし、それらを制御情報としてパーソナルコンピュータを操作するデバイスであるる。ところが、このような「息」を利用するポインティングデバイスでは、スイッチのオン・オフで切り替えてカーソルを操作する仕組みゆえ、応答性の良い操作ができず、ユーザーのイライラ感が免れない問題点があった。
【０００８】
【発明が解決しようとする課題】
以上のように、これまでの主として手を使わないでパーソナルコンピュータ等のマウス的入力装置（ポインティングデバイス）としては様々な装置が考えられていたが、高価、重装備、身体に装着する問題、衛生的問題、操作疲労対策、操作性、応答性等の解決すべき技術的課題があった。
【０００９】
本発明は、このような従来の技術的課題に鑑みなされたもので、ユーザーが口腔内や口唇に特別の装置を装着することなく、ユーザーが基体に配列された複数個の空気振動感知器に呼気を吹きかけることによって滑らかにマウスカーソルを移動操作できるポインティングデバイスを提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明のポインティングデバイスは、空気振動感知器が所定のレイアウトで配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音を感知し、呼気の移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００１１】
請求項１の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して入力デバイスとして使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向にあるいはマウスカーソルを移動させたい方向の空気信号感知器に呼気を吹きかけることによってマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってボタンスイッチ信号を入力することができる。
【００１２】
したがって、手足が不自由な障害者にとっても、カーソルを移動させたい方向に呼気を吹きかける動作、あるいはカーソルを移動させたい方向の空気信号感知器に呼気を吹きかける動作によってマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちするなどして特定の無声音を発することによってクリック信号のようなボタンスイッチ信号を入力することができる。
【００１３】
請求項２の発明のポインティングデバイスは、空気振動により振動するダイヤフラムと、当該ダイヤフラムの振動をその周波数と振動強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が配列された基体と、前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度を検出し、当該信号強度をカーソル移動速度情報とし、前記第１の空気振動を検出する音電信号変換手段の位置変化をカーソル移動方向情報として共に出力するカーソル移動信号出力部と、前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号をボタンスイッチ信号として出力するボタンスイッチ信号出力部とを備えたものである。
【００１４】
請求項２の発明のポインティングデバイスでは、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけると、呼気が吹きかけられた位置の空気振動感知器のダイヤフラムが振動し、音電信号変換手段が呼気による空気振動の周波数と振幅に対応した周波数と振幅の電気信号に変換して出力する。またユーザーが舌打ちしあるいは口笛を吹くとその空気振動感知器群が舌打ち音あるいは口笛音を検出し、音電信号変換手段群が舌打ち音あるいは口笛音による空気振動の周波数と振幅に対応した周波数と振幅の電気信号に変換して出力する。
【００１５】
そして、入力信号分別部は、複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形又は周波数に基づき、呼気による第１の空気振動と舌打ち又は口笛による第２の空気振動とを区別し、第１の空気信号による電気信号はカーソル移動信号出力部へ入力し、第２の空気信号による電気信号はボタンスイッチ信号出力部へ入力する。
【００１６】
カーソル移動信号出力部では、入力される第１の空気振動による電気信号の振幅を検出し、当該信号振幅値をカーソル移動速度情報とし、第１の空気振動を検出する音電信号変換手段の位置変化をカーソル移動方向情報として共に出力する。一方、ボタンスイッチ信号出力部では、入力される第２の空気振動による電気信号をマウスボタンスイッチ信号として出力する。
【００１７】
これにより、請求項２の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して入力デバイスとして使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけることによって呼気の移動方向にマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってマウスボタンスイッチ信号を入力することができる。
【００１８】
したがって、手足が不自由な障害者にとっても、顔を上下左右に移動させながら呼気を吹きかけるという簡単な操作でマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちをし又は口笛を吹くことによってクリック信号のようなマウスボタンスイッチ信号を入力することができる。
【００１９】
請求項３の発明は、請求項２のポインティングデバイスにおいて、前記カーソル移動信号出力部は、同じ位置の空気振動感知器が所定時間内に第１の空気振動を所定回数検出したときに、当該空気振動感知器の座標情報をカーソル位置情報として出力することを特徴とするものであり、例えば、空気振動感知器群の中で左右端部や上下端部、あいるは中央部の位置の同じ空気振動感知器に向けて呼気を所定時間内に所定回数（例えば２回続けて）吹きかければ、カーソル移動信号出力部はこれを該当座標位置にカーソルを強制的にジャンプさせる指示信号として出力し、コンピュータのディスプレイ上でカーソルを対応位置に素速く移動させることができ、カーソル移動操作がよりしやすくなる。
【００２０】
請求項４の発明は、請求項２のポインティングデバイスにおいて、前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ダブルクリック信号として出力することを特徴とするものであり、ユーザーが例えば２回続けて舌打ちをしあるいは口笛を吹くことにより、ディスプレイ上のカーソル位置にあるアイコンその他に対してダブルクリック操作を簡単に行える。
【００２１】
請求項５の発明は、請求項２のポインティングデバイスにおいて、前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ドラッグ信号として出力することを特徴とするものであり、ユーザーが例えば２回続けて舌打ちしあるいは口笛を吹くことにより、カール位置のアイコンをドラッグし、ユーザーが呼気によってカーソルを移動させる間当該アイコンを移動させ、次にユーザーが同様に例えば２回続けて舌打ちしあるいは口笛を吹く位置で当該アイコンをドロップさせるドラッグ・アンド・ドロップ操作を簡単に行える。
【００２２】
請求項６の発明のポインティングデバイスは、空気振動により振動するダイヤフラムと当該ダイヤフラムの振動をその周波数と強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が２行×２列以上のマトリクスに配列された基体と、前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、前記複数の空気振動感知器それぞれと１対１に対応するメモリ配列を有し、前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度と当該音電信号変換手段の座標値とを対応するメモリに保持し、かつ所定周期毎にメモリ更新するメモリアレイと、前記メモリアレイのいずれかのメモリの保持している前記電気信号の強度からカーソル移動速度を求め、前記電気信号を保持しているメモリの座標変化からカーソル移動方向を求める呼気座標解析部と、前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号からボタンスイッチ信号を検出する音信号解析部と、前記呼気座標解析部の求めたカーソル移動方向及び移動速度の信号と前記音信号解析部の求めたボタンスイッチ信号とをマウスカーソル・ボタン操作信号として出力するカーソル操作信号出力部と、前記カーソル操作信号出力部の出力信号をコンピュータの適宜の入力ポートに入力する接続コネクタとを備えたものである。
【００２３】
請求項７の発明は、請求項８のポインティングデバイスにおいて、前記基体に、前記空気振動感知器が同心放射状に複数個配列されていることを特徴とするものである。
【００２４】
請求項６及び７の発明のポインティングデバイスでは、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけると、呼気が吹きかけられた位置の空気振動感知器のダイヤフラムが振動し、音電信号変換手段が呼気による空気振動の周波数と強度に対応した周波数と信号強度の電気信号に変換して出力する。またユーザーが舌打ちするなどして無声音を発するとその空気振動感知器群が無声音を検出し、音電信号変換手段群が無声音による空気振動の周波数と強度に対応した周波数と強度の電気信号に変換して出力する。
【００２５】
入力信号分別部は、複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別し、第１の空気信号に対してはその電気信号の強度と座標値とをメモリアレイの対応するメモリに保持する。呼気座標解析部は所定周期毎にメモリアレイに所定周期毎にアクセスしていずれかのメモリの保持されている電気信号の強度からカーソル移動速度を求め、また電気信号を保持しているメモリの座標変化からカーソル移動方向を求めてカーソル操作信号出力部に入力する。一方、入力信号分別部は分別した第２の空気振動に対しては、音信号解析部がその電気信号からボタンスイッチ信号を検出し、カーソル操作信号出力部に入力する。
【００２６】
そしてカーソル操作信号出力部は、呼気座標解析部の求めたカーソル移動方向及び移動速度と音信号解析部の求めたボタンスイッチ信号を合成し、マウスカーソル・ボタン操作信号を作成し、接続コネクタを介してコンピュータの入力ポートに入力する。
【００２７】
これにより、請求項６及び７の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけることによって呼気の移動方向にマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってボタンスイッチ信号を入力することができる。
【００２８】
したがって、手足が不自由な障害者にとっても、当該デバイスに呼気を吹きかけながらその吹きかけ位置を移動させる簡単な動作でマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちするなどして無声音を発することによってクリック信号のようなボタンスイッチ信号を入力することができる。
【００２９】
請求項８の発明のポインティングデバイス、上下左右の４カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００３０】
請求項８のポインティングデバイスでは、ユーザーが上下左右のいずれかの空気振動感知器に向けて呼気を吹きかけることによって、吹きかけられた空気信号感知器の位置に応じてマウスカーソルを移動操作することができ、また、舌打ちをするなどによって無声音を入力することによってボタンスイッチ信号をにるすることができる。
【００３１】
請求項９の発明のポインティングデバイスは、上下左右及び斜め左右の上下の８カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００３２】
請求項９の発明のポインティングデバイスでは、ユーザーが上下左右及び斜め左右の上下の８カ所に設けられた空気振動感知器のいずれかに向けて呼気を吹きかけることによって、吹きかけられた空気信号感知器の位置に応じてマウスカーソルを移動操作することができ、また、舌打ちをするなどによって無声音を入力することによってボタンスイッチ信号をにるすることができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の第１の実施の形態のポインティングデバイスを用いたコンピュータシステムの構成を示している。図１において、１はポインティングデバイス、２はディスプレイ、３はコンピュータ本体である。
【００３４】
コンピュータ本体３は、一般的なパーソナルコンピュータであり、マウス、キーボード等の入力デバイスを接続するＰＳ／２入力ポート、ＵＳＢポートを備えているものとする。本実施の形態において、ポインティングデバイス１はマウスに代わる入力デバイスとして、ＵＳＢポートに接続して使用するものとする。しかしながら、本発明はこれに限定されず、ＰＳ／２ポートを利用し、あるいはコンピュータ本体３側に特別仕様の入力処理ボードを装着し、本実施の形態で説明する入力処理機能をその入力処理ボードでデジタル処理し、最終的にＰＳ／２ポート接続あるいはＵＳＢポート接続のマウスと同等の信号を入力できるものとしてもよい。
【００３５】
ポインティングデバイス１は、ユーザーの口先に位置するように装着させて使用されるものであり、図２〜図４に詳しいように、基体１１に縦横のマトリクス配列にマイクロフォン１２を多数個配列した構成である。このマイクロフォン１２は、指向性の鋭いものを採用するのが好ましいが、特に限定されることはない。またマイクロフォン１２はユーザーの呼気と舌打ち音のような無声音を異なる周波数の空気振動として検出できる程度の仕様機能があれば十分でよい。
【００３６】
図３に詳しく示したように、多数のマイクロフォン１２それぞれには増幅器２１、Ａ／Ｄ変換器２２、マイクロプロセス２３が接続してあって、マイクロフォン１２のボイスコイルの出力する電気信号を増幅し、デジタル変換してマイクロプロセッサ２３に入力し、このマイクロプロセス２３内の波形分別部２３１で呼気による低周波の波形と舌打ち音のような無声音のより高い周波数の波形とを分別し、さらに強度検出部２３２で入力信号の強度を信号波形の立上り特性から検出し、これらの波形判定結果と強度検出値とを呼気入力制御部２０に入力するようにしている。なお、これらの波形分別部２３１、強度検出部２３２は現実の回路ではなく、マイクロプロセッサ２３に組み込んだソフトウェアによる処理機能である。
【００３７】
図４に示すように、ポインティングデバイス１の基体１１内の呼気入力制御部２０には、所定周期τ１毎にマトリクス配列のマイクロフォン１２各々を縦横に順次スキャニングして各マイクロフォン１２の音電変換信号を取り込むスキャナ１３、波形検出回路１４、この波形検出回路１４の検出した波形（周波数であってもよい）を基本波形と比較し、呼気による振動と舌打ち音のような無声音による振動とを分別する比較回路１５、スキャナ１３の検出した電気信号強度のピーク値を示すマイクロフォンの座標を検出するマイク座標検出回路１６、マイク座標検出回路１６の検出した電気信号強度のピーク値と該当マイクロフォン１２の位置座標を記憶するマイク座標・ピーク値保持回路１７が設けられている。
【００３８】
呼気入力制御部２０にはまた、このマイク座標・ピーク値保持回路１７の保持データに所定周期τ２毎にアクセスし、前回アクセス時のピーク値を与えるマイクロフォン１２の位置座標と今回アクセス時のピーク値を与えるマイクロフォン１２の位置座標とから呼気移動方向と距離、つまり呼気移動ベクトルｖを求め、さらにこの呼気移動ベクトルｖとピーク値ｐをかけ算してカーソル移動ベクトルＤ（＝ｐ・ｖ）を求めるカーソル移動ベクトル演算回路１８が設けられている。
【００３９】
呼気入力制御部２０内にはさらに、比較回路１５が舌打ち音のような無声音を検出したときに一定時間、例えば１秒間（特に限定されず、また長短設定可能にすることもできる）のタイムカウントを開始するタイマ１９と、このタイマ１９の起動中に比較回路１５が出力する無声音判定回数をカウントするカウンタ１１０、そして、所定周期τ３毎にカーソル移動ベクトル演算回路１８の演算値とカウンタ１１０のカウント値とを、マウス操作信号として出力するマウス信号出力回路１１１が設けられている。
【００４０】
なお、この呼気入力制御部２０は比較的高性能なＣＰＵとその周辺機器によって構成されるものであり、上記の各回路要素は現実の回路ではなく、ＣＰＵが実行するソフトウェアによる処理機能である
図２は、上記構成のポインティングデバイス１の機能構成を示している。このデバイス１１はマイクロフォンアレイ１２１、音信号波形分別部１２２、メモリアレイ１２３、呼気座標解析部１２４、音信号波形解析部１２５、制御信号処理部１２６、そしてコネクタ部１２７から構成されている。
【００４１】
マイクロフォンアレイ１２１は横１０個縦８個程度の縦横マトリクス配列にしてあるが、これは特に限定されず、同心円放射状の配列であってもかまわない。個々のマイクロフォン１２には、音信号波形分別部１２２を通じてメモリアレイ１２３に接続されている。このメモリアレイ１２３は、マイクロフォンアレイ１２１の配列に対応する形でメモリアドレスが割り付けられたメモリである。
【００４２】
メモリアレイ１２３の記憶データは呼気座標解析部１２４で解析される。呼気座標解析部１２４は、信号強度のピーク値を与えるマイクロフォンの座標、ピーク値等の解析結果を制御信号処理部１２６に送る。なお、呼気の吹きかけ位置の決定処理には、振動強度のピーク値を出力するマイクロフォン１２の座標を特定して用いる代わりに、振動検出信号を出力する複数のマイクロフォン１２それぞれの座標を求め、それらの中心位置の座標を吹きかけ位置として求め、また複数のマイクロフォン１２それぞれの振動強度の平均値を呼気強さとしても使用するようにしてもよい。さらには振動強度をウェイトにした加重平均演算によって中心位置座標を求めてもよい。
【００４３】
クリック等の動作に使う舌打ち音のような無声音は音信号波形分別部１２２で呼気吹きかけ信号とは異なる周波数の音信号として分別され、音信号解析部１２５で所定の操作信号、例えばワンクリック、ダブルクリック、ドラッグ、ドロップ信号として解析される。音信号解析部１２５は、解析した所定の操作信号Ｓを制御信号処理部１２６に送る。この無声音は人の話す音声とは異なり、ユーザーが容易に発することができる「チッチッ」、「ツッツッ」といった舌打ち音あるいはそれと同等の音である。
【００４４】
制御信号処理部１２６は、呼気座標解析部１２４から信号ピークが検出されたマイクの位置座標（マイク座標）、ピーク値信号を受け取ると、前回のマイク座標からの変位を呼気移動ベクトルｖとして求め、さらにこの呼気移動ベクトルｖとピーク値ｐをかけ算してカーソル移動ベクトルＤ（＝ｐ・ｖ）を求め、音信号解析部１２５のボタンスイッチ操作信号Ｓがあれば、カーソル移動ベクトル信号Ｄとボタンスイッチ操作信号Ｓとを、ボタンスイッチ操作信号Ｓがなければカーソル移動ベクトル信号Ｄだけをマウス操作信号として発生させ、ＵＳＢ等のコネクタ部１２７を通じてコンピュータ本体３に入力する。
【００４５】
次に、上記の機能構成を備えたポインティングデバイス１のマウス信号出力動作について、図５〜図７のフローチャートを用いて説明する。
【００４６】
ユーザーは図１に示したように本実施の形態のポインティングデバイス１をコンピュータ本体３のあらかじめ設計されているマウス信号出力用のコネクタ部１２７が対応するＰＳ／２ポートあるいはＵＳＢポートに接続して、マウス、トラックボール、タッチパッド等に代わるものとして使用する。この場合、マイクアレイ１２１に、ディスプレイ２に表示されているカーソル１００を移動させたい向きに軽く呼気を吹きかけ、またクリック、ドラッグ等のボタンスイッチ操作をしたいときには所定の方法あるいは回数だけ舌打ちする。
【００４７】
マイクアレイ１２１は吹きかかった呼気の空気流を粗密波として捕らえ音信号波形分別部１２２に送る。また、舌打ち音等も音信号波形分別部１２２に送られる（ステップＳ１）。
【００４８】
音信号波形分別部１２２は座標情報としての呼気の空気流粗密波なのか、クリック等の制御信号としての波形なのかを分別処理する（ステップＳ３）。
【００４９】
メモリアレイ１２３には音信号波形分別部１２２より送られてきた信号を展開する。始めに呼気を吹きかけられた始点情報、始点からの方向情報、息の強さ情報、息の吹き止んだ時の終点情報等が個々のマイクロフォンと相似してリアルタイムに記録される（ステップＳ５）。
【００５０】
この処理は、図６により詳細に示してある。Ａ１〜Ａ２の処理を所定の周期τ０で繰り返し実行する。そこではまず、所定の周期τ１（τ１＞τ０）でマイクロフォンアレイ１２１の各マイクロフォン１２の出力をスキャニングする（ステップＳ１０１）。
【００５１】
各マイクロフォン１２の出力する振動波形を検出する（ステップＳ１０３）。そして、検出した振動波形により（あるいは周波数が所定値以上であるか否かにより）、検出した入力が呼気か舌打ち音かを判断する（ステップＳ１０５，Ｓ１０７，Ｓ１０９）。
【００５２】
ステップＳ１０７で入力が呼気の吹きかけであると判断された場合は、続いて、入力を検出したマイクロフォン１２の座標ｐｉを特定すると共に、振動強度（振幅値、ピーク値、信号の立上り特性等のいずれか）ｓを検出する（ステップＳ１１１）。この検出結果は、メモリアレイ１２３の対応するメモリアドレスに格納する（ステップＳ１１３）。
【００５３】
以上のステップＳ１０１〜Ｓ１１３の処理をマイクロフォン１２の数だけ繰り返す（ステップＳ１１５）。
【００５４】
なお、マイクロフォンアレイ１２１全体を１度スキャニングした結果、呼気を検出するマイクロフォン１２が複数になることもあるが、その場合には各々のマイクロフォンと対応するメモリアドレスに格納する。
【００５５】
続いて、図５のＢ１〜Ｂ２の処理を所定周期τ２で実施する。この場合の周期τ２は、スキャン周期τ１と同一にして、スキャン完了に連動して処理を開始してもよい。
【００５６】
まず、呼気座標解析部１２４はメモリアレイ１２３の情報を読み取り、解析する。すなわち、弱い呼気を吹かけてその呼気を検出するマイクロフォン１２の座標が変化するときは、少なめにカーソルを移動させ、強い呼気を吹かけた場合は多めにカーソルを移動させる。これは、吹きかけ位置座標ｐ（ｉ）と前回の吹きかけ位置座標ｐ（ｉ−１）との差ｄのベクトル演算を行い、呼気の強さｓとかけ算することによって求められる（ステップＳ１１〜Ｓ１７）。ただし、１度のスキャンで複数のメモリアドレスに呼気強度の検出値が記憶されている場合には、該当する複数のマイクロフォンの座標の平均値を求めて、その値を呼気吹きかけ位置座標ｐ（ｉ）と決定する。そして、吹きかけ強さｓについては、検出マイクロフォン全部の振動強度の合算値とするのが好ましい。しかし、最高ピーク値を用いることもできる。あるいは強度をウェイトにして加重平均演算して中心位置座標を求めてもよい（ステップＳ１１，Ｓ１３）。
【００５７】
続いて、呼気座標解析部１２４は上の座標解析結果ｐ（ｉ）と前回の座標解析結果ｐ（ｉ−１）とのベクトル差を求め、カーソルの移動方向ｄを決定する（ステップＳ１５）。この移動方向ベクトルｄには移動距離成分も含まれるが、最終的な移動距離と移動速度は、ｓ・ｄのベクトル値として求めて制御信号処理部１２６に出力する（ステップＳ１７）。
【００５８】
また、マイクロフォンアレイ受信器は「チッチッ」とか「ツッツッ」とかの舌打ち音を捕らえ、これらの音は音信号波形分別部１２２で選り分けられマウスボタンクリック等のボタンスイッチ信号として制御信号処理部１２５へ送られ所定の操作を実行する。この場合の処理は、図７のフローチャートのＣ１〜Ｃ２の処理による。ただし、本実施の形態では、所定時間内に舌打ちを１回検出した場合には左ボタン（１つボタンマウスに対応させる場合にはそのボタン）のクリック操作、２回でダブルクリック操作、３回以上でドラッグ操作、これらの操作の有効中に新たにいずれかの舌打ち入力を検出したときにはキャンセル（したがって、ドラッグ中であれば、ドロップ）操作とする設定である。
【００５９】
そこで、音信号波形解析部１２５は、舌打ち音検出信号を音信号波形分別部１２２から受信すると、所定時間内に何回舌打ち信号が入力されるかをカウントし、舌打ちを１回検出した場合には左ボタンクリック操作であると判断する（Ｓ２３，Ｓ２７）。舌打ち２回であれば、ダブルクリック操作と判断する（ステップＳ２９，Ｓ３３）。そして舌打ち３回以上であれば、ドラッグ操作であると判断する（ステップＳ３７）。そして、これらの操作のいずれかが有効中に新たにいずれかの舌打ち入力を検出したときにはキャンセル、したがって、ドラッグ中であれば、ドロップ操作と判断する（ステップＳ２５，Ｓ３９；Ｓ３１，Ｓ４１；Ｓ３５，Ｓ３７））。これらのボタンスイッチ作信号は、制御信号処理部１２７に出力される。
【００６０】
制御信号処理部１２６では、呼気座標解析部１２４の結果と音信号波形解析部１２５の結果から通常のマウス操作信号を発生させ、コネクタ部１２７からコンピュータ本体３の該当入力ポートに入力する。
【００６１】
こうして、本実施の形態のポインティングデバイスでは、マイクロフォンアレイ１２１に向けてユーザーが呼気を吹きかけながらカーソル１００を移動させたい方向に口先を動かしあるいは顔を移動させ、そのときの呼気の吹きかけ強さを強弱することによって、ディスプレイ２上のカーソル１００をその移動速度も調整しながらを移動させることができ、また、舌打ちを続けて所定回数行うことでクリック、ドラッグ等のボタンスイッチ操作もすることができる。
【００６２】
これにより、本実施の形態のポインティングデバイスでは、大掛かりな装置を必要とせず、かつ安価なコストで製作でき、操作するユーザー側に特別の送信器等を装着する必要もないゆえに、衛生上安心で肉体的・精神的圧迫感もなく、マイクロフォンアレイ１２１に吹きつける呼気の空気流の方向、強弱、持続時間情報等で一般のマウスのように滑らかなカーソル移動操作を実現し、ゆえに画像描画等の作業なども抵抗なく可能である。また、各種のボタン操作やクリック操作等は舌打ち音を定義して設定できる。よって、従来の一連のユーザー補助用入力デバイスに比べて作業効率の向上が図れる。
【００６３】
なお、高機能のマウスやトラックボールでは、右ボタン、左ボタン、戻りボタン、送りボタン、スクロールボタン等の操作ボタンを搭載しているものがあるが、これらをすべて舌打ち音で識別させようとすれば、舌打ちのリズム、パターンとボタンスイッチとの対応を取り決めておくことにより実現できる。また、舌打ち音に代わって口笛のような無声音で操作信号を入力するようにすることもできる。さらには、舌打ち音の中でも周波数によって識別するようにし、それぞれの所定時間内の入力回数によって個別の操作信号としたり、リズム、パターンによって異なった操作信号を識別するようにしたりすることもできる。この無声音をボタンスイッチ信号として識別することの利点は、ユーザーがカーソルの移動操作をしながらその状態のまま同じ口元から無声音を発して入力できる点にあり、カーソル移動操作とボタンスイッチ信号入力操作とで、特にユーザーである身体障害者が大きな動作をしなくても入力できる点にある。
【００６４】
さらに、呼気吹きかけでカーソル移動操作をする際に、例えば、マイクロフォンアレイの上下左右の四隅のいずれか同じ場所のマイクロフォンに対して所定時間内に続けて２回呼気を吹きかける操作をすれば、このマイクフォンの配列位置と対応するディスプレイの上下左右の四隅の該当位置にカーソルの強制的に移動させるカーソル移動機能を持たせることもできる。
【００６５】
次に、図７を用いて本発明の第２の実施の形態のポインティングデバイスについて説明する。第２の実施の形態のポインティングデバイスは、通常のキーボードに設けられているカーソル移動キーに対応する入力デバイスであり、基体１１の上下左右の４カ所にマイクロフォン１２を設け、これらのマイクロフォン１２それぞれに呼気を吹きかけることによって図示の矢印方向にカーソルを移動させるものである。
【００６６】
本実施の形態のポインティングデバイス１も、第１の実施の形態と同様に図１に示した接続により、ユーザーが上下左右のカーソルを移動させたい方向の真マイクロフォン１２に呼気を吹きかけ、またその呼気の強さを調整することで移動速度も調整できる。そして舌打ち音のような無声音によってボタンスイッチ信号を入力する機能構成は第１の実施の形態と同様である。
【００６７】
次に、本発明の第３の実施の形態のポインティングデバイスについて、図９を用いて説明する。この実施の形態のポインティングデバイス１の特徴は、図８に示した第２の実施の形態のポインティングデバイスに対して、上下左右４個のマイクロフォン１２に加えて、斜め上下方向にカーソルを移動させるためのマイクロフォン１２を基体１１に設けた点にある。
【００６８】
この第３の実施の形態のポインティングデバイスでは、第２の実施の形態のポインティングデバイスよりも任意の方向へのカーソル移動がより円滑に行える利点がある。
【００６９】
【発明の効果】
以上のように本発明によれば、手足が不自由な障害者にとっても、口腔内や口唇に特別の装置を装着することなく、基体に配列された複数個の空気振動感知器に呼気を吹きかけることによって滑らかにマウスカーソルを移動操作できる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態のポインティングデバイスを接続したコンピュータシステムのブロック図。
【図２】上記実施の形態のポインティングデバイスの機能構成を示すブロック図。
【図３】上記実施の形態のポインティングデバイスのハードウェア構成を示すブロック図。
【図４】上記実施の形態のポインティングデバイスにおける呼気入力制御部の機能構成を示すブロック図。
【図５】上記実施の形態のポインティングデバイスによる呼気吹きかけ入力処理のフローチャート。
【図６】上記実施の形態のポインティングデバイスによる呼気吹きかけ入力処理の詳しいフローチャート。
【図７】上記実施の形態のポインティングデバイスによる舌打ち入力処理のフローチャート。
【図８】本発明の第２の実施の形態のポインティングデバイスのマイクロフォンアレイを示す正面図。
【図９】本発明の第３の実施の形態のポインティングデバイスのマイクロフォンアレイを示す正面図。
【符号の説明】
１ ポインティングデバイス
２ ディスプレイ
３ コンピュータ本体
１１ デバイス基体
１２ マイクロフォン
１３ スキャナ
１４ 周波数検出回路
１５ 比較回路
１６ ピーク検出回路
１７ マイク座標・ピーク値保持回路
１８ カーソル移動ベクトル演算回路
１９ タイマ
２０ 呼気入力制御部
２１ 増幅器
２２ Ａ／Ｄ変換器
２３ マイクロプロセッサ
１００ マウスカーソル
１１０ カウンタ
１１１ マウス信号出力回路
１２１ マイクロフォンアレイ
１２２ 音信号波形解析部
１２３ メモリアレイ
１２４ 呼気座標解析部
１２５ 音信号波形解析部
１２６ 制御信号処理部
１２７ コネクタ部
２３１ 波形分別部
２３２ 強度検出部
【発明の属する技術分野】
本発明は、ユーザーの呼気の吹きかけ位置の変化と舌打ち音のような無声音とによってマウスに相当するカーソル操作が行えるポインティングデバイスに関する。
【０００２】
【従来の技術】
近年、ビジネス環境は勿論、一般の生活環境等にもパーソナルコンピュータの利用が定着している。また身体障害者の意思伝達装置としてもパーソナルコンピュータは必要不可欠なものとなっているが、その入力デバイスとして実用化されているものは手足を用いてマウスやボタンを操作するものがほとんどである。
【０００３】
手足を用いないでパーソナルコンピュータを操作する入力デバイスとしては「目線」、「音声」、「舌」、「息」などを利用するものが知られている。これらのうち、「目線」を使った入力デバイスは現状では高価であり、且つ重装備であり、また操作する人の疲労度も大きく、実用化にはまだ距離がある。
【０００４】
「音声」を使った入力デバイスは障害者のみならず健常者にもハンズフリーな装置として便利である。しかし、音声による入力やオペレーションには正確な発音とクリアな音声が要求され、システムにユーザーの声質やイントネーションのくせを学習させるために時間と手間がかかり、使用までの学習段階でユーザーに複雑な操作を要求し、その間は障害者が自分で操作することができない問題点がある。また、他の人に情報を伝える手段としての音声ゆえ、「音声」による入力やオペレーションはプライバシーが守れず、語り続けるゆえの声帯等の疲労も大きなものがある。またさらに、絵や図面を描く等のカーソルを自由に移動しながらの描画操作等は「音声」方式では困難である。
【０００５】
「舌」の動きを手で操作するマウスの替わりに使うポインティングデバイスは、操作する人の口腔内にトラックボールやタッチパッド的なデバイスを入れて、舌の動きを感知し操作信号に変換して入力するものである。しかしこの「舌」を用いるポインティングデバイスは、ユーザーの口腔内に電気装置や電池を入れるために肉体的、精神的苦痛や嫌悪感が伴い、また同じデバイスを他者に使用させられないという衛生的な問題もある。加えて、口腔内のデバイスと外部の制御装置とを接続する電線等をよだれが伝わる問題もある。
【０００６】
「息」を使った入力デバイスとしては大きく二つの方式に分類される。一つは、ユーザーが口唇にパイプ状（もしくは笛状）の送信器を銜え、そのパイプ状の送信器から空気圧、音波、超音波、レーザ光を発し、その信号を受信器で受け、操作信号を抽出してパーソナルコンピュータに入力し操作するものである。この入力デバイスも口唇で銜えるという衛生的見地から、他者の送信器を流用することは受け入れ難く、個々の個人専用の送信器が望まれる。また、パイプ状（笛状）送信器を操作するには、それなりの強い呼気が必要とされ、体力的に劣る障害者や弱者では、長時間の連続的な使用ができない問題点もある。
【０００７】
「息」を利用する入力デバイスとして、前述のような送信器等を口唇に装着しないで、「息」つまり「呼気」そのものを検出してマウスカーソルを操作するポインティングデバイスも知られている。この呼気を利用する従来のポインティングデバイスは、パーソナルコンピュータの画面上のマウスカーソルの矢印が一定時間（１、２秒間）で回転し、求める方向にマウスカーソルが向いた時にブレススイッチ等を「呼気」でオン・オフし、それらを制御情報としてパーソナルコンピュータを操作するデバイスであるる。ところが、このような「息」を利用するポインティングデバイスでは、スイッチのオン・オフで切り替えてカーソルを操作する仕組みゆえ、応答性の良い操作ができず、ユーザーのイライラ感が免れない問題点があった。
【０００８】
【発明が解決しようとする課題】
以上のように、これまでの主として手を使わないでパーソナルコンピュータ等のマウス的入力装置（ポインティングデバイス）としては様々な装置が考えられていたが、高価、重装備、身体に装着する問題、衛生的問題、操作疲労対策、操作性、応答性等の解決すべき技術的課題があった。
【０００９】
本発明は、このような従来の技術的課題に鑑みなされたもので、ユーザーが口腔内や口唇に特別の装置を装着することなく、ユーザーが基体に配列された複数個の空気振動感知器に呼気を吹きかけることによって滑らかにマウスカーソルを移動操作できるポインティングデバイスを提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１の発明のポインティングデバイスは、空気振動感知器が所定のレイアウトで配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音を感知し、呼気の移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００１１】
請求項１の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して入力デバイスとして使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向にあるいはマウスカーソルを移動させたい方向の空気信号感知器に呼気を吹きかけることによってマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってボタンスイッチ信号を入力することができる。
【００１２】
したがって、手足が不自由な障害者にとっても、カーソルを移動させたい方向に呼気を吹きかける動作、あるいはカーソルを移動させたい方向の空気信号感知器に呼気を吹きかける動作によってマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちするなどして特定の無声音を発することによってクリック信号のようなボタンスイッチ信号を入力することができる。
【００１３】
請求項２の発明のポインティングデバイスは、空気振動により振動するダイヤフラムと、当該ダイヤフラムの振動をその周波数と振動強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が配列された基体と、前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度を検出し、当該信号強度をカーソル移動速度情報とし、前記第１の空気振動を検出する音電信号変換手段の位置変化をカーソル移動方向情報として共に出力するカーソル移動信号出力部と、前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号をボタンスイッチ信号として出力するボタンスイッチ信号出力部とを備えたものである。
【００１４】
請求項２の発明のポインティングデバイスでは、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけると、呼気が吹きかけられた位置の空気振動感知器のダイヤフラムが振動し、音電信号変換手段が呼気による空気振動の周波数と振幅に対応した周波数と振幅の電気信号に変換して出力する。またユーザーが舌打ちしあるいは口笛を吹くとその空気振動感知器群が舌打ち音あるいは口笛音を検出し、音電信号変換手段群が舌打ち音あるいは口笛音による空気振動の周波数と振幅に対応した周波数と振幅の電気信号に変換して出力する。
【００１５】
そして、入力信号分別部は、複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形又は周波数に基づき、呼気による第１の空気振動と舌打ち又は口笛による第２の空気振動とを区別し、第１の空気信号による電気信号はカーソル移動信号出力部へ入力し、第２の空気信号による電気信号はボタンスイッチ信号出力部へ入力する。
【００１６】
カーソル移動信号出力部では、入力される第１の空気振動による電気信号の振幅を検出し、当該信号振幅値をカーソル移動速度情報とし、第１の空気振動を検出する音電信号変換手段の位置変化をカーソル移動方向情報として共に出力する。一方、ボタンスイッチ信号出力部では、入力される第２の空気振動による電気信号をマウスボタンスイッチ信号として出力する。
【００１７】
これにより、請求項２の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して入力デバイスとして使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけることによって呼気の移動方向にマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってマウスボタンスイッチ信号を入力することができる。
【００１８】
したがって、手足が不自由な障害者にとっても、顔を上下左右に移動させながら呼気を吹きかけるという簡単な操作でマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちをし又は口笛を吹くことによってクリック信号のようなマウスボタンスイッチ信号を入力することができる。
【００１９】
請求項３の発明は、請求項２のポインティングデバイスにおいて、前記カーソル移動信号出力部は、同じ位置の空気振動感知器が所定時間内に第１の空気振動を所定回数検出したときに、当該空気振動感知器の座標情報をカーソル位置情報として出力することを特徴とするものであり、例えば、空気振動感知器群の中で左右端部や上下端部、あいるは中央部の位置の同じ空気振動感知器に向けて呼気を所定時間内に所定回数（例えば２回続けて）吹きかければ、カーソル移動信号出力部はこれを該当座標位置にカーソルを強制的にジャンプさせる指示信号として出力し、コンピュータのディスプレイ上でカーソルを対応位置に素速く移動させることができ、カーソル移動操作がよりしやすくなる。
【００２０】
請求項４の発明は、請求項２のポインティングデバイスにおいて、前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ダブルクリック信号として出力することを特徴とするものであり、ユーザーが例えば２回続けて舌打ちをしあるいは口笛を吹くことにより、ディスプレイ上のカーソル位置にあるアイコンその他に対してダブルクリック操作を簡単に行える。
【００２１】
請求項５の発明は、請求項２のポインティングデバイスにおいて、前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ドラッグ信号として出力することを特徴とするものであり、ユーザーが例えば２回続けて舌打ちしあるいは口笛を吹くことにより、カール位置のアイコンをドラッグし、ユーザーが呼気によってカーソルを移動させる間当該アイコンを移動させ、次にユーザーが同様に例えば２回続けて舌打ちしあるいは口笛を吹く位置で当該アイコンをドロップさせるドラッグ・アンド・ドロップ操作を簡単に行える。
【００２２】
請求項６の発明のポインティングデバイスは、空気振動により振動するダイヤフラムと当該ダイヤフラムの振動をその周波数と強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が２行×２列以上のマトリクスに配列された基体と、前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、前記複数の空気振動感知器それぞれと１対１に対応するメモリ配列を有し、前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度と当該音電信号変換手段の座標値とを対応するメモリに保持し、かつ所定周期毎にメモリ更新するメモリアレイと、前記メモリアレイのいずれかのメモリの保持している前記電気信号の強度からカーソル移動速度を求め、前記電気信号を保持しているメモリの座標変化からカーソル移動方向を求める呼気座標解析部と、前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号からボタンスイッチ信号を検出する音信号解析部と、前記呼気座標解析部の求めたカーソル移動方向及び移動速度の信号と前記音信号解析部の求めたボタンスイッチ信号とをマウスカーソル・ボタン操作信号として出力するカーソル操作信号出力部と、前記カーソル操作信号出力部の出力信号をコンピュータの適宜の入力ポートに入力する接続コネクタとを備えたものである。
【００２３】
請求項７の発明は、請求項８のポインティングデバイスにおいて、前記基体に、前記空気振動感知器が同心放射状に複数個配列されていることを特徴とするものである。
【００２４】
請求項６及び７の発明のポインティングデバイスでは、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけると、呼気が吹きかけられた位置の空気振動感知器のダイヤフラムが振動し、音電信号変換手段が呼気による空気振動の周波数と強度に対応した周波数と信号強度の電気信号に変換して出力する。またユーザーが舌打ちするなどして無声音を発するとその空気振動感知器群が無声音を検出し、音電信号変換手段群が無声音による空気振動の周波数と強度に対応した周波数と強度の電気信号に変換して出力する。
【００２５】
入力信号分別部は、複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別し、第１の空気信号に対してはその電気信号の強度と座標値とをメモリアレイの対応するメモリに保持する。呼気座標解析部は所定周期毎にメモリアレイに所定周期毎にアクセスしていずれかのメモリの保持されている電気信号の強度からカーソル移動速度を求め、また電気信号を保持しているメモリの座標変化からカーソル移動方向を求めてカーソル操作信号出力部に入力する。一方、入力信号分別部は分別した第２の空気振動に対しては、音信号解析部がその電気信号からボタンスイッチ信号を検出し、カーソル操作信号出力部に入力する。
【００２６】
そしてカーソル操作信号出力部は、呼気座標解析部の求めたカーソル移動方向及び移動速度と音信号解析部の求めたボタンスイッチ信号を合成し、マウスカーソル・ボタン操作信号を作成し、接続コネクタを介してコンピュータの入力ポートに入力する。
【００２７】
これにより、請求項６及び７の発明のポインティングデバイスでは、これをパーソナルコンピュータの所定の入力ポートに接続して使用するとき、ユーザーが基体の空気振動感知器群に対してマウスカールを移動させたい方向に呼気を吹きかけることによって呼気の移動方向にマウスカーソルを移動させ、また舌打ち音のような無声音を出すことによってボタンスイッチ信号を入力することができる。
【００２８】
したがって、手足が不自由な障害者にとっても、当該デバイスに呼気を吹きかけながらその吹きかけ位置を移動させる簡単な動作でマウスカーソルの移動操作ができ、また、カーソルが所定の位置に停止している状態で舌打ちするなどして無声音を発することによってクリック信号のようなボタンスイッチ信号を入力することができる。
【００２９】
請求項８の発明のポインティングデバイス、上下左右の４カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００３０】
請求項８のポインティングデバイスでは、ユーザーが上下左右のいずれかの空気振動感知器に向けて呼気を吹きかけることによって、吹きかけられた空気信号感知器の位置に応じてマウスカーソルを移動操作することができ、また、舌打ちをするなどによって無声音を入力することによってボタンスイッチ信号をにるすることができる。
【００３１】
請求項９の発明のポインティングデバイスは、上下左右及び斜め左右の上下の８カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するものである。
【００３２】
請求項９の発明のポインティングデバイスでは、ユーザーが上下左右及び斜め左右の上下の８カ所に設けられた空気振動感知器のいずれかに向けて呼気を吹きかけることによって、吹きかけられた空気信号感知器の位置に応じてマウスカーソルを移動操作することができ、また、舌打ちをするなどによって無声音を入力することによってボタンスイッチ信号をにるすることができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の第１の実施の形態のポインティングデバイスを用いたコンピュータシステムの構成を示している。図１において、１はポインティングデバイス、２はディスプレイ、３はコンピュータ本体である。
【００３４】
コンピュータ本体３は、一般的なパーソナルコンピュータであり、マウス、キーボード等の入力デバイスを接続するＰＳ／２入力ポート、ＵＳＢポートを備えているものとする。本実施の形態において、ポインティングデバイス１はマウスに代わる入力デバイスとして、ＵＳＢポートに接続して使用するものとする。しかしながら、本発明はこれに限定されず、ＰＳ／２ポートを利用し、あるいはコンピュータ本体３側に特別仕様の入力処理ボードを装着し、本実施の形態で説明する入力処理機能をその入力処理ボードでデジタル処理し、最終的にＰＳ／２ポート接続あるいはＵＳＢポート接続のマウスと同等の信号を入力できるものとしてもよい。
【００３５】
ポインティングデバイス１は、ユーザーの口先に位置するように装着させて使用されるものであり、図２〜図４に詳しいように、基体１１に縦横のマトリクス配列にマイクロフォン１２を多数個配列した構成である。このマイクロフォン１２は、指向性の鋭いものを採用するのが好ましいが、特に限定されることはない。またマイクロフォン１２はユーザーの呼気と舌打ち音のような無声音を異なる周波数の空気振動として検出できる程度の仕様機能があれば十分でよい。
【００３６】
図３に詳しく示したように、多数のマイクロフォン１２それぞれには増幅器２１、Ａ／Ｄ変換器２２、マイクロプロセス２３が接続してあって、マイクロフォン１２のボイスコイルの出力する電気信号を増幅し、デジタル変換してマイクロプロセッサ２３に入力し、このマイクロプロセス２３内の波形分別部２３１で呼気による低周波の波形と舌打ち音のような無声音のより高い周波数の波形とを分別し、さらに強度検出部２３２で入力信号の強度を信号波形の立上り特性から検出し、これらの波形判定結果と強度検出値とを呼気入力制御部２０に入力するようにしている。なお、これらの波形分別部２３１、強度検出部２３２は現実の回路ではなく、マイクロプロセッサ２３に組み込んだソフトウェアによる処理機能である。
【００３７】
図４に示すように、ポインティングデバイス１の基体１１内の呼気入力制御部２０には、所定周期τ１毎にマトリクス配列のマイクロフォン１２各々を縦横に順次スキャニングして各マイクロフォン１２の音電変換信号を取り込むスキャナ１３、波形検出回路１４、この波形検出回路１４の検出した波形（周波数であってもよい）を基本波形と比較し、呼気による振動と舌打ち音のような無声音による振動とを分別する比較回路１５、スキャナ１３の検出した電気信号強度のピーク値を示すマイクロフォンの座標を検出するマイク座標検出回路１６、マイク座標検出回路１６の検出した電気信号強度のピーク値と該当マイクロフォン１２の位置座標を記憶するマイク座標・ピーク値保持回路１７が設けられている。
【００３８】
呼気入力制御部２０にはまた、このマイク座標・ピーク値保持回路１７の保持データに所定周期τ２毎にアクセスし、前回アクセス時のピーク値を与えるマイクロフォン１２の位置座標と今回アクセス時のピーク値を与えるマイクロフォン１２の位置座標とから呼気移動方向と距離、つまり呼気移動ベクトルｖを求め、さらにこの呼気移動ベクトルｖとピーク値ｐをかけ算してカーソル移動ベクトルＤ（＝ｐ・ｖ）を求めるカーソル移動ベクトル演算回路１８が設けられている。
【００３９】
呼気入力制御部２０内にはさらに、比較回路１５が舌打ち音のような無声音を検出したときに一定時間、例えば１秒間（特に限定されず、また長短設定可能にすることもできる）のタイムカウントを開始するタイマ１９と、このタイマ１９の起動中に比較回路１５が出力する無声音判定回数をカウントするカウンタ１１０、そして、所定周期τ３毎にカーソル移動ベクトル演算回路１８の演算値とカウンタ１１０のカウント値とを、マウス操作信号として出力するマウス信号出力回路１１１が設けられている。
【００４０】
なお、この呼気入力制御部２０は比較的高性能なＣＰＵとその周辺機器によって構成されるものであり、上記の各回路要素は現実の回路ではなく、ＣＰＵが実行するソフトウェアによる処理機能である
図２は、上記構成のポインティングデバイス１の機能構成を示している。このデバイス１１はマイクロフォンアレイ１２１、音信号波形分別部１２２、メモリアレイ１２３、呼気座標解析部１２４、音信号波形解析部１２５、制御信号処理部１２６、そしてコネクタ部１２７から構成されている。
【００４１】
マイクロフォンアレイ１２１は横１０個縦８個程度の縦横マトリクス配列にしてあるが、これは特に限定されず、同心円放射状の配列であってもかまわない。個々のマイクロフォン１２には、音信号波形分別部１２２を通じてメモリアレイ１２３に接続されている。このメモリアレイ１２３は、マイクロフォンアレイ１２１の配列に対応する形でメモリアドレスが割り付けられたメモリである。
【００４２】
メモリアレイ１２３の記憶データは呼気座標解析部１２４で解析される。呼気座標解析部１２４は、信号強度のピーク値を与えるマイクロフォンの座標、ピーク値等の解析結果を制御信号処理部１２６に送る。なお、呼気の吹きかけ位置の決定処理には、振動強度のピーク値を出力するマイクロフォン１２の座標を特定して用いる代わりに、振動検出信号を出力する複数のマイクロフォン１２それぞれの座標を求め、それらの中心位置の座標を吹きかけ位置として求め、また複数のマイクロフォン１２それぞれの振動強度の平均値を呼気強さとしても使用するようにしてもよい。さらには振動強度をウェイトにした加重平均演算によって中心位置座標を求めてもよい。
【００４３】
クリック等の動作に使う舌打ち音のような無声音は音信号波形分別部１２２で呼気吹きかけ信号とは異なる周波数の音信号として分別され、音信号解析部１２５で所定の操作信号、例えばワンクリック、ダブルクリック、ドラッグ、ドロップ信号として解析される。音信号解析部１２５は、解析した所定の操作信号Ｓを制御信号処理部１２６に送る。この無声音は人の話す音声とは異なり、ユーザーが容易に発することができる「チッチッ」、「ツッツッ」といった舌打ち音あるいはそれと同等の音である。
【００４４】
制御信号処理部１２６は、呼気座標解析部１２４から信号ピークが検出されたマイクの位置座標（マイク座標）、ピーク値信号を受け取ると、前回のマイク座標からの変位を呼気移動ベクトルｖとして求め、さらにこの呼気移動ベクトルｖとピーク値ｐをかけ算してカーソル移動ベクトルＤ（＝ｐ・ｖ）を求め、音信号解析部１２５のボタンスイッチ操作信号Ｓがあれば、カーソル移動ベクトル信号Ｄとボタンスイッチ操作信号Ｓとを、ボタンスイッチ操作信号Ｓがなければカーソル移動ベクトル信号Ｄだけをマウス操作信号として発生させ、ＵＳＢ等のコネクタ部１２７を通じてコンピュータ本体３に入力する。
【００４５】
次に、上記の機能構成を備えたポインティングデバイス１のマウス信号出力動作について、図５〜図７のフローチャートを用いて説明する。
【００４６】
ユーザーは図１に示したように本実施の形態のポインティングデバイス１をコンピュータ本体３のあらかじめ設計されているマウス信号出力用のコネクタ部１２７が対応するＰＳ／２ポートあるいはＵＳＢポートに接続して、マウス、トラックボール、タッチパッド等に代わるものとして使用する。この場合、マイクアレイ１２１に、ディスプレイ２に表示されているカーソル１００を移動させたい向きに軽く呼気を吹きかけ、またクリック、ドラッグ等のボタンスイッチ操作をしたいときには所定の方法あるいは回数だけ舌打ちする。
【００４７】
マイクアレイ１２１は吹きかかった呼気の空気流を粗密波として捕らえ音信号波形分別部１２２に送る。また、舌打ち音等も音信号波形分別部１２２に送られる（ステップＳ１）。
【００４８】
音信号波形分別部１２２は座標情報としての呼気の空気流粗密波なのか、クリック等の制御信号としての波形なのかを分別処理する（ステップＳ３）。
【００４９】
メモリアレイ１２３には音信号波形分別部１２２より送られてきた信号を展開する。始めに呼気を吹きかけられた始点情報、始点からの方向情報、息の強さ情報、息の吹き止んだ時の終点情報等が個々のマイクロフォンと相似してリアルタイムに記録される（ステップＳ５）。
【００５０】
この処理は、図６により詳細に示してある。Ａ１〜Ａ２の処理を所定の周期τ０で繰り返し実行する。そこではまず、所定の周期τ１（τ１＞τ０）でマイクロフォンアレイ１２１の各マイクロフォン１２の出力をスキャニングする（ステップＳ１０１）。
【００５１】
各マイクロフォン１２の出力する振動波形を検出する（ステップＳ１０３）。そして、検出した振動波形により（あるいは周波数が所定値以上であるか否かにより）、検出した入力が呼気か舌打ち音かを判断する（ステップＳ１０５，Ｓ１０７，Ｓ１０９）。
【００５２】
ステップＳ１０７で入力が呼気の吹きかけであると判断された場合は、続いて、入力を検出したマイクロフォン１２の座標ｐｉを特定すると共に、振動強度（振幅値、ピーク値、信号の立上り特性等のいずれか）ｓを検出する（ステップＳ１１１）。この検出結果は、メモリアレイ１２３の対応するメモリアドレスに格納する（ステップＳ１１３）。
【００５３】
以上のステップＳ１０１〜Ｓ１１３の処理をマイクロフォン１２の数だけ繰り返す（ステップＳ１１５）。
【００５４】
なお、マイクロフォンアレイ１２１全体を１度スキャニングした結果、呼気を検出するマイクロフォン１２が複数になることもあるが、その場合には各々のマイクロフォンと対応するメモリアドレスに格納する。
【００５５】
続いて、図５のＢ１〜Ｂ２の処理を所定周期τ２で実施する。この場合の周期τ２は、スキャン周期τ１と同一にして、スキャン完了に連動して処理を開始してもよい。
【００５６】
まず、呼気座標解析部１２４はメモリアレイ１２３の情報を読み取り、解析する。すなわち、弱い呼気を吹かけてその呼気を検出するマイクロフォン１２の座標が変化するときは、少なめにカーソルを移動させ、強い呼気を吹かけた場合は多めにカーソルを移動させる。これは、吹きかけ位置座標ｐ（ｉ）と前回の吹きかけ位置座標ｐ（ｉ−１）との差ｄのベクトル演算を行い、呼気の強さｓとかけ算することによって求められる（ステップＳ１１〜Ｓ１７）。ただし、１度のスキャンで複数のメモリアドレスに呼気強度の検出値が記憶されている場合には、該当する複数のマイクロフォンの座標の平均値を求めて、その値を呼気吹きかけ位置座標ｐ（ｉ）と決定する。そして、吹きかけ強さｓについては、検出マイクロフォン全部の振動強度の合算値とするのが好ましい。しかし、最高ピーク値を用いることもできる。あるいは強度をウェイトにして加重平均演算して中心位置座標を求めてもよい（ステップＳ１１，Ｓ１３）。
【００５７】
続いて、呼気座標解析部１２４は上の座標解析結果ｐ（ｉ）と前回の座標解析結果ｐ（ｉ−１）とのベクトル差を求め、カーソルの移動方向ｄを決定する（ステップＳ１５）。この移動方向ベクトルｄには移動距離成分も含まれるが、最終的な移動距離と移動速度は、ｓ・ｄのベクトル値として求めて制御信号処理部１２６に出力する（ステップＳ１７）。
【００５８】
また、マイクロフォンアレイ受信器は「チッチッ」とか「ツッツッ」とかの舌打ち音を捕らえ、これらの音は音信号波形分別部１２２で選り分けられマウスボタンクリック等のボタンスイッチ信号として制御信号処理部１２５へ送られ所定の操作を実行する。この場合の処理は、図７のフローチャートのＣ１〜Ｃ２の処理による。ただし、本実施の形態では、所定時間内に舌打ちを１回検出した場合には左ボタン（１つボタンマウスに対応させる場合にはそのボタン）のクリック操作、２回でダブルクリック操作、３回以上でドラッグ操作、これらの操作の有効中に新たにいずれかの舌打ち入力を検出したときにはキャンセル（したがって、ドラッグ中であれば、ドロップ）操作とする設定である。
【００５９】
そこで、音信号波形解析部１２５は、舌打ち音検出信号を音信号波形分別部１２２から受信すると、所定時間内に何回舌打ち信号が入力されるかをカウントし、舌打ちを１回検出した場合には左ボタンクリック操作であると判断する（Ｓ２３，Ｓ２７）。舌打ち２回であれば、ダブルクリック操作と判断する（ステップＳ２９，Ｓ３３）。そして舌打ち３回以上であれば、ドラッグ操作であると判断する（ステップＳ３７）。そして、これらの操作のいずれかが有効中に新たにいずれかの舌打ち入力を検出したときにはキャンセル、したがって、ドラッグ中であれば、ドロップ操作と判断する（ステップＳ２５，Ｓ３９；Ｓ３１，Ｓ４１；Ｓ３５，Ｓ３７））。これらのボタンスイッチ作信号は、制御信号処理部１２７に出力される。
【００６０】
制御信号処理部１２６では、呼気座標解析部１２４の結果と音信号波形解析部１２５の結果から通常のマウス操作信号を発生させ、コネクタ部１２７からコンピュータ本体３の該当入力ポートに入力する。
【００６１】
こうして、本実施の形態のポインティングデバイスでは、マイクロフォンアレイ１２１に向けてユーザーが呼気を吹きかけながらカーソル１００を移動させたい方向に口先を動かしあるいは顔を移動させ、そのときの呼気の吹きかけ強さを強弱することによって、ディスプレイ２上のカーソル１００をその移動速度も調整しながらを移動させることができ、また、舌打ちを続けて所定回数行うことでクリック、ドラッグ等のボタンスイッチ操作もすることができる。
【００６２】
これにより、本実施の形態のポインティングデバイスでは、大掛かりな装置を必要とせず、かつ安価なコストで製作でき、操作するユーザー側に特別の送信器等を装着する必要もないゆえに、衛生上安心で肉体的・精神的圧迫感もなく、マイクロフォンアレイ１２１に吹きつける呼気の空気流の方向、強弱、持続時間情報等で一般のマウスのように滑らかなカーソル移動操作を実現し、ゆえに画像描画等の作業なども抵抗なく可能である。また、各種のボタン操作やクリック操作等は舌打ち音を定義して設定できる。よって、従来の一連のユーザー補助用入力デバイスに比べて作業効率の向上が図れる。
【００６３】
なお、高機能のマウスやトラックボールでは、右ボタン、左ボタン、戻りボタン、送りボタン、スクロールボタン等の操作ボタンを搭載しているものがあるが、これらをすべて舌打ち音で識別させようとすれば、舌打ちのリズム、パターンとボタンスイッチとの対応を取り決めておくことにより実現できる。また、舌打ち音に代わって口笛のような無声音で操作信号を入力するようにすることもできる。さらには、舌打ち音の中でも周波数によって識別するようにし、それぞれの所定時間内の入力回数によって個別の操作信号としたり、リズム、パターンによって異なった操作信号を識別するようにしたりすることもできる。この無声音をボタンスイッチ信号として識別することの利点は、ユーザーがカーソルの移動操作をしながらその状態のまま同じ口元から無声音を発して入力できる点にあり、カーソル移動操作とボタンスイッチ信号入力操作とで、特にユーザーである身体障害者が大きな動作をしなくても入力できる点にある。
【００６４】
さらに、呼気吹きかけでカーソル移動操作をする際に、例えば、マイクロフォンアレイの上下左右の四隅のいずれか同じ場所のマイクロフォンに対して所定時間内に続けて２回呼気を吹きかける操作をすれば、このマイクフォンの配列位置と対応するディスプレイの上下左右の四隅の該当位置にカーソルの強制的に移動させるカーソル移動機能を持たせることもできる。
【００６５】
次に、図７を用いて本発明の第２の実施の形態のポインティングデバイスについて説明する。第２の実施の形態のポインティングデバイスは、通常のキーボードに設けられているカーソル移動キーに対応する入力デバイスであり、基体１１の上下左右の４カ所にマイクロフォン１２を設け、これらのマイクロフォン１２それぞれに呼気を吹きかけることによって図示の矢印方向にカーソルを移動させるものである。
【００６６】
本実施の形態のポインティングデバイス１も、第１の実施の形態と同様に図１に示した接続により、ユーザーが上下左右のカーソルを移動させたい方向の真マイクロフォン１２に呼気を吹きかけ、またその呼気の強さを調整することで移動速度も調整できる。そして舌打ち音のような無声音によってボタンスイッチ信号を入力する機能構成は第１の実施の形態と同様である。
【００６７】
次に、本発明の第３の実施の形態のポインティングデバイスについて、図９を用いて説明する。この実施の形態のポインティングデバイス１の特徴は、図８に示した第２の実施の形態のポインティングデバイスに対して、上下左右４個のマイクロフォン１２に加えて、斜め上下方向にカーソルを移動させるためのマイクロフォン１２を基体１１に設けた点にある。
【００６８】
この第３の実施の形態のポインティングデバイスでは、第２の実施の形態のポインティングデバイスよりも任意の方向へのカーソル移動がより円滑に行える利点がある。
【００６９】
【発明の効果】
以上のように本発明によれば、手足が不自由な障害者にとっても、口腔内や口唇に特別の装置を装着することなく、基体に配列された複数個の空気振動感知器に呼気を吹きかけることによって滑らかにマウスカーソルを移動操作できる。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態のポインティングデバイスを接続したコンピュータシステムのブロック図。
【図２】上記実施の形態のポインティングデバイスの機能構成を示すブロック図。
【図３】上記実施の形態のポインティングデバイスのハードウェア構成を示すブロック図。
【図４】上記実施の形態のポインティングデバイスにおける呼気入力制御部の機能構成を示すブロック図。
【図５】上記実施の形態のポインティングデバイスによる呼気吹きかけ入力処理のフローチャート。
【図６】上記実施の形態のポインティングデバイスによる呼気吹きかけ入力処理の詳しいフローチャート。
【図７】上記実施の形態のポインティングデバイスによる舌打ち入力処理のフローチャート。
【図８】本発明の第２の実施の形態のポインティングデバイスのマイクロフォンアレイを示す正面図。
【図９】本発明の第３の実施の形態のポインティングデバイスのマイクロフォンアレイを示す正面図。
【符号の説明】
１ ポインティングデバイス
２ ディスプレイ
３ コンピュータ本体
１１ デバイス基体
１２ マイクロフォン
１３ スキャナ
１４ 周波数検出回路
１５ 比較回路
１６ ピーク検出回路
１７ マイク座標・ピーク値保持回路
１８ カーソル移動ベクトル演算回路
１９ タイマ
２０ 呼気入力制御部
２１ 増幅器
２２ Ａ／Ｄ変換器
２３ マイクロプロセッサ
１００ マウスカーソル
１１０ カウンタ
１１１ マウス信号出力回路
１２１ マイクロフォンアレイ
１２２ 音信号波形解析部
１２３ メモリアレイ
１２４ 呼気座標解析部
１２５ 音信号波形解析部
１２６ 制御信号処理部
１２７ コネクタ部
２３１ 波形分別部
２３２ 強度検出部
Claims (9)
- 複数の空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するポインティングデバイス。
- 空気振動により振動するダイヤフラムと、当該ダイヤフラムの振動をその周波数と振動強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が配列された基体と、
前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、
前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度を検出し、当該信号強度をカーソル移動速度情報とし、前記第１の空気振動を検出する音電信号変換手段の位置変化をカーソル移動方向情報として共に出力するカーソル移動信号出力部と、
前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号をボタンスイッチ信号として出力するボタンスイッチ信号出力部とを備えたポインティングデバイス。 - 前記カーソル移動信号出力部は、同じ位置の空気振動感知器が所定時間内に第１の空気振動を所定回数検出したときに、当該空気振動感知器の座標情報をカーソル位置情報として出力することを特徴とする請求項２に記載のポインティングデバイス。
- 前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ダブルクリック信号として出力することを特徴とする請求項２に記載のポインティングデバイス。
- 前記ボタンスイッチ信号出力部は、前記第２の空気振動に対する電気信号を所定時間内に所定回数検出したときに、ドラッグ信号として出力することを特徴とする請求項２に記載のポインティングデバイス。
- 空気振動により振動するダイヤフラムと当該ダイヤフラムの振動をその周波数と強度に対応した周波数と信号強度の電気信号に変換して出力する音電信号変換手段とを有する空気振動感知器の複数個が２行×２列以上のマトリクスに配列された基体と、
前記複数の空気振動感知器の音電信号変換手段各々の出力する電気信号の波形に基づき、呼気による第１の空気振動と舌打ち音のような無声音による第２の空気振動とを区別する入力信号分別部と、
前記複数の空気振動感知器それぞれと１対１に対応するメモリ配列を有し、前記入力信号分別部が分別した第１の空気振動に対して、前記音電信号変換手段の出力する電気信号の強度と当該音電信号変換手段の座標値とを対応するメモリに保持し、かつ所定周期毎にメモリ更新するメモリアレイと、
前記メモリアレイのいずれかのメモリの保持している前記電気信号の強度からカーソル移動速度を求め、前記電気信号を保持しているメモリの座標変化からカーソル移動方向を求める呼気座標解析部と、
前記入力信号分別部が分別した第２の空気振動に対して、前記音電信号変換手段の出力する電気信号からボタンスイッチ信号を検出する音信号解析部と、
前記呼気座標解析部の求めたカーソル移動方向及び移動速度の信号と前記音信号解析部の求めたボタンスイッチ信号とをマウスカーソル・ボタン操作信号として出力するカーソル操作信号出力部と、
前記カーソル操作信号出力部の出力信号をコンピュータの適宜の入力ポートに入力する接続コネクタとを備えたポインティングデバイス。 - 前記基体に、前記空気振動感知器が同心放射状に複数個配列されていることを特徴とする請求項６に記載のポインティングデバイス。
- 上下左右の４カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するポインティングデバイス。
- 上下左右及び斜め左右の上下の８カ所に空気振動感知器が配列された基体に対して、ユーザーの吹きかける呼気と舌打ち音のような無声音とを感知し、呼気の吹きかけられた空気振動感知器の位置に対応した移動方向にディスプレイ上のカーソルを移動させる信号と、無声音によりボタンスイッチ信号を出力するポインティングデバイス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003068865A JP4274823B2 (ja) | 2003-03-13 | 2003-03-13 | ポインティングデバイス |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003068865A JP4274823B2 (ja) | 2003-03-13 | 2003-03-13 | ポインティングデバイス |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004280301A JP2004280301A (ja) | 2004-10-07 |
| JP4274823B2 true JP4274823B2 (ja) | 2009-06-10 |
Family
ID=33286078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003068865A Expired - Fee Related JP4274823B2 (ja) | 2003-03-13 | 2003-03-13 | ポインティングデバイス |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4274823B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9116544B2 (en) * | 2008-03-26 | 2015-08-25 | Pierre Bonnat | Method and system for interfacing with an electronic device via respiratory and/or tactual input |
| US8976046B2 (en) | 2008-03-26 | 2015-03-10 | Pierre Bonnat | Method and system for a MEMS detector that enables control of a device using human breath |
| JP5013271B2 (ja) * | 2008-03-19 | 2012-08-29 | 株式会社エクォス・リサーチ | 情報入力装置 |
| JP2009230534A (ja) * | 2008-03-24 | 2009-10-08 | Equos Research Co Ltd | 情報入力装置 |
| JP4953095B2 (ja) * | 2008-05-20 | 2012-06-13 | 独立行政法人産業技術総合研究所 | 情報処理装置 |
| JP4822458B2 (ja) * | 2008-05-20 | 2011-11-24 | 独立行政法人産業技術総合研究所 | インターフェイス装置とインターフェイス方法 |
| JP2012098892A (ja) * | 2010-11-01 | 2012-05-24 | Casio Comput Co Ltd | 位置入力装置、位置入力方法及びプログラム |
| CN108511263B (zh) * | 2018-01-18 | 2023-12-19 | 深圳艾尼莫科技有限公司 | 吹气开关 |
| KR102473686B1 (ko) * | 2020-12-22 | 2022-12-02 | (주)프로젝트레인보우 | 호흡훈련 시스템 및 이에 포함되는 호흡측정장치 |
-
2003
- 2003-03-13 JP JP2003068865A patent/JP4274823B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004280301A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Paradiso | The brain opera technology: New instruments and gestural sensors for musical interaction and performance | |
| JP5095811B2 (ja) | 移動通信装置及び該移動通信装置のための入力装置 | |
| US7834850B2 (en) | Method and system for object control | |
| JP2698320B2 (ja) | 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム | |
| US9037530B2 (en) | Wearable electromyography-based human-computer interface | |
| US6525717B1 (en) | Input device that analyzes acoustical signatures | |
| JP5911796B2 (ja) | マルチモーダル情報を用いるユーザ意図推論装置及び方法 | |
| US8793621B2 (en) | Method and device to control touchless recognition | |
| JP3206062B2 (ja) | 楽音制御方法および装置 | |
| JP5745265B2 (ja) | 信号処理装置、タッチパネルユニット、情報処理装置および信号処理方法 | |
| KR101576148B1 (ko) | 다차원 제스처 평가 시스템 및 방법 | |
| CN109715065A (zh) | 电子设备及其控制方法 | |
| WO2020100671A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20090326406A1 (en) | Wearable electromyography-based controllers for human-computer interface | |
| JP4274823B2 (ja) | ポインティングデバイス | |
| EP3198247A1 (en) | Systems and methods for capturing and interpreting audio | |
| JP2012040655A (ja) | ロボット制御方法、プログラム、及びロボット | |
| JP2009508560A (ja) | 遠隔に位置するマイクロフォンを使用して音声起動される制御を有する超音波イメージングシステム | |
| JPH07248873A (ja) | 筋電信号を用いた制御装置 | |
| JP2013152482A (ja) | 出力を生成するシステムおよび方法 | |
| JP2005528663A (ja) | 改良型のワイヤレス式制御デバイス | |
| US10303436B2 (en) | Assistive apparatus having accelerometer-based accessibility | |
| Patel et al. | Blui: low-cost localized blowable user interfaces | |
| US20050033144A1 (en) | Biological-sound data processing system, program, and recording medium | |
| Nguyen et al. | Cover your cough: Detection of respiratory events with confidence using a smartwatch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |