JP3487237B2

JP3487237B2 - ポインティング装置とそれを用いたコンピュータシステム

Info

Publication number: JP3487237B2
Application number: JP24207999A
Authority: JP
Inventors: 進小野寺
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-08-27
Filing date: 1999-08-27
Publication date: 2004-01-13
Anticipated expiration: 2019-08-27
Also published as: JP2001067179A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータのポイ
ンティング装置とそれを用いたコンピュータシステムに
関し、特に操作者の手による操作を低減ないしハンズフ
リーとするポインティング装置とそれを用いたハンズフ
リー且つ操作者の体に装着出来るコンピュータシステム
に関する。

【０００２】

【従来の技術】従来より、パーソナルコンピュータ用ポ
インティングデバイスは様々なものが考案されてきた。
例えば、マウス、トラックボール、スティック、スライ
ドパットなどが挙げられるが、いずれもデバイスまたは
デバイスを動かす台が安定していなければ操作性が悪く
なるという問題があった。また、手で操作を行うため手
を使う作業と並行してパーソナルコンピュータを操作す
ることが難しいという問題があった。

【０００３】この様な問題を解決する方法及び装置とし
て例えば、特開平９−４４２９７に開示されているデー
タ入力方法及びその装置がある。引用の方法及び装置
は、眼鏡に内蔵されたＨＭＤ（頭部動作検出部）とジャ
イロを組み合わせ、コンピュータ操作者の頭部の３次元
的な動きを検出し、動きの種類に応じこれを問い合わせ
画面に対する肯定、否定、多岐選択への指定とするもの
である。又、カメラなどの画像入力装置で操作者の手先
の動きを解析し上記指示とするものである。

【０００４】

【発明が解決しようとする課題】この様な入力装置で
は、ジャイロを使用しており装置が高価になるという問
題がある。又、操作者を撮影する画像入力装置による方
法は、必ずしも手による操作を低減する例ではないが、
操作者が画像入力装置により明瞭に撮像される必要があ
りその作業位置が限定されるという問題がある。又操作
者を撮影する入力装置は、操作者の体に装着出来るコン
ピュータシステムには容易に組み込めない。

【０００５】

【課題を解決するための手段】本発明の第１のポインテ
ィング装置は、操作者の頭部に装着され、対向面の画像
が入力され画像イメージを出力するイメージセンサ、イ
メージセンサからの画像をディジタル化し所定の周期で
取り込み、取り込んだ画像データの代表ブロックについ
て左右、上下方向の時間的変位量を求め、操作者頭部の
動きの方角と移動量検出を行う信号処理部とを有すセン
サ部と、操作ボタンと、前記検出信号をポインティング
デバイス移動量信号に変換し、操作ボタン信号とともに
コンピュータ回路に送出する制御部とを備えて構成され
る。

【０００６】本発明の第１のコンピュータシステムは、
コンピュータ回路と、それに接続された前記第１のポイ
ンティング装置と、ディスプレイとを含んで構成され、
操作者の頭部の動きにより前記ディスプレイ上のカーソ
ルの移動を指示することを特徴とする。

【０００７】本発明の第２のコンピュータシステムは、
前記第１のコンピュータシステムに於いて、前記コンピ
ュータ回路に、前記ポインティング装置からの移動量信
号が、前記操作者の頭部の意図した動きにより、且つ復
帰動作によるものでないことを識別する手段を設けて構
成し、該識別される移動量信号に呼応し、前記デイスプ
レイ上のカーソルの移動を指示することを特徴とする。

【０００８】本発明の第３のコンピュータシステムは、
前記ディスプレイを操作者の頭部に装着されるヘッドマ
ウントディスプレイとし、前記センサ部を前記ヘッドマ
ウントディスプレイに取り付けて併設し、操作者の頭部
の動きにより前記ヘッドマウントデイスプレイ上のカー
ソルの移動を指示することを特徴とする。

【０００９】本発明の第４のコンピュータシステムは、
前記ポインティング装置の前記操作ボタンを、足で操作
可能なフットボタンとしたことを特徴とする。

【００１０】本発明の第５のコンピュータシステムは、
前記第３のコンピュータシステムに於いて、前記ポイン
ティング装置の前記操作ボタンに替わり、マイクと、マ
イクの操作音声信号を認識し複数の操作単語音声の特徴
と比較し前記操作ボタン信号に変換し前記制御部に渡す
音声認識部とを設けて構成し、操作者の頭部の動きによ
り前記ヘッドマウントデイスプレイ上のカーソルの移動
を指示し、音声により操作指示をすることを特徴とす
る。

【００１１】本発明の第６のコンピュータシステムは、
前記センサ部と、前記制御部と、前記マイクと、前記音
声認識部と、イヤホンと、前記ヘッドマウントディスプ
レイと、少なくとも前記センサ部と前記ヘッドマウント
ディスプレイが所定位置に取り付けられ操作者の頭部に
装着されるヘッドバンドを有すヘッドセットと、操作者
の体に装着可能なコンピュータ回路とを含んで構成され
る。

【００１２】本発明の第７のコンピュータシステムは、
前記第６のコンピュータシステムに於いて、前記センサ
部と、マイクと、イヤホンと、前記ヘッドマウントディ
スプレイと、少なくとも前記センサ部と前記ヘッドマウ
ントディスプレイが所定位置に取り付けられ操作者の頭
部に装着されるヘッドバンドを有すヘッドセットと、前
記マイクに入力される操作単語音声を認識し操作指示情
報を他のプログラムに通知する手段を持ち、操作者の体
に装着可能なコンピュータ回路とを含んで構成される。

【００１３】本発明の第８のコンピュータシステムは、
前記ヘッドセットの前記マイクとイヤホンに替わり、骨
伝導方式イヤホンマイクを有し構成される。

【００１４】本発明の第２のポインティング装置は、前
記制御部は前記ポインティング装置の移動量信号、操作
状態信号をマウスの移動量信号、操作状態信号と同様形
式の信号としコンピュータ回路のマウス入力に送出する
ことを特徴とする。

【００１５】

【発明の実施の形態】次に、本発明の第１の実施形態に
ついて図面を参照して詳細に説明する。図１を参照する
と、本発明によるポインティング装置のセンサ部１は、
操作者１０の頭部に装着される。センサ部１は操作者１
０の頭部に固定され、頭部の動きに応じ対応する方角の
移動量情報を出力する。ディスプレイ４の画面１１上に
はマウスカーソル１２が表示され、操作者１０の頭部の
動きに対応して画面上を移動する。また、操作者１０は
マウスカーソル１２の操作に加え、指示部５上のスイッ
チＬ６またはスイッチＲ７の操作によって、パーソナル
コンピュータ（図示せず）に指示を与えることができ
る。

【００１６】図２は、ポインティング装置１３の構成を
説明するブロック図である。ポインティング装置１３
は、センサ部１と制御部２と指示部５からなる。センサ
部１は画像の動きから上下および左右の方向の変化量を
制御部２に出力する。センサ部１からの出力信号は、Δ
ｘ、Δｙの２方向の情報からなる。また、指示部５内に
入っているスイッチＬ６とスイッチＲ７が押下されてい
るかの情報も制御部２に入力される。制御部２は、セン
サ部１と指示部５内のスイッチＬ６とスイッチＲ７に接
続され、得られたセンサの移動量情報とスイッチの押下
情報をポインティング情報としてまとめ、パーソナルコ
ンピュータ本体部（ＰＣ本体部と省略）３に所定のプロ
トコルで送る。ＰＣ本体部３は得られたポインティング
情報に基づき処理を行う。ディスプレイ４はＰＣ本体部
３に接続され、ＰＣ本体部３が出力する画像情報を表示
する。

【００１７】尚、ポインティング装置１３各部の実装
は、制御部２が指示部５のケースに同梱され、このケー
スがＰＣ本体部３、センサ部１とケーブル接続される。
又、制御部２がセンサ部１のケースに同梱され、センサ
部１のケースからＰＣ本体部３、指示部５にそれぞれケ
ーブル接続してもよい。更にＰＣ本体部３が装着型の場
合は、ＰＣ本体部３への接続コネクタの近くにケーブル
接続された小さな中継部を設けこれよりセンサ部１、指
示部５にケーブル接続する様にしてもよい。

【００１８】本実施形態では操作スイッチを２つとして
いるが、３つ以上のスイッチがあってもよい。

【００１９】図３は、センサ部１の構成例を示すブロッ
ク図である。センサ部１はイメージセンサ８と信号処理
部９からなる。センサ部１は外部の画像を光強度の変化
として捕らえ画像イメージを信号処理部９に出力する。
信号処理部９は得られた画像イメージの時間的変化から
動きを認識し移動量を出力する。出力信号は、ｘ方向、
ｙ方向をそれぞれΔｘ、Δｙ信号として出力される。セ
ンサ部１はモノクロでもカラーでもよいが、動きを検出
することだけが目的であるため安価なモノクロセンサの
方が好ましい。

【００２０】図４は信号処理部９の一例についてその構
成を示すブロック図である。同期発生回路９１は水平同
期、垂直同期信号、ドットクロックを発生する回路であ
る。Ａ／Ｄ変換９２はイメージセンサ８からのアナログ
輝度信号を水平同期信号がオン中は１画素に対応する周
期（ドット周期）で各画素を８ビット程度のディジタル
信号に変換し数画素の変換後の輝度値を数バイトに直−
並列変換する回路である。画像メモリ９３は例えば１６
０＊１２０ドット程度のフレームメモリを数組有する画
像メモリである。

【００２１】マイコン９４はこれらの回路、画像メモリ
９３を制御しつつ、画像メモリ９３上の画像イメージの
代表点を決め、その時間的変位を求めΔｘ、Δｙ信号と
して出力するマイコンである。

【００２２】次に、本発明の第１実施形態の動作につい
て図面を参照して説明する。先ず図３を参照してセンサ
部１の動作を説明する。操作者１０が頭部を上下左右の
任意の方向に動かすと、イメージセンサ８の撮影する画
像が変化する。イメージセンサ８の撮影した画像を信号
処理部９で受け取り、動きを検出する。画像が右方向に
動いた場合は、操作者１０が頭部を左に振ったと判断し
て左方向の移動量を出力する。ディスプレイ画面１１上
でｘ、ｙそれぞれ右方向、上方向を正とすれば、Δｘと
して負の値を出力する。移動量の絶対値は画像の動いた
量に比例させればよい。同様に画像が下方向に動いた場
合は、操作者１０が頭部を上に振ったと判断して上方向
の移動量をΔｙに正の値として出力する。データの形式
は任意だがＰＳ／２マウスインタフェースに合わせて
ｘ、ｙそれぞれ８ビットの符号付きバイナリデータとす
るのが簡便で好ましい。

【００２３】図４を参照し、信号処理部９の上記動作を
詳細に説明する。マイコン９４は、イメージセンサ８の
撮像素子（例えば１６０＊１２０ドット程度のＣＣＤ素
子）から、同期信号に合わせて読み出された輝度信号を
変換し１５フレーム／秒程度の周期でフレームメモリに
取り込む。初期状態では第１のフレームメモリに取り込
む。次に第１のフレームメモリ画像を例えば上下２等
分、左右２等分し均等に４分割する。各区画の中央の８
＊８ドット程度のブロックについて第２フレームメモリ
にコピーする。次フレーム画像を第１フレームメモリに
取り込み、第２フレームメモリ画像を、該フレームメモ
リ上で左右、上下にスライドさせながら、第１フレーム
メモリ画像との差分を求める。差分値が所定以下でその
ばらつきが最小であればその時のスライド値をΔｘ、Δ
ｙとする。そして第１フレーム画像の各ブロックの輝度
値を前記同様、第２フレームメモリにコピーしておく。
３フレーム目以降の画像も同様に処理するが、数サイク
ル前から前サイクルまでのΔｘ、Δｙにより予測される
変位量を決め、第２のフレーフメモリのブロック画像を
その変位量前後にスライドして、第１フレームメモリ画
像と比較する。尚、フレーム枠外に移動したと予測され
るブロックは最初から除外する。変動は水平、垂直方向
だけでなく多少画像が回転することもあるので、マッチ
ング処理ではそれも考慮し、第２フレーム画像を多少回
転させても比較する。

【００２４】尚、操作者が毎回所定の場所で作業し、そ
の対向面の画像範囲が限定できる場合には、その対向面
の画像の代表点を決め、予め代表点を含むブロックの各
ドットの輝度値ないしドット間差分値等をマイコンのフ
ラッシュメモリ等に登録しておいても良い。代表点とし
ては定常的な高輝度ドットを含むブロックを対角位置ブ
ロックを含め複数登録すればよい。

【００２５】図２において、センサ部１から出力された
移動量データΔｘ、Δｙは制御部２に送られる。操作者
１０がＰＣ本体部３上で実行されるオペレーティングシ
ステムやアプリケーションソフトなどに指示を与えるた
めスイッチＬ６またはスイッチＲ７を押すと、スイッチ
押下の情報が制御部２に送られる。制御部２はセンサ部
１からの移動データや、スイッチＬ６またはスイッチＲ
７の押下データがある毎にポインティング情報を出力す
る。ポインティング情報のプロトコルは任意だが、ＰＳ
／２マウス互換のインタフェースが簡便で好ましい。こ
の場合の、データフォーマットを図５に示す。Ｘ０〜Ｘ
７はＸ方向の符号付き移動量データ、Ｙ０〜Ｙ７はＹ方
向の符号付き移動量データ、Ｒ−ＳＷはスイッチＲ７の
データ、Ｌ−ＳＷはスイッチＬ６のデータを示す。スイ
ッチのデータは、「１」の時はスイッチ押下状態、
「０」の時は押していない状態を示す。これら３バイト
のデータがシリアルデータとして伝送される。

【００２６】図２を参照すると、制御部２から所定のプ
ロトコルによって出力されたポインティング情報はＰＣ
本体部３に入力される。ＰＣ本体部３は、グラフィカル
ユーザインタフェース（ＧＵＩ）のマウスカーソルをこ
のポインティング情報を用いて移動させ、スイッチＬ６
またはスイッチＲ７の押下に応じてオペレーティングシ
ステムやアプリケーションソフトなどに指示を与える。
例えば、スイッチＬ６のシングルクリック、ダブルクリ
ック動作や、スイッチＲ７のシングルクリック動作によ
り、それぞれ選択、実行、キャンセルの指示を与える。

【００２７】以上により、操作者の頭部の動作に応じて
マウスカーソルを制御し、指示部の操作と合わせてポイ
ンティング操作を行うことが可能となる。上記実施例で
は頭部が動くと常にカーソルが動くことになるが、指示
部にセンサスイッチを新たに設けて、センサ部の動作／
非動作を切り換えるようにしてもよい。

【００２８】次に本実施形態のコンピュータシステムの
他の実施例について説明する。本実施例では、ＰＣ本体
部３のマウス入力処理部５１がポインティング装置１３
から受けた移動量信号を、分析しその信号が、操作者１
０の頭部の意図した動きにより、且つ復帰動作によるも
のでないことを識別する手段を設け、該識別される移動
量信号に呼応し、前記デイスプレイ上のカーソルの移動
を指示する。

【００２９】操作者１０は、カーソルを左に移動すると
きは顔を左に向けた後正面に戻し、上に移動するときは
顔を上に向けた後正面に戻し、復帰動作なしに一度で両
方の動きは原則しない様にする。マウス入力処理部５１
は操作者の頭部の停止位置と、最近のｎ回の変動量とそ
の合計と、操作者がカーソル操作状態になったときの主
移動方向（左右／上下のいずれか）を管理保持する。又
図６に示す様に操作者の頭部状態を状態フラグを用い把
握、管理する。即ち、図６に示す様に、操作者の頭部動
作状態として停止中、移動中、復帰中、別位置復帰の４
状態を定義し、これらの遷移条件を検出し、次の状態を
決め、各状態対応の表示制御部への指示動作を行う。

【００３０】図７を参照し、上記遷移条件と、各状態で
の動作を説明する。停止状態にある時、最近のｎ回の変
動値のｘ或いはｙのいずれかの計が予め設定された所定
値以上であれば、移動中に遷移する。同時に主移動方向
を記憶し、その方向の変動値計でカーソルの移動を指示
する。頭部位置情報は停止位置情報に上記Ｘ、Ｙを加算
し更新する。移動中状態に遷移すると、ポインティング
装置１３からの移動量の内、主移動方向の変位でカーソ
ルの移動を指示する。頭部位置情報は上記移動量のＸ、
Ｙで更新する。ポインティング装置１３からの移動量の
内、主移動方向の変位の符号が反転し、絶対値が規定以
上あれば、復帰中に遷移する。復帰中ではカーソルの移
動指示はせず、頭部位置情報のみ更新する。頭部位置情
報が最初の停止位置情報の近傍に入ると、停止状態に戻
る。移動中から所定時間（ｋ）内に復帰中への遷移がな
かった時、復帰中から所定時間（ｌ）内に停止への遷移
がなかった時、には一時的に別位置復帰とする。更に所
定時間（ｍ）待ち、前回の停止位置に戻らなかった時
は、定常位置変更（体の向き等を変えた）と見なし、停
止位置情報を変更する。該ｍ間変動してなければその時
の頭部位置を新規停止位置情報とする。変動していれば
ｍ間の静止を検出後同様に停止位置情報を更新する。顔
が横、上下を向いた状態は短い期間なのでその状態が停
止位置と登録されることはない。又、上記所定値、ｎ、
ｋ、ｌ、ｍはパラメータとして設定され、操作者、使用
形態にあわせ変更できる。ｋ、ｌ、ｍはフレーム周期の
数倍を単位とした整数である。

【００３１】この様に、本実施例では、操作者１０の頭
部の意図した動きで、且つ復帰動作によるものでない時
にのみ、カーソルの移動を指示するので、ディスプレイ
の真正面を向いてスイッチ操作出来、又カーソルの移動
量が大きい時は数回に分けて首を軽く振ればいいので楽
に操作が出来る。

【００３２】次に、本発明の第２の実施形態について説
明する。図８において、ヘッドマウントディスプレイ２
０（以下ＨＭＤと称す）が操作者１０の頭部に装着され
ており、ＰＣ本体部３の画像出力は、ＨＭＤ２０で表示
される。図９はＨＭＤ２０の構造を示した図である。フ
レーム２２の前面の左右の目の前の位置に表示部２３が
各々配置されている。センサ部１はフレーム２２の中央
部に固定されている。表示部はカラー、モノクロいずれ
でも構わない。デバイスは見栄えの点でＴＦＴ（ｔｈｉ
ｎｆｉｌｍｔｒａｓｉｓｔｏｒ）が好ましいが、Ｔ
Ｎ（ｔｗｉｓｔｅｄｎｅｍａｔｉｃ）、ＳＴＮ（ｓｃ
ａｎｔｗｉｓｔｅｄｎｅｍａｔｉｃ）、ＥＬ（ｅ
ｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔｐａｎｅｌ）
等特に限定しない。センサ１の固定位置はフレーム２２
に固定されればどの位置でもよい。

【００３３】ＨＭＤ２０の表示は操作者１０にとっては
仮想スクリーン２１が例えば２ｍ先に見える。操作者１
０は第１の実施例と同様、頭部を動かすことにより、仮
想スクリーン２１上のマウスカーソルを動かし操作を行
う。

【００３４】この実施形態は、ディスプレイの設置場所
が不要になるという新たな効果を有する。

【００３５】次に、本発明の第３の実施形態について説
明する。図１０を参照すると、指示部３０は足で操作可
能な様設置されている。操作者１０は第１の実施形態と
同様頭部の動きによって画面を制御する。

【００３６】操作者１０は頭部によるマウスカーソル１
２の操作と指示部３０上のフットボタンＬ３１またはフ
ットボタンＲ３２の操作によって、パーソナルコンピュ
ータ（図示せず）に指示を与えることができる。

【００３７】図１１に足で操作可能な指示部３０を含む
装置の一例を示す。この装置はボタントップ１１−１、
押下部１１−２、スプリング１１−３、接点部１１−
４、弾性体１１−５、キーフィルタ１１−６より構成さ
れている。弾性体１１−４は、押下部１１−２により押
し広げられ、復元力のある金属片の対である。押下部１
１−２と接する上側がＲをもって折り返されている。こ
れにより押下時のクリック感を持たせている。キーフィ
ルタ１１−６は足操作時のチャタリングを吸収するため
の回路である。この装置はフットボタンＬ３１、フット
ボタンＲ３２を持っているが、センサ部の動作／非動作
を切り換えるフットボタン３３を設けても良い。

【００３８】図１０では外置きのディスプレイの例を示
したが、第２の実施形態に示したようなＨＭＤ型のディ
スプレイを用いることもできる。その場合、手元の作業
が行えるよう、ＨＭＤ内の表示部は片目のみの形態もし
くは外界の見える透過型のディスプレイデバイスの使用
が望ましい。

【００３９】この実施形態は、両手がパーソナルコンピ
ュータのポインティング操作から解放されるため、両手
で他の作業を行いながらコンピュータ操作を行うことが
できるという新たな効果を有する。

【００４０】次に、本発明の第４の実施形態について説
明する。図１２を参照すると、本実施形態のコンピュー
タシステムは、ヘッドセット４０とＰＣ筐体４６からな
る。ＰＣ筐体４６には、ＰＣ本体部３が納められてい
る。ＰＣ筐体４６は操作者１０の胴体に装備されてい
る。

【００４１】図１２を参照してヘッドセット４０の構成
を説明する。ヘッドバンド４１は操作者１０の頭部に装
着し固定するためのものである。アーム４５はヘッドバ
ンド４１につながり表示部４２およびセンサ部１を支え
ている。表示用映像データを受け、センサ１による移動
データを送るためのケーブル４４がヘッドセット４０と
筐体４６（図示せず）との間につながれている。ケーブ
ル４４は途中で分岐し、イヤホンマイク４３と接続して
いる。イヤホンマイクとしては、発声時に外耳道に伝わ
ってくる骨伝導音声振動を拾う方式のものが好適であ
る。これによりヘッドセットをシンプルに出来る。

【００４２】図１３は、本実施形態におけるパーソナル
コンピュータシステムの構成を説明するブロック図であ
る。センサ部１は画像の動きから上下および左右の方角
の変化量を出力し制御部２に入力する。センサ部１から
の出力信号は、Δｘ、Δｙの２方向の情報を出力する。
イヤホンマイク４３からの音声出力は音声認識部４７に
入力される。音声認識部４７は操作者の発音する所定の
単語を検出し、検出した単語に応じ、右スイッチ信号と
左スイッチ信号を制御部２に出力する。制御部２は、セ
ンサ部１により得られたセンサの移動量情報と音声認識
部４７により得られた所定の指示情報をポインティング
情報としてまとめ、第１の実施形態と同様ＰＣ本体部３
に所定のプロトコルで送る。ＰＣ本体部３は得られたポ
インティング情報に基づき処理を行う。表示部４２はＰ
Ｃ本体部３に接続され、これが出力する画像情報を表示
する。又、音声認識部４７は図１４に例示する様に、音
声信号を増幅後、音声のみを通過させるフィルタ回路７
０、Ａ／Ｄ変換しサンプルホールドする回路７１、メモ
リ７２、処理部７３より構成されている。

【００４３】次に動作の説明を行う。図１３を参照し頭
部の移動量については、第１の実施形態と同様センサ部
１からΔｘ、Δｙ信号が出力される。音声認識部４７
は、予め設定された単語と合致する単語が発音されたか
どうかの検出を行う。例えば、「左ボタン」、「右ボタ
ン」、「ダブルクリック」という単語を登録しておき、
「左ボタン」の音声を認識したら左ボタン信号をオン、
「右ボタン」の音声を認識したら右ボタン信号をオン、
「ダブルクリック」の音声を認識したら左ボタン信号を
２回オンする。図１５を参照し音声認識処理例を示す。
メモリ７２上のテンプレート７２−１には、上記操作指
示単語で使用する各音節（ひ、だ、り、・・く）と母音
の周波数スペクトル上の特徴が登録されている。登録は
操作者の音節を予め登録する。又次音節テーブル７２−
２には認識済み音節シーケンスに対応して次音節の候補
が頻度順で設定されている。単語テーブル７２−３は上
記操作単語が文字コードで設定されている。操作単語の
音声が入力されると１０数ＫＨｚのレートで１６ビット
程度のディジタル値に変換されメモリ７２に書き込まれ
る。音節単位でスペクトル分析し、その特徴でテンプレ
ートを検索し最初の音節を推定する。次音節からは次音
節テーブル７２−２も参照し認識する（Ｓ１）。次ステ
ップでは、推定認識した音節シーケンで単語テーブル７
２−３を引き一致度の高い単語を特定する（Ｓ２）。最
後にタイマ乃至クロック信号を使いながら、処理部７３
の内部レジスタの所定２ビットをオン／オフしそれをス
イッチ信号とし制御部２に送出する（Ｓ３）。

【００４４】この様にし、第１実施形態の指示部５の操
作と同等の操作を行うことができる。以下第１の実施形
態と同様、操作者１０は頭部の動作に応じてマウスカー
ソルを制御し、音声によるボタン代替操作と合わせてポ
インティング操作を行うことが可能となる。

【００４５】本実施形態では、マイクとしてイヤホンマ
イクを例示したが、イヤホンと分離したマイクでも構わ
ない。マイクのみ口の前に設置する方法も考えられる。
また、ＰＣ筐体４６の設置場所は胴体に限らず、身につ
けられる場所ならどこでもよい。

【００４６】この実施形態は、両手で別の作業を行いな
がら、かつ、コンピュータを随時移動して操作できると
いう新たな効果を有する。その理由は、固定した場所に
設置が必要なポインティング装置を有しないためであ
る。

【００４７】次に、本発明の第５の実施形態について説
明する。図１６を参照すると、本実施形態のコンピュー
タシステムは、ヘッドセット４９とＰＣ筐体４６からな
る。ＰＣ筐体４６には、ＰＣ本体部１４が納められてい
る。ＰＣ筐体４６は操作者１０の胴体に装備されてい
る。又本実施形態では、ＰＣ本体部１４は音声認識部５
２とマイク入力を搭載している。又、ヘッドセット４９
は音声認識部４７を持たない点がヘッドセット４０と異
なるが他は同様で、イヤホンマイク４３の音声信号は上
記ＰＣ本体部１４のマイク入力に接続される。

【００４８】制御部２は、センサ部１により得られたセ
ンサの移動量情報をＰＣ本体部１４のマウスインタフェ
ース（マウスＩ／Ｆ）を介し、マウス入力処理部５１に
通知する。マウス入力処理部５１はこの情報を、マウス
カーソル移動信号に変換し、表示制御部５０に通知す
る。又イヤホンマイク４３からの音声はマイク入力を介
し、音声認識部５２に入力される。音声認識部５２は音
声が操作単語と認識された場合、右ボタンクリック、左
ボタンクリック、右ボタンダブルクリックに対応するコ
ードをＯＳ／ＡＰ５４に通知する。ＯＳ／ＡＰ５４はこ
の通知を受けると表示制御部５０よりカーソル座標位置
を得、該座標位置に表示しているアイテムないしアイコ
ンが選択、実行、キャンセル指示されたことを知る。

【００４９】この実施形態は、前記と同様な効果を有す
るとともに、ＰＣ本体部が元々音声認識部を備えている
のであればこれを有効利用することが出来る。

【００５０】上記第１から５の実施形態では、コンピュ
ータ回路例として、ＰＣ本体部を用いているが、パーソ
ナルコンピュータの本体回路と限定する必要はなく、携
帯情報端末等であってもよい。

【００５１】本発明の第１のポインティング装置或いは
ヘッドセットのコンピュータ回路側の接続口は従来のマ
ウスＩ／Ｆに限定されるものでなく、ＵＳＢ（ｕｎｉｖ
ｅｒｓａｌｓｅｒｉａｌｂｕｓ）インタフェース、
ＲＳ２３２Ｃシリアルインタフェース、赤外線通信イン
タフェース、無線インタフェース等を用いても良い。

【００５２】センサ部１の信号処理部９は入力画像を、
前フレーム画像の複数の代表点ブロックについて次フレ
ーム画像での対応ブロックとの差分処理結果で移動先を
決める方法を示したが、入力画像を２値画像に変換し、
フレーム間で２値画像を比較し変位を決める方法であっ
ても良い。又、入力画像にエッジ強調処理を行い、エッ
ジライン上の特異点（交点、折れ点、端点、最高輝度
点）を代表点とし、その特異点の決め方、種類も記憶
し、次フレーム画像についても同様に処理し代表点の変
位を求める方法であってもよい。

【００５３】第１の実施形態のコンピュータシステムの
他の実施例では、ＰＣ本体部３のマウス入力処理部がポ
インティング装置１３から受けた移動量信号を、分析し
その信号が、操作者１０の頭部の意図した動きにより、
且つ復帰動作によるものでないことを識別する方法を示
したが、同様の処理をセンサ部１の信号処理部９のマイ
コンで行うことも容易に考えられる。

【００５４】第４の実施形態の音声による操作単語の例
は、「左ボタン」、「右ボタン」、「ダブルクリック」
としたが「上スクロール」、「右スクロール」等を追加
しても良い。

【００５５】

【発明の効果】以上説明したように、本発明の第１のポ
インティング装置及び第１〜３、５〜８のコンピュータ
システムは、センサ部１は頭部の動きに合わせて動作す
るためポインティング装置を机上に置く必要がなく、又
指示部５自体も指で操作できればよいので台に置かず手
に持って操作できる為、安定に設置された作業台や動作
スペースが不要になるという効果がある。

【００５６】本発明のポインティング装置及び第１〜３
のコンピュータシステムは、頭部の動きにより画面上の
カーソルを移動できる為、コンピュータの手操作を低減
する効果があり、本発明の第４〜８のコンピュータシス
テムは、頭部の動きにより画面上のカーソルを移動で
き、足の操作或いは音声による指示でコンピュータに操
作指示が出来るので、両手で他の作業を行いながらコン
ピュータ操作を行うことができるという効果を有する。

【００５７】更に本発明の第６〜８のコンピュータシス
テムは、ディスプレイ及びポインティングデバイスを纏
めて頭部に装着するヘッドセットとし、コンピュータ本
体を操作者の体、衣服等に装着できるので、コンピュー
タシステムと共に随時移動して操作できるという効果も
有する。

【００５８】本発明の第２〜８のコンピュータシステム
でコンピュータ本体部のマウス入力処理部として前記ポ
インティング装置１３から受けた移動量信号を、分析し
その信号が、操作者１０の頭部の意図した動きにより、
且つ復帰動作によるものでないことを識別する手段をも
つドライバを追加しておくことにより、画面上のカーソ
ルを端から端に移動させる場合、微少移動させる場合と
もに頭部によるカーソル移動操作を楽に行うことができ
る効果がある。

【００５９】本発明のポインティング装置には、従来の
ＰＣのマウスインタフェースに接続可能で、少なくとも
従来のＰＣ本体ハードウェアで利用できる装置を含む。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す概観図であ
る。

【図２】本発明の第１の実施の形態を示すブロック図で
ある。

【図３】図２のセンサ部１の詳細を説明するブロック図
である。

【図４】図３の信号処理部９の詳細を説明するブロック
図である。

【図５】本発明のポインティング装置からＰＣ本体部へ
の送出データの形式例を説明する図である。

【図６】本発明の第１実施形態の他の実施例のコンピュ
ータシステムのマウス入力処理部が行う、操作者の頭部
の動きについての状態遷移図である。

【図７】図６の各状態への遷移条件、各状態のマウス入
力処理部動作を示す図である。

【図８】本発明の第２の実施の形態を示す概観図であ
る。

【図９】図８のＨＭＤ２０の詳細を説明する概観図であ
る。

【図１０】本発明の第３の実施の形態を示す概観図であ
る。

【図１１】図１０のフットボタン装置の詳細を示す構造
図である。

【図１２】本発明の第４の実施の形態を示す概観図であ
る。

【図１３】本発明の第４の実施の形態を示すブロック図
である。

【図１４】図１３の音声認識部４７の詳細を説明するブ
ロック図である。

【図１５】図１４の処理部７３の処理を説明するブロッ
ク図である。

【図１６】本発明の第５の実施の形態を示すブロック図
である。

【符号の説明】

１センサ部２制御部３、１４ＰＣ本体部４ディスプレイ５、３０指示部６スイッチＬ７スイッチＲ８イメージセンサ９信号処理部１０操作者１１画面１２マウスカーソル１３ポインティング装置２０ＨＭＤ２２フレーム２３、４２表示部３１フットボタンＬ３２フットボタンＲ３３センサボタン４０、４９ヘッドセット４１ヘッドバンド４３イヤホンマイク４４ケーブル４５アーム４６ＰＣ筐体４７、５２音声認識部５０表示制御部５１マウス入力処理部５３サウンド５４ＯＳ／ＡＰ６０マウスインタフェース

フロントページの続き (56)参考文献特開平３−176718（ＪＰ，Ａ) 特開平９−258887（ＪＰ，Ａ) 特開昭61−199178（ＪＰ，Ａ) 特開平５−108252（ＪＰ，Ａ) 特開平５−122590（ＪＰ，Ａ) 特開平５−250089（ＪＰ，Ａ) 特開平７−141098（ＪＰ，Ａ) 特開平７−302158（ＪＰ，Ａ) 特開平８−14911（ＪＰ，Ａ) 特開平９−179062（ＪＰ，Ａ) 特開平10−20997（ＪＰ，Ａ) 特開平10−91324（ＪＰ，Ａ) 特開平10−161801（ＪＰ，Ａ) 特開2000−29619（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 - 3/037 G06F 3/03 G06F 3/00

Claims

(57)【特許請求の範囲】

【請求項１】操作者の頭部に装着され、対向面の画像
が入力され画像イメージを出力するイメージセンサ、イ
メージセンサからの画像をディジタル化し所定の周期で
取り込み、取り込んだ画像データの代表ブロックについ
て左右、上下方向の時間的変位量を求め、操作者頭部の
動きの方角と移動量検出を行う信号処理部とを有すセン
サ部と、操作ボタンと、前記検出信号をポインティング
デバイス移動量信号に変換し、操作ボタン信号とともに
コンピュータ回路に送出する制御部とを備えたことを特
徴とするポインティング装置。
【請求項２】コンピュータ回路と、それに接続され
た、請求項１に記載のポインティング装置と、ディスプ
レイとを含むコンピュータシステムであって、操作者の
頭部の動きにより前記デイスプレイ上のカーソルの移動
を指示することを特徴とするコンピュータシステム。
【請求項３】前記コンピュータ回路に、前記ポインテ
ィング装置からの移動量信号が、前記操作者の頭部の意
図した動きにより、且つ復帰動作によるものでないこと
を識別する手段を設け、該識別される移動量信号に呼応
し、前記デイスプレイ上のカーソルの移動を指示するこ
とを特徴とする請求項２記載のコンピュータシステム。
【請求項４】前記ディスプレイを操作者の頭部に装着
されるヘッドマウントディスプレイとし、前記センサ部
を前記ヘッドマウントディスプレイに取り付けて併設
し、操作者の頭部の動きにより前記ヘッドマウントデイ
スプレイ上のカーソルの移動を指示することを特徴とす
る請求項２又は３記載のコンピュータシステム。
【請求項５】前記ポインティング装置の前記操作ボタ
ンを、足で操作可能なフットボタンとしたことを特徴と
する請求項２、３又は４記載のコンピュータシステム。
【請求項６】前記ポインティング装置の前記操作ボタ
ンに替わり、マイクと、マイクの操作音声信号を認識し
複数の操作単語音声の特徴と比較し前記操作ボタン信号
に変換し前記制御部に渡す音声認識部とを設け、操作者
の頭部の動きにより前記ヘッドマウントデイスプレイ上
のカーソルの移動を指示し、音声により操作指示をする
ことを特徴とする請求項４記載のコンピュータシステ
ム。
【請求項７】前記センサ部と、前記制御部と、前記マ
イクと、前記音声認識部と、イヤホンと、前記ヘッドマ
ウントディスプレイと、少なくとも前記センサ部と前記
ヘッドマウントディスプレイが所定位置に取り付けられ
操作者の頭部に装着されるヘッドバンドを有すヘッドセ
ットと、操作者の体に装着可能なコンピュータ回路とを
含むことを特徴とする請求項６記載のコンピュータシス
テム。
【請求項８】前記センサ部と、マイクと、イヤホン
と、前記ヘッドマウントディスプレイと、少なくとも前
記センサ部と前記ヘッドマウントディスプレイが所定位
置に取り付けられ操作者の頭部に装着されるヘッドバン
ドを有すヘッドセットと、前記マイクに入力される操作
単語音声を認識し操作指示情報を他のプログラムに通知
する手段を持ち、操作者の体に装着可能なコンピュータ
回路とを含むことを特徴とする請求項７記載のコンピュ
ータシステム。
【請求項９】前記ヘッドセットの前記マイクとイヤホ
ンに替わり、骨伝導方式イヤホンマイクを有すことを特
徴とする請求項７又は８記載のコンピュータシステム。
【請求項１０】前記制御部は前記ポインティング装置
の移動量信号、操作状態信号をマウスの移動量信号、操
作状態信号と同様形式の信号としコンピュータ回路のマ
ウス入力に送出することを特徴とする請求項１記載のポ
インティング装置。