JP4686708B2 - ポインティングシステム及びポインティング方法 - Google Patents

Description

本発明は、例えばディスプレイに表示されたポインタの位置を移動させると共に、種々の操作を行うために用いられるポインティングシステム及びポインティング方法に関するものである。

近年、コンピュータを衣服のように身に付けて使用するウェアラブルコンピューティングが注目されている。このウェアラブルコンピューティングでは、歩きながら利用されたり、作業をしながら利用されるという利用形態が多い。

ウェアラブルコンピューティングの一例としては、頭部装着型の表示装置と、それに接続されたＰＣカードとを有する頭部装着型表示システムがある（例えば、特許文献１参照）。このシステムでは、ＰＣカードが携帯用コンピュータのＰＣカードスロットに装填されることによって、表示装置と携帯用コンピュータとが接続される。そして、この表示装置には、携帯用コンピュータから伝送された画像信号に基づく画像が表示される。

ここで、表示装置の表示画面にアイコン等のＧＵＩが表示される場合には、ポインタを利用して種々の操作が必要になるので、ポインティングシステムが不可欠である。ポインティングシステムとしては、片手で操作可能なマウスが用いらたものが一般的であるが、手を利用して操作を行うことが困難な場合には、頭部の動きや視線の変化が検出されることによってポインティングが行われることがある（例えば、特許文献２、３参照）。
特開２００１−１６６２５３号公報 特開２００１−６７１７９号公報 特開２０００−８９９０５号公報

上述した頭部の動きや視線によるポインティングシステムでは、ポインタの位置が頭部の動きや視線の変化に基づいて常に変更されると共に、別に設けられたスイッチが押下されることによって決定操作が行われる。そのため、操作者が無意識のうちに頭部を動かしたり視線を変化させた場合でも、それに伴って、ポインタの位置が変更されてしまう。また、ポインタの位置が操作者が実行しようとする操作に対応したアイコン上に変更される前に、例えば物がスイッチ上に落下することによってスイッチが誤って押下された場合には、操作者の意図とは異なる操作が行われてしまう。

そこで、本発明の主な目的は、誤操作が発生する可能性が少ないポインティングシステム及びポインティング方法を提供することである。

課題を解決するための手段および発明の効果

本発明のポインティングシステムは、ディスプレイと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードとを記憶する第１の記憶手段と、前記第１の記憶手段に記憶された２つのモードのうちのいずれか１つのモードを記憶する第２の記憶手段と、操作者の目を撮影可能な撮影機構と、前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知手段と、前記第１の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較手段と、操作者の体の一部の動きを検出可能な検出手段と、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第２モードから前記第１モードに切り換えると共に、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第１モードから前記第２モードに切り換える切り換え手段と、前記第２の記憶手段に記憶されたモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えるものである。

本発明のポインティング方法は、操作者の目を撮影する撮影ステップと、前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知ステップと、前記第１の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較ステップと、前記第１の比較ステップにより前記第１の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードに切り換える切り換えステップと、操作者の体の一部の動きを検出する検出ステップと、ポインティングシステムのモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えているものである。

この構成によると、操作者の視線が、所定視線状態と一致しない状態から一致する状態に変化した場合に、ポインティングシステムのモードが、ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換えられる。そのため、操作者は、視線を所定視線状態と一致する状態に変更することによってポインティングシステムのモードを第１モードに切り換えた後で、体の一部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのをより確実に抑制することが可能となる。

本発明のポインティングシステムにおいて、前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であってもよい。

この構成によると、操作者の視線がディスプレイに向かっている状態で、ポインタの移動及びポインタを用いた操作が可能となるので、これらの操作を容易に行うことができる。

本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部の動きを検出可能であってもよい。

この構成によると、ポインタの移動及びポインタを用いた操作が容易になる。

本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであってもよい。

この構成によると、操作者の頭部の動きが頭部に加えられる加速度によって検出されるので、操作者の頭部の動きを容易に検知することができる。

本発明のポインティングシステムにおいて、前記制御手段は、前記加速度センサにより検知された加速度に基づいて、前記ディスプレイに表示されたポインタの位置を変更してもよい。

この構成によると、ディスプレイに表示されたポインタの位置を変更する操作を容易に行うことができる。

本発明のポインティングシステムにおいて、前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第２の比較手段をさらに備えており、前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行ってもよい。

この構成によると、操作者の頭部に加えられる加速度の大きさに基づいて、ディスプレイに表示されたポインタの位置を変更する操作及びポインタを用いた操作の両方を行うことができる。

本発明のポインティングシステムにおいて、前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、その加速度の方向にしたがって互いに異なる操作を行ってもよい。

この構成によると、操作者の頭部に加えられる加速度の方向を変更することによって、種々のポインタを用いた操作を行うことができる。

本発明のポインティングシステムは、ディスプレイと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードとを記憶する第１の記憶手段と、前記第１の記憶手段に記憶された２つのモードのうちのいずれか１つのモードを記憶する第２の記憶手段と、操作者の目を撮影可能な撮影機構と、前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知手段と、前記第１の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較手段と、操作者の体の一部に加えられる加速度を検出可能な検出手段と、前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第２の比較手段と、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第２モードから前記第１モードに切り換えると共に、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記第２の記憶手段に記憶された１つのモードを、前記第１モードから前記第２モードに切り換える切り換え手段と、前記第２の記憶手段に記憶されたモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えるものである。
また、本発明のポインティング方法は、操作者の目を撮影する撮影ステップと、 前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知ステップと、前記第１の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較ステップと、操作者の体の一部の動きを検出する検出ステップと、前記検出ステップにより検知された加速度とあらかじめ設定された所定値とを比較する第２の比較ステップと、前記第１の比較ステップにより前記第１の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第２の比較ステップにより前記検出ステップで検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードに切り換える切り換えステップと、ポインティングシステムのモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えている
この構成によると、操作者の視線が、所定視線状態と一致しない状態から一致する状態に変化した場合に、ポインティングシステムのモードが、ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換えられる。そのため、操作者は、視線を所定視線状態と一致する状態に変更することによってポインティングシステムのモードを第１モードに切り換えた後で、体の一部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのをより確実に抑制することが可能となる。
本発明のポインティングシステムにおいて、前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であってもよい。
この構成によると、操作者の視線がディスプレイに向かっている状態で、ポインタの移動及びポインタを用いた操作が可能となるので、これらの操作を容易に行うことができる。
本発明のポインティングシステムにおいて、前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであってもよい。
この構成によると、操作者の頭部の動きが頭部に加えられる加速度によって検出されるので、操作者の頭部の動きを容易に検知することができる。
本発明のポインティングシステムにおいて、前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第１の比較手段により前記第１の検知手段により検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後に所定時間が経過する前に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行ってもよい。

この構成によると、操作者の頭部に加えられる加速度の大きさに基づいて、ディスプレイに表示されたポインタの位置を変更する操作及びポインタを用いた操作の両方を行うことができる。

本発明のポインティングシステムにおいて、前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、前記第１の検知手段により検知された操作者の視線の方向にしたがって互いに異なる操作を行ってもよい。

この構成によると、操作者の視線の方向を変更することによって、種々のポインタを用いた操作を行うことができる。

本発明のポインティングシステムにおいて、前記ディスプレイ、前記撮影機構及び前記加速度センサの全てを保持し且つこれらを操作者の頭部に装着する保持部材をさらに備えていてもよい。

この構成によると、ディスプレイ及び撮影機構は操作者の頭部の動きに伴って移動するので、ポインティングシステムの操作性がよくなる。

以下、本発明の第１の実施の形態について、図面を参照しつつ説明する。図１は、本発明の第１の実施の形態に係るヘッドマウントディスプレイを示す図である。図２は、図１のヘッドマウントディスプレイの構成を示すブロック図である。

図１に示すヘッドマウントディスプレイ１（以下、ＨＭＤと称する）は、小型の液晶パネルを内蔵したディスプレイ１１と、カメラ１２と、加速度センサ１３と、これらを保持し且つ頭部へ装着するための保持部１４と、コントローラ３０（図２参照）とを有している。

ディスプレイ１１は、例えば複数のアイコン等のＧＵＩを含む表示画面など種々の表示画面を表示可能である。また、この表示画面には、例えばクリック操作に用いられるポインタが表示される。カメラ１２は、操作者の目（ここでは左目）を撮影可能な位置に配置されており、操作者の目を撮影する。加速度センサ１３は、カメラ１２の先端部に取り付けられており、操作者の頭部が動かされた場合に、その動きに対応した（操作者の頭部に加えられた）加速度を検出する。

保持部１４は、略Ｕ型形状であり、その前側においてディスプレイ１１を保持すると共に、その横側から前方に向かって突出する支持部材１４ａの先端部においてカメラ１２を支持している。従って、保持部１４が操作者の頭部に装着されると、図１に示すように、ディスプレイ１１が左目の高さよりも少しだけ上方に配置されると共に、カメラ１２が左目に向かって配置される。

コントローラ３０は、ＨＭＤ１に係る各種動作の制御プログラムやデータなどが格納されたＲＯＭ、ＨＭＤ１の各部の動作を制御する信号を生成するために各種演算を実行するＣＰＵ、ＣＰＵでの演算結果などのデータを一時保管するＲＡＭなどの部材が含まれている。そして、コントローラ３０には、これら各種部材およびソフトウェアによって、モード記憶部３１と、実モード記憶部３２と、画像処理部３３と、視線検知部３４と、視線比較部３５と、パラメータ記憶部３６と、加速度検知部３７と、加速度比較部３８と、切り換え部３９と、制御部４０とが形成されている。

モード記憶部３１は、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作に関する２つのモードを記憶する。本実施の形態では、モード記憶部３１は、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作が可能な入力モードと、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作が不可能な待機モードとを記憶している。

実モード記憶部３２は、モード記憶部３１に記憶された入力モード及び待機モードのいずれか一方を記憶する。つまり、実モード記憶部３２は、操作者がポインタの移動及びポインタを用いた操作を行う場合には入力モードを記憶し、操作者がポインタの移動及びポインタを用いた操作を行わない場合には待機モードを記憶する。

画像処理部３３は、カメラ１２で撮影された画像データに対する種々の画像処理を行う。本実施の形態では、画像処理部３３は、カメラから送信された画像データに含まれる各画素の画素値を二値化する処理が行われる。

視線検知部３４は、画像処理部３３で画像処理が行われた後の画像データに基づいて、操作者の視線の方向を検知する。

視線比較部３５は、視線検知部３４で検知された操作者の視線と、操作者の視線がディスプレイ１１に向かっている視線状態とを比較する。ここで、視線比較部３５での視線検知部３４で検知された操作者の視線と操作者の視線がディスプレイ１１に向かっている視線状態との比較結果は、実モード記憶部３２に記憶されたモードを切り換えるタイミングが決定されるために利用される。

パラメータ記憶部３６は、ＨＭＤ１に係る各種動作に関する種々のパラメータを記憶する。本実施の形態では、パラメータ記憶部３６には、ポインタを用いた操作が行われたと判断するために用いられる加速度である閾値ａなどのパラメータが記憶されている。

加速度検知部３７は、加速度センサ１３により検出された検出結果に基づいて、操作者の頭部に加えられた加速度を検知する。本実施の形態では、加速度検知部３７は、操作者の頭部に加えられた加速度を、右方向、左方向、下方向及び上方向のそれぞれに方向毎に検知することができる。

加速度比較部３８は、加速度検知部３７で検知された加速度とパラメータ記憶部３６に記憶された閾値ａとを比較する。ここで、加速度比較部３８での加速度検知部３７で検知された加速度と閾値ａと比較結果は、ポインタを用いた操作が行われたことを判断するために利用される。

切り換え部３９は、実モード記憶部３２に記憶されたモードが待機モードである場合において、操作者がディスプレイ１１を注視していない状態からディスプレイ１１を注視している状態に変化した場合（視線検知部３４で検知された操作者の視線がディスプレイ１１に向かっていない状態からディスプレイ１１に向かっている状態に変化した場合）に、実モード記憶部３２に記憶されているモードを待機モードから入力モードに切り換える。また、切り換え部３９は、実モード記憶部３２に記憶されたモードが入力モードである場合において、視線検知部３４で検知された操作者の視線が表示画面の外に移動した場合（視線検知部３４で検知された操作者の視線がディスプレイ１１に向かっている状態からディスプレイ１１に向かっていない状態に変化した場合）に、実モード記憶部３２に記憶されているモードを入力モードから待機モードに切り換える。

制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作を行う。従って、制御部４０は、実モード記憶部３２に記憶されたモードが待機モードである場合には、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作を行うことはできない。

ここで、制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が比較的遅く動かされているとき、つまり、操作者の頭部に加えられる加速度がどの方向にも閾値ａより小さいときには、ポインタの移動に対応した操作を行う。

一方、制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が右方向に速く動かされた場合、つまり、操作者の頭部に加えられる右方向の加速度が閾値ａ以上である場合には、右クリックに対応した操作を行う。また、制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が左方向に速く動かされた場合、つまり、操作者の頭部に加えられる左方向の加速度が閾値ａ以上である場合には、左クリックに対応した操作を行う。

また、制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が下方向に速く動かされた場合、つまり、操作者の頭部に加えられる下方向の加速度が閾値ａ以上である場合には、ドラッグに対応した操作を行う。また、制御部４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が上方向に速く動かされた場合、つまり、操作者の頭部に加えられる上方向の加速度が閾値ａ以上である場合には、ドロップに対応した操作を行う。

次に、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順について、図３及び図４を参照して説明する。図３は、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。図４は、ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。

まず、実モード記憶部３２に記憶されたモードが待機モードに切り換えられる（ステップＳ１０１）。そして、操作者がディスプレイ１１を注視しているか否かの判断が繰り返される（ステップＳ１０２）。操作者が、図４（ａ）に示すように、ディスプレイ１１を注視していると判断された場合には（Ｓ１０２：ＹＥＳ）、実モード記憶部３２に記憶されたモードが待機モードから入力モードに切り換えられる（ステップＳ１０３）。

そして、実モード記憶部３２に記憶されたモードが入力モードである場合において、加速度検知部３７で検知された加速度、つまり、操作者の頭部の動きに基づいて、ディスプレイ１１の表示画面に表示されたポインタの位置が変更される（ステップＳ１０４）。ここで、ポインタの位置が変更されている間は、加速度検知部３７で検知された加速度の大きさは、どの方向に関しても閾値ａより小さい。

その後、加速度比較部３８では、加速度検知部３７で検知された右方向の加速度が閾値ａ以上であるか否かが判断される（ステップＳ１０５）。ここで、図４（ｂ）に示すように、操作者がディスプレイ１１を注視した状態を維持しつつ頭部を右方向に速く動かすことによって、加速度検知部３７で検知された右方向の加速度が閾値ａ以上であると判断された場合には（Ｓ１０５：ＹＥＳ）、制御部４０は右クリックに対応した操作を行う（ステップＳ１０６）。

一方、加速度検知部３７で検知された右方向の加速度が閾値ａより小さいと判断された場合には（Ｓ１０５：ＮＯ）、ステップＳ１０７に進む。そして、加速度比較部３８では、加速度検知部３７で検知された左方向の加速度が閾値ａ以上であるか否かが判断される（ステップＳ１０７）。ここで、図４（ｃ）に示すように、操作者がディスプレイ１１を注視した状態を維持しつつ頭部を左方向に速く動かすことによって、加速度検知部３７で検知された左方向の加速度が閾値ａ以上であると判断された場合には（Ｓ１０７：ＹＥＳ）、制御部４０は左クリックに対応した操作を行う（ステップＳ１０８）。

一方、加速度検知部３７で検知された左方向の加速度が閾値ａより小さいと判断された場合には（Ｓ１０７：ＮＯ）、ステップＳ１０９に進む。そして、加速度比較部３８では、加速度検知部３７で検知された下方向の加速度が閾値ａ以上であるか否かが判断される（ステップＳ１０９）。ここで、図４（ｄ）に示すように、操作者がディスプレイ１１を注視した状態を維持しつつ頭部を下方向に速く動かすことによって、加速度検知部３７で検知された下方向の加速度が閾値ａ以上であると判断された場合には（Ｓ１０９：ＹＥＳ）、制御部４０はドラッグに対応した操作を行う（ステップＳ１１０）。

その後、加速度比較部３８では、加速度検知部３７で検知された上方向の加速度が閾値ａ以上であるか否かが判断される（ステップＳ１１１）。ここで、図４（ｅ）に示すように、操作者がディスプレイ１１を注視した状態を維持しつつ頭部を上方向に速く動かすことによって、加速度検知部３７で検知された上方向の加速度が閾値ａ以上であると判断された場合には（Ｓ１１１：ＹＥＳ）、制御部４０はドロップに対応した操作を行う（ステップＳ１１２）。

また、上述のように、右クリック、左クリック、ドロップのいずれかに対応した操作が行われた場合（Ｓ１０６、Ｓ１０８、Ｓ１１０）及び加速度検知部３７で検知された下方向の加速度が閾値ａより小さいと判断された場合には（Ｓ１０９：ＮＯ）、その後、ステップＳ１１３に進む。

そして、視線検知部３４で検知された操作者の視線がディスプレイ１１の表示画面の外に移動したか否か（操作者がディスプレイ１１を注視しなくなったか否か）が判断される（ステップＳ１１３）。ここで、操作者の視線がディスプレイ１１の表示画面の外に移動していない（操作者がディスプレイ１１を注視している）と判断された場合には（Ｓ１１３：ＮＯ）、ステップＳ１０４に戻って、ポインタの位置の変更が継続される。一方、操作者の視線がディスプレイ１１の表示画面の外に移動した（操作者がディスプレイ１１を注視しなくなった）と判断された場合には（Ｓ１１３：ＹＥＳ）、ステップＳ１０１に戻って、実モード記憶部３２に記憶されたモードが入力モードから待機モードに切り換えられる。

以上説明したように、本実施の形態に係るＨＭＤ１では、操作者がディスプレイ１１を注視していない状態からディスプレイ１１を注視している状態に変化した場合に、実モード記憶部３２に記憶されたモードが待機モードから入力モードに切り換えられる。そのため、操作者は、視線を変更することによって、実モード記憶部３２に記憶されたモードを入力モードに切り換えた後で、操作者の頭部の動きに基づいて、ポインタの移動及びポインタを用いた操作を制御することができる。従って、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのを抑制することが可能となる。

また、操作者がディスプレイ１１を注視している状態で、頭部の動きに基づいて、ポインタの移動及びポインタを用いた操作の両方が可能となるので、これらの操作を容易に行うことができる。また、操作者の頭部に加えられる加速度の方向を変更することによって、種々のポインタを用いた操作を行うことができる。また、ディスプレイ１１、カメラ１２及び加速度センサ１３は、いずれも操作者の頭部に装着される保持部材１４に保持されているので、ディスプレイ１１及びカメラ１２は操作者の頭部の動きに伴って移動する。そのため、ＨＭＤ１の操作性がよくなる。

次に、本発明の第２の実施の形態について、図面を参照しつつ説明する。本発明の第２の実施の形態に係るＨＭＤ１０１が、第１の実施の形態のＨＭＤ１と大きく異なる点は、ＨＭＤ１では、カメラ１２で撮影された画像は、操作者がディスプレイ１１を注視しているか否かを判断する場合にだけ利用されているが、本実施の形態のＨＭＤ１０１では、カメラ１２で撮影された画像は、操作者がディスプレイ１１を注視しているか否かを判断する場合に利用される他、ポインタを用いた操作を行う場合にも利用される点である。

図５は、本発明の第２の実施の形態に係るヘッドマウントディスプレイの構成を示すブロック図である。コントローラ１３０には、モード記憶部３１と、実モード記憶部３２と、画像処理部３３と、視線検知部１３４と、視線比較部１３５と、パラメータ記憶部１３６と、加速度検知部１３７と、加速度比較部３８と、切り換え部１３９と、制御部１４０とが形成されている。これらの構成のうち第１の実施の形態と同様のものについては詳細な説明は省略する。

視線検知部１３４は、画像処理部３３で画像処理が行われた後の画像データに基づいて、操作者の視線の方向を検知する。また、視線検知部１３４は、操作者が目を見開いている（通常の状態より大きく開いている状態である）か否かを検知する。

視線比較部１３５は、視線検知部３４で検知された操作者の視線と、操作者の視線がディスプレイ１１に向かっている視線状態とを比較する。ここで、視線比較部１３５での視線検知部３４で検知された操作者の視線と操作者の視線がディスプレイ１１に向かっている視線状態と比較結果は、実モード記憶部３２に記憶されたモードを切り換えるタイミングが決定されるために利用される。

パラメータ記憶部１３６は、ＨＭＤ１０１に係る各種動作に関する種々のパラメータを記憶する。本実施の形態では、パラメータ記憶部１３６には、実モード記憶部３２に記憶されたモードを入力モードから待機モードに切り換えるタイミングが決定される際に用いられる所定時間Ｔ、ポインタを用いた操作が行われたことを判断するために用いられる加速度である閾値ａなどのパラメータが記憶されている。

加速度検知部１３７は、加速度センサ１３により検出された検出結果に基づいて、操作者の頭部に加えられた加速度を検知する。

切り換え部１３９は、実モード記憶部３２に記憶されたモードが待機モードである場合において、操作者がディスプレイ１１を注視していない状態からディスプレイ１１を注視している状態に変化した場合（視線検知部１３４で検知された操作者の視線がディスプレイ１１に向かっていない状態からディスプレイ１１に向かっている状態に変化した場合）に、実モード記憶部３２に記憶されているモードを待機モードから入力モードに切り換える。また、切り換え部１３９は、実モード記憶部３２に記憶されたモードが入力モードである場合において、視線検知部１３４で検知された操作者の視線が表示画面の外に移動し（視線検知部１３４で検知された操作者の視線がディスプレイ１１に向かっている状態からディスプレイ１１に向かっていない状態に変化し）、且つ、その後、所定時間Ｔが経過する前に、加速度検知部１３７で検知された加速度が閾値ａ以上にならない場合に、実モード記憶部３２に記憶されたモードを入力モードから待機モードに切り換える。

制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作を行う。従って、制御部３９は、実モード記憶部３２に記憶されたモードが待機モードである場合には、ディスプレイ１１の表示画面に表示されたポインタの移動及びポインタを用いた操作を行うことはできない。

ここで、制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者の頭部が比較的遅く動かされている場合、つまり、操作者の頭部に加えられる加速度がどの方向にも閾値ａより小さい場合には、ポインタの移動に対応した操作を行う。

一方、制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、視線検知部１３４で検知された操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Ｔが経過する前に、操作者の頭部が右方向に速く動かされた場合、つまり、操作者の頭部に加えられる右方向の加速度が閾値ａ以上である場合には、右クリックに対応した操作を行う。また、制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、視線検知部１３４で検知された操作者の視線が表示画面の外の左下に移動し、且つ、その後、所定時間Ｔが経過する前に、操作者の頭部が左方向に速く動かされた場合、つまり、操作者の頭部に加えられる左方向の加速度が閾値ａ以上である場合には、左クリックに対応した操作を行う。

このように、制御部１４０は、操作者の視線が表示画面の外に移動しただけでは、右クリック（左クリック）に対応した操作を行わないで、操作者の視線が表示画面の外の右下（左下）に移動し、且つ、その後、所定時間Ｔが経過する前に、操作者の頭部が右方向（左方向）に速く動かされた場合に、右クリック（左クリック）に対応した操作を行う。従って、操作者が右クリックまたは左クリックに対応した操作を行う意図を持たない状態で、操作者の視線が表示画面の外に移動した場合でも、右クリックまたは左クリックに対応した操作が誤って行われることはない。

また、制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、操作者が目を見開いた場合には、ドラッグに対応した操作を行う。また、制御部１４０は、実モード記憶部３２に記憶されたモードが入力モードである場合において、ドラッグに対応した操作が行われているときに、操作者が目を見開かなくなった場合には、ドロップに対応した操作を行う。

次に、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順について、図６及び図７を参照して説明する。図６は、ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。図７は、ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。

まず、実モード記憶部３２に記憶されたモードが待機モードに切り換えられる（ステップＳ２０１）。そして、操作者がディスプレイ１１を注視しているか否かの判断が繰り返される（ステップＳ２０２）。操作者が、図７（ａ）に示すように、ディスプレイ１１を注視していると判断された場合には（Ｓ２０２：ＹＥＳ）、実モード記憶部３２に記憶されたモードが待機モードから入力モードに切り換えられる（ステップＳ２０３）。

そして、実モード記憶部３２に記憶されたモードが入力モードである場合において、加速度検知部３７で検知された加速度、つまり、操作者の頭部の動きに基づいて、ディスプレイ１１の表示画面に表示されたポインタの位置が変更される（ステップＳ２０４）。ここで、ポインタの位置が変更されている間は、加速度検知部３７で検知された加速度の大きさは、どの方向に関しても閾値ａより小さい。

その後、操作者が目を見開いているか否かが判断される（ステップＳ２０５）。ここで、操作者が目を見開いていないと判断された場合には（Ｓ２０５：ＮＯ）、引き続き、視線検知部１３４で検知された操作者の視線がディスプレイ１１の表示画面の外に移動したか否か（操作者がディスプレイ１１を注視しなくなったか否か）が判断される（ステップＳ２０６）。

そして、操作者の視線がディスプレイ１１の表示画面の外に移動した（操作者がディスプレイ１１を注視しなくなった）と判断された場合には（Ｓ２０６：ＹＥＳ）、引き続き、操作者の視線が左下方向を向いているか否かが判断される（ステップＳ２０７）。ここで、図７（ｂ）に示すように、操作者の視線が左下方向を向いていると判断された場合には（Ｓ２０７：ＹＥＳ）、操作者の視線がディスプレイ１１の表示画面の外に移動した後で、所定時間Ｔが経過する前に、加速度検知部１３７で検知された加速度が閾値ａ以上になったか否かが判断される（ステップＳ２０８）。

ここで、図７（ｃ）に示すように、操作者がその視線が左下方向を向いている状態を維持しつつ頭部を左方向に速く動かすことによって、加速度検知部１３７で検知された加速度が閾値ａ以上であると判断された場合には（Ｓ２０８：ＹＥＳ）、制御部１４０は左クリックに対応した操作を行う（ステップＳ２０９）。一方、加速度検知部１３７で検知された加速度が閾値ａより小さいと判断された場合には（Ｓ２０８：ＮＯ）、ステップＳ２０１に戻って、実モード記憶部３２に記憶されたモードが入力モードから待機モードに切り換えられる。

また、ステップＳ２０６において、操作者の視線がディスプレイ１１の表示画面の外に移動していない（操作者がディスプレイ１１を注視している）と判断された場合には（Ｓ２０６：ＮＯ）、ステップＳ２０４に戻って、ポインタの位置の変更が継続される。

また、ステップＳ２０７において、操作者の視線が左下方向を向いていないと判断された場合には（Ｓ２０７：ＮＯ）、その後、引き続き、操作者の視線が右下方向を向いているか否かが判断される（ステップＳ２１０）。ここで、図７（ｄ）に示すように、操作者の視線が右下方向を向いていると判断された場合には（Ｓ２１０：ＹＥＳ）、操作者の視線がディスプレイ１１の表示画面の外に移動した後で、所定時間Ｔが経過する前に、加速度検知部１３７で検知された加速度が閾値ａ以上になったか否かが判断される（ステップＳ２１１）。

ここで、図７（ｅ）に示すように、操作者がその視線が右下方向を向いている状態を維持しつつ頭部を右方向に速く動かすことによって、加速度検知部１３７で検知された加速度が閾値ａ以上であると判断された場合には（Ｓ２１１：ＹＥＳ）、制御部１４０は右クリックに対応した操作を行う（ステップＳ２１２）。一方、加速度検知部１３７で検知された加速度が閾値ａより小さいと判断された場合には（Ｓ２１１：ＮＯ）、ステップＳ２０１に戻って、実モード記憶部３２に記憶されたモードが入力モードから待機モードに切り換えられる。

また、ステップＳ２１０において、操作者の視線が右下方向を向いていないと判断された場合には（Ｓ２１０：ＮＯ）、ステップＳ２０１に戻って、実モード記憶部３２に記憶されたモードが入力モードから待機モードに切り換えられる。

一方、ステップＳ２０５において、操作者が目を見開いていると判断された場合には（Ｓ２０５：ＹＥＳ）、制御部１４０はドラッグに対応した操作を行う（ステップＳ２１３）。そして、再度、操作者が目を見開いているか否かが判断される（ステップＳ２１４）。ここで、操作者が目を見開いていると判断された場合には（Ｓ２１４：ＹＥＳ）、ステップＳ２１３に戻って、ドラッグに対応した操作が継続される。一方、操作者が目を見開いていないと判断された場合には（Ｓ２１４：ＮＯ）、制御部１４０はドロップに対応した操作を行う（ステップＳ２１５）。

また、上述のように、左クリック、右クリック、ドロップのいずれかに対応した操作が行われた場合（Ｓ２０９、Ｓ２１２、Ｓ２１５）には、ステップＳ２０１に戻って、実モード記憶部３２に記憶されたモードが入力モードから待機モードに切り換えられる。

以上説明したように、本実施の形態に係るＨＭＤ１０１では、上述の第１の実施の形態と同様に、ポインタの移動及びポインタを用いた操作が可能となるのが、操作者が視線を意識的に変更した場合に限られるので、操作者が無意識のうちに行う動作によって誤操作が発生するのを抑制することが可能となる。また、操作者の視線の方向を変更することによって、種々のポインタを用いた操作を行うことができる。

以上、本発明の好適な一実施の形態について説明したが、本発明は上述の実施の形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な設計変更が可能なものである。例えば、上述の第１及び第２の実施の形態では、実モード記憶部３２に記憶されたモードが待機モードである場合において、操作者の視線がディスプレイ１１に向かっている視線状態と比較され、操作者がディスプレイ１１を注視していない状態からディスプレイ１１を注視している状態に変化した場合に、実モード記憶部３２に記憶されているモードが待機モードから入力モードに切り換えられるが、操作者の視線がディスプレイ１１に向かっている視線状態以外のその他の視線状態と比較され、操作者の視線がその他の視線状態と一致しない状態から一致する状態に変化した場合に、実モード記憶部３２に記憶されたモードが待機モードから入力モードに切り換えられてもよい。つまり、操作者の視線が所定視線状態（操作者の視線がディスプレイ１１に向かっている視線状態及びその他の視線状態を含む）と一致する状態から一致しない状態に変化した場合、または、操作者の視線が所定視線状態と一致しない状態から一致する状態に変化した場合に、実モード記憶部３２に記憶されたモードが待機モード及び入力モードの他方のモードに切り換えられてもよい。

また、上述の第１及び第２の実施の形態では、加速度センサ１３で検出された加速度によって操作者の頭部の動きが検知されることによって、ポインタの移動及びポインタを用いた操作が制御されているが、操作者の頭部とは異なる体の一部（例えば、手、口、目蓋など）の動きが検出されることによって、ポインタの移動及びポインタを用いた操作が制御されてもよい。また、操作者の頭部の動きを検出する検出手段としては、加速度センサの他に、例えばジャイロや地磁気センサを用いてもよいし、頭部の動きを検出可能なものであれば、どのようなものであってもよい。

また、上述の第２の実施の形態では、操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Ｔが経過する前に、操作者の頭部が右方向に速く動かされた場合に、右クリックに対応した操作が行われているが、操作者の視線が表示画面の外の右下に移動し、且つ、その後、所定時間Ｔが経過する前に、操作者の頭部が右方向以外の方向に速く動かされた場合に、右クリックに対応した操作が行われてもよい。なお、左クリックに対応した操作についても同様である。

本発明の第１の実施の形態に係るヘッドマウントディスプレイを示す図である。 図１のヘッドマウントディスプレイの構成を示すブロック図である。 ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。 ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。 本発明の第２の実施の形態に係るヘッドマウントディスプレイの構成を示すブロック図である。 ポインタの移動及びポインタを用いた操作が行われる場合の動作手順を示すフローチャートである。 ポインタの移動及びポインタを用いた操作が行われる場合の操作者の視線及び頭部の動きを示す図である。

１ ヘッドマウントディスプレイ（ポインティングシステム）
１１ ディスプレイ
１２ カメラ（撮影機構）
１３ 加速度センサ（検出手段）
１４ 保持部材
３１ モード記憶部（第１の記憶手段）
３２ 実モード記憶部（第２の記憶手段）
３３ 画像処理部
３４、１３４ 視線検知部（第１の検知手段）
３５、１３５ 視線比較部（第１の比較手段）
３６、１３６ パラメータ記憶部
３７、１３７ 加速度検知部
３８ 加速度比較部（第２の比較手段）
３９、１３９ 切り換え部（切り換え手段）
４０、１４０ 制御部（制御手段）

Claims (15)

1. ディスプレイと、
   前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードとを記憶する第１の記憶手段と、
   前記第１の記憶手段に記憶された２つのモードのうちのいずれか１つのモードを記憶する第２の記憶手段と、
   操作者の目を撮影可能な撮影機構と、
   前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知手段と、
   前記第１の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較手段と、
   操作者の体の一部の動きを検出可能な検出手段と、
   前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第２モードから前記第１モードに切り換えると共に、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第１モードから前記第２モードに切り換える切り換え手段と、
   前記第２の記憶手段に記憶されたモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。
2. 前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項１に記載のポインティングシステム。
3. 前記検出手段は、操作者の頭部の動きを検出可能である特徴とする請求項１または２に記載のポインティングシステム。
4. 前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項３に記載のポインティングシステム。
5. 前記制御手段は、前記加速度センサにより検知された加速度に基づいて、前記ディスプレイに表示されたポインタの位置を変更することを特徴とする請求項４に記載のポインティングシステム。
6. 前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第２の比較手段をさらに備えており、
   前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項４に記載のポインティングシステム。
7. 前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、その加速度の方向にしたがって互いに異なる操作を行うことを特徴とする請求項６に記載のポインティングシステム。
8. ディスプレイと、
   前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードと、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードとを記憶する第１の記憶手段と、
   前記第１の記憶手段に記憶された２つのモードのうちのいずれか１つのモードを記憶する第２の記憶手段と、
   操作者の目を撮影可能な撮影機構と、
   前記撮影機構により撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知手段と、
   前記第１の検知手段により検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較手段と、
   操作者の体の一部に加えられる加速度を検出可能な検出手段と、
   前記検出手段により検知された加速度とあらかじめ設定された所定値とを比較する第２の比較手段と、
   前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、前記第２の記憶手段に記憶された１つのモードを、前記第２モードから前記第１モードに切り換えると共に、前記第１の比較手段により前記第１の検知手段で検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記第２の記憶手段に記憶された１つのモードを、前記第１モードから前記第２モードに切り換える切り換え手段と、
   前記第２の記憶手段に記憶されたモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御手段とを備えることを特徴とするポインティングシステム。
9. 前記所定視線状態は、操作者の視線が前記ディスプレイに向かっている状態であることを特徴とする請求項８に記載のポインティングシステム。
10. 前記検出手段は、操作者の頭部に加えられる加速度を検出可能な加速度センサであることを特徴とする請求項８または９に記載のポインティングシステム。
11. 前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値より小さいという比較結果が得られた場合には、前記ディスプレイに表示されたポインタの位置を変更すると共に、
    前記第１の比較手段により前記第１の検知手段により検知された操作者の視線が前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、ポインタを用いた操作を行うことを特徴とする請求項８〜１０のいずれか１項に記載のポインティングシステム。
12. 前記制御手段は、前記第２の比較手段により前記検出手段で検知された加速度が前記所定値以上であるという比較結果が得られた場合には、前記第１の検知手段により検知された操作者の視線の方向にしたがって互いに異なる操作を行うことを特徴とする請求項１１に記載のポインティングシステム。
13. 前記ディスプレイ、前記撮影機構及び前記検出手段の全てを保持し且つこれらを操作者の頭部に装着する保持部材をさらに備えていることを特徴とする請求項１〜１０のいずれか１項に記載のポインティングシステム。
14. 操作者の目を撮影する撮影ステップと、
    前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知ステップと、
    前記第１の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較ステップと、
    前記第１の比較ステップにより前記第１の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られた場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードに切り換える切り換えステップと、
    操作者の体の一部の動きを検出する検出ステップと、
    ポインティングシステムのモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。
15. 操作者の目を撮影する撮影ステップと、
    前記撮影ステップにより撮影された画像に対応した画像データに基づいて、操作者の視線を検知する第１の検知ステップと、
    前記第１の検知ステップにより検知された操作者の視線とあらかじめ設定された所定視線状態とを比較する第１の比較ステップと、
    操作者の体の一部の動きを検出する検出ステップと、
    前記検出ステップにより検知された加速度とあらかじめ設定された所定値とを比較する第２の比較ステップと、
    前記第１の比較ステップにより前記第１の検知ステップで検知された操作者の視線が前記所定視線状態と一致しない状態から一致する状態に変化したという比較結果が得られた場合に、ポインティングシステムのモードを、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御可能な第１モードに切り換え、前記所定視線状態と一致する状態から一致しない状態に変化したという比較結果が得られ、且つ、その後、所定時間が経過する前に、前記第２の比較ステップにより前記検出ステップで検知された加速度が前記所定値以上であるという比較結果が得られない場合に、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作を制御できない第２モードに切り換える切り換えステップと、
    ポインティングシステムのモードが前記第１モードである場合において、前記検出手段により検出された操作者の体の一部の動きに基づいて、前記ディスプレイに表示されたポインタの移動及びポインタを用いた操作の少なくともいずれか一方を制御する制御ステップとを備えていることを特徴とするポインティング方法。
    

Images