JPH05298015A - 視線検出システムおよび情報処理システム - Google Patents

Abstract

(57)【要約】 【目的】 人の視線の方向を検出し、これに基づいてデ
ィスプレイ上のカーソルを移動させる。 【構成】 ディスプレイ１６１上に取り付けた２台の小
型カメラ１６４，１６５で取り込んだ操作者の顔面の映
像から、画像処理装置１６６によりいくつかの点を決定
する。視線方向算出装置１６７は、事前に決められてい
るディスプレイ上の基準点を見ている時のいくつかの点
を初期値として記憶する。また、画像処理装置１６６に
より決定された点と初期値として記憶している点から顔
面と眼球の方向を決定し、これらに基づいて視線の方向
を算出する。算出された視線方向は演算処理装置１６３
に与えられる。また、操作者までの距離が決定され、結
果が演算処理装置１６３に与えられる。演算処理装置１
６３は、操作者が事前に決められた距離よりも近くにい
る場合にかぎり、ディスプレイ１６１上にカーソルを出
力する。しかも、視線の方向に応じてカーソルを移動さ
せる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人の顔面の映像から視
線方向の検出を行う視線検出システムと、視線によりデ
ィスプレイ上に表示されたカーソルの位置制御を行い、
また音声によってコマンドの制御を行う情報処理システ
ムに関するものである。

【０００２】

【従来の技術】従来の視線検出システムでは、眼球に当
てた近赤外線光の反射をとらえ、その反射角度により算
出される眼球の方向により視線の方向を検出する方法が
取られていた。

【０００３】また、従来の情報処理システムにおけるカ
ーソルの位置制御方法では、一般にカーソルキーやマウ
スを用い人がカーソルキーを押したり、マウスを移動さ
せることにより制御を行うようになっていた。これまで
も視線を検出することによりカーソルの制御を行う情報
処理装置に関する発表は行われているが、視線の検出方
法は前記の眼球に当てた近赤外線の反射を利用したもの
であった。

【０００４】

【発明が解決しようとする課題】これまでの視線検出シ
ステムでは眼球に近赤外線を当て、その反射光を測定す
るための装置を頭部に装着する必要があり、その装置の
装着により動きの制限を受けていた。また、装置の装着
者の負担も大きかった。

【０００５】また、情報処理システムにおけるディスプ
レイ上のカーソル位置の制御方法は、位置を指示するた
めに必ずカーソルキーを押したり、マウスを移動させた
りする操作を行う必要があった。

【０００６】本発明はかかる点に鑑み、頭部に装置を装
着することなく視線の方向の検出を行うことが可能な視
線検出システムと、前記視線検出システムにより検出し
た視線の方向によりディスプレイ上のカーソルを制御す
ることが可能な情報処理システムを提供することを目的
とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明の視線検出システムは、人の前面に設置するカ
メラと、前記カメラがとらえた人の顔面の画像処理を行
う画像処理部と、前記画像処理部によって処理された画
像情報から視線の方向を検出する視線検出部とを備えた
ことを特徴とする。

【０００８】情報処理システムは、操作者の前面のディ
スプレイ上に設置するカメラと、前記カメラがとらえた
操作者の顔面の画像処理を行う画像処理部と、前記画像
処理部によって処理された画像情報から視線の方向を検
出する視線検出部とを備え、前記視線検出部によって検
出した視線の情報をもとにディスプレイ上のカーソルの
位置制御を行うことを特徴とする。

【０００９】

【作用】本発明はこの構成により、視線の検出を行う場
合に視線検出のための装置を人の頭部に装着する必要が
なくなる。

【００１０】また、人がカーソルキーやマウスのような
カーソルの位置制御装置を操作することなしにカーソル
位置の制御を行うことが可能となる。

【００１１】

【実施例】以下、本発明の実施例である視線検出システ
ムおよび情報処理システムについて図面を参照して説明
する。

【００１２】（実施例１）図１は、本発明の第１の実施
例の視線検出システムのブロック図である。画像処理手
段１２では、画像取り込み手段１１において取り込んだ
人の顔面の画像から顔面中のいくつかの点を決定する。
事前に決められている基準点を見ている時の顔面中のい
くつかの点を初期値として初期値記憶手段１３により記
憶する。画像処理手段１２により決定された点と初期値
記憶手段１３により記憶されている点から顔面方向決定
手段１４と眼球方向決定手段１５により顔面と眼球の方
向を決定し、最終的に視線方向算出手段１６により視線
の方向を算出し、結果を出力手段１７により出力する。

【００１３】図２は、本発明の第１の実施例の視線検出
システムのハードウェア構成図である。小型カメラ２１
は、画像処理装置２２を介して視線方向算出装置２３に
つながれ、最終的に出力装置２４につながれている。小
型カメラ２１は画像取り込み手段１１に、画像処理装置
２２は画像処理手段１２に、出力装置２４は出力手段１
７に各々対応する。視線方向算出装置２３は、初期値記
憶手段１３、顔面方向決定手段１４、眼球方向決定手段
１５および視線方向算出手段１６の各機能を備えたもの
である。

【００１４】図３は、画像処理手段１２の処理の流れを
示したフローチャートである。まず顔面全体の画像の２
値処理を実行して目と口を同定し（ステップ３１）、さ
らに左右の目尻および口元の点を決定する（ステップ３
２）。また、右目の画像より目尻と目頭の点および虹彩
の中心点を決定し（ステップ３３）、結果を顔面方向決
定手段１３および眼球方向決定手段１５に出力する。

【００１５】図４は、ステップ３２において決定された
右の目尻４１と左の目尻４２と口元４３、４４の点を表
している。図５は、ステップ３３において決定された右
目の目尻５１と目頭５２の点および虹彩の中心点５３を
表している。

【００１６】図６は、顔面方向決定手段１４の処理の流
れを示したフローチャートである。まず、現在の左右の
目尻と左右の口元を結ぶ線、そして右の目尻と口元と左
の目尻と口元を結ぶ線で４角形を決定する（ステップ６
１）。そして、初期値記憶手段１３により記憶されてい
る初期値によってつくられる４角形とステップ６１によ
り決定された４角形のそれぞれの辺の傾きから顔面の左
右への傾斜角を決定する（ステップ６２）。さらに、初
期値記憶手段１３により記憶されている初期値によって
つくられる４角形とステップ６１により決定された４角
形の右の目尻と口元を結ぶ線と左の目尻と口元を結ぶ線
の長さの変化から顔面の左右への回転角度を決定する
（ステップ６３）。また、初期値記憶手段１３により記
憶されている初期値によってつくられる４角形とステッ
プ６１により決定された４角形の左右の目尻を結ぶ線と
左右の口元を結ぶ線の長さの変化から顔面の上下への回
転角度を決定し（ステップ６４）、結果を視線方向算出
手段１６に出力する。

【００１７】図７は、眼球方向決定手段１５の処理の流
れを示したフローチャートである。まず、基準修正角度
として、初期値記憶手段１３により記憶されている虹彩
の中心点の、目尻と目頭を結んだ線の中心からの水平方
向および垂直方向の回転角度を求める（ステップ７
１）。そして、現在の右目の目尻と目頭の点および虹彩
の中心点を決定し、目尻と目頭を結んだ線の中心から水
平方向および垂直方向にずれている角度を求める（ステ
ップ７２）。ステップ７２により決定された垂直方向お
よび水平方向のずれ角をステップ７１により決定された
基準修正角度により修正し（ステップ７３）、結果を視
線方向算出手段２６に出力する。

【００１８】図８は、視線方向算出手段１６の処理の流
れを示したフローチャートである。顔面方向決定手段１
４により求められた顔面の角度と眼球方向決定手段１５
により求められた角度から視線方向を算出し（ステップ
８１）、結果を出力手段１７に出力する。

【００１９】なお、図２中の画像処理装置２２および視
線方向算出装置２３の機能を１つの中央処理装置により
実現してもよい。

【００２０】（実施例２）図９は、本発明の第２の実施
例の視線検出システムにおけるブロック図である。２つ
の画像処理手段９２，９４では、各々画像取り込み手段
９１，９３において取り込んだ人の顔面の画像から顔面
中のいくつかの点を決定する。各々事前に決められてい
る基準点を見ている時の顔面中のいくつかの点を初期値
として初期値記憶手段９５により記憶する。２つの画像
処理手段９２，９４により各々決定された点と初期値記
憶手段９３により記憶されている点から顔面方向決定手
段９６と眼球方向決定手段９７により顔面と眼球の方向
を決定し、最終的に視線方向算出手段９８により視線の
方向を算出し、結果を出力手段９１０により出力する。
また、２つの画像処理手段９２，９４の情報から距離決
定手段９９により人までの距離を決定し、その結果に基
づいて出力手段９１０を制御する。

【００２１】図１０は、本発明の第２の実施例の視線検
出システムのハードウェア構成図である。２台の小型カ
メラ１０１，１０２は、画像処理装置１０３を介して視
線方向算出装置１０４につながれ、最終的に出力装置１
０５につながれている。２台の小型カメラ１０１，１０
２は２つの画像取り込み手段９１，９３に、画像処理装
置１０３は２つの画像処理手段９２，９４に、出力装置
１０５は出力手段９１０に各々対応する。視線方向算出
装置１０４は、初期値記憶手段９５、顔面方向決定手段
９６、眼球方向決定手段９７、視線方向算出手段９８お
よび距離決定手段９９の各機能を備えたものである。

【００２２】図９中の２つの画像取り込み手段９１，９
３、２つの画像処理手段９２，９４、初期値記憶手段９
５、顔面方向決定手段９６、眼球方向決定手段９７、視
線方向算出手段９８は、本発明の第１の実施例の視線検
出システムと同様に働く。

【００２３】図１１は、距離決定手段９９の処理の流れ
を示したフローチャートである。まず、２台のカメラの
画像からそれぞれの画像のずれを算出する（ステップ１
１１）。それぞれの画像のずれから画像までの距離を算
出する（ステップ１１２）。また、算出された距離が事
前に決められた距離よりも近いかどうか判断する（ステ
ップ１１３）。近い場合は出力手段９１０による視線方
向の出力を許可し（ステップ１１４）、遠い場合はこれ
を禁止する（ステップ１１５）。

【００２４】なお、図１０中の画像処理装置１０３およ
び視線方向算出装置１０４の機能を１つの中央処理装置
により実現してもよい。

【００２５】（実施例３）図１２は、本発明の第３の実
施例の情報処理システムのブロック図である。画像処理
手段１２２では、画像取り込み手段１２１において取り
込んだ操作者の顔面の画像から顔面中のいくつかの点を
決定する。事前に決められているディスプレイ上の基準
点を見ている時の顔面中のいくつかの点を初期値として
初期値記憶手段１２３により記憶する。画像処理手段１
２２により決定された点と初期値記憶手段１２３により
記憶されている点から顔面方向決定手段１２４と眼球方
向決定手段１２５により顔面と眼球の方向を決定し、最
終的に視線方向算出手段１２６により視線の方向を算出
する。さらに算出した視線の情報を演算処理手段１２７
に入力し、出力手段１２８により出力する。

【００２６】図１３は、本発明の第３の実施例の情報処
理システムのハードウェア構成図である。ディスプレイ
１３１とキーボード１３２は、それぞれ演算処理装置１
３３につながっている。またディスプレイ１３１上に取
り付けた小型カメラ１３４は、画像処理装置１３５を介
して視線方向算出装置１３６につながれ、最終的に演算
処理装置１３３につながれている。小型カメラ１３４は
画像取り込み手段１２１に、画像処理装置１３５は画像
処理手段１２２に、ディスプレイ１３１は出力手段１２
８に、キーボード１３２および演算処理装置１３３は演
算処理手段１２７に各々対応する。視線方向算出装置１
３６は、初期値記憶手段１２３、顔面方向決定手段１２
４、眼球方向決定手段１２５および視線方向算出手段１
２６の各機能を備えたものである。

【００２７】図１２において画像取り込み手段１２１、
画像処理手段１２２、初期値記憶手段１２３、顔面方向
決定手段１２４、眼球方向決定手段１２５、視線方向算
出手段１２６は、本発明の第１の実施例の視線検出シス
テムと同様に働く。

【００２８】図１４は実際の操作時の様子を示してい
る。ディスプレイ１３１に表示されたグラッフィックユ
ーザインターフェース上でカーソル１４２は視線１４３
上の位置に表示されているが、操作者１４７が視線１４
３を他の視線１４４へ移動した場合には、それに伴いカ
ーソル１４２の位置も他のカーソル１４５の位置に移動
する。

【００２９】なお、図１３中の画像処理装置１３５、視
線方向算出装置１３６および演算処理装置１３３の機能
を１つの中央処理装置により実現してもよい。

【００３０】（実施例４）図１５は、本発明の第４の実
施例の情報処理システムのブロック図である。２つの画
像処理手段１５２，１５４では、各々画像取り込み手段
１５１，１５３において取り込んだ操作者の顔面の画像
から顔面中のいくつかの点を決定する。各々事前に決め
られているディスプレイ上の基準点を見ている時の顔面
中のいくつかの点を初期値として初期値記憶手段１５５
により記憶する。２つの画像処理手段１５２，１５４に
より各々決定された点と初期値記憶手段１５５により記
憶されている点から顔面方向決定手段１５６と眼球方向
決定手段１５７により顔面と眼球の方向を決定し、最終
的に視線方向算出手段１５８により視線の方向を算出す
る。さらに算出した視線の情報を演算処理手段１５１０
に入力し、出力手段１５１１により出力する。また、２
つの画像処理手段１５２，１５４の情報から距離決定手
段１５９により操作者までの距離を決定し、結果を演算
処理手段１５１０に出力する。

【００３１】図１６は、本発明の第４の実施例の情報処
理システムのハードウェア構成図である。ディスプレイ
１６１とキーボード１６２は、それぞれ演算処理装置１
６３につながっている。またディスプレイ１６１上に取
り付けた２台の小型カメラ１６４，１６５は、画像処理
装置１６６を介して視線方向算出装置１６７につなが
れ、最終的に演算処理装置１６３につながれている。２
台の小型カメラ１６４，１６５は２つの画像取り込み手
段１５１，１５３に、画像処理装置１６６は２つの画像
処理手段１５２，１５４に、ディスプレイ１６１は出力
手段１５１１に、キーボード１６２および演算処理装置
１６３は演算処理手段１５１０に各々対応する。視線方
向算出装置１６７は、初期値記憶手段１５５、顔面方向
決定手段１５６、眼球方向決定手段１５７、視線方向算
出手段１５８および距離決定手段１５９の各機能を備え
たものである。

【００３２】図１５において２つの画像取り込み手段１
５１，１５３、２つの画像処理手段１５２，１５４、初
期値記憶手段１５５、顔面方向決定手段１５６、眼球方
向決定手段１５７、視線方向算出手段１５８、距離決定
手段１５９は、本発明の第２の実施例の視線検出システ
ムと同様に働く。

【００３３】図１７は、演算処理手段１５１０（演算処
理装置１６３）の処理の流れを示したフローチャートで
ある。まず、距離決定手段１５９の情報を受け取り（ス
テップ１７１）、操作者が事前に決められた距離よりも
遠くにいるか、近くにいるかを判断する（ステップ１７
２）。事前に決められた距離よりも近い場合は視線方向
算出手段１５８からの情報を用いて出力手段１５１１す
なわちディスプレイ１６１上にカーソルを出力し（ステ
ップ１７３）、遠い場合はカーソルを出力しない（ステ
ップ１７４）。

【００３４】なお、図１６中の画像処理装置１６６、視
線方向算出装置１６７および演算処理装置１６３の機能
を１つの中央処理装置により実現してもよい。

【００３５】（実施例５）図１８は、本発明の第５の実
施例の情報処理システムのブロック図である。２つの画
像処理手段１８２，１８４では、各々画像取り込み手段
１８１，１８２において取り込んだ操作者の顔面の画像
から顔面中のいくつかの点を決定する。各々事前に決め
られているディスプレイ上の基準点を見ている時の顔面
中のいくつかの点を初期値として初期値記憶手段１８５
により記憶する。２つの画像処理手段１８２，１８４に
より各々決定された点と初期値記憶手段１８５により記
憶されている点から顔面方向決定手段１８６と眼球方向
決定手段１８７により顔面と眼球の方向を決定し、最終
的に視線方向算出手段１８８により視線の方向を算出す
る。さらに算出した視線の情報を演算処理手段１８１０
に入力し、出力手段１８１１により出力する。また、２
つの画像処理手段１８２，１８４の情報から距離決定手
段１８９により操作者までの距離を決定し、結果を演算
処理手段１８１０に出力する。また、音声取り込み手段
１８１２で取り込んだ音声を音声認識手段１８１３に出
力することにより操作者の声を認識した後、結果を演算
処理手段１８１０に出力する。

【００３６】図１９は、本発明の第５の実施例の情報処
理システムのハードウェア構成図である。ディスプレイ
１９１とキーボード１９２は、それぞれ演算処理装置１
９３につながっている。またディスプレイ１９１上に取
り付けた２台の小型カメラ１９４，１９５は画像処理装
置１９６を介して視線方向算出装置１９７につながれ、
最終的に演算処理装置１９３につながれている。小型マ
イク１９８は、音声認識装置１９９につながれ、最終的
に演算処理装置１９３につながれている。２台の小型カ
メラ１９４，１９５は２つの画像取り込み手段１８１，
１８３に、画像処理装置１９６は２つの画像処理手段１
８２，１８４に、ディスプレイ１９１は出力手段１８１
１に、キーボード１９２および演算処理装置１９３は演
算処理手段１８１０に、小型マイク１９８は音声取り込
み手段１８１２に、音声認識装置１９９は音声認識手段
１８１３に各々対応する。視線方向算出装置１９７は、
初期値記憶手段１８５、顔面方向決定手段１８６、眼球
方向決定手段１８７、視線方向算出手段１８８および距
離決定手段１８９の各機能を備えたものである。

【００３７】図１８において２つの画像取り込み手段１
８１，１８３、２つの画像処理手段１８２，１８４、初
期値記憶手段１８５、顔面方向決定手段１８６、眼球方
向決定手段１８７、視線方向算出手段１８８、距離決定
手段１８９は、本発明の第４の実施例の情報処理システ
ムと同様に働く。

【００３８】図２０は、演算処理手段１８１０（演算処
理装置１９３）の処理の流れを示したフローチャートで
ある。演算処理手段１８１０は、音声認識手段１８１３
から入力を受け取り（ステップ２０１）、受け取ったテ
キストがコマンドであるかどうか判断する（ステップ２
０２）。コマンドであると判断すればそのコマンドを実
行する（ステップ２０３）。

【００３９】なお、図１９中の画像処理装置１９６、視
線方向算出装置１９７、音声認識装置１９９および演算
処理装置１９３の機能を１つの中央処理装置により実現
してもよい。

【００４０】

【発明の効果】以上、説明したように本発明の視線検出
システムを用いることにより、これまでのように頭部に
装置を一切装着することなしに、簡単に視線の検出を行
うことができる。さらに、ある一定の距離内においての
み視線検出を行うことが可能となる。

【００４１】また、本発明の情報処理システムを用いる
ことによりカーソルの制御を視線を用いて行うことがで
きるため、これまでのようなカーソルキーやマウスの操
作をする必要がなくなり、操作をスムーズに行うことが
可能となる。さらに、操作者が情報処理システムから、
ある一定の距離だけ離れるとカーソルの制御を自動的に
停止させることが可能となり、誤動作を減少させること
が可能となる。また、音声認識により声で情報処理シス
テムにコマンドを送ることが可能となり、手を全く使え
ない状況においても操作が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の視線検出システムのブ
ロック図である。

【図２】本発明の第１の実施例の視線検出システムのハ
ードウェア構成図である。

【図３】図１中の画像処理手段の処理の流れを示したフ
ローチャートである。

【図４】図１中の画像処理手段により決定された顔面上
の諸点を示す図である。

【図５】図１中の画像処理手段により決定された右目の
諸点を示す図である。

【図６】図１中の顔面方向決定手段の処理の流れを示し
たフローチャートである。

【図７】図１中の眼球方向決定手段の処理の流れを示し
たフローチャートである。

【図８】図１中の視線方向算出手段の処理の流れを示し
たフローチャートである。

【図９】本発明の第２の実施例の視線検出システムのブ
ロック図である。

【図１０】本発明の第２の実施例の視線検出システムの
ハードウェア構成図である。

【図１１】図９中の距離決定手段の処理の流れを示した
フローチャートである。

【図１２】本発明の第３の実施例の情報処理システムの
ブロック図である。

【図１３】本発明の第３の実施例の情報処理システムの
ハードウェア構成図である。

【図１４】図１３の情報処理システムの操作時の様子を
示した図である。

【図１５】本発明の第４の実施例の情報処理システムの
ブロック図である。

【図１６】本発明の第４の実施例の情報処理システムの
ハードウェア構成図である。

【図１７】図１５中の演算処理手段の処理の流れを示し
たフローチャートである。

【図１８】本発明の第５の実施例の情報処理システムの
ブロック図である。

【図１９】本発明の第５の実施例の情報処理システムの
ハードウェア構成図である。

【図２０】図１８中の演算処理手段の処理の流れを示し
たフローチャートである。

【符号の説明】

１５１，１５３ 画像取り込み手段 １５２，１５４ 画像処理手段 １５５ 初期値記憶手段 １５６ 顔面方向決定手段 １５７ 眼球方向決定手段 １５８ 視線方向算出手段 １５９ 距離決定手段 １５１０ 演算処理手段 １５１１ 出力手段

Claims (8)

【特許請求の範囲】
1. 【請求項１】 人の前面に設置するカメラを備え、前記
   カメラから取り込んだ人の顔の画像処理を行う画像処理
   手段と、前記画像処理手段によって処理された画像情報
   から人の顔の角度と眼球の角度を決定し視線の方向を算
   出する視線方向算出手段とを有することを特徴とする視
   線検出システム。
2. 【請求項２】 操作者の前面にカメラと、表示装置とを
   備え、前記カメラが取り込んだ操作者の顔の画像処理を
   行う画像処理手段と、前記画像処理手段によって処理さ
   れた画像情報から顔の角度と眼球の角度を決定し視線の
   方向を算出する視線方向算出手段と、前記視線方向算出
   手段によって決定した視線の情報をもとに表示装置上の
   カーソルの位置制御を行う位置制御手段とを有すること
   を特徴とする情報処理システム。
3. 【請求項３】 人の映像を画像処理する第１の画像処理
   ステップと、同じ人の別の位置からの映像を画像処理す
   る第２の画像処理ステップと、前記第１と第２の画像処
   理ステップの各処理結果から顔の角度を算出するステッ
   プと、眼球の角度を算出するステップと、前記顔の角度
   と眼球の角度から視線方向を算出するステップと、前記
   第１と第２の画像処理ステップの各処理結果から人まで
   の距離を算出するステップとを有することを特徴とする
   視線・距離検出方法。
4. 【請求項４】 人の前面に設置する２台のカメラを備
   え、前記２台のカメラが取り込んだ人の顔の２つの映像
   の画像処理を行う画像処理手段と、前記画像処理手段に
   よって処理された画像情報からの人の顔の角度と眼球の
   角度を決定し視線の方向を算出する視線方向算出手段
   と、前記画像処理手段によって処理された画像情報から
   距離を決定する距離決定手段とを有し、一定の距離以内
   に人が存在するときのみ視線検出を行うことを特徴とす
   る視線検出システム。
5. 【請求項５】 操作者の前面に２台のカメラと、表示装
   置とを備え、前記２台のカメラが取り込んだ操作者の顔
   の２つの映像の画像処理を行う画像処理手段と、前記画
   像処理手段によって処理された画像情報から操作者の顔
   の角度と眼球の角度を決定し視線の方向を算出する視線
   方向算出手段と、前記２つの画像処理手段によって処理
   された２つの画像情報から距離を決定する距離決定手段
   と、一定の距離以内に人が存在するときのみ表示装置上
   のカーソルの位置制御を行う位置制御手段とを有するこ
   とを特徴とする情報処理システム。
6. 【請求項６】 操作者の前面にカメラと、表示装置と、
   マイクとを備え、前記カメラが取り込んだ操作者の顔の
   画像処理を行う画像処理手段と、前記画像処理手段によ
   って処理された画像情報から顔の角度と眼球の角度を決
   定し視線の方向を算出する視線方向算出手段と、前記マ
   イクからの音声を認識する音声認識手段と、前記視線方
   向算出手段の情報をもとにした表示装置上のカーソルの
   制御を行う位置制御手段と、前記音声認識手段の情報を
   もとにしたコマンドの実行を行うコマンド実行手段とを
   有することを特徴とする情報処理システム。
7. 【請求項７】 人の映像を画像処理する第１の画像処理
   ステップと、同じ人の別の位置からの映像を画像処理す
   る第２の画像処理ステップと、前記第１と第２の画像処
   理ステップの各処理結果から人までの距離を算出するス
   テップと、音声を認識する音声認識ステップと、前記距
   離算出ステップの情報から人がある一定距離内にいると
   きだけ前記音声認識ステップにより認識したテキストを
   コマンドとして発行するステップとを有することを特徴
   とするコマンド実行方法。
8. 【請求項８】 操作者の前面に２台のカメラと、表示装
   置と、マイクとを備え、前記２台のカメラが取り込んだ
   操作者の顔の２つの映像の画像処理を行う画像処理手段
   と、前記画像処理手段によって処理された２つの画像情
   報から顔の角度と眼球の角度を決定し視線の方向を算出
   する視線方向算出手段と、前記画像処理手段によって処
   理された２つの画像情報から距離を決定する距離決定手
   段と、前記マイクからの音声を認識する音声認識手段
   と、前記距離決定手段の情報から一定の距離以内に人が
   いるときのみ前記視線方向算出手段の情報をもとに表示
   装置上のカーソルの制御を行う位置制御手段と、前記距
   離決定手段の情報から一定の距離以内に人がいるときの
   み前記音声認識手段の情報をもとにコマンドの実行を行
   うコマンド実行手段とを有することを特徴とする情報処
   理システム。