JPH07191796A - 視線入力システム - Google Patents

Abstract

(57)【要約】 【目的】 視線入力手段を用いることでコンピュータの
操作性を飛躍的に向上した視線入力システムを提供する
こと、さらには視線入力検知モードのｏｎ／ｏｆｆを思
いのまま、あるいは簡便、的確に切り替えることが可能
で、操作性を向上した視線入力システムを提供するこ
と。 【構成】 このシステムは、コンピュータ操作者の視線
を検出し、その視線による入力手段を持たせたシステム
を用いて、ＯＣＲ処理の際の絵柄部分と文字部分の区分
けを特別に行うことなく、視線の動きをより自動的に判
別してスムーズなＯＣＲ処理を行えるようにしている。
又、ワードプロセッサなどの文字変換に視線を用いてス
ムーズに文書作成が行えるようにしている。視線検知モ
ードのｏｎ／ｏｆｆ切り替えの為に、該視線検知モード
のｏｎ／ｏｆｆ切り替え手段として、音声を用いる。ま
た、他の態様としポインティングデバイスを用いる。更
には、他の態様としてキーボードを用いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視線入力システムに関
し、さらに詳しくはコンピュータの入力や編集に視線入
力を用いたシステム、および視線検知を用いた撮像装
置、或いは情報処理装置等に関する。

【０００２】

【従来の技術】従来から人間工学や心理学の研究や医療
技術などの分野に於いて、またさらにはコンシューマー
機器のカメラにまで視線入力の技術が使われ注目を集め
ている。この視線入力技術とは、視線の動きを検知し
て、その注視点の座標を検出し、その座標情報を用いて
操作者の操作意志を伝達する意志入力手段をいう。

【０００３】視線検出の方法には従来から各種の提案が
なされてきたが、光電的・非接触に計測するものが最も
操作者への負担が少なく、一般機器での応用に適してい
る。本出願人は、ＩＲＥＤ（赤外発光ダイオード）で操
作者の眼球を赤外照射し、操作者の前眼部画像を結像受
光し、センサーの出力信号からＩＲＥＤの角膜反射像と
瞳孔円の位置を推定することにより、視線方向を検出す
る手法を発展させ実用化してきた。本出願人による公開
特許公報、平１−２４１５１１号、平１−２７４７３６
号、平２−２６４６３２号、平４−１３８４３２号等に
これらの技術の開示がなされている。この視線検出の方
法論を、本発明の理解に必要な程度に簡単に以下に説明
しておく。

【０００４】図１は視線検出部を有する一眼レフカメラ
の例である。１０４は撮影レンズ、１０２はクイックリ
ターン（ＱＲ）ミラー、１０３は表示素子、１０４はピ
ント板、１０５はコンデンサーレンズ、１−６はペンタ
ダハプリズム、１０７はサブミラー、１０８は多点焦点
検出装置である。

【０００５】多点焦点検出装置１０８は撮影画面を複数
の領域に分割し、その内の特定の領域を選択して焦点検
出を行なっている。複数個の測距領域から、撮影者の意
思に沿う１個の測距領域を正しく選択することは、視線
による機器制御の１つの重要な応用である。多点焦点検
出装置の構成は良く知られた技術であるからここでは省
略する。

【０００６】１０９はカメラの制御装置である。この制
御装置１０９はシャッターレリーズシーケンス制御、フ
ィルム給送制御等の撮影基本機能の制御を行うほか、フ
ァインダー内表示駆動装置、焦点検出演算機能、および
レンズ駆動機能等を有している。表示素子１０３は例え
ば偏光板を用いない２層タイプのゲストーホスト型液晶
素子で、ファインダー視野内の測距領域（焦点検出位
置）を表示するものである。例えば表示素子１０３上に
表示された複数個の測距域の内の１つを視線で選択制御
するものとか、カメラの動作モードが種々表示素子上に
表示されており、そこから使用したい動作モードを視線
で選択するものとかの視線制御方法が考えられる。

【０００７】視線検出部について説明する。１は接眼レ
ンズで、その内部には可視光透過・赤外光反射のダイク
ロイックミラー１ａが斜設されており、これは光路分割
器を兼ねている。４は受光レンズ、５（５ａ，５ｂ）は
照明手段であり、たとえば赤外発光ダイオードから成っ
ている。１６はイメージセンサーである。イメージセン
サー１６は光電変換素子列を２次元的に配置した構成か
ら成り、受光レンズ４および接眼レンズ１に関して所定
の位置にある眼の瞳孔近傍と共役になるように配置され
ている。９は視線演算処理装置で、視線検出演算、視線
補正演算、視線補正データ記憶等の機能の他に、イメー
ジセンサー１６および赤外発光ダイオード５ａ，５ｂの
制御機能を有している。ハード構成上は視線演算処理装
置９はカメラ制御装置１０９の一部であっても良い。上
記各要素１，４，５，９，１６により眼球の視線検出手
段を構成している。

【０００８】図２は図１の視線検出手段の要部斜視図で
ある。照明用の赤外発光ダイオード５ａ，５ｂはカメラ
と操作者の眼球との距離を検出するために２個１組で使
用され、各々操作者の眼球を発散照明している。図３は
視線検出方法の原理説明図、図４は図３のイメージセン
サー１６からの出力強度分布の説明図である。視線検出
の動作は以下の通りである。

【０００９】赤外発光ダイオード５ａ，５ｂから放射さ
れた赤外光は眼球の角膜２１を照明する。このとき角膜
２１の表面で反射した赤外光の一部による角膜反射像
ｅ，ｄは、受光レンズ４により集光されイメージセンサ
ー１６上の位置ｅ′，ｄ′に各々再結像する。それらの
Ｚ座標をＺｅ′，Ｚｄ′とする。また、虹彩２３の端部
ａ，ｂからの光束は受光レンズ４を介してイメージセン
サー１６上の位置ａ′，ｂ′に該端部ａ，ｂの像を結像
する。それらのＺ座標をＺａ′，Ｚｂ′とする。簡単な
幾何学的考察から眼球の光軸ＡＸＳの回転角θは、測定
可能な量Ｚａ′，Ｚｂ′，Ｚｄ′，Ｚｅ′等を用い、次
式で求められる。

【００１０】

【数１】 β・ＯＣ・ｓｉｎθ≒｛（Ｚａ′＋Ｚｂ′）−（Ｚｄ′＋Ｚｅ′）｝／２ …(1) 但し、βは受光レンズ４に対する眼球の位置により決ま
る倍率で、角膜反射像の間隔｜Ｚｄ′−Ｚｅ′｜の関数
として測定量から求められる。ＯＣは角膜２１の曲率中
心Ｏと瞳孔２４の中心Ｃまでの標準的な距離である。上
記（１）式から得られる視線方向の正確性を増すには、
距離ＯＣ、眼球光軸（光学的対称軸）と視軸（注視点方
向）のズレ等の個人差を持つパラメータの事前計測を行
うことが望ましいが、詳細はここでは省略する。角度θ
からピント板上の注視位置座標に変換する演算方法は幾
何学的な配置を考察することにより容易に得られる。

【００１１】以上の記載は操作者の眼球がＺ−Ｘ平面
（たとえば水平面）内で回転する例を示しているが、操
作者の眼球がＸ−Ｙ平面（たとえば垂直面）内で回転す
る場合においても同様に検出可能である。

【００１２】視線入力・制御技術の用途はカメラに限ら
れない。操作者の眼球像が光電的に計測できるようにイ
メージセンサーの結像受光領域と分解能が設定されてい
れば、その技術はどのような機器の制御にも用い得る意
思入力手段となると考えられる。

【００１３】一方、視線入力をコンピュータの入力や編
集の手段に用いると、その操作性が飛躍的に向上するで
あろうと考えられる。ここで、コンピュータ編集の従来
例について述べておく。

【００１４】一般に、新聞・雑誌・書籍・マニュアルな
ど、オフィスには様々な文書情報があふれている。これ
らの膨大な文書情報を効率的に活用するためには、その
文書情報をコンピュータに入力して処理し、情報を再生
産することが望ましい。通常これらの文書情報をコンピ
ュータに入力するためには、文書を画像データとしてス
キャナーで読み取り、ＯＣＲ（光学文字読取り）でテキ
ストデータに変換する。この時、コンピュータでの編集
作業ではマウスおよびキーボードを用いて、これらの操
作で文字情報部分をコンピュータに認識させなければな
らなかった。

【００１５】また、文章を制作し、コンピュータに入力
するには、ワードプロセッサが使われている。通常、文
字入力はキーボードから入力される。そして、入力され
た文字は文節や単語毎に適正な文字に変換される。従来
は、このような文字変換をキーボード上の変換キーを用
いて適正な文字に変換しながら、文書入力作業を進めて
いった。

【００１６】さらに、カメラに対する各種の制御用指示
を容易化する制御装置において利用されている視線検知
について述べると、その場合は自動合焦動作や自動露出
制御のための領域を決定する場合などに一般に用いられ
ている。この視線検知システムによって、カメラへの各
種指示を眼球の動きで与えることができ、ファインダか
ら眼を離す必要がなく、手を使う必要もないので、カメ
ラぶれを生じることがなくなる。また、目的被写体が画
面上どこに位置しても撮影者の作画意図に従った撮影、
例えば当該被写体による自動合焦動作或いは自動露出制
御を行なうことができる。その視線検知システムは、撮
像装置等の電源をｏｎした時から動作が開始されてい
た。或いは、視線検知モードｏｎ／ｏｆｆ切り替え専用
のボタンなどを有していた。

【００１７】

【発明が解決しようとする課題】以上説明したように、
従来のコンピュータ編集では、文書情報をスキャナーで
読み取り、ＯＣＲ処理して、テキストデータに変換して
いた。しかしこの時、絵柄部分と文字部分とを区分し
て、文字部分のみをマウスで括るなどの操作をしてＯＣ
Ｒ処理を行っていたため、テキストデータへの変換が煩
わしいものとなっていた。また、ワードプロセッサなど
の文字変換では、変換時に誤った文字で変換されると適
正文字への修正を行わなければならず、その煩わしい操
作のため操作者の文書作成の思考を中断させることとな
っていた。

【００１８】また、上述した従来の視線検知システム
は、その撮像装置等の電源をｏｎした時から動作が開始
する場合、視線検知による制御を行なわないで撮像しよ
うとする場合に不都合が生じていた。また、撮像装置等
で撮像中、視線検知システムにおける視線検知モードの
切り替えを行なう場合、その操作手段として、撮影者に
とって、切り替えの意図に対して適した操作手段がなか
った。また同様に、情報処理操作を行なう者にとって、
視線検知システムのｏｎ／ｏｆｆを思いのままに操作す
ることが、必要であった。

【００１９】本発明は上述の点に鑑みてなされたもの
で、その目的とするところは、視線入力手段を用いるこ
とでコンピュータの操作性を飛躍的に向上した視線入力
システムを提供することにある。

【００２０】また、本発明の更なる目的は、視線入力検
知モードのｏｎ／ｏｆｆを思いのまま、あるいは簡便・
的確に切り替えることが可能で、操作性を向上した視線
入力システムを提供することにある。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、文書等の情報の編集内容を表示する表示
手段と、該表示手段を注視する操作者の視線を検出する
視線検出手段と、前記視線検出手段により視線を検出し
た結果の視線の動きに基づいて所定の編集処理の制御を
行う視線入力編集手段とを具備したことを特徴とする。

【００２２】本発明は好ましくは、前記視線入力編集手
段は、前記視線を検出した結果の視線の動きに基づいて
情報の編集を行う際、該視線が止ったことおよび動き出
したことを判定し、該判定に応じて編集に関する変換モ
ードを選択あるいは再変換することを特徴とすることが
できる。

【００２３】また、上記目的を達成するため本発明の他
の形態は、観察者の視線位置を検出する検出手段を有す
るシステムにおいて、前記検出手段の視線検知モードの
ｏｎ／ｏｆｆ切り替えの為の入力を行う視線検知モード
ｏｎ／ｏｆｆ切り替え操作手段を有することを特徴とす
る。

【００２４】本発明は好ましくは前記検出手段として撮
像装置を用いることを特徴とすることができる。

【００２５】本発明は好ましくは前記検出手段は情報処
理装置を包含することを特徴とすることができる。

【００２６】本発明は好ましくは前記視線検知モードｏ
ｎ／ｏｆｆ切り替え操作手段が音声を用いる音声入力手
段であることを特徴とすることができる。

【００２７】本発明は好ましくは操作手段、表示手段、
記憶手段、制御手段および通信手段からなる情報処理装
置を有することを特徴とすることができる。

【００２８】本発明は好ましくは操作手段、表示手段、
記憶手段、制御手段および通信手段からなる情報処理装
置を有し、前記視線検知モードｏｎ／ｏｆｆ切り替え操
作手段が、ポインティングデバイスであることを特徴と
することができる。

【００２９】本発明は好ましくは操作手段、表示手段、
記憶手段、制御手段および通信手段からなる情報処理装
置を有し、前記視線検知モードｏｎ／ｏｆｆ切り替え操
作手段が、キーボードであることを特徴とすることがで
きる。

【００３０】

【作用】本発明では、コンピュータ操作者の視線を検出
し、その視線による入力手段を持たせたシステムを用い
て、ＯＣＲ処理の際の絵柄部分と文字部分の区分けを特
別に行うことなく、視線の動きにより自動的に判別して
スムーズなＯＣＲ処理を行えるようにしている。また、
ワードプロセッサなどの文字変換に視線を用いてスムー
ズに文書作成が行えるようにしている。従って、従来以
上に操作性の向上した編集が行える視線入力編集装置を
提供できる。

【００３１】また、本発明では観察者の視線位置を検出
する検出手段を有する装置において、視線検知モードの
ｏｎ／ｏｆｆ切り替えの為に、該視線検知モードのｏｎ
／ｏｆｆ切り替え手段として、音声を用いる。また、他
の態様としてポインティングデバイスを用いる。さらに
は、他の態様としてキーボードを用いる。このように視
線検知モードのｏｎ／ｏｆｆ切り替え専用の切り替えボ
タンでない他の入力系を切り替え手段と兼用させるの
で、本発明によればその切り替えを専用の回路および操
作手段を持つことなく、簡便にかつ的確に行なえ、視線
検知を用いた撮像装置或いは情報処理装置等の操作性が
向上する。

【００３２】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００３３】（第１の実施例）視線入力をコンピュータ
編集に用いた場合の本発明の第１の実施例を図５〜図７
を参照して説明する。図５はコンピュータのＣＲＴスク
リーンに正対する操作者の視線を捉えるための装置の使
用状況を示している。ＣＲＴ表示装置３０１には表示管
３０２と視線検出系３０３とが組み込まれており、操作
者はその視線３０７に沿って表示管３０２の表示スクリ
ーン上を注視している。一方、視線検出系３０３は赤外
光を操作者に向けて投射（３０５）し、その反射光像を
受光（３０６）する。

【００３４】視線による情報入力および機器制御の内容
は重要な検討課題であり、種々の仕様がありうる。通常
の考え方としては、この種コンピュータ応用の場合、視
線による意思入力はキーボード３０４による入力の補助
手段として用いることが多いであろう。つまり、文字入
力等はキーボードにより行い、編集、ファイル管理、プ
リンター制御、アプリケーションソフト・システムの起
動や動作変更等、機器・システムの管理や制御に関する
意思入力を視線により行う。

【００３５】図６は上記のＣＲＴ表示装置３０１を正面
から見た図である。表示スクリーン３０２の上側には、
受光窓３１１とペアの赤外光源３１２ａ，３１２ｂが配
設されている。受光系は受光窓３１１の背後に不図示の
結像レンズとイメージセンサー、さらに必要であれば追
尾装置を有している。追尾装置は操作者の顔面のシフト
（偏位）に対し、常に眼球画像をイメージセンサー受光
領域内に保持するためのものである。イメージセンサー
の受光領域の広さと分解能が十分あれば、その追尾装置
は必要ではない。

【００３６】図７は上記受光窓３１１の背後のイメージ
センサー３２１上に結像する画像の一例を示している。
眼球の瞳孔位置と角膜反射像の位置から視線の方向を推
定する点は、先のカメラの例と同様の原理による。本発
明者らの検討によれば、直径３〜７ミリメートル程度の
瞳孔径を１０画素のオーダーの分解能で検出できれば、
実用に供し得る精度が得られる。従って、数１００画素
の水平分解能のイメージセンサーを用いて、顔面シフト
に対応し得る実際的なシステムの構築が可能である。

【００３７】このようなシステムに於いて、図８に示す
ような文書情報をスキャナー（画像読取装置）で読み込
んで、テキストデータに変換し、情報を再生産する様な
場合について以下に説明する。

【００３８】スキャナーで読まれた文書情報は、図８に
示されるようにモニター画面（表示スクリーン）３０２
に表示される。この時、コンピュータを視線編集モード
に設定しておき、コンピュータ操作者がモニター画面上
の文章を読み出したら、その操作者の視線をイメージセ
ンサー３２１で受光してその読み取り視線方向に従って
表示中の文章をＯＣＲ（光学文字読取り）処理を行って
いく。文字情報であれば視線は水平方向に動いていくは
ずであり、また絵情報であれば視線はランダムに動くは
ずである。

【００３９】この視線の動きの相違を利用して、文字か
絵柄かを自動判別して、ＯＣＲを行っていく。さらに視
線の動きの変化に合わせてＯＣＲ処理内容の変更を行う
こともできる。例えば、オペレーターが文字を読んでい
る場合、文書品質が悪く、読み取りづらい文字は視線の
動きが止るか、ゆっくりになる。そこで、視線の動きが
速いときは読み取りの解像度を下げてＯＣＲ処理し、視
線の動きがゆっくりになったら、その解像度を上げてＯ
ＣＲ処理をする。

【００４０】（第１の実施例の変形例）上述の本発明の
第１の実施例で示される視線入力手段を持ったシステム
に於いて、ワードプロセッサの編集を行う場合について
図５〜図７を用いて説明する。

【００４１】通常、文字入力は図５のキーボード３０４
から入力される。そして、入力された文字は文節や単語
毎に適正な文字に変換していく。従来はこの変換をキー
ボード３０４上の変換キーを用いて適正な文字に変換し
ていたが、本実施例ではこの変換操作を視線を用いて行
う。それは、まずキーボード３０４から文字をキー入力
していく。その後で操作者が文を読み直していく時の操
作者の視線を前述の視線入力手段３０３，３２１で検出
し、その視線の動きで適正な文字に変換を行っていく。
例えば、文を読み直しているときに的確に変換されてい
る文はすらすらと読めるが、誤った文字の変換がなされ
ているときはその文字に視線が注視される。このとき、
注視された文字を再変換していく。さらに変換される文
字の候補を表示スクリーン３０２の最下行などに表示し
て、視線によりその候補の中から最適文字を選択する。
そして、候補の文字のスクロールなども視線に合わせて
行う。

【００４２】（第２の実施例）次に、本発明の第２の実
施例について説明する。

【００４３】図８は本発明の第２の実施例の装置構成を
示す。図８において、４００はデジタル電子カメラであ
る。デジタルカメラ４００において、４０１は撮影レン
ズであり、４０２は物体像を電気信号に変換する撮像素
子、４０３はＡ／Ｄ（アナログ・デジタル）変換器、４
０４はバッファメモリ、４０５は信号処理各部を制御す
る制御用ＣＰＵ（中央処理装置）、４０６は撮像ディジ
タル信号処理回路、４０７は音声認識用ＤＳＰ（ディジ
タル信号プロセッサ）、４０８は音声認識用基本データ
メモリ、４０９はデジタル電子カメラ４００と記録媒体
４１０とを接続するための記録媒体Ｉ／Ｆ（インタフェ
ース回路）である。記録媒体４１０は、例えばＰＣＭＣ
ＩＡ規格のメモリカードやハードディスクなどである。
４１１は音声入力回路、４１２は音声のＡ／Ｄ変換器、
４１３は視線入力装置、４１４はファインダーである。

【００４４】以下に、第２実施例の動作について説明す
る。図９において、撮影レンズ４０１により物体像を撮
像素子４０２面上に結像させ、撮像素子４０２により光
電変換し、物体像に関する各々の信号をＡ／Ｄ変換器４
０３でディジタル信号に変換して、撮像ディジタル信号
処理回路４０６に入力する。

【００４５】その際、音声入力回路４１１により入力さ
れた音声は、Ａ／Ｄ変換器４１２を介してディジタル信
号に変換されて、音声認識用ＤＳＰ４０７に送られ、制
御用ＣＰＵ４０５により視線入力装置４１３のｏｎ／ｏ
ｆｆを制御するのに用いられる。観察者はファインダー
４１４を通じて撮影レンズによる像を観察する。

【００４６】図１０は本実施例の動作手順を示すフロー
チャートである。まず、ステップＳ１において音声入力
回路４１１をｏｎにする。この状態では、視線入力動作
はｏｎでもｏｆｆでも構わない。つぎに、ステップＳ２
において、音声入力が行なわれた場合、ステップＳ３に
進み、ステップＳ４においてメモリ４０８から読み出し
た音声認識用基本データとの比較を行なう。入力データ
と音声認識用データとが合致すれば、ステップＳ６に進
み、視線入力検知モードの切り替え（ｏｎ／ｏｆｆ）を
行ない、ステップＳ１に戻り、次の音声入力が行なわれ
るのを待つ。入力データと音声認識用データとが合致し
なければ何もせずにステップＳ１に戻る。

【００４７】なお、視線入力装置４１３のｏｎ／ｏｆｆ
を音声で切り替える場合、上述のようにひとつの音声信
号によってｏｎ／ｏｆｆの切り替えを行なうのみなら
ず、ｏｎ或いはｏｆｆ用の音声信号が異なっても良い。
その場合のフローチャートを図１１に示す。まず、ステ
ップＳ１１において音声入力回路４１１をｏｎにする。
次に、ステップＳ１２において、音声入力が行なわれた
場合、ステップＳ１３に進み、ステップＳ１４における
音声認識用基本データとの比較を行なう。ステップＳ１
５において、音声入力データと音声認識用データにおけ
る視線入力検知モードｏｎデータとが合致すれば、ステ
ップＳ１６に進み、視線入力検知モードをｏｎに切り替
え、ステップＳ１２に戻り、次の音声入力が行なわれる
のを待つ。

【００４８】ステップＳ１５において、音声入力データ
と音声認識用データにおける視線入力検知モードｏｎデ
ータとが合致しなければステップＳ１７に進み、音声入
力データと音声認識用データにおける視線入力検知モー
ドｏｆｆデータとが合致すれば、ステップＳ１８におい
て、視線入力検知モードをｏｆｆに切り替え、ステップ
Ｓ１１に戻り、次の音声入力が行なわれるのを待つ。い
ずれにも合致しなければ、ステップＳ１１に戻る。また
さらに、ｏｎ／ｏｆｆ切り替え用の音声信号データが複
数あっても構わない。

【００４９】図９の音声認識用基本データメモリ４０８
には、上述の音声認識用基本データが記憶されている
が、この記憶内容を変更することも可能である。例え
ば、記録媒体Ｉ／Ｆ４０９を介して記録媒体４１０によ
り音声認識用基本データメモリ４０８を書き換えること
が可能である。また、音声入力回路４１１により入力さ
れた音声によって、音声認識用基本データメモリ４０８
を書き換えることもできる。その場合のフローチャート
を図１２に示す。

【００５０】まず、ステップＳ２１において音声認識用
基本データメモリ４０８を変更する操作以前の諸設定を
完了する。つぎに、ステップＳ２２において、音声認識
用基本データメモリ４０８を変更するのに、音声入力回
路４１１による音声を直接入力して変更する場合にはス
テップＳ２３に進み、ステップＳ２３において音声入力
回路４１１をｏｎする。さらに、ステップＳ２４におい
て、音声を入力して音声認識用基本データの書き込みを
行ない、内容を変更する。また、記録媒体（メモリカー
ド等）による書き込み変更を行なうのであれば、ステッ
プＳ２５へと進み、記録媒体のデータを記録媒体Ｉ／Ｆ
４０９を介して音声認識用基本データメモリ４０８に書
き込みを行ない、ステップＳ２８において音声認識用基
本データの変更を行なう。

【００５１】なお、ステップＳ２３において、音声入力
回路４１１をｏｎした場合、そのフローチャートは図１
３に示すようになり、ｏｎ信号とｏｆｆ信号を別々に変
更することも可能である。ステップＳ３１において、視
線入力検知モードのｏｎ信号を変更するのであれば、ス
テップＳ３２に進み、ｏｎ信号の変更のための書き込み
作業を行なって、ステップＳ２１に戻る。ステップＳ３
１，Ｓ３３において視線入力検知モードのｏｆｆ信号を
変更する場合には、ステップＳ３４に進み、ｏｆｆ信号
変更のための書き込み作業を行なって、ステップＳ２１
に戻る。

【００５２】同様に、記録媒体４１０からのデータを入
力して変更を行なう場合にも、ｏｎ信号とｏｆｆ信号を
別々に変更することも可能である。

【００５３】（第３の実施例）図１４は本発明の第３の
実施例の構成を示すブロック図である。以下、この図面
を参照して本発明の第３の実施例を説明する。

【００５４】図１４において、６００は情報処理装置で
ある。この情報処理装置６００の構成について説明す
る。６０１は情報処理装置６００全体を制御する制御部
（手段）、６０２は制御手段６０１の動作用のプログラ
ム、変数等を記憶する記憶部（手段）、６０３は制御手
段６０１でのプログラムの実行に応じて必要な文字、画
像、音声等の表示を行う液晶表示装置、スピーカー等の
表示部（手段）、６０４は制御手段６０１への各種の動
作指示の入力をするための操作部（手段）である。

【００５５】６０６はハード・ディスクやメモリ・カー
ド等の記録媒体６３０とのインタフェースである。６０
７は記録媒体６３０とデータ信号や制御信号をやり取り
するコネクタである。６３０はハード・ディスクやメモ
リ・カード等の記録媒体である。６０８は情報処理装置
６００とデータ信号や制御信号をやり取りするコネク
タ、６０９は情報処理装置６００とのインタフェース、
６１０は記録領域である。外部機器や通信回線との通信
を行う通信部（手段）については省略してある。

【００５６】コネクタ６０７，６０８は、電気信号は勿
論、機械的、光学的、音響的等の様々な信号を伝達する
ことが出来る。なお、インタフェース６０６、コネクタ
６０７、記録媒体６３０が複数となった構成や、記録媒
体６３０が情報処理装置６００と一体となった構成、情
報処理装置６００と別体となった構成であっても問題な
いのは言うまでもない。

【００５７】６０５は視線入力装置を示し、情報処理装
置６００における表示部６０３の画像を観察している操
作者の眼球に対し、その視線運動を継続的に検出する。

【００５８】次に図１４を参照して、本発明の第３の実
施例の動作を説明する。情報処理装置６００において、
制御手段６０１はフラグや制御変数などを初期化し、記
憶手段６０２の領域の一部に格納されたオペレーティン
グ・システム等の制御プログラムを実行する。制御手段
６０１は、また操作手段６０４に含まれるメイン・スイ
ッチがオンならば、表示手段６０３に文字・数字やアイ
コン等の画像等により必要な所定の表示を行い、操作手
段６０４による入力を受け付けるように設定する。操作
部６０４において、なんらかの操作手段により視線検知
モードｏｎ／ｏｆｆ切り替え指示が出た場合、視線入力
装置６０５の視線検知モードｏｎ／ｏｆｆを切り変え
る。

【００５９】操作部６０４については、例えば、以下の
ような操作手段が考えられる。

【００６０】 音声による手段 キーボードによる手段 アイコン＆タッチパネル、またはマウスによる入力 ペンによる入力 つぎに、上記操作部６０４における各々の操作手段によ
って、視線入力装置６０５における視線入力動作のｏｎ
／ｏｆｆモードの切り替えを行なう手法について説明す
る。

【００６１】音声による操作手段における視線入力動
作のｏｎ／ｏｆｆモード切り替え 操作部６０４において、その操作手段を音声によるもの
とした場合には、第２の実施例によるフロー（図１０，
図１１）と同様に、入力した音声とｏｎ／ｏｆｆ切り替
え用の音声認識用基本データとが一致すれば視線入力動
作のｏｎ／ｏｆｆモードの切り替えを行なう。なお、ｏ
ｎ／ｏｆｆの切り替えの為の音声信号は、ｏｎの場合と
ｏｆｆの場合で異なっていてもかまわない。また、音声
認識用基本データを書き換えることも可能である。第２
の実施例によるフロー（図１２，図１３）の場合と同様
にして、音声による書き換え或いは記録媒体（ここで
は、外部記憶装置６３０における記憶領域６１０のデー
タ）による書き換えを行なうことが可能である。なお、
図１４には、音声入力回路、音声認識用ＤＳＰ等は省略
している。

【００６２】キーボードによる操作手段における視線
入力動作のｏｎ／ｏｆｆモード切り替え 図１５は、上記のキーボードを示している。操作手段と
してのキーボード７００により、視線入力動作のｏｎ／
ｏｆｆモードを切り替える。本実施例では、キーボード
７００上のキー７０１に、視線入力動作のｏｎ／ｏｆｆ
モード切り替え指示を割り当てている。この様に、ある
特定の１つのキーに割り当てる場合に対し、ある特定の
複数のキーに割り当てることも可能である。例えば、キ
ー７０２とキー７０３を同時に押した場合に、視線入力
動作のｏｎ／ｏｆｆモードを切り替えるようにも出来
る。操作の都合上、複数キーに割り当てた場合には、そ
れらの複数キーは隣接或いは、付近に配置することが望
ましい。

【００６３】アイコン＆タッチパネル、またはマウス
による操作手段における視線入力動作のｏｎ／ｏｆｆモ
ード切り替え 図１６は、表示部６０３として例えば端末のディスプレ
イ８００を用いた場合を示している。８０１，８０２は
ウインドウを示し、８０３は視線入力検知モード切り替
え用のアイコンを示している。この場合、表示部ディス
プレイ８００上のアイコン８０３をマウスでクリックす
ることにより、視線入力動作のｏｎ／ｏｆｆモード切り
替えを行なうことが可能である。また、表示部ディスプ
レイ８００が操作部６０４を兼ねている場合（例えばタ
ッチパネル）には、アイコン８０３を指で触れることに
より視線入力動作のｏｎ／ｏｆｆモード切り替えを行な
うことが可能である。なお、このアイコンの表示は作業
の邪魔にならなければディスプレイ８００中のどこに配
置しても構わない。

【００６４】ペンによる操作手段における視線入力動
作のｏｎ／ｏｆｆモード切り替え 図１７は、操作部としてペン入力という形態を取ってい
る場合を示している。９００はペン入力装置、９０１は
入力用のペン、９０２は視線入力検知ｏｎ／ｏｆｆ切り
替え用のアイコン、あるいは領域を示している。ペンに
よってこのアイコン（領域）９０２に触れれば、視線入
力検知モードが切り替わる。なお、このアイコン（領
域）の表示は作業の邪魔にならなければペン入力装置９
００中のどこに配置しても構わない。

【００６５】なお、以上の操作部の例は、同時に複数存
在しても、また、表示部と兼ねている構成でも構わな
い。

【００６６】

【発明の効果】以上説明したように、本発明によれば、
従来キーボードやマウスを使っていた煩わしい操作が、
視線をコンピュータの入力や編集の手段に用いることに
より解消され、コンピュータの操作性が飛躍的に向上す
る。例えば、絵柄と文字が混在するような文書でも視線
の動き方で文字部を自動的に判別し、スムーズにＯＣＲ
処理できる。さらにまた、文書入力時のワードプロセッ
サなどで、文字変換を視線の位置検出で行うことによ
り、操作者の文書作成の思考を中断させることなくスム
ーズに文書作成が行える。

【００６７】また、本発明によれば、視線検知システム
を有する撮像装置、或いは操作手段、表示手段、記憶手
段、制御手段および通信手段を有する情報処理装置等に
おいて、視線検出モードのｏｎ／ｏｆｆ切り替え手段と
して撮像装置あるいは情報処理装置における入力系（音
声等の操作手段）を兼用することにより、切り替え用の
ボタン等を設ける必要がなく、また、撮影者或いは情報
処理操作を行なう者が視線入力検知モードのｏｎ／ｏｆ
ｆを思いのままにあるいは簡便、的確に切り替えること
が可能になり、操作性を向上させることが可能になる。

【図面の簡単な説明】

【図１】視線検出部を有する一眼レフカメラの従来技術
の説明図である。

【図２】図１の視線検出手段の要部斜視図である。

【図３】視線検出方法の原理説明図である。

【図４】図３のイメージセンサー１６からの出力強度分
布の説明図である。

【図５】本発明の第１の実施例の概略構成を示す模式図
である。

【図６】図５の表示スクリーン面を示す正面図である。

【図７】図６の受光窓の中にあるイメージセンサ３２１
の受光像の一例を示す平面図である。

【図８】図６の表示スクリーン面に表示される一般的な
文書情報の例を示す図である。

【図９】本発明の第２の実施例の装置構成を示すブロッ
ク図である。

【図１０】本発明の第２の実施例の動作を示すフローチ
ャートである。

【図１１】本発明の第２の実施例の動作を示すフローチ
ャートである。

【図１２】本発明の第２の実施例の動作を示すフローチ
ャートである。

【図１３】本発明の第２の実施例の動作を示すフローチ
ャートである。

【図１４】本発明の第３の実施例の装置構成を示すブロ
ック図である。

【図１５】本発明の第３の実施例におけるキーボードを
示す斜視図である。

【図１６】本発明の第３実施例におけるディスプレイの
表示状態の一例を示す説明図である。

【図１７】本発明の第３実施例におけるペン入力装置の
一例を示す斜視図である。

【符号の説明】 ３０１ ＣＲＴ表示装置 ３０２ 表示管 ３０３ 視線検出系 ３０４ キーボード ３０５ 投射（入射光） ３０６ 受光（反射光） ３０７ 視線 ３１１ 受光窓 ３１２ａ，３１２ｂ 赤外光源 ３２１ イメージセンサ ４０１ 撮影レンズ ４０２ 撮像素子 ４０３，４１２ Ａ／Ｄ変換器 ４０４ バッファメモリ ４０５ 制御用ＣＰＵ ４０６ 撮像ディジタル信号処理回路 ４０７ 音声認識用ＤＳＰ ４０８ 認識用基本データメモリ ４０９ 記録媒体Ｉ／Ｆ ４１０ 記録媒体 ４１１ 音声入力回路 ４１３ 視線入力装置 ４１４ ファインダー ６００ 情報入力装置 ６４０ 外部通信用装置 ６３０ 外部記憶装置 ６０１ 制御部 ６０２ 記憶部 ６０３ 表示部 ６０４ 操作部 ６０５ 視線入力装置

Claims (9)

【特許請求の範囲】
1. 【請求項１】 文書等の情報の編集内容を表示する表示
   手段と、 該表示手段を注視する操作者の視線を検出する視線検出
   手段と、 前記視線検出手段により視線を検出した結果の視線の動
   きに基づいて所定の編集処理の制御を行う視線入力編集
   手段とを具備したことを特徴とする視線入力システム。
2. 【請求項２】 前記視線入力編集手段は、前記視線を検
   出した結果の視線の動きに基づいて情報の編集を行う
   際、該視線が止ったことおよび動き出したことを判定
   し、該判定に応じて編集に関する変換モードを選択ある
   いは再変換することを特徴とする請求項１に記載の視線
   入力システム。
3. 【請求項３】 観察者の視線位置を検出する検出手段を
   有するシステムにおいて、 前記検出手段の視線検知モードのｏｎ／ｏｆｆ切り替え
   の為の入力を行う視線検知モードｏｎ／ｏｆｆ切り替え
   操作手段を有することを特徴とする視線入力システム。
4. 【請求項４】 前記検出手段として撮像装置を用いるこ
   とを特徴とする請求項３に記載の視線入力システム。
5. 【請求項５】 前記検出手段は情報処理装置を包含する
   ことを特徴とする請求項３に記載の視線入力システム。
6. 【請求項６】 前記視線検知モードｏｎ／ｏｆｆ切り替
   え操作手段が音声を用いる音声入力手段であることを特
   徴とする請求項３〜５のいずれかに記載の視線入力シス
   テム。
7. 【請求項７】 操作手段、表示手段、記憶手段、制御手
   段および通信手段からなる情報処理装置を有することを
   特徴とする請求項６に記載の視線入力システム。
8. 【請求項８】 操作手段、表示手段、記憶手段、制御手
   段および通信手段からなる情報処理装置を有し、前記視
   線検知モードｏｎ／ｏｆｆ切り替え操作手段が、ポイン
   ティングデバイスであることを特徴とする請求項３〜５
   のいずれかに記載の視線入力システム。
9. 【請求項９】 操作手段、表示手段、記憶手段、制御手
   段および通信手段からなる情報処理装置を有し、前記視
   線検知モードｏｎ／ｏｆｆ切り替え操作手段が、キーボ
   ードであることを特徴とする請求項３〜５のいずれかに
   記載の視線入力システム。