JPH07244556A - 情報端末 - Google Patents

Abstract

(57)【要約】 【目的】 情報端末に好適な指示入力手段を実現するほ
か、その指示入力手段を具備する情報端末の基本構成を
提供するものである。 【構成】 情報端末に顔の向き視線検出装置を具備さ
せ、それを用いての視線検出結果を表示装置に表示させ
る手段を具備させる。また、視線検出とあわせて用いる
指示ボタンスイッチを設けた。 【効果】 特に端末を携帯する場合に、手を使う機会を
極めて限定して確実な指示入力が可能になる。特に、視
線検出結果が表示装置上に表示されるので、操作性がよ
い。さらに、視線検出で操作の種類を選択できるので、
実際の操作は、指示ボタンスイッチを押下するのみで実
行可能となり、いっそう確実な操作が可能になる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報処理端末、特に好ま
しくは持ち運び可能な薄型情報端末に関するものであ
り、特に、視線検出操作と簡単な指示ボタンを用いて情
報端末への入力が容易にできるという特徴を有するもの
である。

【０００２】

【従来の技術】近年、ＯＡ機器の普及はめざましく、文
書の作成にはワードプロセッサなどが用いられるのが普
通である。このようなＯＡ機器の端末としては、図３に
示されるような構成が標準的である。これは、据置きの
デスクトップ型と呼ばれるものであり、少なくともマイ
クロプロセッサを含む本体１と、表示装置２としてＣＲ
Ｔディスプレイ、入力装置としてキーボード３やマウス
４から構成される。とくにマウスは、最近、ユーザイン
ターフェースとして標準的になったグラフィカルユーザ
インターフェースにおいて必須の入力手段となりつつあ
る。この構成をより小型軽量化したものとして、ラップ
トップ型あるいはノートブック型と呼ばれる機器があ
る。その一例を図４に示す。この場合は、持ち運ぶこと
が前提であり、表示装置２として小型軽量かつ低消費電
力の液晶ディスプレイが用いられることが特徴である。
入力装置としては、上記のキーボードやマウスのほか
に、より人間の感性を反映させた方式といわれるペン５
が用いられることも多い。そのほか、マウスを持ち運ぶ
代わりに、そのローラー部分を本体に作り付けて指で操
作するトラックボール６が用いられることもある。

【０００３】さらに最近では機械の物理的な接触を伴わ
ない手段として人間の視線の動きを検出する方法が提示
されている。これは、人間の眼球の回転を検知してその
視線方向を特定し、表示装置に表示された情報の処理を
操作するものである。この方法としては特開平１−１６
０５２７号公報、特公昭６０−１７１２５号公報に開示
されたものが知られている。

【０００４】

【発明が解決しようとする課題】一方、携帯端末の需要
が高まってきた。この背景には、通信ネットワークのイ
ンフラの整備の進展がある。端末をより生活に密着させ
て持ち歩き、ネットワークを用いて情報交換することに
期待が寄せられつつある。ところで、このような携帯性
を重視した端末にとっては、入力装置としてもはやキー
ボードやマウスは適していない。また、ペン入力方式で
あっても、ペンの保管管理などが煩わしく、必ずしも万
全な指示入力手段とはいえず、携帯端末に好適な入力手
段が求められていた。その意味では上に述べた視線検出
方式はひとつの解を与える。しかし乍ら端末を携帯して
使用する環境では、使用者の顔と端末の位置関係が変動
し易いので、従来の視線検出方式では端度よい操作が難
しかった。

【０００５】本発明の目的は、上記の課題に対処するた
め情報端末、特に携帯端末に好適な視線入力方式を実現
するほか、その視線入力方式を具備する情報端末の基本
構成を提供するものである。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、まず、情報端末に視線検出手段と使用
者の顔の向きを検出する手段を具備させた。さらに本発
明では視線検出結果を表示装置に表示させ視線検出精度
を調節する手段を設けた。また、これらにおいては、操
作が容易になるように、視線検出及び顔の向きの検出と
あわせて用いる主として情報処理の開始・終了のための
指示ボタンスイッチを設けた。

【０００７】

【作用】上記視線検出装置及び顔の向きの検出装置によ
れば、手を使う機会を極めて限定して指示入力ができる
ので情報操作が容易になる。特に、端末を携帯して使用
する場合において視線検出の精度を向上させることがで
き、その効果が大きい。また、視線検出結果が表示装置
上に表示され、これと、実際の表示装置上の注視点とを
比較して簡単な操作で調節が可能であるので、視線検出
精度を一層改善することができる。かかる上に、視線検
出で一次的に操作の種類を選択しておき、実際の動作
は、指示ボタンスイッチを押下することで開始、終了さ
せれば、指示操作をいっそう確実にすることが可能にな
る。

【０００８】

【実施例】以下、本発明の一実施例を説明する。図１
は、本発明による情報端末の基本構成をブロック図で示
したものである。図５は本発明による情報端末の筐体外
観図の一例である。指示入力装置８は、力学的に押下可
能なボタンスイッチからなり、視線検出による操作種類
の選択の完結や操作の実行を指示するために用いる。こ
こでは、スプリング式のスイッチを用いた。そのほか、
制御手段は通常のマイクロプロセッサユニット、メモリ
はプログラム及び一次的なデータ格納用である。表示装
置２は、携帯用途に適した液晶表示装置であり、データ
表示のほか視線検出による操作種類の選択結果を表示す
る。着脱式の外部記憶装置９としては、小型ハードディ
スクやＩＣメモリカードなどを用いる。

【０００９】顔の向きの検出及び視線検出の基本構成を
それぞれ図１９、図２０に示す。顔の向きを検出するに
は、例えば図１９に示されるようにカメラ２６で撮影し
た顔の像から眼の端点Ａ、Ｂとあご先の点丁を抽出して
演算制御手段で解析し、距離ＡＢ、ＯＪの変化を算出す
ることにより顔の回転、θ、φ、ψを求めればよい。距
離ＡＢ、ＯＪの変化を決定するには後述のように予め求
めておいた基準値を使用すればよい。次に図２０に示す
ように、瞳孔形状を上記と同じカメラで撮影する。この
形状を演算制御手段で解析することにより視線の方向を
導き、その方向と表示装置との交点を算出して注視点を
定める。この手続きで定まった注視点は、表示装置２上
で図形あるいは文字の変化して表示される。

【００１０】瞳孔形状から視線の方向を定めるには、図
２１に示すような瞳孔形状と瞳孔の回転角θ_iの対応関
係のデータを具備させておけばよい。この際、上記で求
めた顔の向きを決めるパラメータと別途定める眼と表示
装置の間の距離Ｌを併せて用いることにより、表示装置
の注視点を精度よく定めることが可能になる。

【００１１】上記のような構成による検出方式の効果
は、端末の種類により限定されるものではむろんない。
しかし、特に携帯端末に好適な方式であることは明らか
である。なぜならば、携帯端末の場合、ひざの上に置い
たり、持ち手を変えたりするなど端末と使用者の眼の位
置関係が変化する機会が多いからである。本構成によれ
ば、下記の如き定点チェックを一旦済ましておけば、角
度（位置関係）が変化するたびにその位置関係を調べる
必要がない。定点チェックについては以下のように行
う。図１６はこの定点チェックを行う場合の表示装置の
表示画面である。画面の右上と左下にマーカーが表示さ
れている。まず、画面の右上を見てＡＢ、ＯＪが最大と
なる時に指示入力装置８を押し下げる。ＡＢ、ＯＪの測
距は図１９に説明したのと同じ方法でよい。ＡＢ、ＯＪ
が最大となるのは、例えばマーカーを反転させるように
して使用者に知覚させればよい。この操作によりθ、
φ、ψの基準値θ₁、φ₁、ψ₁と瞳孔形状が記憶され
る。引き続き、頭部を動かすことなく左下のマーカーを
使って同様の操作を行い基準値θ₂、φ₂、ψ₂と瞳孔形
状が記憶される。これらを用いて、（θ₁＋θ₂）／２、
（φ₁＋φ₂）／２、（ψ₁＋ψ₂）／２を最終的な基準値
及び瞳孔像の参照データとして設定する。これらの値を
用いることにより個人差を補正した視線検出が可能にな
り、使い勝手のよい情報端末を実現することができる。
なお本実施例はマーカーの形状や個数、入力の順番を限
定するものでないことはいうまでもない。

【００１２】さて、上記のような構成では、カメラが画
面の隅に位置するのがデータ処理上有利である。なぜな
ら、視線の一方向への移動に対し、瞳孔形状が単調に変
化するからである。

【００１３】以上のような視線検出以降、データ処理を
実行し、次の視線検出にいたるまでの操作の流れは、図
２に示されたとおりである。まず、上に述べたように検
出ルーチンで顔の向きと眼球の動きが検出され、表示装
置のどの部分を見ているかが決定される。次に、視線検
出結果の表示ルーチンに入る。ここでは、検出された視
線の方向にアイコンやメニューバーなど操作の内容が表
示されている場合、それらの表示が、例えばポジネガ反
転するなどして検出が行われたことを明らかにする。次
に、使用者が視線検出結果を確認する。これは、上記の
ように選択された指示内容が、所望のものであるか否か
を確認するためのものである。この段階で、所望のもの
以外の操作が選択されていた場合は、視線検出ルーチン
を再度くりかえせばよい。これを行うには、視線検出開
始ボタン１０を用いる。このボタンが押下されると、視
線検出のデータが初期化され、視線検出ルーチンが実行
される。最後に、指示入力装置８でデータ処理の実行を
指示する。これにより、所望のデータ処理が開始され
る。さて、データ処理によっては、例えば原稿のスクロ
ールなどのように、連続で動作させて所望の時刻にデー
タ処理を終了する種類の処理がある。このデータ処理の
継続と終了を全て視線検出に基づく指示に負担させるの
は望ましくない。データ処理の進行状況を眼で追うこと
ができなくなるからである。本実施例では、このような
データ処理の終了を指示するためのボタンを設け、上記
処理開始のための指示入力装置８を併用した。すなわ
ち、処理の続行中に、再び指示入力装置を押下すること
で処理を終了させる構成とした。一連の処理が終了する
と、自動的に視線検出のデータが初期化されて視線検出
ルーチンに戻り、別のデータ処理の手続きに入る。

【００１４】さて、定点チェックのところで視線の個人
差について述べたが、作業中にこの視線の個人差を補正
する手段を設けておく必要がある。本実施例では以下の
ような構成とした。上記のように所望の視線検出結果を
得るために、再度視線検出を行わねばならぬ場合を考え
る。この場合、第１回目の検出結果に基づく注視点の座
標と、第２回目の検出結果に基づく注視点の座標の差を
取って、次回以降の検出結果に基づく注視点の座標値か
らこれを差し引けばよい。このようにすれば、自動的に
注視点の座標計算に補正が加わり、結果的に視線検出の
精度が高められる。

【００１５】以上のように、本実施例によれば、視線検
出により処理選択、指示入力により処理の開始及び終了
と極めて容易に情報端末を操作することが可能になる。

【００１６】ところで、本発明は、上記実施例に限定さ
れるものではない。例えば指示入力装置としては、力学
的に触れることにより指示できればよいのであり、スプ
リング式に限らず、感圧式のタッチパネルでもよい。図
１５に示されるように、トラックボール６でもよい。ま
た、上記実施例では、指示入力装置８に、データ処理の
開始と終了の双方の指示を兼用させたが、その兼用の方
法はこれに限るものではない。２回の指示入力の代わり
に、押下の間は、処理が継続される構成であってもよ
い。さらに装置の大きさに余裕があれば、データ処理の
終了指定専用の入力装置を設けてもよいことはもちろん
である。表示装置としては、液晶ディスプレイについて
のみ説明したが、本発明の主旨は他のディスプレイであ
っても一向に構わない。例えば、プラズマディスプレイ
でもエレクトロルミネセントセルであっても、あるいは
ＣＲＴすなわちブラウン管であってもよい。また、本実
施例では携帯用途の端末について記したが、図１７及び
図１８に示されるように従来型の端末に顔の向き検出装
置、視線検出装置及び指示入力装置を装備しても操作の
容易性という効果が得られるのはいうまでもない。

【００１７】本発明の第２の実施例として、データ処理
を別の方式で開始する方法について記す。図６はそのフ
ローである。この場合は、１回目の視線検出ルーチンで
眼球の動きを検出したのち、使用者が任意に指定するこ
とができる時間が経過するのを待って、２回目の視線検
出を行う。次に１回目と２回目の視線の検出結果を比較
し、視線の変化量が所定の値より小さい場合に自動的に
データ処理が開始される構成としたものである。この方
式によれば、指の操作をさらに省略することができると
いう利点がある。

【００１８】本発明の第３の実施例では、また別の方法
でデータ処理を開始させるものである。図７に示すよう
に、指示入力として表示装置上に表示された指示入力用
の図形あるいは文字パターンをスタイラスペンあるいは
指で指示するものである。そのためには、表示画面上に
例えば感圧式のタッチパネルを設定しておけばよい。こ
の実施例によれば、図８のように、指示入力用の図形あ
るいは文字パターンを表示装置上の任意の場所に表示さ
せることができるので、使用者のカスタマイズが容易に
なるという利点がある。表示装置上の指示入力図形を指
示する方法は本実施例に限らないことは明白である。例
えば、それらの指示入力図形の指示を視線入力によって
実現することも可能である。この場合は、上記のような
タッチパネルも不要となり、より簡単な構成となる。

【００１９】本発明の第４の実施例では、視線が検出さ
れた位置になんら文字図形が存在しない場合について規
定する。本実施例では、視線が検出された位置に図９の
ようなポインタを表示するものである。この場合、視線
の移動を逐一追跡する必要はない。移動前と移動後の２
点が定められれば十分である。図１０のように、移動先
のポインタと図形や文字が重なるとき、それらの図形や
文字のネガポジが反転するものとする。これによれば、
どこを注視しているかわかるので比較的細かい動きが必
要なとき都合がよい。

【００２０】さらに本実施例では、視線が表示領域から
はみ出したときの処理を規定する。この場合は、大きく
分けて３とおりの処理を設けておけば十分である。第１
の処理は、「何も生じない。」すなわち、ポインタは元
あった位置から動かない。第２の処理は、図１１に示さ
れるように視線の方向と、画面の中心を結ぶ直線上で、
画面の外縁と交わる点に、ポインタを移動する。第３の
処理では、図１２に示されるように表示画面上の所定の
位置にポインタが移動する。本実施例では、画面の中心
にポインタを移動する場合を示したが、この位置は、使
用者が設定可能であり、端末のカスタマイズが容易にな
る。

【００２１】本発明の第５の実施例を図１３及び図１４
に示す。これは、表示装置が複数ある場合の構成例であ
る。見開き型の２枚の表示装置２，１２について、それ
ぞれ視線検出装置７と顔の向きの検出装置１７を設けた
ものである。この種の見開き型の表示装置の構成では、
見開き角度が変化するので、上記のように検出装置を複
数設けるのは視線の位置検出の精度向上に非常に効果が
ある。なお、図１３、図１４は、それぞれ横開き、縦開
きの表示装置の構成を示したものである。

【００２２】

【発明の効果】以上本発明では、情報操作を容易にする
のに必要な基本的構成を、視線検出装置及び顔の向きの
検出装置を用いることにより実現するものである。これ
によれば、まず第一に手を使う機会を極めて限定して指
示入力ができる。次に、視線検出結果が表示装置上に表
示され、操作性をさらに向上させることができる。さら
に、視線検出で一次的に操作の種類を選択しておき、実
際の動作は、指示ボタンスイッチを押下することで開始
及び終了させれば、いっそう確実な操作が可能になる。

【図面の簡単な説明】

【図１】本発明による情報端末の基本構成を示すブロッ
ク図。

【図２】本発明による情報端末における操作フローを表
す図。

【図３】従来技術によるデスクトップ端末を表す図。

【図４】従来技術によるラップトップ端末を表す図。

【図５】本発明の実施例を説明するための図。

【図６】本発明の実施例を説明するための図。

【図７】本発明の実施例を説明するための図。

【図８】本発明の実施例を説明するための図。

【図９】本発明の実施例を説明するための図。

【図１０】本発明の実施例を説明するための図。

【図１１】本発明の実施例を説明するための図。

【図１２】本発明の実施例を説明するための図。

【図１３】本発明の実施例を説明するための図。

【図１４】本発明の実施例を説明するための図。

【図１５】本発明の実施例を説明するための図。

【図１６】本発明の実施例を説明するための図。

【図１７】本発明の実施例を説明するための図。

【図１８】本発明の実施例を説明するための図。

【図１９】本発明の実施例を説明するための図。

【図２０】本発明の実施例を説明するための図。

【図２１】本発明の実施例を説明するための図。

【符号の説明】

１…情報端末本体、２、１２…表示装置、３…キーボー
ド、４…マウス、５…ペン、６…トラックボール、７…
視線検出装置、８…指示入力装置、９…外部記憶装置、
１０…視線検出開始ボタン、１７…顔の向きの検出装
置、２１…ハロゲンランプ、２２…レンズ、２３、２５
…フィルタ、２６…ＣＣＤカメラ。

Claims (6)

【特許請求の範囲】
1. 【請求項１】使用者の視線の方向を検出して情報の入出
   力を行う手段を備えた情報端末において、使用者の顔の
   向きを検出して、視線入力時の初期値を設定する検出手
   段を有することを特徴とする情報端末。
2. 【請求項２】前記検出手段は、前記使用者の顔の回転を
   検出する手段と、前記使用者の視線方向と前記情報端末
   の表示画面との交点を算出して注視点を設定する手段と
   からなることを特徴とする請求項１記載の情報端末。
3. 【請求項３】請求項１または２に記載の情報端末は、前
   記視線の方向による入出力の指示を確定するための指示
   入力手段を具備することを特徴とする。
4. 【請求項４】前記指示入力手段は、力学的に押下可能な
   ボタンスイッチであることを特徴とする請求項３に記載
   の情報端末。
5. 【請求項５】請求項１から４のいずれかに記載の情報端
   末は、 前記使用者の眼球の運動を検出することにより前記使用
   者の視線方向と前記情報端末の表示画面との交点を算出
   して注視点を設定する手段を有することを特徴とする。
6. 【請求項６】前記表示装置は、複数個の表示装置を組合
   せて構成されていることを特徴とする請求項１から５の
   いずれかに記載の情報端末。