JPH11259226A

JPH11259226A - 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体

Info

Publication number: JPH11259226A
Application number: JP8292598A
Authority: JP
Inventors: Hironori Goto; 裕典後藤; Masaaki Yoshida; 正明吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-03-13
Filing date: 1998-03-13
Publication date: 1999-09-24
Also published as: EP0942350A1; DE69905209D1; US6161932A; EP0942350B1

Abstract

(57)【要約】【課題】利用者が視線の検出結果を確認することがで
き、利用者が無駄な動作を何度も繰り返すなどの恐れを
なくすことができる視線入力意思伝達装置を提供する。【解決手段】視点位置データに基づき視線検出成功、
視線検出失敗、まばたき中、同じ選択肢を選択している
などの検出結果状況を判断し、その判断結果に応じて検
出結果状況を表す検出結果情報を文字の選択枠の色を変
えて利用者に通知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示盤を観察する
利用者の視線を検出し、該利用者の視線の検出結果を前
記表示盤に対する入力情報として入力することにより前
記利用者の意思を伝達する視線入力意思伝達装置、視線
入力意思伝達方法および視線入力意思伝達システムを構
築するためのプログラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】従来、表示盤を観察する利用者の視線を
検出し、該利用者の視線の検出結果を前記表示盤に対す
る入力情報として入力することにより前記利用者の意思
を伝達する視線入力意思伝達装置が提案され、実現され
ている。この視線入力意思伝達装置として、コンピュー
タの画面上に、ひらがな、アルファベットなどの複数の
文字を表す表示盤を表示し、この表示盤を観察する利用
者の視線を検出し、この利用者の視線の検出結果に応じ
て利用者が選択する文字を特定し、この特定された文字
を入力するもの（特願平９−２４４８１７号）が、本出
願人により提案されている。また、本出願人は、同時
に、テレビジョンのチャンネル切替操作を行うことが可
能な視線入力意思伝達装置、コンピュータの画面を観察
しながらその画面表示を表示盤の映像とコンピュータに
入力された外部映像とを切り替えることが可能な視線入
力意思伝達装置を提案している。

【０００３】この提案した視線入力意思伝達装置では、
例えば、選択した文字を入力する際には、この選択した
文字に視線を向けた状態で目を閉じるなどの動作によ
り、この文字を入力する文字として確定する方法が用い
られている。また、同様に、チャンネルの切替指示など
を入力する際にも、同様に目を閉じる動作により入力を
確定する方法が用いられている。

【０００４】

【発明が解決しようとする課題】しかし、上述の従来の
視線入力意志伝達装置では、目を閉じるなどの動作によ
り入力を確定する方法が用いられているから、目を閉じ
る動作のタイミングが早すぎて入力を行うことができな
い場合などがある。よって、目を閉じる動作タイミング
を習得するために、利用者は十分に経験を積むことが要
求されることがある。また、目を閉じる動作のタイミン
グが早すぎたことにより入力失敗、利用者の目を正確に
捕らえていないことによる視線検出失敗などの視線検出
エラーを利用者に知らせる手段が設けられていないか
ら、視線検出エラーが多発しているような状況下におい
ては、その状況を利用者に知らせることができず、その
ような状況を知らずに利用者は無駄な入力動作を何回も
繰り返し行う可能性がある。このように、利用者から
は、視線検出による入力が成功しているかまたは失敗し
ているかなどの視線の検出結果を知ることができず、視
線検出による入力が失敗していることを知らずに利用者
は無駄な動作を何度も繰り返すなどの恐れがある。

【０００５】また、表示盤に表示される選択肢の数が多
いときには、各選択肢の表示領域が小さくなり、各選択
肢の中から意図する選択肢を選択することが困難にな
る。

【０００６】本発明の第１の目的は、利用者が視線の検
出結果を確認することができ、利用者が無駄な動作を何
度も繰り返すなどの恐れをなくすことができる視線入力
意思伝達装置、視線入力意思伝達方法および記憶媒体を
提供することにある。

【０００７】本発明の第２の目的は、表示盤を見ながら
外部から入力された外部映像を見ることができる視線入
力意思伝達装置、視線入力意思伝達方法および記憶媒体
を提供することにある。

【０００８】本発明の第３の目的は、外部から入力され
た外部映像を見ながら視線入力により選択肢の選択を行
うことができる視線入力意思伝達装置、視線入力意思伝
達方法および記憶媒体を提供することにある。

【０００９】本発明の第４の目的は、表示盤上の選択項
目を利用者に視認し易く表示することができる視線入力
意思伝達装置、視線入力意思伝達方法および記憶媒体を
提供することにある。

【００１０】本発明の第５の目的は、外部装置に対し
て、その制御量を連続的に可変する制御を行うことがで
きる視線入力意思伝達装置、視線入力意思伝達方法およ
び記憶媒体を提供することにある。

【００１１】本発明の第６の目的は、所定の入力を確実
にかつ容易に行うことができるとともに、利用者の入力
に関する動作を易しくする操作環境を得ることができる
視線入力意思伝達装置、視線入力意思伝達方法および記
憶媒体を提供することにある。

【００１２】

【課題を解決するための手段】請求項１記載の発明は、
表示盤を観察する利用者の視線を検出し、該利用者の視
線の検出結果を前記表示盤に対する入力情報として入力
する視線入力手段を備え、該視線入力手段からの入力情
報により前記利用者の意思を伝達する視線入力意思伝達
装置において、前記利用者の視線の検出結果に対して、
視線検出成功、視線検出失敗、まばたき中、同じ選択肢
を選択しているなどを表すための検出結果情報を前記利
用者に通知する視線検出結果通知手段を有することを特
徴とする。

【００１３】請求項２記載の発明は、請求項１記載の視
線入力意思伝達装置において、前記視線検出結果通知手
段による前記検出結果情報の通知を行うか否かを前記利
用者が選択するための選択手段を有することを特徴とす
る。

【００１４】請求項３記載の発明は、請求項１または２
記載の視線入力意思伝達装置において、前記視線検出結
果通知手段は、前記表示盤の映像に含まれる選択項目の
背景色、文字色、選択枠の色などを変化させて表示する
ことにより、前記検出結果情報を前記利用者に通知する
ことを特徴とする。

【００１５】請求項４記載の発明は、請求項１または２
記載の視線入力意思伝達装置において、前記視線検出結
果通知手段は、音声を発する発音手段を含み、該発音手
段から発せられた音声により、前記検出結果情報を前記
利用者に通知することを特徴とする。

【００１６】請求項５記載の発明は、請求項１または２
記載の視線入力意思伝達装置において、前記視線検出結
果通知手段は、光を発する発光手段を含み、該発光手段
の発光状態により、前記検出結果情報を前記利用者に通
知することを特徴とする。

【００１７】請求項６記載の発明は、表示盤を利用者に
観察可能に表示する映像観察手段と、前記映像観察手段
により表示される表示盤を観察する利用者の視線を検出
する視線検出手段と、前記視線検出手段による前記利用
者の視線の検出結果を前記映像観察手段に表示される表
示盤に対する入力情報として入力する視線入力手段とを
備え、前記視線入力手段からの入力情報により前記利用
者の意思を伝達する視線入力意思伝達装置において、前
記映像観察手段に、前記表示盤と外部から入力される外
部映像とを並べて表示するように制御する表示制御手段
を有することを特徴とする。

【００１８】請求項７記載の発明は、請求項６記載の視
線入力意思伝達装置において、前記映像観察手段は、前
記表示盤と前記外部映像とを並べて表示可能な１つの画
面を有し、前記表示制御手段は、前記映像観察手段の画
面における前記表示盤と前記外部映像との表示領域の割
合を利用者の指示に基づき任意の割合に設定可能である
ことを特徴とする。

【００１９】請求項８記載の発明は、映像を利用者に観
察可能に表示する映像観察手段と、前記映像観察手段に
より表示される映像を観察する利用者の視線を検出する
視線検出手段と、前記視線検出手段による前記利用者の
視線の検出結果を前記映像観察手段に表示される映像に
対する入力情報として入力する視線入力手段とを備え、
前記視線入力手段からの入力情報により前記利用者の意
思を伝達する視線入力意思伝達装置において、外部から
の映像を入力する外部映像入力手段と、前記外部映像入
力手段から入力された外部映像を前記映像観察手段に表
示するように制御する表示制御手段とを有し、前記表示
制御手段は、前記映像観察手段に前記外部映像が表示さ
れているときに、該外部映像に前記利用者の視線により
選択される選択肢を重ね合わせて表示することが可能で
あることを特徴とする。

【００２０】請求項９記載の発明は、請求項８記載の視
線入力意思伝達装置において、前記映像観察手段に前記
外部映像に前記選択肢を重ね合せて表示するか否かを前
記利用者の指示に基づき選択するための選択手段を有す
ることを特徴とする。

【００２１】請求項１０記載の発明は、選択項目を含む
表示盤を利用者に観察可能に表示する映像観察手段と、
前記映像観察手段により表示される表示盤を観察する利
用者の視線を検出する視線検出手段と、前記視線検出手
段による前記利用者の視線の検出結果を前記表示盤に対
する入力情報として入力する視線入力手段とを備え、前
記視線入力手段からの入力情報により前記利用者の意思
を伝達する視線入力意思伝達装置において、前記利用者
の指示に基づき前記映像観察手段により表示される前記
表示盤上の選択項目の表示形態を変更して表示するよう
に制御する表示制御手段を有することを特徴とする。

【００２２】請求項１１記載の発明は、請求項１０記載
の視線入力意思伝達装置において、前記表示制御手段
は、前記利用者の指示に基づき前記表示盤上の選択項目
の背景色を変更して表示することを特徴とする。

【００２３】請求項１２記載の発明は、請求項１０記載
の視線入力意思伝達装置において、前記表示制御手段
は、前記利用者の指示に基づき前記表示盤上の選択項目
の文字色を変更して表示することを特徴とする。

【００２４】請求項１３記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力する視線入力
手段を備え、前記視線入力手段からの入力情報により前
記利用者の意思を伝達する視線入力意思伝達装置におい
て、外部装置を接続する接続手段と、前記外部装置に対
する制御項目を前記表示盤に表示するように制御する表
示制御手段と、前記表示盤の制御項目の内の制御量を連
続的に可変する項目を選択する入力情報が前記視線入力
手段から入力されると、前記外部装置に対して前記制御
量を連続的に可変するように命令を前記接続手段を介し
て連続的に出力する出力手段とを有することを特徴とす
る。

【００２５】請求項１４記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力する視線入力
手段を備え、該視線入力手段からの入力情報により前記
利用者の意思を伝達する視線入力意思伝達装置におい
て、選択項目を階層的に前記表示盤に表示するように制
御する表示制御手段を有し、前記選択項目からその下位
に位置する選択項目を順に辿りながら選択するように前
記視線入力手段から前記入力情報を前記選択項目の表示
順に従い入力することによって、前記利用者が伝達すべ
き１つの意図を確定するモードを実行可能であるること
を特徴とする。

【００２６】請求項１５記載の発明は、請求項１４記載
の視線入力意思伝達装置において、前記選択項目の階層
構造は、前記利用者の設定により任意の階層構造に変更
可能であることを特徴とする。

【００２７】請求項１６記載の発明は、表示盤を観察す
る利用者の視線を検出し、該利用者の視線の検出結果を
前記表示盤に対する入力情報として入力することによ
り、前記利用者の意思を伝達する視線入力意思伝達方法
において、前記利用者の視線の検出結果に対して、視線
検出成功、視線検出失敗、まばたき中、同じ選択肢を選
択しているなどを表すための検出結果情報を前記利用者
に通知することを特徴とする。

【００２８】請求項１７記載の発明は、請求項１６記載
の視線入力意思伝達方法において、前記検出結果情報の
通知を行うか否かを前記利用者が選択することが可能で
あることを特徴とする。

【００２９】請求項１８記載の発明は、請求項１６また
は１７記載の視線入力意思伝達方法において、前記表示
盤の映像に含まれる選択項目の背景色、文字色、選択枠
の色などを変化させて表示することにより、前記検出結
果情報を前記利用者に通知することを特徴とする。

【００３０】請求項１９記載の発明は、請求項１６また
は１７記載の視線入力意思伝達方法において、発音手段
から発せられた音声により、前記検出結果情報を前記利
用者に通知することを特徴とする。

【００３１】請求項２０記載の発明は、請求項１６また
は１７記載の視線入力意思伝達方法において、発光手段
の発光状態により、前記検出結果情報を前記利用者に通
知することを特徴とする。

【００３２】請求項２１記載の発明は、映像観察手段に
より表示盤を利用者に観察可能に表示し、前記映像観察
手段により表示される表示盤を観察する利用者の視線を
検出し、前記利用者の視線の検出結果を前記映像観察手
段に表示される表示盤に対する入力情報として入力する
ことにより、前記利用者の意思を伝達する視線入力意思
伝達方法において、外部からの外部映像を取り込み、該
外部映像を前記表示盤とを並べて前記映像観察手段に表
示することが可能であることを特徴とする。

【００３３】請求項２２記載の発明は、請求項２１記載
の視線入力意思伝達方法において、前記映像観察手段
は、前記表示盤と前記外部映像とを並べて表示可能な１
つの画面を有し、前記映像観察手段の画面における前記
表示盤と前記外部映像との表示領域の割合を利用者の指
示に基づき任意の割合に設定可能であることを特徴とす
る。

【００３４】請求項２３記載の発明は、映像観察手段に
より映像を利用者に観察可能に表示し、前記映像観察手
段により表示される映像を観察する利用者の視線を検出
し、前記利用者の視線の検出結果を前記映像観察手段に
表示される映像に対する入力情報として入力することに
より、前記利用者の意思を伝達する視線入力意思伝達方
法において、外部からの外部映像を入力し、該入力され
た外部映像を前記映像観察手段に表示するように制御す
る工程と、前記映像観察手段に前記外部映像を表示して
いるときに、該外部映像に前記利用者の視線により選択
される選択肢を重ね合わせて表示するように制御する工
程とを有することを特徴とする。

【００３５】請求項２４記載の発明は、請求項２３記載
の視線入力意思伝達方法において、前記映像観察手段に
前記外部映像に前記選択肢を重ね合せて表示するか否か
を前記利用者の指示に基づき選択するための工程を有す
ることを特徴とする。

【００３６】請求項２５記載の発明は、映像観察手段に
より選択項目を含む表示盤を利用者に観察可能に表示
し、前記映像観察手段により表示される表示盤を観察す
る利用者の視線を検出し、前記利用者の視線の検出結果
を前記表示盤に対する入力情報として入力することによ
り、前記利用者の意思を伝達する視線入力意思伝達方法
において、前記利用者の指示に基づき前記映像観察手段
により表示される前記表示盤上の選択項目の表示形態を
変更して表示するように制御することを特徴とする。

【００３７】請求項２６記載の発明は、請求項２５記載
の視線入力意思伝達方法において、前記利用者の指示に
基づき前記表示盤上の選択項目の背景色を変更して表示
することを特徴とする。

【００３８】請求項２７記載の発明は、請求項２５記載
の視線入力意思伝達方法において、前記利用者の指示に
基づき前記表示盤上の選択項目の文字色を変更して表示
することを特徴とする。

【００３９】請求項２８記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力することによ
り、前記利用者の意思を伝達する視線入力意思伝達方法
において、接続手段を介して外部装置を接続する工程
と、前記外部装置に対する制御項目を前記表示盤に表示
するように制御する工程と、前記表示盤の制御項目の内
の制御量を連続的に可変する項目を選択する入力情報が
入力されると、前記外部装置に対して前記制御量を連続
的に可変するように命令を前記接続手段を介して連続的
に出力する工程とを有することを特徴とする。

【００４０】請求項２９記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力することによ
り、該入力情報により前記利用者の意思を伝達する視線
入力意思伝達方法において、選択項目を階層的に前記表
示盤に表示するように制御する工程と、前記選択項目か
らその下位に位置する選択項目を順に辿りながら選択す
るように前記入力情報を前記選択項目の表示順に従い入
力することによって、前記利用者が伝達すべき１つの意
図を確定するモードを実行する工程とを有することを特
徴とする。

【００４１】請求項３０記載の発明は、請求項２９記載
の視線入力意思伝達方法において、前記選択項目の階層
構造は、前記利用者の設定により任意の階層構造に変更
可能であることを特徴とする。

【００４２】請求項３１記載の発明は、表示盤を観察す
る利用者の視線を検出し、該利用者の視線の検出結果を
前記表示盤に対する入力情報として入力する視線入力装
置を用いて、前記視線入力装置からの前記入力情報によ
り前記利用者の意思を伝達する視線入力意思伝達システ
ムを構築するためのプログラムを格納した記憶媒体にお
いて、前記プログラムは、前記利用者の視線の検出結果
に対して、視線検出成功、視線検出失敗、まばたき中、
同じ選択肢を選択しているなどを表すための検出結果情
報を前記利用者に通知する視線検出結果通知モジュール
を有することを特徴とする。

【００４３】請求項３２記載の発明は、請求項３１記載
の記憶媒体において、前記プログラムは、さらに、前記
視線検出結果通知モジュールによる前記検出結果情報の
通知を行うか否かを前記利用者が選択するための選択モ
ジュールを有することを特徴とする。

【００４４】請求項３３記載の発明は、請求項３１また
は３２記載の記憶媒体において、前記視線検出結果通知
モジュールは、前記表示盤の映像に含まれる選択項目の
背景色、文字色、選択枠の色などを変化させて表示する
ことにより、前記検出結果情報を前記利用者に通知する
ことを特徴とする。

【００４５】請求項３４記載の発明は、請求項３１また
は３２記載の記憶媒体において、前記視線検出結果通知
モジュールは、音声を発する発音手段を制御するモジュ
ールを含み、前記発音手段が発する音声により、前記検
出結果情報を前記利用者に通知することを特徴とする。

【００４６】請求項３５記載の発明は、請求項３１また
は３２記載の記憶媒体において、前記視線検出結果通知
モジュールは、光を発する発光手段を制御するモジュー
ルを含み、該発光手段の発光状態により、前記検出結果
情報を前記利用者に通知することを特徴とする。

【００４７】請求項３６記載の発明は、映像観察手段で
選択肢を含む表示盤を利用者に観察可能に表示し、視線
検出手段で前記映像観察手段に表示される表示盤を観察
する利用者の視線を検出し、視線入力手段で前記視線検
出手段による前記利用者の視線の検出結果を前記映像観
察手段に表示される表示盤に対する入力情報として入力
することにより、前記利用者の意思を伝達する視線入力
意思伝達システムを構築するためのプログラムを格納し
た記憶媒体において、前記プログラムは、前記映像観察
手段に前記表示盤と外部から入力される外部映像とを並
べて表示するように制御する表示制御モジュールを有す
ることを特徴とする。

【００４８】請求項３７記載の発明は、請求項３６記載
の記憶媒体において、前記映像観察手段は、前記表示盤
と前記外部映像とを並べて表示可能な１つの画面を有
し、前記表示制御モジュールは、前記映像観察手段の画
面における前記表示盤と前記外部映像との表示領域の割
合を利用者の指示に基づき任意の割合に設定可能である
ことを特徴とする。

【００４９】請求項３８記載の発明は、映像観察手段で
映像を利用者に観察可能に表示し、視線検出手段で前記
映像観察手段に表示される映像を観察する利用者の視線
を検出し、視線入力手段で前記視線検出手段による前記
利用者の視線の検出結果を前記映像観察手段に表示され
る映像に対する入力情報として入力することにより前記
利用者の意思を伝達する視線入力意思伝達システムを構
築するためのプログラムを格納した記憶媒体において、
前記プログラムは、外部からの映像を入力する外部映像
入力モジュールと、前記外部映像入力モジュールから入
力された外部映像を前記映像観察手段に表示するように
制御する表示制御モジュールとを有し、前記表示制御モ
ジュールは、前記映像観察手段に前記外部映像を表示し
ているときに、該外部映像に前記利用者の視線により選
択される選択肢を重ね合わせて表示することが可能であ
ることを特徴とする。

【００５０】請求項３９記載の発明は、請求項３８記載
の記憶媒体において、前記プログラムは、さらに、前記
映像観察手段に前記外部映像に前記選択肢を重ね合せて
表示するか否かを前記利用者の指示に基づき選択するた
めの選択モジュール手段を有することを特徴とする。

【００５１】請求項４０記載の発明は、映像観察手段で
選択項目を含む表示盤を利用者に観察可能に表示し、視
線検出手段で前記映像観察手段に表示される表示盤を観
察する利用者の視線を検出し、視線入力手段で前記視線
検出手段による前記利用者の視線の検出結果を前記表示
盤に対する入力情報として入力することにより前記利用
者の意思を伝達する視線入力意思伝達システムを構築す
るためのプログラムを格納した記憶媒体において、前記
プログラムは、前記利用者の指示に基づき前記映像観察
手段により表示される前記表示盤上の選択項目の表示形
態を変更して表示するように制御する表示制御モジュー
ルを有することを特徴とする。

【００５２】請求項４１記載の発明は、請求項４０記載
の記憶媒体において、前記表示制御モジュールは、前記
利用者の指示に基づき前記表示盤上の選択項目の背景色
を変更して表示することを特徴とする。

【００５３】請求項４２記載の発明は、請求項４０記載
の記憶媒体において、前記表示制御モジュールは、前記
利用者の指示に基づき前記表示盤上の選択項目の文字色
を変更して表示することを特徴とする。

【００５４】請求項４３記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力する視線入力
装置を用いて、前記視線入力装置からの入力情報により
前記利用者の意思を伝達する視線入力意思伝達システム
を構築するためのプログラムを格納した記憶媒体におい
て、前記プログラムは、接続手段を介して接続された外
部装置に対する制御項目を前記表示盤に表示するように
制御する表示制御モジュールと、前記表示盤の制御項目
の内の制御量を連続的に可変する項目を選択する入力情
報が前記視線入力手段から入力されると、前記外部装置
に対して前記制御量を連続的に可変するように命令を前
記接続手段を介して連続的に出力する出力モジュールと
を有することを特徴とする。

【００５５】請求項４４記載の発明は、表示盤に向かい
合う利用者の視線を検出し、該利用者の視線の検出結果
を前記表示盤に対する入力情報として入力する視線入力
装置を用いて、該視線入力装置からの入力情報により前
記利用者の意思を伝達する視線入力意思伝達システムを
構築するための記憶媒体において、前記プログラムは、
選択項目を階層的に前記表示盤に表示するように制御す
る表示制御モジュールと、前記選択項目からその下位に
位置する選択項目を順に辿りながら選択するように前記
視線入力手段から前記入力情報を前記選択項目の表示順
に従い入力することによって、前記利用者が伝達すべき
１つの意図を確定するモードを実行するモード実行モジ
ュールとを有することを特徴とする。

【００５６】請求項４５記載の発明は、請求項４４記載
の記憶媒体において、前記選択項目の階層構造は、前記
利用者の設定により任意の階層構造に変更可能であるこ
とを特徴とする。

【００５７】

【発明の実施の形態】以下に本発明の実施の形態につい
て図を参照しながら説明する。

【００５８】（実施の第１形態）まず、視線検出方法の
原理について図１および図２を参照しながら説明する。
図１は視線検出方法の原理を示す図であり、同図（ａ）
は上面図、同図（ｂ）は側面図である。図２は図１のイ
メージセンサ９１２に投影される眼球像およびその信号
の強度を示す図である。

【００５９】視線検出には、図１（ａ），（ｂ）に示す
ように、観察者に対して不感の赤外光を放射する発光ダ
イオード（ＩＲＥＤ）などの光源９０６ａ，９０６ｂが
用いられている。各光源９０６ａ，９０６ｂは、結像レ
ンズ９１１の光軸に対してｘ方向（水平方向）にほぼ対
称に配置され、ｙ方向（垂直方向）にやや下側に配置さ
れている。各光源９０６ａ，９０６ｂから放射された赤
外光は観察者の眼球で反射され、その反射された赤外光
の一部は結像レンズ９１１を通してイメージセンサ９１
２上に結像される。

【００６０】ここで、まず水平面を考えると、図１
（ａ）に示すように、光源９０６ｂから放射された赤外
光は観察者の眼球９０８の角膜９１０を照射する。この
とき、角膜９１０の表面で反射した赤外光により形成さ
れた角膜反射像ｄ（虚像）は、結像レンズ９１１により
集光され、イメージセンサ９１２上の位置ｄ′に結像す
る。同様に、光源９０６ａから放射された赤外光は観察
者の眼球９０８の角膜９１０を照射する。このとき、角
膜９１０の表面で反射した赤外光により形成された角膜
反射像ｅ（虚像）は、結像レンズ９１１により集光さ
れ、イメージセンサ９１２上の位置ｅ′に結像する。ま
た、虹彩９０４の端部ａ，ｂからの光束は結像レンズ９
１１を介してイメージセンサ９１２上の位置ａ′，ｂ′
に像を結像する。

【００６１】結像レンズ９１１の光軸に対する眼球９０
８の光軸の回転角θが小さい場合、虹彩９０４の端部
ａ，ｂのｘ座標をｘａ，ｘｂとすると、ｘａ，ｘｂはイ
メージセンサ９１１上で多数点求められる（図２（ａ）
中の×印参照）。そこで、円の最小自乗方法法により瞳
孔中心ｘｃが算出される。一方、角膜９１０の曲率中心
ｏのｘ座標をｘｏとすると、眼球９０８の光軸に対する
回転角θｘは次の式（１）により示される。

【００６２】ｏｃ・ｓｉｎθｘ＝ｘｃ−ｘｏ …（１）また、ｘｏは、角膜反射像ｄとｅの中点ｋに所定の補正
値δｘを考慮し、次の式（２）により求められる。

【００６３】ｘｈ＝（ｘｄ＋ｘｅ）／２ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ …（２）ここで、δｘは装置の設置方法および眼球距離などから
幾何学的に求められる数値である。よって、上述の各式
（１），（２）により、θｘは次の式（３）に示すよう
に求められる。

【００６４】 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］ …（３）さらに、イメージセンサ上９１２上に投影されたそれぞ
れの特徴点の座標を「′（ダッシュ）」を付けて書き換
えると、次の式（４）が得られる。

【００６５】 θｘ＝ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ …（４）ここで、ベータは結像レンズ９１１に対する眼球の距離
ｓｚｅにより決まる倍率であり、実際には角膜反射像の
間隔│ｘｄ′−ｘｅ′│の関数として求められる。

【００６６】垂直面で考えると、図１（ｂ）に示すよう
に、２つの光源９０６ａ，９０６ｂにより生じる角膜反
射像は同位置に発生し、これをｉとする。眼球９０８の
回転軸θｙの算出方法は水平面の場合とほぼ同一である
が、上記式（２）式だけが異なり、各曲率の中心ｏのｙ
座標ｙｏは、次の（５）式により求められる。

【００６７】ｙｏ＝ｙｉ＋δｙ …（５）ここで、δｙは装置の設置方法および眼球距離などから
幾何学的に求められる数値である。よって、垂直方向の
回転軸θｙは次の式（６）に示すように求められる。

【００６８】 θｙ＝ａｒｃｓｉｎ［［ｙｃ′−｛（ｙｉ′＋δｙ′）］／ｏｃ／β］…（６）さらに、ファインダなどの画面上の位置座表（ｘｎ，ｙ
ｎ）は、ファインダ光学系で決まる定数ｍを用いると、
水平面上、垂直面上でそれぞれ次の各式（７），（８）
で表される。

【００６９】ｘｎ＝ｍ・ａｒｃｓｉｎ［［ｘｃ′−｛（ｘｄ′＋ｘｅ′）／２＋δｘ′｝］／ｏｃ／β］ …（７）ｙｎ＝ｍ・ａｒｃｓｉｎ［［ｙｃ′−｛（ｙｉ′＋δｙ′）］／ｏｃ／β］ …（８）図２（ｂ）から明らかなように、瞳孔エッジの検出は、
イメージセンサ９１２の出力波形の立ち下がり（ｘ
ｂ′）および立ち上がり（ｘａ′）を利用する。また、
角膜反射像の座標は鋭い立ち上がり部（ｘｅ′）および
（ｘｄ′）を利用する。

【００７０】次に、本実施の形態における視線入力意志
伝達装置の構成について図３ないし図５を参照しながら
説明する。図３は本発明の視線入力意思伝達装置の実施
の第１形態の構成を示すブロック図、図４は図３の視線
入力意思伝達装置におけるプリズム１００３の形状を示
す側面図、図５は図３の視線入力意思伝達装置の使用状
態を示す概念図である。

【００７１】視線入力意志伝達装置は、図３に示すよう
に、ヘッドマウントディスプレイ１００６と、パーソナ
ルコンピュータ（以下、パソコンという）１００８と、
外部モニタ１００９とから構成される。ヘッドマウント
ディスプレイ１００６は、ゴーグル、メガネフレームな
どで利用者の眼の近傍に位置するように利用者に装着さ
れる。ヘッドマウントディスプレイ１００６は、外部モ
ニタ１００９の画面に表示される映像を観察し、該映像
に対して向けられた利用者の視線位置を検出し、その検
出結果をパソコン１００８に入力するように構成されて
いる。

【００７２】ヘッドマウントディスプレイ１００６は、
外部モニタ１００９に表示された映像を利用者が観察可
能に表示するための映像観察手段と、映像観察手段によ
り表示された映像を観察する利用者の視線を検出し、そ
の視線の検出結果をパソコン１００８に入力する視線検
出手段とを備える。映像観察手段は、具体的には、外部
モニタ１００９に表示された映像を表示するための液晶
表示素子１００２と、該液晶表示素子１００２を駆動す
るための液晶表示回路１００７と、液晶表示素子１００
２に表示された映像を拡大して利用者の左右の眼１００
５に投影するための特殊プリズム１００３とを有する。
視線検出手段は、具体的には、利用者の左右の眼１００
５に特殊プリズム１０１３を介して赤外光を照射する赤
外光発光ダイオード１０６０，１０６１と、利用者の左
右の眼１００５で反射された赤外光が特殊プリズム１０
０３を通して入射され、該入射された赤外光を光電変換
素子１０６３の撮像面に結像させる結像レンズ１０６２
系とを有する。結像レンズ１０６２系は２つのレンズ１
０６２ａ，１０６２ｂから構成されている。光電変換素
子１０６３は、その撮像面に結像された赤外光を光電変
換により電気信号に変換し、該電気信号は視線位置情報
として視線検出回路１０６４に入力される。視線検出回
路１０６４は、入力された視線位置情報に基づき特殊プ
リズム１００３を介して投影された映像上の利用者の注
視点を求め、その求めた注視点を視線位置情報としてパ
ソコン１００８に出力する。この注視点を求める方法
は、上述した視線検出方法の原理に従い行われる。な
お、赤外光発光ダイオード１０６０は裸眼用として紙面
奥行き方向にそれぞれ配列された２つの発光ダイオード
からなり、赤外光発光ダイオード１０６１は眼鏡用とし
て紙面奥行き方向にそれぞれ配列された２つの発光ダイ
オードからなる。

【００７３】次に、このヘッドマウントディスプレイ１
１０６における映像観察手段の光学作用について説明す
る。液晶表示素子１００２からの光は特殊プリズム１０
０３の第３の光学作用面ｃを屈折透過して特殊プリズム
１００３の内部に入射し、その入射した光は第１の光学
作用面ａで全反射する。その全反射した光は第２の光学
作用面特殊作用面ｂで反射した後に、第１の光学作用面
ａを屈折透過して利用者の視度に適合した拡がり角（収
束角）の光束となって眼側に射出する。

【００７４】なお、ここでは、利用者の眼１００５と液
晶表示素子１００２の中心を結ぶ直線を基本光軸として
示している。利用者の示度に対する調整は、液晶表示素
子１００２を特殊プリズム１００３の光軸に沿って平行
移動させることにより可能になる。この特注プリズム１
００３を、像性能と歪みを補正してテレセントリックな
系とするために、３つの光学作用面をそれぞれ回転対称
軸を有しない３次元曲面で構成することが望ましく、こ
の場合、基本光軸を含み、紙面に平行な平面に対してだ
け対象な曲面構造を有する構成となる。

【００７５】次に、視線検出手段の光学作用について説
明する。各赤外光発光ダイオード１０６０，１０６１か
ら発せられた赤外光は、第２の光学作用面ｂに形成され
た開口部１０１２，１０１３，１０１４，１０１５を通
して視線検出手段の光軸とは異なる方向から利用者の眼
１００５を照明する。

【００７６】利用者の眼１００５を照射する赤外光は眼
１００５の角膜、瞳孔で反射されて散乱し、角膜で反射
した赤外光は角膜反射像を形成し、瞳孔で反射した赤外
光は瞳孔像を形成する。これらの赤外光は、第２の光学
作用面ｂに形成された開口部１０１０を通して結像レン
ズ１０６２系に導かれ、結像レンズ系１０６２により光
電変換素子１０６３の撮像面上に結像される。光電変素
子１０６３はその撮像面に結像された赤外光を電気信号
に変換し、該電気信号は視線検出回路１０６４に入力さ
れる。

【００７７】特殊プリズム１００３の第２の光学作用面
ｂに設けられた開口部１０１２，１０１３，１０１４，
１０１５は、図４に示すように、開口部１０１０を基準
に左右に配置されている。ここで、開口部１０１２，１
０１３は、上述したように、各裸眼用赤外光発光ダイオ
ード１０６０に対してそれぞれ設けられた開口部であ
り、開口部１０１４，１０１５は、各眼鏡用赤外光発光
ダイオード１０６１に対してそれぞれ設けられた開口部
である。これらの開口部の配置は各赤外発光ダイオード
の配置から決められるものである。本実施の形態では、
各裸眼用赤外光発光ダイオード１０６０が、視線検出手
段の光軸からその下方にやや離れた位置に同一の高さで
光軸と対称に狭い幅で左右にそれぞれ配置されている。
これに対し、各眼鏡用赤外光発光ダイオード１０６１
が、視線検出手段の光軸からその下方にやや離れた位置
に同一の高さで光軸と対称に広い幅で左右にそれぞれ配
置されている。このような配置により、眼球を均等に照
明することができるなどの視線検出を精度良く行うこと
ができる。なお、裸眼の場合と眼鏡を着用した場合との
判別は、前記角膜反射像の間隔│ｘｄ′−ｘｅ′│から
眼鏡と特殊プリズム１００３との間の距離を算出するこ
とにより行われる。

【００７８】なお、本実施の形態では、結像レンズ系１
０６２を２つのレンズ１０６２ａ，１０６２ｂで構成し
ているが、レンズ１０６２ｂをくさび形状のレンズとす
ることにより、結像レンズ系１０６２を少ないレンズで
構成することを可能にする。このことはヘッドマウント
ディスプレイの小型化に寄与する。また、レンズ１０６
２ａの特殊プリズム１００３との対向面（斜めの面）に
曲率を付けることにより、第２の光学作用面ｂで発生す
る偏心収差を有効に補正することができる。さらに、結
像レンズ系に少なくとも１つの非球面を設けることによ
り、軸外の結像性能を補正する上で有効な作用を得るこ
とができる。

【００７９】また、結像レンズ系１０６２と特殊プリズ
ム１００３との間に絞りを設け、この絞りを開口部１０
１０に近づけた方が、開口部１０１０を小さくすること
ができ、映像観察手段に対する映像の中抜けを最小限に
抑制することができる。特に、絞りと開口部１０１０と
の大きさが一致していることが好ましく、開口部１０１
０の大きさは２ｍｍ以下の値に設定すれば、開口部１０
１０が眼の瞳孔より小さくなり、利用者に対する映像の
中抜けの発生を確実に抑制することができる。

【００８０】さらに、本実施の形態では、利用者の眼に
不感の赤外光を用いているが、この場合、結像レンズ系
に可視光をカットする部材からなるレンズを設けること
により、視線の検出精度を向上させることができる。

【００８１】次に、パソコン１００８について説明す
る。パソコン１００８は、各種演算、処理を行うＣＰＵ
１８１４と、ＢＩＯＳプログラムを格納するＲＯＭ１８
１６およびＣＰＵ１８１４の作業領域となるＲＡＭ１８
１７に対する読み出しまたは書き込みを制御するメモリ
コントローラ１８１８と、マウスなどのポインティング
デバイス、キーボード、ヘッドマウントディスプレイ１
００６の視線検出回路などを接続し、これらからの入力
を取り込むアクセサリデバイスコントローラ１８１５
と、ビデオＲＡＭ１８１１に書き込まれた内容を外部モ
ニタ１００９またはヘッドマウントディスプレイ１００
６の液晶表示素子１００２に表示するように制御するビ
デオグラフィックコントローラ１８１２と、外部モニタ
１００９またはヘッドマウントディスプレイ１００６の
液晶表示回路１００７を接続するＩ／Ｏチャネル１８１
９とを備える。上述の各ブロックはシステムバス１８１
３を介して相互に接続されている。

【００８２】本実施の形態では、パソコン１００８によ
り、ヘッドマウントディスプレイ１００６の液晶表示回
路１００７に利用者が観察する映像データを供給する映
像表示処理と、ヘッドマウントディスプレイ１００６の
視線検出回路１０６４からの視点位置データをアクセサ
リデバイスコントローラ１８１５を介して入力し、該視
点位置データに基づき液晶表示素子１００２に表示され
た映像に含まれる選択肢の中から選択された選択肢を特
定し、該特定した選択肢の入力処理とを行う。また、視
点位置データに基づき視線検出成功、視線検出失敗、ま
ばたき中、同じ選択肢を選択しているなどの検出結果状
況を判断し、その判断結果に応じて検出結果状況を表す
検出結果情報を利用者に通知する検出結果通知処理を行
うことが可能であり、この検出結果通知処理を行うか否
かは、利用者の指示により選択して設定することが可能
である。なお、本実施の形態では、利用者が観察する映
像に含まれる選択項目の枠色を変化させて表示すること
により、検出結果情報を利用者に通知するように設定さ
れている。

【００８３】これらの処理は、予めハードディスク（図
示せず）などの記憶媒体から読み出された視線入力意志
伝達システム構築用プログラムをＣＰＵ１８１４により
実行することによって実行される。

【００８４】次に、本視線入力意思伝達装置の使用時に
おける動作について図５を参照しながら説明する。ここ
で、視線入力意思伝達装置は、利用者１の頭部に眼鏡な
どと同様に装着されるヘッドマウントディスプレイ１０
０６と、パソコン１００８と外部モニタ１００９を有す
るパソコンユニット４と、ヘッドマウントディスプレイ
２とパソコン１００８とを接続するとともに、ヘッドマ
ウントディスプレイ２に電力を供給するためのアダプタ
３１とから構成されているものとする。

【００８５】使用時には、まず、パソコンユニット４が
起動され、視線入力意思伝達システム構築用プログラム
が実行される。次いで、利用者１が、アダプタ３１を介
してパソコン１００８に接続されたヘッドマウントディ
スプレイ１００６を装着する。パソコン１００８からは
ヘッドマウントディスプレイ１００６に映像が供給さ
れ、ヘッドマウントディスプレイ１００６は供給された
映像を利用者１に表示する。例えば、本５図に示すよう
に、ヘッドマウントディスプレイ１００６には、ひらが
な、アルファベットなどの文字を選択して入力する画面
３が表示され、利用者１は画面３を観察することができ
る。この画面３上における所望の文字を選択して入力す
る際には、画面３上の所望の文字に対して利用者１が視
線を向ける。この向けられた視線の視線位置が検出され
ると、検出された視線位置に基づき対応する文字が選択
されて入力されることになる。このように、ヘッドマウ
ントディスプレイ１００６は、パソコン１００８によっ
て生成された映像に対するポインティングデバイスとし
て作用することになる。

【００８６】次に、視線検出結果情報通知処理の手順に
ついて図６および図７を参照しながら説明する。図６お
よび図７は図３の視線入力意思伝達装置における視線検
出結果情報通知処理の手順を示すフローチャートであ
る。

【００８７】図６を参照するに、まずステップＳ１０１
において、ヘッドマウントディスプレイ１００６の視線
検出回路１０６４からの視線位置データに基づき利用者
が目を閉じているか否かを判定し、利用者が目を閉じて
いないときには、ステップＳ１０２に進み、目を閉じて
いる時間をカウントするカウンタEyeBlinkCntを０にリ
セットし、続くステップＳ１０３で、視線検出回路１０
６４からの視線位置データに基づき視線位置にある文字
を選択された文字として算出する。次いで、ステップＳ
１０４に進み、今回選択された文字が前回選択された文
字と同じか否かを判定し、今回選択された文字が前回選
択された文字と同じであるときには、ステップＳ１０７
に進み、アップカウンタからなるカウンタSelectedCnt
を１インクリメントし、そして図７に示すステップＳ１
１４に進む。これに対し、今回選択された文字が前回選
択された文字と同じでないときには、ステップＳ１０５
に進み、選択された文字のデータを今回選択された文字
に更新し、続くステップＳ１０６で、前記カウンタSele
ctedCntを０にリセットし、そしてステップＳ１１４に
進む。

【００８８】上記ステップＳ１０１において目を閉じて
いると判定されたときには、ステップＳ１０８に進み、
視線検出回路１０６４からまばたきであったことを示す
検出データが入力されたか否かに応じて利用者が目を閉
じたことがまばたきであったか否かを判定する。まばた
きであると判定すると、ステップＳ１０９に進み、フラ
グEyeBlinkStartFlgに１を設定し、ステップＳ１１０に
進む。これに対し、まばたきでないと判定すると、ステ
ップＳ１０９をスキップしてステップＳ１１０に進み、
目が閉じられている時間をカウントするカウンタEyeBli
nkCntを１インクリメントし、続くステップS１１１で、
カウンタEyeBlinkCntのカウント値が設定値を以上であ
るか否かを判定する。カウンタEyeBlinkCntのカウント
値が設定値を以上でないときには、図７に示すステップ
Ｓ１１４に進む。

【００８９】これに対し、カウンタEyeBlinkCntのカウ
ント値が設定値を以上であるときには、ステップＳ１１
２に進み、カウンタSelectedCntのカウント値が設定値
以上であるか否かを判定する。ここで、カウンタSelect
edCntに対する設定値はカウンタEyeBlinkCntに対する設
定値と異なるものとする。カウンタSelectedCntのカウ
ント値が設定値以上でないときには、図７に示すステッ
プＳ１１４に進み、カウンタSelectedCntのカウント値
が設定値以上であるときには、カウンタEyeBlinkCntお
よびカウンタSelectedCntの各値が対応する設定値を満
たしたことにより文字入力を行う条件が成立したと判断
してステップＳ１１３に進み、文字入力処理への移行を
行う。

【００９０】上記ステップＳ１０６若しくはステップＳ
１０７の実行後、または上記ステップＳ１１１若しくは
ステップＳ１１２で否定応答されたときには、ステップ
Ｓ１１４に進む。ステップＳ１１４では、図７に示すよ
うに、視線検出結果状態表示モードが設定されているか
否かを判定する。視線検出結果表示モードが設定されて
いないときには、本処理を抜ける。これに対し、視線検
出結果表示モードが設定されているときには、ステップ
Ｓ１１６に進み、カウンタEyeBlinkCntのカウント値お
よびフラグEyeBlinkStartFlgの値が第１の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第１の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝０の各関係が成立することを意味する。第１の条
件が満たされれば、すなわちカウンタEyeBlinkCntのカ
ウント値が１以上であるが、フラグEyeBlinkStartFlgの
値が０であることにより、目が閉じられている状態でま
ばたきが検出されていないと判断してステップＳ１１７
に進み、利用者が観察する液晶表示素子１００２の映像
中の対応する文字の選択枠の色を目が閉じられている状
態でまばたきの検出がされていないことを示す色に変更
して表示し、本処理を抜ける。ここで、まばたきの検出
がされていないことを示す色としては、例えば濃茶色が
設定されている。

【００９１】これに対し、第１の条件が満足されないと
きには、ステップＳ１１８に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第２の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第２の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値＜設定値
の各関係が成立することを意味する。第２の条件が満た
されれば、すなわちカウンタEyeBlinkCntのカウント値
が１以上であり、フラグEyeBlinkStartFlgの値が１であ
ることにより、選択した文字の入力を確定するためのま
ばたきの検出は行われたが、カウンタSelectedCntのカ
ウント値が設定値に到達していないことにより、その選
択した文字の確定が行われていないと判断してステップ
Ｓ１１９に進み、利用者が観察する液晶表示素子１００
２の映像中の対応する文字の選択枠の色を選択の確定が
行われていないことを示す色に変更して表示し、本処理
を抜ける。ここで、選択の確定が行われていないことを
示す色としては、例えば茶色が設定されている。

【００９２】これに対し、第２の条件が満足されないと
きには、ステップＳ１２０に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第３の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第３の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値≧設定値
の各関係が成立することを意味する。第３の条件が満た
されれば、すなわちカウンタSelectedCntのカウント値
が設定値に到達していることにより、その選択した文字
は確定されているが、カウンタEyeBlinkCntのカウント
値が１以上であり、フラグEyeBlinkStartFlgの値が１で
あることにより、このまま目を閉じた状態を所定の時間
継続すれば選択した文字の入力を確定することが可能に
なると判断してステップＳ１２１に進み、利用者が観察
する液晶表示素子１００２の映像中の対応する文字の選
択枠の色を目を閉じた状態を所定の時間継続すれば文字
入力の確定が可能な状態になることを示す色に変更して
表示し、本処理を抜ける。ここで、目を閉じた状態を所
定の時間継続すれば文字入力の確定が可能になることを
示す色としては、例えば緑色が設定されている。

【００９３】これに対し、第３の条件が満足されないと
きには、ステップＳ１２２に進み、カウンタSelectedCn
tのカウント値が第４の条件により規定されている値を
それぞれ満たしているか否かを判定する。ここで、第４
の条件を満足することは、カウンタSelectedCntのカウ
ント値≧設定値の各関係が成立することを意味する。第
４の条件が満たされれば、すなわちカウンタSelectedCn
tのカウント値が設定値に到達していることにより、そ
の選択した文字は確定されているが、上記第１ないし上
記第３の条件に該当しない状態であるから、目が閉じら
れていない状態であると判断してステップＳ１２３に進
み、利用者が観察する液晶表示素子１００２の映像中の
対応する文字の選択枠の色をその文字の選択が確定され
た状態であることを示す色に変更して表示し、本処理を
抜ける。ここで、文字の選択が確定された状態を示す色
としては、例えば青色が設定されている。

【００９４】第４の条件が満足されないとき、すなわち
上記第１ないし第４の条件のいずれの条件にも該当しな
い状態であるから、目が開けられ、かつカウンタSelect
edCntのカウント値＜設定値の関係を満足することによ
り文字の選択も行われていないと判断してステップＳ１
２４に進み、利用者が観察する液晶表示素子１００２の
映像中の選択項目の枠の色を項目の選択が行われていな
い状態であることを示す色に変更して表示し、本処理を
抜ける。ここで、文字の選択が行われていない状態を示
す色としては、例えば黄色が設定されている。

【００９５】このように、本実施の形態では、利用者が
観察する映像に含まれる選択可能な文字の選択枠の色を
変化させて表示することにより、検出結果情報を利用者
に通知するから、利用者が視線の検出結果を確認するこ
とができ、利用者が無駄な動作を何度も繰り返すなどの
恐れをなくすことができる。

【００９６】なお、本実施の形態では、利用者が観察す
る選択可能な文字の選択枠の色を変化させて表示するこ
とにより、検出結果情報を利用者に通知するように構成
しているが、これに代えて、選択する文字の色、選択す
る文字の背景色などを変更するすることによって、検出
結果情報を利用者に通知するように構成することもでき
る。また、ここでは、文字を選択する場合の例を説明し
たが、他の図形などから構成される選択項目を選択する
際にも同様にその視線検出結果の状態を通知するするよ
うに構成することができることはいうまでもない。

【００９７】（実施の第２形態）次に、本発明の実施の
第２形態について図８および図９を参照しながら説明す
る。図８および図９は本発明の視線入力意思伝達装置の
実施の第２形態における視線検出結果情報通知処理の手
順を示すフローチャートである。

【００９８】本実施の形態は、上述の実施の第１形態に
対し、パソコン１００８に組み込まれているスピーカか
ら発せられる音声メッセージにより、検出結果情報を利
用者に通知するように設定されている点で異なる。な
お、本実施の形態は上述の実施の第１形態と同じ構成を
有し、その説明は省略する。

【００９９】次に、視線検出結果情報通知処理の手順に
ついて図８および図９を参照しながら説明する。

【０１００】図８を参照するに、まずステップＳ２０１
において、ヘッドマウントディスプレイ１００６の視線
検出回路１０６４からの視線位置データに基づき利用者
が目を閉じているか否かを判定し、利用者が目を閉じて
いないときには、ステップＳ２０２に進み、カウンタEy
eBlinkCntを０にリセットし、続くステップＳ２０３
で、視線検出回路１０６４からの視線位置データに基づ
き視線位置にある文字を選択された文字として算出す
る。次いで、ステップＳ２０４に進み、今回選択された
文字が前回選択された文字と同じか否かを判定し、今回
選択された文字が前回選択された文字と同じであるとき
には、ステップＳ２０７に進み、カウンタSelectedCnt
を１インクリメントし、そして図９に示すステップＳ２
１４に進む。これに対し、今回選択された文字が前回選
択された文字と同じでないときには、ステップＳ２０５
に進み、選択された文字のデータを今回選択された文字
に更新し、続くステップＳ２０６で、前記カウンタSele
ctedCntを０にリセットし、そしてステップＳ２１４に
進む。

【０１０１】上記ステップＳ２０１において目を閉じて
いると判定されたときには、ステップＳ２０８に進み、
視線検出回路１０６４からまばたきであったことを示す
検出データが入力されたか否かに応じて利用者が目を閉
じたことがまばたきであったか否かを判定する。まばた
きであると判定すると、ステップＳ２０９に進み、フラ
グEyeBlinkStartFlgに１を設定し、ステップＳ２１０に
進む。これに対し、まばたきでないと判定すると、ステ
ップＳ２０９をスキップしてステップＳ２１０に進み、
EyeBlinkCntを１インクリメントし、続くステップS２１
１で、カウンタEyeBlinkCntのカウント値が設定値を以
上であるか否かを判定する。カウンタEyeBlinkCntのカ
ウント値が設定値を以上でないときには、図９に示すス
テップS２１４に進む。

【０１０２】これに対し、カウンタEyeBlinkCntのカウ
ント値が設定値を以上であるときには、ステップＳ２１
２に進み、カウンタSelectedCntのカウント値が設定値
以上であるか否かを判定する。ここで、カウンタSelect
edCntに対する設定値はカウンタEyeBlinkCntに対する設
定値と異なるものとする。カウンタSelectedCntのカウ
ント値が設定値以上でないときには、図９に示すステッ
プＳ２１４に進み、カウンタSelectedCntのカウント値
が設定値以上であるときには、カウンタEyeBlinkCntお
よびカウンタSelectedCntの各値が対応する設定値を満
たしたことにより文字入力を行う条件が成立したと判断
してステップＳ２１３に進み、文字入力処理への移行を
行う。

【０１０３】上記ステップＳ２０６若しくはステップＳ
２０７の実行後、または上記ステップＳ２１１若しくは
ステップＳ２１２で否定応答されたときには、ステップ
Ｓ２１４に進む。ステップＳ２１４では、図９に示すよ
うに、視線検出結果状態表示モードが設定されているか
否かを判定する。視線検出結果表示モードが設定されて
いないときには、本処理を抜ける。これに対し、視線検
出結果表示モードが設定されているときには、ステップ
Ｓ２１６に進み、カウンタEyeBlinkCntのカウント値お
よびフラグEyeBlinkStartFlgの値が第１の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第１の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝０の各関係が成立することを意味する。第１の条
件が満たされれば、すなわちカウンタEyeBlinkCntのカ
ウント値が１以上であるが、フラグEyeBlinkStartFlgの
値が０であることにより、目が閉じられている状態でま
ばたきが検出されていないと判断してステップＳ２１７
に進み、目が閉じられている状態でまばたきの検出がさ
れていないことを示す音声メッセージを音声出力用メモ
リにセットする。そして、ステップＳ２２５に進み、音
声出力用メモリにセットされた音声メッセージをスピー
カから発するように音声出力処理を行い、本処理を抜け
る。

【０１０４】これに対し、第１の条件が満足されないと
きには、ステップＳ２１８に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第２の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第２の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値＜設定値
の各関係が成立することを意味する。第２の条件が満た
されれば、すなわちカウンタEyeBlinkCntのカウント値
が１以上であり、フラグEyeBlinkStartFlgの値が１であ
ることにより、選択した項目の入力を確定するためのま
ばたきの検出は行われたが、カウンタSelectedCntのカ
ウント値が設定値に到達していないことにより、その選
択した項目の確定が行われていないと判断してステップ
Ｓ２１９に進み、選択の確定が行われていないことを示
す音声メッセージを音声出力用メモリにセットする。そ
して、ステップＳ２２５に進み、音声出力用メモリにセ
ットされた音声メッセージをスピーカから発するように
音声出力処理を行い、本処理を抜ける。

【０１０５】これに対し、第２の条件が満足されないと
きには、ステップＳ２２０に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第３の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第３の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値≧設定値
の各関係が成立することを意味する。第３の条件が満た
されれば、すなわちカウンタSelectedCntのカウント値
が設定値に到達していることにより、その選択した項目
は確定されているが、カウンタEyeBlinkCntのカウント
値が１以上であり、フラグEyeBlinkStartFlgの値が１で
あることにより、このまま目を閉じた状態を所定の時間
継続すれば選択した文字の入力を確定することが可能に
なると判断してステップＳ２２１に進み、目を閉じた状
態を所定の時間継続すれば入力の確定が可能な状態にな
ることを示す音声メッセージを音声出力用メモリにセッ
トする。そして、ステップＳ２２５に進み、音声出力用
メモリにセットされた音声メッセージをスピーカから発
するように音声出力処理を行い、本処理を抜ける。

【０１０６】これに対し、第３の条件が満足されないと
きには、ステップＳ２２２に進み、カウンタSelectedCn
tのカウント値が第４の条件により規定されている値を
それぞれ満たしているか否かを判定する。ここで、第４
の条件を満足することは、カウンタSelectedCntのカウ
ント値≧設定値の各関係が成立することを意味する。第
４の条件が満たされれば、すなわちカウンタSelectedCn
tのカウント値が設定値に到達していることにより、そ
の選択した文字は確定されているが、上記第１ないし上
記第３の条件に該当しない状態であるから、目が閉じら
れていない状態であると判断してステップＳ２２３に進
み、文字の選択が確定された状態であることを示す音声
メッセージを音声出力用メモリにセットする。そしてス
テップＳ２２５に進み、で音声出力用メモリにセットさ
れた音声メッセージをスピーカから発するように音声出
力処理を行い、本処理を抜ける。

【０１０７】第４の条件が満足されないとき、すなわち
上記第１ないし第４の条件のいずれの条件にも該当しな
い状態であるから、目が開けられ、かつカウンタSelect
edCntのカウント値＜設定値の関係を満足することによ
り選択項目の選択も行われていないと判断してステップ
Ｓ２２４に進み、文字の選択が行われていない状態であ
ることを示す音声メッセージを音声出力用メモリにセッ
トする。そしてステップＳ２２５に進み、で音声出力用
メモリにセットされた音声メッセージをスピーカから発
するように音声出力処理を行い、本処理を抜ける。

【０１０８】このように、本実施の形態では、音声メッ
セージにより、検出結果情報を利用者に通知するから、
上述の実施の第１形態と同様の効果を得ることができ
る。

【０１０９】（実施の第３形態）次に、本発明の実施の
第３形態について図１０および図１１を参照しながら説
明する。図１０および図１１は本発明の視線入力意思伝
達装置の実施の第３形態における視線検出結果情報通知
処理の手順を示すフローチャートである。

【０１１０】本実施の形態は、上述の実施の第１形態に
対し、パソコン１００８に組み込まれているスピーカか
ら発せられるビープ音により、検出結果情報を利用者に
通知するように設定されている点で異なる。なお、本実
施の形態は上述の実施の第１形態と同じ構成を有し、そ
の説明は省略する。

【０１１１】次に、視線検出結果情報通知処理の手順に
ついて図１０および図１１を参照しながら説明する。な
お、本実施の形態における視線検出結果情報通知処理
は、上述の実施の第２形態に対し、音声メッセージに代
えてビープ音で通知する点のみが異なり、その異なる部
分についてのみ説明を行う。また、図１０に示すステッ
プＳ３０１からステップＳ３１３までの処理は、上述の
実施の第２形態におけるステップＳ２０１からステップ
Ｓ２１３にそれぞれ同じであり、その説明は省略する。

【０１１２】上記ステップＳ３０６若しくはステップＳ
３０７の実行後、または上記ステップＳ３１１若しくは
ステップＳ３１２で否定応答されたときには、ステップ
Ｓ３１４に進む。ステップＳ３１４では、図１１に示す
ように、視線検出結果状態表示モードが設定されている
か否かを判定する。視線検出結果表示モードが設定され
ていないときには、本処理を抜ける。これに対し、視線
検出結果表示モードが設定されているときには、ステッ
プＳ３１６に進み、カウンタEyeBlinkCntのカウント値
およびフラグEyeBlinkStartFlgの値が第１の条件により
規定されている値をそれぞれ満たしているか否かを判定
する。ここで、第１の条件を満足することは、カウンタ
EyeBlinkCntのカウント値≧１、フラグEyeBlinkStartFl
gの値＝０の各関係が成立することを意味する。第１の
条件が満たされれば、すなわちカウンタEyeBlinkCntの
カウント値が１以上であるが、フラグEyeBlinkStartFlg
の値が０であることにより、目が閉じられている状態で
まばたきが検出されていないと判断してステップＳ３１
７に進み、目が閉じられている状態でまばたきの検出が
されていないことを示すビープ音データを音声出力用メ
モリにセットする。そして、ステップＳ３２５に進み、
音声出力用メモリにセットされたビープ音データをスピ
ーカから発するように音声出力処理を行い、本処理を抜
ける。

【０１１３】これに対し、第１の条件が満足されないと
きには、ステップＳ３１８に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第２の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第２の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値＜設定値
の各関係が成立することを意味する。第２の条件が満た
されれば、すなわちカウンタEyeBlinkCntのカウント値
が１以上であり、フラグEyeBlinkStartFlgの値が１であ
ることにより、選択した文字の入力を確定するためのま
ばたきの検出は行われたが、カウンタSelectedCntのカ
ウント値が設定値に到達していないことにより、その選
択した文字の確定が行われていないと判断してステップ
Ｓ３１９に進み、文字の選択の確定が行われていないこ
とを示すビープ音データを音声出力用メモリにセットす
る。そして、ステップＳ３２５に進み、音声出力用メモ
リにセットされたビープ音データをスピーカから発する
ように音声出力処理を行い、本処理を抜ける。

【０１１４】これに対し、第２の条件が満足されないと
きには、ステップＳ３２０に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第３の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第３の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値≧設定値
の各関係が成立することを意味する。第３の条件が満た
されれば、すなわちカウンタSelectedCntのカウント値
が設定値に到達していることにより、その選択した文字
は確定されているが、カウンタEyeBlinkCntのカウント
値が１以上であり、フラグEyeBlinkStartFlgの値が１で
あることにより、このまま目を閉じた状態を所定の時間
継続すれば選択した文字の入力を確定することが可能に
なると判断してステップＳ３２１に進み、目を閉じた状
態を所定の時間継続すれば入力の確定が可能な状態にな
ることを示すビープ音データを音声出力用メモリにセッ
トする。そして、ステップＳ３２５に進み、音声出力用
メモリにセットされたビープ音データをスピーカから発
するように音声出力処理を行い、本処理を抜ける。

【０１１５】これに対し、第３の条件が満足されないと
きには、ステップＳ３２２に進み、カウンタSelectedCn
tのカウント値が第４の条件により規定されている値を
それぞれ満たしているか否かを判定する。ここで、第４
の条件を満足することは、カウンタSelectedCntのカウ
ント値≧設定値の各関係が成立することを意味する。第
４の条件が満たされれば、すなわちカウンタSelectedCn
tのカウント値が設定値に到達していることにより、そ
の選択した文字は確定されているが、上記第１ないし上
記第３の条件に該当しない状態であるから、目が閉じら
れていない状態であると判断してステップＳ３２３に進
み、文字の選択が確定された状態であることを示すビー
プ音データを音声出力用メモリにセットする。そしてス
テップＳ３２５に進み、音声出力用メモリにセットされ
たビープ音データをスピーカから発するように音声出力
処理を行い、本処理を抜ける。

【０１１６】第４の条件が満足されないとき、すなわち
上記第１ないし第４の条件のいずれの条件にも該当しな
い状態であるから、目が開けられ、かつカウンタSelect
edCntのカウント値＜設定値の関係を満足することによ
り選択項目の選択も行われていないと判断してステップ
Ｓ３２４に進み、文字の選択が行われていない状態であ
ることを示すビープ音データを音声出力用メモリにセッ
トする。そしてステップＳ３２５に進み、音声出力用メ
モリにセットされたビープ音データをスピーカから発す
るように音声出力処理を行い、本処理を抜ける。

【０１１７】このように、本実施の形態では、ビープ音
により、検出結果情報を利用者に通知するから、上述の
実施の第２形態と同様の効果を得ることができる。

【０１１８】（実施の第４形態）次に、本発明の実施の
第４形態について図１２および図１３を参照しながら説
明する。図１２および図１３は本発明の視線入力意思伝
達装置の実施の第４形態における視線検出結果情報通知
処理の手順を示すフローチャートである。

【０１１９】本実施の形態は、上述の実施の第１形態に
対し、ヘッドマウントディスプレイ１００６に複数の発
光ダイオード（図示せず）を組み込み、複数の発光ダイ
オードの発光を制御することにより、検出結果情報を利
用者に通知するように設定されている点で異なる。な
お、本実施の形態は上述の実施の第１形態と同じ構成を
有し、その説明は省略する。

【０１２０】次に、視線検出結果情報通知処理の手順に
ついて図１２および図１３を参照しながら説明する。な
お、本実施の形態における視線検出結果情報通知処理
は、上述の実施の第２形態に対し、音声メッセージに代
えて可視光を発光する複数の発光ダイオードの発光状態
により通知する点のみが異なり、その異なる部分につい
てのみ説明を行う。また、図１２に示すステップＳ４０
１からステップＳ４１３までの処理は、上述の実施の第
２形態におけるステップＳ２０１からステップＳ２１３
にそれぞれ同じであり、その説明は省略する。

【０１２１】上記ステップＳ４０６若しくはステップＳ
４０７の実行後、または上記ステップＳ４１１若しくは
ステップＳ４１２で否定応答されたときには、ステップ
Ｓ４１４に進む。ステップＳ４１４では、図１３に示す
ように、視線検出結果状態表示モードが設定されている
か否かを判定する。視線検出結果表示モードが設定され
ていないときには、本処理を抜ける。これに対し、視線
検出結果表示モードが設定されているときには、ステッ
プＳ４１６に進み、カウンタEyeBlinkCntのカウント値
およびフラグEyeBlinkStartFlgの値が第１の条件により
規定されている値をそれぞれ満たしているか否かを判定
する。ここで、第１の条件を満足することは、カウンタ
EyeBlinkCntのカウント値≧１、フラグEyeBlinkStartFl
gの値＝０の各関係が成立することを意味する。第１の
条件が満たされれば、すなわちカウンタEyeBlinkCntの
カウント値が１以上であるが、フラグEyeBlinkStartFlg
の値が０であることにより、目が閉じられている状態で
まばたきが検出されていないと判断してステップＳ４１
７に進み、目が閉じられている状態でまばたきの検出が
されていないことを表すための発光ダイオードＬＥＤ１
のオン命令をＩ／Ｆ出力用メモリにセットする。そし
て、ステップＳ４２５に進み、Ｉ／Ｆ出力用メモリから
発光ダイオードＬＥＤ１のオン命令を出力し、本処理を
抜ける。ここで、このオン命令を受けた発光ダイオード
ＬＥＤ１は点灯され、この点灯により目が閉じられてい
る状態でまばたきの検出がされていないことが利用者に
通知される。

【０１２２】これに対し、第１の条件が満足されないと
きには、ステップＳ４１８に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第２の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第２の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値＜設定値
の各関係が成立することを意味する。第２の条件が満た
されれば、すなわちカウンタEyeBlinkCntのカウント値
が１以上であり、フラグEyeBlinkStartFlgの値が１であ
ることにより、選択した文字の入力を確定するためのま
ばたきの検出は行われたが、カウンタSelectedCntのカ
ウント値が設定値に到達していないことにより、その選
択した文字の確定が行われていないと判断してステップ
Ｓ３１９に進み、文字の選択の確定が行われていないこ
とを表すための発光ダイオードＬＥＤ２に対するオン命
令をＩ／Ｆ出力用メモリにセットされる。そして、ステ
ップＳ４２５に進み、Ｉ／Ｆ出力用メモリから発光ダイ
オードＬＥＤ２のオン命令を発光ダイオードＬＥＤ２に
対して出力し、本処理を抜ける。ここで、このオン命令
を受けた発光ダイオードＬＥＤ２は点灯され、この点灯
により文字の選択の確定が行われていないことが利用者
に通知される。

【０１２３】これに対し、第２の条件が満足されないと
きには、ステップＳ４２０に進み、カウンタEyeBlinkCn
tのカウント値、フラグEyeBlinkStartFlgの値およびカ
ウンタSelectedCntのカウント値が第３の条件により規
定されている値をそれぞれ満たしているか否かを判定す
る。ここで、第３の条件を満足することは、カウンタEy
eBlinkCntのカウント値≧１、フラグEyeBlinkStartFlg
の値＝１、カウンタSelectedCntのカウント値≧設定値
の各関係が成立することを意味する。第３の条件が満た
されれば、すなわちカウンタSelectedCntのカウント値
が設定値に到達していることにより、その選択した文字
は確定されているが、カウンタEyeBlinkCntのカウント
値が１以上であり、フラグEyeBlinkStartFlgの値が１で
あることにより、このまま目を閉じた状態を所定の時間
継続すれば選択した文字の入力を確定することが可能に
なると判断してステップＳ４２１に進み、目を閉じた状
態を所定の時間継続すれば入力の確定が可能な状態にな
ることを表すための発光ダイオードＬＥＤ３に対するオ
ン命令をＩ／Ｆ出力用メモリにセットする。そして、ス
テップＳ４２５に進み、Ｉ／Ｆ出力用メモリから発光ダ
イオードＬＥＤ３にオン命令を出力し、本処理を抜け
る。ここで、このオン命令を受けた発光ダイオードＬＥ
Ｄ３は点灯され、この点灯により目を閉じた状態を所定
の時間継続すれば入力の確定が可能な状態になることが
利用者に通知される。

【０１２４】これに対し、第３の条件が満足されないと
きには、ステップＳ４２２に進み、カウンタSelectedCn
tのカウント値が第４の条件により規定されている値を
それぞれ満たしているか否かを判定する。ここで、第４
の条件を満足することは、カウンタSelectedCntのカウ
ント値≧設定値の各関係が成立することを意味する。第
４の条件が満たされれば、すなわちカウンタSelectedCn
tのカウント値が設定値に到達していることにより、そ
の選択した文字は確定されているが、上記第１ないし上
記第３の条件に該当しない状態であるから、目が閉じら
れていない状態であると判断してステップＳ４２３に進
み、文字の選択が確定された状態であることを表すため
の発光ダイオードＬＥＤ４に対するオン命令をＩ／Ｆ出
力用メモリにセットする。そして、ステップＳ４２５に
進み、Ｉ／Ｆ出力用メモリから発光ダイオードＬＥＤ４
にオン命令を出力し、本処理を抜ける。ここで、このオ
ン命令を受けた発光ダイオードＬＥＤ４は点灯され、こ
の点灯により文字の選択が確定された状態であることが
利用者に通知される。

【０１２５】第４の条件が満足されないとき、すなわち
上記第１ないし第４の条件のいずれの条件にも該当しな
い状態であるから、目が開けられ、かつカウンタSelect
edCntのカウント値＜設定値の関係を満足することによ
り文字の選択も行われていないと判断してステップＳ４
２４に進み、文字の選択が行われていない状態であるこ
とを表すための発光ダイオードＬＥＤ５に対するオン命
令をＩ／Ｆ出力用メモリにセットする。そして、ステッ
プＳ４２５に進み、Ｉ／Ｆ出力用メモリから発光ダイオ
ードＬＥＤ５にオン命令を出力し、本処理を抜ける。こ
こで、このオン命令を受けた発光ダイオードＬＥＤ５は
点灯され、この点灯により文字の選択が行われていない
状態であることが利用者に通知される。

【０１２６】このように、本実施の形態では、発光ダイ
オードＬＥＤ１〜５の点灯の状態により、検出結果情報
を利用者に通知するから、上述の実施の第１形態と同様
の効果を得ることができる。

【０１２７】（実施の第５形態）次に、本発明の実施の
第５形態について図１４ないし図１６を参照しながら説
明する。図１４は本発明の視線入力意思伝達装置の実施
の第５形態における外部映像表示処理の手順を示すフロ
ーチャート、図１５および図１６は図１４の外部映像表
示処理によりヘッドマウントディスプレイに表示された
画面例を示す図である。

【０１２８】本実施の形態では、パソコン１００８が外
部からの映像を取り込むインタフェースを有し、該取り
込まれた外部映像と、視線入力により選択可能な選択項
目を表示する表示盤とを並べてヘッドマウントディスプ
レイ１００６の液晶表示素子１００２に表示する表示処
理を行うとともに、ヘッドマウントディスプレイ１００
６の液晶表示素子１００２における外部映像と、表示盤
との表示領域の割合を利用者の指示に基づき任意の割合
に設定する処理とを行う。

【０１２９】次に、本実施の形態における外部映像表示
処理の手順について図１４を参照しながら説明する。

【０１３０】まず、ステップＳ５０１において、外部映
像を表示するか否かを判定し、外部映像を表示しないと
きには、ステップＳ５０２に進み、液晶表示素子１００
２における外部映像と表示盤との表示領域の割合を示す
変数を、表示盤のみを表示する場合における値に変更
し、ステップＳ５０６に進む。ステップＳ５０６では、
選択項目を表示盤上に表示し、本処理を抜ける。

【０１３１】これに対し、上記ステップＳ５０１で外部
映像を表示すると判定されると、ステップＳ５０３に進
み、液晶表示素子１００２における外部映像と表示盤と
の表示領域の割合を示す変数を所望の値に設定し、続く
ステップＳ５０４でステップＳ５０３において設定され
た割合に基づき外部映像の表示サイズを決定する。そし
てステップＳ５０５に進み、外部映像の液晶表示素子１
００２への表示を開始するように液晶表示回路１００７
に対する制御を開始し、続くステップＳ５０６で外部映
像の表示領域以外の領域に選択項目を表示し、本処理を
抜ける。

【０１３２】この処理により、例えば、図１５に示すよ
うな画面を利用者に対して表示することができる。この
図１５に示す画面において、外部映像をさらに拡大して
表示するときには、視線入力により「画面大」のアイコ
ンが選択される。この選択により、図１６に示すよう
に、外部映像が拡大されて液晶表示素子１００２の表示
領域全体に表示される。このとき、選択項目は表示され
ずに、この拡大された外部映像を表示する画面を図１５
に戻すためのアイコン（画面右上の丸いボタン）のみが
表示される。

【０１３３】よって、本実施の形態では、選択項目を見
ながら外部から入力された外部映像を見ることができ
る。

【０１３４】（実施の第６形態）次に、本発明の実施の
第６形態について図１７ないし図１９を参照しながら説
明する。図１７ないし図１９は本発明の視線入力意思伝
達装置の実施の第６形態における映像表示処理によりヘ
ッドマウントディスプレイに表示された画面例を示す図
である。

【０１３５】本実施の形態では、パソコン１００８が外
部からの映像を取り込むインタフェースを有し、該取り
込まれた外部映像に、視線入力により選択可能な選択項
目を重ね合せてヘッドマウントディスプレイ１００６の
液晶表示素子１００２に表示する表示処理を行うととも
に、外部映像と選択項目とを重ね合わせて表示するか否
かを選択することが可能である。また、外部映像のみを
表示している画面において、該外部映像上のある位置を
視線入力により選択すると、この視線入力により選択さ
れた位置が選択項目の表示位置であるか否かを判定し、
視線入力により入力された位置が選択項目の表示位置で
あると、この位置に対応する選択項目を外部映像に重ね
合わせて表示する処理を行う。

【０１３６】本実施の形態の表示処理では、例えば、図
１７に示すように、外部映像と選択項目とを重ね合わせ
て表示することができる。

【０１３７】また、図１８に示すように、外部映像のみ
を表示している画面において、該外部映像上のある位置
（図中の×印）を視線入力により選択すると、この視線
入力により選択された位置が選択項目の表示位置である
か否かの判定が行われる。ここで、視線入力により入力
された位置が選択項目「ＣＨ＋」の表示位置であると、
図１９に示すように、この選択項目「ＣＨ＋」が外部映
像に重ね合わせて表示される。この選択項目を視線入力
により選択すれば、この選択項目が入力され、対応する
処理が実行されることになる。

【０１３８】よって、本実施の形態では、外部から入力
された外部映像を見ながら視線入力により選択肢の選択
を行うことができる。

【０１３９】（実施の第７形態）次に、本発明の実施の
第７形態について図２０ないし図２３を参照しながら説
明する。図２０ないし図２３は本発明の視線入力意思伝
達装置の実施の第７形態における映像表示処理によりヘ
ッドマウントディスプレイに表示された画面例を示す図
である。

【０１４０】本実施の形態では、ヘッドマウントディス
プレイ１００６の液晶表示素子１００２に表示される選
択項目の表示形態を変更して表示する表示処理を行う。

【０１４１】本実施の形態の表示処理では、例えば図２
０に示すように、ヘッドマウントディスプレイ１００６
に表示されている選択項目の表示形態を変更するときに
は、この画面上の「設定」メニューを選択し、図２１に
示すメニュー画面を開く。このメニュー画面において
「画面色設定」を選択すると、図２２に示す「画面色設
定」ダイアログボックスが開かれ、このダイアログボッ
クスにおいて画面選択タグ２２１で画面が選択され、さ
らに選択ボタン２２２の入力により色変更対象となる項
目が指示される。次いで、背景色・文字色チェックボタ
ン２２３で色設定にある背景色、文字色のいずれを変え
るかが指示され、色ボタン２２４で変更後の色が指定さ
れる。

【０１４２】また、メモページ表示の色を変えるときに
は、「Ｍｅｍｐａｐｅ」ボタン２２５を選択した後に、
背景色・文字色チェックボタン２２３で色設定にある背
景色、文字色のいずれを変えるかが指示され、色ボタン
２２４で変更後の色が指定されるで選択ボタン２２２が
入力される。

【０１４３】さらに、選択画面内の全部の選択肢および
メモページ表示部を１つの色で全て変更するときには、
「すべて選択」ボタン２２６を選択し、背景色・文字色
チェックボタン２２３で色設定にある背景色、文字色の
いずれを変えるかを指示し、色ボタン２２４で変更後の
色を指定する。このように所望の色変更が設定される
と、ダイアログボックスの下にある「更新」ボタン２２
７を押すことによりヘッドマウントディスプレイ１００
６に表示される選択項目の表示色が変更されて表示され
ることになる。また、「更新」ボタン２２７を押さずに
「ＯＫ」ボタン２２８を押して「画面色設定」ダイアロ
グボックスを終了させることによっても、ヘッドマウン
トディスプレイ１００６に表示される選択項目の表示色
を変更して表示することができる。

【０１４４】ここで、例えば、「画面色設定」ダイアロ
グボックスを用いて選択項目の内の「あ」の文字色を黒
色、その背景色を白色に変更すると、図２３に示す画面
がヘッドマウントディスプレイ１００６に表示される。

【０１４５】このように、本実施の形態では、選択項目
を利用者に視認し易く表示することができる。

【０１４６】（実施の第８形態）次に、本発明の実施の
第８形態について図２４ないし図３３を参照しながら説
明する。図２４は本発明の視線入力意思伝達装置の実施
の第８形態における選択処理によりヘッドマウントディ
スプレイに表示された選択画面例を示す図、図２５は本
発明の視線入力意思伝達装置の実施の第８形態における
選択処理の手順を示すフローチャート、図２６は図２５
のステップＳ１６０２の上矢印選択処理を示すフローチ
ャート、図２７は図２５のステップＳ１６０４の下矢印
選択処理を示すフローチャート、図２８は図２５のステ
ップＳ１６０６の右矢印選択処理を示すフローチャー
ト、図２９は図２５のステップＳ１６０８の左矢印選択
処理を示すフローチャート、図３０は図２５のステップ
Ｓ１６１０の左上矢印選択処理を示すフローチャート、
図３１は図２５のステップＳ１６１２の右上矢印選択処
理を示すフローチャート、図３２は図２５のステップＳ
１６１４の左下矢印選択処理を示すフローチャート、図
３３は図２５のステップＳ１６１６の右下矢印選択処理
を示すフローチャートである。

【０１４７】本実施の形態では、複数回の視線入力によ
り１つの選択項目を選択する処理を行う。具体的には、
図２４に示すように、選択画面には、中央部に選択項目
が、その周囲に「上」、「下」、「左」、「右」、「左
上」、「左下」、「右上」、「右下」の各矢印がそれぞ
れ配置されている。利用者は、この８方向の矢印キーを
視線入力により選択することにより、この選択枠を所望
の文字または項目位置に移動させ、ここで視線入力確定
条件を満足する視線入力を行うと、この選択が位置する
文字または項目を選択して入力する。

【０１４８】次に、選択画面を用いた選択処理の手順に
ついて図２５を参照しながら説明する。まずステップＳ
１６０１において、ヘッドマウントディスプレイ１００
６に表示された選択画面上における視線位置が「上」矢
印キーの位置にあるか否かを判定し、視線位置が「上」
矢印キーの位置にあるときには、ステップＳ１６０２に
進み、上矢印選択処理を行う。視線位置が「上」矢印キ
ーの位置にないときには、ステップＳ１６０３に進み、
選択画面上における視線位置が「下」矢印キーの位置に
あるか否かを判定し、視線位置が「下」矢印キーの位置
にあるときには、ステップＳ１６０４に進み、下矢印選
択処理を行う。視線位置が「下」矢印キーの位置にない
ときには、ステップＳ１６０５に進み、選択画面上にお
ける視線位置が「右」矢印キーの位置にあるか否かを判
定し、視線位置が「右」矢印キーの位置にあるときに
は、ステップＳ１６０６に進み、右矢印選択処理を行
う。視線位置が「右」矢印キーの位置にないときには、
ステップＳ１６０７に進み、選択画面上における視線位
置が「左」矢印キーの位置にあるか否かを判定し、視線
位置が「左」矢印キーの位置にあるときには、ステップ
Ｓ１６０８に進み、左矢印選択処理を行う。視線位置が
「左」矢印キーの位置にないときには、ステップＳ１６
０９に進み、選択画面上における視線位置が「左上」矢
印キーの位置にあるか否かを判定し、視線位置が「左
上」矢印キーの位置にあるときには、ステップＳ１６１
０に進み、左上矢印選択処理を行う。視線位置が「左
上」矢印キーの位置にないときには、ステップＳ１６１
１に進み、選択画面上における視線位置が「右上」矢印
キーの位置にあるか否かを判定し、視線位置が「右上」
矢印キーの位置にあるときには、ステップＳ１６１２に
進み、右上矢印選択処理を行う。視線位置が「右上」矢
印キーの位置にないときには、ステップＳ１６１３に進
み、選択画面上における視線位置が「左下」矢印キーの
位置にあるか否かを判定し、視線位置が「左下」矢印キ
ーの位置にあるときには、ステップＳ１６１４に進み、
左下矢印選択処理を行う。視線位置が「左下」矢印キー
の位置にないときには、ステップＳ１６１５に進み、選
択画面上における視線位置が「右下」矢印キーの位置に
あるか否かを判定し、視線位置が「右下」矢印キーの位
置にあるときには、ステップＳ１６１６に進み、右下矢
印選択処理を行う。視線位置が「右下」矢印キーの位置
にないときには、緯線位置が各方向の矢印キーのいずれ
の位置にもないと判断して本処理を抜ける。

【０１４９】次に、上矢印選択処理について図２６を参
照しながら説明する。上矢印選択処理では、まずステッ
プＳ１７０１において、上矢印選択回数カウンタを１イ
ンクリメントし、続くステップＳ１７０２でその他の方
向の矢印選択回数カウンタを０にリセットする。次い
で、ステップＳ１７０３に進み、上矢印選択回数カウン
タの値が設定値以上であるか否かを判定し、上矢印選択
回数カウンタの値が設定値未満であると、本処理を抜け
る。上矢印選択回数カウンタの値が設定値以上である
と、ステップＳ１７０５に進み、現在の縦方向選択セル
番号が０であるか否かすなわち現在選択されている項目
が最上段のセル位置にあるか否かを判定する。現在選択
されている項目が最上段のセル位置にないときには、ス
テップＳ１７０６に進み、縦方向セル番号を１インクリ
メントし、ステップＳ１７０７に進む。これに対し、現
在選択されている項目が最上段のセル位置にあるときに
は、ステップＳ１７０６をスキップしてステップＳ１７
０７に進む。

【０１５０】ステップＳ１７０７では、上矢印選択回数
カウンタを０にリセットし、続くステップＳ１７０８で
画面を再度描画して本処理を抜ける。

【０１５１】次に、下矢印選択処理について図２７を参
照しながら説明する。下矢印選択処理では、まずステッ
プＳ１８０１において、下矢印選択回数カウンタを１イ
ンクリメントし、続くステップＳ１８０２でその他の方
向の矢印選択回数カウンタを０にリセットする。次い
で、ステップＳ１８０３に進み、下矢印選択回数カウン
タの値が設定値以上であるか否かを判定し、下矢印選択
回数カウンタの値が設定値未満であると、本処理を抜け
る。下矢印選択回数カウンタの値が設定値以上である
と、ステップＳ１８０５に進み、現在の縦方向選択セル
番号が最大値であるか否かすなわち現在選択されている
項目が最下段のセル位置にあるか否かを判定する。現在
選択されている項目が最下段のセル位置にないときに
は、ステップＳ１８０６に進み、縦方向セル番号を１デ
クリメントし、ステップＳ１８０７に進む。これに対
し、現在選択されている項目が最下段のセル位置にある
ときには、ステップＳ１８０６をスキップしてステップ
Ｓ１８０７に進む。

【０１５２】ステップＳ１８０７では、下矢印選択回数
カウンタを０にリセットし、続くステップＳ１８０８で
画面を再度描画して本処理を抜ける。

【０１５３】次に、右矢印選択処理について図２８を参
照しながら説明する。右矢印選択処理では、まずステッ
プＳ１９０１において、右矢印選択回数カウンタを１イ
ンクリメントし、続くステップＳ１９０２でその他の方
向の矢印選択回数カウンタを０にリセットする。次い
で、ステップＳ１９０３に進み、右矢印選択回数カウン
タの値が設定値以上であるか否かを判定し、右矢印選択
回数カウンタの値が設定値未満であると、本処理を抜け
る。右矢印選択回数カウンタの値が設定値以上である
と、ステップＳ１９０５に進み、現在の横方向選択セル
番号が最大値であるか否かすなわち現在選択されている
項目が最右端のセル位置にあるか否かを判定する。現在
選択されている項目が最右端のセル位置にないときに
は、ステップＳ１９０６に進み、横方向セル番号を１イ
ンクリメントし、ステップＳ１９０７に進む。これに対
し、現在選択されている項目が最右端のセル位置にある
ときには、ステップＳ１９０６をスキップしてステップ
Ｓ１９０７に進む。

【０１５４】ステップＳ１９０７では、右矢印選択回数
カウンタを０にリセットし、続くステップＳ１９０８で
画面を再度描画して本処理を抜ける。

【０１５５】次に、左矢印選択処理について図２９を参
照しながら説明する。左矢印選択処理では、まずステッ
プＳ２００１において、左矢印選択回数カウンタを１イ
ンクリメントし、続くステップＳ２００２でその他の方
向の矢印選択回数カウンタを０にリセットする。次い
で、ステップＳ２００３に進み、左矢印選択回数カウン
タの値が設定値以上であるか否かを判定し、右矢印選択
回数カウンタの値が設定値未満であると、本処理を抜け
る。右矢印選択回数カウンタの値が設定値以上である
と、ステップＳ２００５に進み、現在の横方向選択セル
番号が０であるか否かすなわち現在選択されている項目
が最左端のセル位置にあるか否かを判定する。現在選択
されている項目が最左端のセル位置にないときには、ス
テップＳ２００６に進み、横方向セル番号を１デクリメ
ントし、ステップＳ２００７に進む。これに対し、現在
選択されている項目が最左端のセル位置にあるときに
は、ステップＳ２００６をスキップしてステップＳ２０
０７に進む。

【０１５６】ステップＳ２００７では、左矢印選択回数
カウンタを０にリセットし、続くステップＳ２００８で
画面を再度描画して本処理を抜ける。

【０１５７】次に、左上矢印選択処理について図３０を
参照しながら説明する。左上矢印選択処理では、まずス
テップＳ２１０１において、左上矢印選択回数カウンタ
を１インクリメントし、続くステップＳ２１０２でその
他の方向の矢印選択回数カウンタを０にリセットする。
次いで、ステップＳ２１０３に進み、左上矢印選択回数
カウンタの値が設定値以上であるか否かを判定し、左上
矢印選択回数カウンタの値が設定値未満であると、本処
理を抜ける。左上矢印選択回数カウンタの値が設定値以
上であると、ステップＳ２１０５に進み、現在の横方向
選択セル番号が０であるか否かすなわち現在選択されて
いる項目が最左端のセル位置にあるか否かを判定する。
現在選択されている項目が最左端のセル位置にないとき
には、ステップＳ２１０６に進み、横方向セル番号を１
デクリメントし、ステップＳ２１０７に進む。これに対
し、現在選択されている項目が最左端のセル位置にある
ときには、ステップＳ２１０６をスキップしてステップ
Ｓ２１０７に進む。

【０１５８】ステップＳ２１０７では、現在の縦方向選
択セル番号が０であるか否かすなわち現在選択されてい
る項目が最上段のセル位置にあるか否かを判定する。現
在選択されている項目が最上段のセル位置にないときに
は、ステップＳ２１０８に進み、縦方向選択セル番号を
１インクリメントし、ステップＳ２１０９に進む。これ
に対し、現在選択されている項目が最上段のセル位置に
あるときには、ステップＳ２１０８をスキップしてステ
ップＳ２１０９に進む。

【０１５９】ステップＳ２１０９では、左上矢印選択回
数カウンタを０にリセットし、続くステップＳ２１１０
で画面を再度描画して本処理を抜ける。

【０１６０】次に、右上矢印選択処理について図３１を
参照しながら説明する。右上矢印選択処理では、まずス
テップＳ２２０１において、右上矢印選択回数カウンタ
を１インクリメントし、続くステップＳ２２０２でその
他の方向の矢印選択回数カウンタを０にリセットする。
次いで、ステップＳ２２０３に進み、右上矢印選択回数
カウンタの値が設定値以上であるか否かを判定し、右上
矢印選択回数カウンタの値が設定値未満であると、本処
理を抜ける。右上矢印選択回数カウンタの値が設定値以
上であると、ステップＳ２２０５に進み、現在の横方向
選択セル番号が最大値であるか否かすなわち現在選択さ
れている項目が最右端のセル位置にあるか否かを判定す
る。現在選択されている項目が最右端のセル位置にない
ときには、ステップＳ２２０６に進み、横方向選択セル
番号を１インクリメントし、ステップＳ２２０７に進
む。これに対し、現在選択されている項目が最右端のセ
ル位置にあるときには、ステップＳ２２０６をスキップ
してステップＳ２２０７に進む。

【０１６１】ステップＳ２２０７では、現在の縦方向選
択セル番号が０であるか否かすなわち現在選択されてい
る項目が最上段のセル位置にあるか否かを判定する。現
在選択されている項目が最上段のセル位置にないときに
は、ステップＳ２２０８に進み、縦方向選択セル番号を
１インクリメントし、ステップＳ２２０９に進む。これ
に対し、現在選択されている項目が最上段のセル位置に
あるときには、ステップＳ２２０８をスキップしてステ
ップＳ２２０９に進む。

【０１６２】ステップＳ２２０９では、右上矢印選択回
数カウンタを０にリセットし、続くステップＳ２２１０
で画面を再度描画して本処理を抜ける。

【０１６３】次に、左下矢印選択処理について図３２を
参照しながら説明する。左下矢印選択処理では、まずス
テップＳ２３０１において、左下矢印選択回数カウンタ
を１インクリメントし、続くステップＳ２３０２でその
他の方向の矢印選択回数カウンタを０にリセットする。
次いで、ステップＳ２３０３に進み、左下矢印選択回数
カウンタの値が設定値以上であるか否かを判定し、左下
矢印選択回数カウンタの値が設定値未満であると、本処
理を抜ける。左下矢印選択回数カウンタの値が設定値以
上であると、ステップＳ２３０５に進み、現在の横方向
選択セル番号が０であるか否かすなわち現在選択されて
いる項目が最左端のセル位置にあるか否かを判定する。
現在選択されている項目が最左端のセル位置にないとき
には、ステップＳ２３０６に進み、横方向セル番号を１
デクリメントし、ステップＳ２３０７に進む。これに対
し、現在選択されている項目が最左端のセル位置にある
ときには、ステップＳ２３０６をスキップしてステップ
Ｓ２３０７に進む。

【０１６４】ステップＳ２３０７では、現在の縦方向選
択セル番号が最大値であるか否かすなわち現在選択され
ている項目が最下段のセル位置にあるか否かを判定す
る。現在選択されている項目が最下段のセル位置にない
ときには、ステップＳ２３０８に進み、縦方向選択セル
番号を１インクリメントし、ステップＳ２３０９に進
む。これに対し、現在選択されている項目が最下段のセ
ル位置にあるときには、ステップＳ２３０８をスキップ
してステップＳ２３０９に進む。

【０１６５】ステップＳ２３０９では、左下矢印選択回
数カウンタを０にリセットし、続くステップＳ２３１０
で画面を再度描画して本処理を抜ける。

【０１６６】次に、右下矢印選択処理について図３３を
参照しながら説明する。右下矢印選択処理では、まずス
テップＳ２４０１において、右下矢印選択回数カウンタ
を１インクリメントし、続くステップＳ２４０２でその
他の方向の矢印選択回数カウンタを０にリセットする。
次いで、ステップＳ２４０３に進み、右下矢印選択回数
カウンタの値が設定値以上であるか否かを判定し、右下
矢印選択回数カウンタの値が設定値未満であると、本処
理を抜ける。右下矢印選択回数カウンタの値が設定値以
上であると、ステップＳ２４０５に進み、現在の横方向
選択セル番号が最大値であるか否かすなわち現在選択さ
れている項目が最右端のセル位置にあるか否かを判定す
る。現在選択されている項目が最右端のセル位置にない
ときには、ステップＳ２４０６に進み、横方向選択セル
番号を１インクリメントし、ステップＳ２２０７に進
む。これに対し、現在選択されている項目が最右端のセ
ル位置にあるときには、ステップＳ２４０６をスキップ
してステップＳ２４０７に進む。

【０１６７】ステップＳ２４０７では、現在の縦方向選
択セル番号が最大値であるか否かすなわち現在選択され
ている項目が最下段のセル位置にあるか否かを判定す
る。現在選択されている項目が最下段のセル位置にない
ときには、ステップＳ２４０８に進み、縦方向選択セル
番号を１インクリメントし、ステップＳ２４０９に進
む。これに対し、現在選択されている項目が最下段のセ
ル位置にあるときには、ステップＳ２４０８をスキップ
してステップＳ２４０９に進む。

【０１６８】ステップＳ２４０９では、右上矢印選択回
数カウンタを０にリセットし、続くステップＳ２４１０
で画面を再度描画して本処理を抜ける。

【０１６９】このように、本実施の形態では、８方向の
矢印キーを視線入力により選択することにより、この選
択枠を所望の文字または項目位置に移動させ、ここで視
線入力確定条件を満足する視線入力を行うと、この選択
が位置する文字または項目を選択して入力するから、所
定の入力を確実にかつ容易に行うことができるととも
に、利用者の入力に関する動作を易しくする操作環境を
得ることができる。

【０１７０】（実施の第９形態）次に、本発明の実施の
第９形態について図３４ないし図３６を参照しながら説
明する。図３４および図３５は本発明の視線入力意思伝
達装置の実施の第９形態におけるヘッドマウントディス
プレイに表示された選択画面例を示す図、図３６は本発
明の視線入力意思伝達装置の実施の第９形態における処
理の手順を示すフローチャートである。

【０１７１】本実施の形態では、パソコン１００８が外
部装置を制御可能に接続するインタフェースを有し、該
外部装置に対して制御量を連続的に可変する選択項目を
選択可能にヘッドマウントディスプレイ１００６に表示
し、この選択項目が視線入力により選択されると、制御
量を連続して可変するための命令をパソコン１００８で
生成し、該命令をインタフェースを介して外部装置に出
力する処理を行う。

【０１７２】本実施の形態では、例えば、テレビジョン
を接続し、このテレビジョン放送による映像とともにそ
のチャンネルの切替え、音量の調整などを行うための選
択項目をヘッドマウントディスプレイ１００６に表示す
る場合を例に説明する。この選択項目の中には、チャン
ネルを１チャンネルづつ連続的に切り替えることを指示
する項目が含まれている。

【０１７３】具体的には、図３４に示すように、ヘッド
マウントディスプレイ１００６には、外部映像とその周
囲に配置された選択項目が表示される。ここで、チャン
ネルを１チャンネルづつ連続的に切り替えることを指示
する項目「ＣＨ＋＋」が視線入力により選択されると、
この選択に基づきパソコン１００８は、チャンネルを１
チャンネルづつ切り替えるようにチャンネル切替え命令
をインタフェースを介してテレビジョンに連続的に出力
する。このチャンネル切替え命令を受ける毎にテレビジ
ョンは、チャンネルを１チャンネルづつ切り替える。ま
た、「ＣＨ＋＋」の選択に伴いヘッドマウントディスプ
レイ１００６の画面は、図３５に示すように、連続的に
切り替えられているチャンネルをどのチャンネルで止め
るかを指示する項目が表示された画面に切り替えられ
る。この切り替え後の画面において利用者が所望するチ
ャンネルが映し出されると、「連続止める」が視線入力
により選択される。この選択により、パソコン１００８
はチャンネル切り替え命令の出力を停止し、利用者は切
り替えられたチャンネル映像を見ることができる。

【０１７４】この上述の処理の手順について図３６を参
照しながら説明すると、まず、ステップＳ２７０１にお
いて、視線検出処理を行い、続くステップＳ２７０２で
テレビジョンへ連続的に命令を出力していることを示す
フラグRmcnCntFlgの値が１であるか否かを判定する。フ
ラグRmcnCntFlgの値が１であると、テレビジョンへ連続
的に命令を出力している状態にあると判断してステップ
Ｓ２７０３に進み、上記命令の出力タイミングを生成す
るためのタイマの役目を担うカウンタRmconCntiCntを１
インクリメントし、続くステップＳ２７０４に進み、カ
ウンタRmconCntiCntの値が設定値を超えているか否かを
判定する。カウンタRmconCntiCntの値が設定値を超えて
いるときには、ステップＳ２７０５に進み、チャンネル
を１つあげる命令を出力する処理を行い、続くステップ
Ｓ２７０６で、カウンタRmconCntiCntを０にリセット
し、ステップＳ２７０７に進む。これに対し、カウンタ
RmconCntiCntの値が設定値を超えていないときには、ス
テップＳ２７０５およびステップＳ２７０６をスキップ
してステップＳ２７０７に進む。

【０１７５】ステップＳ２７０７では、視線入力処理を
行い、続くステップＳ２７０８で入力が確定されたか否
かを判定し、入力が確定されていなければ、本処理を抜
ける。これに対し、入力が確定されたときには、ステッ
プＳ２７１０に進み、フラグRmcnCntFlgの値が０である
か否かを判定し、フラグRmcnCntFlgの値が０であるとき
には、ステップＳ２７１１に進み、カウンタRmconCntiC
ntを０にリセットする。次いで、ステップＳ２７１２に
進み、ヘッドマウントディスプレイ１００６に表示する
外部映像と選択項目の表示領域の割合を設定するための
変数を変更し、続くステップＳ２７１３で、変更された
変数に基づき画面を再描画して本処理を抜ける。これに
対し、フラグRmcnCntFlgの値が０でないときには、ステ
ップＳ２７１４に進み、入力を確定する入力確定処理を
行い、本処理を抜ける。

【０１７６】上記ステップＳ２７０２でフラグRmcnCntF
lgの値が１でないと判定されたときには、上記ステップ
Ｓ２７０７に進む。これ以降、上述した手順と同様に処
理が実行される。

【０１７７】このように、本実施の形態では、視線入力
により、外部装置に対してその制御量を連続的に可変す
る制御を行うことができる。

【０１７８】なお、本実施の形態では、テレビジョンの
チャンネルの連続的に切り替える例を説明したが、他の
制御量、音量などを同様に連持続的に可変するように制
御することも可能である。

【０１７９】（実施の第１０形態）次に、本発明の実施
の第１０形態について図３７および図３８を参照しなが
ら説明する。図３７および図３８は本発明の視線入力意
思伝達装置の実施の第１０形態におけるヘッドマウント
ディスプレイに表示された選択画面例を示す図である。

【０１８０】本実施の形態は、選択項目を階層的にヘッ
ドマウントディスプレイ１００６に表示するように制御
し、前記選択項目からその下位に位置する選択項目を順
に辿りながら視線を入力を行うことによって、入力すべ
き項目を確定するように構成されている。

【０１８１】本実施の形態では、例えば図３７に示すよ
うに、最初の選択画面として、「あか」、「たなは」、
「まやら」などの各選択項目を表示する。ここで、「あ
かさ」はあ行、か行、さ行を１つのグループとして、そ
れぞれにおけるひらがなを選択するための項目を示す。
同様に、「たなは」はた行、な行、は行を１つのグルー
プとして、それぞれにおけるひらがなを選択するための
項目を示し、「まやら」はま行、や行、ら行を１つのグ
ループとして、それぞれにおけるひらがなを選択するた
めの項目を示す。また、「機能」は、リモートコントロ
ール機能、ひらがなカタカナ英数文字モード切替機能、
登録機能、固定文呼出機能、各種設定の変更機能などの
機能を１つのグループとして選択する機能である。

【０１８２】この画面において例えば「あかさ」を視線
入力により選択入力すると、図３８に示す個別選択画面
への切替が行われる。この個別選択画面は、「あ行」、
「か行」、「さ行」それぞれにおけるひらがなを個別に
選択する画面であり、この画面において各ひらがなの内
例えば「あ」を視線入力により選択して確定すると、
「あ」が画面下部の作成文章表示部に入力される。

【０１８３】最初の画面において他の項目が選択された
場合、同様に、その項目にグループ化されて含まれてい
る各項目を選択するための個別選択画面への切替が行わ
れ、その個別選択画面において選択された項目にさらに
グループ化されて含まれている項目があれば、そのグル
ープ化されて含まれている項目を選択するための次の選
択項目からその下位に位置する選択項目を順に辿りなが
ら視線を入力を行うことによって選択画面が表示され
る。

【０１８４】１つの項目にどの項目を含ませてグループ
化するかは、任意設定するように構成することができ
る。この場合、予め利用者の操作指示によりグループ化
する項目を指定し、このグループ化した項目を階層的に
辿る処理を行うようにすることによって実現可能であ
る。

【０１８５】このように、本実施の形態では、複数の項
目を１つの項目にグループ化して、１つの項目の選択に
よりそれに含まれる複数の項目を選択し、次いで、その
複数の項目の中から対応する項目を選択するなど、最初
の選択項目からその下位に位置する選択項目を順に辿り
ながら視線入力を行うことによって、入力する項目を選
択してその入力を確定するから、一度に多数の選択項目
を表示する必要がなく、一度に多数の選択項目を表示し
た場合に比して１つの項目の表示領域を大きく確保する
ことができる。よって、視線位置を選択する項目に合わ
せやすくなり、誤選択などの発生を少なくすることがで
きる。

【０１８６】（実施の第１１形態）次に、本発明の実施
の第１１形態について図３９および図４０を参照しなが
ら説明する。図３９および図４０は本発明の視線入力意
思伝達装置の実施の第１１形態におけるヘッドマウント
ディスプレイに表示された選択画面例を示す図である。

【０１８７】本実施の形態は、予め準備された複数の単
語を選択可能にヘッドマウントディスプレイ１００６に
表示し、表示された各単語の中から所望の単語を視線入
力により選択するモードを有する。

【０１８８】本実施の形態では、例えば、図３９に示す
ように、「はい」、「いいえ」、「ありがとう」などの
通常の応答に良く使用される言葉を表示し、利用者への
質問などに対して応答する言葉として「はい」、「いい
え」などを１回の視線入力により選択することができ、
「は」、「い」と順に文字を入力するための操作が必要
がなく、すばやい応答が可能になる。また、視線入力を
行ための練習用画面とし使用することも可能である。

【０１８９】また、図４０に示すように、上述の画面よ
りさらに多くの言葉を表示することにより、多彩な応答
を行うことが可能になる。

【０１９０】

【発明の効果】以上に説明したように、請求項１記載の
視線入力意思伝達装置によれば、利用者の視線の検出結
果に対して、視線検出成功、視線検出失敗、まばたき
中、同じ選択肢を選択しているなどを表すための検出結
果情報を利用者に通知する視線検出結果通知手段を有す
るから、利用者が視線の検出結果を確認することがで
き、利用者が無駄な動作を何度も繰り返すなどの恐れを
なくすことができる。

【０１９１】請求項２記載の視線入力意思伝達装置によ
れば、視線検出結果通知手段による検出結果情報の通知
を行うか否かを利用者が選択するための選択手段を有す
るように構成することができる。

【０１９２】請求項３記載の視線入力意思伝達装置によ
れば、視線検出結果通知手段で、表示盤の映像に含まれ
る選択項目の背景色、文字色、選択枠の色などを変化さ
せて表示することにより、検出結果情報を利用者に通知
するように構成することができる。

【０１９３】請求項４記載の視線入力意思伝達装置によ
れば、視線検出結果通知手段が、音声を発する発音手段
を含み、該発音手段から発せられた音声により、検出結
果情報を利用者に通知するように構成することができ
る。

【０１９４】請求項５記載の視線入力意思伝達装置によ
れば、視線検出結果通知手段が、光を発する発光手段を
含み、該発光手段の発光状態により、検出結果情報を利
用者に通知するように構成することができる。

【０１９５】請求項６記載の視線入力意思伝達装置によ
れば、映像観察手段に、表示盤と外部から入力される外
部映像とを並べて表示するように制御する表示制御手段
を有するから、表示盤を見ながら外部から入力された外
部映像を見ることができる。

【０１９６】請求項７記載の視線入力意思伝達装置によ
れば、映像観察手段が、表示盤と外部映像とを並べて表
示可能な１つの画面を有し、表示制御手段が、映像観察
手段の画面における表示盤と外部映像との表示領域の割
合を利用者の指示に基づき任意の割合に設定可能である
から、利用者は所望の表示状態の画面を観察することが
できる。

【０１９７】請求項８記載の視線入力意思伝達装置によ
れば、外部からの映像を入力する外部映像入力手段と、
外部映像入力手段から入力された外部映像を映像観察手
段に表示するように制御する表示制御手段とを有し、表
示制御手段で、映像観察手段に外部映像が表示されてい
るときに、該外部映像に利用者の視線により選択される
選択肢を重ね合わせて表示することが可能であるから、
外部から入力された外部映像を見ながら視線入力により
選択肢の選択を行うことができる。

【０１９８】請求項９記載の視線入力意思伝達装置によ
れば、映像観察手段に外部映像に選択肢を重ね合せて表
示するか否かを利用者の指示に基づき選択するように構
成することができる。

【０１９９】請求項１０記載の視線入力意思伝達装置に
よれば、利用者の指示に基づき映像観察手段により表示
される表示盤上の選択項目の表示形態を変更して表示す
るように制御する表示制御手段を有するから、表示盤上
の選択項目を利用者に視認し易く表示することができ
る。

【０２００】請求項１１記載の視線入力意思伝達装置に
よれば、表示制御手段で、利用者の指示に基づき表示盤
上の選択項目の背景色を変更して表示するように構成す
ることができる。

【０２０１】請求項１２記載の視線入力意思伝達装置に
よれば、表示制御手段で、利用者の指示に基づき表示盤
上の選択項目の文字色を変更して表示するように構成す
ることができる。

【０２０２】請求項１３記載の視線入力意思伝達装置に
よれば、外部装置を接続する接続手段と、外部装置に対
する制御項目を表示盤に表示するように制御する表示制
御手段と、表示盤の制御項目の内の制御量を連続的に可
変する項目を選択する入力情報が視線入力手段から入力
されると、外部装置に対して制御量を連続的に可変する
ように命令を接続手段を介して連続的に出力する出力手
段とを有するから、外部装置に対して、その制御量を連
続的に可変する制御を行うことができる。

【０２０３】請求項１４記載の視線入力意思伝達装置に
よれば、選択項目を階層的に前記表示盤に表示するよう
に制御する表示制御手段を有し、選択項目からその下位
に位置する選択項目を順に辿りながら選択するように視
線入力手段から入力情報を選択項目の表示順に従い入力
することによって、利用者が伝達すべき１つの意図を確
定するモードを実行可能であるから、所定の入力を確実
にかつ容易に行うことができるとともに、利用者の入力
に関する動作を易しくする操作環境を得ることができ
る。

【０２０４】請求項１５記載の線入力意思伝達装置によ
れば、選択項目の階層構造が、利用者の設定により任意
の階層構造に変更可能であるように構成することができ
る。

【０２０５】請求項１６記載の視線入力意思伝達方法に
よれば、利用者の視線の検出結果に対して、視線検出成
功、視線検出失敗、まばたき中、同じ選択肢を選択して
いるなどを表すための検出結果情報を利用者に通知する
から、利用者が視線の検出結果を確認することができ、
利用者が無駄な動作を何度も繰り返すなどの恐れをなく
すことができる。

【０２０６】請求項１７記載の視線入力意思伝達方法に
よれば、検出結果情報の通知を行うか否かを利用者が選
択することが可能であるように構成することができる。

【０２０７】請求項１８記載の視線入力意思伝達方法に
よれば、表示盤の映像に含まれる選択項目の背景色、文
字色、選択枠の色などを変化させて表示することによ
り、検出結果情報を利用者に通知するように構成するこ
とができる。

【０２０８】請求項１９記載の視線入力意思伝達方法に
よれば、発音手段から発せられた音声により、検出結果
情報を利用者に通知するように構成することができる。

【０２０９】請求項２０記載の視線入力意思伝達方法に
よれば、発光手段の発光状態により、検出結果情報を利
用者に通知するように構成することができる。

【０２１０】請求項２１記載の視線入力意思伝達方法に
よれば、外部からの外部映像を取り込み、該外部映像を
表示盤とを並べて映像観察手段に表示することが可能で
あるから、表示盤を見ながら外部から入力された外部映
像を見ることができる。

【０２１１】請求項２２記載の視線入力意思伝達方法に
よれば、映像観察手段が、表示盤と外部映像とを並べて
表示可能な１つの画面を有し、映像観察手段の画面にお
ける表示盤と外部映像との表示領域の割合を利用者の指
示に基づき任意の割合に設定可能であるから、利用者は
所望の表示状態の画面を観察することができる。

【０２１２】請求項２３記載の視線入力意思伝達方法に
よれば、外部からの外部映像を入力し、該入力された外
部映像を映像観察手段に表示するように制御する工程
と、映像観察手段に前記外部映像を表示しているとき
に、該外部映像に前記利用者の視線により選択される選
択肢を重ね合わせて表示するように制御する工程とを有
するから、外部から入力された外部映像を見ながら視線
入力により選択肢の選択を行うことができる。

【０２１３】請求項２４記載の視線入力意思伝達方法に
よれば、映像観察手段に外部映像に選択肢を重ね合せて
表示するか否かを利用者の指示に基づき選択するように
構成することができる。

【０２１４】請求項２５記載の視線入力意思伝達方法に
よれば、利用者の指示に基づき映像観察手段により表示
される表示盤上の選択項目の表示形態を変更して表示す
るように制御するから、表示盤上の選択項目を利用者に
視認し易く表示することができる。

【０２１５】請求項２６記載の視線入力意思伝達方法に
よれば、利用者の指示に基づき表示盤上の選択項目の背
景色を変更して表示するように構成することができる。

【０２１６】請求項２７記載の視線入力意思伝達方法に
よれば、利用者の指示に基づき表示盤上の選択項目の文
字色を変更して表示するように構成することができる。

【０２１７】請求項２８記載の視線入力意思伝達方法に
よれば、接続手段を介して外部装置を接続する工程と、
外部装置に対する制御項目を表示盤に表示するように制
御する工程と、表示盤の制御項目の内の制御量を連続的
に可変する項目を選択する入力情報が入力されると、外
部装置に対して制御量を連続的に可変するように命令を
接続手段を介して連続的に出力する工程とを有するか
ら、外部装置に対して、その制御量を連続的に可変する
制御を行うことができる。

【０２１８】請求項２９記載の視線入力意思伝達方法に
よれば、選択項目を階層的に表示盤に表示するように制
御する工程と、選択項目からその下位に位置する選択項
目を順に辿りながら選択するように入力情報を選択項目
の表示順に従い入力することによって、利用者が伝達す
べき１つの意図を確定するモードを実行する工程とを有
するから、所定の入力を確実にかつ容易に行うことがで
きるとともに、利用者の入力に関する動作を易しくする
操作環境を得ることができる。

【０２１９】請求項３０記載の視線入力意思伝達方法に
よれば、選択項目の階層構造を、利用者の設定により任
意の階層構造に変更可能奈用に構成することができる。

【０２２０】請求項３１記載の記憶媒体によれば、プロ
グラムが、利用者の視線の検出結果に対して、視線検出
成功、視線検出失敗、まばたき中、同じ選択肢を選択し
ているなどを表すための検出結果情報を利用者に通知す
る視線検出結果通知モジュールを有するから、利用者が
視線の検出結果を確認することができ、利用者が無駄な
動作を何度も繰り返すなどの恐れをなくすことができ
る。

【０２２１】請求項３２記載の記憶媒体によれば、プロ
グラムが、さらに、視線検出結果通知モジュールによる
検出結果情報の通知を行うか否かを利用者が選択するた
めの選択モジュールを有するように構成することができ
る。

【０２２２】請求項３３記載の記憶媒体によれば、視線
検出結果通知モジュールで、表示盤の映像に含まれる選
択項目の背景色、文字色、選択枠の色などを変化させて
表示することにより、検出結果情報を利用者に通知する
ように構成することができる。

【０２２３】請求項３４記載の記憶媒体によれば、視線
検出結果通知モジュールが、音声を発する発音手段を制
御するモジュールを含み、発音手段が発する音声によ
り、検出結果情報を利用者に通知するように構成するこ
とができる。

【０２２４】請求項３５記載の記憶媒体によれば、視線
検出結果通知モジュールが、光を発する発光手段を制御
するモジュールを含み、該発光手段の発光状態により、
検出結果情報を利用者に通知するように構成することが
できる。

【０２２５】請求項３６記載の記憶媒体によれば、プロ
グラムが、映像観察手段に表示盤と外部から入力される
外部映像とを並べて表示するように制御する表示制御モ
ジュールを有するから、表示盤を見ながら外部から入力
された外部映像を見ることができる。

【０２２６】請求項３７記載の記憶媒体によれば、映像
観察手段が、表示盤と外部映像とを並べて表示可能な１
つの画面を有し、表示制御モジュールで、映像観察手段
の画面における表示盤と外部映像との表示領域の割合を
利用者の指示に基づき任意の割合に設定可能であるか
ら、利用者は所望の表示状態の画面を観察することがで
きる。

【０２２７】請求項３８記載の記憶媒体によれば、プロ
グラムが、外部からの映像を入力する外部映像入力モジ
ュールと、外部映像入力モジュールから入力された外部
映像を映像観察手段に表示するように制御する表示制御
モジュールとを有し、表示制御モジュールで、映像観察
手段に外部映像を表示しているときに、該外部映像に利
用者の視線により選択される選択肢を重ね合わせて表示
することが可能であるから、外部から入力された外部映
像を見ながら視線入力により選択肢の選択を行うことが
できる。

【０２２８】請求項３９記載の記憶媒体によれば、プロ
グラムが、さらに、映像観察手段に外部映像に前記選択
肢を重ね合せて表示するか否かを利用者の指示に基づき
選択するための選択モジュール手段を有するように構成
することができる。

【０２２９】請求項４０記載の記憶媒体によれば、プロ
グラムが、利用者の指示に基づき映像観察手段により表
示される表示盤上の選択項目の表示形態を変更して表示
するように制御する表示制御モジュールを有するから、
表示盤上の選択項目を利用者に視認し易く表示すること
ができる。

【０２３０】請求項４１記載の記憶媒体によれば、表示
制御モジュールで、利用者の指示に基づき表示盤上の選
択項目の背景色を変更して表示するように構成すること
ができる。

【０２３１】請求項４２記載の記憶媒体によれば、表示
制御モジュールで、利用者の指示に基づき表示盤上の選
択項目の文字色を変更して表示するように構成すること
ができる。

【０２３２】請求項４３記載の記憶媒体によれば、プロ
グラムが、接続手段を介して接続された外部装置に対す
る制御項目を前記表示盤に表示するように制御する表示
制御モジュールと、表示盤の制御項目の内の制御量を連
続的に可変する項目を選択する入力情報が視線入力手段
から入力されると、外部装置に対して制御量を連続的に
可変するように命令を接続手段を介して連続的に出力す
る出力モジュールとを有するから、外部装置に対して、
その制御量を連続的に可変する制御を行うことができ
る。

【０２３３】請求項４４記載の記憶媒体によれば、プロ
グラムが、選択項目を階層的に前記表示盤に表示するよ
うに制御する表示制御モジュールと、選択項目からその
下位に位置する選択項目を順に辿りながら選択するよう
に視線入力手段から入力情報を選択項目の表示順に従い
入力することによって、利用者が伝達すべき１つの意図
を確定するモードを実行するモード実行モジュールとを
有するから、所定の入力を確実にかつ容易に行うことが
できるとともに、利用者の入力に関する動作を易しくす
る操作環境を得ることができる。

【０２３４】請求項４５記載の記憶媒体によれば、選択
項目の階層構造を、利用者の設定により任意の階層構造
に変更可能であるように構成することができる。

【図面の簡単な説明】

【図１】視線検出方法の原理を示す図である。

【図２】図１のイメージセンサ９１２に投影される眼球
像およびその信号の強度を示す図である。

【図３】本発明の視線入力意思伝達装置の実施の第１形
態の構成を示すブロック図である。

【図４】図３の視線入力意思伝達装置におけるプリズム
１００３の形状を示す側面図である。

【図５】図３の視線入力意思伝達装置の使用状態を示す
概念図である。

【図６】図３の視線入力意思伝達装置における視線検出
結果情報通知処理の手順を示すフローチャートである。

【図７】図３の視線入力意思伝達装置における視線検出
結果情報通知処理の手順を示すフローチャートである。

【図８】本発明の視線入力意思伝達装置の実施の第２形
態における視線検出結果情報通知処理の手順を示すフロ
ーチャートである。

【図９】本発明の視線入力意思伝達装置の実施の第２形
態における視線検出結果情報通知処理の手順を示すフロ
ーチャートである。

【図１０】本発明の視線入力意思伝達装置の実施の第３
形態における視線検出結果情報通知処理の手順を示すフ
ローチャートである。

【図１１】本発明の視線入力意思伝達装置の実施の第３
形態における視線検出結果情報通知処理の手順を示すフ
ローチャートである。

【図１２】本発明の視線入力意思伝達装置の実施の第４
形態における視線検出結果情報通知処理の手順を示すフ
ローチャートである。

【図１３】本発明の視線入力意思伝達装置の実施の第４
形態における視線検出結果情報通知処理の手順を示すフ
ローチャートである。

【図１４】本発明の視線入力意思伝達装置の実施の第５
形態における外部映像表示処理の手順を示すフローチャ
ートである。

【図１５】図１４の外部映像表示処理によりヘッドマウ
ントディスプレイに表示された画面例を示す図である。

【図１６】図１４の外部映像表示処理によりヘッドマウ
ントディスプレイに表示された画面例を示す図である。

【図１７】本発明の視線入力意思伝達装置の実施の第６
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図１８】本発明の視線入力意思伝達装置の実施の第６
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図１９】本発明の視線入力意思伝達装置の実施の第６
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図２０】本発明の視線入力意思伝達装置の実施の第７
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図２１】本発明の視線入力意思伝達装置の実施の第７
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図２２】本発明の視線入力意思伝達装置の実施の第７
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図２３】本発明の視線入力意思伝達装置の実施の第７
形態における映像表示処理によりヘッドマウントディス
プレイに表示された画面例を示す図である。

【図２４】本発明の視線入力意思伝達装置の実施の第８
形態における選択処理によりヘッドマウントディスプレ
イに表示された選択画面例を示す図である。

【図２５】本発明の視線入力意思伝達装置の実施の第８
形態における選択処理の手順を示すフローチャートであ
る。

【図２６】図２５のステップＳ１６０２の上矢印選択処
理を示すフローチャートである。

【図２７】図２５のステップＳ１６０４の下矢印選択処
理を示すフローチャートである。

【図２８】図２５のステップＳ１６０６の右矢印選択処
理を示すフローチャートである。

【図２９】図２５のステップＳ１６０８の左矢印選択処
理を示すフローチャートである。

【図３０】図２５のステップＳ１６１０の左上矢印選択
処理を示すフローチャートである。

【図３１】図２５のステップＳ１６１２の右上矢印選択
処理を示すフローチャートである。

【図３２】図２５のステップＳ１６１４の左下矢印選択
処理を示すフローチャートである。

【図３３】図２５のステップＳ１６１６の右下矢印選択
処理を示すフローチャートである。

【図３４】本発明の視線入力意思伝達装置の実施の第９
形態におけるヘッドマウントディスプレイに表示された
選択画面例を示す図である。

【図３５】本発明の視線入力意思伝達装置の実施の第９
形態におけるヘッドマウントディスプレイに表示された
選択画面例を示す図である。

【図３６】本発明の視線入力意思伝達装置の実施の第９
形態における処理の手順を示すフローチャートである。

【図３７】図３８は本発明の視線入力意思伝達装置の実
施の第１０形態におけるヘッドマウントディスプレイに
表示された選択画面例を示す図である。

【図３８】図３８は本発明の視線入力意思伝達装置の実
施の第１０形態におけるヘッドマウントディスプレイに
表示された選択画面例を示す図である。

【図３９】本発明の視線入力意思伝達装置の実施の第１
１形態におけるヘッドマウントディスプレイに表示され
た選択画面例を示す図である。

【図４０】本発明の視線入力意思伝達装置の実施の第１
１形態におけるヘッドマウントディスプレイに表示され
た選択画面例を示す図である。

【符号の説明】

１００２液晶表示素子１００３特殊プリズム１００６ヘッドマウントディスプレイ１００７液晶表示回路１００８コンピュータ１００９外部モニタ１０６０，１０６１光源１０６２結像レンズ系１０６３光電変換素子１０６４視線検出回路１８１４ＣＰＵ１８１６ＲＯＭ１８１７ＲＡＭ

Claims

【特許請求の範囲】

【請求項１】表示盤を観察する利用者の視線を検出
し、該利用者の視線の検出結果を前記表示盤に対する入
力情報として入力する視線入力手段を備え、該視線入力
手段からの入力情報により前記利用者の意思を伝達する
視線入力意思伝達装置において、前記利用者の視線の検
出結果に対して、視線検出成功、視線検出失敗、まばた
き中、同じ選択肢を選択しているなどを表すための検出
結果情報を前記利用者に通知する視線検出結果通知手段
を有することを特徴とする視線入力意思伝達装置。
【請求項２】前記視線検出結果通知手段による前記検
出結果情報の通知を行うか否かを前記利用者が選択する
ための選択手段を有することを特徴とする請求項１記載
の視線入力意思伝達装置。
【請求項３】前記視線検出結果通知手段は、前記表示
盤の映像に含まれる選択項目の背景色、文字色、選択枠
の色などを変化させて表示することにより、前記検出結
果情報を前記利用者に通知することを特徴とする請求項
１または２記載の視線入力意思伝達装置。
【請求項４】前記視線検出結果通知手段は、音声を発
する発音手段を含み、該発音手段から発せられた音声に
より、前記検出結果情報を前記利用者に通知することを
特徴とする請求項１または２記載の視線入力意思伝達装
置。
【請求項５】前記視線検出結果通知手段は、光を発す
る発光手段を含み、該発光手段の発光状態により、前記
検出結果情報を前記利用者に通知することを特徴とする
請求項１または２記載の視線入力意思伝達装置。
【請求項６】表示盤を利用者に観察可能に表示する映
像観察手段と、前記映像観察手段により表示される表示
盤を観察する利用者の視線を検出する視線検出手段と、
前記視線検出手段による前記利用者の視線の検出結果を
前記映像観察手段に表示される表示盤に対する入力情報
として入力する視線入力手段とを備え、前記視線入力手
段からの入力情報により前記利用者の意思を伝達する視
線入力意思伝達装置において、前記映像観察手段に、前
記表示盤と外部から入力される外部映像とを並べて表示
するように制御する表示制御手段を有することを特徴と
する視線入力意思伝達装置。
【請求項７】前記映像観察手段は、前記表示盤と前記
外部映像とを並べて表示可能な１つの画面を有し、前記
表示制御手段は、前記映像観察手段の画面における前記
表示盤と前記外部映像との表示領域の割合を利用者の指
示に基づき任意の割合に設定可能であることを特徴とす
る請求項６記載の視線入力意思伝達装置。
【請求項８】映像を利用者に観察可能に表示する映像
観察手段と、前記映像観察手段により表示される映像を
観察する利用者の視線を検出する視線検出手段と、前記
視線検出手段による前記利用者の視線の検出結果を前記
映像観察手段に表示される映像に対する入力情報として
入力する視線入力手段とを備え、前記視線入力手段から
の入力情報により前記利用者の意思を伝達する視線入力
意思伝達装置において、外部からの映像を入力する外部
映像入力手段と、前記外部映像入力手段から入力された
外部映像を前記映像観察手段に表示するように制御する
表示制御手段とを有し、前記表示制御手段は、前記映像
観察手段に前記外部映像が表示されているときに、該外
部映像に前記利用者の視線により選択される選択肢を重
ね合わせて表示することが可能であることを特徴とする
視線入力意思伝達装置。
【請求項９】前記映像観察手段に前記外部映像に前記
選択肢を重ね合せて表示するか否かを前記利用者の指示
に基づき選択するための選択手段を有することを特徴と
する請求項８記載の視線入力意思伝達装置。
【請求項１０】選択項目を含む表示盤を利用者に観察
可能に表示する映像観察手段と、前記映像観察手段によ
り表示される表示盤を観察する利用者の視線を検出する
視線検出手段と、前記視線検出手段による前記利用者の
視線の検出結果を前記表示盤に対する入力情報として入
力する視線入力手段とを備え、前記視線入力手段からの
入力情報により前記利用者の意思を伝達する視線入力意
思伝達装置において、前記利用者の指示に基づき前記映
像観察手段により表示される前記表示盤上の選択項目の
表示形態を変更して表示するように制御する表示制御手
段を有することを特徴とする視線入力意思伝達装置。
【請求項１１】前記表示制御手段は、前記利用者の指
示に基づき前記表示盤上の選択項目の背景色を変更して
表示することを特徴とする請求項１０記載の視線入力意
思伝達装置。
【請求項１２】前記表示制御手段は、前記利用者の指
示に基づき前記表示盤上の選択項目の文字色を変更して
表示することを特徴とする請求項１０記載の視線入力意
思伝達装置。
【請求項１３】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力する視線入力手段を備え、前記視線
入力手段からの入力情報により前記利用者の意思を伝達
する視線入力意思伝達装置において、外部装置を接続す
る接続手段と、前記外部装置に対する制御項目を前記表
示盤に表示するように制御する表示制御手段と、前記表
示盤の制御項目の内の制御量を連続的に可変する項目を
選択する入力情報が前記視線入力手段から入力される
と、前記外部装置に対して前記制御量を連続的に可変す
るように命令を前記接続手段を介して連続的に出力する
出力手段とを有することを特徴とする視線入力意思伝達
装置。
【請求項１４】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力する視線入力手段を備え、該視線入
力手段からの入力情報により前記利用者の意思を伝達す
る視線入力意思伝達装置において、選択項目を階層的に
前記表示盤に表示するように制御する表示制御手段を有
し、前記選択項目からその下位に位置する選択項目を順
に辿りながら選択するように前記視線入力手段から前記
入力情報を前記選択項目の表示順に従い入力することに
よって、前記利用者が伝達すべき１つの意図を確定する
モードを実行可能であることを特徴とする視線入力意思
伝達装置。
【請求項１５】前記選択項目の階層構造は、前記利用
者の設定により任意の階層構造に変更可能であることを
特徴とする請求項１４記載の視線入力意思伝達装置。
【請求項１６】表示盤を観察する利用者の視線を検出
し、該利用者の視線の検出結果を前記表示盤に対する入
力情報として入力することにより、前記利用者の意思を
伝達する視線入力意思伝達方法において、前記利用者の
視線の検出結果に対して、視線検出成功、視線検出失
敗、まばたき中、同じ選択肢を選択しているなどを表す
ための検出結果情報を前記利用者に通知することを特徴
とする視線入力意思伝達方法。
【請求項１７】前記検出結果情報の通知を行うか否か
を前記利用者が選択することが可能であることを特徴と
する請求項１６記載の視線入力意思伝達方法。
【請求項１８】前記表示盤の映像に含まれる選択項目
の背景色、文字色、選択枠の色などを変化させて表示す
ることにより、前記検出結果情報を前記利用者に通知す
ることを特徴とする請求項１６または１７記載の視線入
力意思伝達方法。
【請求項１９】発音手段から発せられた音声により、
前記検出結果情報を前記利用者に通知することを特徴と
する請求項１６または１７記載の視線入力意思伝達方
法。
【請求項２０】発光手段の発光状態により、前記検出
結果情報を前記利用者に通知することを特徴とする請求
項１６または１７記載の視線入力意思伝達方法。
【請求項２１】映像観察手段により表示盤を利用者に
観察可能に表示し、前記映像観察手段により表示される
表示盤を観察する利用者の視線を検出し、前記利用者の
視線の検出結果を前記映像観察手段に表示される表示盤
に対する入力情報として入力することにより、前記利用
者の意思を伝達する視線入力意思伝達方法において、外
部からの外部映像を取り込み、該外部映像を前記表示盤
とを並べて前記映像観察手段に表示することが可能であ
ることを特徴とする視線入力意思伝達方法。
【請求項２２】前記映像観察手段は、前記表示盤と前
記外部映像とを並べて表示可能な１つの画面を有し、前
記映像観察手段の画面における前記表示盤と前記外部映
像との表示領域の割合を利用者の指示に基づき任意の割
合に設定可能であることを特徴とする請求項２１記載の
視線入力意思伝達方法。
【請求項２３】映像観察手段により映像を利用者に観
察可能に表示し、前記映像観察手段により表示される映
像を観察する利用者の視線を検出し、前記利用者の視線
の検出結果を前記映像観察手段に表示される映像に対す
る入力情報として入力することにより、前記利用者の意
思を伝達する視線入力意思伝達方法において、外部から
の外部映像を入力し、該入力された外部映像を前記映像
観察手段に表示するように制御する工程と、前記映像観
察手段に前記外部映像を表示しているときに、該外部映
像に前記利用者の視線により選択される選択肢を重ね合
わせて表示するように制御する工程とを有することを特
徴とする視線入力意思伝達方法。
【請求項２４】前記映像観察手段に前記外部映像に前
記選択肢を重ね合せて表示するか否かを前記利用者の指
示に基づき選択するための工程を有することを特徴とす
る請求項２３記載の視線入力意思伝達方法。
【請求項２５】映像観察手段により選択項目を含む表
示盤を利用者に観察可能に表示し、前記映像観察手段に
より表示される表示盤を観察する利用者の視線を検出
し、前記利用者の視線の検出結果を前記表示盤に対する
入力情報として入力することにより、前記利用者の意思
を伝達する視線入力意思伝達方法において、前記利用者
の指示に基づき前記映像観察手段により表示される前記
表示盤上の選択項目の表示形態を変更して表示するよう
に制御することを特徴とする視線入力意思伝達方法。
【請求項２６】前記利用者の指示に基づき前記表示盤
上の選択項目の背景色を変更して表示することを特徴と
する請求項２５記載の視線入力意思伝達方法。
【請求項２７】前記利用者の指示に基づき前記表示盤
上の選択項目の文字色を変更して表示することを特徴と
する請求項２５記載の視線入力意思伝達方法。
【請求項２８】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力することにより、前記利用者の意思
を伝達する視線入力意思伝達方法において、接続手段を
介して外部装置を接続する工程と、前記外部装置に対す
る制御項目を前記表示盤に表示するように制御する工程
と、前記表示盤の制御項目の内の制御量を連続的に可変
する項目を選択する入力情報が入力されると、前記外部
装置に対して前記制御量を連続的に可変するように命令
を前記接続手段を介して連続的に出力する工程とを有す
ることを特徴とする視線入力意思伝達方法。
【請求項２９】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力することにより、該入力情報により
前記利用者の意思を伝達する視線入力意思伝達方法にお
いて、選択項目を階層的に前記表示盤に表示するように
制御する工程と、前記選択項目からその下位に位置する
選択項目を順に辿りながら選択するように前記入力情報
を前記選択項目の表示順に従い入力することによって、
前記利用者が伝達すべき１つの意図を確定するモードを
実行する工程とを有することを特徴とする視線入力意思
伝達方法。
【請求項３０】前記選択項目の階層構造は、前記利用
者の設定により任意の階層構造に変更可能であることを
特徴とする請求項２９記載の視線入力意思伝達方法。
【請求項３１】表示盤を観察する利用者の視線を検出
し、該利用者の視線の検出結果を前記表示盤に対する入
力情報として入力する視線入力装置を用いて、前記視線
入力装置からの前記入力情報により前記利用者の意思を
伝達する視線入力意思伝達システムを構築するためのプ
ログラムを格納した記憶媒体において、前記プログラム
は、前記利用者の視線の検出結果に対して、視線検出成
功、視線検出失敗、まばたき中、同じ選択肢を選択して
いるなどを表すための検出結果情報を前記利用者に通知
する視線検出結果通知モジュールを有することを特徴と
する記憶媒体。
【請求項３２】前記プログラムは、さらに、前記視線
検出結果通知モジュールによる前記検出結果情報の通知
を行うか否かを前記利用者が選択するための選択モジュ
ールを有することを特徴とする請求項３１記載の記憶媒
体。
【請求項３３】前記視線検出結果通知モジュールは、
前記表示盤の映像に含まれる選択項目の背景色、文字
色、選択枠の色などを変化させて表示することにより、
前記検出結果情報を前記利用者に通知することを特徴と
する請求項３１または３２記載の記憶媒体。
【請求項３４】前記視線検出結果通知モジュールは、
音声を発する発音手段を制御するモジュールを含み、前
記発音手段が発する音声により、前記検出結果情報を前
記利用者に通知することを特徴とする請求項３１または
３２記載の記憶媒体。
【請求項３５】前記視線検出結果通知モジュールは、
光を発する発光手段を制御するモジュールを含み、該発
光手段の発光状態により、前記検出結果情報を前記利用
者に通知することを特徴とする請求項３１または３２記
載の記憶媒体。
【請求項３６】映像観察手段で選択肢を含む表示盤を
利用者に観察可能に表示し、視線検出手段で前記映像観
察手段に表示される表示盤を観察する利用者の視線を検
出し、視線入力手段で前記視線検出手段による前記利用
者の視線の検出結果を前記映像観察手段に表示される表
示盤に対する入力情報として入力することにより、前記
利用者の意思を伝達する視線入力意思伝達システムを構
築するためのプログラムを格納した記憶媒体において、
前記プログラムは、前記映像観察手段に前記表示盤と外
部から入力される外部映像とを並べて表示するように制
御する表示制御モジュールを有することを特徴とする記
憶媒体。
【請求項３７】前記映像観察手段は、前記表示盤と前
記外部映像とを並べて表示可能な１つの画面を有し、前
記表示制御モジュールは、前記映像観察手段の画面にお
ける前記表示盤と前記外部映像との表示領域の割合を利
用者の指示に基づき任意の割合に設定可能であることを
特徴とする請求項３６記載の記憶媒体。
【請求項３８】映像観察手段で映像を利用者に観察可
能に表示し、視線検出手段で前記映像観察手段に表示さ
れる映像を観察する利用者の視線を検出し、視線入力手
段で前記視線検出手段による前記利用者の視線の検出結
果を前記映像観察手段に表示される映像に対する入力情
報として入力することにより前記利用者の意思を伝達す
る視線入力意思伝達システムを構築するためのプログラ
ムを格納した記憶媒体において、前記プログラムは、外
部からの映像を入力する外部映像入力モジュールと、前
記外部映像入力モジュールから入力された外部映像を前
記映像観察手段に表示するように制御する表示制御モジ
ュールとを有し、前記表示制御モジュールは、前記映像
観察手段に前記外部映像を表示しているときに、該外部
映像に前記利用者の視線により選択される選択肢を重ね
合わせて表示することが可能であることを特徴とする記
憶媒体。
【請求項３９】前記プログラムは、さらに、前記映像
観察手段に前記外部映像に前記選択肢を重ね合せて表示
するか否かを前記利用者の指示に基づき選択するための
選択モジュール手段を有することを特徴とする請求項３
８記載の記憶媒体。
【請求項４０】映像観察手段で選択項目を含む表示盤
を利用者に観察可能に表示し、視線検出手段で前記映像
観察手段に表示される表示盤を観察する利用者の視線を
検出し、視線入力手段で前記視線検出手段による前記利
用者の視線の検出結果を前記表示盤に対する入力情報と
して入力することにより前記利用者の意思を伝達する視
線入力意思伝達システムを構築するためのプログラムを
格納した記憶媒体において、前記プログラムは、前記利
用者の指示に基づき前記映像観察手段により表示される
前記表示盤上の選択項目の表示形態を変更して表示する
ように制御する表示制御モジュールを有することを特徴
とする記憶媒体。
【請求項４１】前記表示制御モジュールは、前記利用
者の指示に基づき前記表示盤上の選択項目の背景色を変
更して表示することを特徴とする請求項４０記載の記憶
媒体。
【請求項４２】前記表示制御モジュールは、前記利用
者の指示に基づき前記表示盤上の選択項目の文字色を変
更して表示することを特徴とする請求項４０記載の記憶
媒体。
【請求項４３】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力する視線入力装置を用いて、前記視
線入力装置からの入力情報により前記利用者の意思を伝
達する視線入力意思伝達システムを構築するためのプロ
グラムを格納した記憶媒体において、前記プログラム
は、接続手段を介して接続された外部装置に対する制御
項目を前記表示盤に表示するように制御する表示制御モ
ジュールと、前記表示盤の制御項目の内の制御量を連続
的に可変する項目を選択する入力情報が前記視線入力手
段から入力されると、前記外部装置に対して前記制御量
を連続的に可変するように命令を前記接続手段を介して
連続的に出力する出力モジュールとを有することを特徴
とする記憶媒体。
【請求項４４】表示盤に向かい合う利用者の視線を検
出し、該利用者の視線の検出結果を前記表示盤に対する
入力情報として入力する視線入力装置を用いて、該視線
入力装置からの入力情報により前記利用者の意思を伝達
する視線入力意思伝達システムを構築するための記憶媒
体において、前記プログラムは、選択項目を階層的に前
記表示盤に表示するように制御する表示制御モジュール
と、前記選択項目からその下位に位置する選択項目を順
に辿りながら選択するように前記視線入力手段から前記
入力情報を前記選択項目の表示順に従い入力することに
よって、前記利用者が伝達すべき１つの意図を確定する
モードを実行するモード実行モジュールとを有すること
を特徴とする記憶媒体。
【請求項４５】前記選択項目の階層構造は、前記利用
者の設定により任意の階層構造に変更可能であることを
特徴とする請求項４４記載の記憶媒体。