JP7115737B2 - 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム - Google Patents

Description

本発明は、ユーザの視線に基づいて入力を受け付ける視線入力装置、視線入力方法、視線入力プログラム及び視線入力システムに関する。

従来、体が不自由等の理由によって手足を用いた操作を行いづらいユーザのために、ユーザの視線を用いて入力する視線入力システムが開発されている。特許文献１には、ユーザの目の画像に基づいて視線の動きを検出し、視線の動きに対応する操作を実行するシステムが記載されている。

特開２０１８－１８４４９号公報

特許文献１に記載のシステムは、視線の動きを検出する前に、ユーザに画面上に表示された９つの点を順番に注視させることによって視線の位置と画面の位置との関係を特定するためのキャリブレーションを行う。このようなキャリブレーションは、ユーザにとって複数の点を順番に注視するための負担が大きいという問題があった。

本発明はこれらの点に鑑みてなされたものであり、視線入力を行う際のユーザの負担を軽減できる視線入力装置、視線入力方法、視線入力プログラム及び視線入力システムを提供することを目的とする。

本発明の第１の態様に係る視線入力装置は、ユーザの視線を特定する視線特定部と、前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記視線特定部が特定した前記視線を、基準視線として記憶部に記憶させる基準設定部と、入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記視線特定部が特定した前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更する表示制御部と、前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付ける入力受付部と、を有する。

前記表示制御部は、前記基準視線から前記視線特定部が特定した前記視線への向きに、前記全体の領域の中で一部の領域を移動させてもよい。

前記表示制御部は、前記基準視線と前記視線特定部が特定した前記視線との間の差に基づいて、前記一部の領域の移動の速さを変化させてもよい。

前記表示制御部は、前記基準視線と前記視線特定部が特定した前記視線との間の差が所定値以下である場合に、前記一部の領域の移動を停止させてもよい。

前記入力受付部は、前記所定領域に所定時間以上位置する前記入力要素を、前記ユーザによる入力として受け付けてもよい。

前記表示制御部が前記ユーザに対し前記表示部中の所定の１点を見つめるように促す情報を前記表示部に表示させた後に、前記基準設定部は前記基準視線を設定してもよい。

前記基準設定部は、前記ユーザが操作する操作装置の操作に応じて、前記基準視線を設定してもよい。

前記表示制御部は、前記入力受付部が前記ユーザによる入力を受け付ける期間には前記表示部に前記一部の領域を表示させ、前記入力受付部が前記ユーザによる入力を受け付けない期間には前記表示部に前記一部の領域を表示させなくてもよい。

前記表示制御部は、前記入力受付部が前記ユーザによる入力を受け付ける期間には前記表示部が光を透過しない状態に切り替え、前記入力受付部が前記ユーザによる入力を受け付けない期間には前記表示部が光を透過する状態に切り替えてもよい。

本発明の第２の態様に係る視線入力方法は、プロセッサが、ユーザの視線を特定するステップと、前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記特定するステップで特定された前記視線を、基準視線として記憶部に記憶させるステップと、入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記特定するステップで特定された前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更するステップと、前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付けるステップと、を実行する。

本発明の第３の態様に係る視線入力プログラムは、コンピュータに、ユーザの視線を特定するステップと、前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記特定するステップで特定された前記視線を、基準視線として記憶部に記憶させるステップと、入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記特定するステップで特定された前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更するステップと、前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付けるステップと、を実行させる。

本発明の第４の態様に係る視線入力システムは、ユーザの頭部に固定された頭部装着装置と、前記頭部装着装置との間で信号を授受する視線入力装置と、を有し、前記頭部装着装置は、前記ユーザが視認できるように前記ユーザの頭部に固定された表示部を備え、前記視線入力装置は、前記ユーザの視線を特定する視線特定部と、前記ユーザが前記表示部中の基準位置を見ている際に前記視線特定部が特定した前記視線を、基準視線として記憶部に記憶させる基準設定部と、入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記視線特定部が特定した前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更する表示制御部と、前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付ける入力受付部と、を備える。

本発明によれば、視線入力を行う際のユーザの負担を軽減できるという効果を奏する。

本実施形態に係る視線入力システムの模式図である。 本実施形態に係る視線入力システムのブロック図である。 本実施形態に係る頭部装着装置の正面図である。 設定画面を表示している表示部の模式図である。 ユーザが入力可能な入力要素の模式図である。 表示領域を変更する処理の模式図である。 入力画面を表示している表示部の模式図である。 本実施形態に係る視線入力方法のフローチャートを示す図である。

［視線入力システムＳの構成］
図１は、本実施形態に係る視線入力システムＳの模式図である。視線入力システムＳは、視線入力装置１と、頭部装着装置２と、操作装置３とを含む。視線入力システムＳは、その他のサーバ、端末等の機器を含んでもよい。

頭部装着装置２は、ユーザの頭部に固定可能な装置であり、視線入力装置１から受信した情報を表示し、またユーザの視線を検出するための情報を取得して視線入力装置１へ送信する。操作装置３は、ユーザが保持可能な、ユーザの操作を受け付ける装置である。操作装置３は、頭部装着装置２に一体化されて設けられてもよい。

頭部装着装置２及び操作装置３は、それぞれＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）等の無線通信技術による無線で、又はケーブルによる有線で、視線入力装置１に接続される。頭部装着装置２及び操作装置３は、視線入力装置１に直接接続されてもよく、インターネット等のネットワークを介して接続されてもよい。

視線入力装置１は、後述する視線入力方法によって、ユーザが装着した頭部装着装置２から受信した情報に基づいて、ユーザによる文字、記号、アイコン等の入力要素の入力を受け付けるコンピュータである。視線入力装置１は、頭部装着装置２に一体化されて構成されてもよい。すなわち、頭部装着装置２は、視線入力装置１の機能を有してもよい。

［視線入力システムＳの構成］
図２は、本実施形態に係る視線入力システムＳのブロック図である。図２において、矢印は主なデータの流れを示しており、図２に示したもの以外のデータの流れがあってよい。図２において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

操作装置３は、ユーザの操作を受け付けるための、ボタン、スイッチ、タッチパネル等の操作部材を含む。操作装置３は、操作部材に対するユーザの操作を検出し、ユーザの操作を示す信号を視線入力装置１へ送信する。

頭部装着装置２は、表示部２１と、撮像部２２と、インタフェース２３とを有する。頭部装着装置２の構造については、図３を用いて後述する。インタフェース２３は、視線入力装置１との間で信号の授受をするための接続部である。インタフェース２３は、視線入力装置１から受信した信号に所定の処理を行ってデータを取得し、取得したデータを表示部２１に入力する。また、インタフェース２３は、撮像部２２から入力されたデータに所定の処理を行って信号を生成し、生成した信号を視線入力装置１に送信する。

表示部２１は、各種情報を表示するための、液晶ディスプレイ等の表示装置を含む。表示部２１は、視線入力装置１から受信した信号に従って情報を表示する。

撮像部２２は、頭部装着装置２上に設けられ、頭部装着装置２を装着したユーザの目（眼球）を含む所定の撮像範囲を撮像する撮像装置である。撮像部２２は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を含む。撮像部２２は、予め設定されたタイミングで撮像を行ってもよく、あるいは視線入力装置１から受信した撮像の指示に従って撮像を行ってもよい。撮像部２２は、撮像した撮像画像を示す信号を視線入力装置１に送信する。

視線入力装置１は、制御部１１と、インタフェース１２と、記憶部１３と、を有する。制御部１１は、視線特定部１１１と、表示制御部１１２と、基準設定部１１３と、入力受付部１１４と、出力部１１５とを有する。

インタフェース１２は、頭部装着装置２及び操作装置３との間で信号の授受をするための接続部である。インタフェース１２は、頭部装着装置２及び操作装置３から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、インタフェース１２は、制御部１１から入力されたデータに所定の処理を行って信号を生成し、生成した信号を頭部装着装置２及び操作装置３に送信する。

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。また、記憶部１３は、ユーザが入力可能な複数の文字、記号、アイコン等の入力要素を示す入力要素情報と、基準設定部１１３が設定した基準とする視線を示す基準情報と、入力受付部１１４が受け付けたユーザにより入力された入力要素を示す入力情報とを記憶する。記憶部１３は、視線入力装置１の外部に設けられてもよく、その場合にインタフェース１２を介して制御部１１との間でデータの授受を行ってもよい。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、視線特定部１１１、表示制御部１１２、基準設定部１１３、入力受付部１１４及び出力部１１５として機能する。視線特定部１１１、表示制御部１１２、基準設定部１１３、入力受付部１１４及び出力部１１５の機能については、図４～図７を用いて後述する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。

本実施形態に係る視線入力システムＳは、図２に示す具体的な構成に限定されない。例えば視線入力装置１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。

［頭部装着装置２の構成］
図３（ａ）、図３（ｂ）は、本実施形態に係る頭部装着装置２の正面図である。図３（ａ）、図３（ｂ）は、頭部装着装置２がユーザの頭部に装着されている状態を表している。図３（ａ）の頭部装着装置２は、ユーザの頭部に固定される固定部２４を有する。例えば固定部２４は、一部を切り欠いたリング状の形状を有し、ユーザの頭部を挟みこむ構造を有する。これにより固定部２４は、頭部装着装置２の表示部２１及び撮像部２２をユーザの頭部に直接固定する。

図３（ｂ）の頭部装着装置２は、ユーザが装着している眼鏡に固定される固定部２４を有する。例えば固定部２４は、クリップ等によって眼鏡のつる（テンプル）を挟み込む構造を有する。これにより固定部２４は、ユーザが装着している眼鏡を介して、頭部装着装置２の表示部２１及び撮像部２２をユーザの頭部に固定する。

固定部２４は、図３（ａ）、図３（ｂ）に示した構造に限られず、表示部２１及び撮像部２２をユーザの頭部に固定可能なその他構造であってもよい。

図３（ａ）、図３（ｂ）に示すように、表示部２１及び撮像部２２は、固定部２４によって、ユーザの一方の目の前方（すなわち、ユーザの頭部の前方）に固定される。頭部装着装置２はユーザの頭部に対して固定されているため、ユーザの頭部がどこを向いていても、表示部２１は表示中の情報をユーザに視認させることができ、撮像部２２はユーザの目を含む撮像範囲の画像を撮像できる。また、頭部装着装置２はユーザの頭部に対して固定されているため、ユーザが移動しても表示部２１とユーザとの間の相対的な位置が変化せず、再度キャリブレーションをする必要がない。また、表示部２１及び撮像部２２がユーザの片目のみに設けられているため、ユーザは一方の目で文字入力をしている間に、他方の目で前方をみることができる。

［視線入力方法の説明］
（キャリブレーション）
本実施形態に係る視線入力方法において、まず視線入力装置１は、キャリブレーション処理を実行する。キャリブレーションは、視線入力のための基準となる視線を予め取得しておくことである。キャリブレーションを実行する間、視線特定部１１１は、ユーザの視線を所定の時間間隔で定期的に特定する。具体的には、まず視線特定部１１１は、頭部装着装置２の撮像部２２が撮像した、ユーザの目を含む撮像範囲の撮像画像を取得する。

次に視線特定部１１１は、取得した撮像画像に基づいて、ユーザの視線（すなわちユーザの目の向き）を特定する。本実施形態に係る頭部装着装置２はユーザの頭部に固定されているため、撮像部２２はユーザの目に対して相対的に固定されている。そのため、頭部装着装置２の頭部への固定がずれない限り、撮像画像中で目（眼球）全体の位置が動くことはなく、ユーザが見ている位置に応じて目の向きのみが変化する。したがって、ユーザの視線は、撮像画像中のユーザの黒目（すなわち瞳孔及び虹彩の少なくとも一方）の位置に対応する。

そこで視線特定部１１１は、取得した撮像画像から抽出したユーザの瞳孔及び虹彩の少なくとも一方の位置（例えば撮像画像中の瞳孔又は虹彩の重心の座標）を、ユーザの視線として特定する。このとき視線特定部１１１は、例えば撮像画像に対してパターンマッチングを行うことによって、ユーザの瞳孔及び虹彩の少なくとも一方の位置を抽出する。

視線特定部１１１が視線を特定する方法は、上述の具体的な方法に限定されず、その他方法であってもよい。例えば視線特定部１１１は目頭又は角膜上の輝点を基準点とし、瞳孔又は虹彩を動点とし、基準点と動点との間の位置関係に基づいて、ユーザの視線を特定してもよい。この場合には、基準点は視線によらず固定されており、動点は視線に応じて変化するため、基準点に対する動点の相対的な位置を、ユーザの視線として特定する。また、例えば視線特定部１１１は眼球の運動（すなわち眼球の回転角度、回転速度等）を検出することによって、視線を特定してもよい。

視線特定部１１１がユーザの視線を特定するのと並行して、表示制御部１１２は、頭部装着装置２の表示部２１に信号を送信し、基準とする視線を設定するための設定画面を表示させる。

図４は、設定画面を表示している表示部２１の模式図である。表示部２１は、設定画面として、ユーザへの指示を示すメッセージＭ１と、基準位置Ｐを示す記号Ｍ２とを表示する。

基準位置Ｐは、基準とする視線を設定する際にユーザが見つめるための表示部２１中の所定の１点である。本実施形態では、１点の基準位置Ｐを用いてキャリブレーションをしているが、２点の基準位置Ｐを用いてキャリブレーションをすることによって、基準視線を設定してもよい。基準位置Ｐは、例えば表示部２１の中心点であるが、これに限られず、例えば所定の形状（円、四角形等）を有する領域であってもよい。記号Ｍ２は、ユーザに対して基準位置Ｐの点を見つめるように促す記号であり、例えば十字の記号の交差部分が基準位置Ｐに一致する。

メッセージＭ１は、ユーザに対して基準位置Ｐの点を見つめるように促す情報である。本実施形態では表示部２１がメッセージＭ１を示す文字列を表示しているが、頭部装着装置２に設けられたスピーカからメッセージＭ１を示す音声を出力してもよい。メッセージＭ１を見た又は聞いたユーザは基準位置Ｐを見つめるため、ユーザの視線は基準位置Ｐに向いている状態になる。

表示制御部１１２が表示部２１に設定画面を表示させた後、基準設定部１１３は、ユーザが基準位置Ｐを見ている際の視線を、基準視線として特定する。基準設定部１１３は、ユーザが基準位置Ｐを見ているタイミングを判定するために、ユーザが操作装置３を操作したタイミングを用いてもよい。この場合に、ユーザは、基準位置Ｐを見つめている間に操作装置３を操作（例えばボタンを押下）する。そして基準設定部１１３は、操作装置３から操作を示す信号を受信した際に基準視線を特定する。

また、基準設定部１１３は、ユーザが基準位置Ｐを見ているタイミングを判定するために、ユーザが所定の言葉を発したタイミングを用いてもよい。この場合に、ユーザは、基準位置Ｐを見つめている間に、頭部装着装置２に設けられたマイクロフォンに対して所定の言葉を示す音声を入力する。そして基準設定部１１３は、頭部装着装置２から所定の言葉を示す音声を受信した際に基準視線を特定する。基準設定部１１３は、音声から所定の言葉を検出するために、公知の音声認識技術を用いることができる。

また、基準設定部１１３は、ユーザが基準位置Ｐを見ているタイミングを自動的に判定してもよい。この場合に、基準設定部１１３は、例えば表示部２１が設定画面を表示してから所定時間が経過した際や、ユーザの視線が停止してから所定時間が経過した際に、基準視線を特定する。

そして基準設定部１１３は、特定した基準視線を示す基準情報を記憶部１３に記憶させることによって、基準とする視線を設定する。基準情報は、基準視線として特定されたユーザの瞳孔及び虹彩の少なくとも一方の位置（例えば撮像画像中の瞳孔又は虹彩の重心の座標）又は画像でもよい。

（入力要素の入力受付）
キャリブレーションが完了した後に、視線入力装置１は、ユーザによる入力要素の入力を受け付ける。入力受付のために、視線特定部１１１は、ユーザの視線を所定の時間間隔で定期的に特定する。視線特定部１１１がユーザの視線を特定する方法は、キャリブレーションの際と同様である。

視線特定部１１１がユーザの視線を特定するのと並行して、表示制御部１１２は、頭部装着装置２の表示部２１に信号を送信し、ユーザによる入力を受け付けるための入力画面を表示させるための制御を行う。具体的には、まず表示制御部１１２は、記憶部１３に予め記憶された入力要素情報を取得する。入力要素情報は、ユーザが入力可能な複数の文字、記号、アイコン等の入力要素を示す情報である。アイコンは、例えばロボットやコンピュータ等の装置に対する所定の指示（ロボットの特定の動作、特定のソフトウェアの実行等）に関連付けられた図形である。ユーザが入力可能な入力要素の種類（例えば日本語文字、英語文字、数字、記号等）は、ユーザによる入力に従って切り替えられてもよい。

次に表示制御部１１２は、取得した入力要素情報が示す入力要素の中で、頭部装着装置２の表示部２１での表示対象を決定する。図５は、ユーザが入力可能な入力要素の模式図である。具体的には、表示制御部１１２は、入力要素情報が示す全ての入力要素を平面上に並べた全体領域Ｒ１を生成する。そして、表示制御部１１２は、全体領域Ｒ１のうち一部の領域である表示領域Ｒ２を、表示対象として決定する。表示領域Ｒ２は、入力要素情報が示す全ての入力要素のうち一部である複数の入力要素を含む。表示領域Ｒ２の大きさは、頭部装着装置２の表示部２１の大きさに応じて予め設定される。

ユーザによる入力の受け付け開始時において、全体領域Ｒ１の中の表示領域Ｒ２は、所定の位置（初期位置）に設定される。例えば表示領域Ｒ２の初期位置は、全体領域Ｒ１の中心である。初期位置は、全体領域Ｒ１のその他の位置でもよい。

表示制御部１１２は、決定した表示領域Ｒ２を示す情報を頭部装着装置２の表示部２１に送信し、ユーザによる入力を受け付けるための入力画面を表示させる。表示部２１は、入力画面として、表示領域Ｒ２に含まれる複数の入力要素を表示する。

さらに表示制御部１１２は、基準設定部１１３が特定した基準視線と、視線特定部１１１が特定したユーザの現在の視線（現在視線）との関係に基づいて、全体領域Ｒ１の中の表示領域Ｒ２を変更する。

図６は、表示領域Ｒ２を変更する処理の模式図である。図６は、基準設定部１１３が特定した基準視線Ｄ１と、視線特定部１１１が特定した現在視線Ｄ２とを表している。図６では、視認性のために、基準視線Ｄ１及び現在視線Ｄ２をそれぞれ表示部２１上に射影した位置に記号を表している。基準視線Ｄ１を表示部２１上に射影した位置は、基準位置Ｐと一致する。

具体的には、表示制御部１１２は、基準設定部１１３が特定した基準視線Ｄ１を示す基準情報を記憶部１３から取得する。また、表示制御部１１２は、視線特定部１１１が特定したユーザの最新の視線を現在視線Ｄ２として取得する。表示制御部１１２は、基準視線Ｄ１を基準とした現在視線Ｄ２の向き及び距離（すなわちベクトル）を算出する。基準視線Ｄ１を基準とした現在視線Ｄ２の距離は、基準視線Ｄ１の位置と現在視線Ｄ２の位置との間の差であり、例えば撮像画像中の瞳孔又は虹彩の重心の座標に基づいて算出してもよいし、表示部２１上における基準視線Ｄ１及び現在視線Ｄ２の射影位置（座標）に基づいて算出してもよい。

そして表示制御部１１２は、算出した基準視線Ｄ１から現在視線Ｄ２への向き及び距離に基づいて、全体領域Ｒ１の中で表示領域Ｒ２を移動させる移動速度（すなわち移動の向き及び速さ）を決定する。表示制御部１１２は、基準視線Ｄ１から現在視線Ｄ２への向きを、全体領域Ｒ１の中で表示領域Ｒ２を移動させる向きとする。また、表示制御部１１２は、所定の規則に従って基準視線Ｄ１から現在視線Ｄ２への距離に基づいて算出した値を、全体領域Ｒ１の中で表示領域Ｒ２を移動させる速さとする。

ここで表示制御部１１２は、基準視線Ｄ１から現在視線Ｄ２への距離が大きいほど速さを大きくし、距離が小さいほど速さを小さくする。基準視線Ｄ１から現在視線Ｄ２への距離が所定値以下である場合（すなわち基準視線Ｄ１と現在視線Ｄ２とが近い場合）に、表示制御部１１２は速さをゼロにし、表示領域Ｒ２の移動を停止させる。例えば表示制御部１１２は、基準視線Ｄ１から現在視線Ｄ２への距離に比例するように速さを算出してもよく、あるいは基準視線Ｄ１から現在視線Ｄ２への距離の増加に応じて段階的（不連続）に増加するように速さを算出してもよい。表示制御部１１２は、このような向き及び速さを、移動速度として決定する。

表示制御部１１２は、所定の時間間隔で移動速度を決定し、決定した移動速度を用いて全体領域Ｒ１の中で表示領域Ｒ２を移動させ、移動後の表示領域Ｒ２を表示部２１に表示させることを繰り返す。これにより表示制御部１１２は、ユーザの現在視線に応じて動的に全体領域Ｒ１の中の表示領域Ｒ２の位置及び移動速度を動的に変更し、ユーザが所望する入力要素を表示領域Ｒ２の中に移動させることができる。

このように表示制御部１１２は、基準視線から現在視線への向き及び距離のみを算出し、表示部２１上における視線の精密な座標を特定しない。そのため、上述の基準設定部１１３による視線調節において、１つの点のみを見ているユーザの視線を基準として設定すればよく、ユーザが複数の点を順番に注視する必要がない。

このような構成により、ユーザは、基準位置Ｐから遠い位置を見ることによって、入力したい入力要素を素早く表示領域Ｒ２の中に移動させることができる。一方、ユーザは、基準位置Ｐから近い位置を見ることによって、入力した入力要素を細かく移動させることができる。

入力受付部１１４は、所定の条件が満たされた場合に、ユーザによる入力要素の入力を受け付ける。図７は、入力画面を表示している表示部２１の模式図である。表示部２１は、入力画面として、表示領域Ｒ２に含まれる複数の入力要素Ｅと、基準位置Ｐを示す記号Ｍ２とを表示する。基準位置Ｐを示す記号Ｍ２は、省略されてもよい。

図７には、入力領域Ｒ３が破線で表されている。入力領域Ｒ３は、基準位置Ｐを含む所定の領域である。入力領域Ｒ３の大きさ及び形状は予め設定される。入力領域Ｒ３は、図７の例では基準位置Ｐを中心とした所定の半径の円であるが、矩形や多角形等のその他の形状でもよい。入力領域Ｒ３の大きさは、１つの入力要素Ｅが入力領域Ｒ３に位置することができ、かつ２つ以上の入力要素Ｅが同時に入力領域Ｒ３に位置することができない大きさに設定されることが望ましい。

入力受付部１１４は、表示領域Ｒ２に含まれる複数の入力要素Ｅのうちいずれか１つの入力要素Ｅが入力領域Ｒ３に位置すると、時間のカウントを開始する。入力受付部１１４は、入力要素Ｅが入力領域Ｒ３に位置することを、（１）入力要素Ｅの代表点（中心点等）が入力領域Ｒ３内に位置していること、（２）入力要素Ｅの少なくとも一部が入力領域Ｒ３に重なっていること、（３）入力要素Ｅが基準位置Ｐに重なっていること、のうちいずれかによって検出する。

入力受付部１１４は、入力領域Ｒ３に位置する入力要素Ｅが替わった場合に、時間のカウントをリセットして改めて開始する。入力受付部１１４は、１つの入力要素Ｅについての時間のカウントが所定時間（例えば５秒）以上となった場合に、該入力要素Ｅを、ユーザによる入力として受け付ける。

出力部１１５は、入力受付部１１４がユーザによる入力として受け付けた入力要素を示す入力情報を、記憶部１３に記憶させる。また、出力部１１５は、入力受付部１１４がユーザによる入力として受け付けた入力情報を、インタフェース１２を介して外部に出力してもよい。

このように本実施形態に係る視線入力装置１は、基準視線と現在視線との間の関係（すなわち向き及び距離）に基づいて入力要素の入力を受け付けるため、ユーザが基準位置Ｐの１点を見つめる際の視線を基準視線として特定するだけで、キャリブレーションすることができる。これにより、ユーザは複数の点を順番に注視する必要がないため、キャリブレーションを容易にすることができる。

また、視線入力装置１は、全ての入力要素を含む全体領域の一部を表示領域として表示し、ユーザの視線に応じて表示領域を移動させるため、表示領域が移動しない場合に比べて各入力要素が大きく表示される。その結果、ユーザは、入力要素に対応する小さな領域を精密に注視する必要がなく、大きな領域を注視すればよいので、入力要素を容易に選択できる。

表示制御部１１２は、視線入力装置１がユーザによる入力を受け付けている期間には表示部２１に入力要素を表示させ（すなわち表示部２１をＯＮにし）、視線入力装置１がユーザによる入力を受け付けていない期間には表示部２１に入力要素を表示させなくて（すなわち表示部２１をＯＦＦにして）もよい。視線入力装置１がユーザによる入力を受け付けているか否かは、例えばユーザが操作装置３において所定の操作を行うことによって切り替えられる。これにより、視線入力装置１は文字入力を受け付けている期間のみユーザに対して入力要素を提示するため、ユーザは文字入力が可能か否かを容易に判断できる。

さらに表示部２１は、透過型ディスプレイを用いて、光を通す透過状態と光を通さない非透過状態との間で切り替え可能に構成されてもよい。この場合に、表示制御部１１２は、視線入力装置１がキャリブレーションをしている期間又はユーザによる入力を受け付けている期間には光を通さない非透過状態に切り替え、視線入力装置１がそれ以外の期間には光を通す透過状態に切り替えてもよい。これにより、ユーザは、キャリブレーションをしていない際、及び文字入力をしていない際には両目で前方を見ることができる。

［視線入力方法のフローチャート］
図８は、本実施形態に係る視線入力方法のフローチャートを示す図である。図８のフローチャートは、例えばユーザが頭部装着装置２を装着することによって開始される。まず視線特定部１１１は、表示制御部１１２が基準位置Ｐを示す記号Ｍ２を表示部２１に表示させている間に頭部装着装置２の撮像部２２が撮像した撮像画像を用いて、ユーザの視線を特定することによりキャリブレーションする（Ｓ１１）。表示制御部１１２は、頭部装着装置２の表示部２１に信号を送信し、基準とする視線を設定するための設定画面を表示させる（Ｓ１２）。

基準設定部１１３は、ユーザが設定画面の表示に従って基準位置Ｐを見ている際の視線を、基準視線として特定する（Ｓ１３）。基準視線が特定できず、キャリブレーションが終了していない場合に（Ｓ１４のＮＯ）、視線入力装置１はステップＳ１１に戻って処理を繰り返す。

キャリブレーションが終了した後に（Ｓ１４のＹＥＳ）、視線特定部１１１は、入力受付のために、頭部装着装置２の撮像部２２が撮像した撮像画像を用いて、ユーザの視線を特定する（Ｓ１５）。

表示制御部１１２は、入力要素情報の全ての入力要素を示す全体領域のうち表示対象とする一部の領域である表示領域を決定する（Ｓ１６）。ユーザによる入力の受け付け開始時には、表示制御部１１２は、全体領域の中の表示領域を、所定の位置（初期位置）に設定する。その後には、表示制御部１１２は、基準設定部１１３が特定した基準視線と、視線特定部１１１が特定したユーザの現在視線との関係に基づいて表示領域の移動速度を算出し、算出した移動速度を用いて全体領域の中の表示領域を決定する。

表示制御部１１２は、初期位置又は移動後の表示領域を示す情報を頭部装着装置２の表示部２１に送信し、ユーザによる入力を受け付けるための入力画面を表示させる（Ｓ１７）。入力受付部１１４は、表示領域に含まれる複数の入力要素のうち、基準位置を含む所定の入力領域に位置するいずれか１つの入力要素について、時間のカウントを開始又は継続する（Ｓ１８）。

時間のカウントをしている入力要素が替わった場合に（Ｓ１９のＹＥＳ）、入力受付部１１４は、時間のカウントをリセットし（Ｓ２０）、ステップＳ２３に進む。

時間のカウントをしている入力要素が替わっていない場合（Ｓ１９のＮＯ）であって、時間のカウントが所定時間以上になった場合に（Ｓ２１のＹＥＳ）、入力受付部１１４は、時間のカウントをしている入力要素を、ユーザによる入力として受け付ける（Ｓ２２）。時間のカウントが所定時間以上になっていない場合に（Ｓ２１のＮＯ）、入力受付部１１４は、ステップＳ２３に進む。

所定の終了条件（例えばユーザが頭部装着装置２を取り外すこと又は視線入力装置１に対して所定の終了操作を行うこと）が満たされていない場合に（Ｓ２３のＮＯ）、視線入力装置１はステップＳ１５に戻って処理を繰り返す。所定の終了条件が満たされた場合に（Ｓ２３のＹＥＳ）、視線入力装置１は処理を終了する。

図８においては、キャリブレーション処理と入力受付処理とが連続的に行われているが、キャリブレーション処理と入力受付処理とは独立して行われてもよい。例えば視線入力装置１は、キャリブレーション処理を一回行った後に、入力受付処理を複数回行ってもよい。さらに視線入力装置１は、頭部装着装置２がユーザの頭部から取り外されて再装着された場合や、ユーザが操作装置３を用いてキャリブレーションの指示の操作を行った場合に、キャリブレーション処理を再度行ってもよい。

［実施形態の効果］
本実施形態によれば、視線入力装置１は、基準視線と現在視線との間の関係（すなわち向き及び距離）に基づいて入力要素の入力を受け付けるため、ユーザが基準位置Ｐを示す記号Ｍ２の１点を見つめる際の視線を基準視線として特定するだけで、キャリブレーションすることができる。頭部装着装置２はユーザの頭部に対して固定されているため、ユーザが移動しても、再度キャリブレーションをする必要がなく、キャリブレーションの回数自体を削減することができる。人間にとって、正面を注視することよりも、目だけを動かして正面から離れた周辺部を注視することは難しい。そのため、特許文献１の記載の技術のように複数の点を見つめてキャリブレーションをすることは、ユーザにとって負担となり得る。それに対して本実施形態に係る視線入力システムＳは、ユーザが１点を見るだけで基準とする視線を設定できるため、キャリブレーション時のユーザの負担を軽減することができる。

また、視線入力装置１は、全ての入力要素を含む全体領域の一部を表示領域として表示し、ユーザの視線に応じて表示領域を移動させることによって、ユーザによる入力を決定する。そのため、視線入力装置１は、全体領域を表示する場合に比べて各入力要素を大きく表示させることができるので、ユーザは多数の入力要素のうち１つを精密に注視する必要がなく、入力要素を容易に選択できる。ユーザは入力したい入力要素を見続けると、入力したい入力要素が入力領域Ｒ３に近付くほど移動速度が遅くなるため、入力したい入力要素を入力領域Ｒ３の中に位置させることが容易である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

視線入力装置１の制御部１１（プロセッサ）は、図８に示す視線入力方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図８に示す視線入力方法を実行するためのプログラムを記憶部１３から読み出し、当該プログラムを実行して視線入力装置１の各部を制御することによって、図８に示す視線入力方法を実行する。図８に示す視線入力方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。

Ｓ 視線入力システム
１ 視線入力装置
２ 頭部装着装置
３ 操作装置
１１ 制御部
１３ 記憶部
２１ 表示部
１１１ 視線特定部
１１２ 表示制御部
１１３ 基準設定部
１１４ 入力受付部

Claims (11)

1. ユーザの視線を特定する視線特定部と、
   前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記視線特定部が特定した前記視線を、基準視線として記憶部に記憶させる基準設定部と、
   入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記視線特定部が特定した前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更する表示制御部と、
   前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付ける入力受付部と、
   を有し、
   前記表示制御部は、前記基準視線から前記視線特定部が特定した前記視線への向きに、前記全体の領域の中で前記一部の領域を移動させる、
   視線入力装置。
2. 前記表示制御部は、前記基準視線と前記視線特定部が特定した前記視線との間の差に基づいて、前記一部の領域の移動の速さを変化させる、請求項１に記載の視線入力装置。
3. 前記表示制御部は、前記基準視線と前記視線特定部が特定した前記視線との間の差が所定値以下である場合に、前記一部の領域の移動を停止させる、請求項１又は２に記載の視線入力装置。
4. 前記入力受付部は、前記所定領域に所定時間以上位置する前記入力要素を、前記ユーザによる入力として受け付ける、請求項１から３のいずれか一項に記載の視線入力装置。
5. 前記表示制御部が前記ユーザに対し前記表示部中の所定の１点を見つめるように促す情報を前記表示部に表示させた後に、前記基準設定部は前記基準視線を設定する、請求項１から４のいずれか一項に記載の視線入力装置。
6. 前記基準設定部は、前記ユーザが操作する操作装置の操作に応じて、前記基準視線を設定する、請求項１から５のいずれか一項に記載の視線入力装置。
7. 前記表示制御部は、前記入力受付部が前記ユーザによる入力を受け付ける期間には前記表示部に前記一部の領域を表示させ、前記入力受付部が前記ユーザによる入力を受け付けない期間には前記表示部に前記一部の領域を表示させない、請求項１から６のいずれか一項に記載の視線入力装置。
8. 前記表示制御部は、前記入力受付部が前記ユーザによる入力を受け付ける期間には前記表示部が光を透過しない状態に切り替え、前記入力受付部が前記ユーザによる入力を受け付けない期間には前記表示部が光を透過する状態に切り替える、請求項７に記載の視線入力装置。
9. プロセッサが、
   ユーザの視線を特定するステップと、
   前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記特定するステップで特定された前記視線を、基準視線として記憶部に記憶させるステップと、
   入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記特定するステップで特定された前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更するステップと、
   前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付けるステップと、
   を実行し、
   前記変更するステップにおいて、前記基準視線から前記特定するステップで特定された前記視線への向きに、前記全体の領域の中で前記一部の領域を移動させる、
   視線入力方法。
10. コンピュータに、
    ユーザの視線を特定するステップと、
    前記ユーザが前記ユーザの頭部に固定された表示部中の基準位置を見ている際に前記特定するステップで特定された前記視線を、基準視線として記憶部に記憶させるステップと、
    入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記特定するステップで特定された前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更するステップと、
    前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付けるステップと、
    を実行させ、
    前記変更するステップにおいて、前記基準視線から前記特定するステップで特定された前記視線への向きに、前記全体の領域の中で前記一部の領域を移動させる、
    視線入力プログラム。
11. ユーザの頭部に固定された頭部装着装置と、
    前記頭部装着装置との間で信号を授受する視線入力装置と、
    を有し、
    前記頭部装着装置は、前記ユーザが視認できるように前記ユーザの頭部に固定された表示部を備え、
    前記視線入力装置は、
    前記ユーザの視線を特定する視線特定部と、
    前記ユーザが前記表示部中の基準位置を見ている際に前記視線特定部が特定した前記視線を、基準視線として記憶部に記憶させる基準設定部と、
    入力可能な複数の入力要素を表す全体の領域のうち一部の領域を前記表示部に表示させるとともに、前記基準視線と前記視線特定部が特定した前記視線との間の関係に基づいて、前記全体の領域の中で前記一部の領域を変更する表示制御部と、
    前記一部の領域内の前記基準位置を含む所定領域に位置する入力要素の入力を受け付ける入力受付部と、
    を備え、
    前記表示制御部は、前記基準視線から前記視線特定部が特定した前記視線への向きに、前記全体の領域の中で前記一部の領域を移動させる、
    視線入力システム。

Images