JP6715483B2 - シンボル選択装置及びシンボル選択装置用のプログラム - Google Patents

Description

本発明は、画面に表示された文字、記号等のシンボル（以下、単に「シンボル」と記載することがある）をユーザの視線により選択できるようにしたシンボル選択装置及び当該シンボル選択装置用のプログラムに関する。

近年、重度の肢体麻痺や脳性麻痺等により眼球以外を動かすことが困難な患者の意思伝達を支援するツールとして、画面に表示されたシンボルを視線により選択できるようにしたシンボル選択装置が開発されている。

このようなシンボル選択装置として、例えば特許文献１には、カメラを用いてユーザの視線を検出し、検出された視線に応じて画面上のカーソルを移動させて、画面上に表示されたシンボルを選択できるようにしたものが開示されている。このシンボル選択装置では、検出された視線に基づいて画面上におけるユーザの視点位置が推定され、この推定された視点位置にカーソルが表示される。ユーザは、視線を動かすことで画面上のカーソルをシンボルまで移動させ、例えば瞬き等をすることで、そのシンボルを選択することができる。

特開２００９−０５４１０１号公報

しかしながら、上述したようなカメラ等を用いてユーザの視線を検出する種のシンボル選択装置では、画面上におけるユーザの実際の視点位置と、検出された視線から推定される視点位置との間に多少なりともズレが生じてしまう。このような場合ユーザは、カーソルをシンボルに正確に合わせるためには、選択しようとするシンボルの中心を見るのではなく、実際の視点位置とカーソルの位置とのズレの大きさを考慮してシンボルの中心から視線をずらすとともに、周辺視によりカーソルが所望のシンボルを指していることを確認しなくてはならない。しかしながら、ユーザはどうしても無意識のうちにカーソルを見ようとして視線を移動させてしまうので、カーソルをシンボルに正確に合わせて選択するための操作が難しく、ユーザに与えるストレスも大きい。

このような実際の視点位置と検出された視線から推定される視点位置とのズレを無くすためには、装置にキャリブレーション機能を搭載することも考えられる。しかし、装置にキャリブレーション機能を搭載すると、ユーザが変わる都度、その使用に先立ってキャリブレーション作業を行う必要があり、非常に手間が掛かる。また、脳性麻痺等による緊張や痙攣から不随意運動が起きてしまい、キャリブレーション作業を行うことが困難な患者も多い。

本発明はこのような問題に鑑みてなされたものであり、キャリブレーションを行うことなく、画面上に表示される文字や記号等の複数のシンボルを視線により容易に選択することができるシンボル選択装置を提供することを目的とする。

すなわち本発明に係るシンボル選択装置は、画面に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたものであって、前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部と、前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、前記シンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、前記選択位置にある前記シンボルを選択する選択部とを備え、前記選択位置が、前記画面上の所定位置に固定されており、前記選択シンボル表示制御部が、前記推定視点位置と前記選択位置との間の距離が所定値以下である場合に、前記推定視点位置に最も近いシンボルを、前記選択位置に引き込むように移動させることを特徴とする。

このような構成であれば、推定視点位置と選択位置との間の距離が所定値以下である場合に、選択シンボル表示制御部が、推定視点位置に最も近いシンボルを選択位置に引き込むように移動させるので、実際の視点位置と推定視点位置との間にズレがあったとしても、シンボルを容易に選択位置に合わせることができる。すなわち、選択したいシンボルを選択位置にある程度近づけた後、ユーザは、シンボルを選択位置に正確に合わせるように視線をずらしたりする必要がなく、ただシンボルを見ているだけでシンボルが選択位置に自動的に引き込まれて、当該シンボルを選択することができる。
このように、本発明のシンボル選択装置によれば、シンボルを選択位置に正確に合わせなくてもシンボルを選択できるので、たとえ実際の視点位置と推定視点位置との間にズレがあったとしても、キャリブレーション作業を行うことなく、ユーザは簡単にシンボルを選択することができる。そのため、ユーザが変わった場合であっても、すぐに使用することができるようになる。
また、推定視点位置にカーソルを表示させ、このカーソルをシンボルに合わせるように視線を移動させるものではないので、実際の視点位置と推定視点位置との間にズレがあっても、ユーザが画面上のカーソルを目で追ってしまうことによってシンボルを正しく選択できなくなることもない。

選択シンボル表示制御部は、推定視点位置と選択位置との間の距離が所定値より大きい場合に、推定視点位置から選択位置に向かう方向に沿って、シンボルを移動させることが好ましい。
このようなものであれば、選択したいシンボルが選択位置から遠い位置に表示されている場合には、ユーザが当該シンボルを見続けることにより、当該シンボルを選択位置に近づけるように移動させることができる。すなわち、このようなものであれば、選択したいシンボルが画面上のどこにあっても、ユーザが当該シンボルを見ているだけで、シンボルが自動的に選択位置まで移動して、これを選択することができるようになる。

ここで、推定視点位置と選択位置との間の距離が所定値より大きい場合に、推定視点位置に最も近いシンボルから選択位置に向かう方向に沿ってシンボルを移動させるように構成すると、例えば推定視点位置が複数のシンボルの真ん中辺りにある場合には、ユーザの視線の少しの揺らぎによって推定視点位置に最も近いシンボルが簡単に切り替わってしまう。するとシンボルが大きく蛇行しながら移動するように見え、ユーザに与える視覚的なストレスが大きくなる。
しかし、このように推定視点位置から選択位置に向かう方向に沿ってシンボルを移動させるように構成することで、シンボルが移動している最中にユーザの視線が揺らいだ場合にも、シンボルは過度に蛇行することなく選択位置に向かって移動することができる。そのため、ユーザに与える視覚的なストレスを軽減できる。

選択シンボル表示制御部は、ユーザが実際に見ている特定のシンボルと、推定視点位置に最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、隣り合うシンボルを互いに離間させて表示することが好ましい。
実際の視点位置と推定視点位置とのズレの大きさは、ユーザの眼球形状の違い等によって多少の個人差がある。またユーザがシンボルを見る際には、シンボルの中心を見るとは限らず、シンボルの形状等によって見る位置が異なり、しかもその見る位置にも個人差がある。しかし、このような構成であれば、ユーザの眼球形状やシンボルを見る際の癖によらず、実際に見ているシンボルと推定視点位置に最も近いシンボルとを一致させることができるので、如何なるユーザが使用したとしても、当該ユーザが選択したいシンボルを間違いなく選択することができる。

このように、ユーザ間の個人差を吸収できる程度に隣り合うシンボルを互いに離間させて表示することにより、画面上に全てのシンボルを表示しきれなくなることがある。このような場合には、選択シンボル表示制御部は、推定視点位置と選択位置との間の距離が所定値より大きい場合に、推定視点位置から選択位置に向かう方向に沿って、画面上に表示されるシンボルをスクロールさせるものであることが好ましい。
このような構成であれば、ユーザが、画面上の選択位置から所定値を超えて離れた箇所を見ることにより画面上のシンボルをスクロールさせることができるので、画面上に表示しきれないシンボルを、画面上に移動させて表示させ、選択することができる。

選択シンボル表示制御部は、推定視点位置と選択位置との間の距離が前記所定値より大きい場合に、推定視点位置と選択位置との間の距離が大きくなるにつれて、スクロール速度を大きくするものであることが好ましい。
このような構成であれば、ユーザは、画面の端等選択位置から遠い位置を見ることにより、画面上のシンボルを高速でスクロールさせることができるので、より快適にシンボルを選択することができる。

選択位置は、画面の中央に設定されていることが好ましい。
実際の視点位置と推定視点位置との間のズレは、ユーザの眼球とディスプレイ上の実際の視点位置との間の距離が近い方が小さくなる。それ故、実際の視点位置と推定視点位置との間のズレは、ユーザの実際の視点位置が画面の端にあるよりも、画面の中央にある方が小さい。そのため、選択位置を画面の中央に設定することにより、実際に見ているシンボルと推定視点位置に最も近いシンボルとをより確実に一致させることができる。また選択位置が画面の中央に設定されていれば、画面上のシンボルを広く見渡すことができるので、所望のシンボルをより容易に選択することができる。
なお、選択位置は、画面の中心に設定されていることがより好ましい。

前記選択シンボル表示制御部は、前記シンボル選択部が１つのシンボルを選択すると、当該選択された１つのシンボルに関連付けられた１つ又は複数のシンボルを、前記画面上に新たに表示することが好ましい。
このようなものであれば、１つのシンボルを選択すると、当該シンボルに関連付けられたシンボルが画面上に表示されるので、ユーザは、次に選択したいシンボルを簡単に見つけることができる。

上記したシンボル選択装置は、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部を更に備え、前記確定シンボル表示制御部が、選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するとともに、又は選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するのに代えて、該選択された複数のシンボルの組み合わせに対応するメッセージを前記シンボル列表示ウィンドウ内に表示するものであることが好ましい。
このようなものであれば、文字等のシンボルを一文字ずつ選択してメッセージを作成する場合に比べて、早くメッセージを作成することができる。

ところで、上記のようなシンボル選択装置を用いてシンボルを選択してメッセージを作成する際には、ユーザは通常、シンボル列表示ウィンドウに表示されている既に選択されたシンボルを確認しながら、次のシンボルを選択する。シンボル列表示ウィンドウが、画面上の例えば端の方に固定して表示されている場合には、ユーザは、メッセージを作成するにあたり、画面上の選択するシンボルとシンボル列表示ウィンドウとの間で何度も視線を往復させなければならない。すると、視線を何度も往復移動させている間に、意図しないシンボルを誤って選択してしまう恐れがある。

このような問題を解決するためには、確定シンボル表示制御部は、前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている１つのシンボルと隣り合う位置に設定すればよい。
このようなものであれば、シンボル選択部によって選択されている１つのシンボルと隣り合う位置にシンボル列表示ウィンドウが表示されるので、ユーザは、選択したいシンボルを見て選択した後、視線を大きく移動させることなく、シンボル列表示ウィンドウに表示されているシンボル列を確認することができる。すなわち、ユーザは選択されたシンボル列を確認するために、画面上に表示されている他の複数のシンボルの上を通るように視線を移動させる必要がないので、シンボルの誤選択を低減することができる。また、選択されているシンボルとシンボル列表示ウィンドウとの間で視線を大きく移動させる必要がないので、ユーザは選択されたシンボル列を簡単に確認することができる。

前記確定シンボル表示制御部は、前記シンボル選択部によって選択されているシンボルに隣り合う複数のシンボルのそれぞれの、少なくとも一部が見えるように前記シンボル列表示ウィンドウを表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウが表示されている間も、ユーザは画面上に表示されている全てのシンボルを確認することができるので、次に選択するシンボルをより簡単に探すことができる。

前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウを透過表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウと重なっている画面上のシンボルを、透かして確認することができるので、ユーザは画面上に表示されている全てのシンボルを確認することができる。これにより、次に選択するシンボルをより簡単に探すことができる。

前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウ内においてシンボル列を横書きで表示し、かつ前記シンボル選択部によって選択されている１つのシンボルの中心の横方向の座標位置を中央とする中央揃えで表示することが好ましい。
シンボルを見る際には、ユーザはシンボルの中心辺りを見ることが多い。このようなものであれば、ユーザが実際に見ているシンボルの中心の少し上（又は少し下）に、選択されたシンボル列が中央揃えで表示されるので、ユーザは、実際に見ているシンボルから視線を少し上（又は少し下）にずらすだけで、シンボル列の全体を確認することができる。すなわち、シンボル列を確認するための視線の移動距離をより短くできるので、シンボルの誤選択をより低減できる。

本発明に係るシンボル選択装置用のプログラムは、画面に向けられた前記ユーザの視線を検出する視線検出手段を備え、前記画面に表示された文字、記号等のシンボルをユーザの視線により選択できるようにしたシンボル選択装置に適用されるものであって、前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部としての機能と、前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、前記シンボルを、前記画面上に予め設定された選択位置に移動させ、前記推定視点位置と前記選択位置との間の距離が所定値以下である場合に、前記推定視点位置に最も近いシンボルを、前記の選択位置に引き込むように移動させる選択シンボル表示制御部としての機能と、前記選択位置にある前記シンボルを選択するシンボル選択部としての機能と、を発揮させることを特徴とする。

このようなシンボル選択装置用プログラムであれば、上述したシンボル選択装置により得られる作用効果と同様の効果を奏し得る。

このようにした本発明によれば、キャリブレーションを行うことなく、画面上に表示される文字や記号等の複数のシンボルを視線により容易に選択することができるシンボル選択装置を提供することができる。

本実施形態のシンボル選択装置の全体構成を模式的に示す図。 同実施形態のシンボル選択装置の機器構成を示す構成図。 同実施形態のシンボル選択装置の機器構成を示す機能ブロック図。 同実施形態における画面の表示態様の一例を示す画面例示図。 同実施形態におけるシンボル選択装置の動作フローチャート。 他の実施形態における画面の表示態様の一例を示す画面例示図。

以下に本発明の一実施形態に係るシンボル選択装置について、図面を参照して説明する。

本実施形態のシンボル選択装置１００は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものである。
具体的にこのシンボル選択装置１００は、図１に示すように、ディスプレイ２及びコンピュータ本体３を有するノートパソコン１と、ユーザの視線を検出する視線検出手段４とを備えている。ディスプレイ２の画面２１には、文字や記号等のシンボルが並べて配置されたシンボルパネル２１１が表示され、ユーザは、視線を動かすことによりこのシンボルパネル２１１を移動させて、シンボルパネル２１１内の所望の１つのシンボルを、画面２１上に固定された所定の選択位置に合わすことで選択できるようになっている。
なお本実施形態では、選択位置の座標が画面２１の中心座標と同じになるように設定されている。

視線検出手段４は、ディスプレイ２の画面２１に向けられたユーザの視線を検出し、その検出結果を視線信号として出力するものである。
具体的には、ユーザの眼球に近赤外線を照射する光源（不図示）と、ユーザの眼球を撮像するカメラ（不図示）と、当該カメラから出力される撮像データを処理して視線を検出し、視線信号として出力する視線信号出力部（不図示）とを備えたものである。
なお本実施形態の視線検出手段４は、所謂取付けタイプのものであり、前記光源およびカメラがユーザ側を向くようにしてディスプレイ２の下部に取付けられている。

ディスプレイ２は、コンピュータ本体３から送信されてくる画像データが示す画像をその画面２１上に表示するものである。

コンピュータ本体３は、構造的には、図２に示すように、ＣＰＵ３０１、メモリ３０２、入出力インターフェース３０３等を備えている。このコンピュータ本体３は、前記メモリ３０２に記憶させた各種のアプリケーションソフトウェア（以下、プログラムと言う）に基づいて、前記ＣＰＵ３０１やその周辺機器が協働することにより、図３に示すように、視点位置推定部３１、シンボル関連データ格納部３２、選択シンボル表示制御部３３、シンボル選択部３４、確定シンボル表示制御部３５等としての機能を実現するように構成されている。

次に、各部について説明する。

視点位置推定部３１は、視線検出手段４の検出結果に基づいて、画面２１上におけるユーザの視点位置を推定するものである。具体的には、視線検出手段４から視線信号を受け付け、当該視線信号に基づいて、画面２１上におけるユーザの視点位置を推定し、この推定した視点位置である推定視点位置Ｌｅの座標を示す推定視点位置データを出力する。

シンボル関連データ格納部３２は、前記メモリ３０２の所定領域に設定されたものであり、文字や記号等の各種シンボルのコード等を示すシンボル関連データを格納している。
なお本実施形態で言う「文字」とは、例えば、平仮名、カタカナ、漢字、数字、アルファベット等である。「記号」とは、マーク、絵文字、顔文字等の意味を付された図形等である。

選択シンボル表示制御部３３は、シンボル関連データ及び推定視点位置データを取得し、それらに基づいて画像データを生成し、ディスプレイ２に出力するものである。より機能的に説明すると、複数のシンボル（ここでは、平仮名）が並べて配置されたシンボルパネル２１１を画面２１上に表示させるとともに、推定視点位置Ｌｅに基づいて、このシンボルパネル２１１を画面２１上で移動させるものである。
ここでは、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル２１１に配置されている。より具体的には、シンボルパネル２１１は、縦横に並べられた正方形状のマス目によって区切られている。各マス目は、各シンボルの表示領域を規定するものである。そして、各マス目内には、マス目の中心とシンボルの中心位置とが一致するように、一つのシンボルが表示されている。

なお、この選択シンボル表示制御部３３は、使用時においてユーザが実際に見ているシンボルと、推定視点位置Ｌｅに最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、シンボルパネル２１１内で隣り合うシンボルを互いに離間させて表示するようにしている。すなわち、眼球の形状や、シンボルを見る際の癖や、推定視点位置Ｌｅの精度等によらず、どのようなユーザが例えばシンボルパネル２１１に表示された文字「ぬ」を見ても、推定視点位置Ｌｅに最も近いシンボルが文字「ぬ」になる程度に、隣り合うシンボルを互いに離間するように表示するようになっている。そのため、本実施形態のシンボルパネル２１１は画面２１の大きさよりも大きくなっており、後述するようにシンボルパネル２１１をスクロールさせることにより、全てのシンボルを選択できるようにしている。

本実施形態の選択シンボル表示制御部３３は、推定視点位置Ｌｅの座標と、予め画面２１上に設定された選択位置Ｌｓの座標とを参照して、これらの間の距離ｄを計測し、この距離ｄに応じてシンボルパネル２１１を多段階で移動させるように構成されている。

具体的には、図４（ａ）に示すように、推定視点位置Ｌｅと選択位置Ｌｓとの間の距離ｄが、予め設定した所定値Ｄを超えている場合には、推定視点位置Ｌｅから選択位置Ｌｓに向かう方向（矢印で示す方向）に沿ってシンボルパネル２１１を移動させる。シンボルパネル２１１を移動させる速度は、当該距離ｄが大きいほど、大きくなるようにしている。
なお、ここでは、シンボルパネル２１１を移動させる際には、推定視点位置Ｌｅから選択位置Ｌｓに向かう方向に沿ってスクロールさせるように構成している。すなわち、シンボルパネルを移動させるとともに、画面２１の端から新たなシンボルを表示させるように構成されている。

一方で、図４（ｂ）に示すように、推定視点位置Ｌｅと選択位置Ｌｓとの間の距離ｄが前記した所定値Ｄ以下である場合には、推定視点位置Ｌｅに最も近いシンボルを選択位置Ｌｓに引き込むようにシンボルパネル２１１を移動させ、当該シンボルの中心位置の座標を選択位置Ｌｓの座標に合わせるように構成されている。すなわち、推定視点位置Ｌｅが入っているマス目の中心位置を、選択位置Ｌｓの座標に合わせるように構成されている。
距離ｄが所定値Ｄ以下であって、かつ推定視点位置Ｌｅに最も近いシンボルの中心位置の座標と選択位置Ｌｓの座標とが一致している場合には、シンボルパネル２１１を移動させない。

この選択シンボル表示制御部３３はまた、上記した機能に加えて、あるシンボルの中心位置の座標と選択位置Ｌｓの座標とが一致する場合に、当該シンボルが入っているマス目を囲むようにカーソル２１２を画面２１上に表示させるとともに、当該シンボルを示すシンボルデータを出力するように構成されている。このカーソル２１２は、中心位置の座標と選択位置Ｌｓの座標とが一致していることを示すカーソルである。

シンボル選択部３４は、選択位置Ｌｓにある１つのシンボルを選択するものである。具体的には、シンボルデータ及び推定視点位置データを取得し、これらに基づいて、シンボルデータが示すシンボルをユーザが選択したいシンボルとして確定し、当該シンボルを示す確定シンボルデータを出力するものである。
ここでは、シンボル選択部３４は、あるシンボルの中心位置の座標と、選択位置Ｌｓの座標とが一致している場合に、前記距離ｄが所定値Ｄ以下になっている時間ｔを計測するように構成されている。そして、この時間ｔが予め設定した所定時間Ｔを超えた場合に、確定シンボルデータを出力するように構成されている。

確定シンボル表示制御部３５は、シンボル選択部３４が選択したシンボルを選択された順に並べて表示するシンボル列表示ウィンドウ２２を画面２１上に表示するものである。また、確定シンボルデータを受けて、シンボル選択部３４により選択されたシンボルをシンボル列表示ウィンドウ２２内に表示するものである。

確定シンボル表示制御部３５は、シンボル列表示ウィンドウ２２をシンボルパネル２１１上に重ねて透過表示するように構成されている。これにより、ユーザは、シンボル列表示ウィンドウ２２と重なっているシンボルパネル２１１上のシンボルを、透かして確認することができる。シンボル列表示ウィンドウ２２の透過度は、適宜変更できるように構成されている。

シンボル列表示ウィンドウ２２は、画面２１上の所定位置に固定され、常に表示されるよう構成されており、ユーザはそれまでに確定したシンボル列をいつでも確認できるようになっている。
なお、図４及び図６では、図の簡略化のため、シンボル列表示ウィンドウ２２は透過表示されていない。

この確定シンボル表示制御部３５は、シンボル列表示ウィンドウ２２を表示する位置を、シンボル選択部３４に選択されているシンボルと隣り合う位置に設定するように構成されている。

図４（ｃ）に示すように、このシンボル列表示ウィンドウ２２は横長の矩形状のものであり、シンボル選択部３４により選択されているシンボル（ここでは、文字「ぬ」）の直上に、当該シンボルが入っているマス目に沿って表示される。すなわち、シンボル列表示ウィンドウ２２の下辺は、シンボル選択部３４により選択されているシンボルが入るマス目の上端と略同一の高さになるように表示され、選択されているシンボルと重なり合わないようになっている。また、シンボル列表示ウィンドウ２２は、カーソル２１２に沿うように表示される。

シンボル列表示ウィンドウ２２の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されており、シンボル選択部３４に選択されているシンボルと隣り合うシンボル（ここでは、文字「に」）の一部が見えるようにしている。

シンボル列表示ウィンドウ２２内には、シンボル選択部３４によって選択されたシンボル列が横書きで表示されるようになっている。そして、選択位置Ｌｓの横方向の座標位置を中央位置として中央揃えになるようにシンボル列表示ウィンドウ２２内に表示されるようにしている。
シンボル列表示ウィンドウ内２２において、シンボル列は横方向に１列に表示されてよく、また選択されたシンボルの数が所定値以上になった場合には改行するようにしてもよい。

シンボル列表示ウィンドウ２２の横方向の長さは、シンボル列表示ウィンドウ２２内に横方向に表示されているシンボルの数に応じて変更するように構成されている。具体的には、シンボル列表示ウィンドウ２２内で横方向に表示されているシンボルの数が少ないほど、シンボル列表示ウィンドウ２２の横方向の長さが小さくなるように構成されている。
なお、シンボル列表示ウィンドウ２２内に表示されるシンボルのサイズは、シンボルパネル２１１内に表示されるシンボルのサイズよりも小さくなるようにしている。

次に、このような構成のシンボル選択装置１００の動作について、図４、図５を参照しつつ以下に説明する。ここでは、ユーザが、画面２１上に表示されたシンボルパネル２１１から文字「ぬ」を選択する動作について例示する。なお、図４（ａ）〜（ｃ）には、推定視点位置Ｌｅ、選択位置Ｌｓ、選択位置Ｌｓから距離Ｄの範囲、シンボルパネル２１１が移動する方向が示されているが、これらは説明の都合上示されたものであり、実際には画面２１上に表示されない。

選択シンボル表示制御部３３が、図４（ａ）に示すように、複数の文字が並べられたシンボルパネル２１１をディスプレイ２の画面２１上に表示する（ステップＳ１）。ユーザは、シンボルパネル２１１に表示された文字「ぬ」を見る。

視線検出手段４が、ユーザの視線を検出し、これを視線信号として出力する（ステップＳ２）。視点位置推定部３１は、視線検出手段４からの視線信号を受け取ると、この視線信号に基づいて、画面２１上におけるユーザの視点位置を推定する（ステップＳ３）。ここでは、ユーザは実際には文字「ぬ」の中心を見ているが、推定された推定視点位置Ｌｅは、図４（ａ）に示すように、文字「ぬ」の中心からやや右下である。

推定視点位置Ｌｅと選択位置Ｌｓ間の距離ｄが予め設定された所定値Ｄを超えているので、選択シンボル表示制御部３３は、図４（ａ）に示すように、推定視点位置Ｌｅから選択位置Ｌｓに向かう方向に沿って、シンボルパネル２１１を移動させる（ステップＳ４、Ｓ５）。この時ユーザは、移動する文字「ぬ」を追うように視線を移動させる。すると、これに合わせて推定視点位置Ｌｅも移動する。すなわち、シンボルパネル２１１上の文字「ぬ」が選択位置Ｌｓに近づくにつれて、推定視点位置Ｌｅも選択位置Ｌｓに近づくようになる。

そして、ユーザが、移動する文字「ぬ」を追うように見続けると、次第に、推定視点位置Ｌｅと選択位置Ｌｓ間の距離ｄが所定値Ｄ以下になる。すると、図４（ｂ）に示すように、選択シンボル表示制御部３３は、推定視点位置Ｌｅに最も近い文字「ぬ」を選択位置Ｌｓに引き込むように移動させて、文字「ぬ」の中心位置を選択位置Ｌｓに合わせ、カーソル２１２を表示する（ステップＳ４、Ｓ６）。

文字「ぬ」の中心位置が選択位置Ｌｓにある状態で、ユーザが文字「ぬ」を所定時間Ｔ秒以上見ると、シンボル選択部３４が、文字「ぬ」をユーザが選択したい文字として確定し、確定シンボルデータを出力する（ステップＳ７）。すると、確定シンボル表示制御部３５が、選択位置Ｌｓにある文字「ぬ」の直上に表示されているシンボル列表示ウィンドウ２２内に文字「ぬ」を表示する（ステップＳ８）。

このように構成された本実施形態のシンボル選択装置１００では、選択シンボル表示制御部３３が、推定視点位置Ｌｅと選択位置Ｌｓとの間の距離が所定値Ｄ以下である場合に、推定視点位置Ｌｅに最も近いシンボルを選択位置Ｌｓに引き込むように移動させるので、実際の視点位置と推定視点位置Ｌｅとの間にズレがあったとしても、シンボルを容易に選択位置Ｌｓに合わせることができる。すなわち、選択したいシンボルを選択位置Ｌｓにある程度近づけた後、ユーザは、シンボルを選択位置Ｌｓに正確に合わせるように視線をずらしたりする必要がなく、ただシンボルを見ているだけでシンボルが選択位置Ｌｓに自動的に引き込まれて、当該シンボルを選択することができる。そのため、たとえ実際の視点位置と推定視点位置Ｌｅとの間にズレがあったとしても、キャリブレーション作業を行うことなく、ユーザは簡単に所望のシンボルを選択することができる。このように、キャリブレーション作業を行う必要がないので、ユーザが変わった場合であってもすぐに使用することができる。
また、推定視点位置Ｌｅに例えば矢印型のカーソルを表示させて、このカーソルをシンボルに合わせるように視線を移動させるものではないので、実際の視点位置と推定視点位置Ｌｅとの間にズレがあっても、ユーザが画面２１上のカーソルを目で追ってしまうことによってシンボルを正しく選択できなくなることもない。

また、選択シンボル表示制御部３３は、ユーザが実際に見ている特定のシンボルと、推定視点位置Ｌｅに最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、隣り合うシンボルを互いに離間させて表示するので、ユーザの眼球形状やシンボルを見る際の癖によらず、実際に見ているシンボルと推定視点位置Ｌｅに最も近いシンボルとを一致させることができるので、如何なるユーザが使用したとしても、当該ユーザが選択したいシンボルを間違いなく選択することができる。

さらに、このように隣り合うシンボル間の距離を離すことにより、シンボルパネル２１１の大きさが画面２１のサイズより大きくなっていても、選択シンボル表示制御部３３が、推定視点位置Ｌｅと選択位置Ｌｓとの間の距離が所定値Ｄより大きい場合には、推定視点位置Ｌｅから選択位置Ｌｓに向かう方向に沿って、画面２１上に表示されるシンボルパネル２１１をスクロールさせるので、画面２１上に表示しきれないシンボルを、画面２１上に移動させて表示させ、選択することができる。

なお、本発明は前記実施形態に限られるものではない。

前実施形態において、選択位置Ｌｓの座標は画面２１の中心座標と同じになるように設定されていたが、これに限らず、画面２１の中心座標以外の座標に設定されてもよい。

前記実施形態では、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル２１１に配置されていたがこれに限らない。例えば、放射状に並ぶようにシンボルパネル２１１に配置されてもよい。また、各シンボル間の間隔は等間隔でなくてもよい。

他の実施形態では、選択シンボル表示制御部３３はさらに、シンボルパネル２１１上のシンボルが記号である場合に、シンボル選択部３４が選択位置Ｌｓにあるシンボルを選択すると、当該選択した１つのシンボルに予め関連付けられた１つ又は複数のシンボルを、画面２１上に新たに表示するように構成されてもよい。
具体的には、図６（ｂ）に示すように、シンボル選択部３４が選択位置Ｌｓにあるシンボル（ここでは“温泉”を意味する記号）を選択すると、当該シンボルの横に、当該シンボルに関連付けられた複数のシンボル（ここでは、各種の交通手段を意味する記号）が配置された関連シンボルパネル２１３が表示されるように構成されてよい。
そして、推定視点位置Ｌｅに基づいて、上述したシンボルパネル２１１を移動させるのと同じ要領で、当該関連シンボルパネル２１３を画面２１上で移動させて、所望のシンボルを選択できるように構成されてよい。

他の実施形態では、選択シンボル表示制御部３３は、選択された複数のシンボルをシンボル列表示ウィンドウ２２内に表示するとともに、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ２２に表示するように構成されてもよい。
具体的には、図６（ｃ）に示すように、シンボル選択部３４によって、“温泉”を意味する記号が選択された後、さらに“バス”を意味する記号が選択された場合に、シンボル列表示ウィンドウ２２内に、これらの２つの記号の後に、「温泉にバスで行きたい」というメッセージを表示するように構成されてよい。

また別の実施形態では、選択シンボル表示制御部３３は、選択された複数のシンボルをシンボル列表示ウィンドウ２２内に表示するのに代えて、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ２２に表示するように構成されてもよい。

前記実施形態では、シンボル選択部３４に選択されているシンボルの直上にシンボル列表示ウィンドウ２２を表示するようにしていたが、これに限らず、シンボル選択部３４に選択されているシンボルの直下に表示するようにしてもよい。すなわち、シンボル列表示ウィンドウ２２の上辺は、シンボル選択部３４に選択されているシンボルが入っているマス目の下端と略同一の高さになるように表示されてよい。
また、シンボル列表示ウィンドウ２２内に表示されるシンボルは、中央揃えに限らず、左揃え又は右揃えであってもよい。

別の実施形態では、シンボル列表示ウィンドウ２２を、シンボル選択部３４に選択されているシンボルと隣り合うように、当該シンボルの右又は左に表示させてもよい。この場合には、シンボル列表示ウィンドウ２２は縦長の矩形状のシンボル列表示ウィンドウ２２であってよく、シンボルが縦書きで表示されるように構成してよい。またこの場合には、シンボル列表示ウィンドウ２２内に表示されるシンボル列は、シンボル選択部３４に選択されているシンボルの中心の縦方向の座標位置を中央位置とする中央揃えになるように表示されるように構成されていてよい。
またシンボル列表示ウィンドウ２２内に表示されるシンボル列は、中央揃えに限らず、上揃え又は下揃えであってもよい。

前記実施形態では、シンボル列表示ウィンドウ２２の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されていたがこれに限定されない。

前記実施形態では、シンボルパネル２１１は画面２１よりも大きいものであったがこれに限定されず、画面２１よりも小さいものであってもよい。すなわち、シンボルパネル２１１に表示される全てのシンボルが、画面２１内に一度に表示されるものであってもよい。

前記実施形態では、シンボルパネル２１１には正方形状のマス目が表示されていたが、これに限定されない。当該マス目は非表示であってもよい。

前記実施形態では、シンボル選択部３４は、あるシンボルの中心位置の座標と選択位置Ｌｓの座標とが一致している場合に、ユーザが当該シンボルを所定時間Ｔ以上見ることにより、確定シンボルデータを出力するように構成されていたが、これに限定されない。
他の実施形態では、シンボル選択部３４は、あるシンボルの中心位置の座標と選択位置Ｌｓの座標とが一致している場合に、ユーザが瞬きをすることにより確定シンボルデータを出力するように構成されていてもよい。

前記実施形態での視線検出手段４は、所謂取付けタイプのものであったがこれに限定されず、眼鏡型などウェアラブル型のものであってもよい。

前記実施形おいて、ディスプレイ２及びコンピュータ本体３は、ノートパソコン１に一体的に備えられていたが、これに限定されない。デスクトップパソコンに一体的に備わっていてもよいし、ディスプレイ２とコンピュータ本体３とが異なる機器に備わっていてもよい。またディスプレイ２は、プロジェクターと投影スクリーンにより構成されていてもよい。

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

１００・・・シンボル選択装置
２１ ・・・画面
２１１・・・シンボルパネル
３１ ・・・視点位置推定部
３３ ・・・選択シンボル表示制御部
３４ ・・・シンボル選択部
３５ ・・・確定シンボル表示制御部
４ ・・・視線検出手段
Ｌｓ ・・・選択位置
Ｌｅ ・・・推定視点位置

Claims (9)

1. 画面に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置であって、
   前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、
   前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部と、
   前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、前記シンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、
   前記選択位置にある前記シンボルを選択するシンボル選択部と
   を備え、
   前記選択位置が、前記画面上の所定位置に固定されており、
   前記選択シンボル表示制御部が、前記推定視点位置と前記選択位置との間の距離が所定値以下である場合に、前記推定視点位置に最も近いシンボルを、前記選択位置に引き込むように移動させることを特徴とするシンボル選択装置。
2. 前記選択シンボル表示制御部が、前記推定視点位置と前記選択位置との間の距離が前記所定値より大きい場合に、前記推定視点位置から前記選択位置に向かう方向に沿って、前記シンボルを移動させる請求項１記載のシンボル選択装置。
3. 前記選択シンボル表示制御部が、ユーザが実際に見ている特定のシンボルと前記推定視点位置に最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、隣り合うシンボルを互いに離間させて表示する、請求項１又は２記載のシンボル選択装置。
4. 前記選択シンボル表示制御部が、前記推定視点位置と前記選択位置との間の距離が前記所定値より大きい場合に、前記推定視点位置から前記選択位置に向かう方向に沿って、前記画面上に表示されるシンボルをスクロールさせる、請求項３記載のシンボル選択装置。
5. 前記選択シンボル表示制御部が、前記推定視点位置と前記選択位置との間の距離が前記所定値より大きい場合に、前記推定視点位置と前記選択位置との間の距離が大きくなるにつれて、スクロールの速度を大きくするものである、請求項４記載のシンボル選択装置。
6. 前記選択位置が前記画面の中央に設定されている、請求項１〜５のいずれか記載のシンボル選択装置。
7. 前記選択シンボル表示制御部が、前記シンボル選択部が１つのシンボルを選択すると、当該選択された１つのシンボルに関連付けられた１つ又は複数のシンボルを、前記画面上に新たに表示する、請求項１〜６のいずれか記載のシンボル選択装置。
8. 前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部を更に備え、
   前記確定シンボル表示制御部が、選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するとともに、又は選択された複数のシンボルを前記ウィンドウ内に表示するのに代えて、該選択された複数のシンボルの組み合わせに対応するメッセージを前記シンボル列表示ウィンドウ内に表示する、請求項１〜７のいずれか記載のシンボル選択装置。
9. 画面に向けられた前記ユーザの視線を検出する視線検出手段を備え、前記画面に表示された文字、記号等のシンボルをユーザの視線により選択できるようにしたシンボル選択装置に適用されるプログラムであって、
   前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部としての機能と、
   前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、前記シンボルを、前記画面上に予め設定された選択位置に移動させ、前記推定視点位置と前記選択位置との間の距離が所定値以下である場合に、前記推定視点位置に最も近いシンボルを、前記の選択位置に引き込むように移動させる選択シンボル表示制御部としての機能と、
   前記選択位置にある前記シンボルを選択するシンボル選択部としての機能と、
   を発揮させることを特徴とするシンボル選択装置用のプログラム。