JP5947170B2 - 表示装置ならびに視線入力制御プログラムおよび方法 - Google Patents

Description

この発明は、表示装置ならびに視線入力制御プログラムおよび方法に関し、特にたとえば、視線入力を行うことができる、表示装置ならびに視線入力制御プログラムおよび方法に関する。

従来のこの種の表示装置の一例である電子書籍表示装置が、特許文献１に開示されている。この電子書籍表示装置では、撮像部（たとえばＣＣＤカメラや赤外線カメラ）からの入力画像から、読者の視線位置を検出して、視線位置がイベント発生位置になったときにイベントを発生させる。たとえば、視線位置が動画データ表示箇所に移動すると、動画データが表示される。

しかし、上記の背景技術では、撮像部が常時動作しているため、消費電力が多い問題があった。

それゆえに、この発明の主たる目的は、新規な、表示装置ならびに視線入力制御プログラムおよび方法を提供することである。

この発明の他の目的は、少ない消費電力で視線検出を行うことができる、表示装置ならびに視線入力制御プログラムおよび方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の態様は、表示面を有する表示部と、発光部と、撮影部を有し、視線入力を利用するアプリケーションを実行可能な表示装置であって、発光部からの光による使用者の瞳孔の反射光に基づいて表示面上での視線入力の位置を検出する検出部と、発光部、および、撮影部のオン／オフを制御する制御部と、を備え、検出部はさらに、発光部および撮影部の両方がオン状態であるオン期間において撮影部からの画像に基づき視線検出を行い、制御部は、発光部および撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する。

第１の態様では、表示装置の一例である携帯端末（１０）は、表示面を有する表示部（３０）と発光部（４０）と撮影部（４２）を有し、視線入力を利用するアプリケーションを実行可能である。このような携帯端末において、たとえばＣＰＵ（２４）が視線検出プログラム（５２）および視線入力制御プログラム（５４）を実行することで、検出部（Ｓ９）および制御部（Ｓ３〜Ｓ７，Ｓ１１〜Ｓ１５）が実現される。

検出部は、発光部からの光による使用者の瞳孔の反射光に基づいて表示面上での視線入力の位置を検出し、制御部は、発光部および撮影部のオン／オフを制御する。検出部はさらに、発光部および撮影部の両方がオン状態であるオン期間において撮影部からの画像に基づき視線検出を行い、制御部は、発光部および撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する。

つまり、制御部は、発光部および撮像部の少なくとも一方を繰り返しオン／オフし、検出部は、発光部および撮像部の両方がオン状態のとき撮像部からの画像に基づき視線検出を行う（図３（Ｂ），図３（Ｃ），図４，図５，図９（Ａ）〜図９（Ｃ））。

なお、好ましい実施例では、発光部は赤外線を発光し、撮像部は赤外線で撮像を行うが、他の実施例では、発光部は可視光線を発光し、撮像部は可視光線で撮像を行ってもよい。

第１の態様によれば、発光部および撮影部の少なくとも一方を繰り返しオン／オフすることで消費電力を削減しながら、両方がオン状態であるとき視線検出を行うので、少ない消費電力で視線検出を行うことができる。

第２の態様は、第１の態様において、制御部は、発光部および撮影部の少なくとも一方を第１周期でオン／オフし、検出部は、発光部および撮影部の両方がオン状態であるオン期間中に撮影部からの画像に基づき第１周期と同じまたはより短い周期での第２周期で視線検出を行う。

第２の態様によれば、１つのオン期間に少なくとも１回視線検出が行われる結果となり、無駄なオン期間がないので、効率よく視線検出を行える。

第３の態様は、第２の態様において、第１周期および第２周期の少なくとも一方を、視線入力を利用するアプリケーションの属性に基づいて変化させる変化部をさらに備える。

第３の態様では、変化部（Ｓ１，６６，６８）がさらに実現され、変化部は、第１周期および第２周期の少なくとも一方を、視線入力を利用するアプリケーションの属性に基づいて変化させる（図３（Ｂ）⇔図３（Ｃ），図３（Ｂ）⇔図４，図３（Ｂ）⇔図５）。

第３の態様によれば、アプリケーションの属性に適した省電力化が可能となる。

なお、属性は、典型的には追従性（応答性，時間分解能という場合もある）である。この場合、高い追従性が求められるアプリケーションでは第１周期および第２周期の少なくとも一方を短くし、あまり高い追従性は求められないアプリケーションでは第１周期および第２周期の少なくとも一方を長くすることで、それぞれのアプリケーションが要求する追従性を損なわない範囲で、できるだけ省電力化を図ることができる。または、属性は、空間分解能でもよく、高い空間分解能が求められるアプリケーションでは第１周期および第２周期の少なくとも一方を短くし、あまり高い空間分解能は求められないアプリケーションでは第１周期および第２周期の少なくとも一方を長くすることが有効である。あるいは、属性は、操作頻度でもよく、頻繁に操作が行われるアプリケーションでは第１周期および第２周期の少なくとも一方を短くし、あまり頻繁な操作は行われないアプリケーションでは、第１周期および第２周期の少なくとも一方を長くする。さらには、アプリケーションを実行中に属性が変化してもよい（たとえば、操作画面を表示中は第１周期および第２周期の少なくとも一方を短くし、操作画面が隠れいている期間中は第１周期および第２周期の少なくとも一方を長くするなど）。

第４の態様は、第３の態様において、変化部は第２周期を維持しつつ第１周期を変化させる（図３（Ｂ）⇔図３（Ｃ））。

一般に、第１周期の伸長による省電力効果は、第２周期の伸長による省電力効果よりも大きい。他方、第２周期を維持すれば、制御が簡単になる。したがって、第４の態様によれば、簡単な制御で、高い省電力効果が得られる。

第５の態様は、第４の態様において、変化部は第１周期を、発光部および撮影部の少なくとも一方がオフ状態であるオフ期間を変更することにより変化させる。

第５の態様によれば、より簡単な制御で、高い省電力効果が得られる。

第６の態様は、第３の態様において、変化部は第１周期を維持しつつ第２周期を変化させる（図３（Ｂ）⇔図４）。

第６の態様によれば、簡単な制御で、省電力効果が得られる。

第７の態様は、第３の態様において、変化部は第１周期および第２周期を共に変化させる（図３（Ｂ）⇔図５）。

第７の態様によれば、より高い省電力効果が得られる。

第８の態様は、第６または７の態様において、変化部は、検出部が１つのオン期間につき少なくとも１回は検出を行えるように第２周期を変化させる。

第８の態様によれば、１つのオン期間あたり１回以上検出を行える範囲で第２周期を伸長することで、省電力効果を高めることができる。

第９の態様は、第１ないし８のいずれかの態様において、検出部は発光部および撮影部の少なくとも一方がオフ状態であるオフ期間では検出を停止する。

第９の態様によれば、省電力効果を高めることができる。

第１０の態様は、第９の態様において、検出部は１つのオン期間につき複数回検出を行い、複数回の検出結果にフィルタリングを施すことで入力すべき視線を確定する確定部（Ｓ１７，Ｓ１９）をさらに備える。

第１０の態様によれば、視線検出の精度を高めることができる。

第１１の態様は、第１０の態様において、確定部は複数回のうち一定回数以上で同一の検出結果が得られた場合に当該検出結果を入力すべき視線として確定する。

第１１の態様によれば、簡単にフィルタリングを行うことができる。

第１２の態様は、第１ないし１１のいずれかの態様において、制御部は発光部および撮影部の両方をオン／オフする（図３（Ｂ），図３（Ｃ），図４，図５，図９（Ｃ））。

第１２の態様によれば、高い省電力効果が得られる。

第１３の態様は、第１２の態様において、制御部は発光部のオンタイミングを撮影部のオンタイミングに対して遅延させる（図８（Ａ），図８（Ｂ））。

一般に、撮影部の起動時間は、発光部の安定化時間よりも長いので、発光部のオンタイミングは、撮影部のオンタイミングよりも遅くてよい。

第１３の態様によれば、発光部のオン期間がより短縮されるので、省電力効果を高めることができる。

第１４の態様は、第１３の態様において、遅延の大きさは、撮影部の起動時間と発光部の安定化時間の間の差分に等しいまたは満たない値である。

第１４の態様によれば、発光部のオンタイミングの撮影部のオンタイミングに対する遅延を、撮影部の起動時間と発光部の安定化時間の間の差分に近づけることで、省電力効果を極力高めることができる。

第１５の態様は、第１２の態様において、撮影部のオンタイミングは発光部のオンタイミングよりも遅く、かつ撮影部のオフタイミングは発光部のオフタイミングよりも早い（図９（Ｃ））。

第１５の態様では、撮影部のオン期間は発光部のオン期間より短いが、発光部のオン期間内に撮影部がオンおよびオフされることで、検出部は検出を行える。

第１６の態様は、第１の態様において、制御部は発光部をオン状態に維持しつつ撮影部をオン／オフする（図９（Ａ））。

第１６の態様では、撮影部の消費電力を削減できる。

第１７の態様は、第１の態様において、制御部は撮影部をオン状態に維持しつつ発光部をオン／オフする（図９（Ｂ））。

第１７の態様では、発光部の消費電力を削減できる。

第１６または１７の態様によれば、簡単な制御で、省電力効果が得られる。

第１８の態様は、視線入力制御プログラム（５４）であって、表示面を有する表示部（３０）と、発光部（４０）と、撮影部（４２）を有し、視線入力を利用するアプリケーションを実行可能な表示装置のＣＰＵ（２４）を、発光部からの光による使用者の瞳孔の反射光に基づいて表示面上での視線入力の位置を検出する検出部（Ｓ９）と、発光部、および、撮影部のオン／オフを制御する制御部（Ｓ３〜Ｓ７，Ｓ１１〜Ｓ１５）として機能させ、検出部はさらに、発光部および撮影部の両方がオン状態であるオン期間において撮影部からの画像に基づき視線検出を行い、制御部は、発光部および撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する（図３（Ｂ），図３（Ｃ），図４，図５，図９（Ａ）〜図９（Ｃ））。

第１９の態様は、表示面を有する表示部（３０）と、発光部（４０）と、撮影部（４２）を有し、視線入力を利用するアプリケーションを実行可能な表示装置によって行われる視線入力制御方法であって、発光部からの光による使用者の瞳孔の反射光に基づいて表示面上での視線入力の位置を検出する検出ステップと、発光部、および、撮影部のオン／オフを制御する制御ステップと、を含み、検出ステップはさらに、発光部および撮影部の両方がオン状態であるオン期間において撮影部からの画像に基づき視線検出を行い、制御ステップは、発光部および撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する（図３（Ｂ），図３（Ｃ），図４，図５，図９（Ａ）〜図９（Ｃ））。

第１８および１９の各態様によっても、第１の態様と同様に、少ない消費電力で視線検出を行うことができる。

この発明によれば、少ない消費電力で視線検出を行うことができる、携帯端末ならびに視線入力制御プログラムおよび方法が実現される。

この発明の一実施例である携帯端末の構成を示すブロック図である。 携帯端末の一方主面（前面）に設けられたディスプレイ，赤外線ＬＥＤおよび赤外線カメラを示す図解図である。 赤外線ＬＥＤおよび赤外線カメラのオン／オフ制御を説明するための図解図であり、（Ａ）が通常モードでの、（Ｂ）が第１省電力モードでの、そして（Ｃ）が第２省電力モードでの駆動波形を示す。 第２省電力モードの変形例を示す図解図である。 第２省電力モードの他の変形例を示す図解図である。 携帯端末のメインメモリの内容を示すメモリマップ図である。 携帯端末のＣＰＵによる省電力モード用の視線入力制御処理を示すフロー図である。 赤外線ＬＥＤの安定化時間および赤外線カメラの起動時間を考慮した駆動波形の制御を説明するための図解図であり、（Ａ）が赤外線ＬＥＤの安定化時間および赤外線カメラの起動時間を示し、（Ｂ）が安定化時間および起動時間の間の差分に基づく駆動波形の遅延制御の一例を示す。 他の省電力モードを示す図解図であり、（Ａ）は、赤外線ＬＥＤを常時オン、赤外線カメラを間欠オンする例を、（Ｂ）は、赤外線ＬＥＤを間欠オン、赤外線カメラを常時オンする例を、そして（Ｃ）は、赤外線カメラのオン期間が赤外線ＬＥＤのオン期間より短く、赤外線ＬＥＤのオン期間内に赤外線カメラがオンおよびオフする例を示す。

図１には、携帯端末１０のハードウエア構成が示される。図１を参照して、この発明の一実施例である携帯端末１０はＣＰＵ２４を含む。ＣＰＵ２４には、キー入力装置２６、タッチパネル３２、メインメモリ３４、フラッシュメモリ３６、赤外線カメラ４２および画像処理回路４４が接続され、さらに、無線通信回路１４を介してアンテナ１２が、Ａ／Ｄコンバータ１６を介してマイク１８が、Ｄ／Ａコンバータ２０を介してスピーカ２２が、ドライバ２８を介してディスプレイ３０が、そしてＬＥＤドライバ３８を介して赤外線ＬＥＤ４０が、それぞれ接続される。

アンテナ１２は、図示しない基地局からの無線信号を捕捉（受信）し、また、無線通信回路１４からの無線信号を放出（送信）する。無線通信回路１４は、アンテナ１２で受信された無線信号を復調および復号化し、また、ＣＰＵ２４からの信号を符号化および変調する。マイク１８は、音波をアナログの音声信号に変換し、Ａ／Ｄコンバータ１６は、マイク１８からの音声信号をディジタルの音声データに変換する。Ｄ／Ａコンバータ２０は、ＣＰＵ２４からの音声データをアナログの音声信号に変換し、スピーカ２２は、Ｄ／Ａコンバータ２０からの音声信号を音波に変換する。

キー入力装置２６は、ユーザ（使用者）によって操作される各種のキー，ボタン（図示せず）などで構成され、操作に応じた信号（コマンド）をＣＰＵ２４に入力する。ドライバ２８は、ＣＰＵ２４からの信号に応じた画像をディスプレイ３０に表示する。タッチパネル３２は、ディスプレイ３０の表示面に設けられ、タッチ点の位置を示す信号をＣＰＵ２４に入力する。ＬＥＤドライバ３８は、ＣＰＵ２４からの命令に応じて赤外線ＬＥＤ４０をオン（点灯）／オフ（消灯）させる。赤外線カメラ４２は、ＣＰＵ２４からの命令に応じてオン（起動）／オフ（終了）する。

ディスプレイ３０，赤外線ＬＥＤ４０および赤外線カメラ４２は、図２に示すように、携帯端末１０の一方主面（前面）に設けられ、画像処理回路４４は、ＣＰＵ２４の制御下で赤外線カメラ４２からの画像を処理して、ディスプレイ３０の表示面に向けられたユーザの視線（視線によって示される表示面上のポイント）を検出する。

メインメモリ３４は、たとえばＳＤＲＡＭなどで構成され、ＣＰＵ２４に各種の処理を実行させるためのプログラム，データなど（図６参照）を記憶する共に、ＣＰＵ２４に必要な作業領域を提供する。フラッシュメモリ３６は、たとえばＮＡＮＤ型のフラッシュメモリで構成され、プログラムやデータの保存領域として利用される。

ＣＰＵ２４は、メインメモリ３４に記憶されたプログラム（５２〜５６）およびデータに基づいて、他のハードウエア（１２〜２２，２６〜４４）を利用しつつ各種の処理を実行する。処理の実行に必要な現在時刻情報やタイミング信号は、ＲＴＣ(Real Time Clock)２４ａから供給される。

以上のように構成された携帯端末１０では、図示しないメニュー画面を通して、通話を行う通話モード、データ通信を行うデータ通信モード、および情報処理を実行する情報処理モードなどを選択することができる。

通話モードが選択されると、携帯端末１０は、通話装置として機能する。詳しくは、キー入力装置２６またはタッチパネル３２によって発呼操作が行われると、ＣＰＵ２４は、無線通信回路１４を制御して発呼信号を出力する。出力された発呼信号は、アンテナ１２を介して出力され、図示しない移動通信網を経て相手の電話機に伝達される。相手の電話機は、着信音などによる呼び出しを開始する。着信を受けた相手が電話機に対して着呼操作を行うと、ＣＰＵ２４は通話処理を開始する。一方、相手からの発呼信号がアンテナ１２によって捕捉されると、無線通信回路１４は着信をＣＰＵ２４に通知し、ＣＰＵ２４は、スピーカ２２からの着信音や図示しないバイブレータの振動などによる呼び出しを開始する。キー入力装置２６またはタッチパネル３２によって着呼操作が行われると、ＣＰＵ２４は通話処理を開始する。

通話処理は、たとえば、次のように行われる。相手から送られてきた受話音声信号は、アンテナ１２によって捕捉され、無線通信回路１４によって復調および復号化を施された後、Ｄ／Ａコンバータ２０を経てスピーカ２２に与えられる。これにより、スピーカ２２から受話音声が出力される。一方、マイク１８によって取り込まれた送話音声信号は、Ａ／Ｄコンバータ１６を経て無線通信回路１４に送られ、無線通信回路１４によって符号化および変調を施された後、アンテナ１２を通して相手に送信される。相手の電話機でも、送話音声信号の復調および復号化が行われ、送話音声が出力される。

データ通信モードが選択されると、携帯端末１０はデータ通信装置として機能する。詳しくは、ＣＰＵ２４は、ブラウザなどのアプリケーションプログラム５６の制御下で、無線通信回路１４を介してインターネット上のＷｅｂサーバ（図示せず）とデータ通信を行うことでハイパーテキストデータを取得し、これに基づくＨＴＭＬ文書（Ｗｅｂ画面）をドライバ２８を介してディスプレイ３０に表示する。

情報処理モードが選択されると、携帯端末１０は情報処理装置として機能する。詳しくは、ＣＰＵ２４は、電子ブックリーダ，シューティングゲーム，表計算ソフト，ワンセグプレイヤといったアプリケーションプログラム５６の制御下で、キー入力装置２６やタッチパネル３２の操作に応じて各種の情報処理を実行し、処理結果に基づく画面をドライバ２８を介してディスプレイ３０に表示する。

また、ユーザは、上記のような通話モード，データ通信モードまたは情報処理モードが選択された状態で、キー操作等によりメニュー画面を呼び出し、視線入力機能をオンすると、以降、各種の画面でアイコンを選択したりソフトキーを押したりする操作は、赤外線ＬＥＤ４０および赤外線カメラ４２を利用した視線入力により行うことができるようになる。

詳しくは、視線入力機能がオンされると、ＬＥＤドライバ３８は赤外線ＬＥＤ４０の駆動を開始し、これと同時または略同時に赤外線カメラ４２も起動されて、赤外線カメラ４２によって撮影された画像（赤外線画像）の画像処理回路４４への入力が開始される。画像処理回路４４は、ＣＰＵ２４の制御下で、赤外線画像を処理してユーザの視線を検出し、検出結果を所定の周期（たとえば２０μ秒周期）でサンプリングして出力する。ＣＰＵ２４は、画像処理回路４４から出力されたサンプリング結果に基づいて画面上のアイコン等が選択されたと判断される場合に、その選択されたアイコン等に関連付けられた処理を実行する。

視線検出は、たとえば次のように行われる。図２を参照して、赤外線ＬＥＤ４０および赤外線カメラ４２は、ディスプレイ３０の右上および左下にそれぞれ配置されており、赤外線ＬＥＤ４０から照射された赤外光は、ユーザの眼球内の瞳孔で反射され、この反射光が赤外線カメラ４２により撮影される。このような赤外線カメラ４２による撮影画像から、瞳孔と、眼球に映った赤外線ＬＥＤ４０（光点）とが検出され、これら瞳孔および光点の位置関係や形状などから、ユーザの視線（視線とディスプレイ３０の表示面との交点の位置）が計算される。なお、具体的な計算方法は、この実施例の本質的な内容ではないため、説明を省略する。

この実施例では、上記のような視線入力を、赤外線ＬＥＤ４０および赤外線カメラ４２をオン状態に維持（赤外線ＬＥＤ４０を連続発光させかつ赤外線カメラ４２を常時駆動）しながら行う「通常モード」と、赤外線ＬＥＤ４０および赤外線カメラ４２を所定の周期でオン／オフしながら行う「省電力モード」とが準備されており、ユーザは、メニュー画面で「視線入力」機能をオンする際に、これら通常モードおよび省電力モードの一方を選択することができる。

なお、他の実施例では、通常モードを省略し、「視線入力」機能がオンされると常に省電力モードで動作するように構成してもよい。

また、赤外線ＬＥＤ４０および赤外線カメラ４２をオン／オフする周期は、視線検出のサンプリング周期（たとえば２０μ秒）と同じか、またはより長い周期（たとえば２００μ秒，３２０μ秒など）であれば、無駄なオン期間がなくて好ましい（図３〜図５：後述）。

そして、省電力モードの下位モードとして、赤外線ＬＥＤ４０および赤外線カメラ４２を高速に（たとえば２００μ秒周期で）オン／オフしながらサンプリングを行う「第１省電力モード」（図３（Ｂ））と、赤外線ＬＥＤ４０および赤外線カメラ４２を低速に（たとえば３２０μ秒周期で）オン／オフしながらサンプリングを行う「第２省電力モード」（図３（Ｃ））とが準備されており、これら第１および第２省電力モードのいずれか１つが、そのとき実行中のアプリケーション（アプリ）の属性に応じて自動的に選択される。

たとえば、高い追従性が求められるアプリ（シューティングゲームなど）を実行中の場合は第１省電力モードが、低い追従性でよいアプリ（電子ブックリーダなど）を実行中の場合は第２省電力モードが、各アプリに記述された属性情報に基づきＣＰＵ２４によって選択される。なお、他の実施例では、選択すべき省電力モードを示すモード情報（６２：図６参照）自体を予めアプリケーションに記述しておいてもよい。

視線入力時、赤外線ＬＥＤ４０および赤外線カメラ４２は、たとえば図３のような波形に従ってオン／オフされる。図３（Ａ）が通常モード用の、図３（Ｂ）が第１省電力モード用の、図３（Ｃ）が第２省電力モード用の、駆動波形を示す。まず、図３（Ａ）を参照して、通常モードにおけるサンプリング周期は２０μ秒であり、オン期間中にサンプリング動作が５回単位で間欠的に実行される。つまり、波形が立ち上がった後、２０μ秒周期で５回サンプリングが行われ、これらのサンプリング結果にフィルタリング（後述）を施すことで、入力すべき視線が確定される。以降、２０μ秒周期で５回サンプリングを行って入力すべき視線を確定する一連の動作が、一定の休止期間（たとえば５回サンプリング相当の休止期間）を挟みつつ（つまり間欠的に）、オン期間の終了まで繰り返される。

２０μ秒周期で５回サンプリングを行って、入力すべき視線をフィルタリングにより確定する点は、第１および第２の各省電力モードでも同様である。異なるのは、赤外線ＬＥＤ４０および赤外線カメラ４２が、第１省電力モードでは図３（Ｂ）に示すような２００μ秒周期の、第２省電力モードでは図３（Ｃ）に示すような３２０μ秒周期の、駆動波形に従ってオン／オフされる点である。

オン／オフ周期に占めるオン期間の長さは、第１および第２の省電力モードで共通であり、２０μ秒周期で５回サンプリングを行えるだけの時間長（たとえは１２０μ秒）を有する。第１および第２の省電力モードの間の相違は、オン／オフ周期に占めるオフ期間の長さであり、一例として、第１省電力モードでは８０μ秒、第１省電力モードでは１２０μ秒である。したがって、オン／オフ周期に占めるオン期間の割合（いわゆるデューティ）は、第１省電力モードでは１２０／２００＝０．６、第１省電力モードでは１２０／３２０＝０．３７５となる。つまり、赤外線ＬＥＤ４０および赤外線カメラ４２の消費電力が、第１省電力モードでは通常モードの６０％、第２省電力モードでは通常モードの３７．５％まで削減され得る（ただしオン／オフに要する電力は除く）。

なお、第２省電力モードでは、図４に変形例として示すように、赤外線ＬＥＤ４０および赤外線カメラ４２のオン／オフ周期は高速（たとえば２００μ秒周期）のままサンプリング周期を長くする（たとえば第１モードでの２０μ秒に対し２倍の４０μ秒とする）ことも可能であり、これによって、サンプリングに要する消費電力の削減が可能となる。

たとえば、サンプリング周期を４０μ秒とした場合、１２０μ秒のオン期間に３回サンプリングが行われるので、サンプリングに要する消費電力は、第１省電力モードに対して６０％となる。サンプリング周期を２００μ秒とした場合には、１２０μ秒のオン期間に１回サンプリングが行われるので、サンプリングに要する消費電力は、第１省電力モードに対して２０％となる。

または、第２省電力モードでは、図５に他の変形例として示すように、赤外線ＬＥＤ４０および赤外線カメラ４２のオン／オフ周期およびサンプリング周波数を共に長くする（たとえば、オン／オフ周期を第１省電力モードでの２００μ秒周期に対し１．６倍の３２０μ秒周期とし、サンプリング周期を第１省電力モードでの２０μ秒周期に対し２倍の４０μ秒周期とする）ことも可能である。これによって、赤外線ＬＥＤ４０および赤外線カメラ４２の消費電力およびサンプリングに要する消費電力の削減が可能である。

なお、この実施例では、図３（Ｂ）および図３（Ｃ）に示すように、第１および第２の省電力モードの間で、オン／オフ周期に含まれるオン期間を一定（＝１２０μ秒）に保ち、オフ期間を変更（伸縮）することで、オン／オフ周期を変化させている（この点は図４，図５の変形例でも同様）が、オン期間も変更（伸縮）されてよい。

上述のような第１および第２の各省電力モードでの視線入力は、たとえば、メインメモリ３４に記憶された図６に示す各種のプログラム（５２〜５６）およびデータ（６２〜６８）に基づいて、ＣＰＵ２４が図７に示すフローに従う省電力モード用視線入力制御処理を実行することにより実現される。

詳しくは、まず図６を参照して、メインメモリ３４はプログラム領域５０およびデータ領域６０を含み、プログラム領域５０には視線検出プログラム５２，視線入力制御プログラム５４およびアプリケーションプログラム５６などが、データ領域６０にはモード情報６２，通常モード用制御情報６４，第１省電力モード用制御情報６６および第２省電力モード用制御情報６８などが、それぞれ記憶される。なお、図示は省略するが、プログラム領域５０には、キー入力装置２６やタッチパネル３２からの入力を制御したり、ドライバ２８を介してディスプレイ３０への出力を制御するための入出力制御プログラムなども記憶される。

視線検出プログラム５２は、赤外線カメラ４２で撮影された画像を画像処理回路４４で処理して視線検出を行い、検出結果を視線入力制御プログラム５４の命令に基づきサンプリングして出力するためのプログラムである。

視線入力制御プログラム５４は、モード情報６２に応じた態様で赤外線ＬＥＤ４０および赤外線カメラ４２をオン／オフして消費電力を制御しつつ、画像処理回路４４からのサンプリング結果に基づいて入力すべき視線を確定するためのプログラムであり、省電力モード用プログラム５４ａを含む。省電力モード用プログラム５４ａは、ＣＰＵ２４にデータ領域６０の第１省電力モード用制御情報６６または第２省電力モード用制御情報６８を参照しつつ図７のフローに従う処理を実行させる。

なお、視線検出プログラム５２または視線入力制御プログラム５４は、携帯端末１０が視線入力を受け付ける状態にある場合に、その旨をディスプレイ３０のピクト領域（メール通知アイコンなどが表示される領域：図示せず）に表示する制御を行ってもよい。

アプリケーションプログラム５６は、携帯端末１０を先述したようなデータ通信装置や各種の情報処理装置（電子ブックリーダ，ゲーム機など）として動作させるためのプログラムであり、そのアプリケーションの属性（後述）を示す属性情報（または属性を判別可能な情報）が記述されている。

モード情報６２は、視線入力に関し現時点で選択されているモードを示す情報である。モード情報６２は、タッチパネル３２等を介したユーザ操作に基づいて、またはアプリケーションプログラム５６に設定された属性情報に基づいて、通常モード，第１省電力モードおよび第２省電力モードのいずれか１つが、視線入力制御プログラム５４によって書き込まれる（更新される）。たとえば、ゲームアプリであれば高速応答が求められるので第１省電力モードが、文書管理アプリであれば特に高速応答は必要ないので第２省電力モードが書き込まれる。なお、他の実施例では、モード情報６２自体を予めアプリケーションプログラム５６に記述しておき、これをデータ領域６０に転記してもよい。

通常モード用制御情報６４は、図３（Ａ）に示すような、通常モードでの視線入力を実現するための制御情報であり、サンプリング周期（ここでは２０μ秒）が記述される。

第１省電力モード用制御情報６６は、図３（Ｂ）に示すような、第１省電力モードでの視線入力を実現するための制御情報であり、サンプリング周期（ここでは２０μ秒）、サンプリング回数（ここでは５回）、オン／オフ周期（ここでは２００μ秒：オン期間１２０μ秒＋オフ期間８０μ秒）、および確定条件（ここでは「５回中３回以上で同一ポイントを検出」）が記述される。

第２省電力モード用制御情報６６は、図３（Ｃ）に示すような、第２省電力モードでの視線入力を実現するための制御情報であり、サンプリング周期（ここでは２０μ秒）、サンプリング回数（ここでは５回）、オン／オフ周期（ここでは３２０μ秒：オン期間１２０μ秒＋オフ期間２００μ秒）、および確定条件（ここでは「５回中３回以上で同一ポイントを検出」）が記述される。

第１省電力モードまたは第２省電力モードでは、ＣＰＵ２４は、省電力モード用プログラム５４ａに基づいて、第１省電力モード用制御情報６６または第２省電力モード用制御情報６８を参照しつつ、図７のフローに従う処理を実行する。詳しくは、最初、ステップＳ１で、モード情報６２を参照して、第１および第２省電力モード用制御情報６６および６８から１つを選択する。次に、ステップＳ３で、第１または第２省電力モード用制御情報６６または６８に記述されたオン／オフ周期とＲＴＣ２４ａからの現在時刻情報とに基づいて、オンタイミングが到来したか否かを判別し、ＮＯであれば所定の待機時間を経て同様の判別を繰り返す。

ステップＳ３でＹＥＳであれば、ステップＳ５で赤外線カメラ４２をオン（起動命令を発行）し、さらにステップＳ７で赤外線ＬＥＤ４０をオン（ＬＥＤドライバ３８を介して赤外線ＬＥＤ４０に電圧を印加）する。なお、これらステップＳ５およびＳ７は、この実施例では略同時に実行される（実行順序が逆でもよい）。ただし、図８（Ｂ）に示すように、赤外線カメラ４２の起動時間（たとえば１５μ秒）と赤外線ＬＥＤ４０の安定化時間（たとえば５μ秒）との差分（たとえば１０μ秒）を上限として、赤外線ＬＥＤ４０のオンタイミングを遅らせることで、一層の省電力化を図ることも可能である（詳細は後述）。

次に、ステップＳ９で、画像処理回路４４に対し、第１または第２省電力モード用制御情報６６または６８に記述されたサンプリング周期およびサンプリング回数に基づくサンプリング実行命令を発行する。なお、ステップＳ９は、図８（Ａ）に示すように、赤外線カメラ４２の起動時間（たとえば１５μ秒）および赤外線ＬＥＤ４０の安定化時間（たとえば５μ秒）を考慮して、ステップＳ５およびＳ７から一定時間（たとえば２０μ秒）後に実行される（詳細は後述）。

そして、ステップＳ１１で、第１または第２省電力モード用制御情報６６または６８に記述されたオン／オフ周期とＲＴＣ２４ａからの現在時刻情報とに基づいて、オフタイミングが到来したか否かを判別し、ＮＯであれば所定の待機時間を経て同様の判別を繰り返す。

ステップＳ１１でＹＥＳであれば、ステップＳ１３で赤外線カメラ４２をオフ（終了コマンドを発行）し、さらにステップ１５で赤外線ＬＥＤ４０をオフ（電圧の印加を停止）する。これらステップＳ１３およびＳ１５４は、略同時に実行される（実行順序が逆でもよい）。

サンプリング命令を受けた画像処理回路４４は、図３（Ｂ）または図３（Ｃ）に示されるように、１２０μ秒のオン期間に周期２０μ秒で５回サンプリングを行い、そのサンプリング結果をＣＰＵ２４に返す。

サンプリング結果を受け取ったＣＰＵ２４は、これにフィルタリングを施すことで視線を確定する。具体的には、ステップＳ１７で、画像処理回路４４からのサンプリング結果が確定条件を満足するか否か（５回中３回以上で同一ポイントを検出したか否か）を判別し、ここでＮＯであれば、ステップ３に戻って上記と同様の処理を繰り返す。ステップ１７でＹＥＳであれば、ＣＰＵ２４は、そのサンプリング結果に基づく値（たとえば、５回中３回以上で同一ポイントを検出した場合の、その同一ポイント）を、視線入力による入力値として確定する。その後、ステップ３に戻って上記と同様の処理を繰り返す。

こうして、携帯端末１０において、図３（Ｂ）または図３（Ｃ）に示すような、第１または第２省電力モードでの視線入力が実現される。

また、通常モードでは、ＣＰＵ２４は、通常モード用制御情報６４を参照しつつ、次のような処理を実行する。最初、赤外線カメラ４２をオンし、さらに赤外線ＬＥＤ４０をオンする。これらのオン処理は、略同時に実行される（実行順序が逆でもよい）。赤外線ＬＥＤ４０および赤外線カメラ４２は、通常モードが解除されるまでオン状態に維持される。

次に、画像処理回路４４に対し、通常モード用制御情報６４に記述されたサンプリング周期に基づくサンプリング実行命令を発行する。サンプリング命令を受けた画像処理回路４４は、周期２０μ秒のサンプリング処理を開始し、ＣＰＵ２４は、画像処理回路４４からのサンプリング結果にフィルタリングを施して視線を確定する処理を開始する。サンプリング処理および視線確定処理は、通常モードが解除されるまで、連続的にまたは間欠的に実行される。

こうして、携帯端末１０において、図３（Ａ）に示すような、通常モードでの視線入力が実現される。

なお、この実施例では、通常モードに加えて、第１および第２の２種類の省電力モードについて説明したが、通常モードは省略されてもよいし、省電力モードはいずれか１種類でも３種類以上でもよい。より細かい省電力制御を行う場合、たとえば、オン／オフ周期が第１および第２の省電力モードの場合の中間値つまり２６０μ秒（オン期間１２０μ秒＋オフ期間１４０μ秒）である第３の省電力モードが設定されることが考えられる。

ここで、赤外線ＬＥＤ４０の安定化時間および赤外線カメラ４２の起動時間と、これらを考慮したオン／オフ制御およびサンプリング開始タイミングについて、詳しく説明する。

赤外線ＬＥＤ４０の駆動波形に対する発光波形、および赤外線カメラ４２の駆動波形に対する動作波形は、たとえば図８（Ａ）に示されるように遅延する。このような、赤外線ＬＥＤ４０の駆動波形に対する発光波形の遅延時間を「安定化時間」と呼び、赤外線カメラ４２の駆動波形に対する動作波形の遅延時間を「起動時間」と呼ぶ（両者を「起動時間デューティ」のように総称する場合もある）。

たとえば、赤外線ＬＥＤ４０の安定化時間が５μ秒、赤外線カメラ４２の起動時間が１５μ秒であれば、これらより大きい２０μ秒（＞１５μ秒＞５μ秒）のマージンが、図３（Ｂ）または図３（Ｃ）に示すオン期間の立ち上がりに付加されている。したがって、ステップＳ９の実行タイミングは、ステップＳ５およびＳ７の実行タイミングに対してマージン分つまり２０μ秒だけ遅延する。

一方、ステップＳ５およびＳ７の実行タイミングは、赤外線ＬＥＤ４０の安定化時間が赤外線カメラ４２の起動時間より短いため、略同時で問題なくサンプリングを行うことができる。より好ましくは、より一層の省電力を実現するために、図８（Ｂ）に示すように、赤外線カメラ４２の起動時間と赤外線ＬＥＤ４０の安定化時間との差分（１０μ秒）を上限として、赤外線ＬＥＤ４０のオンタイミングを遅らせることも可能である。赤外線ＬＥＤ４０のオンタイミングを１０μ秒遅らせると、赤外線ＬＥＤ４０の発光が安定化するタイミングと赤外線カメラ４２の起動が完了するタイミングとが一致するが、サンプリング開始タイミングはその５μ秒後なので、問題なくサンプリングを行うことができる。

なお、第１，第２省電力モードでは、赤外線ＬＥＤ４０および赤外線カメラ４２は、同一の波形に従ってオン／オフしたが、他の省電力モードでは、たとえば図９に示すように、互いに異なる波形に従いオン／オフしてもよい。まず、図９（Ａ）の例では、赤外線ＬＥＤ４０はオン状態に維持され（常時発光し）、赤外線カメラ４２だけがオン／オフ（間欠動作）する。この場合、赤外線カメラ４２のデューティが低下する分だけ消費電力を削減できる。次に、図９（Ｂ）の例では、赤外線カメラ４２はオン状態に維持され（常時動作し）、赤外線ＬＥＤ４０だけがオン／オフ（間欠発光）する。この場合、赤外線ＬＥＤ４０のデューティが低下する分だけ消費電力を削減できる。そして、図９（Ｃ）の例では、赤外線カメラ４２および赤外線ＬＥＤ４０はいずれもオン／オフ（間欠発光および間欠動作）するが、赤外線カメラ４２のオン期間の方が赤外線ＬＥＤ４０のオン期間よりも短く、赤外線ＬＥＤ４０のオン期間内に赤外線カメラ４２がオンおよびオフする。この場合、赤外線ＬＥＤ４０および赤外線カメラ４２のデューティが低下する分だけ消費電力を削減できる。

以上から明らかなように、この実施例の携帯端末１０は、表示面を有するディスプレイ３０，赤外線ＬＥＤ４０および赤外線カメラ４２（さらに画像処理回路４４および視線検出プログラム５２）を有し、視線入力を利用するアプリケーション（たとえば電子ブックリーダ，シューティングゲーム，表計算ソフト，ブラウザ，ワンセグプレイヤなど）を実行可能である。そして、携帯端末１０のＣＰＵ２４は、赤外線ＬＥＤ４０からの赤外線によるユーザの瞳孔の反射光に基づいて表示面上での視線入力の位置を検出し（Ｓ９）、赤外線ＬＥＤ４０および赤外線カメラ４２のオン／オフを制御する（Ｓ３〜Ｓ７，Ｓ１１〜Ｓ１５）。ＣＰＵ２４はさらに、赤外線ＬＥＤ４０および赤外線カメラ４２の両方がオン状態のとき赤外線カメラ４２からの画像に基づき視線検出を行い、赤外線ＬＥＤ４０および赤外線カメラ４２の少なくとも一方を繰り返しオン／オフする制御を実行する。

つまり、ＣＰＵ２４は、赤外線ＬＥＤ４０および赤外線カメラ４２の少なくとも一方を繰り返しオン／オフしつつ（Ｓ３〜Ｓ７，Ｓ１１〜Ｓ１５）、赤外ＬＥＤ４０および赤外線カメラ４２の両方がオン状態であるオン期間中に、赤外線カメラ４２からの画像に基づき画像処理回路４４を介して視線検出を行う（Ｓ９）。

この実施例によれば、赤外線ＬＥＤ４０および赤外線カメラ４２の少なくとも一方を繰り返しオン／オフする（間欠的にオンする）ことで消費電力を削減しながら、両方がオン状態であるときに視線検出を行うので、少ない消費電力で視線検出を行うことができる。

特に、ＣＰＵ２４は、赤外線ＬＥＤ４０および赤外線カメラ４２の少なくとも一方を第１周期でオン／オフしつつ、赤外線ＬＥＤ４０および赤外線カメラ４２の両方がオン状態であるオン期間中に、赤外線カメラ４２からの画像に基づき第１周期と同じ、または、より短い第２周期で視線検出を行う（図３（Ｂ），図３（Ｃ），図４，図５，図９（Ａ）〜図９（Ｃ））。したがって、１つのオン期間に少なくとも１回視線検出が行われる結果となり、無駄なオン期間がないので、効率よく視線検出を行える。
また、ＣＰＵ２４は、第１周期および第２周期の少なくとも一方を、視線入力を利用するアプリケーションの属性に基づいて変化させる（Ｓ１，６６，６８：図３（Ｂ）⇔図３（Ｃ），図３（Ｂ）⇔図４，図３（Ｂ）⇔図５）。これにより、アプリケーションの属性に適した省電力化が可能となる。

なお属性は、視線入力の追従性（応答性，時間分解能という場合もある）であり、たとえば、シューティングゲームのような、高い追従性が求められるアプリケーションでは、第１周期および第２周期の少なくとも一方を短くし、電子ブックリーダのような、あまり高い追従性は求められないアプリケーションでは、第１周期および第２周期の少なくとも一方を長くすることで、個々のアプリケーションが要求する追従性を損なわない範囲で、省電力化を図ることができる。

または、属性は、空間分解能でもよく、たとえば、表計算ソフトのような、高い空間分解能が求められる（細かいマス目を区別する必要がある）アプリケーションでは、第１周期および第２周期の少なくとも一方を短くし、電子ブックリーダのような、あまり高い空間分解能は求められない（たとえば頁めくりボタンの選択を検知できる程度でよい）アプリケーションでは、第１周期および第２周期の少なくとも一方を長くすることが有効である。

あるいは、属性は、操作頻度でもよく、たとえば、シューティングゲームやブラウザのような、アプリケーションの実行中に頻繁に入力操作が行われるアプリケーションでは、第１周期および第２周期の少なくとも一方を短くし、電子ブックリーダやワンセグプレイヤのような、あまり頻繁な操作は行われないアプリケーションでは、第１周期および第２周期の少なくとも一方を長くすることが有効である。

さらには、アプリケーションを実行中に属性が変化してもよい（たとえばワンセグプレイヤで、操作画面を表示中は第１周期および第２周期の少なくとも一方を短くし、テレビ画面を表示中（操作画面が隠れいている期間中）は第１周期および第２周期の少なくとも一方を長くするなど）。

以上では、携帯端末１０について説明したが、この発明は、表示面を有する表示部（ディスプレイなど）、発光部（赤外線や可視光線を発するＬＥＤなど）および撮像部（赤外線や可視光線で撮像を行うカメラなど）を有し、視線入力を利用するアプリケーションを実行可能な各種の端末に適用できるが、特に、消費電力の制約が大きい携帯型の端末（スマートフォン，タブレットＰＣ，携帯電話端末，携帯情報端末など）に好適である。

１０ …携帯端末
２４ …ＣＰＵ
３０ …ディスプレイ
３４ …メインメモリ
４０ …赤外線ＬＥＤ
４２ …赤外線カメラ
４４ …画像処理回路

Claims (19)

1. 表示面を有する表示部と、発光部と、撮影部を有し、視線入力を利用するアプリケーションを実行可能な表示装置であって、
   前記発光部からの光による使用者の瞳孔の反射光に基づいて前記表示面上での視線入力の位置を検出する検出部と、
   前記発光部、および、前記撮影部のオン／オフを制御する制御部と、を備え、
   前記検出部はさらに、前記発光部および前記撮影部の両方がオン状態であるオン期間において前記撮影部からの画像に基づき視線検出を行い、
   前記制御部は、前記発光部および前記撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する、表示装置。
2. 前記制御部は、前記発光部および前記撮影部の少なくとも一方を第１周期でオン／オフし、
   前記検出部は、前記発光部および前記撮影部の両方がオン状態である前記オン期間中に前記撮影部からの画像に基づき前記第１周期と同じまたはより短い周期での第２周期で視線検出を行う、請求項１記載の表示装置。
3. 前記第１周期および前記第２周期の少なくとも一方を、前記視線入力を利用するアプリケーションの属性に基づいて変化させる変化部をさらに備える、請求項２記載の表示装置。
4. 前記変化部は前記第２周期を維持しつつ前記第１周期を変化させる、請求項３記載の表示装置。
5. 前記変化部は前記第１周期を、前記発光部および前記撮影部の少なくとも一方がオフ状態であるオフ期間を変更することにより変化させる、請求項４記載の表示装置。
6. 前記変化部は前記第１周期を維持しつつ前記第２周期を変化させる、請求項３記載の表示装置。
7. 前記変化部は前記第１周期および第２周期を共に変化させる、請求項３記載の表示装置。
8. 前記変化部は、前記検出部が１つの前記オン期間につき少なくとも１回は検出を行えるように前記第２周期を変化させる、請求項６または７記載の表示装置。
9. 前記検出部は前記発光部および前記撮影部の少なくとも一方がオフ状態であるオフ期間では検出を停止する、請求項１ないし８のいずれかに記載の表示装置。
10. 前記検出部は１つの前記オン期間につき複数回検出を行い、
    前記複数回の検出結果にフィルタリングを施すことで入力すべき視線を確定する確定部をさらに備える、請求項９記載の表示装置。
11. 確定部は前記複数回のうち一定回数以上で同一の検出結果が得られた場合に当該検出結果を入力すべき視線として確定する、請求項１０記載の表示装置。
12. 前記制御部は前記発光部および前記撮影部の両方をオン／オフする、請求項１ないし１１のいずれかに記載の表示装置。
13. 前記制御部は前記発光部のオンタイミングを前記撮影部のオンタイミングに対して遅延させる、請求項１２記載の表示装置。
14. 前記遅延の大きさは、前記撮影部の起動時間と前記発光部の安定化時間の間の差分に等しいまたは満たない値である、請求項１３記載の表示装置。
15. 前記撮影部のオンタイミングは前記発光部のオンタイミングよりも遅く、かつ前記撮影部のオフタイミングは前記発光部のオフタイミングよりも早い、請求項１２記載の表示装置。
16. 前記制御部は前記発光部をオン状態に維持しつつ前記撮影部をオン／オフする、請求項１記載の表示装置。
17. 前記制御部は前記撮影部をオン状態に維持しつつ前記発光部をオン／オフする、請求項１記載の表示装置。
18. 表示面を有する表示部と、発光部と、撮影部を有し、視線入力を利用するアプリケーションを実行可能な表示装置のＣＰＵを、
    前記発光部からの光による使用者の瞳孔の反射光に基づいて前記表示面上での視線入力の位置を検出する検出部と、
    前記発光部、および、前記撮影部のオン／オフを制御する制御部として機能させ、
    前記検出部はさらに、前記発光部および前記撮影部の両方がオン状態であるオン期間において前記撮影部からの画像に基づき視線検出を行い、
    前記制御部は、前記発光部および前記撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する、視線入力制御プログラム。
19. 表示面を有する表示部と、発光部と、撮影部を有し、視線入力を利用するアプリケーションを実行可能な表示装置によって行われる視線入力制御方法であって、
    前記発光部からの光による使用者の瞳孔の反射光に基づいて前記表示面上での視線入力の位置を検出する検出ステップと、
    前記発光部、および、前記撮影部のオン／オフを制御する制御ステップと、を含み、
    前記検出ステップはさらに、前記発光部および前記撮影部の両方がオン状態であるオン期間において前記撮影部からの画像に基づき視線検出を行い、
    前記制御ステップは、前記発光部および前記撮影部の少なくとも一方を繰り返しオン／オフする制御を実行する、視線入力制御方法。

Images