JPWO2014084224A1 - 電子機器および視線入力方法 - Google Patents

Abstract

携帯電話機はディスプレイなどを有し、ユーザの注視点に基づいて視線入力を検出する。また、携帯電話機は、ディスプレイに表示されるオブジェクトに対する視線入力が検出されると、オブジェクトに関連する所定の処理を実行する。たとえば、電子書籍アプリケーションが実行されているときに、ユーザの注視点が電子書籍の本文を表示する領域に含まれている場合、視線入力の検出精度が低精度モードに設定される。一方、ユーザの注視点が本文を表示していない他の領域に含まれている場合、視線入力の検出精度が高精度モードに設定される。そして、このように視線入力の検出精度が設定された後に、ユーザの視線が検出される。

Description

この発明は、電子機器および視線入力方法に関し、特にたとえば、視線入力を検出する、電子機器および視線入力方法に関する。

背景技術の一例であるデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。

背景技術の他の例である視線検出装置は、撮影した画像から被験者の瞳孔の中心および角膜反射点を検出することで、被験者の視線を検出する。

しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、上述の２つの背景技術では、装置が大きく、適切でない。

また、視線を検出するときには、カメラ等の電源をオンにしたままにしなければならず、装置の消費電力が高くなる。据え置き型の装置であれば、消費電力はさほど問題にはならないが、可搬型の装置の場合、高い消費電力は大きな問題となる。

それゆえに、この発明の主たる目的は、新規な、電子機器および視線入力方法を提供することである。

この発明の他の目的は、ユーザの視線を検出しているときの消費電力を抑えることが出来る、電子機器および視線入力方法を提供することである。

この発明の第１の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。

この発明の第２の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。

この発明の一態様によれば、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイの表示面で検出される注視点の一例を示す図解図である。 図４は図１に示す赤外線カメラによって撮影される瞳孔とプルキニエ像との一例を示す図解図である。 図５は図２に示すプロセッサによって算出される視線ベクトルの一例を示す図解図であり、図５（Ａ）は第１中心位置および第２中心位置の一例を示し、図５（Ｂ）は視線ベクトルの一例を示す。 図６は図１に示すディスプレイに表示されるオブジェクトの表示例を示す図解図である。 図７は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図８は図２に示すプロセッサの視線入力処理の一部の一例を示すフロー図である。 図９は図２に示すプロセッサの視線入力処理の他の一部の一例であって、図８に後続するフロー図である。 図１０は図９に示す高精度モードが設定されたときの動作状態の一例を示す図解図である。 図１１は図９に示す具体例１の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１２は図９に示す具体例２の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１３は図９に示す具体例３の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１４は図２に示すプロセッサの視線入力処理のその他の一例を示すフロー図である。 図１５は図１に示すディスプレイに表示される他の実施例のオブジェクトの表示例を示す図解図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。また、ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。さらにまた、マイク２０の左側に赤外線ＬＥＤ３０および赤外線カメラ３２が設けられ、スピーカ１８の右側に近接センサ３４が設けられる。ただし、赤外線ＬＥＤ３０の発光面と、赤外線カメラ３２の撮影面と、近接センサ３４の検出面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することが出来る。終話キー２４を操作すれば、音声通話を終了することが出来る。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。

また、メニューキー２６が操作されると、ディスプレイ１４にメニュー画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによって、ソフトウェアキーやアイコンに対して選択操作を行うことが出来る。

なお、この実施例では、電子機器の一例としてスマートフォン（smartphone）のような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン(featurephone)、電子書籍端末、タブレット端末、ＰＤＡ、ノート型ＰＣやディスプレイ装置などの任意の電子機器などが該当する。

図２を参照して、図１に示す携帯電話機１０はプロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３２、近接センサ３４、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０および撮影画像処理回路６２などが接続される。

プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって日時が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。

入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。

無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置５０を操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。

Ａ／Ｄ変換器４６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器４６を通してディジタルの音声データとしてプロセッサ４０に入力される。Ｄ／Ａ変換器４８にはスピーカ１８が接続される。Ｄ／Ａ変換器４８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。

なお、プロセッサ４０は、たとえばユーザによるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。

また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６に必要な電圧などを付与するとともに、ユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびタッチ位置を示す座標データをプロセッサ４０に入力する。したがって、プロセッサ４０はこの座標データに基づいて、ユーザが、どのアイコンやキーにタッチしたかを判断することが出来る。

タッチパネル１６は、その表面と表面に接近した指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。

タッチパネル制御回路５８は検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データ（タッチ座標データ）をプロセッサ４０に出力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することが出来る。以下、タッチパネル１６による操作を「タッチ操作」ということにする。

なお、本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指に限らず、スタイラスペンなどによって行われてもよい。

近接センサ３４は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ４０は、フォトダイオードの出力の変化から、近接センサ３４（携帯電話機１０）に近接する物体（たとえば、ユーザの顔など）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ３４にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ３４がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ４０は、その受光量に基づいて、近接センサ３４から物体までの距離を算出することができる。

ＬＥＤドライバ６０には、図１に示す赤外線ＬＥＤ３０が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３０のオン／オフ（点灯／消灯）を切り換える。

撮影画像処理回路６２には、撮影部として機能する赤外線カメラ３２（図１参照）が接続される。撮影画像処理回路６２は、赤外線カメラ３２からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３２は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路６２に入力する。赤外線カメラ３２は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、Ｒ、Ｇ、Ｂの波長の光を減衰(カット)し、赤外線波長の光を透過する赤外線透過フィルタとによって構成される。したがって、赤外線透過フィルタを着脱可能な構成にすれば、赤外線透過フィルタを外すことにより、カラー画像を取得することも可能である。

なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４６およびＤ／Ａ変換器４８はプロセッサ４０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力操作（以下、「視線操作」ということがある。）が可能である。視線操作では、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、判定エリア）に対応づけて設定された所定の処理が実行される。以下、図面を用いて、注視点の検出方法について説明する。

図３を参照して、ユーザは、左右の目の内、自身の利き目を設定する。利き目（ここでは左目）が設定されると、赤外線ＬＥＤ３０が発光した赤外線が照射されたユーザ（被写体）の顔を、赤外線カメラ３２によって撮影する。撮影された画像に対して特徴点抽出の技術を用いて、眼球周辺画像を取得する。次に、取得された眼球周辺画像に対してラベリング処理によって瞳孔が検出され、微分フィルタ処理によって赤外線（赤外光）による反射光（プルキニエ像）が検出される。なお、撮影画像から瞳孔やプルキニエ像を検出する方法を概説したが、これらの方法は既に周知であり、この実施例の本質的な内容ではないため、詳細な説明は省略する。

図１に示したように、赤外線ＬＥＤ３０と赤外線カメラ３２とがディスプレイ１４の下側に並べて配置（接近して配置）されているため、図４に示すように、瞼が比較的大きく開いている状態および瞼が少し閉じている状態のいずれであっても、プルキニエ像を検出することが出来る。なお、赤外線ＬＥＤ３０と赤外線カメラ３２との距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）との距離や携帯電話機１０の大きさなどによって決定される。

プロセッサ４０は、撮影画像から瞳孔およびプルキニエ像を検出すると、利き目の視線の方向（視線ベクトルＶ）を検出する。具体的には、赤外線カメラ３２で撮影された２次元の撮影画像におけるプルキニエ像の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図５（Ａ），（Ｂ）に示すように、第１中心位置Ａから第２中心位置中心Ｂに向けたベクトルが視線ベクトルＶである。赤外線カメラ３２における座標系は予め決定されており、その座標系を用いて視線ベクトルＶが算出される。

そして、このようにして算出された視線ベクトルＶを用いて、視線操作の初期設定としてキャリブレーションが行われる。本実施例では、ディスプレイ１４の四隅をそれぞれ注視したときの視線ベクトルＶを取得し、各視線ベクトルＶをキャリブレーションデータとして保存する。

視線操作が行われる際には、赤外線カメラ３２によって画像が撮影される度に、視線ベクトルＶを求め、キャリブレーションデータと比較することによって、注視点が検出される。そして、注視点が、判定エリア内で検出された回数が判定回数と一致したときに、プロセッサ４０は、その注視点に対して視線入力がされたものとして検出する。

また、本実施例では、ユーザの両目の距離Ｌ（図３参照）が、左右の目のプルキニエ像の中心位置から算出される。そして、ユーザの両目の距離Ｌはキャリブレーションデータと共に保存される。注視点を検出する処理が実行され視線ベクトルＶが算出されると、注視点を検出するときに記録された両目の距離Ｌと現在の両目の距離Ｌとが比較され、ディスプレイ１４とユーザの顔との距離が変化しているかが判断される。ディスプレイ１４とユーザの顔との距離が変化していると判断されると、記録された両目の距離Ｌと現在の両目の距離Ｌとから変化量が算出され、視線ベクトルＶの大きさが補正される。たとえば、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して離れた状態であると判断されると、視線ベクトルＶは大きくなるよう補正される。また、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して近づいた状態であると判断されると、視線ベクトルＶは小さくなるように補正される。

また、詳細な説明は省略するが、本実施例の注視点検出処理では、眼球の形状によって生じる誤差、キャリブレーション時の測定誤差および撮影時の量子化誤差なども補正されている。

したがって、本実施例では、携帯電話機１０のような小型の電子機器であっても、高精度な視線入力を実現することが可能となる。

図６は、電子書籍アプリケーションが実行されているときのディスプレイ１４の表示例を示す図解図である。ディスプレイ１４は状態表示領域７０および機能表示領域７２を含む。状態表示領域７０には、アンテナ４４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび時刻が表示される。

機能表示領域７２には、標準キーであるＨＯＭＥキー９０およびＢＡＣＫキー９２が表示される標準キー表示領域８０と、前のページに戻るための戻るキー９４が表示される第１アプリケーションキー表示領域８２と、次のページに進むための進むキー９６が表示される第２アプリケーションキー表示領域８４と、電子書籍の本文が表示される本部表示領域８６とが含まれる。

ＨＯＭＥキー９０は、実行中のアプリケーションを終了させて、待機画面を表示させるためのキーである。ＢＡＣＫキー９２は、実行中のアプリケーションを終了させて、アプリケーションが実行される前の画面を表示するためのキーである。そして、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、実行されるアプリケーションの種類に関係なく、アプリケーションが実行されていれば表示される。

また、未読の新着メールや不在着信などがある場合、状態表示領域７０には、通知アイコンが表示される。たとえば、新着メールを受信した場合、状態表示領域７０には、通知アイコンとして、新着メールアイコンが表示される。未読の新着メールや不在着信が無い場合は、通知アイコンは表示されない。

なお、ディスプレイ１４に表示されるキー、ＧＵＩ、ウィジェット（ガジェット）などは、まとめてオブジェクトと呼ばれる。また、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４は、まとめてオブジェクト表示領域と呼ばれることもある。

そして、ユーザは、これらのオブジェクトに対して視線入力を行うことで、実行されているアプリケーションを任意に操作することが出来る。たとえば、戻るキー９４または進むキー９６に対して視線入力が行われると、表示されている電子書籍のページが変更される。

ここで、本実施例では、視線入力の検出が開始されると、ユーザの注視点に基づいて視線入力の検出精度を変更する。ここで、本実施例では、低精度モード（第１精度モード）と、その低精度モードに対して視線入力の検出精度が高い高精度モード（第２精度モード）を設定することが出来る。また、低精度モードでは、ユーザの視線を検出するための処理が簡略化されるため、ユーザの視線が検出されているときの消費電力が抑えられる。

そして、視線入力の検出が開始されたときに、ユーザの注視点が特定領域に含まれる場合は、視線入力の検出精度が低精度モードに設定される。一方、ユーザの注視点が特定領域に含まれない場合は、視線入力の検出精度が高精度モードに設定される。

たとえば、図６を参照して、電子書籍アプリケーションが実行されている場合、本文表示領域８６が特定領域とされる。これは、電子書籍の本文が表示されている領域では、ユーザの視線入力の検出がさほど重要ではないからである。そのため、ユーザの視線が電子書籍の本文に向けられている場合は、視線入力の検出精度が低精度モードに設定される。一方、オブジェクト表示領域に対してユーザの視線が向けられている場合は、オブジェクトに対して視線入力がされる可能性がある。そのため、視線入力の検出精度が高精度モードに設定される。

このように、ユーザの注視点の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、通常状態では高精度モードが設定され、低消費電力で視線入力を検出するために低精度モードが設定されるため、高精度モードは「通常モード」と呼ばれ、低精度モードは「省電力モード」と呼ばれることもある。

また、他の実施例では、文章が表示される、メールアプリケーションや、ブラウザアプリケーションの実行中に、上述の電子書籍アプリケーションと同様、高精度モードまたは低精度モードが設定されてもよい。また、他のプリケーションが実行されている場合の特定領域は、アプリケーション毎に設定されていてもよいし、領域内に表示される文字数が所定値を超えている場合に、特定領域と判定されてもよい。

以下、図７に示すメモリマップ５００および図８−図９に示すフロー図を用いて、本実施例の概要を説明する。

図７を参照して、図２に示すＲＡＭ５６には、プログラム記憶領域５０２とデータ記憶領域５０４とが形成される。プログラム記憶領域５０２は、先に説明したように、フラッシュメモリ５４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域５０２には、視線入力を検出し、その視線入力に基づく動作を実行するための視線入力プログラム５１０などが記憶される。なお、プログラム記憶領域５０２には、電話機能、メール機能およびアラーム機能などを実行するためのプログラムなども含まれる。

データ記憶領域５０４には、近接バッファ５３０、注視点バッファ５３２および視線バッファ５３４などが設けられる。また、データ記憶領域５０４には、領域座標テーブル５３６、オブジェクトデータ５３８およびオブジェクトテーブル５４０などが記憶される。

近接バッファ５３０は、近接センサ３４から得られた物体までの距離情報が一時的に記憶される。注視点バッファ５３２は、検出された注視点が一時的に記憶される。視線バッファ５３４は、視線入力が検出されたときにその位置が一時的に記憶される。

領域座標テーブル５３６は、たとえば、状態表示領域７０、機能表示領域７２、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４の座標範囲の情報を含むテーブルである。オブジェクトデータ５３８は、ディスプレイ１４に表示されるオブジェクトの画像および文字列データなどを含むデータである。オブジェクトテーブル５４０は、ディスプレイ１４に表示されているオブジェクトの表示位置（座標範囲）などの情報を含むテーブルである。

図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、タイマ（カウンタ）や、フラグが設けられたりする。

プロセッサ４０は、Ａｎｄｒｏｉｄ（登録商標）またはＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図８および図９に示す視線入力処理などを含む、複数のタスクを並列的に処理する。

視線入力による操作が有効とされると、視線入力処理が実行される。プロセッサ４０は、ステップＳ１で近接センサ３４をオンにする。つまり、近接センサ３４によって携帯電話機１０からユーザまでの距離が測定される。続いて、ステップＳ３でプロセッサ４０は、近接センサ３４の出力が閾値未満であるか否かを判断する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ３で“ＮＯ”であれば、つまり近接センサ３４の出力が閾値以上でれば、プロセッサ４０は、ステップＳ５で近接センサ３４をオフにして、視線入力処理を終了する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える可能性があるため、視線入力処理が終了される。なお、他の実施例では、ステップＳ５の後に、ユーザの顔を携帯電話機１０から離すように促す通知（たとえば、ポップアップや、音声）がされてもよい。

ステップＳ３で“ＹＥＳ”であれば、たとえば携帯電話機１０とユーザの顔とが適切な距離であれば、プロセッサ４０は、ステップＳ７で赤外線ＬＥＤ３０をオンにし、ステップＳ９で赤外線カメラ３２をオンにする。つまり、ユーザの視線入力を検出するために、赤外線ＬＥＤ３０および赤外線カメラ３２がオンにされる。

続いて、ステップＳ１１でプロセッサ４０は、顔認識処理を実行する。つまり、ユーザの赤外線カメラ３２によって撮影された画像データをＲＡＭ５６から読み出し、読み出した画像データに対してユーザの顔を検出する処理が施される。続いて、ステップＳ１３でプロセッサ４０は、認識されたか否かを判断する。つまり、顔認識処理によって、ユーザの顔が認識されたかが判断される。ステップＳ１３で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。

一方、ステップＳ１３で“ＹＥＳ”であれば、つまりユーザの顔が認識されると、ステップＳ１５でプロセッサ４０は、注視点を検出する。つまり、ユーザが注視しているディスプレイ１４上の位置が検出される。なお、検出された注視点の座標は注視点バッファ５３２に記録される。また、ステップＳ１５の処理を実行するプロセッサ４０は検出部として機能する。

続いて、ステップＳ１７でプロセッサ４０は、注視点を検出したか否かを判断する。つまり、プロセッサ４０は、認識された顔の画像からユーザの注視点を検出できたかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり注視点が検出されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。

一方、ステップＳ１７で“ＹＥＳ”であれば、つまり注視点が検出されていれば、ステップＳ１９でプロセッサ４０は、注視点が特定領域に含まれているか否かを判断する。たとえば、注視点バッファ５３２に記録されている注視点が、領域座標デーブル５３６に含まれる本文表示領域８６の座標範囲に含まれているかが判断される。ステップＳ１９で“ＹＥＳ”であれば、たとえば図６に示す本文表示領域８６にユーザの注視点が含まれていれば、ステップＳ２１でプロセッサ４０は、低精度モードを設定する。一方、ステップＳ１９で“ＮＯ”であれば、つまり特定領域に注視点が含まれていなければ、ステップＳ２３でプロセッサ４０は、高精度モードを設定する。そして、ステップＳ２１またはステップＳ２３の処理が終了すれば、プロセッサ４０はステップＳ２５の処理に進む。なお、ステップＳ２１の処理を実行するプロセッサ４０は第１設定部として機能し、ステップＳ２３の処理を実行するプロセッサ４０は第２設定部として機能する。

続いて、ステップＳ２５でプロセッサ４０は、視線検出処理を実行する。つまり、設定された検出精度に基づいて、ユーザの視線入力が検出される。

続いて、ステップＳ２７でプロセッサ４０は、視線入力が行われた位置に基づいて動作を実行する。たとえば、オブジェクトに対して視線入力が行われた場合、そのオブジェクトに関連するアプリケーションや、処理が実行される。ただし、本文表示領域８６の文字に対して視線入力が検出された場合、その文字に処理や動作が対応付けられていなければ、プロセッサ４０は特に動作を実行しない。

続いて、ステップＳ２９でプロセッサ４０は、視線入力が終了か否かを判断する。たとえば、プロセッサ４０は、視線入力を無効にする操作がされたかを判断する。ステップＳ２９で“ＮＯ”であれば、つまり視線入力が終了していなければ、プロセッサ４０はステップＳ１１の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり視線入力が終了していれば、ステップＳ３１でプロセッサ４０は、赤外線ＬＥＤ３０、赤外線カメラ３２および近接センサ３４をオフにする。つまり、これらの電源をオフにすることで、携帯電話機１０の消費電力が抑えられる。そして、ステップＳ３１の処理が終了すれば、プロセッサ４０は、視線入力処理を終了する。

以上で、本実施例の概要を説明したが、以下には図１０−図１３に示す図解図を用いて、低精度モードの具体例を説明する。

＜具体例１＞
具体例１の第１低精度モードでは、赤外線カメラ３２のフレームレートが、高精度モードに対して低くされる。以下、高精度モードと第１低精度モードとの動作状態を比較して説明する。

図１０は、高精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。高精度モードでは、赤外線ＬＥＤ３０は常に点灯しており、赤外線カメラ３２は２０ｆｐｓ(Frames Per Second)のフレームレートで撮影画像を出力している。また、撮影画像が赤外線カメラ３２から撮影画像処理回路６２に出力され、撮影画像処理回路６２で所定の処理が施された後にプロセッサ４０に入力されると、プロセッサ４０は撮影画像をＲＡＭ５６のバッファに一旦格納した後、視線検出に必要な処理を、撮影画像に施す。たとえば、プロセッサ４０は、視線検出に必要な処理として、撮影画像処理回路６２から入力された撮影画像をＲＡＭ５６のバッファから撮影画像を読み出す画像読出処理、読み出した撮影画像から顔を認識する顔認識処理およびユーザの視線を検出する視線検出処理などを実行する。そして、プロセッサ４０は、視線検出が有効にされている間は、赤外線カメラ３２から出力される各撮影画像に対して、これらの処理を施す。なお、プロセッサ４０は撮影画像処理回路６２から撮影画像が入力されてから視線検出に必要な処理が実行するため、赤外線カメラ３２から撮影画像が出力されるタイミングとプロセッサ４０が視線検出に必要な処理を実行するタイミングとにはズレが生じる。

図１１は、第１低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第１低精度モードでは、たとえば第１低精度モードの赤外線カメラ３２は、高精度モードのフレームレートに対する半分のフレームレート、つまり１０ｆｐｓのフレームレートで撮影画像を出力している。そのため、赤外線ＬＥＤ３２は、撮影される直前にオンにされたあと、次のフレームが出力されるまでオフにされる。つまり、赤外線ＬＥＤ３２は、撮影画像の出力に合わせて点滅する。そして、プロセッサ４０は、入力された撮影画像に対して視線検出に必要な処理が施されると、次の撮影画像が入力されるまで、スリープ状態に移行する。そのため、第１低精度モードでは、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第１低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、赤外線カメラ３２のフレームレートを下げることで、視線検出中の赤外線カメラ３２の消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。また、赤外線カメラ３２のフレームレートを下げることで、赤外線ＬＥＤ３０およびプロセッサ４０の消費電力も下げることも出来る。

＜具体例２＞
具体例２の第２低精度モードでは、プロセッサ４０が視線を検出する頻度が、高精度モードに対して低くされる。以下、高精度モードと第２低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。

図１２は、第２低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第２低精度モードのプロセッサ４０の頻度が高精度モードに対して低くされる。たとえば、プロセッサ４０は、視線検出に必要な処理の実行を終えるとスリープ状態に移行し、次のフレームが出力されてもプロセッサ４０は視線検出に必要な処理を実行しない。そして、さらに次のフレームが出力されたときにスリープ状態から復帰して、視線検出に必要な処理を実行する。このとき、赤外線カメラ３２のフレームレートは変化させず、赤外線ＬＥＤ３０は具体例１と同じ頻度で点滅する。そのため、第２低精度モードでも、第１低精度モードと同様、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第２低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、具体例２では、赤外線カメラ３２のフレームレートを変更することなく、視線検出中のプロセッサ４０の消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、他の実施例のプロセッサ４０は、スリープ状態に移行せずに、視線検出に必要な処理をスキップするようにしてもよい。

＜具体例３＞
具体例３の第３低精度モードでは、高精度モードで実行される視線検出処理と同じ第１視線検出処理と、第１視線検出処理よりも簡易化されたアルゴリズムの第２視線検出処理とが実行される。以下、高精度モードと第３低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。

図１３は、第３低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第３低精度モードでは、第１視線検出処理と第２視線検出処理とが交互に実行される。たとえば、第１フレームの撮影画像に対して第１視線検出処理が施されると、次の第２フレームの撮影画像に対しては第２視線検出処理が施される。そして、さらに次の第３フレームの撮影画像に対しては、再び第１視線検出処理が施される。また、赤外線ＬＥＤ３０および赤外線カメラ３２の動作については、高精度モードと略同じである。ただし、第２視線検出処理を実行するプロセッサ４０の消費電力は、第１視線検出処理を実行しているときよりも低くなる。

たとえば、第１視線検出処理では視線入力の位置が「１画素」の精度で検出されるが、第２視線検出処理では視線入力の位置が複数の画素を含む「１エリア」の精度で検出される。つまり、第２視線検出処理では、検出される注視点の位置の精度が、第１視線検出処理に比べて低くなる。したがって、ユーザは第３低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、視線検出処理のアルゴリズムを簡易化することで、ハードウェア（赤外線ＬＥＤ３０および赤外線カメラ３２など）の動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、具体例１−具体例３は、それぞれが任意に組み合わせられてもよい。たとえば、具体例１および具体例２で、第３実施例と同じように、第１視線検出処理と第２視線検出処理とが交互に実行されてもよい。また、全ての具体例で、低精度モードが設定されれば、第２視線検出処理が常に実行されるようにしてもよい。また、その他の組み合わせについては容易に想像できるため、ここでの詳細な説明は省略する。

また、他の実施例では、携帯電話機１０からユーザまでの距離の検出精度を高めるために、近接センサ３４が、赤外線ＬＥＤ３０および赤外線カメラ３２と隣接するように設けられてもよい。また、その他の実施例では、赤外線ＬＥＤ３０および赤外線カメラ３２が、近接センサ３４と隣接するように設けられてもよい。

さらにその他の実施例では、近接センサ３４に代えて、赤外線ＬＥＤ３０および赤外線カメラ３２を利用して、携帯電話機１０に対するユーザの顔の近接が検出されてもよい。具体的には、視線入力処理が開始されると、赤外線ＬＥＤ３０を弱発光させ、赤外線カメラ３２の受光レベルを測定する。受光レベルが閾値を超えている場合、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在していると判断して、プロセッサ４０は視線入力検出処理を終了する。一方、受光レベルが閾値未満であれば、赤外線ＬＥＤ３０が通常発光の状態にされ、上述したようにユーザの視線入力が検出される。なお、赤外線カメラ３２の受光レベルは、シャッター速度およびアンプゲイン値に基づいて算出される。たとえば、照度が高い場合、シャッター速度が速くなり、アンプゲイン値が低くなる。一方、照度が低い場合、シャッター速度が遅くなり、アンプゲイン値が高くなる。

以下、さらにその他の実施例の視線入力処理のフロー図を用いて、詳細に説明する。図１４を参照して、さらにその他の実施例の視線入力処理が実行されると、プロセッサ４０は、ステップＳ５１で赤外線ＬＥＤ３０を弱発光させ、ステップＳ５３で赤外線カメラ２３３の電源をオンにする。続いて、ステップＳ５５でプロセッサ４０は、赤外線カメラ３２の受光レベルを測定する。つまり、赤外線カメラ３２のシャッター速度およびアンプゲイン値に基づいて、赤外線カメラ３２の受光レベルが算出される。

続いて、ステップＳ５７でプロセッサ４０は、受光レベルが閾値未満であるか否かを判断する。つまり、ステップＳ３と同様、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ５７で“ＮＯ”であれば、つまり受光レベルが閾値を超えていれば、プロセッサ４０はステップＳ６１の処理に進む。そして、プロセッサ４０は、ステップＳ６１で赤外線ＬＥＤ３０および赤外線カメラ３２をオフにして、視線入力処理を終了する。

一方、ステップＳ５７で“ＹＥＳ”であれば、つまり受光レベルが閾値未満であれば、ステップＳ５９でプロセッサ４０は、赤外線ＬＥＤ３０を通常発光の状態にする。続いて、ステップＳ１１−Ｓ２９の処理が実行され、ユーザの視線入力が検出された後、プロセッサ４０はステップＳ６１の処理に進む。ステップＳ６１では、上述したように、赤外線ＬＥＤ３０および赤外線カメラ３２がオフにされる。つまり、視線入力が検出されたため、赤外線ＬＥＤ３０および赤外線カメラ３２の電源がオフにされる。そして、ステップＳ６１の処理が終了すれば、プロセッサ４０は視線入力処理を終了する。

また、本実施例では、プロセッサの処理が視線操作によって実行される場合について説明したが、キー操作、タッチ操作および視線操作が組み合わせられてもよいことは、言うまでもない。ただし、他の実施例では、視線操作による処理が実行されている場合には、キー操作やタッチ操作を受け付けないようにしてもよい。

また、本実施例では、視線操作が可能である場合について説明したが、実際には、視線操作（視線入力）が可能な場合と可能でない場合とがある。視線操作が可能な場合とは、たとえば予め視線操作を行うことが可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、電子書籍アプリケーションや、メールアプリケーションなどがあげられる。一方、視線操作が可能でない場合とは、たとえば予め視線操作を行うことが不可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、通話機能があげられる。また、視線操作が可能である場合には、その旨のメッセージないし画像（アイコン）を表示するようにしてもよい。さらに、視線操作を実行している場合には、視線入力を受け付けている（視線操作の実行中である）旨のメッセージないし画像を表示するようにしてもよい。このようにすれば、使用者は、視線操作が可能であること、視線入力が受け付けられていることを認識することが出来る。

また、携帯電話機１０が加速度センサまたはジャイロセンサを有する場合、視線操作の有効／無効は、携帯電話機１０の向きに応じて切り替えられてもよい。

また、他の実施例の赤外線カメラ３２は、通常のカラーカメラに比べて赤外線に対する感度が高いものであってもよい。また、その他の実施例の赤外線カメラ３２を構成するカラーカメラには、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)が設けられていてもよい。赤外線カットフィルタが設けられた赤外線カメラ３２の場合、赤外線波長の光の感度を高めておくとしてもよい。また、この赤外線カットフィルタを赤外線カメラ３２から着脱自在としてもよい。

また、その他の実施例では、現在設定されているモードを示すモードアイコンがユーザに示されてもよい。たとえば、図１５（Ａ），（Ｂ）を参照して、低精度モード（省電力モード）が設定されている場合、状態表示領域７０には「Ｌｏ」の文字列を含む第１モードアイコン１００が表示される。一方、高精度モードが設定されている場合、状態表示領域７０には、「Ｈｉ」の文字列を含む第２モードアイコン１０２が表示される。このように第１モードアイコン１００または第２モードアイコン１０２を表示することで、ユーザは、第１モードアイコン１００または第２モードアイコン１０２によって、現在のモードを適切に把握することが出来る。

ただし、どちらか一方のモードが設定されたときだけ、第１モードアイコン１００または第２モードアイコン１０２が表示されるようにしてもよい。たとえば、低精度モードが設定されているときには、第１モードアイコン１００が表示されないようにし、高精度モードが設定されたときだけ、第２モードアイコン１０２が表示されるようにしてもよい。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤなどの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

ここで、以下の説明における括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述した実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

本実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。

本実施例では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のプロセッサ（４０）は視線による入力（以下、視線入力と言う。）を検出するための検出処理を実行する。たとえば、検出処理が実行されている状態では、注視点が同じ位置で検出された回数が判定回数に達したときに、視線入力が検出される。また、視線入力が検出されると、その入力位置に基づいて動作が実行される。表示部（１４）は、たとえば、電子書籍アプリケーションによる文章が表示される特定領域と、その電子書籍アプリケーションを操作するためのオブジェクトを表示するオブジェクト表示領域を含む画面を表示する。検出部（４０，Ｓ１５）は、ユーザの注視点を検出する。第１設定部（４０，Ｓ２１）は、たとえばユーザの注視点が電子書籍アプリケーションによる本文が表示される特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する。一方、第２設定部（４０，Ｓ２３）は、たとえばユーザの注視点が電子書籍アプリケーションを操作するオブジェクト表示部に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モード（高精度モード）に設定する。

本実施例によれば、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

他の実施例は、視線入力を検出するためのカメラをさらに備え、第１精度モードが設定されたとき、カメラのフレームレートを低くする。

他の実施例では、カメラ（３２）は、視線入力を検出するために電子機器に設けられる。そして、第１精度モードが設定されたとき、カメラのフレームレートが低く設定される。

他の実施例によれば、カメラのフレームレートを下げることで、視線検出中のカメラの消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

その他の実施例は、第１精度モードが設定されたとき、プロセッサの処理頻度を低くする。

その他の実施例では、第１精度モードが設定されると、プロセッサは、視線入力を検出するための処理を実行する頻度を下げる。

その他の実施例によれば、視線検出中のプロセッサの消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

さらにその他の実施例は、第１精度モードが設定されたとき、プロセッサによる検出処理のアルゴリズムが簡易化される。

さらにその他の実施例では、たとえば、視線入力処理のアルゴリズムが簡易化されると、検出された視線の入力位置の精度が、第２精度モードが設定された状態に比べて低くなる。

さらにその他の実施例によれば、視線検出処理のアルゴリズムを簡易化することで、ハードウェアの動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

他の実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。

他の実施例でも、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。

１０ …携帯電話機
１４ …ディスプレイ
１６ …タッチパネル
３０ …赤外線ＬＥＤ
３２ …赤外線カメラ
３４ …近接センサ
４０ …プロセッサ
５０ …入力装置
５４ …フラッシュメモリ
５６ …ＲＡＭ
６０ …ＬＥＤドライバ
６２ …撮影画像処理回路

この発明は、電子機器および視線入力方法に関し、特にたとえば、視線入力を検出する、電子機器および視線入力方法に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１のデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。

背景技術の他の例が特許文献２に開示されている。この特許文献２の視線検出装置は、撮影した画像から被験者の瞳孔の中心および角膜反射点を検出することで、被験者の視線を検出する。

特開２００３−１９６０１７号公報［G06F 3/033, G06F 3/00, G06T 1/00, G06T 7/60］ 特開２００５−１８５４３１号公報［A61B 3/113, G06F 3/033］

しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、上述の２つの背景技術では、装置が大きく、適切でない。

また、視線を検出するときには、カメラ等の電源をオンにしたままにしなければならず、装置の消費電力が高くなる。据え置き型の装置であれば、消費電力はさほど問題にはならないが、可搬型の装置の場合、高い消費電力は大きな問題となる。

それゆえに、この発明の主たる目的は、新規な、電子機器および視線入力方法を提供することである。

この発明の他の目的は、ユーザの視線を検出しているときの消費電力を抑えることが出来る、電子機器および視線入力方法を提供することである。

この発明の第１の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。

この発明の第２の局面は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。

この発明の一態様によれば、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイの表示面で検出される注視点の一例を示す図解図である。 図４は図１に示す赤外線カメラによって撮影される瞳孔とプルキニエ像との一例を示す図解図である。 図５は図２に示すプロセッサによって算出される視線ベクトルの一例を示す図解図であり、図５（Ａ）は第１中心位置および第２中心位置の一例を示し、図５（Ｂ）は視線ベクトルの一例を示す。 図６は図１に示すディスプレイに表示されるオブジェクトの表示例を示す図解図である。 図７は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図８は図２に示すプロセッサの視線入力処理の一部の一例を示すフロー図である。 図９は図２に示すプロセッサの視線入力処理の他の一部の一例であって、図８に後続するフロー図である。 図１０は図９に示す高精度モードが設定されたときの動作状態の一例を示す図解図である。 図１１は図９に示す具体例１の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１２は図９に示す具体例２の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１３は図９に示す具体例３の低精度モードが設定されたときの動作状態の一例を示す図解図である。 図１４は図２に示すプロセッサの視線入力処理のその他の一例を示すフロー図である。 図１５は図１に示すディスプレイに表示される他の実施例のオブジェクトの表示例を示す図解図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。また、ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。さらにまた、マイク２０の左側に赤外線ＬＥＤ３０および赤外線カメラ３２が設けられ、スピーカ１８の右側に近接センサ３４が設けられる。ただし、赤外線ＬＥＤ３０の発光面と、赤外線カメラ３２の撮影面と、近接センサ３４の検出面とはハウジング１２から露出するように設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することが出来る。終話キー２４を操作すれば、音声通話を終了することが出来る。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることが出来る。

また、メニューキー２６が操作されると、ディスプレイ１４にメニュー画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによって、ソフトウェアキーやアイコンに対して選択操作を行うことが出来る。

なお、この実施例では、電子機器の一例としてスマートフォン（smartphone）のような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン(featurephone)、電子書籍端末、タブレット端末、ＰＤＡ、ノート型ＰＣやディスプレイ装置などの任意の電子機器などが該当する。

図２を参照して、図１に示す携帯電話機１０はプロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３２、近接センサ３４、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０および撮影画像処理回路６２などが接続される。

プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって日時が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。

入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。ユーザが操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。

無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置５０を操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。

Ａ／Ｄ変換器４６には図１に示すマイク２０が接続され、マイク２０からの音声信号はこのＡ／Ｄ変換器４６を通してディジタルの音声データとしてプロセッサ４０に入力される。Ｄ／Ａ変換器４８にはスピーカ１８が接続される。Ｄ／Ａ変換器４８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。

なお、プロセッサ４０は、たとえばユーザによるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。

また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６に必要な電圧などを付与するとともに、ユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびタッチ位置を示す座標データをプロセッサ４０に入力する。したがって、プロセッサ４０はこの座標データに基づいて、ユーザが、どのアイコンやキーにタッチしたかを判断することが出来る。

タッチパネル１６は、その表面と表面に接近した指などの物体との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。

タッチパネル制御回路５８は検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データ（タッチ座標データ）をプロセッサ４０に出力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、ユーザがどのアイコンやキーにタッチしたかを判断することが出来る。以下、タッチパネル１６による操作を「タッチ操作」ということにする。

なお、本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。また、タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作はユーザの指に限らず、スタイラスペンなどによって行われてもよい。

近接センサ３４は、図示は省略するが、発光素子（たとえば、赤外線ＬＥＤ）と受光素子（たとえば、フォトダイオード）とを含む。プロセッサ４０は、フォトダイオードの出力の変化から、近接センサ３４（携帯電話機１０）に近接する物体（たとえば、ユーザの顔など）の距離を算出する。具体的には、発光素子は赤外線を発光し、受光素子は、顔などで反射した赤外線を受光する。たとえば、受光素子がユーザの顔から遠い場合は、発光素子から発せられた赤外線は受光素子によってほとんど受光されない。一方、近接センサ３４にユーザの顔が近接すると、発光素子が発光した赤外線は顔に反射して受光素子によって受光される。このように、受光素子は近接センサ３４がユーザの顔に近接している場合とそうでない場合とで赤外線の受光量が変化するため、プロセッサ４０は、その受光量に基づいて、近接センサ３４から物体までの距離を算出することができる。

ＬＥＤドライバ６０には、図１に示す赤外線ＬＥＤ３０が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３０のオン／オフ（点灯／消灯）を切り換える。

撮影画像処理回路６２には、撮影部として機能する赤外線カメラ３２（図１参照）が接続される。撮影画像処理回路６２は、赤外線カメラ３２からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３２は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路６２に入力する。赤外線カメラ３２は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、Ｒ、Ｇ、Ｂの波長の光を減衰(カット)し、赤外線波長の光を透過する赤外線透過フィルタとによって構成される。したがって、赤外線透過フィルタを着脱可能な構成にすれば、赤外線透過フィルタを外すことにより、カラー画像を取得することも可能である。

なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４６およびＤ／Ａ変換器４８はプロセッサ４０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力操作（以下、「視線操作」ということがある。）が可能である。視線操作では、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、判定エリア）に対応づけて設定された所定の処理が実行される。以下、図面を用いて、注視点の検出方法について説明する。

図３を参照して、ユーザは、左右の目の内、自身の利き目を設定する。利き目（ここでは左目）が設定されると、赤外線ＬＥＤ３０が発光した赤外線が照射されたユーザ（被写体）の顔を、赤外線カメラ３２によって撮影する。撮影された画像に対して特徴点抽出の技術を用いて、眼球周辺画像を取得する。次に、取得された眼球周辺画像に対してラベリング処理によって瞳孔が検出され、微分フィルタ処理によって赤外線（赤外光）による反射光（プルキニエ像）が検出される。なお、撮影画像から瞳孔やプルキニエ像を検出する方法を概説したが、これらの方法は既に周知であり、この実施例の本質的な内容ではないため、詳細な説明は省略する。

図１に示したように、赤外線ＬＥＤ３０と赤外線カメラ３２とがディスプレイ１４の下側に並べて配置（接近して配置）されているため、図４に示すように、瞼が比較的大きく開いている状態および瞼が少し閉じている状態のいずれであっても、プルキニエ像を検出することが出来る。なお、赤外線ＬＥＤ３０と赤外線カメラ３２との距離は、ユーザが携帯電話機１０を使用する際における、ユーザの顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）との距離や携帯電話機１０の大きさなどによって決定される。

プロセッサ４０は、撮影画像から瞳孔およびプルキニエ像を検出すると、利き目の視線の方向（視線ベクトルＶ）を検出する。具体的には、赤外線カメラ３２で撮影された２次元の撮影画像におけるプルキニエ像の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図５（Ａ），（Ｂ）に示すように、第１中心位置Ａから第２中心位置中心Ｂに向けたベクトルが視線ベクトルＶである。赤外線カメラ３２における座標系は予め決定されており、その座標系を用いて視線ベクトルＶが算出される。

そして、このようにして算出された視線ベクトルＶを用いて、視線操作の初期設定としてキャリブレーションが行われる。本実施例では、ディスプレイ１４の四隅をそれぞれ注視したときの視線ベクトルＶを取得し、各視線ベクトルＶをキャリブレーションデータとして保存する。

視線操作が行われる際には、赤外線カメラ３２によって画像が撮影される度に、視線ベクトルＶを求め、キャリブレーションデータと比較することによって、注視点が検出される。そして、注視点が、判定エリア内で検出された回数が判定回数と一致したときに、プロセッサ４０は、その注視点に対して視線入力がされたものとして検出する。

また、本実施例では、ユーザの両目の距離Ｌ（図３参照）が、左右の目のプルキニエ像の中心位置から算出される。そして、ユーザの両目の距離Ｌはキャリブレーションデータと共に保存される。注視点を検出する処理が実行され視線ベクトルＶが算出されると、注視点を検出するときに記録された両目の距離Ｌと現在の両目の距離Ｌとが比較され、ディスプレイ１４とユーザの顔との距離が変化しているかが判断される。ディスプレイ１４とユーザの顔との距離が変化していると判断されると、記録された両目の距離Ｌと現在の両目の距離Ｌとから変化量が算出され、視線ベクトルＶの大きさが補正される。たとえば、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して離れた状態であると判断されると、視線ベクトルＶは大きくなるよう補正される。また、変化量に基づいて、ユーザの顔の位置がキャリブレーションを行ったときに対して近づいた状態であると判断されると、視線ベクトルＶは小さくなるように補正される。

また、詳細な説明は省略するが、本実施例の注視点検出処理では、眼球の形状によって生じる誤差、キャリブレーション時の測定誤差および撮影時の量子化誤差なども補正されている。

したがって、本実施例では、携帯電話機１０のような小型の電子機器であっても、高精度な視線入力を実現することが可能となる。

図６は、電子書籍アプリケーションが実行されているときのディスプレイ１４の表示例を示す図解図である。ディスプレイ１４は状態表示領域７０および機能表示領域７２を含む。状態表示領域７０には、アンテナ４４による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび時刻が表示される。

機能表示領域７２には、標準キーであるＨＯＭＥキー９０およびＢＡＣＫキー９２が表示される標準キー表示領域８０と、前のページに戻るための戻るキー９４が表示される第１アプリケーションキー表示領域８２と、次のページに進むための進むキー９６が表示される第２アプリケーションキー表示領域８４と、電子書籍の本文が表示される本部表示領域８６とが含まれる。

ＨＯＭＥキー９０は、実行中のアプリケーションを終了させて、待機画面を表示させるためのキーである。ＢＡＣＫキー９２は、実行中のアプリケーションを終了させて、アプリケーションが実行される前の画面を表示するためのキーである。そして、ＨＯＭＥキー９０およびＢＡＣＫキー９２は、実行されるアプリケーションの種類に関係なく、アプリケーションが実行されていれば表示される。

また、未読の新着メールや不在着信などがある場合、状態表示領域７０には、通知アイコンが表示される。たとえば、新着メールを受信した場合、状態表示領域７０には、通知アイコンとして、新着メールアイコンが表示される。未読の新着メールや不在着信が無い場合は、通知アイコンは表示されない。

なお、ディスプレイ１４に表示されるキー、ＧＵＩ、ウィジェット（ガジェット）などは、まとめてオブジェクトと呼ばれる。また、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４は、まとめてオブジェクト表示領域と呼ばれることもある。

そして、ユーザは、これらのオブジェクトに対して視線入力を行うことで、実行されているアプリケーションを任意に操作することが出来る。たとえば、戻るキー９４または進むキー９６に対して視線入力が行われると、表示されている電子書籍のページが変更される。

ここで、本実施例では、視線入力の検出が開始されると、ユーザの注視点に基づいて視線入力の検出精度を変更する。ここで、本実施例では、低精度モード（第１精度モード）と、その低精度モードに対して視線入力の検出精度が高い高精度モード（第２精度モード）を設定することが出来る。また、低精度モードでは、ユーザの視線を検出するための処理が簡略化されるため、ユーザの視線が検出されているときの消費電力が抑えられる。

そして、視線入力の検出が開始されたときに、ユーザの注視点が特定領域に含まれる場合は、視線入力の検出精度が低精度モードに設定される。一方、ユーザの注視点が特定領域に含まれない場合は、視線入力の検出精度が高精度モードに設定される。

たとえば、図６を参照して、電子書籍アプリケーションが実行されている場合、本文表示領域８６が特定領域とされる。これは、電子書籍の本文が表示されている領域では、ユーザの視線入力の検出がさほど重要ではないからである。そのため、ユーザの視線が電子書籍の本文に向けられている場合は、視線入力の検出精度が低精度モードに設定される。一方、オブジェクト表示領域に対してユーザの視線が向けられている場合は、オブジェクトに対して視線入力がされる可能性がある。そのため、視線入力の検出精度が高精度モードに設定される。

このように、ユーザの注視点の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、通常状態では高精度モードが設定され、低消費電力で視線入力を検出するために低精度モードが設定されるため、高精度モードは「通常モード」と呼ばれ、低精度モードは「省電力モード」と呼ばれることもある。

また、他の実施例では、文章が表示される、メールアプリケーションや、ブラウザアプリケーションの実行中に、上述の電子書籍アプリケーションと同様、高精度モードまたは低精度モードが設定されてもよい。また、他のプリケーションが実行されている場合の特定領域は、アプリケーション毎に設定されていてもよいし、領域内に表示される文字数が所定値を超えている場合に、特定領域と判定されてもよい。

以下、図７に示すメモリマップ５００および図８−図９に示すフロー図を用いて、本実施例の概要を説明する。

図７を参照して、図２に示すＲＡＭ５６には、プログラム記憶領域５０２とデータ記憶領域５０４とが形成される。プログラム記憶領域５０２は、先に説明したように、フラッシュメモリ５４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域５０２には、視線入力を検出し、その視線入力に基づく動作を実行するための視線入力プログラム５１０などが記憶される。なお、プログラム記憶領域５０２には、電話機能、メール機能およびアラーム機能などを実行するためのプログラムなども含まれる。

データ記憶領域５０４には、近接バッファ５３０、注視点バッファ５３２および視線バッファ５３４などが設けられる。また、データ記憶領域５０４には、領域座標テーブル５３６、オブジェクトデータ５３８およびオブジェクトテーブル５４０などが記憶される。

近接バッファ５３０は、近接センサ３４から得られた物体までの距離情報が一時的に記憶される。注視点バッファ５３２は、検出された注視点が一時的に記憶される。視線バッファ５３４は、視線入力が検出されたときにその位置が一時的に記憶される。

領域座標テーブル５３６は、たとえば、状態表示領域７０、機能表示領域７２、標準キー表示領域８０、第１アプリケーションキー表示領域８２および第２アプリケーションキー表示領域８４の座標範囲の情報を含むテーブルである。オブジェクトデータ５３８は、ディスプレイ１４に表示されるオブジェクトの画像および文字列データなどを含むデータである。オブジェクトテーブル５４０は、ディスプレイ１４に表示されているオブジェクトの表示位置（座標範囲）などの情報を含むテーブルである。

図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、タイマ（カウンタ）や、フラグが設けられたりする。

プロセッサ４０は、Ａｎｄｒｏｉｄ（登録商標）またはＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図８および図９に示す視線入力処理などを含む、複数のタスクを並列的に処理する。

視線入力による操作が有効とされると、視線入力処理が実行される。プロセッサ４０は、ステップＳ１で近接センサ３４をオンにする。つまり、近接センサ３４によって携帯電話機１０からユーザまでの距離が測定される。続いて、ステップＳ３でプロセッサ４０は、近接センサ３４の出力が閾値未満であるか否かを判断する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ３で“ＮＯ”であれば、つまり近接センサ３４の出力が閾値以上でれば、プロセッサ４０は、ステップＳ５で近接センサ３４をオフにして、視線入力処理を終了する。つまり、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える可能性があるため、視線入力処理が終了される。なお、他の実施例では、ステップＳ５の後に、ユーザの顔を携帯電話機１０から離すように促す通知（たとえば、ポップアップや、音声）がされてもよい。

ステップＳ３で“ＹＥＳ”であれば、たとえば携帯電話機１０とユーザの顔とが適切な距離であれば、プロセッサ４０は、ステップＳ７で赤外線ＬＥＤ３０をオンにし、ステップＳ９で赤外線カメラ３２をオンにする。つまり、ユーザの視線入力を検出するために、赤外線ＬＥＤ３０および赤外線カメラ３２がオンにされる。

続いて、ステップＳ１１でプロセッサ４０は、顔認識処理を実行する。つまり、ユーザの赤外線カメラ３２によって撮影された画像データをＲＡＭ５６から読み出し、読み出した画像データに対してユーザの顔を検出する処理が施される。続いて、ステップＳ１３でプロセッサ４０は、認識されたか否かを判断する。つまり、顔認識処理によって、ユーザの顔が認識されたかが判断される。ステップＳ１３で“ＮＯ”であれば、つまりユーザの顔が認識されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。

一方、ステップＳ１３で“ＹＥＳ”であれば、つまりユーザの顔が認識されると、ステップＳ１５でプロセッサ４０は、注視点を検出する。つまり、ユーザが注視しているディスプレイ１４上の位置が検出される。なお、検出された注視点の座標は注視点バッファ５３２に記録される。また、ステップＳ１５の処理を実行するプロセッサ４０は検出部として機能する。

続いて、ステップＳ１７でプロセッサ４０は、注視点を検出したか否かを判断する。つまり、プロセッサ４０は、認識された顔の画像からユーザの注視点を検出できたかを判断する。ステップＳ１７で“ＮＯ”であれば、つまり注視点が検出されていなければ、プロセッサ４０はステップＳ１１の処理に戻る。

一方、ステップＳ１７で“ＹＥＳ”であれば、つまり注視点が検出されていれば、ステップＳ１９でプロセッサ４０は、注視点が特定領域に含まれているか否かを判断する。たとえば、注視点バッファ５３２に記録されている注視点が、領域座標デーブル５３６に含まれる本文表示領域８６の座標範囲に含まれているかが判断される。ステップＳ１９で“ＹＥＳ”であれば、たとえば図６に示す本文表示領域８６にユーザの注視点が含まれていれば、ステップＳ２１でプロセッサ４０は、低精度モードを設定する。一方、ステップＳ１９で“ＮＯ”であれば、つまり特定領域に注視点が含まれていなければ、ステップＳ２３でプロセッサ４０は、高精度モードを設定する。そして、ステップＳ２１またはステップＳ２３の処理が終了すれば、プロセッサ４０はステップＳ２５の処理に進む。なお、ステップＳ２１の処理を実行するプロセッサ４０は第１設定部として機能し、ステップＳ２３の処理を実行するプロセッサ４０は第２設定部として機能する。

続いて、ステップＳ２５でプロセッサ４０は、視線検出処理を実行する。つまり、設定された検出精度に基づいて、ユーザの視線入力が検出される。

続いて、ステップＳ２７でプロセッサ４０は、視線入力が行われた位置に基づいて動作を実行する。たとえば、オブジェクトに対して視線入力が行われた場合、そのオブジェクトに関連するアプリケーションや、処理が実行される。ただし、本文表示領域８６の文字に対して視線入力が検出された場合、その文字に処理や動作が対応付けられていなければ、プロセッサ４０は特に動作を実行しない。

続いて、ステップＳ２９でプロセッサ４０は、視線入力が終了か否かを判断する。たとえば、プロセッサ４０は、視線入力を無効にする操作がされたかを判断する。ステップＳ２９で“ＮＯ”であれば、つまり視線入力が終了していなければ、プロセッサ４０はステップＳ１１の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり視線入力が終了していれば、ステップＳ３１でプロセッサ４０は、赤外線ＬＥＤ３０、赤外線カメラ３２および近接センサ３４をオフにする。つまり、これらの電源をオフにすることで、携帯電話機１０の消費電力が抑えられる。そして、ステップＳ３１の処理が終了すれば、プロセッサ４０は、視線入力処理を終了する。

以上で、本実施例の概要を説明したが、以下には図１０−図１３に示す図解図を用いて、低精度モードの具体例を説明する。

＜具体例１＞
具体例１の第１低精度モードでは、赤外線カメラ３２のフレームレートが、高精度モードに対して低くされる。以下、高精度モードと第１低精度モードとの動作状態を比較して説明する。

図１０は、高精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。高精度モードでは、赤外線ＬＥＤ３０は常に点灯しており、赤外線カメラ３２は２０ｆｐｓ(Frames Per Second)のフレームレートで撮影画像を出力している。また、撮影画像が赤外線カメラ３２から撮影画像処理回路６２に出力され、撮影画像処理回路６２で所定の処理が施された後にプロセッサ４０に入力されると、プロセッサ４０は撮影画像をＲＡＭ５６のバッファに一旦格納した後、視線検出に必要な処理を、撮影画像に施す。たとえば、プロセッサ４０は、視線検出に必要な処理として、撮影画像処理回路６２から入力された撮影画像をＲＡＭ５６のバッファから撮影画像を読み出す画像読出処理、読み出した撮影画像から顔を認識する顔認識処理およびユーザの視線を検出する視線検出処理などを実行する。そして、プロセッサ４０は、視線検出が有効にされている間は、赤外線カメラ３２から出力される各撮影画像に対して、これらの処理を施す。なお、プロセッサ４０は撮影画像処理回路６２から撮影画像が入力されてから視線検出に必要な処理が実行するため、赤外線カメラ３２から撮影画像が出力されるタイミングとプロセッサ４０が視線検出に必要な処理を実行するタイミングとにはズレが生じる。

図１１は、第１低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第１低精度モードでは、たとえば第１低精度モードの赤外線カメラ３２は、高精度モードのフレームレートに対する半分のフレームレート、つまり１０ｆｐｓのフレームレートで撮影画像を出力している。そのため、赤外線ＬＥＤ３２は、撮影される直前にオンにされたあと、次のフレームが出力されるまでオフにされる。つまり、赤外線ＬＥＤ３２は、撮影画像の出力に合わせて点滅する。そして、プロセッサ４０は、入力された撮影画像に対して視線検出に必要な処理が施されると、次の撮影画像が入力されるまで、スリープ状態に移行する。そのため、第１低精度モードでは、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第１低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、赤外線カメラ３２のフレームレートを下げることで、視線検出中の赤外線カメラ３２の消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。また、赤外線カメラ３２のフレームレートを下げることで、赤外線ＬＥＤ３０およびプロセッサ４０の消費電力も下げることも出来る。

＜具体例２＞
具体例２の第２低精度モードでは、プロセッサ４０が視線を検出する頻度が、高精度モードに対して低くされる。以下、高精度モードと第２低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。

図１２は、第２低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第２低精度モードのプロセッサ４０の頻度が高精度モードに対して低くされる。たとえば、プロセッサ４０は、視線検出に必要な処理の実行を終えるとスリープ状態に移行し、次のフレームが出力されてもプロセッサ４０は視線検出に必要な処理を実行しない。そして、さらに次のフレームが出力されたときにスリープ状態から復帰して、視線検出に必要な処理を実行する。このとき、赤外線カメラ３２のフレームレートは変化させず、赤外線ＬＥＤ３０は具体例１と同じ頻度で点滅する。そのため、第２低精度モードでも、第１低精度モードと同様、視線入力が検出されるまでの時間、つまりユーザが視線入力を行ったときの応答性が、高精度モードに対して低くなるため、ユーザは第２低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、具体例２では、赤外線カメラ３２のフレームレートを変更することなく、視線検出中のプロセッサ４０の消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、他の実施例のプロセッサ４０は、スリープ状態に移行せずに、視線検出に必要な処理をスキップするようにしてもよい。

＜具体例３＞
具体例３の第３低精度モードでは、高精度モードで実行される視線検出処理と同じ第１視線検出処理と、第１視線検出処理よりも簡易化されたアルゴリズムの第２視線検出処理とが実行される。以下、高精度モードと第３低精度モードとの動作状態を比較して説明する。ただし、高精度モードについては説明済みであるため、ここでの詳細な説明は省略する。

図１３は、第３低精度モードが設定されているときの赤外線カメラ３２、プロセッサ４０、赤外線ＬＥＤ３０の動作状態を示す図解図である。第３低精度モードでは、第１視線検出処理と第２視線検出処理とが交互に実行される。たとえば、第１フレームの撮影画像に対して第１視線検出処理が施されると、次の第２フレームの撮影画像に対しては第２視線検出処理が施される。そして、さらに次の第３フレームの撮影画像に対しては、再び第１視線検出処理が施される。また、赤外線ＬＥＤ３０および赤外線カメラ３２の動作については、高精度モードと略同じである。ただし、第２視線検出処理を実行するプロセッサ４０の消費電力は、第１視線検出処理を実行しているときよりも低くなる。

たとえば、第１視線検出処理では視線入力の位置が「１画素」の精度で検出されるが、第２視線検出処理では視線入力の位置が複数の画素を含む「１エリア」の精度で検出される。つまり、第２視線検出処理では、検出される注視点の位置の精度が、第１視線検出処理に比べて低くなる。したがって、ユーザは第３低精度モードの検出精度が高精度モードに対して低くなったように感じる。

このように、視線検出処理のアルゴリズムを簡易化することで、ハードウェア（赤外線ＬＥＤ３０および赤外線カメラ３２など）の動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

なお、具体例１−具体例３は、それぞれが任意に組み合わせられてもよい。たとえば、具体例１および具体例２で、第３実施例と同じように、第１視線検出処理と第２視線検出処理とが交互に実行されてもよい。また、全ての具体例で、低精度モードが設定されれば、第２視線検出処理が常に実行されるようにしてもよい。また、その他の組み合わせについては容易に想像できるため、ここでの詳細な説明は省略する。

また、他の実施例では、携帯電話機１０からユーザまでの距離の検出精度を高めるために、近接センサ３４が、赤外線ＬＥＤ３０および赤外線カメラ３２と隣接するように設けられてもよい。また、その他の実施例では、赤外線ＬＥＤ３０および赤外線カメラ３２が、近接センサ３４と隣接するように設けられてもよい。

さらにその他の実施例では、近接センサ３４に代えて、赤外線ＬＥＤ３０および赤外線カメラ３２を利用して、携帯電話機１０に対するユーザの顔の近接が検出されてもよい。具体的には、視線入力処理が開始されると、赤外線ＬＥＤ３０を弱発光させ、赤外線カメラ３２の受光レベルを測定する。受光レベルが閾値を超えている場合、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在していると判断して、プロセッサ４０は視線入力検出処理を終了する。一方、受光レベルが閾値未満であれば、赤外線ＬＥＤ３０が通常発光の状態にされ、上述したようにユーザの視線入力が検出される。なお、赤外線カメラ３２の受光レベルは、シャッター速度およびアンプゲイン値に基づいて算出される。たとえば、照度が高い場合、シャッター速度が速くなり、アンプゲイン値が低くなる。一方、照度が低い場合、シャッター速度が遅くなり、アンプゲイン値が高くなる。

以下、さらにその他の実施例の視線入力処理のフロー図を用いて、詳細に説明する。図１４を参照して、さらにその他の実施例の視線入力処理が実行されると、プロセッサ４０は、ステップＳ５１で赤外線ＬＥＤ３０を弱発光させ、ステップＳ５３で赤外線カメラ２３３の電源をオンにする。続いて、ステップＳ５５でプロセッサ４０は、赤外線カメラ３２の受光レベルを測定する。つまり、赤外線カメラ３２のシャッター速度およびアンプゲイン値に基づいて、赤外線カメラ３２の受光レベルが算出される。

続いて、ステップＳ５７でプロセッサ４０は、受光レベルが閾値未満であるか否かを判断する。つまり、ステップＳ３と同様、赤外線ＬＥＤ３０から出力される赤外線がユーザの眼に影響を与える範囲にユーザの顔が存在しているかが判断される。ステップＳ５７で“ＮＯ”であれば、つまり受光レベルが閾値を超えていれば、プロセッサ４０はステップＳ６１の処理に進む。そして、プロセッサ４０は、ステップＳ６１で赤外線ＬＥＤ３０および赤外線カメラ３２をオフにして、視線入力処理を終了する。

一方、ステップＳ５７で“ＹＥＳ”であれば、つまり受光レベルが閾値未満であれば、ステップＳ５９でプロセッサ４０は、赤外線ＬＥＤ３０を通常発光の状態にする。続いて、ステップＳ１１−Ｓ２９の処理が実行され、ユーザの視線入力が検出された後、プロセッサ４０はステップＳ６１の処理に進む。ステップＳ６１では、上述したように、赤外線ＬＥＤ３０および赤外線カメラ３２がオフにされる。つまり、視線入力が検出されたため、赤外線ＬＥＤ３０および赤外線カメラ３２の電源がオフにされる。そして、ステップＳ６１の処理が終了すれば、プロセッサ４０は視線入力処理を終了する。

また、本実施例では、プロセッサの処理が視線操作によって実行される場合について説明したが、キー操作、タッチ操作および視線操作が組み合わせられてもよいことは、言うまでもない。ただし、他の実施例では、視線操作による処理が実行されている場合には、キー操作やタッチ操作を受け付けないようにしてもよい。

また、本実施例では、視線操作が可能である場合について説明したが、実際には、視線操作（視線入力）が可能な場合と可能でない場合とがある。視線操作が可能な場合とは、たとえば予め視線操作を行うことが可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、電子書籍アプリケーションや、メールアプリケーションなどがあげられる。一方、視線操作が可能でない場合とは、たとえば予め視線操作を行うことが不可能であると設定されたアプリケーションが実行されているときである。その対象となるアプリケーションの一例としては、通話機能があげられる。また、視線操作が可能である場合には、その旨のメッセージないし画像（アイコン）を表示するようにしてもよい。さらに、視線操作を実行している場合には、視線入力を受け付けている（視線操作の実行中である）旨のメッセージないし画像を表示するようにしてもよい。このようにすれば、使用者は、視線操作が可能であること、視線入力が受け付けられていることを認識することが出来る。

また、携帯電話機１０が加速度センサまたはジャイロセンサを有する場合、視線操作の有効／無効は、携帯電話機１０の向きに応じて切り替えられてもよい。

また、他の実施例の赤外線カメラ３２は、通常のカラーカメラに比べて赤外線に対する感度が高いものであってもよい。また、その他の実施例の赤外線カメラ３２を構成するカラーカメラには、赤外線波長の光を減衰(カット)し、Ｒ,Ｇ,Ｂの波長の光をよりよく受光させるための赤外線カットフィルタ(ローパスフィルタ)が設けられていてもよい。赤外線カットフィルタが設けられた赤外線カメラ３２の場合、赤外線波長の光の感度を高めておくとしてもよい。また、この赤外線カットフィルタを赤外線カメラ３２から着脱自在としてもよい。

また、その他の実施例では、現在設定されているモードを示すモードアイコンがユーザに示されてもよい。たとえば、図１５（Ａ），（Ｂ）を参照して、低精度モード（省電力モード）が設定されている場合、状態表示領域７０には「Ｌｏ」の文字列を含む第１モードアイコン１００が表示される。一方、高精度モードが設定されている場合、状態表示領域７０には、「Ｈｉ」の文字列を含む第２モードアイコン１０２が表示される。このように第１モードアイコン１００または第２モードアイコン１０２を表示することで、ユーザは、第１モードアイコン１００または第２モードアイコン１０２によって、現在のモードを適切に把握することが出来る。

ただし、どちらか一方のモードが設定されたときだけ、第１モードアイコン１００または第２モードアイコン１０２が表示されるようにしてもよい。たとえば、低精度モードが設定されているときには、第１モードアイコン１００が表示されないようにし、高精度モードが設定されたときだけ、第２モードアイコン１０２が表示されるようにしてもよい。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤなどの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の電子機器にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

ここで、以下の説明における括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述した実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

本実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行する、電子機器であって、視線入力を検出するための検出処理を実行するプロセッサ、特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、注視点を検出する検出部、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モードに設定する第１設定部、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器である。

本実施例では、電子機器（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のプロセッサ（４０）は視線による入力（以下、視線入力と言う。）を検出するための検出処理を実行する。たとえば、検出処理が実行されている状態では、注視点が同じ位置で検出された回数が判定回数に達したときに、視線入力が検出される。また、視線入力が検出されると、その入力位置に基づいて動作が実行される。表示部（１４）は、たとえば、電子書籍アプリケーションによる文章が表示される特定領域と、その電子書籍アプリケーションを操作するためのオブジェクトを表示するオブジェクト表示領域を含む画面を表示する。検出部（４０，Ｓ１５）は、ユーザの注視点を検出する。第１設定部（４０，Ｓ２１）は、たとえばユーザの注視点が電子書籍アプリケーションによる本文が表示される特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する。一方、第２設定部（４０，Ｓ２３）は、たとえばユーザの注視点が電子書籍アプリケーションを操作するオブジェクト表示部に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モード（高精度モード）に設定する。

本実施例によれば、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

他の実施例は、視線入力を検出するためのカメラをさらに備え、第１精度モードが設定されたとき、カメラのフレームレートを低くする。

他の実施例では、カメラ（３２）は、視線入力を検出するために電子機器に設けられる。そして、第１精度モードが設定されたとき、カメラのフレームレートが低く設定される。

他の実施例によれば、カメラのフレームレートを下げることで、視線検出中のカメラの消費電力を抑えることが出来る。その結果、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

その他の実施例は、第１精度モードが設定されたとき、プロセッサの処理頻度を低くする。

その他の実施例では、第１精度モードが設定されると、プロセッサは、視線入力を検出するための処理を実行する頻度を下げる。

その他の実施例によれば、視線検出中のプロセッサの消費電力を抑えることが出来るため、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

さらにその他の実施例は、第１精度モードが設定されたとき、プロセッサによる検出処理のアルゴリズムが簡易化される。

さらにその他の実施例では、たとえば、視線入力処理のアルゴリズムが簡易化されると、検出された視線の入力位置の精度が、第２精度モードが設定された状態に比べて低くなる。

さらにその他の実施例によれば、視線検出処理のアルゴリズムを簡易化することで、ハードウェアの動作を変更することなく、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

他の実施例は、ユーザの注視点に基づく入力である視線入力を検出し、視線入力に基づく動作を実行し、視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、電子機器のプロセッサが、ユーザの注視点が特定領域に含まれているとき、視線入力の検出精度を第１精度モード（低精度モード）に設定する第１設定ステップ、およびユーザの注視点がオブジェクト表示領域に含まれているとき、視線入力の検出精度を、第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップを実行する、視線入力方法である。

他の実施例でも、ユーザの視線の位置に基づいて視線入力の検出精度を変化させることで、ユーザの視線を検出しているときの消費電力を抑えることが出来る。

この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。

１０ …携帯電話機
１４ …ディスプレイ
１６ …タッチパネル
３０ …赤外線ＬＥＤ
３２ …赤外線カメラ
３４ …近接センサ
４０ …プロセッサ
５０ …入力装置
５４ …フラッシュメモリ
５６ …ＲＡＭ
６０ …ＬＥＤドライバ
６２ …撮影画像処理回路

Claims (5)

1. ユーザの注視点に基づく入力である視線入力を検出し、前記視線入力に基づく動作を実行する、電子機器であって、
   前記視線入力を検出するための検出処理を実行するプロセッサ、
   特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部、
   前記注視点を検出する検出部、
   ユーザの注視点が前記特定領域に含まれているとき、前記視線入力の検出精度を第１精度モードに設定する第１設定部、および
   ユーザの注視点が前記オブジェクト表示領域に含まれているとき、前記視線入力の検出精度を、前記第１精度モードより検出精度が高い第２精度モードに設定する第２設定部を備える、電子機器。
2. 前記視線入力を検出するためのカメラをさらに備え、
   前記第１精度モードが設定されたとき、前記カメラのフレームレートを低くする、請求項１記載の電子機器。
3. 前記第１精度モードが設定されたとき、前記プロセッサの処理頻度を低くする、請求項１記載の電子機器。
4. 前記第１精度モードが設定されたとき、前記プロセッサが実行する検出処理のアルゴリズムが簡易化される、請求項１記載の電子機器。
5. ユーザの注視点に基づく入力である視線入力を検出し、前記視線入力に基づく動作を実行し、前記視線入力を検出するための検出処理を実行するプロセッサおよび特定領域および操作用のオブジェクトを表示するオブジェクト表示領域を含む画面を表示する表示部を有する、電子機器における視線入力方法であって、前記電子機器の前記プロセッサが次のステップを実行する：
   ユーザの注視点が前記特定領域に含まれているとき、前記視線入力の検出精度を第１精度モードに設定する第１設定ステップ、および
   ユーザの注視点が前記オブジェクト表示領域に含まれているとき、前記視線入力の検出精度を、前記第１精度モードより検出精度が高い第２精度モードに設定する第２設定ステップ。

Images