JP5945417B2 - 電子機器 - Google Patents

Description

この発明は、電子機器に関し、特にたとえば、表示部を備える、電子機器に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１のデータ入力装置は、メニュー又はキーボード等の入力データ群を表示装置で表示し、該装置使用者の眼の部分をカメラで撮影し、該撮影画像から該使用者の視線方向を決定し、該視線方向に位置する入力データを決定し、決定された入力データを外部機器等に出力する。

背景技術の他の例が特許文献２に開示されている。この特許文献２の視点入力装置は、カメラから送られてくる操作者の目の位置データを基に文字や数字、及び記号等の符号の問い合わせを行い、操作者が視点を置いている符号を検出して、検出された符号が予め設定された所定時間だけ固定されていると判断した符号を入力回路に出力する。

背景技術のその他の例が特許文献３に開示されている。この特許文献３の情報表示装置は、使用者が視線により選択を行うと、その視線方向から注視点を推定し、推定した視線方向から所定の情報、商品等を予想し、選択対象となる情報、商品等を表示する。

背景技術のさらに他の例が特許文献４に開示されている。この特許文献４の視線入力装置は、文字領域には、複数種類の文字群の一部が表示され、観察者の視線の位置を示す視線カーソルによって、文字を選び入力する。

背景技術のその他の例が特許文献５に開示されている。この特許文献５のデータ入力装置は、表示部の一部を見る瞳の位置を検出し、検出された位置に対応する表示部の座標を計算して、表示部のその座標の位置にカーソルを表示する。
特開２００３−１９６０１７号公報［G06F 3/033, G06F 3/00, G06T 1/00, G06T 7/60］ 特開平９−２１２２８７号公報［G06F 3/033］ 特開２００３−１５０３０６号公報［G06F 3/033］ 特開２０００−２０１９６号公報［G06F 3/00, G06F 3/033］ 特開平９−２０４２６０号公報［G06F 3/033］

しかし、視線入力デバイスは、センサと眼球との距離に比例して機器が大きくなる傾向がある。したがって、たとえば携帯端末のような比較的小型の電子機器に搭載することを考慮すると、特許文献１−４に記載の背景技術では、装置が比較的大きく、適切でない。また、特許文献５に記載の背景技術では、ファインダのような窓に接眼している使用者の眼の瞳を撮影した画像に基づいて、表示部に表示されたカーソルを移動させるものであり、窓を通して表示部を見るような限られた使用状況でしか視線を検出することができない。つまり、目と装置とが離れている場合には、視線を正しく検出することができない場合がある。

それゆえに、この発明の主たる目的は、新規な、電子機器を提供することである。

この発明の他の目的は、視線入力の認識率を向上することができる、電子機器を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、表示部を備える電子機器であって、表示部の上部側に配置された赤外線を検出するための赤外線カメラと、表示部の下部側であり、当該表示部を挟んで赤外線カメラと対角の位置に配置された赤外線出力部と、表示部の画面を分割した各分割領域を使用者に注視させた場合に、赤外線カメラの検出結果に基づいて当該各分割領域に対応する基準の視線ベクトルのそれぞれを予め検出する基準ベクトル検出部と、赤外線カメラの検出結果に基づいて検出された使用者の現在の視線ベクトルと、基準の視線ベクトルのそれぞれとに基づいて決定される１つの分割領域を現在の注視領域として検出する注視領域検出部を備える、電子機器である。

第１の発明では、電子機器（１０）は、表示部（１４）を備える。電子機器は、表示部の上部側に配置される赤外線を検出するための赤外線カメラ（３０）と、表示部の下部側に配置される赤外線出力部（３２）を備える。したがって、電子機器の表示部に正対する使用者の目の瞳孔の中央よりも下部に赤外線（赤外光）が照射される。このため、使用者の瞼が少し閉じた状態であっても、赤外線カメラによって赤外光の反射光が検出される。また、赤外線出力部は、表示部を挟んで赤外線カメラと対角の位置に配置される。たとえば、四角形の表示面を有する表示部である場合、その対角線と並行な直線上に、赤外線カメラと赤外線出力部を配置する。したがって、電子機器を縦で使用しても、横で使用しても、それらを用いることにより、視線方向が検出される。また、電子機器は、基準ベクトル検出部（４０）と、注視領域検出部（４０、６２、Ｓ４９）を備える。基準ベクトル検出部は、表示部の画面を分割した各分割領域を使用者に注視させた場合に、赤外線カメラの検出結果に基づいて当該各分割領域に対応する基準の視線ベクトルのそれぞれを予め検出する。注視領域検出部は、赤外線カメラの検出結果に基づいて検出された使用者の現在の視線ベクトルと、基準の視線ベクトルのそれぞれに基づいて決定される１つの分割領域を現在の注視領域として検出する。

第１の発明によれば、赤外光の反射光を確実に検出することができるので、視線入力の認識率を向上させることができる。したがって、電子機器を視線入力により操作する場合に、その操作を確実に受け付けることができる。
また、第１の発明によれば、現在の視線ベクトルと、各分割領域に対応して予め検出した基準の視線ベクトルのそれぞれとに基づいて決定される１つの分割領域を現在の注視領域として検出するので、使用者の視線が向けられる領域を容易に検出することができる。
さらに、第１の発明によれば、部品を増やさずに電子機器を縦向きおよび横向きの両方において視線方向を検出することができる。

第２の発明は、第１の発明に従属し、赤外線検出部と赤外線出力部を表示部の縦方向と並行な直線上に配置する。

第２の発明では、赤外線検出部と赤外線出力部を表示部の縦方向と並行な直線上に配置する。たとえば、赤外線検出部の撮像面の中心位置と赤外線出力部の発光面の中心位置とが同じ直線上となるように、赤外線検出部および赤外線出力部が配置される。

第２の発明によれば、赤外線検出部と赤外線出力部を直線上に配置するので、位置がずれていることに起因する補正処理を行う必要がない。つまり、複雑な計算が不要である。

第３の発明は、第１または第２の発明に従属し、赤外線カメラによって検出された使用者の瞳孔と赤外線出力部の反射光に基づいて視線ベクトルを検出し、注視領域検出部によって検出された注視領域に基づいて所定の処理を実行する実行部をさらに備える。

第３の発明では、電子機器は、赤外線カメラによって検出された使用者の瞳孔と赤外線出力部の反射光に基づいて視線ベクトルを検出し、実行部（４０、Ｓ１３９−Ｓ１４９、Ｓ１７７、Ｓ２１１、Ｓ２１５、Ｓ２４９、Ｓ２５３、Ｓ２５７、Ｓ２５９、Ｓ２９１、Ｓ２９３、Ｓ２９５）をさらに備える。電子機器は、赤外線カメラによって検出された使用者の瞳孔と赤外線出力部の反射光に基づいて視線ベクトルを検出する。たとえば、２次元の撮影画像において、反射光の中心位置を始点とし、瞳孔の中心位置を終点とする視線ベクトルが検出され、この視線ベクトルに応じて予め分割された画面上の領域が注視領域として決定される。実行部は、注視領域検出部によって検出された注視領域に基づいて所定の処理を実行する。たとえば、注視領域と重なる位置ないし領域に表示されたボタン画像、アイコン、サムネイルを操作（オン）したり、注視領域と重なる位置ないし領域に設定された所定の領域（実施例では、操作領域）に設定された操作ないし動作（ページめくりや画面のスクロールなど）を実行したりする。

第３の発明によれば、使用者の視線が向けられる領域に応じて所定の処理が実行されるので、視線入力により、電子機器を操作することができる。

第４の発明は、第１ないし第３の発明のいずれかに従属し、表示部は１または複数の縮小画像を表示し、注視領域検出部によって検出された注視領域が重なる縮小画像の表示態様を時間の経過に従って変化させる表示態様変化部をさらに備える。

第４の発明では、表示部は、１または複数の縮小画像を表示する。たとえば、縮小画像は、ボタン画像、アイコンまたはサムネイルなどである。表示態様変化部は、注視領域検出部によって検出された注視領域が重なる縮小画像の表示態様を時間の経過に従って変化させる。たとえば、縮小画像の背景の色が変化されたり、縮小画像の大きさが変化されたり、縮小画像が所定のアニメーションで表示（回転表示など）されたりする。

第４の発明によれば、注視領域が重なる縮小画像の表示態様を変化させるので、使用者が注視していると認識している縮小画像を報知するとともに、注視している時間の経過を表示態様の変換によって報知することができる。

第５の発明は、第４の発明に従属し、実行部は、表示態様変化部によって縮小画像が所定の態様に変化されたとき、当該縮小画像に割り当てられた所定の処理を実行する。

第５の発明では、実行部は、表示態様変化部によって縮小画像が所定の態様に変化されたとき、当該縮小画像に割り当てられた所定の処理を実行する。たとえば、所定の態様は、縮小画像の背景色がすべて変化された状態、縮小画像が所定の大きさに変化された状態または縮小画像が所定の回転数だけ回転された状態を意味する。

第５の発明によれば、注視されている縮小画像が所定の態様に変化されると、当該縮小画像に割り当てられた所定の処理が実行されるので、或る程度継続して縮小画像を注視する必要があるため、誤操作を防止することができる。

第６の発明は、第３の発明に従属し、表示部に１または複数の所定領域を設定し、実行部は、注視領域検出部によって検出された注視領域が所定領域と重なるとき、当該所定領域に割り当てられた所定の処理を実行する。

第６の発明では、表示部に１または複数の所定領域（２１０、２１２、４１０Ｌ、４１０Ｒ、４１０Ｔ、４１０Ｂなど）が設定される。実行部は、注視領域検出部によって検出された注視領域が所定領域と重なるとき、当該所定領域に割り当てられた所定の処理を実行する。

第６の発明によれば、縮小画像が表示されていない場合にも、所定領域を設定することが可能であり、当該所定領域を注視することにより、所定の処理を実行することができる。

第７の発明は、第６の発明に従属し、所定の処理は、ページの移動である。

第７の発明では、所定の処理は、ページの移動であり、１ページずつ、ページを送ったり、ページを戻したりする。また、所定の処理は、最終のページや最初のページに移動することであってもよい。

第７の発明によれば、ページの移動を視線操作により指示することができる。

第８の発明は、第６の発明に従属し、所定の処理は、画面のスクロールである。

第８の発明では、所定の処理は、画面のスクロールであり、画面を左右方向にスクロールさせたり、上下方向にスクロールさせたり、斜め方向にさせたりする。

第８の発明によれば、画目のスクロールを視線操作により指示することができる。

第９の発明は、第１ないし第３の発明のいずれかに従属し、表示部に文字ないし縮小画像を含むロック画面を表示し、注視領域検出部によって検出される注視領域が重なる文字ないし縮小画像の配列を時系列に従って検出する配列検出部と、配列検出部によって検出された文字ないし縮小画像の配列に所定の配列が含まれるとき、ロック画面を消去するロック解除部をさらに備える。

第９の発明では、表示部に文字ないし縮小画像を含むロック画面（１００）が表示される。たとえば、セキュリティのロック機能がオンされている場合に、電子機器の使用を開始するときや所定のアプリケーションないし機能を実行（開始）するときに、ロック画面が表示される。配列検出部（４０、Ｓ１３）は、注視領域検出部によって検出される注視領域が重なる文字ないし縮小画像の配列を時系列に従って検出する。つまり、視線入力により指示された文字ないし縮小画像がその順番に従って検出される。ロック解除部（４０、Ｓ１９）は、配列検出部によって検出された文字ないし縮小画像の配列に所定の配列が含まれるとき（Ｓ１３で“ＹＥＳ”）、ロック画面を消去する。

第９の発明によれば、ロック解除を視線操作で行うことができるため、暗証番号などを入力している状況を他人に見られたとしても、当該他人は暗証番号を容易に知ることができない。つまり、セキュリティの向上を図ることができる。

第１０の発明は、第１ないし第３の発明のいずれかに従属し、表示部に所定のオブジェクトを含むロック画面を表示し、注視領域検出部によって検出される注視領域が所定のオブジェクトと重なるとき、当該所定のオブジェクトの表示態様を変化させる表示態様変化部と、表示態様変化部によって変化された表示態様が所定の態様に変化されたとき、ロック画面を消去するロック解除部をさらに備える。

第１０の発明では、表示部に所定のオブジェクト（４６０）を含むロック画面（４５０）が表示される。たとえば、キー（タッチパネル）のロック機能がオンされている場合に、表示部の電源をオフからオンにするときに、ロック画面が表示される。表示態様変化部（４０、Ｓ３２３、Ｓ３５５）は、注視領域検出部によって検出される注視領域が所定のオブジェクトと重なるとき、当該所定のオブジェクトの表示態様を変化させる。たとえば、所定のオブジェクトが、視線入力により、移動されたり、大きさを変化されたり、色を変化されたりする。ロック解除部（４０、Ｓ３２７、Ｓ３５９）は、表示態様変化部によって変化された表示態様が所定の態様に変化されたとき（Ｓ３２５、Ｓ３５７で“ＹＥＳ”）、ロック画面を消去する。

第１０の発明によれば、ロック解除を視線操作で行うことができるため、手を使えない状況においても、ロック解除を行うことができる。

第１１の発明は、第１ないし第３の発明のいずれかに従属し、表示部に所定のオブジェクトを含むロック画面を表示し、注視領域検出部によって検出される注視領域が所定のオブジェクトと重なる時間が所定時間を経過したとき、ロック画面を消去するロック解除部をさらに備える。

第１１の発明では、表示部に所定のオブジェクト（４６０）を含むロック画面（４５０）が表示される。たとえば、キー（タッチパネル）のロック機能がオンされている場合に、表示部の電源をオフからオンにするときに、ロック画面が表示される。ロック解除部（４０、Ｓ３５９）は、注視領域検出部によって検出される注視領域が所定のオブジェクトと重なる時間が所定時間を経過したとき（Ｓ３５７で“ＹＥＳ”）、ロック画面を消去する。

第１１の発明においても、第１０の発明と同様に、手を使えない状況においても、ロック解除を行うことができる。

第１２の発明は、第３の発明に従属し、アラーム時に表示部に少なくともアラームを停止させるためのアラーム画面を表示し、実行部は、注視領域検出部によって検出される注視領域がアラーム画面の所定領域に所定時間継続して重なるとき、アラームを停止させる。

第１２の発明では、アラーム時に、表示部に少なくともアラームを停止させるためのアラーム画面（２５０、６００）が表示される。実行部は、注視領域検出部によって検出される注視領域がアラーム画面の所定領域（２６０、２６２、６１０）に所定時間継続して重なるとき、アラームを停止させる。

第１２の発明によれば、視線操作によりアラームを停止させることができるので、電子機器を目覚まし時計として機能させる場合には、使用者は必ず目を開ける必要があるため、目覚まし時計としての役割を適切に果たすことができる。また、スケジュールのアラームとして機能させる場合には、表示部にスケジュールの内容を表示することにより、スケジュールの内容を確実に確認させることができる。

第１３の発明は、第３の発明に従属し、電話機能を備え、着信時に表示部に少なくとも着信応答または着信停止するための２つの所定領域を含む選択画面を表示し、実行部は、注視領域検出部によって検出される注視領域が選択画面の所定領域に所定時間継続して重なるとき、当該所定領域に応じて着信応答または着信停止する。

第１３の発明では、電子機器は、電話機能を備える。たとえば、電子機器は、携帯電話機である。たとえば、電話の着信時に、表示部に少なくとも着信応答または着信停止するための２つの所定領域を含む選択画面（３５０）が表示される。実行部は、注視領域検出部によって検出される注視領域が選択画面の所定領域に所定時間継続して重なるとき、当該所定領域に応じて着信応答または着信停止（着信拒否）する。

第１３の発明によれば、視線操作により、電話の着信に対して応答したり停止したりすることができる。

この発明によれば、表示面に対して赤外線カメラを上部側に設けるとともに、表示面に対して赤外線ＬＥＤを下部側に設けるので、比較的小型の電子機器であっても、使用者の目に照射された赤外光の反射光を確実に撮影することができる。したがって、視線入力の認識率を向上させることができる。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機を示す外観図である。 図２は図１に示す携帯電話機の電気的な構成を示すブロック図である。 図３は図１に示すディスプレイに表示されるセキュリティロックのロック画面の例を示す図である。 図４は図１に示すディスプレイに表示されるアプリ選択画面の一例を示す図である。 図５は図１に示すディスプレイに表示される電子書籍表示画面の一例を示す図である。 図６は図１に示すディスプレイに表示される目覚まし時計のアラーム画面および時計表示画面の例を示す図である。 図７は図１に示すディスプレイに表示される着信画面の一例を示す図である。 図８は図１に示すディスプレイに表示される地図表示画面の一例を示す図およびこの地図表示画面に設定される操作領域を説明するための図である。 図９は赤外線カメラと赤外線ＬＥＤとを接近して配置した場合と離して配置した場合において、赤外線カメラで撮影される瞳孔と反射光を説明するための図である。 図１０は図１に示す携帯電話機の赤外線カメラと赤外線ＬＥＤを用いてディスプレイの表示面における注視領域を検出する場合における、視線ベクトルを検出する方法および撮影画像から両目の距離を検出する方法を説明するための図である。 図１１はディスプレイの表示領域を分割した分割領域を説明するための図である。 図１２は注視領域を検出するためのキャリブレーション時の或る時点における瞳孔および反射光の位置関係を示す図である。 図１３は図２に示すＲＡＭのメモリマップの一例を示す図である。 図１４は図２に示すプロセッサのロック解除処理（セキュリティロック）を示すフロー図である。 図１５は図２に示すプロセッサの注視領域検出処理を示すフロー図である。 図１６は図２に示すプロセッサの実行機能判断処理の一部を示すフロー図である。 図１７は図２に示すプロセッサの実行機能判断処理の他の一部であって、図１６に後続するフロー図である。 図１８は図２に示すプロセッサのアラーム処理の一部を示すフロー図である。 図１９は図２に示すプロセッサのアラーム処理の他の一部であって、図１８に後続するフロー図である。 図２０は図２に示すプロセッサのアプリ選択処理を示すフロー図である。 図２１は図２に示すプロセッサの電子書籍処理の一部を示すフロー図である。 図２２は図２に示すプロセッサの電子書籍処理の他の一部であって、図２１に後続するフロー図である。 図２３は図２に示すプロセッサのブラウザ処理の一部を示すフロー図である。 図２４は図２に示すプロセッサのブラウザ処理の他の一部であって、図２３に後続するフロー図である。 図２５は図２に示すプロセッサの着信処理の一部を示すフロー図である。 図２６は図２に示すプロセッサの着信処理の他の一部であって、図２５に後続するフロー図である。 図２７は図１のディスプレイに表示されるキーロックのロック画面の一例を示す図である。 図２８は図２に示すプロセッサのロック解除処理（キーロック）を示すフロー図である。 図２９は図２に示すプロセッサの他のロック解除処理（キーロック）を示すフロー図である。 図３０は図１に示すディスプレイに表示されるスケジュールのアラーム画面の例を示す図である。 図３１は携帯電話機の他の例を示す外観図である。 図３２は携帯電話機のその他の例を示す外観図である。

図１を参照して、この発明の一実施例の携帯電話機１０は、いわゆるスマートフォンであり、縦長の扁平矩形のハウジング１２を含む。ハウジング１２の主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどで構成されるディスプレイ１４が設けられる。このディスプレイ１４の上には、タッチパネル１６が設けられる。また、ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。さらに、タッチパネル１６とともに、ハードウェアキーとして、通話キー２２、終話キー２４およびメニューキー２６が設けられる。さらにまた、スピーカ１８の左側に赤外線カメラ３０が設けられるとともに、マイク２０の左側に赤外線ＬＥＤ３２が設けられる。ただし、赤外線カメラ３０の撮影面と赤外線ＬＥＤ３２の発光面がハウジング１２から露出するように、この赤外線カメラ３０および赤外線ＬＥＤ３２は設けられ、その他の部分はハウジング１２に内蔵される。

たとえば、使用者は、ディスプレイ１４に表示されたダイヤルキーに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２を操作して音声通話を開始することができる。終話キー２４を操作すれば、音声通話を終了することができる。また、この終話キー２４を長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。

また、メニューキー２６を操作すれば、ディスプレイ１４にメニュー画面が表示され、その状態でディスプレイ１４に表示されているソフトウェアキーやメニューアイコンなどに対して、タッチパネル１６によるタッチ操作を行うことによってメニューを選択し、その選択を確定させることができる。

なお、この実施例では、電子機器の一例としてスマートフォンのような携帯電話機について説明するが、表示装置を備える様々な電子機器に、この発明を適用可能であることを予め指摘しておく。たとえば、他の電子機器の例としては、フィーチャーフォン（ヒューチャーフォン）、タブレット端末やＰＤＡなどの任意の携帯端末などが該当する。

図２を参照して、図１に示す携帯電話機１０は、プロセッサ４０を含み、このプロセッサ４０には、赤外線カメラ３０、無線通信回路４２、Ａ／Ｄ変換器４６、Ｄ／Ａ変換器４８、入力装置５０、表示ドライバ５２、フラッシュメモリ５４、ＲＡＭ５６、タッチパネル制御回路５８、ＬＥＤドライバ６０および撮影画像処理回路６２などが接続される。

プロセッサ４０は、コンピュータまたはＣＰＵと呼ばれ、携帯電話機１０の全体制御を司る。プロセッサ４０には、ＲＴＣ４０ａが内蔵されており、このＲＴＣ４０ａによって時刻（年月日を含む。）が計時される。ＲＡＭ５６には、フラッシュメモリ５４に予め記憶されているプログラムの全部または一部が使用に際して展開（ロード）され、プロセッサ４０はこのＲＡＭ５６に展開されたプログラムに従って各種の処理を実行する。このとき、ＲＡＭ５６は、プロセッサ４０のワーキング領域ないしバッファ領域として用いられる。

入力装置５０は、図１に示すハードウェアキー（２２、２４、２６）を含み、タッチパネル１６およびタッチパネル制御回路５８とともに操作部ないし入力部として機能する。使用者が操作したハードウェアキーの情報（キーデータ）はプロセッサ４０に入力される。以下、ハードウェアキーによる操作を「キー操作」ということにする。

無線通信回路４２は、アンテナ４４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路４２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、使用者が入力装置５０などを操作して電話発信（発呼）を指示すると、無線通信回路４２は、プロセッサ４０の指示の下、電話発信処理を実行し、アンテナ４４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ４０は通話処理を実行する。

通常の通話処理について具体的に説明する。まず、相手の電話機から送られてきた変調音声信号がアンテナ４４によって受信される。次に、受信された変調音声信号には、無線通信回路４２によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器４８によって音声信号に変換された後、スピーカ１８から出力される。一方、マイク２０を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器４６によって音声データに変換された後、プロセッサ４０に与えられる。音声データには、プロセッサ４０の指示の下、無線通信回路４２によって符号化処理および変調処理が施され、アンテナ４４を介して出力される。したがって、変調音声信号は、基地局および通信網を介して相手の電話機に送信される。

また、相手の電話機からの電話発信信号がアンテナ４４によって受信されると、無線通信回路４２は、電話着信（着呼）をプロセッサ４０に通知する。これに応じて、プロセッサ４０は、表示ドライバ４２を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ１４に表示する。また、これらの処理に伴い、プロセッサ４０は、スピーカ１８から着信音（着信メロディ、着信音声と言うこともある。）を出力させる。つまり、着信動作が実行される。

そして、使用者が入力装置５０に含まれる通話キー２２（図１）またはディスプレイ１４に表示された応答ボタン（図７）を用いて応答操作を行うと、無線通信回路４２は、プロセッサ４０の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ４０は上述した通話処理を実行する。

また、通話可能状態に移行した後に入力装置５０に含まれる終話キー２４（図１）またはディスプレイ１４に表示された終話ボタンによって通話終了操作が行われると、プロセッサ４０は、無線通信回路４２を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ４０は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ４０は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ４０は通話処理を終了する。

なお、プロセッサ４０は、たとえば使用者によるボリュームを調整するための操作に応答して、Ｄ／Ａ変換器４８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することができる。

また、表示ドライバ５２は、プロセッサ４０の指示の下、当該表示ドライバ５２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ５２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ５２はプロセッサ４０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路５８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路５８は、タッチパネル１６の動作のオン／オフ、タッチパネル１６に対する使用者によるタッチの開始を示すタッチ開始信号、使用者によるタッチの終了を示す終了信号、および使用者がタッチしたタッチ位置を示す座標データ（タッチ座標データ）をプロセッサ４０に入力する。プロセッサ４０は、タッチパネル制御回路５８より入力されたタッチ座標データに基づいて、使用者がどのアイコンやキーにタッチしたかを判断することができる。以下、タッチパネル１６による操作を「タッチ操作」ということにする。

実施例では、タッチパネル１６は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。タッチパネル制御回路５８はタッチ操作を検出するための検出部として機能する。具体的には、タッチパネル制御回路５８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示すタッチ座標データをプロセッサ４０に出力する。

タッチパネル１６は、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などが採用されてもよい。また、タッチ操作は使用者の指に限らず、スタイラスペンなどによって行われてもよい。

ＬＥＤドライバ６０には、図１に示す赤外線ＬＥＤ３２が接続される。ＬＥＤドライバ６０は、プロセッサ４０からの制御信号に基づいて、赤外線ＬＥＤ３２のオン／オフ（点灯／消灯）を切り換える。

撮影画像処理回路６２には、図１に示す赤外線カメラ３０が接続される。撮影画像処理回路６２は、赤外線カメラ３０からの撮影画像データに画像処理を施し、モノクロの画像データをプロセッサ４０に入力する。赤外線カメラ３０は、プロセッサ４０の指示の下、撮影処理を実行し、撮影画像データを撮影画像処理回路６２に入力する。赤外線カメラ３０は、たとえば、ＣＣＤやＣＭＯＳのような撮影素子を用いたカラーカメラと、赤外線フィルタとによって構成される。したがって、赤外線フィルタを着脱可能な構成にすれば、赤外線フィルタを外すことにより、カラー画像を取得することも可能である。

なお、上で説明した無線通信回路４２、Ａ／Ｄ変換器４４およびＤ／Ａ変換器４６はプロセッサ４０に含まれていてもよい。

このような構成の携帯電話機１０では、キー操作やタッチ操作に代えて、視線による入力ないし操作（以下、「視線操作」ということがある。）が可能である。以下、図面を用いて、視線操作の例について説明する。視線操作に基づく注視領域の検出方法については後で詳細に説明するが、視線操作によって、視線とディスプレイ１４の表示面とが交差する点（注視点）によって指示される所定の領域（以下、「操作領域」）に対応づけて設定された所定の処理が実行される。

たとえば、所定の処理としては、所定の情報が入力されたり、所定の動作（操作）が実行されたり、所定のアプリケーションが起動されたりすることが該当する。また、操作領域は、視線操作によって指示ないしオンすることができるボタン画像、アイコンまたはサムネイルのような縮小画像の表示領域が該当し、このような画像が表示されていない領域に操作領域のみが設定される場合もある。さらに、この実施例では、注視点を含む領域（後述する「分割領域」）が注視領域として決定され、この注視領域と重なったり、この注視領域に含まれたりする操作領域が視線操作によって指示されていると判断される。したがって、視線操作によって指示ないしオンされるボタン画像、アイコンまたはサムネイルのような縮小画像を表示する位置および大きさと、このような画像とは関係なく設定される操作領域の位置および大きさは、分割領域を考慮して決定される。たとえば、同一の分割領域に、複数の縮小画像が表示されたり、複数の操作領域が設定されたりしないようにされている。

図３（Ａ）および図３（Ｂ）は、携帯電話機１０のディスプレイ１００に表示されるロック画面１００の例を示す。たとえば、ロック画面１００は、使用者の設定により、携帯電話機１０の操作を開始する際や所定の機能（たとえば、アドレス帳機能や電子メール機能）を開始する際に、ディスプレイ１４に表示される。ただし、ここでは、セキュリティのためのロック（セキュリティロック）機能について説明する。

図３（Ａ）に示すように、ロック画面１００は、表示領域１０２および表示領域１０４を含む。表示領域１０２には、電波強度、電池残量および現在時刻などが表示される。後述する表示領域１５２、２０２、２５２、３０２、３５２、４０２、４５２、６０２についても同様である。したがって、その都度の説明は省略する。図３（Ａ）に戻って、表示領域１０４には、テンキーのような複数の数字キー（ボタン画像）１１０が表示される。

図３（Ａ）に示すロック画面１００では、予め使用者が設定した所定桁数の暗証番号が正しく入力されると、当該ロック画面１００が消去（非表示）され、ディスプレイ１４に、待ち受け画面や所望の機能の画面が表示される。この暗証番号の入力は、視線操作により行われる。したがって、このロック画面１００が表示されている場合には、視線と画面との交点によって指示されるボタン画像が操作されたと判断される。ただし、上述したように、この実施例では、注視領域が検出されるため、この注視領域と重なる操作領域を有するボタン画像１１０がオン（操作）されたと判断される。

たとえば、暗証番号として４桁の数字「１４６０」が設定されている場合に、点線の矢印で示すように視線が移動したとすると、この視線の移動経路上に配置されるボタン画像１１０が、その視線が移動した順序で操作されたと判断される。したがって、図３（Ａ）に示す例では、視線操作によって、数字「１４５６９０」が入力される。このため、設定されている暗証番号とは、桁数および数字が一致していない。

ここで、視線操作する場合には、視線により指示する画面上の位置は連続的に変化するため、２つのボタン画像の間に配置されるボタン画像も操作（オン）されてしまう。したがって、この実施例では、暗証番号に含まれない数字が視線操作によって入力されたとしても、視線操作によって暗証番号が入力される時間が第１所定時間（たとえば、３０秒）以内であり、数字の並び順が一致している場合には、正しい暗証番号が入力されたと判断する。

したがって、視線操作によって、第１所定時間内に数字「１４５６９０」が入力された場合には、この入力された数字「１４５６９０」は暗証番号の数字「１４６０」をその順番で含んであるため、正しい暗証番号が入力されたと判断される。すると、ロック画面１００が消去（非表示）され、待ち受け画面などの任意の画面が表示される。

また、図３（Ｂ）に示すロック画面１００では、表示領域１０４に、所定の図柄が表示された複数のボタン画像１２０が表示される。この図３（Ｂ）に示すロック画面１００では、予め使用者が設定した複数のボタン画像１２０を所定の順番で指示するように、視線操作を行うと、ロック画面１００が消去される。

このように、視線操作でロック解除を行うので、たとえば、片手で携帯電話機１０を持つことができるが、他方の手を使うことができない状況において、視線操作によってロック解除を行うことができる。また、ロック解除を視線で行うため、操作したボタン画像や操作した順番を他者に知られることがなく、セキュリティの向上を図ることができる。

また、使用者は、視線操作によって、アプリケーションを選択（実行）したり、メニューを選択したり、画像を選択したりすることができる。図４（Ａ）は、アプリケーションないし機能を選択するための画面（アプリ選択画面）１５０の一例を示す。図４（Ａ）に示すように、アプリ選択画面１５０は、表示領域１５２および表示領域１５４を含む。表示領域１５４には、携帯電話機１０が備えるアプリケーションや機能を実行（起動）するための複数のアイコン１６０が表示される。

たとえば、図４（Ａ）に示すようなアプリ選択画面１５０では、使用者が起動（実行）したいアプリケーションないし機能についてのアイコン１６０を注視し、注視している時間（注視時間）が第２所定時間（たとえば、１−３秒）を経過すると、注視しているアイコン１６０に割り当てられたアプリケーションないし機能が実行（選択）される。

その際、使用者が注視しているアイコン１６０および注視時間を使用者に知らせるために、プロセッサ４０は、使用者が注視していると判断されたアイコン１６０の背景色を注視時間の長さに応じて線形的にまたは段階的に変化させる。たとえば、図４（Ｂ）に示すように、スケジュール機能についてのアイコン１６０が注視されている場合には、その注視時間に応じて背景色が変化される。図４（Ｂ）では、アイコン１６０に斜線を付すことにより、背景色が変化されていることを示す。背景色は、注視時間が第２所定時間と一致するタイミングで変化を終了するように、線形的にまたは段階的に変化される所定量（所定のドット幅）が設定される。

このように、注視時間に応じてアイコン１６０の背景色を変化させることにより、注視対象、および、注視時間（または注視すべき残りの時間）ないしアプリケーションや機能が実行されるまでの時間を表示態様（イメージ）により使用者に知らせることができる。

同様に、複数のボタン画像（サムネイルの場合も同じ。）が表示されている場合に、所望のボタン画像を注視すると、当該ボタン画像の背景色が変化され、注視している時間が第２所定時間を経過すると、当該ボタン画像に設定された操作（動作）が実行される。

この実施例では、背景色が変化されるようにしたが、これに限定される必要はない。つまり、アイコンの表示態様を変化させる方法は様々である。たとえば、注視されているアイコンが大きくされ、注視されていないアイコンが小さくされてもよい。また、注視されているアイコンを回転表示させてもよい。ただし、アイコンの大きさを変化させる場合には、使用者が第２所定時間の経過を表示態様（イメージ）により認識できるように、アイコンの最大の大きさを第２所定時間に応じて予め決定し、ＲＡＭ５６に記憶しておく。同様に、アイコンを回転させる場合には、アイコンの回転数を第２所定時間に応じて予め決定し、ＲＡＭ５６に記憶しておく。

また、アイコンの色を変化させる方法は、他の方法が採用されてもよい。たとえば、背景色の全部が段階的に他の色に変化したり、背景色の輝度が段階的に変化されたりしもよい。

また、アイコンの表示態様を変化させずに、注視しているアイコンが表示された領域外に、注視している時間を数字で表示したり、バーの長さが注視している時間に応じて変化されるインジケータを表示したりする処理が実行されてもよい。

図５（Ａ）は、電子書籍のアプリケーションないし機能を実行した場合に、ディスプレイ１４に表示される電子書籍表示画面２００の一例である。たとえば、アプリ選択画面１５０において、電子書籍のアイコン１６０が選択（実行）された場合に、この電子書籍表示画面２００が表示される。

図５（Ａ）に示すように、電子書籍表示画面２００は、表示領域２０２、表示領域２０４および表示領域２０６を含む。表示領域２０４には、電子書籍の内容（ページ）が表示される。図面では、電子書籍の内容を“＊”で示してあるが、実際には、文字や画像などが表示される。また、表示領域２０６は、インジケータとして機能する。つまり、表示領域２０６は、視線操作において、使用者が操作領域を注視している時間（注視時間）を当該使用者に知らせるために設けられる。

この実施例では、電子書籍を読む場合に、使用者は、視線操作によって、ページをめくることができる。たとえば、図５（Ｂ）に示すように、表示領域２０４の右下部には操作領域２１０が設けられ、表示領域２０４の左下部には操作領域２１２が設けられる。また、操作領域２１０に対して１ページ進む操作（「ページ送り」ともいう。）が割り当てられ、操作領域２１２に対して１ページ戻る操作（「ページ戻し」ともいう。）が割り当てられている。ただし、操作領域２１０および操作領域２１２は、電子書籍のページの前面に半透明の色を付して、使用者により視認可能に表示してよいし、表示せずに使用者により視認不能としてもよい。

表示領域２０６には、操作領域２１０または操作領域２１２の注視時間が背景色とは異なる色のバーを表示することにより示される。この電子書籍表示画面２００では、操作領域２１０または操作領域２１２の注視時間が第３所定時間（たとえば、１−３秒）を経過すると、ページ送りまたはページ戻しが実行される。ただし、インジケータ（表示領域２０６）に表示されるバーの長さは、注視時間に応じて線形的にまたは段階的に変化され、第３所定時間と一致すると、表示領域２０６の右端に到達する。

このように、インジケータを設けるため、使用者は、操作領域２１０または操作領域２１２の注視時間（または、操作が実行されるまでに使用者が注視すべき残りの時間）、または、ページがめくられるまでの時間を表示態様（イメージ）の変化で知ることができる。

上記では、電子書籍を１ページ単位で、進んだり戻したりするようにしたが、これに限定される必要はない。たとえば、操作領域を表示領域の右上部および左上部にさらに設けて、右上部の操作領域を第３所定時間以上継続して注視したときに、最終ページまたは次の章まで進むようにし、左上部の操作領域を第３所定時間以上継続して注視したときに、電子書籍の先頭ページ、現在の章の先頭ページ、または１つ前の章の先頭ページに戻るようにしてもよい。

上記の場合、操作領域を注視していることが検出されたとき、または、操作領域を所定時間継続して注視していることが検出されとき、送り先、または、戻り先のページのページ数をディスプレイ１４に表示するようにしてよい。この表示によって、使用者は、送り先または戻り先のページないしページ数を知ることができる。

図６（Ａ）は、アラームが鳴動（アラーム音の出力や携帯電話機１０の振動）されている場合に、ディスプレイ１４に表示されるアラーム画面２５０の一例を示す。図６（Ａ）に示すように、アラーム画面２５０は、表示領域２５２および表示領域２５４を含む。表示領域２５４には、月日、曜日および現在時刻などの情報が表示されるとともに、ボタン画像２６０およびボタン画像２６２が表示される。ボタン画像２６０は、いわゆるスヌーズ機能を設定（オン）するために設けられる。ボタン画像２６２は、アラームを停止させるために設けられる。

したがって、アラーム画面２５０が表示されている場合に、使用者が視線操作することにより、ボタン画像２６０を注視している時間（注視時間）が第４所定時間（たとえば、１−３秒）を経過すると、ボタン画像２６０がオンされる。すると、スヌーズ機能がオンされ、アラームが一旦停止され、図６（Ｂ）に示すように、スヌーズの時間（たとえば、５−１０分）を加算することにより変更されたアラームの時間（アラーム時間）が設定された時計表示画面３００がディスプレイ１４に表示される。

また、アラーム画面２５０が表示されている場合に、使用者が視線操作することにより、ボタン画像２６２の注視時間が第４所定時間を経過すると、ボタン画像２６２がオンされる。すると、アラームが停止され、図６（Ｃ）に示すように、次のアラームについてのアラーム時間が設定された時計表示画面３００がディスプレイ１４に表示される。

このように、アラームの停止等の操作を視線操作で行うので、目覚まし時計として携帯電話機１０のアラーム機能を使用する場合には、使用者は必ず目を開ける必要があり、目覚まし時計としての役割を適切に果たすことができる。

図７は、電話着信時に、ディスプレイ１４に表示される着信画面３５０の一例を示す。図７に示すように、着信画面３５０は、表示領域３５２および表示領域３５４を含む。表示領域３５４には、発信端末の電話番号および発信者の名称が表示されるとともに、着信中である旨のメッセージが表示される。また、表示領域３５４の左下部にはボタン画像３６０が表示されるとともに、表示領域３５４の右下部にはボタン画像３６２が表示される。ボタン画像３６０は、着信に応答するために設けられる。一方、ボタン画像３６２は、着信を停止（または拒否）するために設けられる。

したがって、使用者がボタン画像３６０を注視している時間（注視時間）が第５所定時間（たとえば、１−３秒）を経過すると、当該ボタン画像３６０がオンされ、携帯電話機１０は着信に応答する。つまり、上述したように、電話着信処理が実行され、通常の通話処理が実行される。また、ボタン画像３６２の注視時間が第５所定時間を経過すると、当該ボタン画像３６２がオンされ、着信が停止される。

このように、着信の操作を視線操作によって実行することができるため、一方の手で携帯電話機１０を持ち、他方の手を使用できない状況においても、着信に応答したり、停止したりすることができる。

図８（Ａ）はディスプレイ１４に表示される地図表示画面４００の一例である。この地図表示画面４００は、表示領域４０２および表示領域４０４を含む。表示領域４０４には、或る地図が表示される。たとえば、使用者が、ブラウザ機能を実行し、住所などで特定した場所の地図が表示領域４０４に表示される。

また、ブラウザ機能が実行されている場合には、図８（Ｂ）に示すように、画面に対して４つの操作領域４１０Ｌ、４１０Ｒ、４１０Ｔおよび４１０Ｂが設定される。操作領域４１０Ｌは、表示領域４０４の左端部に設定され、画面を右方向にスクロールさせる動作が割り当てられる。操作領域４１０Ｒは、表示領域４０４の右端部に設定され、画面を左方向にスクロールさせる動作が割り当てられる。操作領域４１０Ｔは、表示領域４０４の上端部に設定され、画面を下方向にスクロールさせる動作が割り当てられる。そして、操作領域４１０Ｂは、表示領域４０４の下端部に設定され、画面を上方向にスクロールさせる動作が割り当てられる。

したがって、使用者が画面の左端の方を注視している時間（注視時間）が第６所定時間（たとえば、１−３秒）を経過すると、右方向に画面が所定量スクロールされる。また、使用者が画面の右端の方を注視している時間が第６所定時間を経過すると、左方向に画面が所定量スクロールされる。さらに、使用者が画面の上端の方を注視している時間が第６所定時間を経過すると、下方向に画面が所定量スクロールされる。さらにまた、使用者が画面の下端の方を注視している時間が第６所定時間を経過すると、上方向に画面が所定量スクロールされる。

ただし、図８（Ｂ）に示す例では、左右の操作領域４１０Ｌ、４１０Ｒと、上下の操作領域４１０Ｔ、４０１Ｂが重ならないように、操作領域４１０Ｔ、４１０Ｂの左右の長さを短く設定しているが、左右の操作領域４１０Ｌ、４１０Ｒの上下の長さを短く設定するようにしてもよい。また、左右の操作領域４１０Ｌ、４１０Ｒと、上下の操作領域４１０Ｔ、４０１Ｂが表示領域４０４の四隅のそれぞれで重なるように設定し、重なる領域については、斜め方向に画面を所定量スクロールさせる動作を割り当てるようにしてもよい。さらに、左右の操作領域４１０Ｌ、４１０Ｒまたは上下の操作領域４１０Ｔ、４１０Ｂを設定するようにしてよい。

このように、視線操作によって画面をスクロールさせることができるため、片手で携帯電話機１０を持ち、他方の手を使用できない状況であっても、地図のように、ディスプレイ１４の画面の大きさよりも大きい表示内容を確認することができる。

なお、スクロールを視線操作で行う状況であれば、ブラウザ機能に限定されず、他のアプリケーションや機能が実行される場合にも、図８（Ｂ）に示すような操作領域（４１０Ｌ、４１０Ｒ、４１０Ｔ、４１０Ｂ）を設定して、視線操作により画面をスクロールさせるようにしてよい。

次に、この実施例の視線による注視領域の検出方法について説明する。図１に示したように、赤外線カメラ３０と赤外線ＬＥＤ３２とは、携帯電話機１０の縦方向において或る程度の距離を隔てて配置される。たとえば、赤外線カメラ３０の撮影面の中心と、赤外線ＬＥＤの発光面の中心とが直線上に並ぶように配置される。また、図１に示したように、赤外線カメラ３０をディスプレイ１４の上側に配置し、赤外線ＬＥＤ３２をディスプレイ１４の下側に配置してある。このような配置にするのは、次の理由に基づいている。

図９（Ａ）の上側に示すように、赤外線カメラ３０と赤外線ＬＥＤ３２をディスプレイ１４の上側に並べて配置（接近して配置）した場合、図９（Ａ）の左下側に示すように、瞼が比較的大きく開いているときには、赤外線ＬＥＤ３２から照射された赤外光の反射光（光点）を赤外線カメラ３０によって撮影することができる。しかし、図９（Ａ）の右下側に示すように、瞼が少し閉じている場合には、赤外光が瞼に遮られ、赤外線カメラ３０がその反射光を撮影することができないことがある。この実施例のような携帯電話機１０では、使用者は少し下を向いてディスプレイ１４を見るような状況で使用される場合があるため、瞼に遮られ、反射光を撮影できないことが想定される。

したがって、図９（Ｂ）の上側にも示すように、赤外線カメラ３０と赤外線ＬＥＤ３２をディスプレイ１４の上下に配置するようにしてある。かかる場合には、瞼の中央よりも下部に、赤外光が照射される。したがって、図９（Ｂ）の左下側に示すように、使用者が瞼を比較的大きく開いている場合は、もちろんのこと、図９（Ｂ）の右下側に示すように、使用者が瞼を少し閉じている場合であっても、赤外光の反射光を確実に撮影することができる。このため、上述したように、使用者（の顔）が携帯電話機１０と正対したときに、赤外線カメラ３０が上側となり、赤外線ＬＥＤ３２が下側となるように、それぞれ配置される。

なお、赤外線カメラ３０と赤外線ＬＥＤ３２の距離は、使用者が携帯電話機１０を使用する際における、使用者の顔と携帯電話機１０（筐体の表面ないしディスプレイ１４の表示面）の距離や携帯電話機１０の大きさなどによって決定される。

注視領域を検出する場合には、赤外線カメラ３０で撮影された撮影画像から瞳孔および赤外光の反射光がプロセッサ４０によって検出される。撮影画像から瞳孔や赤外光の反射光を検出する方法は既に周知であり、この実施例の本質的な内容ではないため、その説明は省略することにする。

プロセッサ４０は、撮影画像から瞳孔および反射光を検出すると、視線の方向（視線ベクトル）を検出する。具体的には、赤外線カメラ３０で撮影された２次元の撮影画像における反射光の位置から瞳孔の位置に向けたベクトルが検出される。つまり、図１０（Ａ）に示すように、中心Ａから中心Ｂに向けたベクトルが視線ベクトルである。赤外線カメラ３０における座標系は予め決定されており、その座標系を用いて視線ベクトルが算出される。このように検出された視線ベクトルが、表示面のどの分割領域を指示しているかを検出し、使用者の注視領域を決定するのである。

ここで、図１１に示すように、ディスプレイ１４の表示面はグリッドによって複数の領域に分割されている。この実施例では、５（縦）×４（横）の２０個に分割される。ただし、これは単なる例示であり、分割された領域（分割領域）の個数および形状は任意に設定することができる。また、各分割領域は識別可能に管理されており、たとえば、数字で示される識別情報（１）−（２０）が割り当てられている。また、各分割領域の位置および大きさを管理するために、この識別情報（１）−（２０）に対応して、各分割領域の位置および大きさを示す座標の情報が記憶される。この実施例では、分割領域は四角形で規定されるため、その対角の頂点の座標が座標の情報として記憶される。これによって、分割領域の位置および大きさを知ることができる。

ただし、視線操作を実行する場合には、まず、キャリブレーションが実行される。キャリブレーションとは、視線操作を開始する際に実行される校正処理である。ただし、視線操作を開始する際に、毎回キャリブレーションを実行する必要はなく、携帯電話機１０の使用を開始するときや使用者の指示に従って実行すればよい。または、所定時間毎に実行するようにしてもよい。

キャリブレーションによって、各分割領域を使用者が注視した場合の視線ベクトルが予め検出され、分割領域の識別情報に対応づけて、それぞれ検出された視線ベクトルが基準の視線ベクトル（基準ベクトル）Ｎ（Ｎ＝１，２，…，２０）として記憶される。たとえば、キャリブレーションにおいては、最上列の分割領域から順に視線ベクトルが検出される。また、各列では、左端の分割領域から順に視線ベクトルが検出される。したがって、基準ベクトルＮのうち、実際に視線操作を行うときに検出される使用者の視線ベクトルと最も近似する基準ベクトルＮを検出することにより、当該最も近似する基準ベクトルＮに対応して記憶された分割領域が注視領域として決定される。

たとえば、キャリブレーションが開始されると、まず、図１２（Ａ）に示すように、分割領域（１）が注視領域として設定される。図１２（Ａ）には、分割領域（１）が注視領域として設定された場合に撮影された使用者の左目の画像が示される。撮影画像に基づいて、この場合の視線ベクトルが検出され、検出された視線ベクトルが当該分割領域（１）に対して基準ベクトルＮ（ここでは、Ｎ＝１）として記憶される。同様に、分割領域（２０）まで、順次注視領域が設定され、各場合の視線ベクトルが検出され、検出された視線ベクトルが該当する分割領域に対して基準ベクトルＮとして記憶される。また、図１２（Ｂ）には、分割領域（４）が注視領域として設定された場合に撮影された使用者の左目の画像が示される。

ただし、図１２（Ａ），（Ｂ）では、下２行の分割領域（１３）−（２０）を省略してある。

なお、キャリブレーションにおいては、分割領域（１）−（２０）の識別情報（番号）が示す順番で、使用者の視線を誘導させるために、たとえば、注視されるべき分割領域が所定の色で示される。

そして、実際に視線操作を行うときに、撮影画像に基づいて検出された視線ベクトル（説明の都合上、「現在ベクトル」と呼ぶことにする。）Ｗを、基準ベクトルＮのそれぞれと比較し、最も近似する基準ベクトルＮに対応して記憶された分割領域を使用者が注視している領域（注視領域）として決定する。

ただし、キャリブレーション時と、実際に視線操作を行うときでは、携帯電話機１０（赤外線カメラ３０）と使用者の顔（目）との距離がほとんどの場合に一致しないため、現在ベクトルＷをスケーリング（拡大または縮小）するようにしてある。

この実施例では、基準ベクトルＮを検出したときの左右の目の距離Ｌ０と、現在ベクトルＷを検出したきの左右の目の距離Ｌ１とに基づいて、現在ベクトルＷをスケーリングする。ただし、図１０（Ｂ）に示すように、両目の距離Ｌは、左目における赤外光の反射光の中心位置と、右目における赤外光の反射光の中心位置の距離（水平距離）によって決定される。

なお、図１０（Ｂ）に示すように、撮影画像は、使用者の顔の鏡像であるため、図面において、左側の画像が使用者の左目の画像であり、右側の画像が使用者の右目の画像である。

具体的には、現在ベクトルＷは、以下の数１に従ってスケーリングされる。ただし、現在ベクトルＷのＸ軸成分をＷｘとし、そのＹ軸成分をＷｙとする。また、スケーリングされた後の現在ベクトルＷのＸ軸成分をＷｘ１とし、そのＹ軸成分をＷｙ１とする。

［数１］
（Ｗｘ１，Ｗｙ１）＝（Ｗｘ×Ｌ１／Ｌ０，Ｗｙ×Ｌ１／Ｌ０）
また、基準ベクトルＮのそれぞれと、スケーリングされた後の現在ベクトルＷとの差分ベクトルの長さｒ_Ｎが以下の数２に従ってそれぞれ算出される。そして、差分ベクトルの長さが最も短い場合に、スケーリングされた後の現在ベクトルＷと基準ベクトルＮとが最も近似すると判断される。判断結果に基づき、差分ベクトルの長さが最も短い場合の基準ベクトルＮに対応付けられた分割領域が現在の注視領域として決定される。ここで、基準ベクトルＮ（Ｎ＝１，２，３，…，２０）は（Ｘｖ_Ｎ，Ｙｖ_Ｎ）で示す。

［数２］
ｒ_Ｎ＝√｛（Ｘｖ_Ｎ−Ｗｘ１）^２＋（Ｙｖ_Ｎ−Ｗｙ１）^２｝
図１３は図２に示したＲＡＭ５６のメモリマップ５００の一例を示す図である。図１３に示すように、ＲＡＭ５６は、プログラム記憶領域５０２およびデータ記憶領域５０４を含む。プログラム記憶領域５０２は、メイン処理プログラム５０２ａ、通信プログラム５０２ｂ、注視領域検出プログラム５０２ｃ、ロック解除プログラム５０２ｄ、アプリ選択プログラム５０２ｅ、電子書籍プログラム５０２ｆおよびブラウザプログラム５０２ｇなどのプログラムを記憶する。

メイン処理プログラム５０２ａは、携帯電話機１０のメインルーチンを処理するためのプログラムである。通信プログラム５０２ｂは、他の電話機と通話処理を実行したり、通信網（電話網、インターネット）を介して、他の電話機やコンピュータと通信したりするためのプログラムである。注視領域検出プログラム５０２ｃは、携帯電話機１０の使用者が注視しているディスプレイ１４の表示面における分割領域を注視領域として検出するためのプログラムである。

ロック解除プログラム５０２ｄは、ロック機能がオンにされている場合に、使用者の操作に応じて、ロックを解除するためのプログラムである。この実施例では、視線操作によってロックを解除する場合について説明するが、キー操作やタッチ操作でロックを解除できることは言うまでもない。同様に、後述する選択プログラム５０２ｅ、電子書籍プログラム５０２ｆおよびブラウザプログラム５０２ｇにおいても、視線操作のみならず、キー操作やタッチ操作が可能である。

アプリ選択プログラム５０２ｅは、携帯電話機１０が備えるアプリケーションや機能を選択（実行）するためのプログラムである。電子書籍プログラム５０２ｆは、電子書籍についての操作（ページめくりなど）に関する処理を実行するためのプログラムである。ブラウザプログラム５０２ｇは、ブラウザについての操作（インターネットサイトについてのページの表示、画面のスクロール、ページ移動など）に関する処理を実行するためのプログラムである。

図示は省略するが、プログラム記憶領域５０２には、画像生成処理プログラム、画像表示プログラム、音出力プログラム、およびメモ帳やアドレス帳などの他のアプリケーションや機能についてのプログラムも記憶される。

データ記憶領域５０４には、入力データバッファ５０４ａが設けられる。また、データ記憶領域５０４には、画像データ５０４ｂ、注視領域データ５０４ｃ、操作領域データ５０４ｄ、基準ベクトルデータ５０４ｅ、現在ベクトルデータ５０４ｆが記憶される。さらに、データ記憶領域５０４には、制限タイマ５０４ｇおよび注視タイマ５０４ｈが設けられる。

入力データバッファ５０４ａは、キーデータやタッチ座標データを時系列に従って一時記憶するための領域である。キーデータやタッチ座標データは、プロセッサ４０の処理に使用された後に消去される。

画像データ５０４ｂは、各種画面（１００、１５０、２００、２５０、３００、３５０、４００など）を表示するためのデータである。注視領域データ５０４ｃは、使用者が現在注視している分割領域すなわち注視領域を識別するためのデータである。

操作領域データ５０４ｄは、現在表示されている画面についての操作領域を規定するための位置（座標）データおよび当該操作領域に対応して設定された操作（動作）ないし機能（アプリケーション）についての内容を示すデータである。

基準ベクトルデータ５０４ｅは、キャリブレーションによって取得した各分割領域に対応する視線ベクトルすなわち基準ベクトルＮについてのデータである。現在ベクトルデータ５０ｆは、現在検出されている視線ベクトルすなわち前述した現在ベクトルＷについてのデータである。

制限タイマ５０４ｇは、ロック解除についての視線操作を実行する制限時間をカウントするためのタイマである。注視タイマ５０４は、使用者が同一の分割領域を注視している時間をカウントするためのタイマである。

図示は省略するが、データ記憶領域５０４には、プログラム記憶領域５０２に記憶された各プログラムの実行に必要な、他のデータが記憶されたり、他のタイマ（カウンタ）が設けられたり、フラグが設けられたりする。

図１４は図２に示したプロセッサ４０のロック解除処理（セキュリティロック）を示すフロー図である。図１４に示すように、プロセッサ４０は、ロック解除処理を開始すると、ステップＳ１で、図３（Ａ）または図３（Ｂ）に示したようなロック画面１００をディスプレイ１４に表示する。このとき、各ボタン画像１１０またはボタン画像１２０の表示領域に対応して操作領域が設定され、対応する操作領域データ５０４ｄがデータ記憶領域５０４に記憶される。以下、各画面を表示する場合についても同様に、画面に応じた操作領域が設定される。また、上述したように、ロック解除処理は、セキュリティロック機能がオンされている場合に、携帯電話機１０の使用を開始するとき（ディスプレイ１４の電源がオフからオンにされたとき、または主電源をオンすることにより携帯電話機１０が起動されたとき）、または所定のアプリケーションないし機能が実行（開始）されるときに実行される。

次のステップＳ３では、注視領域の検出を開始する。つまり、プロセッサ４０は、後述する注視領域検出処理（図１５）を、ロック解除処理と並列的に実行する。次のステップＳ５では、制限タイマ５０４ｇをリセットおよびスタートする。

続くステップＳ７では、プロセッサ４０は、注視領域データ５０４ｃを参照して、注視領域検出処理によって検出された注視領域を取得する。次のステップＳ９では、取得した注視領域が操作領域と重なるかどうかを判断する。ここでは、操作領域データ５０４ｄが参照され、先に取得された注視領域が操作領域に重なるかどうかが判断される。ステップＳ９で“ＮＯ”であれば、つまり取得した注視領域が操作領域と重なっていなければ、そのままステップＳ１３に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり取得した注視領域が操作領域に重なっていれば、ステップＳ１１で、操作領域に対応するボタン画像を記憶して、ステップＳ１３に進む。つまり、入力された暗証番号などが記憶される。

ステップＳ１３では、セキュリティロックを解除するかどうかを判断する。つまり、入力された暗証番号または操作手順が正しいかどうかを判断する。なお、予め設定されている暗証番号や操作手順については、フラッシュメモリ５４に記憶されており、それが参照される。ステップＳ１３で“ＮＯ”であれば、つまりロック解除でなければ、ステップＳ１５で、制限タイマ５０４ｇのカウント値が第１所定時間（たとえば、１０秒）を経過したかどうかを判断する。ステップＳ１５で“ＮＯ”であれば、つまり第１所定時間を経過していなければ、そのままステップＳ７に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり第１所定時間を経過すれば、図１６に示すステップＳ１７で、ロック解除の失敗を通知して、ステップＳ１に戻る。具体的には、ステップＳ１７において、プロセッサ４０は、ロック解除を失敗した旨のメッセージをディスプレイ１４に表示したり、ロック解除を失敗した旨の音（音楽、メロディ）をスピーカ（スピーカ１８または他のスピーカ）から出力したり、それらの両方を実行したりする。

また、ステップＳ１３で“ＹＥＳ”であれば、つまりロック解除であれば、ステップＳ１９で、ロック画面１００を非表示（消去）して、ロック解除処理を終了する。

図１５は、プロセッサ４０の注視領域検出処理を示すフロー図である。図１５に示すように、プロセッサ４０は、注視領域検出処理を開始すると、ステップＳ３１で、撮影処理を実行する。ここでは、プロセッサ４０の撮影指示に従って赤外線カメラ３０は撮影処理を実行する。そして、撮影画像処理回路６２で、赤外線カメラ３０から出力された撮影画像データに画像処理が施され、モノクロの撮影画像データがプロセッサ４０に入力される。

次のステップＳ３３で、撮影画像から瞳孔を検出し、ステップＳ３５で、瞳孔の中心位置を決定する。さらに、ステップＳ３７で、撮影画像から赤外線（赤外光）の反射光を検出し、ステップＳ３９で、反射光の中心位置を決定する。そして、ステップＳ４１で、反射光の中心位置を始点とし、瞳孔の中心位置を終点とする現在ベクトルＷを算出する。

続いて、ステップＳ４３で、両目間の距離Ｌを決定する。ここでは、プロセッサ４０は、左目における赤外光の反射光の中心位置と右目における赤外光の反射光の中心位置との距離Ｌ１を求める。続くステップＳ４５では、現在ベクトルＷを前述した数１に従ってスケーリング（拡大または縮小）する。さらに、ステップＳ４７で、分割領域毎の基準ベクトルＮとの差分ベクトルを数２に従って算出する。そして、ステップＳ４９で、差分ベクトルの長さが最小となる基準ベクトルＮに対応する分割領域を注視領域として決定して、注視領域検出処理を終了する。ステップＳ４９で決定された注視領域（分割領域）の識別情報が注視領域データ５０４ｃとして記憶（更新）される。

なお、一旦、注視領域検出処理が開始されると、所定の機能の実行処理が終了されるまで、繰り返し注視領域検出処理が実行される。ただし、所定のキー操作やタッチ操作が行われることにより、注視領域の検出処理を終了してもよい。以下、注視領域検出処理を実行する場合について同じである。

図１６および図１７は、図２に示すプロセッサ４０の実行機能判断処理を示すフロー図である。図１６に示すように、プロセッサ４０は、実行機能判断処理を開始すると、ステップＳ６１で、待ち受け画面を表示する。たとえば、待ち受け画面は、上述した時計表示画面３００などであり、使用者が設定可能である。

なお、ロック機能が設定されている場合には、上述したロック解除処理が実行され、ロックが解除された後に、実行機能判断処理が開始される。また、ロック機能が設定されていない場合には、上述したロック解除処理は実行されずに、使用者が携帯電話機１０の使用を開始するときに、実行機能判断処理が開始される。

次のステップＳ６３では、プロセッサ４０は、現在時刻がアラームの設定時間（アラーム時間）かどうかを判断する。つまり、プロセッサ４０は、ＲＴＣ４０ａで計時される現在時刻を参照して、アラーム時間と一致するかどうかを判断する。ただし、アラームが設定されていない場合には、プロセッサ４０は、アラーム時間でないと判断する。

ステップＳ６３で“ＹＥＳ”であれば、つまりアラーム時間であれば、ステップＳ６５で、後述するアラーム処理（図１８および図１９参照）を実行して、ステップＳ６１に戻る。一方、ステップＳ６３で“ＮＯ”であれば、つまりアラーム時間でなければ、ステップＳ６７で、アプリ選択を行うための入力があるかどうかを判断する。ここでは、プロセッサ４０は、アプリ選択画面１５０を表示する指示が入力されたかどうかを判断する。

ステップＳ６７で“ＹＥＳ”であれば、つまりアプリ選択を行うための入力があれば、ステップＳ６９で、後述するアプリ選択処理（図２０参照）を実行して、ステップＳ６１に戻る。一方、ステップＳ６７で“ＮＯ”であれば、つまりアプリ選択を行うための入力がなければ、ステップＳ７１で、電子書籍の実行かどうかを判断する。ただし、電子書籍を実行することの指示は、アプリ選択処理において、該当するアイコン１６０が操作（オン）されることにより行われる。後述するブラウザを実行することの指示についても同様である。

ステップＳ７１で“ＹＥＳ”であれば、つまり電子書籍の実行であれば、ステップＳ７３で、後述する電子書籍処理（図２１および図２２参照）を実行して、ステップＳ６１に戻る。一方、ステップＳ７１で“ＮＯ”であれば、つまり電子書籍の実行でなければ、ステップＳ７５で、ブラウザの実行かどうかを判断する。

ステップＳ７５で“ＹＥＳ”であれば、つまりブラウザの実行であれば、ステップＳ７７で、後述するブラウザ処理（図２３および図２４）を実行して、ステップＳ６１に戻る。一方、ステップＳ７５で“ＮＯ”であれば、つまりブラウザの実行でなければ、ステップＳ７９で、着信があるかどうかを判断する。

ステップＳ７９で“ＹＥＳ”であれば、つまり着信があれば、ステップＳ８１で、後述する着信処理（図２５および図２６参照）を実行して、ステップＳ６１に戻る。一方、ステップＳ７９で“ＮＯ”であれば、つまり着信がなければ、図１７に示すステップＳ８３で、他の操作があるかどうかを判断する。ここでは、プロセッサ４０は、キー操作やタッチ操作によって、電子書籍やブラウザ以外の他のアプリケーションないし機能が選択されたり、電話発信の操作が実行されたり、電源ボタンがオンされたりしたかどうかを判断するのである。

ステップＳ８３で“ＹＥＳ”であれば、つまり他の操作があれば、ステップＳ８５で、電源ボタンの操作（オン）であるかどうかを判断する。ステップＳ８５で“ＹＥＳ”であれば、つまり電源ボタンの操作であれば、ステップＳ９１に進む。一方、ステップＳ８５で“ＮＯ”であれば、つまり電源ボタンの操作でなければ、ステップＳ８７で、その他の処理を実行して、図１６に示したステップＳ６１に戻る。ただし、その他の処理は、上述したように、電子書籍やブラウザ以外の他のアプリケーションないし機能についての処理、または、電話発信の処理である。

一方、ステップＳ８３で“ＮＯ”であれば、つまり他の操作がなければ、ステップＳ８９で、操作無し状態が第７所定時間（たとえば、１０秒）を経過したかどうかを判断する。たとえば、キー操作およびタッチ操作が無い時間が制限タイマ５０４ｇおよび注視タイマ５０４ｈとは異なるタイマ（操作無しタイマ）によってカウントされる。この操作無しタイマは、キー操作またはタッチ操作が終了したときに、リセットおよびスタートされる。たとえば、第７所定時間は、５−３０秒の間で設定可能である。

ステップＳ８９で“ＮＯ”であれば、つまり操作無し状態が第７所定時間を経過していなければ、そのままステップＳ６１に戻る。一方、ステップＳ８９で“ＹＥＳ”であれば、つまり操作無し状態が第７所定時間を経過すれば、ステップＳ９１で、画面を非表示（ディスプレイ１４をオフ）して、実行機能判断処理を終了する。

図１８および図１９は、図１６に示したステップＳ６５のアラーム処理のフロー図である。図１８に示すように、プロセッサ４０は、アラーム処理を開始すると、ステップＳ１１１で、アラームを鳴動開始する。たとえば、プロセッサ４０は、アラーム音を出力する。ただし、振動モータを備える場合には、当該振動モータを駆動することにより、携帯電話機１０自体を振動させてもよい。また、アラーム音の出力と振動モータの駆動の両方を実行してもよい。

次のステップＳ１１３では、図６に示したようなアラーム画面２５０をディスプレイ１４に表示する。続いて、ステップＳ１１５では、注視領域の検出を開始する。つまり、図１５に示した注視領域検出処理が、図１８および図１９に示すアラーム処理と並列的に実行される。そして、ステップＳ１１７で、注視領域を取得する。

続いて、ステップＳ１１９では、注視領域がアラーム画面２５０に設定された操作領域（ここでは、ボタン画像２６０または２６２の表示領域）に重なるかどうかを判断する。ステップＳ１１９で“ＮＯ”であれば、つまり注視領域が操作領域に重ならない場合には、ステップＳ１２１で、アラームを自動停止するかどうかを判断する。アラームの鳴動を開始してから自動停止するまでの時間（たとえば、３０秒−５分）を経過したかどうかを判断する。この判断のためのタイマを設けてもよいし、ＲＴＣ４０ａで計時される時間を参照して自動停止するかどうかを判断してもよい。

ステップＳ１２１で“ＮＯ”であれば、つまりアラームを自動停止しない場合には、そのままステップＳ１１７に戻る。一方、ステップＳ１２１で“ＹＥＳ”であれば、つまりアラームを自動停止する場合には、ステップＳ１２３で、アラームの鳴動を停止し、ステップＳ１２５で、スヌーズの設定があるかどうかを判断する。

ステップＳ１２５で“ＹＥＳ”であれば、つまりスヌーズの設定があれば、ステップＳ１２７で、今回のアラーム時間にスヌーズの時間を加算することによりアラーム時間を変更して、実行機能判断処理にリターンする。一方、ステップＳ１２５で“ＮＯ”であれば、つまりスヌーズの設定がなければ、ステップＳ１２９で、次のアラーム時間を設定して、実行機能判断処理にリターンする。ただし、プロセッサ４０は、次のアラームが設定されていない場合には、ステップＳ１２９の処理を実行せずに、実行機能判断処理にリターンする。このことは、後述するステップＳ１４９においても同じである。

また、ステップＳ１１９で“ＹＥＳ”であれば、つまり注視領域が操作領域に重なる場合には、ステップＳ１３１で、注視領域が重なる操作領域が変化したかどうかを判断する。つまり、プロセッサ４０は、注視領域が重なる操作領域が前回と今回とで異なるかどうかを判断する。ステップＳ１３１で“ＮＯ”であれば、つまり操作領域が変化していなければ、図１９に示すステップＳ１３５に進む。一方、ステップＳ１３１で“ＹＥＳ”であれば、つまり操作領域が変化していれば、ステップＳ１３３で、注視タイマ５０４ｈをリセットおよびスタートして、ステップＳ１３５に進む。ただし、注視領域検出を開始した当初では、注視領域が操作領域と重なる場合に、ステップＳ１３１で、操作領域が変化したと判断される。

図１９に示すように、ステップＳ１３５では、第４所定時間（たとえば、１−３秒）を経過したかどうかを判断する。つまり、プロセッサ４０は、注視タイマ５０４ｈのカウント値を参照して、使用者がボタン画像２６０またはボタン画像２６２を見ている時間が、第４所定時間を経過したかどうかを判断する。

ステップＳ１３５で“ＮＯ”であれば、つまり第４所定時間を経過していなければ、図１８に示したステップＳ１１７に戻る。一方、ステップＳ１３５で“ＹＥＳ”であれば、つまり第４所定時間を経過すれば、ステップＳ１３７で、スヌーズボタンであるかどうかを判断する。つまり、使用者がボタン画像２６０を見ているかどうかを判断する。

ステップＳ１３７で“ＹＥＳ”であれば、つまりスヌーズボタンであれば、ステップＳ１３９で、スヌーズボタンすなわちボタン画像２６０をオンし、ステップＳ１４１で、アラームの鳴動を停止し、ステップＳ１４３で、今回のアラーム時間にスヌーズの時間を加算して、アラーム時間を変更して、実行機能判断処理にリターンする。

一方、ステップＳ１３７で“ＮＯ”であれば、つまり停止ボタンであれば、ステップＳ１４５で、停止ボタンすなわちボタン画像２６２をオンし、ステップＳ１４７で、アラームの鳴動を停止し、ステップＳ１４９で、次のアラーム時間を設定して、実行機能判断処理にリターンする。

図２０は、図１６に示したステップＳ６９のアプリ選択処理のフロー図である。以下、アプリ選択処理について説明するが、上述したアラーム処理と同じ処理については簡単に説明する。後述する電子書籍処理、ブラウザ処理および着信処理についても同様である。

図２０に示すように、プロセッサ４０は、アプリ選択処理を開始すると、ステップＳ１６１で、図４に示したような選択画面１５０をディスプレイ１４に表示する。次のステップＳ１６３では、注視領域の検出を開始し、ステップＳ１６５で、注視領域を取得する。そして、ステップＳ１６７で、注視領域が操作領域に重なっているかどうかを判断する。

ステップＳ１６７で“ＮＯ”であれば、そのままステップＳ１６５に戻る。一方、ステップＳ１６７で“ＹＥＳ”であれば、ステップＳ１６９で、注視領域が重なる操作領域が変化したかどうかを判断する。ステップＳ１６９で“ＮＯ”であれば、そのままステップＳ１７３に進む。一方、ステップＳ１６９で“ＹＥＳ”であれば、ステップＳ１７１で、注視タイマ５０４ｈをリセットおよびスタートして、ステップＳ１７３に進む。

ステップＳ１７３では、注視されているアイコン１６０の背景色を所定量変化させる。次のステップＳ１７５では、第２所定時間（たとえば、１−３秒）を経過したかどうかを判断する。つまり、プロセッサ４０は、注視タイマ５０４ｈのカウント値を参照して、使用者が同一のアイコン１６０を見ている時間が第２所定時間を経過したかどうかを判断する。

ステップＳ１７５で“ＮＯ”であれば、つまり第２所定時間を経過していなければ、そのままステップＳ１６５に戻る。一方、ステップＳ１７５で“ＹＥＳ”であれば、つまり第２所定時間を経過すれば、ステップＳ１７７で、注視されているアイコン１６０に対応するアプリケーションないし機能を起動して、実行機能判断処理にリターンする。

なお、起動されたアプリケーションないし機能が電子書籍やブラウザであれば、後述するように、電子書籍処理やブラウザ処理が実行される。

また、上述したように、第２所定時間を経過すると、注視されているアイコン１６０の背景色は、すべて変化される。

図２１および図２２は、図１６に示したステップＳ７３の電子書籍処理を示すフロー図である。図２１に示すように、プロセッサ４０は、電子書籍処理を開始すると、ステップＳ１９１で、電子書籍を表示する。ここでは、図５（Ａ）に示したように、指定された書籍の最初のページやしおりが付されたページが表示された電子書籍表示画面２００が表示される。ただし、電子書籍画面２００が表示された当初では、インジケータ２０６は空白である。

次のステップＳ１９３では、注視領域の検出を開始する。次のステップＳ１９５では、電子書籍を終了するかどうかを判断する。つまり、プロセッサ４０は、使用者によって、電子書籍の終了が指示されたかどうかを判断する。ステップＳ１９５で“ＹＥＳ”であれば、つまり電子書籍の終了であれば、図２２に示すように、実行機能判断処理にリターンする。

一方、ステップＳ１９５で“ＮＯ”であれば、つまり電子書籍の終了でなければ、ステップＳ１９７で、注視領域を取得する。続くステップＳ１９９では、注視領域が操作領域（２１０または２１２）と重なっているかどうかを判断する。ステップＳ１９９で“ＮＯ”であれば、そのままステップＳ１９５に戻る。一方、ステップＳ１９９で“ＹＥＳ”であれば、ステップＳ２０１で、注視領域が重なる操作領域が変化したかどうかを判断する。

ステップＳ２０１で“ＮＯ”であれば、そのままステップＳ２０５に進む。一方、ステップＳ２０１で“ＹＥＳ”であれば、ステップＳ２０３で、注視カウンタ５０４ｈをリセットおよびスタートして、ステップＳ２０５に進む。ステップＳ２０５では、インジケータ２０６の色を所定量変化させる。つまり、インジケータ２０６の空白が所定の色で所定量塗りつぶされる。

次のステップＳ２０７では、第３所定時間（たとえば、１−３秒）を経過したかどうかを判断する。つまり、プロセッサ４０は、注視タイマ５０４ｈのカウント値を参照して、使用者が所定領域（２１０または２１２）を見ている時間が第３所定時間を経過したかどうかを判断する。ステップＳ２０７で“ＮＯ”であれば、つまり第３所定時間を経過していなければ、そのままステップＳ１９５に戻る。一方、ステップＳ２０７で“ＹＥＳ”であれば、つまり第３所定時間を経過すれば、図２２に示すステップＳ２０９で、ページ送りかどうかを判断する。ここでは、プロセッサ４０は、使用者が操作領域２１０を注視しているかどうかを判断する。

ステップＳ２０９で“ＮＯ”であれば、つまり使用者が操作領域２１２を注視している場合には、ページ戻しであると判断して、ステップＳ２１１で、前のページを表示して、図２１に示したステップＳ１９５に戻る。一方、ステップＳ２０９で“ＹＥＳ”であれば、つまり使用者が操作領域２１０を注視している場合には、ページ送りであると判断して、ステップＳ２１３で、現在のページが最終ページであるかどうかを判断する。

ステップＳ２１３で“ＮＯ”であれば、つまり現在のページが最終ページでなければ、ステップＳ２１５で、次のページを表示して、ステップＳ１９５に戻る。一方、ステップＳ２１３で“ＹＥＳ”であれば、つまり現在のページが最終ページであれば、電子書籍処理を終了して、実行機能判断処理にリターンする。

図２３および図２４は、図１６に示したステップＳ７７のブラウザ処理のフロー図である。以下、ブラウザ処理について説明するが、上述のアプリ選択処理や電子書籍処理と同じ処理については簡単に説明することにする。

図２３に示すように、プロセッサ４０は、ブラウザ処理を開始すると、ブラウザを起動し、初期画面を表示する（ステップＳ２３１）。たとえば、プロセッサ４０は、ホームページとして設定されているインターネットサイトの画面が表示される。ただし、キー操作やタッチ操作によって、所望のアドレス（ＵＲＬ）を入力することにより、ホームページ以外の所望のインターネットサイトの画面を表示することが可能である。したがって、たとえば、図８に示したような地図表示画面４００が表示されることがある。また、ここでは、視線操作によって、画面がスクロールされる場合について説明するが、視線操作によって、ボタン画像やハイパーリンクをオン（クリック）することにより、そのボタン画像やハイパーリンクが設定されたインターネットサイトの画面を表示することも可能である。

次のステップＳ２３３で、プロセッサ４０は、注視領域の検出を開始し、ステップＳ２３５で、ブラウザを終了するかどうかを判断する。ここでは、プロセッサ４０は、使用者によって、ブラウザの終了が指示されたかどうかに基づいて判断する。ステップＳ２３５で“ＹＥＳ”であれば、つまりブラウザの終了であれば、実行機能判断処理にリターンする。一方、ステップＳ２３５で“ＮＯ”であれば、つまりブラウザの終了でなければ、ステップＳ２３７で、注視領域を取得する。

続くステップＳ２３９では、注視領域が操作領域（４１０Ｌ、４１０Ｒ、４１０Ｔ、４１０Ｂ）と重なっているかどうかを判断する。ステップＳ２３９で“ＮＯ”でれば、そのままステップＳ２３５に戻る。一方、ステップＳ２３９で“ＹＥＳ”であれば、ステップＳ２４１で、注視領域が重なる操作領域が変化したかどうかを判断する。ステップＳ２４１で“ＮＯ”であれば、そのままステップＳ２４５に進む。一方、ステップＳ２４１で“ＹＥＳ”であれば、ステップＳ２４３で、注視タイマ５０４ｈをリセットおよびスタートして、ステップＳ２４５に進む。

ステップＳ２４５では、第６所定時間（たとえば、１−３秒）を経過したかどうかを判断する。ここでは、プロセッサ４０は、注視タイマ５０４ｈのカウント値を参照して、使用者が操作領域（４１０Ｌ、４１０Ｒ、４１０Ｔ、４１０Ｂ）を注視している時間が第６所定時間を経過したかどうかを判断する。

ステップＳ２４５で“ＮＯ”であれば、つまり第６所定時間を経過していなければ、そのままステップＳ２３５に戻る。一方、ステップＳ２４５で“ＹＥＳ”であれば、つまり第６所定時間を経過すれば、図２４に示すステップＳ２４７で、左かどうかを判断する。ここでは、プロセッサ４０は、使用者が操作領域４１０Ｌを注視しているかどうかを判断する。

ステップＳ２４７で“ＹＥＳ”であれば、つまり左であれば、ステップＳ２４９で、右方向に所定量スクロールして、図２３に示したステップＳ２３５に戻る。一方、ステップＳ２４７で“ＮＯ”であれば、つまり左でなければ、ステップＳ２５１で、右かどうかを判断する。ここでは、プロセッサ４０は、使用者が操作領域４１０Ｒを注視しているかどうかを判断する。

ステップＳ２５１で“ＹＥＳ”であれば、つまり右であれば、ステップＳ２５３で、左方向に所定量スクロールして、ステップＳ２３５に戻る。一方、ステップＳ２５１で“ＮＯ”であれば、つまり右でなければ、ステップＳ２５５で、上であるかどうかを判断する。ここでは、プロセッサ４０は、使用者が操作領域４１０Ｔを注視しているかどうかを判断する。

ステップＳ２５５で“ＹＥＳ”であれば、つまり上であれば、ステップＳ２５７で、下方向に所定量スクロールして、ステップＳ２３５に戻る。一方、ステップＳ２５５で“ＮＯ”であれば、つまり操作領域４１０Ｂが注視されている場合には、下であると判断して、ステップＳ２５９で、上方向に所定量スクロールして、ステップＳ２３５に戻る。

なお、ここでは、画面を必ずスクロールできるように説明したが、表示内容の端が表示されていたり、最終ページが表示されていたりすることにより、画面をスクロールできない場合には、スクロールの指示が入力されたとしても、当該指示は無視される。

図２５および図２６は、図１６に示したステップＳ８１の着信処理のフロー図である。以下、着信処理について説明するが、上述のアプリ選択処理、電子書籍処理やブラウザ処理と同じ処理については簡単に説明することにする。

図２５に示すように、着信処理を開始すると、プロセッサ４０は、ステップＳ２７１で、着信動作を開始する。ここでは、プロセッサ４０は、着信音（メロディ、音楽）を出力したり、振動モータを駆動したり、それらの両方を実行したりする。

次のステップＳ２７３では、図７に示したような着信画面３５０をディスプレイ１４に表示する。続いて、ステップＳ２７５では、注視領域の検出を開始する。そして、ステップＳ２７７で、着信処理を終了するかどうかを判断する。ここでは、プロセッサ４０は、予め設定された着信動作の最大時間（たとえば、３０秒）を経過したり、相手が電話を切ったりしたかどうかを判断する。

ステップＳ２７７で“ＹＥＳ”であれば、つまり着信処理の終了であれば、そのまま図２６に示すステップＳ２９１に進む。一方、ステップＳ２７７で“ＮＯ”であれば、つまり着信処理の終了でなければ、ステップＳ２７９で、注視領域を取得する。次のステップＳ２８１では、注視領域が操作領域（ここでは、ボタン画像３６０、３６２の表示領域）と重なっているかどうかを判断する。

ステップＳ２８１で“ＮＯ”であれば、そのままステップＳ２７７に戻る。一方、ステップＳ２８１で“ＹＥＳ”であれば、ステップＳ２８３で、注視領域が重なる操作領域が変化したかどうかを判断する。ステップＳ２８３で“ＮＯ”であれば、そのままステップＳ２８７に進む。一方、ステップＳ２８３で“ＹＥＳ”であれば、ステップＳ２８５で、注視タイマ５０４ｈをリセットおよびスタートして、ステップＳ２８７に進む。

ステップＳ２８７では、第５所定時間（たとえば、１−３秒）を経過したかどうかを判断する。ここでは、プロセッサ４０は、注視タイマ５０４ｈのカウント値を参照して、操作領域（ボタン画像３６０、３６２の表示領域）を注視している時間が第５所定時間を経過したかどうかを判断する。

ステップＳ２８７で“ＮＯ”であれば、つまり第５所定時間を経過していなければ、ステップＳ２７７に戻る。一方、ステップＳ２８７で“ＹＥＳ”であれば、つまり第５所定時間を経過すれば、図２６に示すステップＳ２８９で、着信応答かどうかを判断する。ここでは、プロセッサ４０は、使用者がボタン画像３６０を注視しているかどうかを判断する。

ステップＳ２８９で“ＮＯ”であれば、つまり使用者がボタン画像３６２を注視している場合には、着信を停止すると判断して、ステップＳ２９１で、着信動作を停止し、実行機能判断処理にリターンする。ただし、プロセッサ４０は、ステップＳ２９１（Ｓ２９３も同じ。）で、着信音を停止したり、振動モータを停止したり、その両方を実行したりする。一方、ステップＳ２８９で“ＹＥＳ”であれば、つまり着信応答であれば、ステップＳ２９３で、着信動作を停止し、ステップＳ２９５で、上述したような通常の通話処理を実行する。

続いて、ステップＳ２９７では、終話かどうかを判断する。ここでは、プロセッサ４０は、使用者によって終話キー２４が操作されたり、通話相手から通話終了信号を受信したりしたかを判断する。ステップＳ２９７で“ＮＯ”であれば、つまり終話でなければ、そのままステップＳ２９５に戻って、通話処理を続行する。一方、ステップＳ２９７で“ＹＥＳ”であれば、つまり終話であれば、ステップＳ２９９で、回線を切断して、実行機能判断処理にリターンする。

この実施例によれば、赤外線カメラをディスプレイの上部側に配置し、赤外線ＬＥＤをディスプレイの下部側に配置するので、使用者の瞼が少し閉じたような状況であっても赤外光の反射光を赤外線カメラによって撮影することができ、視線入力の認識率を向上させることができる。

なお、この実施例では、ロック機能としてセキュリティロック機能についてのみ説明したが、これに限定される必要はない。ロック機能としては、タッチパネルの誤操作を防止するためのロック（キーロック）機能もある。セキュリティロック機能とキーロック機能は、いずれか一方のみを設定可能としてもよいし、両方を設定可能としてもよい。ただし、セキュリティロック機能とキーロック機能の両方が設定されている場合には、ディスプレイの電源がオフからオンにされると、キーロックが解除された後に、セキュリティロックが解除される。

キーロック機能が設定されている場合には、携帯電話機１０の使用を開始する場合に（ディスプレイ１４の電源がオフからオンにされたとき）、図２７に示すようなロック画面４５０（キーロック）がディスプレイ１４に表示される。図２７に示すように、ロック画面４５０は、表示領域４５２および表示領域４５４を含む。表示領域４５４には、所定のオブジェクト（たとえば、円形のオブジェクト）４６０が表示される。以下、円形のオブジェクト４６０を解除オブジェクトと呼ぶことにする。

図２７に示すロック画面４５０では、解除オブジェクト４６０が所定距離以上移動されると、当該ロック画面４５０が消去（非表示）され、ディスプレイ１４に、前回終了時の（ディスプレイ１４の電源がオフされる直前に表示されていた）画面（待ち受け画面や所望の機能の画面）が表示される。図２７では、解除オブジェクト４６０の中心４６０ａを中心とする半径（所定距離）ｄの点線の円４７０が示されるが、実際のロック画面４５０においては、円４７０はディスプレイ１４に表示されてもよいし、表示されなくてもよい。円４７０を表示する場合の表示態様は、外形線を点線で示すことに限らず、所定の色を付すようにしてもよい。

また、解除オブジェクト４６０の移動は、視線操作により行われる。具体的には、ロック画面４５０が表示されている場合に、注視領域と解除オブジェクト４６０の操作領域が重なると、その後の注視領域（視線）の位置変化に応じて解除オブジェクト４６０が継続的に移動される。

そして、解除オブジェクト４６０が所定距離ｄ以上移動されると、ロック画面４５０が非表示され、キーロックが解除される。たとえば、解除オブジェクト４６０の中心４６０ａが円４７０の外形線上または外形線を越えて移動すると、解除オブジェクト４６０が所定距離ｄ以上移動されたことが判断される。

ここでは、解除オブジェクト４６０を移動させることにより、その表示態様を変化させ、所定距離ｄ以上移動されたときに、表示態様が所定の態様になったと判断して、キーロックを解除するようにしてあるが、これに限定される必要はない。たとえば、使用者が解除オブジェクト４６０を注視することにより、解除オブジェクト４６０の大きさや色を変化させることにより、その表示態様を変化させ、解除オブジェクト４６０の大きさや色が所定の大きさや所定の色に変化されたときに、所定の態様になったと判断して、キーロックを解除するようにしてもよい。かかる場合には、視線領域が解除オブジェクト４６０の表示領域（操作領域）と重なる時間が第８所定時間（たとえば、３−５秒）を経過すると、解除オブジェクトの大きさや色が所定の大きさや色に変化される。たとえば、解除オブジェクト４６０の大きさは、単位時間（たとえば、０．５−１秒）毎に、所定量（半径の長さが所定の長さ）ずつ大きくされる（または、小さくされる）。つまり、注視時間に応じて継続的に変化する。そして、解除オブジェクト４６０が、たとえば、円４７０と同じ大きさになったときに、所定の大きさになったことが判断される。したがって、注視時間が第８所定時間と一致するタイミングで変化を終了するように、線形的にまたは段階的に変化される所定量（所定のドット幅）が設定される。上記設定は、解除オブジェクト４６０の色を変化させる場合も同じである。

また、解除オブジェクト４６０の色は、単位時間毎に、その内部の色が所定量ずつ変化される。そして、解除オブジェクト４６０の色が、全体として変化されたときに、所定の色に変化されたと判断される。ここで、解除オブジェクト４６０の色に代えて、輝度が変化されてもよい。

具体的なロック解除処理（キーロック）が図２８および図２９に示される。図２８は、解除オブジェクト４６０を視線により移動させることにより、キーロックを解除させる場合のロック解除処理である。また、図２９は、解除オブジェクト４６０を注視することにより、キーロックを解除させる場合のロック解除処理である。

図２８に示すように、プロセッサ４０は、ロック解除処理を開始すると、ステップＳ３１１で、図２７に示したようなロック画面４５０をディスプレイ１４に表示する。このとき、解除オブジェクト４６０の表示領域に対応して操作領域が設定され、対応する操作領域データ５０４ｄがデータ記憶領域５０４に記憶される。また、このロック解除処理は、キーロック機能がオンされている場合に、携帯電話機１０の使用を開始するとき（ディスプレイ１４の電源がオフからオンにされたとき）に実行される。

次のステップＳ３１３では、注視領域の検出を開始する。つまり、プロセッサ４０は、後述する注視領域検出処理（図１５）を、ロック解除処理と並列的に実行する。次のステップＳ３１５では、注視領域を取得する。プロセッサ４０は、注視領域データ５０４ｃを参照して、注視領域検出処理によって検出された注視領域を取得する。次のステップＳ３１７では、取得した注視領域が操作領域と重なるかどうかを判断する。ここでは、操作領域データ５０４ｄが参照され、先に取得された注視領域が操作領域に重なるかどうかが判断される。ステップＳ３１７で“ＮＯ”であれば、つまり取得した注視領域が操作領域と重なっていなければ、そのままステップＳ３１５に戻る。

一方、ステップＳ３１７で“ＹＥＳ”であれば、つまり取得した注視領域が操作領域に重なっていれば、ステップＳ３１９で、注視領域を取得し、ステップＳ３２１で、注視領域が変化したかどうかを判断する。つまり、プロセッサ４０は、今回検出した注視領域が、注視領域データ５０４ｃが示す注視領域と異なるかどうかを判断する。

ステップＳ３２１で“ＮＯ”であれば、つまり注視領域が変化していなければ、視線が移動していないと判断して、そのままステップＳ３１９に戻る。一方、ステップＳ３２１で“ＹＥＳ”であれば、つまり注視領域が変化していれば、視線が移動したと判断して、ステップＳ３２３で、現在の注視領域に解除オブジェクト４６０を移動させる。たとえば、プロセッサ４０は、注視領域の中心と解除オブジェクト４６０の中心とが一致するように、解除オブジェクト４６０を表示する。

次のステップＳ３２５では、キーロックの解除かどうかを判断する。つまり、プロセッサ４０は、解除オブジェクト４６０が所定距離ｄ以上移動したかどうかを判断する。ステップＳ３２５で“ＮＯ”であれば、つまりキーロックの解除でなければ、そのままステップＳ３１９に戻る。一方、ステップＳ３２５で“ＹＥＳ”であれば、つまりキーロックの解除であれば、ステップＳ３２７で、ロック画面４５０を非表示（消去）して、ロック解除処理を終了する。

次に、図２９に示すロック解除処理（キーロック）について説明するが、図２８に示したロック解除処理と同じ内容については簡単に説明することにする。図２９に示すように、プロセッサ４０は、ロック解除処理を開始すると、ステップＳ３４１で、図２７に示したようなロック画面４５０をディスプレイ１４に表示する。次のステップＳ３４３では、注視領域の検出を開始する。続いて、ステップＳ３４５では、注視領域を取得し、ステップＳ３４７で、取得した注視領域が操作領域と重なるかどうかを判断する。ステップＳ３４７で“ＮＯ”であれば、そのままステップＳ３４５に戻る。

一方、ステップＳ３４７で“ＹＥＳ”であれば、ステップＳ３４９で、注視タイマ５０４ｈをリセットおよびスタートする。続いて、ステップＳ３５１で、注視領域を取得し、ステップＳ３５３で、取得した注視領域が操作領域と重なるかどうかを判断する。

ステップＳ３５３で“ＮＯ”であれば、そのままステップＳ３４９に戻る。一方、ステップＳ３５３で“ＹＥＳ”であれば、ステップＳ３５５で、解除オブジェクト４６０の表示面積（大きさ）、すなわち解除オブジェクト４６０の半径の長さを所定量大きくする（または、小さくする）。そして、ステップＳ３５７で、第８所定時間（たとえば、３−５秒）を経過したかどうかを判断する。ここでは、プロセッサ４０は、注視タイマ５０４ｈのカウント値が第８所定時間を超えたかどうかを判断することにより、使用者が第８所定時間以上解除オブジェクト４６０を注視しているかどうかを判断するのである。

ステップＳ３５７で“ＮＯ”であれば、つまり第８所定時間を経過していなければ、キーロックを解除しないと判断して、ステップＳ３５１に戻る。なお、ステップＳ３５１−Ｓ３５７において、注視時間に応じて所定量ずつ解除オブジェクト４６０の表示面積が拡大される（または、縮小される）。

一方、ステップＳ３５７で“ＹＥＳ”であれば、つまり第８所定時間を経過すれば、キーロックを解除すると判断して、ステップＳ３５９で、ロック画面４５０を非表示（消去）して、ロック解除処理を終了する。

なお、ここでは、解除オブジェクト４６０を注視することにより、当該解除オブジェクト４６０の表示面積を変化させるようにしたが、上述したように、解除オブジェクト４６０の色を変化させるようにしてもよい。

また、ここでは、解除オブジェクト４６０を注視しているとき、その表示面積や色を変化させるようにしたが、解除オブジェクトの表示態様を何ら変化させずに、第８所定時間を経過したときに、キーロックを解除するようにしてもよい。かかる場合には、ステップＳ３５５の処理を削除すればよい。

このように、視線操作によりキーロックを解除するため、他者が視線操作によりキーロックを解除しようとしても、両目の距離Ｌが異なるなどの理由により、正しく視線操作が認識されないため、当該他者によって意図せずに携帯電話機１０が使用されることを防止することができる。このことは、セキュリティロックの解除についても同様である。

なお、視線操作が可能であることを前提として、図２８および図２９に示したようなロック解除処理（キーロック）を実行できるように説明したが、実際には、事前にキャリブレーションが実行されている必要がある。

また、図２８および図２９では、視線操作のみによってキーロックを解除するようにしてあるが、ロック画面４５０が表示されてから所定時間以上視線操作がない場合、もしくは、所定回数、視線操作によるロック解除が失敗された場合には、視線操作に代えて、タッチ操作により、キーロックの解除を実行するようにしてもよい。

また、この実施例では、目覚まし時計として携帯電話機１０のアラーム機能を使用する場合について説明したが、スケジュールについてのアラームとして使用することもできる。スケジュールについてのアラームとして使用する場合には、アラームを鳴動するときに、またはアラームを停止したときに、スケジュールの内容をディスプレイ１４に表示するようにすれば、使用者に、スケジュールの内容を確実に確認させることができる。

図３０（Ａ）および図３０（Ｂ）は、スケジュールについてのアラームのアラーム画面６００の例を示す。このアラーム画面６００は、スケジュールについてのアラームの日時になると、アラームを鳴動するときに、ディスプレイ１４に表示される。

図３０（Ａ）（図３０（Ｂ）も同じ。）に示すように、アラーム画面６００は、表示領域６０２および表示領域６０４を含む。表示領域６０４には、月日、曜日および現在時刻などの情報が表示されるとともに、アラームを停止するためのボタン画像６１０が表示される。さらに、ボタン画像６１０の下方に、スケジュールの内容が表示される。ただし、スケジュールの時刻（日付を含む。）および内容は、使用者がスケジュール機能を実行することにより予め登録されている。

したがって、アラーム画面６００が表示されている場合に、使用者が視線操作することにより、ボタン画像６１０を注視している時間（注視時間）が第９所定時間（たとえば、１−３秒）を経過すると、ボタン画像６１０がオンされる。すると、アラームが停止される。上述したように、スケジュールの内容は、アラーム画面６００を表示するときに、または、ボタン画像６１０がオンされたときに表示される。

また、図３０（Ｂ）に示すアラーム画面６００では、ボタン画像６１０にスケジュールの内容が表示される。視線操作により、アラームを停止させる方法は、図３０（Ａ）に示すアラーム画面６００と同様であり、ボタン画像６１０を注視することにより行われる。したがって、図３０（Ｂ）に示すアラーム画面６００が表示される場合には、使用者はアラームを停止するための視線操作を実行しながら、スケジュールの内容を確認することができる。

なお、この実施例では、赤外線カメラと赤外線ＬＥＤと１つずつ縦方向に離して配置するようにしたが、これに限定される必要はない。たとえば、スマートフォンのような電子機器では、横向きで使用する場合もあるため、このような場合にも、視線操作が可能な構成としてもよい。

たとえば、図３１（Ａ）および図３１（Ｂ）に示すように、赤外線カメラ３０および赤外線ＬＥＤ３２に加えて、赤外線ＬＥＤ３４が設けられる。図３１（Ａ）に示すように、この赤外線ＬＥＤ３４は、ディスプレイ１４の上部側であり、ディスプレイ１４の右側（赤外線カメラ３０とは反対側）に配置される。したがって、図３１（Ａ）に示すように、携帯電話機１０を縦向きで使用する場合には、上述の実施例で説明したように、赤外線カメラ３０と赤外線ＬＥＤ３２とを用いて視線を検出することにより、使用者は視線操作が可能である。また、図３１（Ｂ）に示すように、携帯電話機１０を横向きで使用する場合には、赤外線カメラ３０と赤外線ＬＥＤ３４とを用いて視線を検出することにより、使用者は視線操作が可能である。つまり、携帯電話機１０を縦向きと横向きとで、使用する赤外線ＬＥＤ（３２、３４）が切り替えられる。たとえば、加速度センサを設けることにより、携帯電話機１０の向きは検出可能である。また、横向きの場合には、赤外線カメラ３０と赤外線ＬＥＤ３４とは、使用者の右目側に配置されることになるため、横向きの場合には、右目の瞳孔および右目の反射光に基づいて注視領域が決定される。このように、２つの赤外線ＬＥＤを設けるようにすれば、複雑な計算を行わずに、縦向きおよび横向きの両方の場合に、視線操作を行うことができる。

また、たとえば、図３２（Ａ）および図３２（Ｂ）に示すように、赤外線カメラ３０と赤外線ＬＥＤ３２をディスプレイ１４の対角線上に配置するようにしてもよい。ただし、赤外線カメラ３０がディスプレイ１４の右側で、赤外線ＬＥＤ３２がディスプレイ１４の左側でもよい。このように構成することにより、部品を増やさずに、縦向きおよび横向きのいずれの場合にも、視線操作が可能である。

なお、本実施例では、プロセッサの処理が視線操作によって実行される場合について説明したが、キー操作やタッチ操作によって実行されても良いことは言うまでもない。ただし、視線操作による処理が実行されている場合には、キー操作やタッチ操作を受け付けないようにしてもよい。

また、本実施例では、視線操作が可能である場合について説明したが、実際には、視線操作（視線入力）が可能である場合とそうでない場合とがあるため、視線操作が可能である場合には、その旨のメッセージないし画像（アイコン）を表示するようにしてもよい。また、視線操作を実行している場合には、視線入力を受け付けている（視線操作の実行中である）旨のメッセージないし画像を表示するようにしてもよい。このようにすれば、使用者は、視線操作が可能であること、視線入力が受け付けられていることを認識することができる。

さらに、この実施例では、アラーム処理、アプリ処理、電子書籍処理、ブラウザ処理および着信処理が開始されると、自動的に視線操作を検出するようにしたが、これに限定される必要はない。たとえば、所定のキー操作やタッチ操作に応じて、視線操作を開始するようにしてもよい。同様に、視線操作の終了を、所定のキー操作やタッチ操作で指示してもよい。

さらにまた、図１６および図１７に示した実行機能判断処理では、アラーム処理、アプリ処理、電子書籍処理、ブラウザ処理および着信処理はそれぞれ独立して実行されるように説明したが、アラーム処理、アプリ処理、電子書籍処理およびブラウザ処理が実行中であっても、着信がある場合には、着信処理が割り込みで実行される。

したがって、上述したように、視線操作の開始および終了を指示したり、視線操作が可能であるアプリケーションないし機能と視線操作が可能でないアプリケーションないし機能が混在したりする場合には、着信処理を割り込みで開始した場合に、直前に実行していたアプリケーションないし機能において、視線操作を行っているかどうかで、着信処理において視線操作が可能かどうかを設定するようにしてもよい。

たとえば、直前に実行していたアプリケーションないし機能において視線操作を行っていた場合に、着信が有ると、視線操作に基づいて応答または停止を指示することができる。逆に、着信が有ると、視線操作を不能にして、キー操作およびタッチ操作のみを受け付けて、キー操作やタッチ操作によって応答または停止を指示するようにしてもよい。かかる場合には、注視領域を検出する等の処理にかかる時間を必要としないため、着信に対して早急に応答したり、停止したりすることができる。また、直前に実行していたアプリケーションないし機能においてキー操作やタッチ操作を行っていた場合に、着信が有ると、そのままキー操作やタッチ操作に基づいて応答または停止を指示するようにしてもよい。つまり、着信の前後で操作方法が維持されるため、使用者にとって、操作方法を変える煩わしさがない。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯端末にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …携帯電話機
１４ …ディスプレイ
１６ …タッチパネル
３０ …赤外線カメラ
３２、３４ …赤外線ＬＥＤ
４０ …プロセッサ
５０ …入力装置
５４ …フラッシュメモリ
５６ …ＲＡＭ
６０ …ＬＥＤドライバ
６２ …撮影画像処理回路

Claims (13)

1. 表示部を備える電子機器であって、
   前記表示部の上部側に配置された赤外線を検出するための赤外線カメラと、
   前記表示部の下部側であり、当該表示部を挟んで前記赤外線カメラと対角の位置に配置された赤外線出力部と、
   前記表示部の画面を分割した各分割領域を使用者に注視させた場合に、前記赤外線カメラの検出結果に基づいて当該各分割領域に対応する基準の視線ベクトルのそれぞれを予め検出する基準ベクトル検出部と、
   前記赤外線カメラの検出結果に基づいて検出された前記使用者の現在の視線ベクトルと、前記基準の視線ベクトルのそれぞれとに基づいて決定される１つの前記分割領域を現在の注視領域として検出する注視領域検出部を備える、電子機器。
2. 前記赤外線カメラと前記赤外線出力部を前記表示部の縦方向と並行な直線上に配置する、請求項１記載の電子機器。
3. 前記赤外線カメラによって検出された前記使用者の瞳孔と前記赤外線出力部の反射光に基づいて前記視線ベクトルを検出し、
   前記注視領域検出部によって検出された注視領域に基づいて所定の処理を実行する実行部をさらに備える、請求項１または２記載の電子機器。
4. 前記表示部は１または複数の縮小画像を表示し、
   前記注視領域検出部によって検出された注視領域が重なる前記縮小画像の表示態様を時間の経過に従って変化させる表示態様変化部をさらに備える、請求項１ないし３のいずれかに記載の電子機器。
5. 前記実行部は、前記表示態様変化部によって前記縮小画像が所定の態様に変化されたとき、当該縮小画像に割り当てられた所定の処理を実行する、請求項４記載の電子機器。
6. 前記表示部に１または複数の所定領域を設定し、
   前記実行部は、前記注視領域検出部によって検出された注視領域が前記所定領域と重なるとき、当該所定領域に割り当てられた所定の処理を実行する、請求項３記載の電子機器。
7. 前記所定の処理は、ページの移動である、請求項６記載の電子機器。
8. 前記所定の処理は、画面のスクロールである、請求項６記載の電子機器。
9. 前記表示部に文字ないし縮小画像を含むロック画面を表示し、
   前記注視領域検出部によって検出される注視領域が重なる文字ないし縮小画像の配列を時系列に従って検出する配列検出部と、
   前記配列検出部によって検出された文字ないし縮小画像の配列に所定の配列が含まれるとき、前記ロック画面を消去するロック解除部をさらに備える、請求項１ないし３のいずれかに記載の電子機機器。
10. 前記表示部に所定のオブジェクトを含むロック画面を表示し、
    前記注視領域検出部によって検出される注視領域が前記所定のオブジェクトと重なるとき、当該所定のオブジェクトの表示態様を変化させる表示態様変化部と、
    前記表示態様変化部によって変化された表示態様が所定の態様に変化されたとき、前記ロック画面を消去するロック解除部をさらに備える、請求項１ないし３のいずれかに記載の電子機器。
11. 前記表示部に所定のオブジェクトを含むロック画面を表示し、
    前記注視領域検出部によって検出される注視領域が前記所定のオブジェクトと重なる時間が所定時間を経過したとき、前記ロック画面を消去するロック解除部をさらに備える、請求項１ないし３のいずれかに記載の電子機器。
12. アラーム時に前記表示部に少なくともアラームを停止させるためのアラーム画面を表示し、
    前記実行部は、前記注視領域検出部によって検出される注視領域が前記アラーム画面の所定領域に所定時間継続して重なるとき、前記アラームを停止させる、請求項３記載の電子機器。
13. 電話機能を備え、
    着信時に前記表示部に少なくとも着信応答または着信停止するための２つの所定領域を含む選択画面を表示し、
    前記実行部は、前記注視領域検出部によって検出される注視領域が前記選択画面の前記所定領域に所定時間継続して重なるとき、当該所定領域に応じて着信応答または着信停止する、請求項３記載の電子機器。

Images