JP5160293B2 - 携帯端末、その表示制御方法および表示制御プログラム - Google Patents

Description

本発明は、携帯端末に関し、特に、携帯端末の画面表示の制御を、より効果的に行える携帯端末、その表示制御方法および表示制御プログラムに関する。

ＬＣＤ、有機ＥＬなどの表示デバイスを用いた携帯端末の代表的なものとして携帯電話端末がある。このような携帯端末は電源として二次電池を採用しており、その電池残量が所定レベル以下となると動作不能となる。したがって、連続使用可能時間を伸ばすためには消費電力の低減が重要となる。

特に、表示デバイスの消費電力は携帯端末全体の消費電力に大きな比重を有するため、従来、携帯端末においては、消費電力の低減（すなわち節電）を目的として、一定時間、携帯端末の操作が行われていないことが検出されたとき、段階的若しくは急激に画面の明るさを低下させたり、表示を消したりする機能が備えられている。

携帯端末がカバンやポケットにしまってある場合のように、ユーザが端末の表示画面を見る必要のない場合、電力の消費を抑えるために、間欠的に距離センサを動作させて、ある所定時間以上の期間中に連続して近距離の被検出物（カバンやポケットの壁）が検出されたときに画面表示をオフする技術が提案されている（特許文献１参照）。

また、カメラ付きの携帯端末において、特定条件を満たしたときにカメラ機能を起動し、ユーザの顔を撮影し、その特徴を分析することで本人認証（顔認証）を行う技術が提案されている（特許文献２）。

さらに、カメラ付きの携帯端末において、撮影像内に写った人物の顔および目を検出し、表示画面に表示されている情報が端末ユーザ自身以外の他人により覗かれているおそれがあることを検出し、警告を発する技術も提案されている（特許文献３参照）。
特開２００２−１９８８９４号公報 特開２００５−２４４５８９号公報 特開２００３−２６４８７７号公報

従来の節電機能では、ユーザが端末を操作することなく表示デバイスの画面を見続けている場合において、突然画面の輝度が低下したり消えたりすると、元の非節電表示状態に戻すためにユーザはいずれかのキーを押下するなどの何らかの操作をしなければならない。このような操作はユーザにとって煩わしい。また、例えばニュースのテロップ表示などを見ている場合に表示が途切れると、その後に操作をしてもテロップ表示の再開が途切れた時点と連続せず、節電機能が端末利用の妨げになる場合がある。

逆に、ユーザが画面を目視していないのに、常に画面が見られていることを前提としたアプリケーションなどを起動していることによって画面の表示状態が連続的に維持される場合には、画面表示のために無駄な電力を消費されることになる。

特許文献１に記載の従来技術では、カバンやポケットに収納されているときの節電は図れるが、そのような収納物から外に出されている場合でもユーザが目視していない場合には対応できない。

特許文献２，３には携帯端末がカメラによりユーザの顔を撮影して検出することが示されているが、その撮影結果を節電に利用することについては何ら言及されていない。

本発明はこのような背景においてなされたものであり、携帯端末の使い勝手を損なうことなく消費電力の節減を図ろうとするものである。

本発明の携帯端末は、表示画面に情報を表示する表示手段と、ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備え、前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有し、前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。リトライの結果、瞬き等の瞬間的なユーザ動作に基づく誤判定に対処することが可能となる。

この構成によりユーザが表示画面を目視している間は表示状態を維持し、目視していないときには表示状態の維持を解除する、という表示制御を行うことができる。「表示状態の維持を解除」とは、具体的には例えば表示のオフ（バックライトがあればその消灯）、輝度（明るさ）低下、等である。

前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定するようにしてもよい。これにより、瞬き等により瞬間的に目視していない状態が撮影された場合の誤動作が防止される。

前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定するようにしてもよい。携帯端末から遠く離れた位置に居る人物の顔が検出されてもその人物は当該端末の表示画面を見ているユーザではないと推測され、この構成によりそのような人物の撮影に基づく誤動作が防止される。

他の携帯端末は、表示画面に情報を表示する表示手段と、ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備え、前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有し、前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するものである。これにより、人形や写真等が偶然撮影された場合の誤動作が防止される。

前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行するようにしてもよい。これにより、必要性の高いアプリケーションについてのみ本発明の動作を実行させることができる。換言すれば、必要性の低いアプリケーションについて不要な撮影等の処理の実行を回避することができる。

カメラ付き携帯端末の表示制御方法は、ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、前記チェックするステップは、撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、前記判定するステップは、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライするステップを含むものである。
他のカメラ付き携帯端末の表示制御方法は、ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、前記チェックするステップは、撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、前記判定するステップは、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するステップを含むものである。

本発明はこのような表示制御を行うコンピュータプログラムおよびこのプログラムをコンピュータ読み取り可能に格納した記録媒体としても把握することができる。

本発明の他の構成および作用効果については以下に説明する。

本発明によれば実際にユーザが端末の表示画面を目視しているか否かまでチェックして表示制御を行うので、ユーザの実際の利用状態に即した表示制御を行うことが可能となる。目視の有無により表示制御を行うことにより、ユーザの煩わしい操作の必要性が軽減され、携帯端末の使い勝手が向上する。

また、目視の有無のチェックは携帯端末に付属のカメラを利用し、その撮影画像に基づいて行うことができるので、本発明の実施のために特別なハードウェアの追加は必要ない。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。

図１は本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。

携帯端末は、テキストや画像等の各種情報を表示画面上に表示する表示部１２０と、ユーザの現在の状態、具体的には携帯端末の表示画面を目視しているか否かを周期的に検出するユーザ状態検出部１００と、ユーザからの操作を受ける操作部１３０と、ユーザ状態検出部１００および操作部１３０の出力に応じて表示部１２０の表示状態を制御する表示制御部１１０とを備えている。

ユーザ状態検出部１００は、携帯端末に備えられ、ユーザが表示画面を見ている状態の顔を撮影することができる撮影部１０１と、この撮影結果に基づいて撮影像中の顔および所定の顔パーツ（目、口等）を認識する顔認識処理部１０３と、この顔認識処理部１０３の認識結果に基づいてユーザが現在表示画面を目視しているか否かを判定する判定部１０５とを有する。

図２に、携帯電話端末を例とした本発明による携帯端末２００の正面外観図を示す。この携帯端末２００は、表示部１６を有する上部筐体１４とテンキーを始めとする各種操作キーを備えた操作部を有する下部筐体２５とをヒンジ部１８で結合した折り畳み式の携帯電話端末を示している。上部筐体１４の表示部１６の画面と同じ側に、上記撮影部１０１として機能する前面カメラ２１３が配置されている。近年、被写体の撮影用に上部筐体の背面に配置されたカメラの他、テレビ電話機能をサポートするためにこのような前面カメラ２１３を備えた機種も出現している。勿論、筐体において前面側と背面側との間でレンズの向きを回転可能に支持されているカメラであっても、本発明の撮影部１０１として利用することができる。

なお、携帯電話端末は折り畳み式に限るものではなく、いわゆるストレート型、スライド型、等その筐体の型は任意である。

顔認識処理部１０３の顔認識技術は、デジタルカメラなどで採用されている既存の顔検出技術を用いることができるのでここでは詳述しない。

図３は、図２に示した携帯端末２００の概略のハードウェア構成を示したブロック図である。

携帯端末２００は、バス２１５で相互に接続された、制御部２０１、通信部２０３、表示部２０４、操作部２０５、記憶部２０６、音声処理部２１０、この音声処理部２１０に接続されたスピーカ２１１、マイク２１２、前面カメラ２１３等を備えている。図示しないが、その他、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信部、ＧＰＳ受信部、非接触ＩＣ機能部等を含んでもよい。

制御部２０１は、ＣＰＵ等を含み、携帯端末２００の各部を制御する。本実施の形態では、この制御部２０１が表示制御部１１０およびユーザ状態検出部の一部として機能する。勿論、制御部２０１と独立したユーザ状態検出部を備えてもよい。

通信部２０３は、ＲＦ部、変調回路等を含み、アンテナ２０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。

表示部２０４は、図１の表示部１２０に相当し、ユーザに対して可視情報を提示するための表示インタフェースを提供するものであり、ＬＣＤや有機ＥＬ等の表示デバイスを含む。表示デバイスの種類によっては背面から光を照射するバックライトを内蔵している。

操作部２０５は、図１の操作部１３０に相当し、ユーザが指示やデータを入力するための入力インタフェースを提供するものであり、テンキー、カーソル移動キー、通話キー、電源キー等の各種操作キーを含む。

記憶部２０６は、ＲＯＭ，ＲＡＭ，ＨＤＤ等の記憶装置を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムや各種データを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。プログラムには、本実施の形態における顔画像認識処理および判定を行うためのプログラムおよび必要なデータも含む。

音声処理部２１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ２１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。

前面カメラ２１３は、図１の撮影部１０１に相当し、ＣＭＯＳ、ＣＣＤ等の撮像素子を有し、撮影した被写体のデジタル画像データを得るための撮影部を構成している。

以下、上述したような携帯端末２００の装置構成において、本実施の形態の動作について説明する。

図４は、携帯端末２００の典型的な使用状態を示している。すなわち、ユーザは携帯端末２００の表示画面を自身の顔の方向に向けた状態で、自身の片方の手で携帯端末２００を把持する。この状態で前面カメラ２１３の撮影を行うと、その撮影像にはユーザの顔が写ることになる。この撮影像から現在ユーザが表示画面を目視しているか否かを判断する。前面カメラ２１３の撮影を周期的（例えば１秒ないし数秒毎）に行えば、ユーザの状態の変化を確認することができる。すなわち、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目（両目）を閉じていることを検出したとき、前記判定部１０５は、ユーザが表示画面を目視していないと判定する。

ユーザが表示画面を目視していることが確認されている間、表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、表示画面の表示状態の維持を解除する。「表示状態の維持を解除」には上述したように表示のオフ（バックライトがあればその消灯）、輝度（明るさ）低下、等を含むが、以下では、便宜上、単に表示のオフ、表示オフ、表示をオフする、等と表現する。

携帯端末２００の初期状態は、表示状態の維持を解除した状態であり、本実施の形態におけるユーザ状態検出部１００からの検出出力が発生した場合、または、何らかの割り込みイベントが発生した場合に表示状態がオンとなる。割り込みイベントとは、キー操作、電話の呼び出しやアラームなどの発生である。この時点で時間カウント値がリセットされ、時間カウントが再開される。割り込みイベントが何ら発生することなく時間カウント値が所定値に達した時に画面表示はオフにされる。

ユーザ状態検出部１００の出力が「目視あり」から「目視なし」に変化したとき、表示部の現在の状態が表示オン状態であれば、表示制御部により表示オンから表示オフに切り替える。ユーザ状態検出部１００の出力が「目視なし」から「目視あり」に変化したとき、表示部の現在の状態が表示オフ状態であれば、表示オンに切り替える。ただし、表示オフから表示オンへの切り替えはユーザ状態検出部１００の出力によっては行わず、割り込みイベントの発生によってのみ行うようにすることも可能である。

本実施の形態における、ユーザの表示画面に対する「目視」の有無についての具体的な判定方法を以下に説明する。

「目視」状態の誤検出を避け、更に計算処理負荷を低減することによる高速化と電力消費の低減化を目的として、以下のような基準で判定を行う。
（１）二点の開いた目と口が検知されたことをもって顔が検出されたと判定する。すなわち、顔として認識する顔の向きを、カメラに対して正面、或いは正面に近い方向に限定する。これは、表示画面を見づらい位置から長時間見続けることがまれであり、その状況下において顔検出に失敗することにより、ユーザは画面を目視していないと判断できる。図５（ａ）〜（ｃ）は、携帯端末２００の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示している。この場合、（ａ）（ｂ）については顔が検出されたと判定され、（ｃ）については顔は検出されなかったと判定される。
（２）顔検出を行う範囲を、携帯端末から所定の距離範囲（例えば数１０ｃｍから１ｍ前後）内とする。これは、遠く離れた場所から携帯電話の画面を長時間見続けることは殆どないと考えられるからである。このような範囲内に限定することで、実際のユーザ以外に対しての誤反応の可能性を軽減することができる。図６に、この判定方法の一例を示す。図６（ａ）（ｂ）はそれぞれ許容できる距離範囲の撮影像および許容距離範囲外の撮影像の例を示している。ここでは、携帯端末から遠くに離れるほど撮影像における顔のサイズが小さくなることを利用して、一定以上の大きさの顔から検出している。図示のように、例えば、顔サイズは両目および口を含む方形領域のサイズで判定することができる。これに代えて両目の間隔で判断することも可能である。すなわち、撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する。
（３）今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する。通常、図４に示したようにユーザが携帯端末を手で把持しているような場合、携帯端末とユーザの顔との位置関係は微妙に変換し、また、ユーザがまばたきをしたりする場合もある。したがって、通常のユーザの目視状態では周期的に撮影される顔画像に微妙な変化が生じ、前後して撮影された顔画像が完全に一致することはまれである。一方、携帯端末の前にユーザがいない状況で周囲の人形や写真などの顔などを撮影してしまった際に、ユーザが目視していると判断してしまうおそれがある。しかし、携帯端末が静止状態にある（例えば机上などに固定的に載置されている）場合でも、周囲に人形や写真が偶然に存在すれば、周期的に撮影された顔画像からユーザが目視していると判断されうる。そのような場合、カメラも被写体も静止しているので、前後に取得された顔画像同士の間では、各顔パーツの位置や色の濃淡などが完全に一致する。したがって、そのような状況を、ユーザが目視していない状態と判断することにより、誤検出を防止することができる。

なお、例えば加速度センサなどを用いることで、携帯端末が静止していない場合には、前後の顔画像の比較を行わないなどの処理を加えることも出来る。

次に図７に、本実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートを示す。この処理は図３に示した制御部２０１が記憶部２０６に格納されているプログラムを読み出して実行することにより実現される。後述する他のフローチャートの処理についても同様である。

本実施の形態では、「顔検出フラグ」と「前回顔検出フラグ」という二つのフラグを用いている。「顔検出フラグ」は上述したような判定基準に照らして顔が検出されたこと、特に本実施の形態では「目視」していることが確認されたことを示すフラグである。「前回顔検出フラグ」は前回の撮影時に顔ひいては目視が確認されてことを示すフラグである。

両フラグは初期的にオフ（ＯＦＦ）に設定している（Ｓ１１）。その後、画面の表示が行われている画面表示オンの状態か否かをチェックする（Ｓ１２）。否であればステップＳ２２へ移行する。画面表示オフの状態であれば、割り込みイベントが発生したとき（Ｓ１３，Ｙｅｓ）、画面表示をオンとし（Ｓ１４）、ステップＳ２３へ移行する。また、時間カウント値はリセットする。画面表示オンの状態で割り込みイベントも発生しなければ、顔検出判定のタイミングが到来したか否かをチェックする（Ｓ１５）。否であればステップＳ２３へ移行する。顔検出タイミングが到来したとき、顔検出処理を実行する（Ｓ１６）。この処理の詳細については後述する。

顔検出処理の結果、今回顔フラグをチェックする（Ｓ１７）。今回顔フラグがＯＦＦであれば、ステップＳ２２へ移行する。今回顔フラグがＯＮであれば、前回顔フラグをチェックする（Ｓ１８）。前回顔フラグもＯＮであれば、前回検出時の顔画像と今回検出時の顔画像とを比較する（Ｓ２１）。両顔画像が一致すれば、検出された画像は人形等のものと判断して、画面表示をオフする（Ｓ２２）。このとき、目視を促す警告や、登録された人物以外が端末を目視している旨の警告を出力（表示または音声出力等）するようにしてもよい。その後、ステップＳ１１へ戻る。

ステップＳ２１において、両顔画像が一致しなければ、ユーザが表示画面を目視していると判断して、前回顔検出フラグをＯＮにし（Ｓ１９）、今回検出時の顔画像を保存する（Ｓ２０）。ステップＳ１９ではまた割り込みイベントが発生したときのように、時間カウント値はリセットする。その後、ステップＳ１２へ戻る。ステップＳ１９，２０の順序は逆であってもよい。

ステップＳ２３では、本処理のプログラムの終了が指示されたか否かをチェックし、終了が指示されたとき、本処理を終了する。そうでなければ、ステップＳ１２へ戻る。

図８は、図７のステップＳ１６の顔検出処理の詳細フローの一例を示している。まず、顔の撮影・認識・判定の処理を実行する（Ｓ３１）。顔検出に成功したら、すなわちユーザが表示画面を目視していると判定されたとき（Ｓ３２，Ｙｅｓ）、今回顔検出フラグをＯＮに設定して（Ｓ３４）、元の処理に戻る。顔検出に成功しなかった場合、今回顔検出フラグをＯＦＦに設定して（Ｓ３３）、元の処理に戻る。

ところで、顔検出処理においては、ユーザが瞬きをしたり、一瞬だけよそ見をしたりしたときなどに撮影が行われるなど、本来であれば顔検出が成功しているべきときに、タイミングによっては失敗してしまう場合がある。そのような場合の対策を図９の顔検出処理（２）で説明する。

この顔検出処理（２）は、図８の顔検出処理（１）に対して誤動作回避措置を追加したものである。

まず、判定カウンタを０に初期化する（Ｓ４１）。ついで、判定カウンタの値が規定値以下であるかどうかをチェックする（Ｓ４２）。規定値以下であれば顔の撮影・認識・判定の処理を実行する（Ｓ４３）。顔検出に成功したら、今回顔検出フラグをＯＮに設定して、元の処理に戻る。顔検出に失敗したら、判定カウンタの値を１増やし、規定時間の待機（ウェイト）を行う（Ｓ４５）。その後、ステップＳ４２に戻る。この「規定時間」とは上記「顔検出タイミング」の周期より十分短い時間（コンマ何秒程度）である。

ステップＳ４２において判定カウンタの値が規定値を越えたら、今回顔検出フラグをＯＦＦにする（Ｓ４６）。

このように、本顔検出処理（２）によれば一度顔検出に失敗しても直ちに今回顔検出フラグをＯＦＦにするのではなく、比較的短い所定時間のうちに、再度、顔の撮影・認識・判定を行うことにより追加的に顔検出の機会が与えられる。すなわち、判定部１０５は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする。その結果、瞬き等の瞬間的なユーザ動作に基づく誤判定に対処することが可能となる。

なお、ステップＳ４２の「規定値」は顔検出のリトライが許される回数に相当する。この規定値は予め定めた固定値であってもよいし、ユーザが可変設定できるようにしてもよい。

図１０は、図７の処理の変形例を表したフローチャートである。図７に示したステップと同様のステップには同じ参照符号を付して、重複した説明は省略する。

図７の処理においては、画面表示のオン状態において顔検出に失敗したとき、オフ状態に変更するものとした。すなわち、顔検出結果は画面表示をオン状態からオフ状態に変化させるためにのみ利用した。これに対して、図１０の処理では、顔検出結果を、画面表示をオフ状態からオン状態に変化させるためにも利用するものとする。すなわち、画面表示のオフ状態において顔検出に成功したときにオフ状態をオン状態に戻す。

そのために、図１０の処理において、ステップＳ１３において割り込みイベントが発生しない場合にもステップＳ１５へ移行する。また、ステップＳ２０において今回検出時の顔画像を保存したあと、画面表示がオフ状態ならばオン状態に変更するステップＳ２４を追加した。

これにより、ユーザが一旦表示画面の目視を止めて端末が節電状態に入ったあと、ユーザが再度目視を開始したときに、自動的に節電状態から元の非節電状態に復帰させることができる。

以上の説明では、本実施の形態によるユーザ状態監視を行う対象となるアプリケーションを特に限定しなかったが、予め定めたアプリケーションについてのみユーザ状態監視を行うようにしてもよい。あるいは、予め定めたアプリケーション以外のアプリケーションについてのみユーザ状態監視を行うようにしてもよい。また、それらのアプリケーションはユーザが選択または設定可能としてもよい。図１１（ａ）は前者の場合にユーザ状態監視対象アプリケーションを登録しておくテーブルを示している。図１１（ｂ）は後者の場合にユーザ状態監視対象外アプリケーションを登録しておくテーブルを示している。アプリケーションとしては、ウェブ閲覧、メール再生・作成、テレビ視聴、写真・ビデオ閲覧、スケジューラ（カレンダ表示）、待ち受け画面、等に関するものが挙げられる。

本発明の具体的な利用例としては次のような場合が挙げられる。

１．イベントが発生せず、画面の目視を続けている場合
長文のメール・Ｗｅｂ閲覧時や、写真・ビデオ閲覧時など、キー入力などの操作が行われることなく画面の目視が行われている場合、上述した顔検出が成功し続ける限り、画面表示はオンの状態を継続される。これにより、所定時間経過に伴う表示オフなどに伴うユーザ操作のようなユーザの負担を軽減することができる。また、顔検出が失敗した場合、何らかの事情により、ユーザが画面の閲覧を中断した状態であり、画面の表示をオフにすることで、消費電力を低減する。

２．ワンセグテレビなどの利用時に、画面の目視を中断した場合
特定のアプリケーションで画面表示を常にオンの状態にしている場合、机などに携帯端末を置いた状態で他の作業をしているときなど、“ながら見”をしている場合も多い。このような場合、顔検出が失敗した場合に表示オンを継続している必要はなく、表示オフ等を行うことにより消費電力を低減できる。また、図１０で説明したようにユーザが視線を画面に戻すと自動的に画面表示がオンになるようにすれば、使い勝手を多分に向上させることができる。

なお、テレビなどの音出力を伴うアプリケーションにおいては、表示の制御に加えて音声の制御（音量オフまたは低下）も行うことが好ましい。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。

例えば、携帯電話端末を例として説明したが、本発明は、カメラ付きの携帯端末であれば、ＰＤＡ、スマートフォン、小型ＰＣ、ゲーム機、電子手帳、電子辞書など、各種の携帯端末に適用可能である。

表示の輝度（明るさ）の制御では、１回目の検出失敗時には画面照度を低減させ、２回目にはさらに低減、３回目に画面表示そのものをオフにするなど、段階的に画面表示の制御を行うようにしてもよい。この場合、画面表示が完全にオフになる前に検出が成功した場合には、ユーザの操作によらずに画面照度を元の設定に戻すようにしてもよい。

本発明の携帯端末の表示制御のための主要な機能を表した機能ブロック図である。 携帯電話端末を例とした本発明による携帯端末の正面外観図である。 図２に示した携帯端末の概略のハードウェア構成を示したブロック図である。 本発明の携帯端末の典型的な使用状態を示す図である。 携帯端末の画面に対してユーザが正面前方を向いた状態、正面斜め下方向を向いた状態、横を向いた状態のそれぞれの撮影像を示す図である。 本発明の実施の形態の撮影像における顔のサイズの判定についての説明図である。 本発明の実施の形態における顔画像検出に基づく携帯端末の表示制御処理のフローチャートである。 図７のステップＳ１６の顔検出処理の詳細フローを示した図である。 図８の顔検出処理に代わる他の顔検出処理の詳細フローを示した図である。 図７の処理の変形例を表したフローチャートである。 ユーザ状態監視対象アプリケーションまたはユーザ状態監視対象外アプリケーションを登録しておくテーブルを示す図である。

符号の説明

１４…上部筐体、１６…表示部、１８…ヒンジ部、２５…下部筐体、１００…ユーザ状態検出部、１０１…撮影部、１０３…顔認識処理部、１０５…判定部、１１０…表示制御部、１２０…表示部、１３０…操作部、２００…携帯端末、２０１…制御部、２０２…アンテナ、２０３…通信部、２０４…表示部、２０５…操作部、２０６…記憶部、２１０…音声処理部、２１１…スピーカ、２１２…マイク、２１３…前面カメラ

Claims (10)

1. 表示画面に情報を表示する表示手段と、
   ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、
   このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備え、
   前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有し、
   前記判定部は、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライする
   携帯端末。
2. 前記判定部は、前記顔認識処理部の処理結果に基づいてユーザが所定時間以上目を閉じていることを検出したとき、前記判定部は、ユーザが表示画面を目視していないと判定する請求項１に記載の携帯端末。
3. 前記判定部は、前記顔認識処理部の処理結果に基づいて撮影像全体に対するユーザの顔の撮影像のサイズが所定サイズに満たないことを検出したとき、ユーザは表示画面を目視していないと判定する請求項１に記載の携帯端末。
4. 表示画面に情報を表示する表示手段と、
   ユーザが表示画面を目視しているか否かを所定の周期でチェックするユーザ状態検出手段と、
   このユーザ状態検出手段によりユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持し、ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除する表示制御手段とを備え、
   前記ユーザ状態検出手段は、ユーザが前記表示画面を目視している状態を撮影することができる撮影部と、この撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識する顔認識処理部と、検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定する判定部とを有し、
   前記判定部は、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定する携帯端末。
5. 前記ユーザ状態検出手段によるユーザの状態の監視は、予め定められたアプリケーションについてのみ、または、予め定められたアプリケーション以外のアプリケーションについてのみ、実行する請求項１〜４のいずれかに記載の携帯端末。
6. 前記表示制御手段は、前記表示画面の表示状態の維持を解除したあと、ユーザが表示画面を目視していることが検出されたとき、前記表示画面の表示状態の復帰させる請求項１〜５のいずれかに記載の携帯端末。
7. カメラ付き携帯端末の表示制御方法であって、
   ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
   ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
   ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、
   前記チェックするステップは、
   撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、
   前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、
   検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、
   前記判定するステップは、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライするステップを含む
   携帯端末の表示制御方法。
8. カメラ付き携帯端末の表示制御方法であって、
   ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
   ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
   ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、
   前記チェックするステップは、
   撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、
   前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、
   検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、
   前記判定するステップは、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するステップを含む
   携帯端末の表示制御方法。
9. カメラ付き携帯端末の表示制御プログラムであって、
   ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
   ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
   ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、
   前記チェックするステップは、
   撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、
   前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、
   検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、
   前記判定するステップは、ユーザが表示画面を目視していないことが検出されたとき、前記所定の周期より短い周期でユーザ状態検出を所定回リトライするステップを含み、
   上記すべてのステップをコンピュータに実行させる表示制御プログラム。
10. カメラ付き携帯端末の表示制御プログラムであって、
    ユーザが表示画面を目視しているか否かを所定の周期でチェックするステップと、
    ユーザが表示画面を目視していることが確認されている間、前記表示画面の表示状態を維持するステップと、
    ユーザが表示画面を目視していないことが検出されたとき、前記表示画面の表示状態の維持を解除するステップとを備え、
    前記チェックするステップは、
    撮影部によりユーザが前記表示画面を目視している状態を撮影するステップと、
    前記撮影部を周期的に起動して撮影像を取得し、この撮影像からユーザの顔を認識するステップと、
    検出された顔画像に基づいてユーザの顔が正面を向いていることが検出されたとき、ユーザが表示画面を目視していると判定するステップとを含み、
    前記判定するステップは、今回検出された顔画像と前回または複数回前に検出された顔画像とを比較し、両顔画像が完全に一致したとき、ユーザは表示画面を目視していないと判定するステップを含み、
    上記すべてのステップをコンピュータに実行させる表示制御プログラム。

Images