JP6201282B2 - 携帯電子機器、その制御方法及びプログラム - Google Patents

Description

本発明は、携帯電子機器、その制御方法及びプログラムに関する。特に、表示部を備える携帯電子機器、その制御方法及びプログラムに関する。

近年、スマートフォン等の携帯電子機器が広く普及し、ユーザは、様々な状況で携帯電子機器を使用している。従って、ユーザが携帯電子機器の表示画面を見る距離、角度等は様々である。

特許文献１において、撮影されたユーザの顔の向きと、傾きセンサの検出結果に基づいて、画面表示の向きを切り替える携帯情報表示端末が開示されている。また、特許文献２において、携帯端末装置の移動量に基づいて、ソフトウェアキーボード画面の表示倍率を変更する技術が開示されている。

特開２０１１−２２１０９４号公報 特開２０１０−２８２４５９号公報

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

上述のとおり、ユーザが携帯電子機器を使用する状況は様々である。例えば、ユーザは、歩きながら、携帯電子機器を使用する場合がある。又は、ユーザは、電車等の中で、携帯電子機器を使用する場合がある。その場合、移動中の揺れ（手ブレ）によって、携帯電子機器の表示画面が揺れて、表示画面の視認性が低下する場合がある。そのため、ユーザは、表示画面の揺れに追従するように、視線（顔の位置、方向）を追従させる場合がある。あるいは、ユーザは、携帯電子機器を、ユーザ自身の腕等に固定して、表示画面が揺れないようにする場合がある。そのため、移動中に携帯電子機器を使用することは、ユーザの疲労の要因となりやすい。

ここで、特許文献１、２に開示された技術では、移動中の揺れに追従して、表示画面に表示する画像の向き、大きさを変更することはできない。そのため、特許文献１、２に開示された技術では、移動中の揺れに起因して、表示画面の視認性が低下することを防止できない。

従って、移動中の揺れに起因して、表示画面の視認性が低下することを防止する携帯電子機器、その制御方法及びプログラムが、望まれる。

本発明の第１の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、前記撮像部が撮影した画像から、ユーザの顔領域を検出する顔領域検出部と、基準とする前記顔領域を、基準顔領域として記憶する記憶部と、前記撮像部が撮影した画像から２以上の特徴点を検出する特徴点検出部と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析部と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更部と、を備え、前記顔領域解析部は、前記特徴点検出部が前記基準顔領域から検出した２つの特徴点を含む、第１の基準軸を抽出し、前記顔領域解析部は、前記特徴点検出部が前記第１の基準軸と同一の条件で、前記顔領域から検出した２つの特徴点を含む、第２の基準軸を抽出し、
前記顔領域解析部は、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更部は、前記角度変化量に基づいて、前記表示部に表示する画像を回転する携帯電子機器が、提供される。

本発明の第２の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器の制御方法であって、撮影画像から、ユーザの顔領域を検出する顔領域検出工程と、基準とする前記顔領域を、基準顔領域として記憶する記憶工程と、撮影画像から２以上の特徴点を検出する特徴点検出工程と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析工程と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更工程と、を含み、前記顔領域解析工程において、前記基準顔領域から検出された２つの特徴点を含む、第１の基準軸を抽出し、前記顔領域解析工程において、前記第１の基準軸と同一の条件で、前記顔領域から検出された２つの特徴点を含む、第２の基準軸を抽出し、前記顔領域解析工程において、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更工程において、前記角度変化量に基づいて、前記表示部に表示する画像を回転する携帯電子機器の制御方法が、提供される。

本発明の第３の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、撮影画像から、ユーザの顔領域を検出する顔領域検出処理と、基準とする前記顔領域を、基準顔領域として記憶する記憶処理と、撮影画像から２以上の特徴点を検出する特徴点検出処理と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析処理と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更処理と、を前記コンピュータに実行させ、前記顔領域解析処理において、前記基準顔領域から検出された２つの特徴点を含む、第１の基準軸を抽出し、前記顔領域解析処理において、前記第１の基準軸と同一の条件で、前記顔領域から検出された２つの特徴点を含む、第２の基準軸を抽出し、前記顔領域解析処理において、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更処理において、前記角度変化量に基づいて、前記表示部に表示する画像を回転するプログラムが、提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、移動中の揺れに起因して、表示画面の視認性が低下することを防止する携帯電子機器、その制御方法及びプログラムが、提供される。

一実施形態を説明するための図である。 携帯電子機器１の全体構成の一例を示す平面図である。 携帯電子機器１の内部構成の一例を示す図である。 携帯電子機器１の使用態様の一例を示す図である。 顔領域の一例を示す図である。 特徴点と顔領域の一例を示す図である。 角度変化量と表示画像の角度の関係の一例を示す図である。 顔領域と表示画像の一例を示す図である。 顔領域と表示画像の一例を示す図である。 携帯電子機器１の動作の一例を示すフローチャートである。 携帯電子機器１の動作の一例を示すフローチャートである。 顔領域と表示画像の一例を示す図である。 表示部２０に対するユーザの顔の角度と、表示態様の対応関係の一例を示す図である。 角度対応情報の一例を示す図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のとおり、ユーザが携帯電子機器を使用する状況は様々であり、移動中に携帯電子機器を使用する場合もある。しかし、移動中に携帯電子機器を使用すると、手ブレ等によって、ユーザと表示画面の距離、角度等は、頻繁に変化する。その結果、移動中に携帯電子機器を使用すると、表示画面の視認性が低下する場合がある。そのため、移動中の揺れに起因して、表示画面の視認性が低下することを防止する携帯電子機器が望まれる。

そこで、一例として、図１に示す携帯電子機器１００を提供する。

携帯電子機器１００は、表示部１０１と、表示部１０１と同一方向を向くように配置された撮像部１０２と、撮像部１０２が撮影した画像から、ユーザの顔領域を検出する顔領域検出部１０３と、基準とする顔領域を、基準顔領域として記憶する記憶部１０４と、基準顔領域に対する顔領域の相対関係を解析する顔領域解析部１０５と、相対関係に基づいて、表示部１０１に表示する情報の表示態様を変更する表示態様変更部１０６と、を備える。

携帯電子機器１００は、撮影されたユーザの顔領域を解析し、解析結果に基づいて、表示部１０１に表示する情報の表示態様を変更する。具体的には、まず、顔領域検出部１０３は、撮像部１０２が撮影した画像から、ユーザの顔領域を検出する。ここで、携帯電子機器１００、又はユーザの顔の移動に応じて、検出される顔領域の大きさ、角度等は変化する。そこで、顔領域解析部１０５は、予め記憶部１０４に記憶している基準顔領域と、検出された顔領域の相対関係を解析する。そして、携帯電子機器１００は、顔領域解析部１０５の解析結果に基づいて、視認性が高くなるように、表示部１０１に表示する情報の表示態様を変更する。従って、携帯電子機器１００は、移動中の揺れに起因して、表示部１０１の視認性が低下することを防止できる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る携帯電子機器１の全体構成の一例を示す平面図である。

携帯電子機器１は、撮像部１０と、表示部２０と、操作部３０と、を含んでいる。なお本実施形態に係る携帯電子機器１を、図２で示す形態に限定する趣旨ではない。携帯電子機器１には、例えば、スマートフォン、携帯電話、ゲーム機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ等が相当する。

撮像部１０は、表示部２０と同一方向を向くように配置され、表示部２０と相対するユーザの顔を撮影できる。以下、撮像部１０が撮影する画像を、撮影画像と呼ぶ。なお、撮像部１０は、表示部２０と同一面に配置されることが好ましい。

ユーザは、表示部２０により携帯電子機器１が表示する情報（文字や写真等）を視認する。表示部２０には、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等を使用することができる。

操作部３０は、携帯電子機器１に対するユーザの操作を受け付ける。図２では、操作部３０としてハードウェアキーを図示しているが、タッチパネル等の操作手段を採用することもできる。

図３は、携帯電子機器１の内部構成の一例を示す図である。携帯電子機器１は、撮像部１０と、表示部２０と、操作部３０と、制御部４０と、記憶部５０と、を含んで構成される。図３には、簡単のため、本実施形態に係る携帯電子機器１に関係するモジュールを主に記載する。なお、表示部２０と、操作部３０は、上述のとおりであるため、更なる説明を省略する。

撮像部１０は、上述のとおり、ユーザの顔を撮影する。そして、撮影画像は記憶部５０に記憶される。記憶部５０に記憶された撮影画像は、制御部４０からアクセス可能である。なお、撮像部１０は、ユーザの操作に基づいて起動するようにしてもよい。

図４は、ユーザによる携帯電子機器１の使用態様の一例を示す図である。図４（ａ）は、ユーザが携帯電子機器１を把持した場合を側面から示す図である。また、図４（ｂ）は、図４（ａ）の場合の撮影画像２０１の一例を示す図である。また、図４（ｃ）は、図４（ａ）の状態で、表示部２０に表示する画像の一例を示す図である。以下の説明では、表示部２０に表示する画像を表示画像と呼ぶ。

また、以下の説明では、図４（ｂ）に示すように、撮影画像２０１の左上の頂点を原点（Ｘ，Ｙ）＝（０，０）とする。そして、原点から、水平方向をＸ軸、垂直方向をＹ軸とする。さらに、図４（ｃ）に示すように、表示部２０の左上の頂点を原点（ｘ，ｙ）＝（０，０）とする。そして、原点から水平方向をｘ軸、垂直方向をｙ軸とする。なお、図４（ｂ）に示すように、Ｘ軸は、表示部２０の右方向を正とする。Ｙ軸は、表示部２０の下方向を正とする。さらに、図４（ｃ）に示すように、ｘ軸は、表示部２０の右方向を正とする。ｙ軸は、表示部２０の下方向を正とする。

制御部４０は、図２に示す撮像部１０等の機能モジュールだけではなく、携帯電子機器１の全体を制御する。制御部４０は、特徴点検出部４１と、顔領域検出部４２と、顔領域解析部４３と、表示態様変更部４４と、画像信号生成部４５と、を含んで構成される。

特徴点検出部４１は、撮影画像から、予め定めた特徴を持つ複数の特徴点を抽出する。具体的には、特徴点検出部４１は、撮影画像から、眼等を特徴点として抽出する。

顔領域検出部４２は、撮影画像から、ユーザの顔領域を検出する。具体的には、顔領域検出部４２は、特徴点検出部４１が検出した特徴点を含む領域を、顔領域として検出する。例えば、顔領域には、眼、口の特徴点を含む領域が好ましい。

図５は、顔領域検出部４２が検出する顔領域の一例を示す図である。図５（ａ）では、顔領域３０１は、撮影画像２０１において、眼及び口を含む領域である。一方、図５（ｂ）では、顔領域３０２は、撮影画像２０１において、眼を含む領域である。

顔領域解析部４３は、顔領域を解析する。具体的には、顔領域解析部４３は、顔領域の大きさ、角度を含む情報を取得する。以下、顔領域解析部４３の解析対象の顔領域を、対象顔領域と呼ぶ。なお、顔領域解析部４３の詳細については、後述する。

表示態様変更部４４は、顔領域解析部４３の解析結果に基づいて、ユーザに提供する情報（表示画像）の表示態様を決定する。具体的には、表示態様変更部４４は、表示画像の角度及び大きさを変更する。

画像信号生成部４５は、決定された表示態様に基づいて、表示画像の画像信号を生成する。

記憶部５０は、予め所定の位置、及び角度で撮影された撮影画像を、基準撮影画像として、記憶する。具体的には、まず、ユーザは、表示部２０の視認性が高い位置、角度で携帯電子機器１を把持する。そして、撮像部１０は、ユーザの操作キー（操作部３０）を押下する等の操作に基づいて、ユーザの顔を撮影する。以下、基準撮影画像から検出される顔領域を、基準顔領域と呼ぶ。さらに、以下では、基準顔領域を決定する操作を、基準顔領域の決定操作と呼ぶ。基準撮影画像は、図４（ａ）に示すように、ユーザが携帯電子機器１に正対し、撮影された画像が好ましい。

なお、基準撮影画像を撮影する際、ユーザ毎に、ユーザの顔と表示部２０の距離等は異なる。例えば、近視のユーザは、表示部２０とユーザの顔の距離が近くなるように、携帯電子機器１を把持する場合が多い。一方、遠視のユーザは、表示部２０とユーザの顔の距離が遠くなるように、携帯電子機器１を把持する場合が多い。

ここで、携帯電子機器１は、例えば、基準画像撮影モードを備えていてもよい。具体的には、基準画像撮影モードでは、制御部１０は、サンプルの文字や画像等を表示部２０に表示する。そして、ユーザは、表示部２０に表示される文字や画像等を視認しやすい位置及び角度で、携帯電子機器１を把持する。そして、撮像部１０は、ユーザの操作に基づいて、ユーザの顔を撮影する。

次に、表示画像の表示態様の変更について、詳細に説明する。

上述のとおり、表示態様変更部４４は、顔領域解析部４３の解析結果に基づいて、表示画像の表示態様を決定する。ここで、顔領域解析部４３は、基準顔領域に対する対象顔領域の相対関係を解析する。

まず、表示画像の角度について説明する。

顔領域解析部４３は、基準顔領域に対する対象顔領域の角度（傾き）を算出する。以下、基準顔領域に対する対象顔領域の角度を角度変化量と呼ぶ。そして、表示態様変更部４４は、対象顔領域の角度に応じて、表示画像を回転する。

具体的には、顔領域解析部４３は、基準顔領域内から一つの軸（以下、第１の基準軸と呼ぶ）を抽出する。第１の基準軸は、例えば、基準顔領域内の２つの特徴点を端点とする線分であっても良い。または、第１の基準軸は、左右の眼の端点を結ぶ線分であっても良い。あるいは、第１の基準軸は、鼻、口等の特徴点を結ぶ線分であってもよい。

さらに、顔領域解析部４３は、対象顔領域内から、一つの軸（以下、第２の基準軸と呼ぶ）を抽出する。ここで、顔領域解析部４３は、第２の基準軸は、第１の基準軸と同一の条件で抽出する必要がある。例えば、第１の基準軸が、左右の眼の端点を結ぶ線分である場合、第２の基準軸も左右の眼の端点を結ぶ線分である必要がある。

そして、顔領域解析部４３は、第１の基準軸に対して、第２の基準軸がなす角度を、角度変化量として算出する。

図６は、特徴点検出部４１が検出する特徴点と、顔領域の一例を示す図である。図６（ａ）は、基準顔領域３１１の一例を示す図である。図６（ａ）に示す点Ｐ４０１及び点Ｐ４０２は、鼻と口を表す特徴点である。一方、図６（ｂ）は、対象顔領域３１２の一例を示す図である。図６（ｂ）では、基準顔領域３１１の向きに対して、回転した対象顔領域３１２が表されている。そして、図６（ｂ）に示す点Ｐ４１１及び点Ｐ４１２は、点Ｐ４０１及び点Ｐ４０２に対応する特徴点である。

次に、図７を用いて、角度変化量と表示画像の角度の関係について説明する。図７（ａ）は、図６で示す特徴点をＸＹ平面に射影した一例を示す図である。ここで、点Ｐ４０１及び点Ｐ４０２を端点とする線分を、線分Ｌ１とする。さらに、点Ｐ４１１及び点Ｐ４１２を端点とする線分を、線分Ｌ１１とする。そして、線分Ｌ１と線分Ｌ１１のなす角度を角度θとする。つまり、角度θは、角度変化量に相当する。

そして、表示態様変更部４４は、回転角θで、基準顔領域の表示画像を回転する。つまり、表示態様変更部４４は、ユーザの顔の角度に応じて、表示画像を回転する。例えば、図７（ｂ）に示すように、対象顔領域での表示画像５０２は、回転角θで、基準顔領域での表示画像５０１を回転した画像である。

図８は、傾きの異なる顔領域と、対応する表示画像の一例を示す図である。図８（ａ）は、基準顔領域３２１の一例を示す図である。図８（ｂ）は、図８（ａ）の場合の表示画像の一例を示す図である。また、図８（ｃ）は、対象顔領域３２２の一例を示す図である。図８（ｄ）は、図８（ｃ）の場合の表示画像の一例を示す図である。図８（ｄ）に示すように、ユーザが顔を傾けた場合であっても、携帯電子機器１は、ユーザの顔と、表示画像が平行になるように、表示画像を傾けて表示する。従って、携帯電子機器１では、ユーザが顔を傾けた場合の視認性の低下を防止できる。

次に、表示画像の大きさについて説明する。

顔領域解析部４３は、基準顔領域に対する対象顔領域の面積の比を算出する。そして、表示態様変更部４４は、顔領域解析部４３が算出する面積の比に応じて、表示画像の大きさを変更する。例えば、対象顔領域の面積が、基準顔領域に対して小さい場合、ユーザが表示部２０から相対的に遠いと考えられる。そのため、表示画像は、基準顔領域に対して、大きく表示されることが好ましい。一方、対象顔領域の面積が、基準顔領域に対して大きい場合、ユーザが表示部２０に相対的に近いと考えられる。そのため、表示画像は、基準顔領域に対して、小さく表示されることが好ましい。

ここで、表示態様変更部４４は、顔領域の面積の比に対する表示画像の大きさを、所定の対応関係に基づいて、決定することが好ましい。具体的には、表示態様変更部４４は、顔領域の面積の比と、表示画像の大きさの対応関係を示す、所定の一次関数に基づいて、表示画像の大きさを決定してもよい。または、予め、記憶部５０が、顔領域の面積の比と、表示画像の大きさの対応関係を記憶してもよい。

図９は、面積の異なる顔領域と、対応する表示画像の一例を示す図である。図９（ａ）は、基準顔領域３３１の一例を示す図である。図９（ｂ）は、図９（ａ）の場合の表示画像の一例を示す図である。また、図９（ｃ）は、対象顔領域３３２の一例を示す図である。図９（ｄ）は、図９（ｃ）の場合の表示画像の一例を示す図である。ここで、基準顔領域３３１の面積に対して、対象顔領域３３２の面積は小さい。ここで、対象顔領域３３２は、基準顔領域３３１をｒ％縮小した画像である。そのため、図９（ｄ）に示すように、表示態様変更部４４は、図９（ｃ）の表示画像を拡大して表示する。具体的には、図９の場合、表示態様変更部４４は、図９（ｃ）の表示画像を、Ｒ％拡大して表示する。従って、携帯電子機器１では、ユーザの顔と表示部２０の間の距離の変化によって、視認性が低下することを防止できる。

次に、携帯電子機器１の動作について説明する。

図１０は、表示態様の変更に関する動作の一例を示すフローチャートである。

ステップＳ０１において、撮像部１０は、ユーザの顔を撮影する。

ステップＳ０２において、顔領域検出部４２は、対象顔領域を検出するか否かを判断する。つまり、特徴点検出部４１が所定の特徴点を検出するか否かを、顔領域検出部４２は判断する。対象顔領域が検出された場合（ステップＳ０２のＹｅｓ分岐）には、ステップＳ０３に遷移する。対象顔領域が検出されない場合（ステップＳ０２のＮｏ分岐）には、ステップＳ０５に遷移する。

ステップＳ０３において、顔領域解析部４３は、対象顔領域を解析する。

ステップＳ０４において、顔領域解析部４３の解析結果に基づいて、表示態様変更部４４は、表示画像の表示態様を変更する。

ステップＳ０５において、画像信号生成部４５は、決定された表示態様に基づいて、表示画像の画像信号を生成する。

ステップＳ０６において、操作部３０が終了操作を検出したか否かを、制御部４０は判断する。例えば、終了操作とは、ユーザが、表示態様の変更処理を停止する際に、終了ボタン等を押下する操作であってもよい。または、所定のアプリケーション（電子メールアプリケーション、Ｗｅｂアプリケーション等）を実行中には、制御部４０は表示態様を変更するとしてもよい。その場合、終了操作とは、アプリケーションを終了する操作であってもよい。終了操作が検出された場合（ステップＳ０６のＹｅｓ分岐）には、制御部４０は、表示態様の変更処理を終了する。終了操作が検出されない場合（ステップＳ０６のＮｏ分岐）には、ステップＳ０１に遷移し、処理を継続する。

例えば、携帯電子機器１は、表示態様変更モードを備えていてもよい。具体的には、携帯電子機器１は、表示態様変更モードに設定されている場合には、ステップＳ０１〜ステップＳ０６の処理に基づいて、表示画像の表示態様を変更してもよい。

次に、図１１は、ユーザの操作に基づいて、基準顔領域を決定する動作の一例を示すフローチャートである。

ステップＳ１０１において、撮像部１０は、ユーザの顔を撮影する。

ステップＳ１０２において、顔領域検出部４２は、顔領域を検出したか否かを判断する。顔領域が検出された場合（ステップＳ１０２のＹｅｓ分岐）には、ステップＳ１０３に遷移する。顔領域が検出されない場合（ステップＳ１０２のＮｏ分岐）には、ステップＳ１０１に遷移し、処理を継続する。

ステップＳ１０３において、操作部３０が基準顔領域の決定操作を検出したか否かを、制御部４０は判断する。決定操作が検出された場合（ステップＳ１０３のＹｅｓ分岐）には、ステップＳ１０４に遷移する。決定操作が検出されない場合（ステップＳ１０３のＮｏ分岐）には、ステップＳ１０１に遷移し、処理を継続する。

ステップＳ１０４において、制御部４０は、顔領域検出部４２が検出した顔領域を、基準顔領域として、記憶部５０に記憶する。

［変形例１］
第１の実施形態に係る携帯電子機器１の変形例１として、撮像部１０から得られる画像を逐次解析し、画像の中にユーザの顔を認識した場合に撮影を開始してもよい。さらには、撮像部１０と同一方向を向くように配置された人感センサ（赤外線センサ等）が存在する場合には、このような赤外線センサの出力から所定の範囲内に、何かしらの対象物が検出されたと判断した際に、撮影を開始してもよい。

以上のように、本実施形態に係る携帯電子機器１では、ユーザの顔の角度、及び表示部２０との距離に応じて、表示画像の表示態様を変更する。例えば、移動中の揺れによって、表示部２０と、ユーザの顔との相対的な距離や角度が変化する。その結果、携帯電子機器の表示画面の視認性が低下する場合がある。ここで、本実施形態に係る携帯電子機器１では、表示部２０と、ユーザの顔との相対的な距離や角度の変化に応じて、表示画像の大きさ、及び角度を変更する。従って、本実施形態に係る携帯電子機器１では、移動中の揺れに起因して、表示画面の視認性が低下することを防止できる。

［第２の実施形態］

続いて、第２の実施形態について、図面を用いて詳細に説明する。

第２の実施形態は、顔領域の位置に応じて、表示画像の位置を変更する形態である。なお、本実施形態における説明では、第１の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。

ユーザが携帯電子機器１を使用する際、ユーザの正面に、表示画像が表示されることが好ましい。そのため、ユーザの顔の位置が上下左右に移動した場合には、ユーザの顔の位置に応じて、表示画像の位置が変更されることが好ましい。そのため、本実施形態に係る携帯電子機器１では、表示態様変更部４４は、対象顔領域の位置に応じて、表示画像の位置を変更する。

顔領域解析部４３は、基準顔領域に対して、対象顔領域のＸＹ平面上での変位量を算出する。表示態様変更部４４は、算出された変位量に基づいて、表示画像の位置を変更する。ここで、顔領域解析部４３は、変位量を算出する前に、対象顔領域を正規化することが必要である。つまり、顔領域解析部４３は、対象顔領域の回転角、及び面積を正規化する。

具体的には、まず、顔領域解析部４３は、角度変化量に基づいて、対象顔領域の回転角が、基準顔領域の回転角に一致するように、対象顔領域を回転する。さらに、顔領域解析部４３は、基準顔領域に対する対象顔領域の面積が一致するように、対象顔領域を拡大、又は縮小処理を行う。

次に、変位量の算出について説明する。

まず、顔領域解析部４３は、基準顔領域内に含まれる一点（以下、第１の基準点と呼ぶ）を抽出する。第１の基準点は、例えば、基準顔領域の重心点であってもよい。あるいは、顔領域検出部４２が検出する特徴点であってもよい。

さらに、顔領域解析部４３は、対象顔領域内に含まれる一点（以下、第２の基準点と呼ぶ）を抽出する。第２の基準点は、第１の基準点と同一の条件で抽出する必要がある。例えば、第１の基準点が、基準顔領域の重心点である場合、第２の基準点は、対象顔領域の重心点である必要がある。

そして、顔領域解析部４３は、第１の基準点に対する第２の基準点の変位量を算出する。表示態様変更部４４は、算出された変位量に基づいて、表示画像の位置を変更する。

表示態様変更部４４は、画像の平行移動、スクロール、文字列のシフトの少なくともいずれかの処理に基づいて、表示画像の位置を変更することが好ましい。

図１２は、顔領域と、表示画像の位置の対応関係の一例を示す図である。図１２（ａ）は、基準顔領域３４１の一例を示す図である。図１２（ｂ）は、図１２（ａ）の場合の表示画像の一例を示す図である。図１２（ｃ）は、対象顔領域３４２の一例を示す図である。図１２（ｄ）は、図１２（ｃ）の場合の表示画像の一例を示す図である。図１２（ｂ）に示すように、対象顔領域３４２は、基準顔領域３４１に対して、右上の位置に存在する。従って、図１２（ｄ）に示すように、対象顔領域３４２の位置の場合には、表示画像が表示部２０の右上に表示される。

以上のように、本実施形態に係る携帯電子機器１では、ユーザの顔の位置に応じて、表示画像の位置を変更する。従って、本実施形態に係る携帯電子機器１では、より一層、移動中の揺れに起因して、表示画面の視認性が低下することを防止できる。

［第３の実施形態］

続いて、第３の実施形態について、図面を用いて詳細に説明する。

第３の実施形態は、ユーザが携帯電子機器１を傾けて把持した場合に、表示態様を変更する形態である。なお、本実施形態における説明では、第１の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。

図１３は、ユーザが携帯電子機器１を把持する姿勢と、表示態様の対応関係の一例を示す図である。図１３（ａ）は、携帯電子機器１に正対するユーザを、側面から示す図である。図１３（ｂ）は、基準顔領域３５１の一例を示す図である。図１３（ｃ）は、図１３（ｂ）の場合の表示画像の一例を示す図である。

さらに、図１３（ｄ）は、携帯電子機器１を傾けて、把持するユーザを、側面から示す図である。図１３（ｄ）では、ユーザは、表示部２０を見下ろして、携帯電子機器１を把持している。また、図１３（ｅ）は、図１３（ｄ）の場合の対象顔領域３５２を示す図である。図１３（ｄ）の場合には、撮像部１０は、撮影画像２０１として、下から見たユーザの顔を撮影する。図１３（ｆ）は、図１３（ｅ）の場合の表示画像の一例を示す図である。例えば、図１３（ｆ）では、図１３（ｃ）の場合と比較し、表示部２０の上部に表示画像を表示している。このように、本実施形態に係る携帯電子機器１では、表示部２０に対するユーザの顔の角度に応じて、表示態様を変更する。

具体的には、予め、本実施形態に係る携帯電子機器１では、所定の顔領域と、表示態様の対応関係（以下、角度対応情報と呼ぶ）を、記憶部５０に記憶する。ここで、記憶部５０は、角度対応情報として、向きの異なるユーザの顔領域と、表示態様の対応関係を記憶することが好ましい。なお、角度対応情報は、表示態様として、表示画像の回転角、大きさ、位置のいずれかの情報を含むことが好ましい。

そして、顔領域解析部４３は、角度対応情報として記憶されている顔領域と、顔領域検出部４２が検出した対象顔領域を照合する。そして、表示態様変更部４４は、照合結果に基づいて、角度対応情報から対応する表示態様を選択する。顔領域の照合は、例えば、記憶されている顔領域をテンプレートとして、テンプレートマッチングをしてもよい。または、眼、口等の特徴点の位置関係に基づいて、顔領域を照合しても良い。なお、顔領域の照合方法は、各種あるが、その方式は問わない。

図１４は、角度対応情報の一例を示す図である。図１４において、角度対応情報として、顔領域の画像と、表示態様の対応関係を示す。また、図１４において、「位置」は、ｘｙ平面上での表示画像の位置を示す。「角度」は、角度変化量を示す。「拡大率」は、表示画像の拡大率を示す。また、上述のとおり、ｘ軸は、表示部２０の右方向を正とする。さらに、ｙ軸は、表示部２０の下方向を正とする。

さらに、図１４（ａ１）は、基準顔領域と、表示態様の対応関係を示す。一方、図１４（ａ２）〜（ａ５）は、上下左右から撮影したユーザの顔領域と、表示態様の対応関係を示す。図１４（ａ２）〜（ａ５）の場合、角度変化量は０度であり、拡大率は１２０％で、表示画像を表示する。

例えば、図１４（ａ２）の場合、下からユーザの顔を撮影して検出された顔領域である。この場合、表示画像の位置は（ｘ，ｙ）＝（５０，２０）である。一方、図１４（ａ１）の場合には、表示画像の位置は（ｘ，ｙ）＝（５０，５０）である。従って、図１４（ａ２）の場合には、図１４（ａ１）の場合に対して、表示画像を上側に表示することを意味する。

そして、図１４（ａ３）の場合には、図１４（ａ１）の場合に対して、表示画像を上側に表示することを意味する。また、図１４（ａ４）の場合には、図１４（ａ１）の場合に対して、表示画像を左側に表示することを意味する。さらに、図１４（ａ５）の場合には、図１４（ａ１）の場合に対して、表示画像を右側に表示することを意味する。

以上のように、本実施形態に係る携帯電子機器１では、ユーザが携帯電子機器１を傾けて把持した場合であっても、ユーザの顔の角度に応じて、表示態様を調整する。そのため、本実施形態に係る携帯電子機器１では、より一層、ユーザの姿勢の多様な変更に対応して、表示画面の視認性低下を防止できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）表示部と、前記表示部と同一方向を向くように配置された撮像部と、前記撮像部が撮影した画像から、ユーザの顔領域を検出する顔領域検出部と、基準とする前記顔領域を、基準顔領域として記憶する記憶部と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析部と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更部と、を備える携帯電子機器。

（付記２）前記撮像部が撮影した画像から複数の特徴点を検出する特徴点検出部を備え、前記顔領域検出部は、前記特徴点を含む領域を、前記顔領域として検出する携帯電子機器。

（付記３）前記顔領域解析部は、前記基準顔領域内の第１の基準軸に対して、前記顔領域内の第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更部は、前記角度変化量に基づいて、前記表示部に表示する画像を回転する携帯電子機器。

（付記４）前記顔領域解析部は、前記基準顔領域に対する前記顔領域の面積の比を算出し、前記表示態様変更部は、前記面積の比に基づいて、前記表示部に表示する画像の大きさを変更する携帯電子機器。

（付記５）前記顔領域解析部は、前記基準顔領域内に含まれる第１の基準点に対する、前記顔領域内に含まれる第２の基準点の変位量を算出し、前記表示態様変更部は、前記変位量に基づいて、前記表示部に表示する画像の位置を変更する携帯電子機器。

（付記６）前記基準顔領域は、所定の位置、及び角度で撮影された画像から、前記顔領域検出部が検出した前記顔領域である携帯電子機器。

（付記７）前記記憶部は、所定の前記顔領域と、前記表示態様と、の対応関係を角度対応情報として記憶し、前記表示態様変更部は、前記角度対応情報から、前記顔領域に対応する前記表示態様を選択する携帯電子機器。

（付記８）前記角度対応情報は、前記表示態様として、画像の回転角、大きさ、位置の少なくともいずれかの情報を含む携帯電子機器。

（付記９）表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器の制御方法であって、撮影画像から、ユーザの顔領域を検出する顔領域検出工程と、基準とする前記顔領域を、基準顔領域として記憶する記憶工程と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析工程と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更工程と、を含む携帯電子機器の制御方法。

（付記１０）撮影画像から複数の特徴点を検出する特徴点検出工程を含み、前記顔領域検出工程は、前記特徴点を含む領域を、前記顔領域として検出する携帯電子機器の制御方法。

（付記１１）前記顔領域解析工程は、前記基準顔領域内の第１の基準軸に対して、前記顔領域内の第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更工程は、前記角度変化量に基づいて、前記表示部に表示する画像を回転する携帯電子機器の制御方法。

（付記１２）前記顔領域解析工程は、前記基準顔領域に対する前記顔領域の面積の比を算出し、前記表示態様変更工程は、前記面積の比に基づいて、前記表示部に表示する画像の大きさを変更する携帯電子機器の制御方法。

（付記１３）前記顔領域解析工程は、前記基準顔領域内に含まれる第１の基準点に対する、前記顔領域内に含まれる第２の基準点の変位量を算出し、前記表示態様変更工程は、前記変位量に基づいて、前記表示部に表示する画像の位置を変更する携帯電子機器の制御方法。

（付記１４）前記記憶工程は、所定の前記顔領域と、前記表示態様と、の対応関係を角度対応情報として記憶し、前記表示態様変更工程は、前記角度対応情報から、前記顔領域に対応する前記表示態様を選択する携帯電子機器の制御方法。

（付記１５）表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、撮影画像から、ユーザの顔領域を検出する顔領域検出処理と、基準とする前記顔領域を、基準顔領域として記憶する記憶処理と、前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析処理と、前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更処理と、を実行するプログラム。

（付記１６）撮影画像から複数の特徴点を検出する特徴点検出処理を実行し、前記顔領域検出処理は、前記特徴点を含む領域を、前記顔領域として検出するプログラム。

（付記１７）前記顔領域解析処理は、前記基準顔領域内の第１の基準軸に対して、前記顔領域内の第２の基準軸がなす角度を、角度変化量として算出し、前記表示態様変更処理は、前記角度変化量に基づいて、前記表示部に表示する画像を回転するプログラム。

（付記１８）前記顔領域解析処理は、前記基準顔領域に対する前記顔領域の面積の比を算出し、前記表示態様変更処理は、前記面積の比に基づいて、前記表示部に表示する画像の大きさを変更するプログラム。

（付記１９）前記顔領域解析処理は、前記基準顔領域内に含まれる第１の基準点に対する、前記顔領域内に含まれる第２の基準点の変位量を算出し、前記表示態様変更処理は、前記変位量に基づいて、前記表示部に表示する画像の位置を変更するプログラム。

（付記２０）前記記憶処理は、所定の前記顔領域と、前記表示態様と、の対応関係を角度対応情報として記憶し、前記表示態様変更処理は、前記角度対応情報から、前記顔領域に対応する前記表示態様を選択するプログラム。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１、１００ 携帯電子機器
１０、１０２ 撮像部
２０、１０１ 表示部
３０ 操作部
４０ 制御部
４１ 特徴点検出部
４２、１０３ 顔領域検出部
４３、１０５ 顔領域解析部
４４、１０６ 表示態様変更部
４５ 画像信号生成部
５０、１０４ 記憶部
２０１ 撮影画像
３０１、３０２ 顔領域
３０１、３１１、３２１、３３１、３４１、３５１ 基準顔領域
３０２、３１２、３２２、３３２、３４２、３５２ 対象顔領域
５０１ 基準顔領域での表示画像
５０２ 対象顔領域での表示画像

Claims (9)

1. 表示部と、
   前記表示部と同一方向を向くように配置された撮像部と、
   前記撮像部が撮影した画像から、ユーザの顔領域を検出する顔領域検出部と、
   基準とする前記顔領域を、基準顔領域として記憶する記憶部と、
   前記撮像部が撮影した画像から２以上の特徴点を検出する特徴点検出部と、
   前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析部と、
   前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更部と、
   を備え、
   前記顔領域解析部は、前記特徴点検出部が前記基準顔領域から検出した２つの特徴点を含む、第１の基準軸を抽出し、
   前記顔領域解析部は、前記特徴点検出部が前記第１の基準軸と同一の条件で、前記顔領域から検出した２つの特徴点を含む、第２の基準軸を抽出し、
   前記顔領域解析部は、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、
   前記表示態様変更部は、前記角度変化量に基づいて、前記表示部に表示する画像を回転することを特徴とする携帯電子機器。
2. 前記顔領域検出部は、前記特徴点を含む領域を、前記顔領域として検出する請求項１に記載の携帯電子機器。
3. 前記顔領域解析部は、前記基準顔領域に対する前記顔領域の面積の比を算出し、
   前記表示態様変更部は、前記面積の比に基づいて、前記表示部に表示する画像の大きさを変更する請求項１又は２に記載の携帯電子機器。
4. 前記顔領域解析部は、前記基準顔領域内に含まれる第１の基準点に対する、前記顔領域内に含まれる第２の基準点の変位量を算出し、
   前記表示態様変更部は、前記変位量に基づいて、前記表示部に表示する画像の位置を変更する請求項１乃至３のいずれか一に記載の携帯電子機器。
5. 前記基準顔領域は、所定の位置、及び角度で撮影された画像から、前記顔領域検出部が検出した前記顔領域である請求項１乃至４のいずれか一に記載の携帯電子機器。
6. 前記記憶部は、向きの異なるユーザの顔領域と、前記表示態様と、の対応関係を角度対応情報として記憶し、
   前記表示態様変更部は、前記顔領域検出部が検出した顔領域に対応する前記表示態様を、前記角度対応情報から選択する請求項１乃至５のいずれか一に記載の携帯電子機器。
7. 前記角度対応情報は、前記表示態様として、画像の回転角、大きさ、位置の少なくともいずれかの情報を含む請求項６に記載の携帯電子機器。
8. 表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器の制御方法であって、
   撮影画像から、ユーザの顔領域を検出する顔領域検出工程と、
   基準とする前記顔領域を、基準顔領域として記憶する記憶工程と、
   撮影画像から２以上の特徴点を検出する特徴点検出工程と、
   前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析工程と、
   前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更工程と、
   を含み、
   前記顔領域解析工程において、前記基準顔領域から検出された２つの特徴点を含む、第１の基準軸を抽出し、
   前記顔領域解析工程において、前記第１の基準軸と同一の条件で、前記顔領域から検出された２つの特徴点を含む、第２の基準軸を抽出し、
   前記顔領域解析工程において、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、
   前記表示態様変更工程において、前記角度変化量に基づいて、前記表示部に表示する画像を回転することを特徴とする携帯電子機器の制御方法。
9. 表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、
   撮影画像から、ユーザの顔領域を検出する顔領域検出処理と、
   基準とする前記顔領域を、基準顔領域として記憶する記憶処理と、
   撮影画像から２以上の特徴点を検出する特徴点検出処理と、
   前記基準顔領域に対する前記顔領域の相対関係を解析する顔領域解析処理と、
   前記相対関係に基づいて、前記表示部に表示する情報の表示態様を変更する表示態様変更処理と、
   を前記コンピュータに実行させ、
   前記顔領域解析処理において、前記基準顔領域から検出された２つの特徴点を含む、第１の基準軸を抽出し、
   前記顔領域解析処理において、前記第１の基準軸と同一の条件で、前記顔領域から検出された２つの特徴点を含む、第２の基準軸を抽出し、
   前記顔領域解析処理において、前記第１の基準軸に対して、前記第２の基準軸がなす角度を、角度変化量として算出し、
   前記表示態様変更処理において、前記角度変化量に基づいて、前記表示部に表示する画像を回転するプログラム。

Images