JP5397081B2

JP5397081B2 - 携帯端末

Info

Publication number: JP5397081B2
Application number: JP2009187457A
Authority: JP
Inventors: 林三岩本
Original assignee: Fujitsu Mobile Communications Ltd
Current assignee: Fujitsu Mobile Communications Ltd
Priority date: 2009-08-12
Filing date: 2009-08-12
Publication date: 2014-01-22
Anticipated expiration: 2029-08-12
Also published as: US8363145B2; JP2011041067A; US20110037866A1

Description

本発明は、カメラ付き携帯端末に関し、ユーザの視認方向に応じて表示方向の変更を行う携帯端末に関する。

ユーザの視認方向に応じて表示方向の変更を行う携帯端末がある（例えば、特許文献１、特許文献２参照。）。これらの特許文献の携帯端末では、携帯端末に搭載されたカメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する。これにより、ユーザの姿勢や携帯端末の持ち方に依存せずに、常に表示画像の表示方向がユーザの顔の向きに合って、ユーザにとって見易くなる。

特開２００８−１７７８１９号公報（段落００２５、００３０、図３、図５）特開２００３−１８６４６２号公報（段落００２４、図３）

特許文献１の図３、段落００２５に記載されているように、携帯端末において、電子メールが着信し、入力操作により表示が指示されると、カメラが起動し、カメラによる顔画像撮影、顔画像の上下方向の判断、その上下方向に合わせて、通信データの表示方向の制御が行われれる。そして、電子メールの通信データの表示が終了するまで、カメラによる顔画像撮影が継続してユーザの顔の向きの変化にも対応している。また、図５、段落００３０に記載されているように、入力操作によりブラウザが起動すると、カメラが起動し、カメラによる顔画像撮影、顔画像の上下方向の判断、その上下方向に合わせて、ブラウザ画像の表示方向の制御が行われれる。そして、ブラウザの表示が終了するまで、カメラによる顔画像撮影が継続してユーザの顔の向きの変化にも対応している。

しかし、表示状態では、カメラが常時起動しており、カメラの消費電力が大きいため、携帯端末の電池の電力消費が速くなってしまうという問題がある。

また、特許文献２の図３に記載されているように、図３（ａ）のユーザの顔方向が角度θで傾いている場合、図３（ｂ）の角度θだけ同一方向に傾かせた画像が生成されて画面に表示される。

これは、ユーザが画面を見た場合に、ユーザの顔の方向と画像の方向とが一致して見易いと思われるが、他方、人の感覚として、画面の四角い枠に対して画像が斜めに表示された場合、違和感を感じることもある。

本発明は、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、カメラの消費電力を低減することを目的とする。また、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、ユーザが違和感を感じない表示方法を提供することを目的とする。

上記目的を達成するために、本発明の携帯端末は、画像情報を表示する表示部と、この表示部と同じ側に設けられたカメラと、携帯端末の動き及び静止状態を検出する動き検出手段と、前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、前記動き検出手段が携帯端末の動き状態から静止状態に変化したことを検出したときに前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段とを具備することを特徴とする。

本発明によれば、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、カメラの消費電力を低減することができる。また、ユーザが違和感を感じない表示方法を提供することを目的とする。

本発明の実施例に係る携帯端末１００とカメラ画像１０の相対関係を説明する図。本発明の実施例に係るユーザ、カメラ画像、表示画像の相対関係を説明する図。本発明の実施例に係る携帯端末１００の関連部分のブロック図。本発明の実施例に係る携帯端末１００の画像制御のフローチャート。

図１は、本発明の実施例に係る携帯端末１００とカメラ画像１０の相対関係を説明する図であり、特許文献１、２等に記載の技術と同様であり、簡単に説明する。携帯端末１００の主面側には、カメラ１、表示部２などが搭載される。表示部２を見るユーザをカメラ１が撮影することを前提とするので、カメラ１と表示部２とは同じ側に設けられる。

携帯端末１００の側面の４方向部分の向きを、頂部３、左部４、底部５、右部６とする。カメラ１で撮影したカメラ画像の４方向部分の向きを、頂部１３、左部１４、底部１５、右部１６とする。この携帯端末１００の主面の４方向部分の向きとカメラ画像の４方向部分の向きとは、携帯端末１００を傾けても常に同じ相対関係にある。カメラ画像は、カメラが撮影した画像の鏡像が得られるものとする。

図２は、本発明の実施例に係るユーザ、カメラ画像、表示画像の相対関係を説明する図である。ユーザが携帯端末１００の主面を見ている状態を表し、ユーザの図は、背中側から見た状態を示す。ユーザの顔は、カメラ１で撮影されてカメラ画像１０(鏡像)が得られる。ユーザは、表示部２の表示画像２２ｂを見る。

図２の（Ａ）〜（Ｅ）は、従来の技術と同様であり、ユーザと携帯端末１００の色々な相対関係について説明する。

図２の（Ａ）は、ユーザの顔の上方向（矢印で図示）と携帯端末１００の頂部３の方向とが同じ相対関係にある場合である。この状態でカメラ１でユーザを撮影すると、カメラ画像１０の顔の上方向（矢印で図示）は、頂部１３と同じ方向になる。このカメラ画像１０の顔の上方向（矢印方向）に対して、表示部２に表示する色々な表示画像２２ｂの上方向（矢印方向）を合わせるように表示制御する。表示画像２２ｂとしては、例えば、文字画像や、ＴＶ画像や、Ｗｅｂ画像等などがある。図２では、例として「ＡＢＣ」の文字表示を行っている。これにより、ユーザは、ユーザの向きと同じ表示画像２２ｂを見ることになり、見易い状態が得られるものである。

図２の（Ｂ）は、ユーザが右へ２５度程度傾いて携帯端末１００を見ている状態である。カメラ画像１０の顔の方向は、鏡像表示なので、同様に右に２５度傾いた画像となる。この傾きに合わせて、表示画像２２ｂを傾けて表示制御する。

図２の（Ｃ）、（Ｄ）、（Ｅ）は、ユーザと携帯端末１００との相対関係の異なる状態を示すが、常に、ユーザは、表示画像２２ｂを正対して見ることができる。

このように、ユーザと携帯端末１００との相対関係に基づいて、表示画像の向きが制御されるので、ユーザが直立した状態であれ、横たわった状態であれ、対応することができる。

図２の（Ｆ）は、本発明の実施例である。図２の（Ｂ）の状態では、ユーザは、表示画像２２ｂを正対して見ることができるが、人の感覚として、表示部２の四角い枠に対して、表示画像２２ｂが傾いていると、違和感を感じる場合もある。それを防ぐ方法として、カメラ画像１０の顔が傾いても、表示画像２２ｂをそれに合わせて常時傾けるのではなく、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。したがって、ユーザと携帯端末の相対関係が２５度傾いていても、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３側に表示画像２２ｂの向きとなるように表示制御する。図示しないが、例えばユーザが右へ５０度傾いた場合には、表示画像２２ｂの向きを表示部２の右部６側になるように表示制御する。

（Ｆ）の実施例では、ユーザの向きと、表示画像２２ｂの向きとは完全には正対しないが、両者の向きが近い状態で、表示部２の四角い枠に対して、表示画像２２ｂが水平または垂直となるので、違和感が少なくなる。また、この程度の正対しない状態であれば、人は、問題なく表示画像２２ｂを見ることができる。

図３は、本発明の実施例に係る携帯端末１００の関連部分のブロック図である。携帯端末１００は、カメラ１、表示部２、顔上下方向検出部２１、画像方向制御部２２、加速度センサ２３、動き検出部２４、カメラ起動部２５などから構成される。

顔上下方向検出部２１は、カメラ１からのカメラ画像１０（鏡像）から顔を検出して、顔上下方向の検出を行う。そして、顔上下方向検出２１ａを画像方向制御部２２へ送出する。

画像方向制御部２２は、文字画像やＴＶ画像やＷｅｂ画像等の表示画像データ２２ａを、顔上下方向検出２１ａの検出角度に合わせて、同じ方向を向くように回転させ、表示画像２２ｂを作成し、表示部２に表示させる。

上記の顔上下方向検出部２１および画像方向制御部２２の機能の詳細は、特許文献１、２、その他に記載されており、詳細説明は省略する。

本発明の特徴の１つである図２の（Ｆ）の実施例に対しては、画像方向制御部２２は、カメラ画像１０の顔が傾いても、表示画像２２ｂをそれに合わせて常時傾けるのではなく、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。

本発明のもう１つの特徴であるカメラの起動に関する制御について次に説明する。本発明では、携帯端末１００自体の動き状態と静止状態を検出して、動き状態から静止状態に変化したことを起点として、カメラの電源をオンにする。また、静止状態が連続している場合には、定期的にカメラの電源をオンにする。

これは、携帯端末１００が静止したときに、カメラの電源をオンにして、顔上下方向の判定を行って表示画像の方向制御を行うことにより、必要なときのみカメラの電源をオンにすることで、省電力を行いながら、表示画像の方向制御を行うものである。以下、詳しく説明する。

加速度センサ２３は、例えば、３軸の加速度センサである。動き検出部２４は、この３軸の加速度センサのそれぞれの出力の変化が閾値以上であれば携帯端末が動いていると判断し、３軸の加速度センサのそれぞれの出力の変化が閾値以下であれば携帯端末が静止していると判断する。

３軸の加速度センサには、重力加速度は、常に検出されるが、携帯端末１００のゆっくりとした回転に対しても３軸のそれぞれの出力に重力加速度のベクトル値の変化として現れるので、傾いたことが検出できる。また、傾かない場合でも、携帯端末１００がユーザにより振られたりすると、その加速度が加速度センサ出力の変化として現れるので検出することができる。逆に、加速度センサの出力に変化がなけらば、携帯端末１００が静止していることが判断できる。

そして、動き検出部２４は、携帯端末１００が動き状態から静止状態に変化したことを表す信号２４ａをカメラ起動部２５に通知する。また、静止状態が連続している場合にも、定期的に信号２４ａをカメラ起動部２５に通知する。

カメラ起動部２５は、静止状態になった通知２４ａを受けると、起動／停止信号２５ａを起動状態にしてカメラ１を起動する。この時点でカメラ１の電源がオンになる。または、カメラ１がウェイクアップ状態になる。この状態で前述の顔上下方向検出部２１の処理が実行される。

そして、顔上下方向検出部２１が顔上下方向を検出して、顔上下方向検出２１ａを通知すると、カメラ起動部２５は、起動／停止信号２５ａを停止状態にしてカメラ１を停止する。この時点でカメラ１の電源のオフになる。または、カメラ１がスリープ状態になる。

なお、動き検出部２４およびカメラ起動部２５の機能は、機能を分担してもよいし、同じ処理部で行ってもよい。

図４は、本発明の実施例に係る携帯端末１００の画像制御のフローチャートである。表示部２に何らかの画像を表示するアプリケーションが開始すると、画像制御（ステップＳ１）が開始する。

画像制御では、まず、動き検出部２４の処理により、携帯端末１００自体が、動き状態から静止状態に変化したかをチェックする（ステップＳ２）。静止状態に変化した場合（ＹＥＳ）は、カメラを起動する（ステップＳ４）。

ステップＳ２でＮＯの場合は、静止状態が所定時間以上継続しているかをチェックし（ステップＳ３）、ＹＥＳならば、カメラを起動する（ステップＳ４）。ステップＳ２、Ｓ３ともＮＯの場合は、ループして待つ。

上記ステップＳ２のＹＥＳおよびＳ３のＹＥＳで、カメラ１を起動、たとえば、カメラ１の電源オン、またはカメラ１をウェイクアップ状態にする（ステップＳ４）。そして、カメラ１で撮影したカメラ画像１０から顔の検出および顔上下方向の検出を行う（ステップＳ５）。

顔上下方向の検出が出来なければ（ステップＳ６でＮＯ）、カメラを停止、たとえば、カメラ１の電源オフ、またはカメラ１をスリープ状態にし（ステップＳ８）、ステップＳ２に戻る。ステップＳ６で顔上下方向の検出ができたら（ＹＥＳ）、カメラを停止する（ステップＳ７）。

そして、検出した顔の上下方向に合わせて表示部の画像の上下方向を変える（ステップＳ９）。または、ステップＳ９の他の実施例のＳ１９として、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。

具体的には、絶対角度を右部６＝０度、頂部３＝９０度、左部４＝１８０度、底部５＝２７０度とすると、カメラ画像１０の顔の傾き（絶対角度）に対して、表示画像２２ｂの絶対角度を以下のように表示制御する。

顔の傾き（絶対角度）ＶＳ表示画像２２ｂの絶対角度
・０〜４５度 → ・０度
・４５〜９０度 → ・９０度
・９０〜１３５度 → ・９０度
・１３５〜１８０度 → ・１８０度
・１８０〜２２５度 → ・１８０度
・２２５〜２７０度 → ・２７０度
・２７０〜３１５度 → ・２７０度
・３１５〜３６０度 → ・３６０度
そして、ステップＳ２へ戻る。

本発明の実施例によれば、ユーザが携帯端末１００を手に持って、携帯端末１００の角度を変えた場合、携帯端末１００が静止状態になったときにカメラ１が起動されて顔方向の検出と表示画像２２ｂの表示方向の制御が行われ、カメラ１は停止する。また、携帯端末１００が机上に置かれて静止状態が継続しているような場合、ユーザ単独の動きにも対応できるように定期的にカメラ１が起動されてユーザの顔方向の検出と表示画像２２ｂの表示方向の制御が行われ、カメラ１は停止する。したがって、カメラ１の起動時間は少なくて済み、電池の消費を減らすことができる。

また、ユーザの顔の傾きどおりに表示画像２２ｂの表示方向を制御するのではなく、ユーザの顔の傾きに近い状態で表示画像２２ｂの表示方向が表示部２の四角い枠に対して斜めにならないように制御するので、ユーザが違和感を感じない表示を得ることができる。

１カメラ
２表示部
３頂部
４左部
５底部
６右部
１０カメラ画像
１３頂部
１４左部
１５底部
１６右部
２１顔上下方向検出部
２２画像方向制御部
２３加速度センサ
２４動き検出部
２５カメラ起動部
１００携帯端末

Claims

画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の動き状態から静止状態に変化したことを検出したときに前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。
画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の静止状態が継続していることを検出した場合は、定期的に前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。
前記画像制御手段は、前記表示部の四角い枠の内、判断した前記顔の上方向に最も近い方向の枠の方向になるように前記表示部に表示する画像の上下方向をさらに制御することを特徴とする、請求項１に記載の携帯端末。
画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断し、前記表示部の四角い枠の内、前記顔の上方向に最も近い方向の枠の方向になるように前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の静止状態が継続していることを検出した場合は、定期的に前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。