JP5857257B2

JP5857257B2 - 表示装置及び表示方向切替方法

Info

Publication number: JP5857257B2
Application number: JP2013503361A
Authority: JP
Inventors: 梨奈子亀井; 松井　典弘; 典弘松井; 松本　拓矢; 拓矢松本; 紹二大坪; 郁大濱
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-03-04
Filing date: 2012-02-21
Publication date: 2016-02-10
Anticipated expiration: 2032-02-21
Also published as: CN102934157A; US20130069988A1; JPWO2012120799A1; WO2012120799A1; US9507379B2; CN102934157B

Description

本発明は、ディスプレイに表示する表示物の表示方向を切り替える表示装置に関し、特に、ユーザインタフェースの改良に関する。

従来、加速度センサ等で自装置の重力方向に対する傾きの変化を検知し、自装置の上下方向に合わせて表示物を表示することができるスマートフォンやタブレット端末等の表示装置が知られている（例えば特許文献１）。また、特許文献２には、ユーザの顔を撮影し、顔の上下方向を認識することで、ユーザの顔の上下方向と表示物の上下方向を合わせて表示する表示装置が記載されている。

特開２００８−１３１６１６号公報特開２００９−１３０８１６号公報

しかしながら、特許文献１に記載の表示装置では、表示装置の向きを変えるだけで表示装置の上下方向に合った上下方向で表示物の表示が行えるものの、例えば、ユーザが横に寝転んで表示装置を使うときには、表示装置の上下方向とユーザの顔の上下方向とが一致していないため、ユーザにとって表示が見づらくなってしまう。また、特許文献２に記載の表示装置では、ユーザの顔の上下方向と表示物の上下方向を合わせて表示が行えるものの、消費電力の高い撮影及び顔認識処理を常に行わなければならず、消費電力が大きくなるためバッテリでの動作時間が短くなるという問題がある。

そこで、本発明は、係る問題に鑑みて、電力消費を抑えながらも、ユーザの顔の上下方向に合った表示方向で表示物の表示を行うことができる表示装置を提供することを目的とする。

上記課題を解決するために本発明に係る表示装置は、ディスプレイを有し、当該ディスプレイへの表示物の表示方向が可変である可搬な表示装置であって、前記ディスプレイのディスプレイ平面における重力の成分方向と、前記ディスプレイ平面における基準線との角度を検知する傾き検知手段と、前記ディスプレイに相対するユーザの顔を認識し、前記ディスプレイに相対する前記ユーザの顔の上下方向が、前記ディスプレイの現在の姿勢に対していずれの方向であるかを特定する顔方向特定手段と、前記傾き検知手段により検知し得る複数の角度範囲を設定し、前記傾き検知手段により新たに検知される前記角度が、直前に前記ディスプレイへの前記表示物の表示方向を変更した時に前記傾き検知手段により検知された前記角度が属する角度範囲を超えて、異なる角度範囲に進入しているか否かを判定する端末方向判定手段と、前記端末方向判定手段により異なる前記角度範囲に進入していると判定される場合、前記顔方向特定手段による前記特定を開始させると共に、前記ディスプレイに相対する前記ユーザの顔の上下方向の特定結果に応じて表示方向を変更して表示させる制御手段と、を備える。

上述の構成により、本発明に係る表示装置は、電力消費を抑えながらも、ユーザの顔の上下方向に応じた表示方向で表示を行うことができる。

実施形態に係る表示装置１００の外観図表示装置１００の動作を説明するための図表示装置１００の機能構成図顔認識処理を説明するための図表示装置１００の動作を示すフローチャート顔方向特定処理の動作の詳細を示すフローチャート

＜実施形態＞
以下、本発明の一実施形態に係る表示装置１００について説明する。

＜概要＞
図１は、表示装置１００の外観図である。

表示装置１００は、同図に示すように、タッチパネル１０１、カメラ１０２及びスピーカ１０３を備え、ユーザは、タッチパネル１０１に表示される表示物を見たり、スピーカ１０３より流れる音を聞いたりすることができる。ここでの表示物とは、アイコン、文字列、その他の画像等で構成される、タッチパネル１０１に表示されている全てをいう。

タッチパネル１０１は、４辺２０１、２０２、２０３及び２０４を有し、表示物をＡ方向、Ｂ方向、Ｃ方向及びＤ方向のいずれかの表示方向で表示する。ここで、Ａ方向とは、辺２０１を上辺、辺２０３を下辺とする方向であり、Ｂ方向とは、辺２０２を上辺、辺２０４を下辺とする方向であり、Ｃ方向とは、辺２０３を上辺、辺２０１を下辺とする方向であり、Ｄ方向とは、辺２０４を上辺、辺２０２を下辺とする方向である。

カメラ１０２は、タッチパネル１０１の表示面と同じ面に設置されており、表示装置１００を使用しているユーザの顔を撮影することができる。

図２は、表示装置１００の動作を説明するための図である。

同図に示すように、ユーザが表示装置１００を使用しながら、座った状態（図２（ａ）参照）から寝転んだ状態（図２（ｃ）及び（ｄ）参照）になった場合、表示装置１００の上下方向は、辺２０１を鉛直上方向とした向きから、辺２０２を鉛直上方向とした向きへと変化する。その際、表示装置１００の上下方向に合わせてＢ方向で表示物の表示を行う（図２（ｃ）参照）のではなく、ユーザの顔の上下方向を特定してから、表示物の表示方向を決定する。具体的には、カメラ１０２でユーザの顔を撮影し、撮影した顔画像に基づいて顔の上下方向を特定し、ディスプレイに相対する顔の上下方向と表示物の上下方向とを合わせて表示を行う。つまり、この場合は、図２（ｄ）に示すように、タッチパネル１０１には、Ａ方向で表示物が表示されることとなる。なお、電力の消費が大きい処理であるユーザの顔の撮影及び上下方向の特定は、所定値以上に表示装置１００の傾きが変化した場合のみ行われる。

これにより、消費電力の大きい顔認識に係る処理の回数を抑えながら、ユーザが寝転んだ状態で表示装置１００を使用している場合等、表示装置１００の鉛直上方向とユーザの顔の上方向とが一致していない場合でも、ユーザの顔の上下方向に応じた表示物の表示が可能となる。

＜構成＞
以下、表示装置１００の構成について説明する。

図３は、表示装置１００の主要部の機能構成図である。

同図に示すように、表示装置１００は、端末方向判定部１１０、傾き検知部１１１、顔方向特定部１２０、制御部１３０、表示部１４０、入力部１５０及び記憶部１６０を備える。また、表示装置１００は、プロセッサ及びメモリを含んで構成されており、端末方向判定部１１０、顔方向特定部１２０、制御部１３０、表示部１４０及び入力部１５０の各機能は、上述のメモリに記憶されているプログラムを上述のプロセッサが実行することにより実現される。

傾き検知部１１１は、加速度センサであり、表示装置１００の左上に設置され、直交する３軸の加速度を計測する機能を有する。ここでの、３軸とは図１に示すように、タッチパネル１０１の表示面の左上の点から右方向にｘ軸を、下方向にｙ軸を、タッチパネル１０１の表示面から垂直方向にｚ軸をとる。

端末方向判定部１１０は、現在傾き検知部１１１の検知している傾きが、現在の表示物の表示方向に表示を更新したときから所定値以上変化しているか否かを判定する機能を有する。ここで、傾きとは、重力のタッチパネル１０１のｘ−ｙ平面における方向がｙ軸となす角を指すものとし、また、傾きとはタッチパネル１０１の傾きを意味しているが、本実施形態においてはタッチパネル１０１と表示装置１００とは一体不可分であるため、便宜上、表示装置１００の傾きと記載し、以降説明を続ける。端末方向判定部１１０は、ユーザの姿勢が変化しないと仮定した場合においてユーザにとって現在の表示が見づらくなると想定されたとき、例えば、表示方向であるＡ方向、Ｂ方向、Ｃ方向及びＤ方向の４方向に応じて、３１５度から４５度の範囲、４５度から１３５度の範囲、１３５度から２２５度の範囲、２２５度から３１５度の範囲の４つの角度範囲を設定し、傾き検知部１１１が検知した傾きが属する角度範囲が別のものへと変化したときに肯定的判定（現在の表示物の表示方向に表示を更新したときから傾きが所定値以上変化したという判定）をすることが望ましい。また、端末方向判定部１１０が肯定的に判定を行った後に行われる、後述の顔方向特定部１２０による顔方向特定処理は電力の消費が大きいため、角度範囲の境界付近で傾きの微動により傾きが安定しなくても、頻繁に肯定的な判定を行わないことが好ましい。そこで、本実施形態では、所定値を７０度とし、前回表示物の表示方向を更新したときに傾き検知部１１１が検知した傾きの属していた角度範囲の中心値を変化前の傾きを示す基準値として使用し、基準値より７０度以上変化した場合に、端末方向判定部１１０は、肯定的に判定を行うものとする。

顔方向特定部１２０は、更に、撮像部１２１と顔認識部１２２とを含み、表示装置１００を使用しているユーザの顔の上下方向を特定する機能を有する。

撮像部１２１は、カメラ１０２を含み、カメラ１０２に電力を供給して作動させ、ユーザの顔を撮影する。なお、撮像部１２１は、端末方向判定部１１０が、所定値以上に傾きが変化したと判定したときのみ、顔認識のためのユーザの顔の撮影を行う。

顔認識部１２２は、撮像部１２１が撮影したユーザの顔画像に、予め保持している顔の部位を認識するためのテンプレートを用いて照合することで、目と鼻とを認識する機能を有する。ここで、テンプレートの上方向とはテンプレート中の顔の上方向と一致するものであるとし、顔の部位を認識する際に、撮像部１２１が撮影した画像中の顔の上下方向とテンプレートの上下方向とが大きくずれている場合、顔の部位が認識できない。そのため、顔認識部１２２は、テンプレートをＡ方向、Ｂ方向、Ｃ方向及びＤ方向のいずれかが上となるように方向を指定して回転させて顔認識を行う。なお、撮影した画像の上方向はタッチパネル１０１におけるＡ方向と対応しているものとする。

顔方向特定部１２０は、顔認識部１２２が目と鼻とを認識できたときのテンプレートの向きで顔の上下方向を特定する。例えば、顔認識部１２２が目と鼻とを認識できたときのテンプレートの上方向がＡ方向であれば、ユーザの顔の上方向はＡ方向であると特定する。なお、顔方向特定部１２０は、特定した方向を制御部１３０に通知し、顔認識部１２２が目と鼻とを認識できなかった場合には、認識できなかったことを制御部１３０に通知する。

制御部１３０は、表示装置１００の表示に係る処理の全体を制御する機能を有する。

特に、制御部１３０は、顔方向特定部１２０が特定した顔の上下方向と表示物の上下方向とが合うように表示物を回転し、タッチパネル１０１に表示できるサイズに適宜拡大又は縮小し、表示部１４０に対し指示を送る。また、顔方向特定部１２０が顔の上下方向を特定できなかった場合には、傾き検知部１１１が検知した傾きに応じて表示物の表示を制御する。

表示部１４０は、タッチパネル１０１を含み、制御部１３０の指示を受け、タッチパネル１０１に表示物の表示を行う機能を有する。また、入力部１５０は、タッチパネル１０１への接触を検出し、ユーザからの入力を受け付ける機能を有する。

記憶部１６０は、後述する端末方向情報１０と顔方向情報２０とを記憶するためのメモリ領域である。

＜データ＞
まず、端末方向情報１０について説明する。

端末方向情報１０は、傾き検知部１１１が検知した傾きが属する角度範囲の中心値を示す情報であり、０度、９０度、１８０度及び２７０度のいずれかの値が格納されている。端末方向情報１０は、端末方向判定部１１０が肯定的に判定を行った後に、制御部１３０により更新される。具体的には、傾き検知部１１１が検知した傾きが３１５度から４５度の範囲であれば０度、４５度から１３５度の範囲であれば９０度、１３５度から２２５度の範囲であれば１８０度、２２５度から３１５度の範囲であれば２７０度に更新される。

端末方向判定部１１０による判定処理では、変化前の傾きを示す基準値として使用され、前回表示物の表示方向を更新したときに傾き検知部１１１が検知した傾きをｎとすると端末方向情報１０をｆ（ｎ）として、以下のように表すことができる。
（数式１）ｆ（ｎ）＝０（０≦ｎ＜４５，３１５≦ｎ＜３６０）
＝９０（４５≦ｎ＜１３５）
＝１８０（１３５≦ｎ＜２２５）
＝２７０（２２５≦ｎ＜３１５）
次に、顔方向情報２０について説明する。

顔方向情報２０は、現在の表示物の表示方向を示す情報であり、Ａ方向、Ｂ方向、Ｃ方向及びＤ方向のいずれかの情報が格納されている。顔方向情報２０は、顔方向特定処理を行い表示が更新された後に、制御部１３０によりその時点での表示物の表示方向に更新される。

＜動作＞
以下、表示装置１００の動作について説明する。

図５は、表示装置１００の動作を示すフローチャートである。

同図に示すように、端末方向判定部１１０は、表示装置１００が起動するとまず、予め起動後の初期表示として定められているように、背景画像やアイコン等の表示を行う（ステップＳ１）。その後、ユーザによる入力操作があった場合は（ステップＳ２のＹｅｓ）、その入力操作に対応する処理を行い、表示を更新する（ステップＳ３）。例えば、ユーザがタッチパネル１０１上に接触することで文字列を入力すれば、その文字列を表示する。続いて、端末方向判定部１１０は、記憶部１６０より端末方向情報１０を取得し（ステップＳ４）、端末方向情報１０の示す傾きから、現在傾き検知部１１１が検知している傾きが、所定値以上変化しているか否か判定する（ステップＳ５）。まず、端末方向判定部１１０は、記憶部１６０が記憶している端末方向情報１０から現在傾き検知部１１１が検知している傾きを減算した値の絶対値Ｐを算出する。算出した絶対値Ｐと３６０度から絶対値Ｐを減算した値とを比較し、小さい方の値を傾きの変化Ｓとする。

端末方向情報１０の示す傾きをｆ（ｎ）、現在傾き検知部１１１が検知している傾きをｍとすると、絶対値Ｐは以下のように表すことができる。
（数式２）Ｐ＝｜ｆ（ｎ）−ｍ｜
また、Ｍｉｎ関数を以下のように定めると、傾きの変化Ｓは以下のように表すことができる。
（数式３）Ｍｉｎ（ａ，ｂ）＝ａ（ａ≦ｂ）
＝ｂ（ａ＞ｂ）
（数式４）Ｓ＝Ｍｉｎ（Ｐ，３６０−Ｐ）
端末方向判定部１１０は、傾きの変化Ｓが所定値以上であるか否かを判定する。

上述のように端末方向情報１０及び変化の傾きＳを算出することにより、例えば、傾きが０度から１３５度に変化し、表示物の表示方向はＡ方向からＣ方向に更新され、端末方向情報１０は１８０度に更新された場合において、その後、表示装置１００が１３５度付近で傾きが安定しないときでも、端末方向情報１０の示す１８０度から所定値、つまり±７０度以上は傾きが変化していないため、端末方向判定部１１０は、所定値以上傾きが変化したと判定しないこととなる。その結果、顔方向特定部１２０が頻繁にユーザの顔の撮影及び顔認識を行い、電力を消費し続けることを防止することができる。

端末方向判定部１１０が、所定値以上に傾きが変化したと判定したときは（ステップＳ５のＹｅｓ）、制御部１３０は、記憶部１６０に記憶されている端末方向情報１０を更新し（ステップＳ６）、顔方向特定部１２０に端末方向判定部１１０が所定値以上に傾きが変化したと判定したことを通知する。顔方向特定部１２０は通知を受けると、顔方向特定処理を行う（ステップＳ７）。顔方向特定処理の詳細については後述する。

制御部１３０は顔方向特定処理により特定した顔の上下方向に合わせて、表示物を回転し、タッチパネル１０１に表示物が収まるように適宜拡大又は縮小し、表示部１４０に指示を送る。表示部１４０は指示を受け、タッチパネル１０１に表示物を表示する（ステップＳ８）。なお、顔方向特定部１２０が顔の上下方向を特定できなかった場合には、顔の上方向は、表示装置１００の鉛直上方向と一致しているものとし、表示装置１００の鉛直上側の辺を表示物の上方向となるように表示を行う。

その後、制御部１３０は、ステップＳ８で更新した表示物の表示方向で顔方向情報２０を更新する（ステップＳ９）。

以下、ステップＳ７における顔方向特定処理の詳細について、図６に即して説明を行う。

顔方向特定部１２０は、まず、カメラ１０２を作動し、ユーザの顔を撮影する（ステップＳ３１）。その後、撮影した顔画像に対して、顔画像の目と鼻とを認識できるまで、テンプレートをＡ方向、Ｂ方向、Ｃ方向及びＤ方向のいずれかが上方向となるように回転させて照合することで順次顔認識を行う。まず、顔方向情報２０の示す方向、つまり、端末方向判定部１１０が所定値以上に傾きが変化したと判定する前に、表示物の上方向となっていた方向を上方向としてテンプレートを設定し（ステップＳ３２）、顔認識を行う（ステップＳ３３）。ここで、目と鼻とが認識できなかった場合には（ステップＳ３３のＮｏ）、端末方向情報１０の傾きから表示装置１００が現在どの辺を鉛直方向上側の辺としているかを検出し、検出した上側の辺が上方向となるように、つまり、現在の表示装置１００の鉛直上方向が上方向となるようにテンプレートを回転し（ステップＳ３４）、顔認識を行う（ステップＳ３５）。

ここでも、目と鼻とを認識できなかった場合には、顔認識が成功するまで、順に残る２つの方向のいずれかが上方向となるようにテンプレートを回転し（ステップＳ３６、ステップＳ３８）、顔認識を行う（ステップＳ３７、ステップＳ３９）。

また、ステップＳ３４において、現在の表示装置１００の鉛直上側の辺を上とする方向と、端末方向判定部１１０が所定値以上に傾きが変化したと判定する前に、表示物の上方向となっていた方向とが一致していた場合には、顔認識が成功するまで、順に残る３つの方向のいずれかが上方向となるようにテンプレートを回転し（ステップＳ３４、ステップＳ３６、ステップＳ３８）、顔認識を行う（ステップＳ３５、ステップＳ３７、ステップＳ３９）。

顔方向特定部１２０は、顔認識部１２２における顔認識が成功した場合は（ステップＳ３３のＹｅｓ、ステップＳ３５のＹｅｓ、ステップＳ３７のＹｅｓ、ステップＳ３９のＹｅｓ）、目と鼻とを認識できたときのテンプレートの上下方向をユーザの顔の上下方向として特定し（ステップＳ４０）、制御部１３０へ通知する。また、顔認識部１２２が顔を認識できなかった場合には（ステップＳ３９のＮｏ）、認識できなかったことを制御部１３０へ通知する。

以下、図２及び図４を用いて、表示装置１００の動作の具体例について説明する。

ここでは、ユーザが、まず、図２（ｂ）に示すように表示装置１００を、辺２０２を鉛直上方向とした状態で使用し、その後、表示装置１００を回転させ、辺２０１を鉛直上方向とした状態で使用する（図２（ａ）参照）。更に、その後表示装置１００と共に横に寝転んで（図２（ｄ）参照）使用することとして説明を行う。また、図４は顔特定処理を説明するための図であり、図４（ａ）は撮影したユーザの顔画像を示し、図４（ｂ）はテンプレートを示している。

まず、ユーザの使用状況が図２（ｂ）から図２（ａ）に変化し、傾き検知部１１１が検知した傾きが３度であるとする。このとき、端末方向情報１０は９０度を示しているため、以下のようになる。

Ｐ＝｜９０−３｜＝８７
傾きの変化Ｓ＝Ｍｉｎ（８７，２７３）＝８７≧７０
これにより、端末方向判定部１１０は、所定値以上に傾きが変化したと判定する。端末方向判定部１１０は、判定結果を制御部１３０に通知し、通知を受けた制御部１３０は、端末方向情報１０を０度で更新し、顔方向特定部１２０に端末方向判定部１１０が所定値以上に傾きが変化したと判定したことを通知する。顔方向特定部１２０は通知を受けると、まず、ユーザの顔を撮影する。ここで、撮影されたユーザの顔画像は、図４（ａ）に示すようにＡ方向となっている。顔方向特定部１２０は、図４（ｂ）に示すように、まずは顔方向情報２０が示すＢ方向、次に、端末方向情報１０に基づいて現在の表示装置１００の鉛直上側の辺を上方向としたＡ方向、その後は、残る２つの方向を順に、ここでは、Ｄ方向、Ｃ方向の順番に撮影した顔の目と鼻とを認識できるまでテンプレートを回転させていくこととなる。まず、テンプレートの上方向が顔方向情報２０の示すＢ方向となるようにテンプレートを回転し、顔認識を行う（図４（ｂ）（１）参照）。ここでは、ユーザの顔の上下方向とテンプレートの上下方向とが大きくずれているため、目と鼻との認識は行えない。次に、顔方向特定部１２０は、テンプレートの上方向がＡ方向となるようにテンプレートを回転し、顔認識を行う（図４（ｂ）（２）参照）。ここで、撮影した顔の目と鼻とが認識でき、顔方向特定部１２０は顔方向をＡ方向と特定する。顔方向特定部１２０は特定した方向を制御部１３０に通知する。通知を受けた制御部１３０は、顔方向特定部１２０が特定したＡ方向となるように、表示物を回転し、タッチパネル１０１の表示範囲に収まるように適宜拡大又は縮小を行い、表示部１４０に指示を送り、表示部１４０は指示に従い、タッチパネル１０１に表示を行う。また、制御部１３０は、顔方向情報２０をＡ方向で更新する。

次に、ユーザの使用状況が図２（ａ）から図２（ｄ）に変化し、傾き検知部１１１が検知した傾きが９２度であるとすると、以下のようになる。

Ｐ＝｜０−９２｜＝９２
傾きの変化Ｓ＝Ｍｉｎ（９２，２６８）＝９２≧７０
端末方向判定部１１０は所定値以上に傾きが変化したと判定し、その後、制御部１３０は、端末方向情報１０を９０度で上書きし、顔方向特定部１２０に端末方向判定部１１０が所定値以上に傾きが変化したと判定したことを通知する。顔方向特定部１２０は通知を受けると、ユーザの顔を撮影し、テンプレートを顔方向情報２０の示すＡ方向に回転し、顔認識を行う。このとき、ユーザの顔は、表示装置１００に対してＡ方向を上として撮影されているため、顔の部位が認識でき、顔方向特定部１２０は顔方向をＡ方向と特定する。制御部１３０は、顔方向特定部１２０が特定したＡ方向となるように、表示物を回転し、タッチパネル１０１の表示範囲に収まるように適宜拡大又は縮小し、表示部１４０に指示を送り、表示部１４０は指示に従い、タッチパネル１０１に表示を行う。

＜補足＞
以上、本発明に係る表示装置の実施形態を説明したが、例示した表示装置を以下のように変形することも可能であり、本発明が上述の実施形態で示した通りの表示装置に限られないことは勿論である。

（１）上記実施形態では、端末方向判定部は、所定値を７０度として変化前の基準値から所定値以上傾きが変化しているか否かの判定処理を行ったが、これに限らない。判定の境界付近で傾きが安定しない場合に、頻繁に顔認識に係る処理が行われるのを防ぐことができるのが望ましいが、所定値は、ユーザ操作によってある一定程度以上に表示装置の向きが変化したことが判断できるものであればよい。例えば、基準値や所定値を設定せず、傾き検知部が検知した角度が属する角度範囲が異なる角度範囲に変化した場合に、肯定的に判定を行うものとしてもよい。また、端末方向判定部は、４方向に表示を切り替えることを想定して、０度、９０度、１８０度及び２７０度を基準値として判定処理を行ったが、基準値は４つに限らず、８つ等としてもよい。４方向に表示を切り替える場合には、所定値は５０度より大きい値であることが望ましい。

（２）上記実施形態では、テンプレートを４方向に回転させて顔認識を行い、顔方向が４方向のいずれかを上方向としているかを特定したが、これに限らない。表示方向を決定するための顔の上下方向が特定できればよく、例えば、７０〜１１０度、１６０〜２００度、２５０〜２９０度及び３４０〜２０度の範囲内で５度ずつテンプレートを回転させて顔認識を行う等としてもよいし、認識した顔の上下方向の特定も４方向に限らない。

また、上記実施形態では、顔認識部が顔の認識を行えなかったときには、制御部が顔の上方向と表示装置の鉛直上方向とが一致することとして表示物の表示を行ったが、これに限らない。顔の上下方向が特定できなかったときでも表示物の表示が行えればよく、顔方向特定部が、顔認識部が顔を認識できなかったときに、表示装置の鉛直上方向を顔の上方向として特定するものとしてもよい。

（３）上記実施形態では、最初に、表示装置の傾きが所定値以上変化する前に、表示物の上方向としていた方向とテンプレートの上方向とが合うようにテンプレートを回転させ顔認識を行い、次は、現在の表示装置の鉛直上方向とテンプレートの上方向とが合うようにテンプレートを回転させ顔認識を行ったが、これに限らない。効率的に顔認識を行えるようにテンプレートを回転させる順番を決定できればよく、例えば、最初に、現在の表示装置の鉛直上方向とテンプレートの上方向とが合うようにテンプレートを回転させて顔認識を行ってもよい。また、現在の表示装置の鉛直上方向をテンプレートの上方向としては顔認識を行わず、テンプレートを３方向に回転させ、いずれのときにも顔が認識できなかったときに、現在の表示装置の鉛直上方向に応じた表示方向で表示物を表示させることとしてもよい。これにより、顔認識を行う最多回数を３回に抑えることが可能となる。

（４）上記実施形態では、顔を認識するためにテンプレートを用いたが、これに限らず、顔の部位を認識できるものであればよい。例えば、基準としてテンプレートではなく、数値化された値を用い、顔を形成する部位の位置、形状等を数値化して顔を認識するものとしてもよい。

（５）上記実施形態では、顔方向特定部は、撮影した顔画像の目と鼻とを認識することで顔の上下方向を特定したが、これに限らない。目と眉とでもよいし、肩や首等、顔の上下方向を特定できるものであればよい。

（６）上記実施形態では、傾き検知部は加速度センサであることとしたが、角度が検知できるもの、またはジャイロセンサ等のように検知した値により角度が求められるものであれば他のものでも良い。

（７）上記実施形態では、端末方向判定部は、重力のｘ−ｙ平面における成分とｙ軸とのなす角を傾きとし、判定を行ったが、これに限らない。向かい合った別のユーザにｘ軸を中心に回転させて表示装置を渡すこと等を想定し、重力のｙ−ｚ平面における成分とｙ軸とのなす角を傾きとして判定を行ってもよい。ユーザ操作によってある一定程度以上に表示装置の向きが変化したことを契機として顔方向の特定を行えばよい。

（８）上記実施形態では、顔方向特定部は、端末方向判定部が、所定値以上傾きが変化したと判定したときのみユーザの顔の撮影及び顔認識を行うものとした。ここで、表示装置のプロセッサは処理を行っていないときには低電力状態になるものであるとすれば、更なる消費電力の削減が可能となる。

（９）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。

以下、更に本発明の一実施形態としての表示装置の構成及びその変形例と効果について説明する。

（ａ）本発明の一実施形態に係る表示装置は、図３に示すように、ディスプレイを有し、当該ディスプレイへの表示物の表示方向が可変である可搬な表示装置であって、前記ディスプレイの傾きとして鉛直方向の成分を、鉛直面内における基準線からの回転角度で検知する傾き検知手段と、ディスプレイに相対する看者の顔を認識し、ディスプレイに相対する看者の顔の上下方向が、現在のディスプレイの姿勢においていずれの方向であるかを特定する顔方向特定手段と、ディスプレイに表示可能な表示方向の選択数に依存した角度範囲を設定し、新たに前記傾き検知手段から検知されるディスプレイの角度が、直前にディスプレイへの表示物の表示方向を変更した際に前記傾き検知手段が検知した角度が属する角度範囲を超えて、少なくとも異なる角度範囲に進入しているか否かを判定する端末方向判定手段と、前記端末方向判定手段が前記判定を肯定的に行ったときに、前記顔方向特定手段による前記特定を開始させると共に、ディスプレイに相対する看者の顔の上下方向の特定結果に応じて表示方向を変更して表示させる制御手段とを備える。ここで角度範囲とは、ディスプレイに表示可能な表示方向の選択数に依存しているが、必ずしも選択数と一致するものではなく、表示方向が４方向であった場合に、角度範囲は８つにわけることとしてもよい。また、傾き検知手段は、角度そのものを検知するものには限らず、検知した情報より角度を算出できるものであればよい。この構成により、本発明に係る表示装置は、常に顔の上下方向の特定に係る処理を行うのではなく、傾き検知手段が検知した傾きの属する角度範囲が異なるものへ変化したときに顔の上下方向の特定に係る処理を行うため、顔の上下方向の特定に係る消費電力を抑制しながら、ユーザの顔の上下方向に応じた表示方向で表示物を表示することができる。

（ｂ）前記表示装置における端末方向判定手段は、新たに前記傾き検知手段から検知されるディスプレイの角度が、直前にディスプレイへの表示物の表示方向を変更した際に前記傾き検知手段が検知した角度が属する角度範囲を超えて、更に、当該角度範囲の境界より所定値分以上に異なる角度範囲に進入している場合に、前記判定を肯定的に行うこととしてもよい。この構成によると、傾き検知手段が検知した傾きが、直前に表示物の表示方向を変更した際に属していた角度範囲を超えて、当該角度範囲の境界より所定値分以上異なる角度範囲に進入していたときに肯定的に判定を行うため、角度範囲の境界付近で表示装置の傾きが安定しない場合でも、頻繁にユーザの顔の撮影及び顔認識を行い、電力を消費し続けてしまうことを防止する。

（ｃ）前記表示装置における端末方向判定手段は、前記傾き検知手段が検知する角度のうち、前記ディスプレイ平面における鉛直方向の成分が、前記基準線となす角度に基づいて前記判定を行うこととしてもよい。この構成によると、ディスプレイの表示面における鉛直方向の成分で示される傾きのみを対象として端末方向判定手段が判定を行うため、ディスプレイ面を水平から起こして使用する使用シーンにおいて、ユーザがディスプレイを必要に応じて回転させると好適な向きで表示物が表示されるようになり、また全ての方向の傾きで判定するより効率的に判定を行うことができ、より消費電力を抑えることができる。

（ｄ）前記表示装置は更に、直前のディスプレイへの表示物の表示方向を記憶する記憶手段を備え、前記顔方向特定手段は、撮影した顔画像に予め保持している顔の部位を認識するための基準を、方向を指定した状態で照合することにより顔の部位を認識する顔認識手段を含み、前記顔認識手段は、前記記憶手段が記憶する表示方向に基づく表示物の上方向を、前記基準の上方向として最初に指定し、前記基準による照合をおこなうこととしてもよい。この構成によると、ユーザが表示装置と共に横になったとき等に、顔認識を行う回数を減らすことができるため、顔認識に係る消費電力の更なる削減が可能となる。

（ｅ）前記表示装置における顔方向特定手段は、前記顔認識手段が顔の部位を認識できなかったときには、前記傾き検知手段が検知した角度より現在の前記ディスプレイの鉛直上側となる１辺を検出し、検出した１辺が上方向となるように顔の上下方向を特定するとしてもよい。この構成によると、顔認識手段が顔の部位を認識できなかったときでも、表示装置の鉛直上方向を顔の上方向として特定するため、顔認識手段が顔の認識を行えなかったときでも表示物の表示を行うことができる。

（ｆ）前記表示装置における傾き検知手段は、加速度センサであることとしてもよい。この構成によると、傾き検知手段は加速度センサであるため、ｘ軸、ｙ軸及びｚ軸に対応する３方向の傾きを計測することができる。

（ｇ）前記表示装置におけるディスプレイが表示可能な表示方向の数が４であり、選択数に依存した前記角度範囲が９０度毎であることとしてもよい。この構成によると、ディスプレイへの表示方向の数と一致させて角度範囲を設定するため、効率よく判定及び表示方向の変更を行える可能性が高い。

（ｈ）前記表示装置における顔方向特定手段は、撮影した顔画像に予め保持している顔の部位を認識するための基準を、方向を指定した状態で照合することにより顔の部位を認識する顔認識手段を含み、前記顔認識手段は、前記傾き検知手段が検知した角度より現在の前記ディスプレイの鉛直上側となる１辺を検出し、検出した１辺が前記基準の上方向となるように最初に指定し、前記基準による照合をおこなうこととしてもよい。この構成によると、ユーザが表示装置のみ傾けたとき等に、顔認識を行う回数を減らすことができるため、顔認識に係る消費電力の更なる削減が可能となる。

本発明に係る表示装置は、消費電力を抑制しながら、ディスプレイに相対するユーザの顔の上下方向に応じた方向で表示物を表示するものであり、表示物の表示方向を切り替える機器等に有用である。

１００表示装置
１０１タッチパネル
１０２カメラ
１０３スピーカ
１１０端末方向判定部
１１１傾き検知部
１２０顔方向特定部
１２１撮像部
１２２顔認識部
１３０制御部
１４０表示部
１５０入力部
１６０記憶部

Claims

ディスプレイを有し、当該ディスプレイへの表示物の表示方向が可変である可搬な表示装置であって、
前記ディスプレイのディスプレイ平面における重力の成分方向と、前記ディスプレイ平面における基準線との角度を検知する傾き検知手段と、
前記ディスプレイに相対するユーザの顔を認識し、前記ディスプレイに相対する前記ユーザの顔の上下方向が、前記ディスプレイの現在の姿勢に対していずれの方向であるかを特定する顔方向特定手段と、
前記傾き検知手段により検知し得る複数の角度範囲を設定し、前記傾き検知手段により新たに検知される前記角度が、直前に前記ディスプレイへの前記表示物の表示方向を変更した時に前記傾き検知手段により検知された前記角度が属する角度範囲を超えて、異なる角度範囲に進入しているか否かを判定する端末方向判定手段と、
前記端末方向判定手段により異なる前記角度範囲に進入していると判定される場合、前記顔方向特定手段による前記特定を開始させると共に、前記ディスプレイに相対する前記ユーザの顔の上下方向の特定結果に応じて表示方向を変更して表示させる制御手段と、
を備える表示装置。
前記端末方向判定手段により、前記傾き検知手段により新たに検知される前記角度が、直前に前記ディスプレイへの前記表示物の表示方向を変更した時に前記傾き検知手段により検知された前記角度が属する角度範囲を超えて、更に、当該角度範囲の境界より所定値分以上に異なる角度範囲に進入していると判定される場合、前記制御手段により、前記顔方向特定手段による前記特定を開始させると共に、前記ディスプレイに相対する前記ユーザの顔の上下方向の特定結果に応じて表示方向を変更して表示させる、
請求項１に記載の表示装置。
前記表示装置は、更に、前記ディスプレイにおいて、直前に変更された前記表示物の前記表示方向を記憶する記憶手段を備え、
前記顔方向特定手段は、取得した前記ユーザの顔画像と、予め保持している顔の部位を認識するための基準画像とを照合することにより、前記顔画像における顔の部位を認識する顔認識手段を含み、
前記顔画像と前記基準画像との照合は、前記表示方向により示される前記表示物の上方向を、前記基準画像の上方向として最初に指定して、行われる、
請求項１に記載の表示装置。
前記顔方向特定手段は、前記顔認識手段により顔の部位を認識できなかった場合、前記傾き検知手段により新たに検知された前記角度に基づいて、現在の前記ディスプレイの鉛直上側となる１辺を検出し、検出した１辺が上方向となるようにディスプレイに相対する前記ユーザの顔の上下方向を特定する、
請求項３に記載の表示装置。
前記傾き検知手段は、加速度センサである、
請求項１に記載の表示装置。
前記ディスプレイにおいて取り得る前記表示方向の数は、４であり、前記複数の角度範囲は、各々、９０度の範囲を有する、
請求項１に記載の表示装置。
前記顔方向特定手段は、取得した前記ユーザの顔画像と、予め保持している顔の部位を認識するための基準画像とを照合することにより、前記顔画像における顔の部位を認識する顔認識手段を含み、
前記顔画像と前記基準画像との照合は、前記傾き検知手段により新たに検知された前記角度に基づいて、前記ディスプレイの現在の鉛直上側となる１辺を検出し、検出した１辺が前記基準画像の上方向として最初に指定して、行われる、
請求項１に記載の表示装置。
ディスプレイを有し、当該ディスプレイへの表示物の表示方向が可変である可搬な表示装置において用いられる表示方向切替方法であって、
傾き検知手段により、前記ディスプレイのディスプレイ平面における重力の成分方向と、前記ディスプレイ平面における基準線との角度を検知する傾き検知ステップと、
顔方向特定手段により、前記ディスプレイに相対するユーザの顔を認識し、前記ディスプレイに相対する前記ユーザの顔の上下方向が、前記ディスプレイの現在の姿勢に対していずれの方向であるかを特定する顔方向特定ステップと、
端末方向判定手段により、前記傾き検知ステップにより検知し得る複数の角度範囲を設定し、前記傾き検知ステップにより新たに検知される前記角度が、直前に前記ディスプレイへの前記表示物の表示方向を変更した時に前記傾き検知ステップにより検知された前記角度が属する角度範囲を超えて、異なる角度範囲に進入しているか否かを判定する端末方向判定ステップと、
制御手段により、前記端末方向判定ステップにより異なる前記角度範囲に進入していると判定される場合、前記顔方向特定ステップによる前記特定を開始させると共に、前記ディスプレイに相対する前記ユーザの顔の上下方向の特定結果に応じて表示方向を変更して表示させる制御制御ステップと、
を含む表示方向切替方法。