JPWO2012108273A1

JPWO2012108273A1 - 画像表示装置、画像表示方法およびプログラム

Info

Publication number: JPWO2012108273A1
Application number: JP2012556825A
Authority: JP
Inventors: 奥山　俊幸; 俊幸奥山
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2011-02-09
Filing date: 2012-01-26
Publication date: 2014-07-03
Also published as: US9229527B2; US20130271366A1; WO2012108273A1; CN103403789A; EP2674937A1; EP2674937A4

Abstract

画像表示装置であって、画像を表示する表示部と、表示部に対向する被写体を撮影する撮影部と、当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出部と、検出部にて所定の動作が検出された場合に、撮影部にて撮影された画像から人の顔の表示部に対する傾きを推定する推定部と、表示部に表示された画像の向きを推定された傾きに応じて変更する表示方向変更部とを有する。

Description

本発明は、画像を表示する画像表示装置、画像表示方法およびプログラムに関する。

近年、携帯端末等、画像を表示する画像表示装置では、表示された画像を視認しやすい向きに自動的に変更する機能を有するものが増えてきている。

この機能は例えば、画像表示装置に加速度センサーを設けておき、その加速度センサーで重力加速度を検出してその画像表示装置が支持されている方向を推定し、推定結果に基づき、表示された画像の向きを変更する。

また、携帯端末装置の筺体の姿勢に応じて画面の表示方向を切り替える技術が例えば、特許文献１に開示されている。

特許文献１に開示されている技術では、携帯端末装置の筐体の姿勢を示す姿勢情報に基づいて携帯端末装置の使用者が携帯端末装置の画面を閲覧する閲覧方向を推測する。そして、推測された閲覧方向と姿勢情報と応じた画面表示が行われる。

特開２００９−４９５１２号公報

しかしながら、上述した加速度センサーを用いた方法や、特許文献１に開示されている技術を利用しても、画像表示装置の使用者がその画像表示装置を支持する力の加減や、表示された画像を視認する視認者の姿勢に応じ、画像が視認しづらい向きになってしまうという問題点がある。

ここで、表示された画像の向きが自動的に変更される機能を一時的に無効にすることも可能ではある。しかし、この場合、画像の向きを自動的に変更させることができるという機能を有効に活用できなくなってしまうとともに、画像を表示する向きを予め決めておかなくてはならない。つまり、利便性が低下してしまうという問題点がある。

本発明は、利便性を低下させることなく、表示された画像が視認しづらい向きになってしまうのを回避することができる画像表示装置、画像表示方法およびプログラムを提供することを目的とする。

上記目的を達成するために本発明の画像表示装置は、
画像を表示する表示部と、
前記表示部に対向する被写体を撮影する撮影部と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出部と、
前記検出部にて所定の動作が検出された場合に、前記撮影部にて撮影された画像から人の顔の前記表示部に対する傾きを推定する推定部と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する表示方向変更部と、を有する。

また、上記目的を達成するために本発明の画像表示方法は、画像を表示する表示部を備えた画像表示装置における画像表示方法であって、
前記表示部に対向する被写体を撮影する処理と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出処理と、
前記検出処理において所定の動作が検出された場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する推定処理と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する処理と、を有する。

また、上記目的を達成するために本発明のプログラムは、画像を表示する表示部を備えた画像表示装置に、
前記表示部に対向する被写体を撮影する機能と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出機能と、
前記検出機能によって所定の動作が検出された場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する推定機能と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する機能と、を実現させる。

本発明は以上説明したように構成されているので、利便性を低下させることなく、表示された画像が視認しづらい向きになってしまうのを回避することができる。

本発明の画像表示装置を適用した携帯端末の実施の一形態を示すブロック図である。図１に示した携帯端末の外観図である。図１に示した動作検出部が算出した加速度の変化量の一例を示す図である。図１に示した推定部が、認識した顔の上下方向を判別する動作の一例を説明するための顔の模式図である。図１に示した表示方向決定部が、表示部の４辺のうち上となる辺を決定する動作の一例を説明するための図である。図１〜図５に示した携帯端末の動作を説明するためのフローチャートである。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の画像表示装置を適用した携帯端末の実施の一形態を示すブロック図である。また、図２は、図１に示した携帯端末１００の外観図である。なお、携帯端末とは例えば、タブレット端末、スマートフォン、デジタルカメラ、携帯電話機、携帯ゲーム機、携帯音楽プレーヤー等である。

本実施形態の携帯端末１００は図１に示すように、表示部１１０と、撮影部１２０と、制御部１３０と、加速度センサー１４０とを備えている。

表示部１１０は、携帯端末１００に記憶されたデータに基づく画像や、携帯端末１００の使用者等からの各種入力を受け付けるための入力画面等を示す画像等を表示する。

撮影部１２０は、制御部１３０から出力された撮影指示を受け付けると、表示部１１０に対向する被写体を撮影する。従って、表示部１１０を視認している視認者がいる場合、撮影部１２０は、その視認者の顔を撮影することになる。そして、撮影部１２０は、撮影した画像を示す画像データを制御部１３０へ出力する。

加速度センサー１４０は、例えば携帯端末１００の縦、横、奥行きの３軸のように複数の軸方向のそれぞれについて加速度の大きさを検出する。

制御部１３０は、推定部１３１と、動作検出部１３２と、表示方向決定部１３３と、表示方向変更部１３４とを備えている。

動作検出部１３２は、携帯端末１００の使用者の携帯端末１００に対する動作を検出する。具体的には動作検出部１３２は、加速度センサー１４０にて検出された複数の軸方向それぞれの加速度の大きさの変化量の和を、携帯端末１００の使用者の携帯端末１００に対する動作に応じて携帯端末１００に加えられた加速度の変化量として算出する。そして、動作検出部１３２は、算出した加速度の変化量が予め決められた閾値を超えている場合、その旨を示す変化検出情報を表示方向決定部１３３へ出力する。

図３は、図１に示した動作検出部１３２が算出した加速度の変化量の一例を示す図である。

図３に示す例では時刻ｔ１において、算出された加速度の変化量が閾値を超えている。この場合、動作検出部１３２は、時刻ｔ１の後に変化検出情報を表示方向決定部１３３へ出力することになる。

再度、図１を参照すると、推定部１３１は、撮影部１２０から出力された画像データを受け付け、受け付けた画像データが示す画像から人の顔を認識する。次に、推定部１３１は、認識した顔の各構成部位の位置を識別する。ここで、識別される各構成部位の位置は、撮影部１２０に対する位置である。次に、推定部１３１は、表示部１１０と撮影部１２０との位置関係に基づき、認識した顔の各構成部位の表示部１１０に対する位置を識別する。なお、推定部１３１は、表示部１１０と撮影部１２０との位置関係を例えばセンサ（不図示）等を用いて検出する。次に、推定部１３１は、識別した各構成部位の表示部１１０に対する位置に基づき、認識した顔の上下方向を判別する。これにより、認識した顔の表示部１１０に対する傾きが推定されることになる。そして、推定部１３１は、判別した上下方向のうち上となる方向を示す第１の方向情報を表示方向決定部１３３へ出力する。

図４は、図１に示した推定部１３１が、認識した顔の上下方向を判別する動作の一例を説明するための顔の模式図である。

図４において、推定部１３１が認識した顔５０の各構成部位は、目５１，５２、鼻５３、口５４である。推定部１３１は、認識した顔５０の輪郭から、目５１，５２の位置と、鼻５３および口５４の少なくとも一方の位置とを識別する。そして、推定部１３１は、目５１と目５２との中点から鼻５３または口５４への方向を、認識した顔において下となる方向と判別する。また、推定部１３１は、その反対方向を、認識した顔において上となる方向と判別する。

再度、図１を参照すると、表示方向決定部１３３は、動作検出部１３２から出力された変化検出情報を受け付けると、撮影指示を撮影部１２０へ出力する。その後、表示方向決定部１３３は、推定部１３１から出力された第１の方向情報を受け付ける。そして、表示方向決定部１３３は、受け付けた第１の方向情報が示す方向から、表示部１１０の４辺のうち上方向となる辺を決定する。そして、表示方向決定部１３３は、決定した辺を示す第２の方向情報を表示方向変更部１３４へ出力する。

図５は、図１に示した表示方向決定部１３３が、表示部１１０の４辺のうち上となる辺を決定する動作の一例を説明するための図である。

表示方向決定部１３３は、表示部１１０の中心を交点とする斜線ｐと斜線ｑとを用いて表示部１１０を分割した領域ａ、領域ｂ、領域ｃ、領域ｄのそれぞれを認識している。また、表示方向決定部１３３は、表示部１１０の４辺、辺Ａ、辺Ｂ、辺Ｃ、辺Ｄのそれぞれを認識している。そして、表示方向決定部１３３は、領域ａと辺Ａ、領域ｂと辺Ｂ、領域ｃと辺Ｃ、領域ｄと辺Ｄ、のそれぞれを対応付けて記憶している。

受け付けた第１の方向情報にて示される方向が例えば矢印ｒの方向である場合、表示方向決定部１３３は、表示部１１０の４辺のうち、矢印ｒの方向を含む領域ａに対応する辺Ａを上方向となる辺として決定する。同様に、例えば受け付けた第１の方向情報にて示される方向が領域ｂに含まれる場合には、領域ｂに対応する辺Ｂが上方向となる辺として決定される。

再度、図１を参照すると、表示方向変更部１３４は、表示方向決定部１３３から出力された第２の方向情報を受け付ける。そして、表示方向変更部１３４は、受け付けた第２の方向情報が示す辺を上方向として、表示部１１０に表示された画像の向きを変更する。

以下に、上記のように構成された携帯端末１００の動作について説明する。

図６は、図１〜図５に示した携帯端末１００の動作を説明するためのフローチャートである。

加速度センサー１４０は、複数の軸方向について加速度の大きさを検出する（ステップＳ１）。

動作検出部１３２は、加速度センサー１４０にて検出された複数の軸方向のそれぞれの加速度の大きさの変化量の和を、携帯端末１００に加えられた加速度の変化量として算出する（ステップＳ２）。

次に、動作検出部１３２は、算出した加速度の変化量が閾値を超えているかどうかを判定する（ステップＳ３）。

ステップＳ３における判定の結果、算出した加速度の変化量が閾値を超えていない場合、ステップＳ１の動作へ遷移し、複数の軸方向についての加速度の大きさの検出が継続される。

一方、ステップＳ３における判定の結果、算出した加速度の変化量が閾値を超えている場合には、動作検出部１３２は、変化検出情報を表示方向決定部１３３へ出力する。

動作検出部１３２から出力された変化検出情報を受け付けた表示方向決定部１３３は、撮影指示を撮影部１２０へ出力する。

表示方向決定部１３３から出力された撮影指示を受け付けた撮影部１２０は、表示部１１０に対向する被写体を撮影する（ステップＳ４）。

そして、撮影部１２０は、撮影した画像を示す画像データを推定部１３１へ出力する。

撮影部１２０から出力された画像データを受け付けた推定部１３１は、受け付けた画像データが示す画像から人の顔を認識する（ステップＳ５）。

次に、推定部１３１は、認識した顔の各構成部位の撮影部１２０に対する位置を識別する。

次に、推定部１３１は、表示部１１０と撮影部１２０との位置関係に基づき、認識した顔の各構成部位の表示部１１０に対する位置を識別する。

次に、推定部１３１は、識別した各構成部位の表示部１１０に対する位置に基づき、ステップＳ５にて認識した顔の上下方向を判別する（ステップＳ６）。

そして、推定部１３１は、判別した上下方向のうち上となる方向を示す第１の方向情報を表示方向決定部１３３へ出力する。

推定部１３１から出力された第１の方向情報を受け付けた表示方向決定部１３３は、受け付けた第１の方向情報が示す方向から、表示部１１０の４辺のうち上方向となる辺を決定する（ステップＳ７）。

そして、表示方向決定部１３３は、決定した辺を示す第２の方向情報を表示方向変更部１３４へ出力する。

表示方向決定部１３３から出力された第２の方向情報を受け付けた表示方向変更部１３４は、受け付けた第２の方向情報が示す辺を上方向として、表示部１１０に表示された画像の向きを変更する（ステップＳ８）。

この後、ステップＳ１の動作へ遷移し、複数の軸方向についての加速度の大きさの検出が継続される。

このように本実施形態において携帯端末１００は、携帯端末１００の使用者の携帯端末１００に対する動作を検出し、所定の動作が検出された場合に、撮影部１２０にて撮影された画像から人の顔の表示部１１０に対する傾きを推定する。

そして、携帯端末１００は、表示部１１０に表示された画像の向きを、推定された傾きに応じて変更する。

これにより、利便性を低下させることなく、表示された画像が視認しづらい向きになってしまうのを回避することができる。

また、本実施形態においては、推定部１３１が人の顔の表示部１１０に対する傾きを推定するタイミングを、算出された加速度の変化量が閾値を超えた場合としている。そのため、表示部１１０の視認者の一時的なよそ見や表情の変化などで、表示部１１０に表示された画像の向きが変更されてしまうことがない。また、携帯端末１００の使用者が意図的に携帯端末１００を振るなどして携帯端末１００に加えられる加速度を変化させて、推定部１３１が人の顔の表示部１１０に対する傾きを推定するタイミングを任意に決定することもできる。

また、本実施形態において、動作検出部１３２、表示方向決定部１３３および表示方向変更部１３４のそれぞれは、携帯端末１００に加えられる加速度の変化量が閾値を超えてから、算出した加速度の変化量が閾値以下になった後に、上述した所定の動作を実行するようにしてもよい。

この場合、動作検出部１３２が算出した加速度の変化量が例えば図３に示したような推移であるとすると、算出した加速度の変化量が閾値以下となる時刻ｔ２の後に、動作検出部１３２、表示方向決定部１３３および表示方向変更部１３４のそれぞれは、上述した所定の動作を実行する。具体的には例えば動作検出部１３２は、時刻ｔ２の後に変化検出情報を出力する。つまり、携帯端末１００に加えられた加速度の急激な変化がなくなってから変化検出情報が出力されることになる。

これにより、表示部１１０に表示された画像の向きが、使用者の意図に反して変更されてしまうのを回避することができる。

なお、本実施形態においては、撮影部１２０が１人の顔を撮影する場合を想定していた。しかし、複数の人が表示部１１０を視認していることもあり、この場合、撮影部１２０が複数の顔を撮影する可能性がある。

撮影部１２０が複数の顔を撮影した場合には、撮影された画像に含まれる複数の顔のうちの最も大きな顔や、複数の顔の重なり具合を識別して携帯端末１００に最も近い位置にある顔を、上下方向を判別する対象の顔とすればよい。また、携帯端末１００の使用者の顔の画像を予め携帯端末１００に記憶させておき、複数の顔のうち記憶された画像に最も近い顔を、上下方向を判別する対象の顔としてもよい。

また、本実施形態においては、携帯端末１００に加えられる加速度の変化量に基づいて推定部１３１が人の顔の表示部１１０に対する傾きを推定する場合について説明したが、推定部１３１が人の顔の表示部１１０に対する傾きを推定するタイミングとしては例えば、携帯端末１００の使用者が表示部１１０に触れたときとしてもよい。また、例えば携帯端末１００が折りたたみ式である場合には、携帯端末１００の使用者が携帯端末１００を開いたときとしてもよい。また、例えば携帯端末１００がスライド式である場合には、使用者が携帯端末１００をスライドさせたときとしてもよい。また、例えば携帯端末１００が通話機能を有している場合には、通話を終了したときとしてもよい。

また、本実施形態においては、算出された加速度の変化量が閾値を超えた場合に、推定部１３１が人の顔の表示部１１０に対する傾きを推定する場合について説明したが、算出された加速度の変化量が所定の時間連続して閾値を超えた場合に、推定部１３１が人の顔の表示部１１０に対する傾きを推定するようにしてもよい。また、算出された加速度の変化量が所定の時間内に所定の回数だけ閾値を超えた場合に、推定部１３１が人の顔の表示部１１０に対する傾きを推定するようにしてもよい。これにより、加速度の大きさが誤って検出された場合等に、表示部１１０に表示された画像の向きが変更されてしまうのを回避することができる。

また、本実施形態においては、携帯端末１００の使用者の動作を検出するために、加速度センサー１４０を用いたが、これ以外にも、近傍の物体の有無を非接触で検知するための非接触センサーや、角度センサー等も用いることが可能である。

また、本発明においては、画像表示装置内の処理は上述の専用のハードウェアで実現されるもの以外に、その機能を実現するためのプログラムを画像表示装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを画像表示装置に読み込ませ、実行するものであっても良い。画像表示装置にて読取可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、画像表示装置に内蔵されたＨＤＤなどを指す。

以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１１年２月９日に出願された日本出願特願２０１１−０２６１０１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

画像表示装置であって、
画像を表示する表示部と、
前記表示部に対向する被写体を撮影する撮影部と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出部と、
前記検出部にて所定の動作が検出された場合に、前記撮影部にて撮影された画像から人の顔の前記表示部に対する傾きを推定する推定部と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する表示方向変更部と、を有する画像表示装置。
請求項１に記載の画像表示装置において、
前記検出部は、当該画像表示装置に加えられる加速度を検出し、
前記推定部は、前記検出された加速度の変化量が予め決められた閾値を超えた場合に、前記撮影部にて撮影された画像から人の顔の前記表示部に対する傾きを推定する画像表示装置。
請求項１または請求項２に記載の画像表示装置において、
前記推定部は、前記顔の各構成部位の位置を識別し、該識別した各構成部位の位置に基づいて当該顔の上下方向を判別することにより、当該顔の前記表示部に対する傾きを推定する画像表示装置。
画像を表示する表示部を備えた画像表示装置における画像表示方法であって、
前記表示部に対向する被写体を撮影する処理と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出処理と、
前記検出処理において所定の動作が検出された場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する推定処理と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する処理と、を有する画像表示方法。
請求項４に記載の画像表示方法において、
前記検出処理は、当該画像表示装置に加えられる加速度を検出する処理であり、
前記推定処理は、前記検出された加速度の変化量が予め決められた閾値を超えた場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する処理である画像表示方法。
請求項４または請求項５に記載の画像表示方法において、
前記推定処理では、前記顔の各構成部位の位置を識別し、該識別した各構成部位の位置に基づいて当該顔の上下方向を判別することにより、当該顔の前記表示部に対する傾きを推定する画像表示方法。
画像を表示する表示部を備えた画像表示装置に、
前記表示部に対向する被写体を撮影する機能と、
当該画像表示装置の使用者の当該画像表示装置に対する動作を検出する検出機能と、
前記検出機能によって所定の動作が検出された場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する推定機能と、
前記表示部に表示された画像の向きを前記推定された傾きに応じて変更する機能と、を実現させるためのプログラム。
請求項７に記載のプログラムにおいて、
前記検出機能は、当該画像表示装置に加えられる加速度を検出する機能であり、
前記推定機能は、前記検出された加速度の変化量が予め決められた閾値を超えた場合に、前記撮影された画像から人の顔の前記表示部に対する傾きを推定する機能であるプログラム。
請求項７または請求項８に記載のプログラムにおいて、
前記推定機能では、前記顔の各構成部位の位置を識別し、該識別した各構成部位の位置に基づいて当該顔の上下方向を判別することにより、当該顔の前記表示部に対する傾きを推定するプログラム。