JP6021800B2 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
JP6021800B2
JP6021800B2 JP2013502329A JP2013502329A JP6021800B2 JP 6021800 B2 JP6021800 B2 JP 6021800B2 JP 2013502329 A JP2013502329 A JP 2013502329A JP 2013502329 A JP2013502329 A JP 2013502329A JP 6021800 B2 JP6021800 B2 JP 6021800B2
Authority
JP
Japan
Prior art keywords
display device
information display
information
orientation
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013502329A
Other languages
English (en)
Other versions
JPWO2013021539A1 (ja
Inventor
山田 和範
山田  和範
紹二 大坪
紹二 大坪
務 向井
務 向井
瑞穂 榊原
瑞穂 榊原
大嶋 光昭
光昭 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2013021539A1 publication Critical patent/JPWO2013021539A1/ja
Application granted granted Critical
Publication of JP6021800B2 publication Critical patent/JP6021800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/16Digital picture frames

Description

本発明は、スマートフォン、タブレットなど携帯型の情報表示装置に関し、特に、端末のGUIの表示方法に関する。
近年、スマートフォンなどの高性能な携帯型の情報表示端末(以下モバイルと記載。)が登場し、多様な用途に応用されつつある。なかでも、モバイルを用いて家電を制御するような応用形態が現れている。スマートフォンやタブレットなどはノート型パソコンと比べてその形状が、筐体の姿勢と一致しておらず、縦持ち横持ち、上下反転など自由な持ち方ができる。そのため、GUIをユーザの求める向きに表示する必要が発生する。
それに対して、重力方向を検知して、地面に対して垂直方向の辺を上としたGUI表示となるよう実装されたモバイルの商品がある。しかし、ユーザのモバイルの保持方法は多様であり、例えばモバイルを水平に持って回転させた場合など、この方式では対応できないケースも存在する。
そこで、このような課題を解決するひとつの方法が特許文献1に開示されている。特許文献1では、タッチセンサが検知する圧力に基づき、モバイルの持ち方が両手持ちか片手持ちかを検知して、画面表示の内容を変更する方法が開示されている。
特許第4489719号公報
しかしながら、特許文献1の技術では、ユーザがモバイルを普段の持ち方と異なる持ち方をした場合や、向きを変えた持ち方をした場合には対応できない。
そこで、本発明は、上記の問題点に着目したものであり、例えば情報表示装置の向きを変えるなどユーザが多様な持ち方をした場合でも、ユーザが違和感なく見ることができる向きにGUIを表示できる情報表示装置を提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る情報表示装置は、加速度センサ、角速度センサ、地磁気センサ、圧力センサなどの各種センサを用いてモバイルの姿勢を検出する姿勢センサによって、モバイルの状態を把握して、ユーザとモバイルの位置関係及びモバイルの姿勢をモバイルが推定することで、ユーザが違和感なく見ることができる向きにGUIを表示する。
本発明によれば、ユーザが多様な持ち方をした場合でも、ユーザが違和感なく見ることができる向きにGUIを表示できる情報表示装置を実現できる。それにより、ユーザが多様な持ち方をした場合でも、ユーザが違和感なくモバイルを操作することができる。
図1は、本発明の実施の形態1における情報表示装置の姿勢と画面表示向きの関係を示す図である。 図2は、本発明の実施の形態1における情報表示装置の画面の表示向きを判定する処理部の内部構成を示す図である。 図3は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。 図4は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。 図5は、本発明の実施の形態2における情報表示装置の向きを設定する処理部の内部構成を示す図である。 図6は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図7は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図8は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図9は、本発明の実施の形態3における情報表示装置の構成を示す図である。 図10は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図11は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図12は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図13は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図14は、位置DBに格納されるポイント対象の情報の例である。 図15は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図16は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図17は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図18は、本発明の実施の形態4における情報表示装置自身の向きを示すアイコンを表示する方法を説明するための図である。 図19は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図20は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図21は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図22は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図23は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図24は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図25は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図26は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図27は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図28は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図29は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図30は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図31は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図32は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図33は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図34は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図35は、本発明の実施の形態5における情報表示装置の一態様のモバイル端末の構成を示す図である。 図36は、本発明の実施の形態5におけるユースケースの一例を示す図である。 図37は、本発明の実施の形態5におけるユースケースの一例を示す図である。 図38は、本発明の実施の形態5の説明で用いるモバイル端末の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。 図39は、本発明の実施の形態5の説明で用いるモバイル端末の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。 図40は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のメニュー画面の一例を示す図である。 図41は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図42は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図43は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図44は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図45は、本発明の実施の形態5におけるモバイル端末の別の操作のユースケースの一例を示す図である。 図46は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図47は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図48は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図49は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図50は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図51は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図52は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図53は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図54は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図55は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図56は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図57は、本発明の実施の形態5におけるモバイル機器を利用する場合の動作を説明するための図である。 図58は、本発明の実施の形態5におけるモバイル機器の基準方位の更新方法を説明するためのフロー図である。 図59は、本発明の実施の形態5におけるモバイル機器が水平に倒れた事の検知方法を説明するためのフロー図である。 図60は、本発明の実施の形態5におけるモバイル機器の磁気センサの3軸の方向の例を示す図である。 図61は、本発明の実施の形態5におけるモバイル機器の加速度センサを用いた水平に倒れた事の検知方法を説明するための図である。 図62は、本発明の実施の形態5におけるモバイル機器の磁気センサの3軸の方向の例を示す図である。 図63は、本発明の実施の形態5におけるモバイル機器の画面表示方向を説明するための図である。 図64は、本発明の実施の形態5におけるモバイル機器の画面表示方向変更テーブルを示す図である。 図65は、本発明の実施の形態5におけるモバイル機器の画面表示方向遷移図を説明するための図である。 図66は、本発明の実施の形態5におけるモバイル機器の画面表示方向を説明するための図である。 図67は、本発明の実施の形態5におけるモバイル機器が回転する場合のモバイル機器の方位を示す図である。 図68は、本発明の実施の形態5におけるモバイル機器を人物が見る場合のモバイル機器の表示を示す図である。 図69は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。 図70は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。 図71は、本発明の実施の形態5におけるモバイル機器の基準方位の更新方法のフローを示す図である。 図72は、本発明の実施の形態5におけるモバイル機器を対向した人物が見る場合のモバイル機器の表示を示す図である。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
実施の形態1は、遠心力やユーザがモバイルを振る動作を検知して、画面の表示向きを変更することで、ユーザが違和感なく見ることができる向きにGUIを表示する処理の流れについて説明する。
図1は、本発明の実施の形態1における情報表示装置の姿勢と画面表示向きの関係を示す図である。図1に示すとおり、ユーザがモバイルを見ている状態での、初期状態を(A)とする。(A)ではモバイルは水平面である机に対して、画面が鉛直方向から20度ずれた状態になっている。この状態から時計回りに90度まわすと(B)の状態になり、すなわちモバイルは鉛直方向に縦長の状態になり、GUIが鉛直方向の上に相当する辺を上部としてGUIが表示される。
このよう、画面表示部が水平状態にないモバイルでは、加速度センサ等で重力を検知することで鉛直方向の上側を上部としたGUI表示をすることができる。
さらには、(C)のようにモバイルを水辺に倒した場合は、(B)の表示が維持される。その後に、モバイルを水平面上で反時計回りに向きを変えたときに(D)のように(C)において上部だった方向にGUIが表示される。ここでは机を、水平面を表すために利用しているが、床や天井、手に持った状態などでもかまわない。
ここで、図2を用いて(A)や(B)の状態の検知をしつつ、(C)及び(D)へ端末姿勢を変えたときに、表示向きを決定する方法についてさらに詳しく説明する。図2は、本発明の実施の形態1における情報表示装置の画面の表示向きを判定する処理部の内部構成を示す図である。
図2に示すとおり、本発明のモバイル装置は、加速度センサ101と、角速度センサ102と、地磁気センサ103と、これらのセンサの情報を元にモバイルの水平面に対する角度や、水平面上の向きなどの端末姿勢情報を検出する端末姿勢検出部104と、端末姿勢情報などからモバイルの画面に表示するGUIの表示向きを判定する表示向き判定部105と、端末の過去の状態として、端末姿勢情報やGUIの表示向きを時系列端末状態保存部107に保存し管理する時系列端末状態管理部106と、画像表示部108とを有する。
次に、図3を用いて処理の流れを示す。図3は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。
まず、ステップ100aで、端末姿勢検出部は、各種センサから端末の姿勢変化を検出したかどうかを判定し、検出しなかった場合はステップ100aに戻る。
次に、ステップ100bで、検出した場合、端末姿勢検出部104が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ100cで、端末姿勢検出部104が、モバイルの水平面に対する任意の角度(例えば20度)以上の傾きを検出したかどうかを判定する。
ステップ100cにおいて、Yesの場合は、ステップ100dへ進み、端末姿勢検出部104が重力方向の情報から検出された姿勢の中で、傾きによってもっとも鉛直方向の上側にある辺を判定する。
次に、ステップ100eで、表示向き判定部105が検出した辺が画面表示上の上部になるよう表示画面の向きを変更し、次に、ステップ100fで、時系列端末状態管理部が端末姿勢情報を現状の表示向きとともに保存する。
次に、ステップ100gで、表示処理終了したかを判定する。Yesの場合は、終了する。終了しなければ(Noの場合)、ステップ100aへ戻る。
なお、ステップ100cで、Noの場合は、図4のW01へ進む。
続いて、図4を用いて処理の流れを示す。図4は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。
まず、ステップ101aで、表示向き判定部が時系列端末状態管理部から一つ前の端末の姿勢情報と表示向きを取得する。
次に、ステップ101bで、端末姿勢検出部が、角速度又は地磁気センサ、又はその両方を用いて、現時点の端末の姿勢として水平面上の向きの変化を取得する。
次に、ステップ101cで表示向き判定部が、一つ前の端末の姿勢情報と現時点の端末の姿勢情報を比較する。
次に、ステップ101dで、一つ前の端末の姿勢情報がモバイルの水平面に対する任意の角度(例えば20度)以上の傾きを有することをあらわす?かどうかを判定する。
Yesの場合は、ステップ101eへ進み、表示向き判定部が、一つ前の端末の表示向きを変更せずに表示を継続する。そして、図3のW02へ戻る。
一方、Noの場合は、ステップ101fへ進み、向きの変化が任意の角度(70度)を超えている?かどうかを判定する。
次いで、ステップ101gで、表示向き判定部が、向きの変化の方向と逆に画面を90度変更して、図3のW02へ戻る。
このようにして、本実施の形態の情報表示装置(モバイル)は、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
(実施の形態2)
本実施の形態2では、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定する方式について開示する。
図5は、本発明の実施の形態2における情報表示装置の向きを設定する処理部の内部構成を示す図である。図5に示す構成は、実施の形態1に示した構成に対して遠心力方向検出部111が加わる点が異なる。
次に、図6を用いて処理の流れを示す。図6は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ110aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ110bで、端末姿勢検出部が、重力方向の値から、端末の水平線に対する姿勢情報を算出する。
次に、ステップ110cで、自機器の表示部があらかじめ決められた誤差以内の水平に近い状態かどうかを判定する。
Yesの場合は、ステップ110eへ進み、遠心力方向検出部が、水平方向の加速度の値を取得する。
次にステップ110fで、任意の時間内で、水平方向の加速度成分が一定方向に出続けており、かつ逆方向に成分がないケースがあるかどうかを判定する。
ここで、Yesの場合は、ステップ110hへ進み、取得された方向の遠いほうの辺を上部としてGUIを表示し、図7のW03へ進む。
Noの場合は、ステップ110gへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図7のW03へ進む。
なお、ステップ110cで、Noの場合は、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図7のW03へ進む。
続いて、図7を用いて処理の流れを示す。図7は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ111aで、端末姿勢検出部が、加速度センサの値を取得し、合成ベクトルから重力方向を取得する。
次に、ステップ111bで、端末姿勢検出部が、重力の基準値を自端末が計測により保存する位置情報を元に算出する。または、自端末の位置情報を元に重力の基準値をクラウド上のサーバにアクセスして取得する。
次に、ステップ111cで、取得された3軸加速度の合成値が重力の基準値と比較して大きいかどうかを判定する。
Yesの場合は、ステップ111gへ進み、もっとも大きいベクトルに近づくよう、重力方向を補正する。
次に、ステップ111hで、重力成分を除いた合成ベクトルが水平面上で示す方向の遠いほうの辺を上部としてGUIを表示し、図8のW04へ進む。
なお、ステップ111cで、Noの場合は、ステップ111dへ進み、自機器の表示部があらかじめ決められた閾値(角度)以内の水平に近い状態?かどうかを判定する。
Yesの場合は、ステップ111eへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図8のW04へ進む。
Noの場合は、ステップ111fへ進み、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図8のW04へ進む。
続いて、図8を用いて処理の流れを示す。図8は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
まず、ステップ112aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ112bで、端末姿勢検出部が角速度センサ又は加速度センサから、検出された姿勢の中で揺れ幅の大きい辺を検出する。
次に、ステップ112cで、端末向き判定部が、検出した振れ幅の大きい辺と、予め設定されているか又は過去に保存された振れ幅の大きい辺と先頭方向との関係を示す情報を用いて、GUIの向きを設定する。
次に、ステップ112dで、任意の時間(例5秒)以内にユーザが、一定値を超える傾きまたは遠心力によって先頭方向を検知するかどうかを判定する。
Noの場合は終了する。
一方、Yesの場合は、ステップ112eへ進み、振れ幅によって検出された辺と違うかどうかを判定する。ここで、Noの場合は終了し、Yesの場合は、ステップ112fへ進み、端末向き判定部が、振れ幅の大きい辺と、その後一定時間以内にユーザが先頭方向とした辺の関係を保存して終了する。
このようにして、本実施の形態の情報表示装置(モバイル)は、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定し、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
(実施の形態3)
本実施の形態では、モバイルが内蔵センサを用いた自律航法によってモバイル自身の位置情報を取得することと、モバイルがあらかじめ位置が登録されている周辺のデバイスや物、位置情報を有する仮想的なタグ情報といった周辺環境の情報を用いたGUIやアプリケーションを表示する場合の画面の向きの決定方法について説明する。
図9は、本発明の実施の形態3における情報表示装置の構成を示す図である。
図9に示す構成は、実施の形態1の構成と比較して、モバイルが内蔵センサによって取得した情報からモバイルの移動量を検出する移動量検出部121と、モバイルの現在地座標を推定する座標推定部と、モバイルが周辺環境の情報をポイント対象として探索する、ポイント対象探索部とポイント対象となる周辺のデバイスや物、位置情報を有する仮想的なタグ情報などのリストを位置情報として登録するデータベースである位置DB124が加わる点が異なる。
なお、圧力センサによる高さの検知など、位置を特定する為に有用なセンサであれば内蔵センサとして用いることができる。
また、位置DB124は、端末内部にあっても良いが、クラウド上に置かれていてもよく、その保存場所は問わない。
続いて、図10を用いて処理の流れを示す。図10は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ120aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
次に、ステップ120bで、端末姿勢検出部が、重力方向の値から、端末の水平面に対する姿勢情報を算出する。
次に、ステップ120cで、端末姿勢検出部が加速度センサと角速度センサ地磁気センサから端末姿勢を決定する。
次に、ステップ120dで、移動量検出部が前回座標推定時からの加速度センサの値を取得する。
次に、ステップ120eで、移動量検出部が端末姿勢検出部から端末姿勢情報を取得する。
次に、ステップ120fで、移動量検出部が端末姿勢情報と加速度センサの値から、端末の移動方向、移動距離を算出する。
次に、ステップ120gで座標推定部が一つ前の座標推定時の座標値からの、移動方向、移動距離を元に現時点のモバイルの座標値である推定現在地座標を算出する。
次に、ステップ120hで、座標推定部が、過去に基準点を認識したときからの移動量の総量から、座標推定確度を設定して、図11のW05へ進む。
続いて、図11を用いて処理の流れを示す。図11は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ121aで、ポイント対象探索部が、端末がポイントする対象物サーチ状態かどうかを確認(例えばユーザのボタン押下、特定位置、静止状態)する。
次に、ステップ121bで、対象物サーチ状態かどうかを判定する。
Noの場合は、図12のW06へ進む。一方、Yesの場合は、ステップ121cへ進み、ポイント対象探索部が、姿勢制御部から端末姿勢を取得し、端末の先頭方向の向きを特定する。
次に、ステップ121dで、ポイント対象探索部が座標推定部から自機器の座標値を取得する。
次に、ステップ121eで、ポイント対象探索部が、位置DB上に登録された位置情報を有する機器などの対象物が自機器の座標値から端末の先頭の向いた方向に存在するかどうかを確認する。
次に、ステップ121fで、対象物が存在するかどうかを判定する。
Noの場合は、図12のW06へ進む。一方、Yesの場合は、ステップ121gへ進み、ポイント対象に関連する機能を起動(例えば対象機器の制御GUI)して、図12のW06へ進む。
続いて、図12を用いて処理の流れを示す。図12は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
まず、ステップ122aで、表示向き判定部が、ポイント対象に関連するGUIを表示しているモードかどうかを判定する。
次に、ステップ122bで、表示向き判定部が、端末姿勢検出部から、端末姿勢を取得する。
次に、ステップ122cで、自機器の表示部があらかじめ決められた閾値(例:±10度)以内の水平に近い状態?かどうかを判定する。
Yesの場合は、図13のW08へ進む。一方、Noの場合は、図13のW07へ進む。
続いて、図13を用いて処理の流れを示す。図13は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
W07において、ステップ123aで、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示して、終了する。
W08において、ステップ123bで、表示向き判定部が、自機器の座標値とポイント対象物の座標値を結ぶ直線状のポイント対象物に近いほうの辺を算出する。
次に、ステップ123cで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+−20度)以内かどうかを判定する。
Yesの場合は終了し、Noの場合は、ステップ123dへ進み、位置DBから取得したポイント対象の位置の正確度が任意のレベル(例80%)以上かどうかを判定する。ここで、Yesの場合は終了し、Noの場合は、ステップ123eへ進み、表示向き判定部が、時系列端末状態管理部の情報から、現状が回転中かどうかを判定する。
次に、ステップ123fで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+−20度以内)になる方向に回転中であるかどうか判定する。
Yesの場合は、終了し、Noの場合は、ステップ123gへ進み、現状の向きを変えないで表示を続け終了する。
図14は、位置DBに格納されるポイント対象の情報の例である。図14に示すように対象物は、それぞれの3次元空間上の絶対座標値、又はモバイルが位置を特定するために使用したいづれかの基準点を基準とした相対座標値を持つ。さらには、対象物自身を基準点と考えた場合の、座標値の正確さを表す基準点角度情報を持つことも可能である。また、対象物の座標や基準点角度情報を更新した場合の更新時刻情報を持つことが可能である。
このようにして、本実施の形態の情報表示装置によれば、ユーザがポイントしたい対象を意識している状況で、ユーザがモバイルを多様な持ち方をして使っていても、ユーザが違和感なくモバイルを操作することができるGUIの表示が実現する。
(実施の形態4)
アイコン表示することによってユーザにより分かりやすい表示を実現する方法について述べる。例えば、モバイルの画面向きを変えた場合に、モバイル自身の筐体の姿勢とモバイル自身の画面の向きとの関係がわかりにくくなることを防ぐため、現時点のモバイルの姿勢を示すアイコンを表示する。
以下、図を用いて、本発明の実施の形態4における情報表示装置(モバイル自身)の向きを示すアイコンを表示する方法を説明する。図18は、本発明の実施の形態4における情報表示装置(モバイル自身)において、常に端末の正位置を示すアイコンのバリエーションを示す図である。また、図19〜図27は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。
図18において、モバイルの画面の左上にあるアイコンはボタン・カメラ・スピーカ位置を誇張表現したモバイル自身の絵を縮小したものである。このアイコンは画面の向きが変わっても常に見やすい位置に、端末自体の向きを表示し続ける。具体的には縦向き横向きにかかわらず左上にモバイル端末の現状態の位置が表示される。このとき、モバイルの筐体がどの向きを向いても、アイコンの向きは筐体に対して不変であり、画面内の他のコンテンツが色々な方向を向いても、アイコンだけは筐体と同じ向きで表示される。
また、図21のように右下や左下に表示しても良く、さらには右上など、画面内の表示位置は何処にあっても良い。ここで水平面から70度に傾いた絵を用いているが、一例であり、角度は問わない。
なお、図19、図20も同様にアイコンの種別のバリエーションを表すものである。また、図21の(A)〜図27では、横位置と縦位置について左右や上下片方の絵しか見せない場合のアイコンを開示する。図21に示すように、モバイルによっては、前面にカメラやスピーカーがついているなどして、縦位置、横位置に対して、カメラが上にある必要があるなど、正しい位置(正位置)というものがある。この場合は、ユーザに表示するときのアイコンは縦と横のときの正位置を示すものとして2種類あればよい。
図28〜図34は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。
例えば、図28に示すようにアイコンは、縦位置に対して正位置となる方向にアイコンの上方向が来て、モバイルが縦位置に対して正位置とは反対の姿勢のときは、アイコンが反対を向くので、ユーザが違和感を持つ。これによってユーザに正位置にするよう促すことができる。図29〜図34もユーザに正位置を促すアイコンを開示したものである。図中に別の例としてあるものは、左上にアイコン表示させたものである。
また、アイコンを左右非対称とし、方向性をもたせることで、現在の端末の位置から、どちらに回転させれば正位置になるかをユーザに示唆することができる。例えば図28に示すように、目をモチーフとしたアイコンが右を見ている場合は、端末の右側を上にすることで正位置にすることができることを示している。図29〜図34も同様に、アイコンの顔の向き、指差しの向き、体の向きが正位置の方向を示している。
また、図26では縦位置と横位置によって絵が別のものに変わるアイコンを示している。横位置では鳥に見えたものが、縦位置ではウサギに見えるものと、横位置ではペンギンだが縦位置ではマンボウに見える。これによって、違和感のある絵のときは筐体の向きがおかしいという風にユーザに感じさせることができる。
この場合は、ユーザにとって違和感のあるアイコンの表示をなくすことができる。このとき、アイコンを表示するモジュールが、事前に画面の向きの上方向を認識し、常にGUIの上側を基準として、横位置と縦位置にあわせたアイコン表示となるようにすることができる。
(実施の形態5)
本実施の形態では、情報表示装置の一態様としてデジタルカメラ等のモバイル端末の電気的構成について、図35を用いて説明する。図35は、本発明の実施の形態5における情報表示装置の一態様のモバイル端末の構成を示す図である。
〔1−1.概要〕
本実施の形態にかかるモバイル端末5000は、タッチパネルなど外部入力とディスプレイを持ち、インターネットブラウジングや映像の閲覧、音楽の視聴、TVや家電製品の操作などを行うことができる多機能なモバイル端末である。本実施の形態のモバイル端末5000は、その使用目的上、モバイル端末を縦向きや横向きに回転させることが想定されるが、ユーザの向いている方向に常に画面の向きを回転させて表示させることで、ユーザがモバイル端末5000をどのように回転させても、常に見やすい表示方向で画面を表示させることを可能にする。
〔1−2.構成〕
〔1−2−1.電気的構成〕
図35に示すモバイル端末5000は、角速度センサ1002および地磁気センサ1003を持ち、これらの入力を用いて表示方向制御部1005に現在ユーザがどの方向からモバイル端末5000を持っているかを検出させ、表示方向を決定する。そして決定した表示方向を画面表示制御部1006へ伝える。画面表示制御部1006は、制御方向制御部の情報を元に、実際にモバイル端末のディスプレイ1004へ出力する情報を生成し、ディスプレイ1004へ送る。ディスプレイ1004は受信した情報をディスプレイ画面に表示させる。以下、モバイル端末5000の構成を詳細に説明する。
外部入力部1030は、タッチパネルやハードウェアキーなどにより構成される。ユーザの操作を受け付けることで、モバイル端末5000を操作する様々な入力を受け取ることができる。ディスプレイ1004がタッチパネル付きで外部操作を受け付けることができる場合、ディスプレイ1004と兼用することも可能である。
コントローラ1020は、モバイル端末5000全体を制御する制御手段である。コントローラ1020は、半導体素子などで実現可能である。コントローラ1020は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ1020は、マイコンなどで実現できる。コントローラ1020は、角速度センサ1002や地磁気センサ1003などによって検出されたモバイル端末5000の向いている方位、鉛直方向の傾きによって、ユーザにとって利便性の高い画面表示方向を制御し、画面に表示させることができる(詳細は後述する)。
角速度センサ1002は、モバイル端末5000の角速度を検出するためのセンサであり、複数軸方向の角速度を検出することができる。
地磁気センサ1003は、モバイル端末5000が向いている水平方向の方位情報を検出するためのセンサであり、方位情報を取得することができる。
表示方向制御部1005は、角速度センサ1002と、地磁気センサ1003との情報を元にモバイル端末5000の表示方向を制御する。モバイル端末5000が例えば水平方向に時計回りに90度の回転を検出した場合、これはユーザがモバイル端末5000を長辺方向から短辺方向に回転させたとみなせるため、反時計回りに90度表示画面を回転させることを指令するなどの制御を行うことができる。どのタイミングでどの程度回転を行うかに関しては後述する。
画面表示制御部1006は、表示方向制御部1005の情報を元に、ディスプレイ1004へ送信するUI画面を実際に生成する部分である。画面表示制御部1006はソフトウェアで実装しても良いし、負荷の高い処理をハードウェア化するなど、ハードウェアとソフトウェアのハイブリッドで実装することも可能である。
ディスプレイ1004は、画面表示制御部1006より送信されるUI画面を表示させることができる。メモリ1010から読み出した情報を表示可能である。また、ディスプレイ1004は、モバイル端末5000の各種設定を行うための各種メニュー画面等を表示可能である。
メモリ1010は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ1010は、モバイル端末5000全体を制御するための制御プログラムや、典型的なメニュー画面を生成するための、ボタン、アイコン情報や、映像、音楽情報、テキスト情報、モバイル端末5000の表示方向の変更のための閾値情報などに関する情報等を記憶している。特に、本実施の形態においては、メモリ1010は、表示方向を切り替えるための判断情報となる初期表示方位と、水平方向回転閾値情報と、鉛直方向回転閾値情報と、切り替える表示メニュー情報と、現在のメニュー画面を回転させるライブラリ情報とを記憶する。
〔1−2−2.用語の対応〕
角速度センサ1002は、モバイル端末5000の姿勢を検出するための情報取得手段の一例である。地磁気センサ1003は、モバイル端末5000の向いている水平方向の向きすなわち方位情報や水平方向の回転を検出する手段の一例である。
また、コントローラ1020は、情報取得手段、回転判定手段、回転検出手段、及び制御手段の一例である。内部メモリ1010は記憶手段の一例である。ディスプレイ1004は表示手段の一例である。
〔1−3−1.ユースケース〕
本実施の形態で想定するユースケースの一例を図36、図37を用いて説明する。
今、図36のようにAさんがモバイル端末5000を短編方向をAさんに向けて(本実施の形態ではこれを縦向き持ちと呼ぶ)操作していて、映像など長編方向をAさんに向けて(本実施の形態ではこれを横向き持ち)みた方が良い場合などにおいても、図36の右図のように、画面が回転することはないため、Aさんは縦持ちから横持ちに切り替えた場合は別途画面を回転させる必要があった。
しかし、本実施の形態では、図37のように、Aさんが図37の左図ように縦向き持ちから図37の右図のように横向き表示に切り替えた場合において、Aさんの見やすい方向に画面が自動で回転することを特徴とする。
〔1−3−2.表示画面の回転制御(全体)〕
本実施の形態のモバイル端末5000の一連の動作を説明するため、説明の便宜上ユースケース別に通常ケースと特殊ケースとに分けて説明を行う。
図38および図39は、本実施の形態の説明で用いるモバイル端末5000の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。
図38を用いて、モバイル端末5000の水平方向の方位に関する変数を定義する。すなわち、モバイル端末5000の初期状態でモバイル端末5000が向いている方位をD0と定義する。また、モバイル端末5000が水平方向に回転し、現在向いている方位をD1と定義する。
なお、本実施の形態ではD0/D1は方位情報を用いて説明を行うが、D0/D1モバイル端末5000の水平方向の回転を検出するための情報であれば良く、例えばジャイロセンサの水平方向の加速度を累積して、モバイル端末5000が向いている相対方向を検出しても良い。
続いて、図39を用いて、モバイル端末5000の鉛直方向の傾きに関する変数を定義する。モバイル端末5000が水平方向に向いている場合の傾きを0度とし、垂直に立てた場合を90度とする。現在のモバイル端末5000の傾きをHと定義する。HThrは後述する表示回転を行うための鉛直方向の傾き閾値である。
図40は、モバイル端末5000をTVリモコンとして操作した場合のメニュー画面の一例を示す図である。モバイル端末5000を縦向き表示させた場合を図40の左図に示しており、モバイル端末5000を横向き表示させた場合を図40の右図に示している。縦向きの場合はチャンネルボタンを大きく、横向き表示の場合は番組に関する付随情報などをあわせて表示させ、縦向き表示と横向き表示で表示させる内容を変えることでユーザが欲しい情報に簡単にアクセスできるようになる。ここで、図41〜図44は、モバイル端末5000をTVリモコンとして操作した場合のユースケースの一例を示す図である。図45は、モバイル端末5000の別の操作のユースケースの一例を示す図である。
図46から図51を用いて本実施の形態におけるモバイル端末5000の制御フローを説明する。図46〜図51は、本発明の実施の形態5におけるモバイル端末5000の制御フローを説明するための図である。
まず、ステップ601aで、モバイル端末5000電源がONされる。
次に、ステップ601bで、表示方向制御部1005が地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
次に、ステップ601cで、表示方向制御部1005が初期表示方位Doを方位情報D1で初期化する。
次に、ステップ601eで、表示方向制御部1005が水平方向の回転が許可されているかを検出する。Noの場合は、ステップ601dに進む。Yesの場合はステップ601fに進む。
ここで、水平方向の回転が許可されているか否かに関して解説する。モバイル端末5000はユーザ操作によって回転を許可する/許可しないを設定可能とする。またモバイル端末5000を図41のようにリモコンとして操作している場合、モバイル端末5000の回転を検出しても表示を回転させない場合も存在する。このため、水平方向の表示回転を許可/不許可する機能を持たすことで。意図しない画面回転を防止することができる。
次に、ステップ601fで、表示方向制御部1005はメモリ1010より現在のモバイル端末5000の初期方位情報D0・水平方向回転閾値DThrを取得する。
次に、ステップ601gで表示方向制御部1005は地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
次に、ステップ601hで表示方向制御部1005は検出した方位情報D1が初期方位情報D0よりDThr以上変化しているか?を判定する。Noの場合はステップ601dに進む。Yesの場合はステップ601jに進む。
次に、ステップ601jで初回のみ回転検出開始時刻を記録する。
次に、ステップ601kで表示方向制御部1005は現在時刻は回転検出時刻より所定時間経過しているか?を検出する。
Noの場合はステップ601mで一定時間待機後ステップ601gに進む。Yesの場合はステップ601nに進む。
次に、ステップ601j〜601nで一定時間回転量を検出する時間を設けているのは、ユーザがモバイル端末5000を180度回転させた場合など、回転閾値の2倍以上モバイル端末5000を回転させた場合に、モバイル端末5000の回転をスムーズに行うためである。また、一度回転閾値以上モバイル端末5000を回転させ、すぐに反対方向に回転させた場合などにおいて、反対方向の回転が連続し、ユーザの目がちらついてしまうことを防止するためである。
次に、ステップ601nで表示方向制御部1005はモバイル端末5000のディスプレイ面が鉛直方向上向きか下向きかを検出する。
次に、ステップ601oで表示方向制御部1005はD0方向が表示画面の上部になるように画面を回転させる命令を画面表示制御部1006に通知する。
ステップ601n、ステップ601oに関しては図45のように例えばユーザが仰向けになってモバイル端末5000を操作している場合、モバイル端末5000がD1方向させた場合に補正のために画面を回転させる向きが、モバイル端末5000のディスプレイ1004が鉛直方向下向きと仰向きで逆になるためである。
次に、ステップ601pで表示方向制御部1005は画面回転のちらつき・閾値制御処理実施する。
次に、ステップ601rで画面表示制御部1006は新規画面作成がOKかどうかを判定する。Noの場合はステップ601sで一定時間待機後、ステップ601qに進む。Yesの場合はステップ601sに進む。
このステップは、例えばモバイル端末5000のユーザインターフェース層のソフトが優先度の高い別処理(例えば画面スクロールなど)を行っている場合に、優先度が高い処理が完了するのを待つ処理を意味している。
次に、ステップ601tで画面表示制御部1006は回転対象の画面を新規に作成するかどうかを判定する。
Noの場合はステップ601xで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ601uに進む。
以下、ステップ601tで回転対象の画面を新規に作成する理由を説明する。
モバイル端末5000は前述したように、動画プレイヤーやTVリモコンなど様々な用途が想定される。このため、モバイル端末5000が利用している機能によっては、そのまま表示方向を回転させた方が良いもの(例えば動画プレイヤーなど)や、縦向き表示と横向き表示で表示内容を変えた方が良いもの(例えばリモコン)が存在する。本ステップによって、ユーザがモバイル端末5000を回転させることによる利便性をさらに向上させる。
次に、ステップ601uで画面表示制御部1006は新規画面を作成する。
次に、ステップ601vでディスプレイ1004は新規作成画面を描画する。
次に、ステップ602aで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
次に、ステップ602bで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr2より大きいかどうかを判定する。
Noの場合はステップ601wに進む。Yesの場合はステップ602cに進む。
次に、ステップ602cで表示方向制御部1005は画面の高位に有る側の辺が表示画面の上部になるように、画面を回転させる命令を 画面表示制御部1006に通知する。
次に、ステップ602dで画面表示制御部1006は回転対象の画面を新規に作成するかどうかの判定を行う。
Noの場合はステップ602gで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ602eに進む。
次に、ステップ602eで画面表示制御部1006は新規画面を作成する。
次に、ステップ602fでディスプレイ1004は新規作成画面を描画する。
次に、ステップ602hで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
次に、ステップ602jで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr1より小さいかを判定する。
Noの場合はステップ602hに進む。Yesの場合はステップ602mに進む。
次に、ステップ602kで表示方向制御部1005は現状の方位D1をD0として設定する。
ステップ602j〜ステップ602mの処理によって、ユーザがモバイル端末5000を一度鉛直方向に傾けた後、水平方向に戻した際に現在のモバイル端末5000が向いている方向を初期方位D0として設定することで、回転方向をリセット、あるいは補正することが可能になる。
次に、図51において、モバイル端末5000がスリープ状態から復帰したときの動作を説明する。
まず、ステップ603aでモバイル端末5000はスリープ状態からの復帰を検出する。
次に、スリープ状態からの復帰を検出すると、ステップ603bに進む。
次に、ステップ603bで画面表示制御部1006は前回スリープ時の表示方向をメモリより読み出す。
次に、ステップ603cで画面表示制御部1006前回スリープ時の表示方向と同じ画面をディスプレイ1004に描画する。
次に、ステップ601dに遷移する。
なお、本実施の形態では、初期化(あるいはスリープ復帰)の後水平方向への回転を実施する内容で説明を行ったが、図52〜図56のように、鉛直方向の回転を行う処理を行うことも可能である。ここで、図52〜図56は、本発明の実施の形態5におけるモバイル端末の別の制御フロー示す図である。
初期化時やスリープからの復帰時は、水平方向の初期方位D0や現在のモバイル端末5000の水平方向の方位情報D1の値が現状と正しくない場合あることが想定されるため、直後に鉛直方向の回転判定を行うことで、より精度良く表示画面の回転を行うことが可能となる。
〔1−3−3.表示画面の回転制御(詳細補足)〕
図41、図42、図43を用いて図47のステップ601eについて補足する。モバイル端末5000は前述したように多くの機能が装備され例えば汎用リモコン機能なども備えている。例えば汎用リモコンモードで操作中、ユーザがTVから90度回転した位置にあるコンポを操作しようとしてユーザがリモコンを持って回転すると、表示方向も回転してしまうことになり、利便性が損なわれる。図43のようにモバイル端末5000でネットサーフィンなどをしていて、リモコンモードに切り替えて、TVを操作するために、TVにモバイル端末5000を向けた場合も同様である。このため、モバイル端末5000は図42のように、操作モード毎に、垂直方向の回転を行う、水平方向の回転を行うという回転判定を持つことが好ましい。これによって、ユーザが意図しない画面回転を防止することができ、操作性を向上させることが可能となる。
本実施の形態では、モバイル端末5000が例えば床に置いてあるTVを操作するときなどは、TVを操作するときの傾きが鉛直方向回転閾値HThr2を超えてしまうと、画面が回転してしまい、利便性が下がってしまう。このため、モバイル端末5000は操作モードによって鉛直方向回転閾値や水平方向回転閾値を可変にすることが望ましい。
またTVの操作は一般的に赤外線で行うため、リモコンモードで、赤外線を発信する面がモバイル端末5000の中で下を向いている場合などにおいては、鉛直方向回転閾値HThr2を大きくする、あるいは鉛直方向の回転を抑制するなどによって、ユーザの操作性が良くなる。
(実施の形態6)
本実施の形態では、ユーザがモバイル機器を机の上で立てたり、倒して回転させたりしながら利用する場合の動作を、図57〜図67を用いて説明する。
図57に示す処理フローを以下解説する。
まず、ステップ1020aでスタートして、ステップ1020bでモバイル機器が水平に倒された時のモバイル機器の向いている方角を基準方向として、また、モバイル機器が水平に倒された時のモバイル機器の画面の向きを、ユーザにとって最適な表示方向として画面表示方向として保持する。基準方位の更新方法は、図58を用いて後に詳細を説明する。
次に、ステップ1020cで方位センサの値を現在方位として取得する。
次に、ステップ1020dで基準方位と現在方位との差を計算し、回転角度とする。
次に、ステップ1020eで回転角度と画面表示テーブルとの関係より、画面表示方向を決定する。画面表示方向を決定方法は、図64〜図66を用いて後に詳細を説明する。
次に、ステップ1020fで画面を表示して、ステップ1020bに戻る。
図58は、図57の基準方位の更新方法(ステップ1020b)を説明するためのフロー図である。図58に示す処理フローを以下解説する。
まず、ステップ1010aでスタートし、ステップ1010bでモバイル機器が水平に倒されたかどうかを検知する。モバイル機器が水平に倒されたかどうかの検知方法は、図59〜図61を用いて後に詳細を説明する。
次に、ステップ1010cでモバイル機器が水平に倒されたかどうかを検知されたかどうか確認する。
Noの場合はステップ1010fに進み、終了する。Yesの場合はステップ1010dに進み、水平に倒された時のモバイル機器の方位センサの値を基準方位として保持し、ステップ1010eで、水平に倒された時のモバイル機器の回転方向から表示画面方向を保持する。なお、表示画面方向の決定方法については、図62、図63を用いて後に詳細を説明する。
そして、ステップ1010fで終了する。
図59は、図58のモバイル機器が水平に倒れた事の検知方法(1010b)を説明するためのフロー図である。
図59に示す処理フローを解説する。
まず、ステップ1030aでスタートする。
次に、ステップ1030bで前回のモバイル機器の水平状態を取得する。
次に、ステップ1030cで3軸の磁気センサの絶対値を取得する。ここで、図60は、モバイル機器の磁気センサの3軸の方向の例を示す図である。
次に、ステップ1030dでx軸とy軸のセンサ値を合計した値がz軸のセンサ値よりも閾値以上大きいかどうか確認する。
ステップ1030dがYesの場合はステップ1030eに進み、現在の水平状態を水平と判断する。
次に、ステップ1030gで前回の水平状態が“非水平”で現在の水平状態が“水平”かどうか確認する。
ステップ1030gがYesの場合はステップ1030hに進み、モバイル機器が水平に倒されたと判断して、ステップ1030iで終了する。
なお、ステップ1030dがNoの場合はステップ1030fに進み、現在の水平状態を非水平と判断して、ステップ1030gに進み、ステップ1030gがNoの場合はステップ1030iに進み、終了する。
次に、図62、図63を用いて、図58の表面画面方向の検出方法(1010e)を解説すると、まず、ステップ1070aでスタートして、ステップ1070bでモバイル機器が水平に倒された直前と直後のジャイロセンサの(PitchおよびRoll)の値を取得し、PitchおよびRollの変化量を求める。ここで、モバイル機器のPitchとRollは、図62に示すx軸とy軸それぞれの回転角である。
次に、ステップ1070cで、Pitchの変化量>Rollの変化量かどうかを確認する。
Yesの場合はステップ1070dに進み、Pitch>0かどうかを確認する。Yesの場合はステップ1070eに進み、+y軸方向を表示画面方向として保持して、ステップ1070jで終了する。一方、ステップ1070dがNoの場合はステップ1070fに進み、−y軸方向を表示画面方向として保持して、ステップ1070jで終了する。
なお、ステップ1070cがNoの場合はステップ1070gに進み、Roll>0かどうかを確認して、Yesの場合はステップ1070hに進み、+x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
次に、ステップ1070gがNoの場合は、ステップ1070iへ進み、−x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
続いて、図64〜図66を用いて、図58の画面表示方向を解説する。
図66に示す処理フローを解説する。
まず、ステップ1100aでスタートして、ステップ1100bで、図64で示す画面表示方向変更テーブルを参照し、回転角度から遷移ステップを求める。
次に、ステップ1100cで、図65で示す画面表示方向遷移図を参照し、保持していた水平に倒された時のモバイル機器の表示画面方向の状態を取得する。
次に、ステップ1100dで、ステップ1100cで取得した状態からステップ1100bで求めたステップだけ状態を進める。
次に、ステップ1100eで進めた先の状態の方向を表示画面の方向として保持して、ステップ1100fで終了する。
懸かる方法によれば、水平に置かれたモバイル機器を繰り返し回しながら使用した場合でも、モバイル機器の画面を、ユーザに対して常に適切な方向に対して表示可能、という効果を得ることができる。
例えば、モバイル機器を図1(B)の状態から、図1(C)の状態のように、机の上に水平に倒し、図1(D)のように反時計回りに90度回転させたとする。ユーザにとっては常に画面表示が、自分の方向に対して表示されることが望まれる。
このとき、図63のフローによると、図1に示すモバイル機器の001−aの辺が回転角と見なされ、+y軸方向が表示画面方向として保持される。この場合の、回転の例を図67を用いて説明する。図67の(A)にて、モバイル機器の方位は270度の向きを指している。この270度が水平に倒されたときの方位であるため、基準方位=270度が保持される。図67の(B)にて、ユーザによりモバイル機器が回転された場合のモバイル機器の方位が230度である。この場合、回転角度は230−270=−40度である。図64の画面表示方向変更テーブルを参照すると、−40度は回転表示方向の遷移が0ステップであるため、画面表示方向は、+y方向のままである。次に、ユーザが図67の(C)までモバイル機器を回転させた場合、モバイル機器の現在方位は180度である。このとき、回転角度は180−270=−90度である。図64の画面表示方向テーブルを参照すると、−90度は3ステップ進めるであり、図65の画面表示方向遷移図で、現在の方向が+y軸方向であるため、3ステップ進めた+x軸方向が、新しい画面表示方向となる。
なお、図66のモバイル機器が水平に倒されたかどうかの検知方法(ステップ1010b)として、図59で示した磁気センサを用いた方法を説明したが、加速度センサを用いた検知方法でもよい。加速度センサを用いた検知方法を、図61を用いて説明する。
まず、ステップ1050aでスタートして、ステップ1050bで前回のモバイル機器の水平状態を取得する。
次に、ステップ1050cで加速度センサの値を取得する。
次に、ステップ1050dで2軸方向の加速度と動加速度との差が閾値以下か?どうかを確認する。
Yesの場合はステップ1050eに進み、現在の水平状態を水平と判断する。
次に、ステップ1050gで前回の水平状態が“非水平”で現在の水平状態が“水平”か?どうかを確認する。
Yesの場合はステップ1050gに進み、モバイル機器が水平に倒れたと判断して、ステップ1050hで終了する。
ステップ1050dがNoの場合はステップ1050fに進み、現在の水平状態を非水平と判断して、ステップ1050gに進み、ステップ1050gがNoの場合はステップ1030hに進み、終了する。
なお、方位センサを用いずに、ジャイロスコープを用いて機器の回転を検出し、機器の回転に従い、表示画面を変えるとしても良い。この方法では、方位センサよりも回転させる毎に累積誤差が発生するが、方位センサを保有していない機器でも、機器の回転にあわせて画面の向きを適切な方向に表示することができるという効果を得ることができる。
また、本実施の形態5において、モバイル端末5000に、近接センサまたは接触を検知するセンサなどを装備し、スリープ解除時に、起動する画面をユーザに向けるようにしても良い。これによって、スリープ解除時や電源ONの時にモバイル端末5000とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
なお、図67は、本発明の実施の形態5におけるモバイル機器が回転する場合のモバイル機器の方位を示す図である。図67は、上述した図63のフローを行う際の、モバイル機器の方位の例を示している。図での矢印は、モバイル機器の画面の向きを示している。
また、自動でユーザが見やすい方向に画面を回転する別の一例を、図68に示す。ここで、図68は、本発明の実施の形態5におけるモバイル機器を人物が見る場合のモバイル機器の表示を示す図である。また、図69および図70は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。以下、図69に示すフローを解説する。
まず、ステップ1130aでスタートする。
次に、ステップ1020bで、基準方位の更新を行う。
次に、ステップ1130gで、一定時間以内の間(例えば500ミリ秒)に、加速度センサの1軸、もしくは、2軸、もしくは3軸の加速度が閾値以上検知されたかどうかを確認する。
確認できなかった場合(ステップ1130gでNo)、ステップ1020cに進み、方位センサの値を現在方位として取得する。
次に、ステップ1020dで、基準方位と現在方位との差を計算し、回転角度とする。
次に、ステップ1020eで、回転角度と画面表示テーブルとの関係より、画面表示方向を決定する。
次に、ステップ1020fで、画面を表示する。その後、ステップ1020bに戻る。
なお、ステップ1130gで、確認できた場合(ステップ1130gでYes)、ステップ1020bに戻る。
続いて図70に示すフローを解説する。
まず、ステップ1130aでスタートする。
次に、ステップ1140bで、基準方位の更新を行う。
次に、ステップ1140cで、使用者の顔を撮影する。
次に、ステップ1140gで、基準方位を更新したときに撮影した使用者の顔の向きと、現在の顔の向きが変わったかどうかを確認する。
確認できた場合つまり、現在の顔の向きが変わった場合(ステップ1140でYes)、ステップ1020cに進み、方位センサの値を現在方位として取得する。
そして、ステップ1020d以降の処理は図69で説明した通りであるため説明を省略する。
ここで、図71を用いて基準方位の更新方法について解説する。
図71は、発明の実施の形態5におけるモバイル機器の基準方位の更新方法のフローを示す図である。
まず、ステップ1150aでスタートする。
次に、ステップ1010bで、モバイル機器が水平に倒されたかどうかを検知する。
次に、ステップ1010cで、モバイル機器が水平に倒されたか検知されたかを確認する。
検知された場合(ステップ1010cでYes)、ステップ1010dに進み、水平に倒された時のモバイル機器の方位センサの値を基準方位として保持する。
次に、ステップ1010eで、水平に倒された時のモバイル機器の回転方向から表示画面方向を保持する。
次に、ステップ1150gで、使用者の顔を撮影し、ステップ1050fに進み、終了する。
なお、ステップ1010cで、検知されなかった場合(ステップ1010cでNo)、ステップ1050fに進み、終了する。
以上、実施の形態5によれば、モバイル端末とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
なお、上記では、モバイル端末を利用するユーザが1人の場合について説明したが、それに限らない。例えば、図72に示すようにモバイル機器を対向した人物が利用するとしてもよい。ここで、図72は、本発明の実施の形態5におけるモバイル機器を対向した人物が見る場合のモバイル機器の表示を示す図である。
また、本実施の形態5において、モバイル端末5000が車に乗っているときにはモバイル端末5000の回転を抑止する制御を行っても良い。具体的には車載モードと連携して、回転制御を行ったり、GPSや加速度情報から移動速度が閾値以上であったり場合は、車及びその他の移動手段に乗っていると判断し、画面の回転を抑止しても良い。これによってよりユーザの利便性が向上する。
以上、本発明によれば、情報表示装置とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
具体的には、本発明の一態様に係る情報表示装置は、表示画面の向きに従い画像を表示する表示部と、加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出部と、前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定部とを備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準の向きと前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する。
ここで、前記判定部は、前記情報表示装置の前記表示画面が略水平状態でなく、かつ、前記情報表示装置の姿勢変化があると判定した場合、鉛直方向と反対方向である上側にもっとも近い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
なお、ここでいう情報表示装置の姿勢とは、情報表示装置が何かしらの静的または動的の動作を行うときまたは情報表示装置に何かしらの動作が行われるときにあらわれる情報表示装置の外形の姿であり、地平面からの傾き、方位により示される。また、「表示画面の向きに従って表示する」とは、例えば建物の全体像を表示する場合、表示画面の向きの方向(上側)に建物の最上階を、表示画面の向きの方向と反対側(下側)建物の地階を表示する場合の向きをいう。また、情報表示装置の辺とは、情報表示装置が例えば4角形の外形で形成されている場合の4つの辺に対応する。
この構成により、情報表示装置とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
また、本発明の一態様に係る情報表示装置は、さらに、前記加速度センサが取得した情報に基づき遠心力方向を検知する遠心力方向検出部を備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記遠心力方向検出部が遠心力方向を検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記遠心力方向検知部により検出された遠心力方向で最も遠い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
また、本発明の一態様に係る情報表示装置は、前記加速度センサおよび前記角速度センサのうち少なくとも一方が取得した情報に基づいて、前記情報表示装置の辺の揺れを検出する揺れ検出部を備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記揺れ検出部が閾値以上の大きさの振幅の辺の揺れを検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記揺れ検出部により検出された揺れの振幅がもっとも大きい辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
また、本発明の一態様に係る情報表示装置は、さらに、前記加速度センサ、並びに、前記角速度センサ及び前記地磁気センサの少なくとも一方が取得した情報を用いた自律航法により、前記情報表示装置の現在位置を推定する座標推定部を備え、前記判定部は、さらに、前記現在位置の前記情報表示端末の姿勢と前記表示画面の向きから、前記情報表示端末を利用しているユーザの位置を、前記情報表示端末に対して前記表示画面の向きと反対側であると推定し、前記現在位置で前記情報表示端末の前記表示画面が略水平状態のまま回転した場合、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
ここで、例えば、前記判定部は、前記情報表示装置が移動中であるとき、前記情報表示端末の移動方向から、前記ユーザの位置を、前記情報表示端末に対して前記移動方向と反対側であると推定し、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
さらに、本発明の一態様に係る情報表示装置は、前記表示部は、さらに、前記表示画面における一部の位置であって前記表示画面の向きを基準として定められる位置に、ユーザに対して前記情報表示装置の正位置を示すためのアイコンを表示するとしてもよい。
以上、本発明の一つまたは複数の態様に係る情報表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報表示装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出ステップと、前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定ステップとを含み、前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示することを実行させるとしてもよい。
本発明にかかる情報表示装置は、スマートフォン、タブレットなどの高性能な携帯型の情報表示端末のユーザインターフェースの提供に特に有用である。
101 加速度センサ
102 角速度センサ
103 地磁気センサ
104 端末姿勢検出部
105 表示向き判定部
106 時系列端末状態管理部
107 時系列端末状態保存部
108 画像表示部
111 遠心力方向検出部
121 移動量検出部
1002 角速度センサ
1003 地磁気センサ
1004 ディスプレイ
1005 表示方向制御部
1006 画面表示制御部
1010 メモリ
1020 コントローラ
1030 外部入力部
5000 モバイル端末

Claims (10)

  1. 情報表示装置であって、
    表示画面の向きに従い画像を表示する表示部と、
    加速度センサが重力方向を検知することで前記情報表示装置の前記表示画面が略水平状態であるかどうかを検知した情報、および、角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の略水平面に対する角度または前記略水平面上の向きを示す前記情報表示装置の姿勢を検出する姿勢検出部と、
    前記姿勢検出部が検出した前記情報表示装置の姿勢と、前記地磁気センサによって取得される前記情報表示装置の方位を示す情報とから、前記表示画面の向きを決定する判定部とを備え、
    前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準の向きと前記所定の角度以上なす方向の前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    情報表示装置。
  2. 前記判定部は、前記情報表示装置の前記表示画面が略水平状態でなく、かつ、前記情報表示装置の姿勢変化があると判定した場合、重力方向と反対方向である上側にもっとも近い前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    請求項1に記載の情報表示装置。
  3. さらに、前記加速度センサが取得した情報に基づき、所定時間内で、水平方向の加速度成分が一定方向に出続けており、かつ逆方向に加速度成分がない場合の水平方向の加速度成分の示す方向である遠心力方向を検知する遠心力方向検出部を備え、
    前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記遠心力方向検出部が前記遠心力方向を検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記遠心力方向検出部により検出された前記遠心力方向で最も遠い前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    請求項1または2に記載の情報表示装置。
  4. 前記加速度センサおよび前記角速度センサのうち少なくとも一方が取得した情報に基づいて、検出された前記情報表示装置の姿勢における前記情報表示装置の外周を構成する辺それぞれに関する前記情報の変動量である辺の揺れを検出する揺れ検出部を備え、
    前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記揺れ検出部が閾値以上の大きさの振幅の辺の揺れを検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記揺れ検出部により検出された揺れの振幅がもっとも大きい前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    請求項1または2に記載の情報表示装置。
  5. さらに、前記加速度センサ、並びに、前記角速度センサ及び前記地磁気センサの少なくとも一方が取得した情報を用いた自律航法により、前記情報表示装置の現在位置を推定する座標推定部を備え、
    前記判定部は、さらに、前記現在位置の前記情報表示装置の姿勢と前記表示画面の向きから、前記情報表示装置を利用しているユーザの位置を、前記情報表示装置に対して前記表示画面の向きと反対側であると推定し、前記現在位置で前記情報表示装置の前記表示画面が略水平状態のまま回転した場合、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    請求項1〜4のいずれか1項に記載の情報表示装置。
  6. 前記判定部は、前記情報表示装置が移動中であるとき、前記情報表示装置の移動方向から、前記情報表示装置を利用しているユーザの位置を、前記情報表示装置に対して前記移動方向と反対側であると推定し、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    請求項1〜5のいずれか1項に記載の情報表示装置。
  7. 前記表示部は、さらに、
    前記表示画面における一部の位置であって前記表示画面の向きを基準として定められる位置に、ユーザに対して前記情報表示装置の正位置を示すためのアイコンを表示する
    請求項1〜6のいずれか1項に記載の情報表示装置。
  8. 情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、
    加速度センサが重力方向を検知することで前記情報表示装置の前記表示画面が略水平状態であるかどうかを検知した情報、および、角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の略水平面に対する角度または前記略水平面上の向きを示す前記情報表示装置の姿勢を検出する姿勢検出ステップと、
    前記姿勢検出ステップにおいて検出した前記情報表示装置の姿勢と、前記地磁気センサによって取得される前記情報表示装置の方位を示す情報とから、前記表示画面の向きを決定する判定ステップとを含み、
    前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、か
    つ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示する
    情報表示方法。
  9. 情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、
    加速度センサが重力方向を検知することで前記情報表示装置の前記表示画面が略水平状態であるかどうかを検知した情報、および、角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の略水平面に対する角度または前記略水平面上の向きを示す前記情報表示装置の姿勢を検出する姿勢検出ステップと、
    前記姿勢検出ステップにおいて検出した前記情報表示装置の姿勢と、前記地磁気センサによって取得される前記情報表示装置の方位を示す情報とから、前記表示画面の向きを決定する判定ステップとを含み、
    前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示する
    ことをコンピュータに実行させるためのプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体。
  10. 情報表示装置に構成される集積回路であって、
    表示画面の向きに従い画像を表示する表示部と、
    加速度センサが重力方向を検知することで前記情報表示装置の前記表示画面が略水平状態であるかどうかを検知した情報、および、角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の略水平面に対する角度または前記略水平面上の向きを示す前記情報表示装置の姿勢を検出する姿勢検出部と、
    前記姿勢検出部が検出した前記情報表示装置の姿勢と、前記地磁気センサによって取得される前記情報表示装置の方位を示す情報とから、前記表示画面の向きを決定する判定部とを備え、
    前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の外周を構成する辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
    前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
    集積回路。
JP2013502329A 2011-08-10 2012-06-27 情報表示装置 Active JP6021800B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011175453 2011-08-10
JP2011175453 2011-08-10
PCT/JP2012/004176 WO2013021539A1 (ja) 2011-08-10 2012-06-27 情報表示装置

Publications (2)

Publication Number Publication Date
JPWO2013021539A1 JPWO2013021539A1 (ja) 2015-03-05
JP6021800B2 true JP6021800B2 (ja) 2016-11-09

Family

ID=47668081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013502329A Active JP6021800B2 (ja) 2011-08-10 2012-06-27 情報表示装置

Country Status (3)

Country Link
JP (1) JP6021800B2 (ja)
CN (1) CN103201700B (ja)
WO (1) WO2013021539A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070194A (ja) * 2011-09-21 2013-04-18 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
KR20130051098A (ko) * 2011-11-09 2013-05-20 삼성전자주식회사 화면 회전 제어 방법 및 이를 지원하는 단말기 및 터치 시스템
CN103217895B (zh) * 2013-04-07 2016-01-20 上海与德通讯技术有限公司 支持手势功能的电子腕表和电子通讯设备
CN103309618A (zh) * 2013-07-02 2013-09-18 姜洪明 移动操作系统
CN103744510A (zh) * 2014-01-06 2014-04-23 联想(北京)有限公司 一种信息处理的方法及一种电子设备
JP2015184391A (ja) * 2014-03-21 2015-10-22 大木 光晴 画像表示方法、装置、および、プログラム
CN104077052B (zh) * 2014-06-26 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN104183004A (zh) * 2014-08-12 2014-12-03 小米科技有限责任公司 天气显示方法及装置
CN104244045B (zh) * 2014-09-28 2016-02-24 小米科技有限责任公司 控制视频画面呈现的方法及装置
KR101588136B1 (ko) * 2014-10-10 2016-02-15 한국과학기술원 모바일 문서 캡쳐를 위한 카메라 탑다운 앵글 보정 방법 및 장치
KR101632538B1 (ko) * 2015-07-28 2016-06-22 한국과학기술원 미세 기울림 특징값 기반 모바일 문서 캡쳐 오리엔테이션 보정 방법 및 시스템
US9949057B2 (en) * 2015-09-08 2018-04-17 Apple Inc. Stereo and filter control for multi-speaker device
CN105607536A (zh) * 2015-12-25 2016-05-25 小米科技有限责任公司 用于保护电器设备的方法、系统和电器设备
CN107145287B (zh) * 2017-06-05 2021-06-15 努比亚技术有限公司 图片展示方法、移动终端及计算机可读存储介质
CN107402736A (zh) * 2017-07-21 2017-11-28 驭势(上海)汽车科技有限公司 一种信息显示方法与设备
CN107631452A (zh) * 2017-09-13 2018-01-26 珠海格力电器股份有限公司 基于设备安装方向的显示装置、方法、存储介质、及设备
CN108737642A (zh) * 2018-04-13 2018-11-02 维沃移动通信有限公司 内容的显示方法及装置
CN113703519A (zh) * 2020-05-21 2021-11-26 北京小米移动软件有限公司 折叠屏姿态确定方法、装置及存储介质
CN112134788B (zh) * 2020-09-18 2023-06-06 Oppo广东移动通信有限公司 事件处理方法、装置、存储介质、移动终端及电脑

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250434A (ja) * 1999-02-26 2000-09-14 Sharp Corp 携帯型情報機器および重力方向検出器
JP2003345492A (ja) * 2002-05-27 2003-12-05 Sony Corp 携帯電子機器
JP2008070884A (ja) * 2004-01-28 2008-03-27 Softbank Mobile Corp 移動体通信端末
JP2005242283A (ja) * 2004-01-28 2005-09-08 Vodafone Kk 移動体通信端末
JP4350740B2 (ja) * 2006-12-05 2009-10-21 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器、画面の表示方向の変更方法、プログラムおよび記憶媒体
JP2010026064A (ja) * 2008-07-16 2010-02-04 Sony Computer Entertainment Inc 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2010113503A (ja) * 2008-11-06 2010-05-20 Sharp Corp 携帯端末装置
JP2010237030A (ja) * 2009-03-31 2010-10-21 Alps Electric Co Ltd 現在位置表示装置
JP4823342B2 (ja) * 2009-08-06 2011-11-24 株式会社スクウェア・エニックス タッチパネル式ディスプレイを持った携帯型コンピュータ

Also Published As

Publication number Publication date
CN103201700A (zh) 2013-07-10
WO2013021539A1 (ja) 2013-02-14
JPWO2013021539A1 (ja) 2015-03-05
CN103201700B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
JP6021800B2 (ja) 情報表示装置
US9214128B2 (en) Information display device
US10579247B2 (en) Motion-based view scrolling with augmented tilt control
EP2336842A2 (en) Hand-held electronic device capable of control by reflecting grip of user and control method thereof
JP6083072B2 (ja) スマートエアマウス
KR102001849B1 (ko) 디바이스 화면에서의 애플리케이션 아이콘들의 디스플레이 영역의 조정
JP4690376B2 (ja) 遠隔操作装置、遠隔操作システム及び電気機器
US20130120240A1 (en) Apparatus and method for controlling image display depending on movement of terminal
US20140362257A1 (en) Apparatus for controlling camera modes and associated methods
US9165533B2 (en) Display rotation management
US20120208639A1 (en) Remote control with motion sensitive devices
US20120086629A1 (en) Electronic device having movement-based user input and method
EP2538309A2 (en) Remote control with motion sensitive devices
WO2014200696A1 (en) Motion-based gestures for a computing device
JP2013214252A (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP6670201B2 (ja) ゲームシステム、ゲームプログラム、及びゲーム処理装置
JP2010086192A (ja) 携帯機器、コンピュータプログラムおよび記録媒体
JP6100497B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および画像表示方法
US9794506B2 (en) Input apparatus, display apparatus and control method thereof
CN109033100A (zh) 提供页面内容的方法及装置
KR20220044591A (ko) 롤링 디바이스들의 자체-적응형 디스플레이 종횡비 조정기 및 제스처
WO2023221929A1 (zh) 画面显示方法、装置、电子设备及存储介质
JP2019185383A (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5804781B2 (ja) ゲームシステム、情報処理方法、ゲーム装置、および情報処理プログラム
JP6568795B2 (ja) 電子機器の操作方法および画像の表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R150 Certificate of patent or registration of utility model

Ref document number: 6021800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150