JP5741568B2 - 携帯端末、動作間隔設定方法及びプログラム - Google Patents

携帯端末、動作間隔設定方法及びプログラム Download PDF

Info

Publication number
JP5741568B2
JP5741568B2 JP2012501573A JP2012501573A JP5741568B2 JP 5741568 B2 JP5741568 B2 JP 5741568B2 JP 2012501573 A JP2012501573 A JP 2012501573A JP 2012501573 A JP2012501573 A JP 2012501573A JP 5741568 B2 JP5741568 B2 JP 5741568B2
Authority
JP
Japan
Prior art keywords
unit
mobile terminal
time
operation interval
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012501573A
Other languages
English (en)
Other versions
JPWO2011104837A1 (ja
Inventor
秋山　勝彦
勝彦 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2011104837A1 publication Critical patent/JPWO2011104837A1/ja
Application granted granted Critical
Publication of JP5741568B2 publication Critical patent/JP5741568B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本技術は、携帯端末における表示制御技術に関する。
携帯電話、ＰＤＡ（Personal Digital Assistant）又はスマートフォンといった携帯端末は、ユーザが手に持って操作するのを容易にするため、長方形の平板形状であることが多い。そのため、表示画面の形状も長方形になることが多い。一方で、表示画面に表示するウェブページ等のコンテンツの形状は、必ずしも表示画面の形状に合っているわけではないため、コンテンツによっては適切に表示されないことがある。例えば、図１に示すように、表示画面が携帯端末の縦方向に長い形状である場合、横方向に長いコンテンツを表示させると、コンテンツの一部が表示画面に表示されなくなってしまう。
このような問題に対し、コンテンツの表示方向を制御する技術が存在する。具体的には、携帯端末に備え付けられたカメラで撮影した画像に基づいて、携帯端末の使用者の顔の情報を取得する。また、使用者の顔の向きと携帯端末の向きとの相対的な位置関係を把握する。そして、把握した位置関係に従って、携帯端末の表示画面に表示する情報の向きを決定する。
しかし、ユーザの顔の方向が変化しないかを監視するために常にカメラに通電を行い、画像解析をすると、消費電力が非常に大きくなる。携帯端末の場合、バッテリーの持続時間が短くなるということは望ましくない。一方で、単純に撮像や画像解析の頻度を下げて消費電力を削減しようとすると、レスポンスが遅くなるという問題がある。
特開２００７−１７５９６号公報 特開２００８−１７７８１９号公報 特開２００９−１３０８１６号公報
従って、本技術の目的は、携帯端末における表示制御において、消費電力を削減するための技術を提供することである。
本携帯端末は、携帯端末の傾きを計測する傾き計測部と、携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、変更部の動作間隔を、傾き計測部により計測された傾きの経時変化に基づき設定する動作間隔設定部と、変更部を、動作間隔設定部により設定された動作間隔で動作させる動作制御部とを有する。
図１は、従来技術の問題を説明するための図である。 図２は、本技術の一実施の形態に係る携帯端末の機能ブロック図である。 図３は、動作間隔設定処理の処理フローを示す図である。 図４は、動作間隔設定処理の処理フローを示す図である。 図５は、動作間隔設定処理の処理フローを示す図である。 図６は、動作間隔設定処理の処理フローを示す図である。 図７は、表示方向制御処理の処理フローを示す図である。 図８は、コンピュータの機能ブロック図である。
図２に、本技術の一実施の形態に係る携帯端末１の機能ブロック図を示す。例えば携帯電話やＰＤＡ、スマートフォン、小型のパーソナルコンピュータである携帯端末１は、傾きセンサ１０１と、傾きデータ格納部１０３と、動作間隔設定部１０５と、時間計測部１０７と、動作間隔データ格納部１０９と、動作制御部１１１と、カメラ１１３と、画像格納部１１５と、顔方向特定部１１７と、解析結果格納部１１９と、表示方向制御部１２１と、表示制御部１２３とを有する。また、動作間隔設定部１０５は、傾き変化検出部１０５１と、量子化傾き値格納部１０５３と、状態データ格納部１０５５と、状態監視部１０５７と、設定部１０５９とを有する。
傾きセンサ１０１は、携帯端末１の傾きを計測し、傾きデータ格納部１０３に格納する。傾き変化検出部１０５１は、傾きデータ格納部１０３に格納されているデータに基づき量子化傾き値を算出したり、量子化傾き値格納部１０５３及び状態データ格納部１０５５に格納されているデータに基づき処理を行い、処理結果を状態監視部１０５７に通知する処理等を行う。状態監視部１０５７は、状態データ格納部１０５５に格納されているデータを更新したり、状態データ格納部１０５５に格納されているデータが更新されたことを設定部１０５９に通知する処理等を行う。設定部１０５９は、状態監視部１０５７からの通知に基づき動作間隔を決定し、動作間隔のデータを動作間隔データ格納部１０９に格納する。時間計測部１０７は、動作間隔設定部１０５及び動作制御部１１１に対し時間のデータを出力する。動作制御部１１１は、動作間隔データ格納部１０９に格納されているデータに基づき、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１の動作間隔を制御する。カメラ１１３は、携帯端末１を操作するユーザを撮像し、ユーザの画像を画像格納部１１５に格納する。顔方向特定部１１７は、画像格納部１１５に格納されている画像を解析し、携帯端末１の所定の方向に対する、ユーザの顔の相対的な方向を特定し、解析結果を解析結果格納部１１９に格納する。表示方向制御部１２１は、解析結果格納部１１９に格納されているデータに基づき、携帯端末１の表示画面に表示するコンテンツの表示方向を特定し、特定された表示方向にコンテンツが表示されるよう表示制御部１２３を制御する。表示制御部１２３は、携帯端末１の表示画面に表示するコンテンツの表示方向を変更する。
傾きセンサ１０１は、加速度センサや地磁気センサ、ジャイロセンサ等である。傾きセンサ１０１は、例えば、携帯端末を中心とした２軸以上の座標軸における傾斜角を携帯端末１の傾きとして計測する。なお、傾きセンサ１０１は、例えば２０ミリ秒程度の一定間隔で計測を行うように制御される。
時間計測部１０７は、所定単位の時間（例えば１０ミリ秒）が経過する毎にカウンタ値をカウントアップすることにより、時間の経過を計測する。時間計測部１０７には、例えば水晶振動子を含むカウンタを用いる。
カメラ１１３は、携帯端末１の表示画面と同じ面に備え付けられた、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサ等の撮像センサである。普通、ユーザは携帯端末を操作するときは携帯端末の表示画面を見るので、カメラ１１３により撮像されたユーザの画像には自ずとユーザの顔の領域が含まれるようになる。
顔方向特定部１１７は、顔検出を行うことにより、画像における顔の位置を特定した上で、顔の方向を特定する処理を行う。顔検出としては、例えば、画像における人肌色の領域に含まれる目や鼻、口といった特徴的なパターンを標準パターンと照合し、さらにそれらが特定の位置関係にある場合に顔であると判定する方法を用いればよい。また、標準的な顔のパターンを用意しておき、画像における人肌色領域に対してパターン照合を行うことにより顔らしさを判定する方法を用いてもよい。また、顔の方向を特定する方法は、例えば、画像を一定角度ずつ回転させながら、その角度が正しい角度である確からしさを算出し、最も確からしさの高い角度を顔方向として特定する方法を用いればよい。
表示方向制御部１２１は、解析結果格納部１１９に格納されている、顔の方向に関する解析結果に基づき、コンテンツの表示方向を特定する。例えば、画像におけるユーザの頭の方向とコンテンツの上方向とが一致するような表示方向に決定する。これにより、ユーザにとって好ましい表示方向でコンテンツが表示されるようになる。
なお、傾きセンサ１０１、時間計測部１０７、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１は従来から知られているものであるから、これ以上詳しくは述べない。
次に、図２に示した携帯端末１の動作を図３乃至図７を用いて説明する。まず、図３乃至図６を用いて動作間隔設定処理について説明し、次に図７を用いて表示方向制御処理について説明する。
まず、傾きセンサ１０１は、携帯端末１の傾きを計測し、計測値を傾きデータ格納部１０３に格納する（図３：ステップＳ１１）。そして、傾き変化検出部１０５１は、傾きデータ格納部１０３に格納されている傾きのデータから、量子化傾き値Ｈを算出し、メインメモリ等の記憶装置に格納する（ステップＳ１３）。
ここで、量子化傾き値について説明する。本実施の形態では、傾きデータ格納部１０３に格納されている傾きのデータから、携帯端末１が重力方向に対して傾いている方向を特定し、さらに特定された方向を量子化した値を求める。量子化には、「０」、「１」、「２」及び「３」の４つの値を用いるものとする。そして、携帯端末１が傾いている方向が、０°から８９°である場合には量子化傾き値を「０」とし、９０°から１７９°である場合には量子化傾き値を「１」とし、１８０°から２６９°である場合には量子化傾き値を「２」とし、２７０°から３５９°である場合には量子化傾き値を「３」とする。
以下で述べるように、本実施の形態では量子化傾き値の変化を傾き変化イベントとして検出している。これは、実用上、わずかに表示画面が傾いた程度ではユーザは表示方向の変更を必要としない場合が多いからである。
図３の説明に戻り、傾き変化検出部１０５１は、状態データ格納部１０５５から状態データを読み出し、当該状態データが「０」であるか判断する（ステップＳ１５）。状態データが「０」であることは、携帯端末１の状態が安定していることを表している。状態データが「０」である場合（ステップＳ１５：Ｙｅｓルート）、処理は端子Ａを介して図４のステップＳ１９に移行する。
一方、状態データが「０」でない場合（ステップＳ１５：Ｎｏルート）、傾き変化検出部１０５１は、状態データが「１」であるか判断する（ステップＳ１７）。状態データが「１」であることは、傾き変化イベントが検出された直後であることを表している。状態データが「１」である場合（ステップＳ１７：Ｙｅｓルート）、処理は端子Ｂを介して図５のステップＳ３１に移行する。
一方、状態データが「１」でない場合（ステップＳ１７：Ｎｏルート）、状態データが「２」であるので、処理は端子Ｃを介して図６のステップＳ５１に移行する。なお、状態データが「２」であることは、傾き変化イベントが検出された後一定時間が経過したことを表している。
図４の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ１９）。量子化傾き値Ｈｐは、前回算出した量子化傾き値である。ステップＳ１９においては、量子化傾き値を比較することにより、傾き変化イベントが起こったかを判断している。
そして、ＨｐがＨと等しい場合（ステップＳ１９：Ｙｅｓルート）、処理はステップＳ２９に移行する。一方、ＨｐがＨと等しくない場合（ステップＳ１９：Ｎｏルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。また、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ２１）。安定監視時間とは、携帯端末１の状態が安定しているか判断するための時間である。
次に、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「０」から「１」に変更する（ステップＳ２３）。傾き変化イベントが検出されたため、もはや安定状態にはないからである。また、ステップＳ２３において、状態監視部１０５７は、状態データが「０」から「１」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ１に変更する（ステップＳ２５）。なお、本実施の形態においては、状態データが「０」である場合には動作間隔Ｔはｔ１に設定されているはずなので、ステップＳ２５はスキップしてもよい。
ここで、動作間隔Ｔについて説明する。本実施の形態においては、動作間隔Ｔとして、電力の消費を抑えたい場合に設定するｔ１と、表示方向の制御を頻繁に行いたい場合に設定するｔ２とのいずれかを用いる。ｔ１ をｔ２より長く設定するが、無限大（すなわち、動作を行わない）としてもよい。このようにｔ１を設定すれば、ユーザが携帯端末１を持ち替えずに長時間同じ姿勢で使っているような場合には表示方向制御があまり行われない（あるいは、全く行われない）ため、消費電力を大幅に削減できる。一方、ｔ２は、例えば２０から２００ミリ秒程度に設定すれば、ユーザはほぼ瞬間的なレスポンスを得ることができる。
本実施の形態では、状態データが「０」である場合には、動作間隔Ｔとしてｔ１を設定する。携帯端末１の状態が安定しているため、表示方向の制御を行う頻度を低くし、電力の消費を抑えるためである。状態データが「１」である場合にも、動作間隔Ｔとしてｔ１を設定する。携帯端末１の状態が安定しておらず、表示方向を変更してもすぐにまた変更しなければならない可能性があるため、表示方向制御の頻度を上げるのは効率的ではないからである。状態データが「２」である場合には、動作間隔Ｔとしてｔ２を設定する。携帯端末１の状態が安定したため、動作間隔を短くし、迅速に表示方向を変更できるようにするためである。
図４の説明に戻り、傾き変化検出部１０５１は、量子化傾き値格納部１０５３に格納されている量子化傾き値を、ステップＳ１３で算出した量子化傾き値に変更する（ステップＳ２７）。そして、処理を終了すべきでない場合には（ステップＳ２９：Ｎｏルート）、処理は端子Ｄを介してステップＳ１１の処理に戻る。処理を終了すべき場合（例えば処理終了又は停止を指示された場合など）には（ステップＳ２９：Ｙｅｓルート）、処理を終了する。
次に、図５の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ３１）。ＨｐがＨと等しくない場合（ステップＳ３１：Ｎｏルート）、傾き変化イベントが検出されたので、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ３３）。処理は端子Ｅを介して図４のステップＳ２７に移行する。
一方、ＨｐがＨと等しい場合（ステップＳ３１：Ｙｅｓルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されていないことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７において計測中の安定監視時間が所定の閾値以上になったか判断する（ステップＳ３５）。所定の閾値以上でない場合（ステップＳ３５：Ｎｏルート）、まだ携帯端末１の状態が安定していないと考えられるため、処理は端子Ｅを介して図４のステップＳ２７に移行する。
一方、所定の閾値以上である場合（ステップＳ３５：Ｙｅｓルート）、携帯端末１の状態が安定したと考えられるため、状態監視部１０５７は、時間計測部１０７に監視強化時間の計測を開始させる（ステップＳ３７）。監視強化時間中は、表示方向制御の頻度が高くなるので、ユーザの状態の変化に対して迅速に表示方向制御を行うことができる。
そして、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「１」から「２」に変更する（ステップＳ３９）。携帯端末１の状態が安定したとみなされるからである。また、ステップＳ３９において、状態監視部１０５７は、状態データが「１」から「２」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ１からｔ２に変更する（ステップＳ４１）。すなわち、動作間隔を短くする。そして、処理は端子Ｅを介して図４のステップＳ２７に移行する。
次に、図６の説明に移行して、傾き変化検出部１０５１は、量子化傾き値格納部１０５３から量子化傾き値Ｈｐを読み出し、ステップＳ１３において算出した量子化傾き値Ｈと等しいか判断する（ステップＳ５１）。ＨｐがＨと等しくない場合（ステップＳ５１：Ｎｏルート）、傾き変化イベントが検出されたので、傾き変化検出部１０５１は、傾き変化イベントが検出されたことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７に安定監視時間の計測を開始させる（ステップＳ５３）。
そして、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「２」から「１」に変更する（ステップＳ５５）。また、ステップＳ５５において、状態監視部１０５７は、状態データが「２」から「１」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ２からｔ１に変更する（ステップＳ５７）。すなわち、消費電力を抑えるため動作間隔を長くする。処理は端子Ｅを介して図４のステップＳ２７に移行する。
一方、ＨｐがＨと等しい場合（ステップＳ５１：Ｙｅｓルート）、傾き変化検出部１０５１は、傾き変化イベントが検出されていないことを状態監視部１０５７に通知する。そして、状態監視部１０５７は、時間計測部１０７において計測中の監視強化時間が所定の閾値以上になったか判断する（ステップＳ５９）。所定の閾値以上でない場合（ステップＳ５９：Ｎｏルート）、処理は端子Ｅを介して図４のステップＳ２７に移行する。
一方、所定の閾値以上である場合（ステップＳ５９：Ｙｅｓルート）、状態監視部１０５７は、状態データ格納部１０５５に格納されている状態データを「２」から「０」に変更する（ステップＳ６１）。また、ステップＳ６１において、状態監視部１０５７は、状態データが「２」から「０」に変更されたことを設定部１０５９に通知する。そして、設定部１０５９は、動作間隔データ格納部１０９に格納されている動作間隔Ｔをｔ２からｔ１に変更する（ステップＳ６３）。すなわち、動作間隔を長くする。表示方向制御を高頻度で行う必要はないため、動作間隔を長くし、消費電力を減らすためである。そして、処理は端子Ｅを介して図４のステップＳ２７に移行する。
以上のような処理を実施することにより、携帯端末１における表示方向制御において、レスポンスの速さを維持しつつ、且つ消費電力を削減することができる適切な動作間隔を設定できる。
次に、図７を用いて表示方向制御処理について説明する。まず、動作制御部１１１は、時間計測部１０７に計測させている経過時間が、動作間隔データ格納部１０９に格納されている動作間隔Ｔを超えたかを判断する（ステップＳ７１）。経過時間が動作間隔Ｔを超えていない場合（ステップＳ７１：Ｎｏルート）、ステップＳ７１の処理を繰り返す。
一方、経過時間が動作間隔Ｔを超えた場合（ステップＳ７１：Ｙｅｓルート）、動作制御部１１１は、カメラ１１３、顔方向特定部１１７及び表示方向制御部１２１を、動作を開始するように制御する。これに対し、カメラ１１３は、携帯端末１を操作するユーザを撮像し、ユーザの画像を画像格納部１１５に格納する（ステップＳ７３）。また、顔方向特定部１１７は、画像格納部１１５に格納されている画像を解析し、携帯端末１の所定の方向に対する、ユーザの顔の相対的な方向を特定し、解析結果を解析結果格納部１１９に格納する（ステップＳ７５）。さらに、表示方向制御部１２１は、解析結果格納部１１９に格納されているデータに基づき、コンテンツの表示方向を特定し、特定された表示方向にコンテンツが表示されるよう表示制御部１２３を制御する（ステップＳ７７）。
そして、動作制御部１１１は、処理を終了すべきか判断する（ステップＳ７９）。処理を終了すべきでない場合には（ステップＳ７９：Ｎｏルート）、時間計測部１０７に時間の計測の開始を指示し、ステップＳ７１に戻る。一方、処理を終了すべき場合（例えば処理終了又は停止を指示された場合など）には（ステップＳ７９：Ｙｅｓルート）、処理を終了する。
以上のような処理を実施することにより、表示方向の制御に必要な電力を削減することができる。
以上本技術の一実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、上で説明した携帯端末１の機能ブロック図は必ずしも実際のプログラムモジュール構成に対応するものではない。
また、上で説明した処理フローは、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
なお、上では量子化傾き値として０から３の４つの値を用いる例を示したが、より多くの値又は少ない値を用いることも可能である。
また、量子化傾き値を用いずに処理を行うことも可能である。例えば、最後に表示方向制御を行った時点の傾きを保持しておき、その傾きから一定値以上の変化があった場合に傾き変化イベントとして検出するような構成であってもよい。
また、ユーザの画像に顔の領域が含まれていないような場合には、傾きセンサ１０１で計測した傾きに基づき表示方向制御を行うようにしてもよい。このような技術を用いた携帯端末は技術的によく知られたものであるので、ここでは詳しくは述べない。
また、カメラ１１３のセットアップや初期化等に時間がかかるような場合には、カメラ１１３は常に動作させたままにしておき、顔方向特定部１１７及び表示方向制御部１２１の動作間隔だけを制御してもよい。
なお、携帯端末１については、図８に示すように、メモリ２５０１（記憶部）とＣＰＵ２５０３（処理部）とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とセンサ群２５２１とがバス２５１９で接続されていることもある。ＯＳ（Operating System）及び本実施の形態における処理を実施するための制御プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。必要に応じてＣＰＵ２５０３は、センサ群２５２１（傾きセンサ及びカメラ。場合によっては時間計測部など。）を制御して、必要な測定値を取得すると共に、表示制御部２５０７、ドライブ装置２５１３、通信制御部２５１７を制御して、必要な動作を行わせる。また、処理途中のデータについては、メモリ２５０１に格納され、必要があればＨＤＤ２５０５に格納される。このようなコンピュータは、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアと制御プログラム及びＯＳとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると以下のようになる。
本携帯端末は、（Ａ）携帯端末の傾きを計測する傾き計測部と、（Ｂ）携帯端末を保持するユーザの状態に応じて当該携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、（Ｃ）変更部の動作間隔を、傾き計測部により計測された傾きの経時変化に基づき設定する動作間隔設定部と、（Ｄ）変更部を、動作間隔設定部により設定された動作間隔で動作させる動作制御部とを有する。
このように、動作間隔を動的に設定することにより、変更部が消費する電力を削減することができるようになる。
また、上で述べた変更部が、携帯端末を保持するユーザの画像を取得する画像取得部と、画像取得部により取得された画像を解析し、携帯端末の所定の方向に対する、画像に含まれるユーザの顔の相対的な方向を特定する方向特定部と、方向特定部により特定されたユーザの顔の相対的な方向に応じて表示画面に表示すべきコンテンツの表示方向を変更する表示方向制御部とを有するようにしてもよい。ユーザの顔の相対的な方向がわかれば、ユーザにとって好ましい表示方向がわかることを利用したものである。
また、上で述べた動作間隔設定部が、傾き計測部により計測された傾きが所定値以上変化した場合、傾き変化イベントとして検出する検出部と、検出部により傾き変化イベントが検出された場合、当該傾き変化イベントが検出された後、第１の時間が経過するまでに傾き変化イベントが検出されるか監視する状態監視部と、第１の時間が経過しても傾き変化イベントが検出されない場合、動作間隔を所定時間分短くする設定部とを有するようにしてもよい。傾きが安定していないときに頻繁に表示方向を変更することは効率的ではなく、無駄に電力を消費することになるため、傾きが安定してから動作間隔を短くするものである。
また、第１の時間が経過しても傾き変化イベントが検出されない場合、上で述べた状態監視部が、第１の時間が経過した後、第２の時間が経過するまでに傾き変化イベントが検出されるか監視し、第２の時間が経過しても傾き変化イベントが検出されない場合、上で述べた設定部が、動作間隔を元の動作間隔に戻すようにしてもよい。高頻度で動作させる必要がなくなった場合には元の動作間隔に戻し、消費電力を削減するものである。
さらに、第２の時間が経過する前に傾き変化イベントが検出された場合、上で述べた設定部が、動作間隔を元の動作間隔に戻し、上で述べた状態監視部が、傾き変化イベントが検出された後第１の時間が経過するまでに傾き変化イベントが検出されるか再度監視するようにしてもよい。傾きが安定していない場合には元の動作間隔に戻し、消費電力を削減するものである。
なお、上で述べたような処理をハードウエアに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、コンピュータのメモリ等の記憶装置に一時保管される。

Claims (3)

  1. 携帯端末であって、
    基準となる傾きに対する前記携帯端末の傾きを計測する傾き計測部と、
    前記傾き計測部により計測された傾きから、前記携帯端末が傾いている方向を量子化した値である量子化値を算出する量子化部と、
    前記携帯端末を保持するユーザの画像を取得する画像取得部と、
    取得された前記ユーザの画像を解析し、前記携帯端末の所定の方向に対する、前記ユーザの顔の相対的な方向を特定する方向特定部と、
    特定された前記ユーザの顔の相対的な方向に応じて前記携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部と、
    前記量子化値が所定値以上変化する第１の変化を検出した場合、当該第１の変化を検出した時点である第１の時点から第１の時間が経過するまでの間において前記第１の変化を検出するか判断する判断部と、
    前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出しないと判断された場合、前記画像取得部、前記方向特定部及び前記変更部の動作間隔を、所定時間の間、前記第１の時点において設定されている時間より短い時間に設定し、前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出したと判断された場合、前記動作間隔を、前記第１の時点において設定されている時間に設定する動作間隔設定部と、
    前記画像取得部、前記方向特定部及び前記変更部を、前記動作間隔設定部により設定された動作間隔で動作させる動作制御部と、
    を有する携帯端末。
  2. 携帯端末により実行される動作間隔設定方法であって、
    基準となる傾きに対する前記携帯端末の傾きを計測するステップと、
    計測された前記傾きから、前記携帯端末が傾いている方向を量子化した値である量子化値を算出するステップと、
    前記量子化値が所定値以上変化する第１の変化を検出した場合、当該第１の変化を検出した時点である第１の時点から第１の時間が経過するまでの間において前記第１の変化を検出するか判断するステップと、
    前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出しないと判断された場合、前記携帯端末を保持するユーザの画像を取得する画像取得部、取得された前記ユーザの画像を解析し、前記携帯端末の所定の方向に対する、前記ユーザの顔の相対的な方向を特定する方向特定部、及び特定された前記ユーザの顔の相対的な方向に応じて前記携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部の動作間隔を、所定時間の間、前記第１の時点において設定されている時間より短い時間に設定するステップと、
    前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出したと判断された場合、前記動作間隔を、前記第１の時点において設定されている時間に設定するステップと、
    前記画像取得部、前記方向特定部及び前記変更部を、設定された前記動作間隔で動作させるステップと、
    を含む動作間隔設定方法。
  3. 携帯端末に含まれるコンピュータに実行させるためのプログラムであって、
    基準となる傾きに対する前記携帯端末の傾きを計測する計測部により計測された傾きから、前記携帯端末が傾いている方向を量子化した値である量子化値を算出するステップと、
    前記量子化値が所定値以上変化する第１の変化を検出した場合、当該第１の変化を検出した時点である第１の時点から第１の時間が経過するまでの間において前記第１の変化を検出するか判断するステップと、
    前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出しないと判断された場合、前記携帯端末を保持するユーザの画像を取得する画像取得部、取得された前記ユーザの画像を解析し、前記携帯端末の所定の方向に対する、前記ユーザの顔の相対的な方向を特定する方向特定部、及び特定された前記ユーザの顔の相対的な方向に応じて前記携帯端末の表示画面に表示すべきコンテンツの表示方向を変更する変更部の動作間隔を、所定時間の間、前記第１の時点において設定されている時間より短い時間に設定するステップと、
    前記第１の時点から前記第１の時間が経過するまでの間において前記第１の変化を検出したと判断された場合、前記動作間隔を、前記第１の時点において設定されている時間に設定するステップと、
    前記画像取得部、前記方向特定部及び前記変更部を、設定された前記動作間隔で動作させるステップと、
    を実行させるためのプログラム。
JP2012501573A 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム Expired - Fee Related JP5741568B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/052941 WO2011104837A1 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014008263A Division JP2014090510A (ja) 2014-01-21 2014-01-21 携帯端末、動作間隔設定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2011104837A1 JPWO2011104837A1 (ja) 2013-06-17
JP5741568B2 true JP5741568B2 (ja) 2015-07-01

Family

ID=44506284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012501573A Expired - Fee Related JP5741568B2 (ja) 2010-02-25 2010-02-25 携帯端末、動作間隔設定方法及びプログラム

Country Status (4)

Country Link
US (2) US9117391B2 (ja)
JP (1) JP5741568B2 (ja)
CN (1) CN102770904B (ja)
WO (1) WO2011104837A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120799A1 (ja) * 2011-03-04 2012-09-13 パナソニック株式会社 表示装置及び表示方向切替方法
US8665236B2 (en) 2011-09-26 2014-03-04 Apple Inc. Electronic device with wrap around display
WO2013084662A1 (ja) * 2011-12-09 2013-06-13 日本電気株式会社 表示装置
EP2909699A1 (en) * 2012-10-22 2015-08-26 VID SCALE, Inc. User presence detection in mobile devices
WO2014155748A1 (ja) * 2013-03-29 2014-10-02 楽天株式会社 端末装置、端末装置の制御方法、プログラム、及び情報記憶媒体
US9886192B2 (en) * 2013-03-29 2018-02-06 Rakuten, Inc. Terminal device, control method for terminal device, program, and information storage medium
CN104598136B (zh) * 2013-10-31 2018-07-31 纬创资通(昆山)有限公司 移动装置及移动装置的显示画面旋转方法
KR102224932B1 (ko) 2014-02-19 2021-03-08 삼성전자주식회사 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
KR102347249B1 (ko) 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN104965703A (zh) * 2015-06-17 2015-10-07 广东欧珀移动通信有限公司 一种控制移动终端亮屏的方法及移动终端
CN107527380B (zh) * 2016-06-20 2022-11-18 中兴通讯股份有限公司 图像处理方法和装置
US10885676B2 (en) 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969023A (ja) * 1995-06-19 1997-03-11 Matsushita Electric Ind Co Ltd 画像表示方法及びその装置
JP2000111872A (ja) * 1998-10-05 2000-04-21 Casio Comput Co Ltd 表示装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2005266061A (ja) * 2004-03-17 2005-09-29 Olympus Corp 再生装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276127A (ja) * 1999-03-23 2000-10-06 Hitachi Ltd 情報処理装置及び表示制御装置
US8120625B2 (en) * 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6888532B2 (en) * 2001-11-30 2005-05-03 Palmone, Inc. Automatic orientation-based user interface for an ambiguous handheld device
EP1455337A1 (en) * 2003-03-05 2004-09-08 Matsushita Electric Industrial Co., Ltd. Control method for a backlight arrangement, display controller using this method and display apparatus
JP4120648B2 (ja) 2005-02-23 2008-07-16 ヤマハ株式会社 携帯端末、携帯端末の制御方法、プログラムおよび記録媒体
JP2007017596A (ja) 2005-07-06 2007-01-25 Matsushita Electric Ind Co Ltd 携帯端末装置
KR100708178B1 (ko) * 2005-09-01 2007-04-16 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
JP2008177819A (ja) 2007-01-18 2008-07-31 Mitsubishi Electric Corp 携帯端末装置
US20080259095A1 (en) * 2007-04-17 2008-10-23 Dubs Justin T Method and Apparatus for Changing Display Orientations on a Monitor of a Portable Computer
US8068121B2 (en) * 2007-06-29 2011-11-29 Microsoft Corporation Manipulation of graphical objects on a display or a proxy device
JP5286754B2 (ja) 2007-11-27 2013-09-11 日本電気株式会社 携帯端末装置、画面表示切替方法、プログラム、コンピュータ読み取り可能な記録媒体
JP5577023B2 (ja) * 2008-02-22 2014-08-20 日立コンシューマエレクトロニクス株式会社 表示装置
KR20090101733A (ko) 2008-03-24 2009-09-29 삼성전자주식회사 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
JP4526578B2 (ja) 2008-04-25 2010-08-18 株式会社エヌ・ティ・ティ・ドコモ 携帯装置及びその制御方法
US8860765B2 (en) * 2008-09-08 2014-10-14 Qualcomm Incorporated Mobile device with an inclinometer
KR101500741B1 (ko) * 2008-09-12 2015-03-09 옵티스 셀룰러 테크놀로지, 엘엘씨 카메라가 구비된 이동 단말기 및 이의 촬영 방법
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
JP2011138449A (ja) 2010-01-04 2011-07-14 Nec Corp 表示制御装置、表示装置、電子装置および表示制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969023A (ja) * 1995-06-19 1997-03-11 Matsushita Electric Ind Co Ltd 画像表示方法及びその装置
JP2000111872A (ja) * 1998-10-05 2000-04-21 Casio Comput Co Ltd 表示装置
JP2003186462A (ja) * 2001-12-14 2003-07-04 Minolta Co Ltd 画像表示装置
JP2005004210A (ja) * 2003-06-14 2005-01-06 Lg Electronics Inc 移動通信端末機の画像傾き自動補正装置及びその方法
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
JP2005266061A (ja) * 2004-03-17 2005-09-29 Olympus Corp 再生装置

Also Published As

Publication number Publication date
WO2011104837A1 (ja) 2011-09-01
US9117391B2 (en) 2015-08-25
CN102770904A (zh) 2012-11-07
JPWO2011104837A1 (ja) 2013-06-17
US9311884B2 (en) 2016-04-12
US20120313970A1 (en) 2012-12-13
CN102770904B (zh) 2015-04-08
US20140160167A1 (en) 2014-06-12

Similar Documents

Publication Publication Date Title
JP5741568B2 (ja) 携帯端末、動作間隔設定方法及びプログラム
WO2019219065A1 (zh) 视频分析的方法和装置
US10356320B2 (en) Information processing device and image input device
US8624998B2 (en) Camera image selection based on detected device movement
CN104137028A (zh) 控制被显示图像的旋转的设备和方法
CN108427630B (zh) 性能信息获取方法、装置、终端及计算机可读存储介质
JPWO2012120799A1 (ja) 表示装置及び表示方向切替方法
WO2014166127A1 (en) Image capturing method, apparatus, and electronic device
US10448338B2 (en) Adaptive sleep delay
WO2012144526A1 (ja) 情報表示装置、制御方法、及びプログラム
JP2011138449A (ja) 表示制御装置、表示装置、電子装置および表示制御方法
KR20130122411A (ko) 이미지 획득 장치 및 이미지 획득 장치의 동작 방법
US20180121711A1 (en) Display control method and apparatus
KR102128582B1 (ko) 카메라를 가지는 전자 장치 및 이를 운영하는 방법
CN109302563B (zh) 防抖处理方法、装置、存储介质及移动终端
JP6229720B2 (ja) 端末装置、撮影部起動方法及び撮影部起動プログラム
JP6222256B2 (ja) 携帯端末、動作間隔設定方法及びプログラム
CN112015612B (zh) 一种获取卡顿信息的方法及装置
JP2012160911A (ja) 電子機器、電子機器の制御方法
US9646576B2 (en) Terminal device, control method for terminal device, program, and information storage medium
US20140292998A1 (en) Managing Use of Resources in Mobile Devices
JP2014090510A (ja) 携帯端末、動作間隔設定方法及びプログラム
CN111316631B (zh) 拍摄装置的控制方法和拍摄装置
WO2014163621A1 (en) Managing use of resources in mobile devices
CN111787228A (zh) 拍摄方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150413

R150 Certificate of patent or registration of utility model

Ref document number: 5741568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees