JP5703873B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP5703873B2
JP5703873B2 JP2011058987A JP2011058987A JP5703873B2 JP 5703873 B2 JP5703873 B2 JP 5703873B2 JP 2011058987 A JP2011058987 A JP 2011058987A JP 2011058987 A JP2011058987 A JP 2011058987A JP 5703873 B2 JP5703873 B2 JP 5703873B2
Authority
JP
Japan
Prior art keywords
display
displayed
acquired
contact
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011058987A
Other languages
English (en)
Other versions
JP2012194842A (ja
Inventor
悠介 宮沢
悠介 宮沢
泰史 奥村
泰史 奥村
誠司 鈴木
誠司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011058987A priority Critical patent/JP5703873B2/ja
Priority to US13/416,551 priority patent/US9323351B2/en
Priority to CN2012200890071U priority patent/CN203250304U/zh
Priority to CN2012100621239A priority patent/CN102736842A/zh
Priority to EP12159386.7A priority patent/EP2500797B1/en
Publication of JP2012194842A publication Critical patent/JP2012194842A/ja
Application granted granted Critical
Publication of JP5703873B2 publication Critical patent/JP5703873B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
近年、情報処理装置の演算能力および通信速度は飛躍的に向上している。しかし、例えば携帯端末のような比較的小型の情報処理装置では、処理結果を表示する表示部のサイズが限られているために、表示できる情報量にも制約があり、上記のような高い性能が十分に利用されない場合があった。
そこで、情報処理装置の表示部を有効に活用するための技術が開発されている。例えば、表示部にタッチパネルを設け、操作性を確保しつつ表示部を拡大することが知られている。特許文献1,2には、タッチパネルの押し込み具合を操作入力として利用する技術が記載されている。
また、情報処理装置の筐体の状態変化を操作入力として利用し、表示部を縮小することなく多様な操作入力を実現することも知られている。特許文献3には、筐体に振動を加えることを操作入力として利用する技術が記載されている。特許文献4には、筐体を傾けることを操作入力として利用する技術が記載されている。
特開2010−109552号公報 特開2009−009252号公報 特開2004−334642号公報 特開2005−245619号公報 特開2004−54854号公報 特開2009−116583号公報
タッチパネルを有する携帯端末などの装置では、タッチパネルによる操作が行えるため、装置のサイズに対する画面領域を比較的大きくすることができ、視認性に優れているという利点がある。また、限られた表示領域にできる限り多くの情報を表示するため、液晶パネルなどの表示部は高精細化されている。
しかしながら、タッチパネル操作を行う場合には、ユーザの手指で操作が行われるため、一定以上の広さの表示領域を設ける必要がある。また、手指によって選択される表示物(文字、アイコン等)は、指で選択するために一定以上の大きさを確保する必要がある。このため、特に携帯電話などの小型の端末では、小さな表示物が多数表示されていると、表示物を拡大した後でなければ選択することができないという問題が生じ、煩雑な操作が必要となる。また、このような拡大操作が前提となると、本来は限られた範囲により多くの情報を表示可能な高精細な表示デバイスを十分に生かしきることができない。このように、タッチパネル操作を行うデバイスは、選択される表示物には一定以上の物理的なサイズが必要となり、小さなモバイルデバイスに組み込むと、手指での操作が困難になる。
特許文献5では、ペン近くに存在する選択対象を並び替える方法を提案している。しかしながら、操作対象を再配置するため、ユーザは操作する前の位置との前後関係を理解することに時間がかかるという問題がある。また、特許文献6には、近接状態での指の座標が最も近いものを拡大/フォーカス表示することが記載されている。しかしながら、この方法では、指によって表示領域が隠されてしまうため、限られた面積を有効利用することができないという問題がある。
また、特許文献3には、デバイスを「振る」ことにより、何らかのコマンドを発行することが提案されている。しかしながら、デバイスを「振る」ことで表示画面上の特定の対象に対して操作を行うことは困難である。更に、特許文献4には、ゲームステージの傾きに応じてオブジェクトが移動することが記載されているが、ユーザによるタッチ等の操作のために表示を変えることを想定したものではない。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、煩雑な操作を行うことなく、表示画面上で所望の操作を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像が表示される表示部が設けられた筐体の傾きを取得する傾き取得部と、前記表示部へのユーザの接触又は近接を取得する接触取得部と、前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与える表示制御部と、を備える情報処理装置が提供される。
また、前記表示制御部は、前記取得された筐体の傾きに基づいて、前記表示される画像をオフセットして表示するものであってもよい。
また、前記表示制御部は、前記取得された筐体の傾きの角度が所定のしきい値以上である場合に前記表示変化を与えるものであってもよい。
また、前記表示制御部は、前記取得された筐体の傾きに基づいて前記表示変化を与えた後、前記取得された筐体の傾きと逆方向に前記筐体が傾けられた場合は、前記表示変化を元の状態に戻すものであってもよい。
また、前記表示制御部は、前記表示される画像をオフセットして表示するとともに、ユーザが前記表示部上で指定する位置を表すカーソルを前記接触又は近接が取得された位置からオフセットして表示するものであってもよい。
また、前記表示制御部は、オフセットして表示した前記カーソルの位置と前記接触又は近接が取得された位置との関係を示すための表示を行うものであってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像が表示される表示部が設けられた筐体の傾きを取得するステップと、前記表示部へのユーザの接触又は近接を取得するステップと、前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与えるステップと、を備える情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画像が表示される表示部が設けられた筐体の傾きを取得する手段、前記表示部へのユーザの接触又は近接を取得する手段、前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与える手段、としてコンピュータを機能させるためのプログラムが提供される。
本発明によれば、煩雑な操作を行うことなく、表示画面上で所望の操作を行うことが可能な情報処理装置、情報処理方法およびプログラムを提供することができる。
本発明の第1の実施形態に係る携帯端末の外観を示す図である。 携帯端末を矢印A1の向きにある角度だけ回動し、斜め左方向からLCDを視認した状態を示す模式図である。 本実施形態に係る携帯端末の機能構成を示すブロック図である。 CPUの機能構成を示すブロック図である。 本実施形態に係る携帯端末の動作例を示す図である。 図5(B)に示す表示状態を説明するための模式図である。 比較例として、手指で指定した領域を拡大表示する例を示す模式図である。 携帯端末を軸を中心として矢印A1方向に回転させて傾けた際に、通常表示から図2のオフセット表示に切り換わる過程を示す模式図である。 ユーザによる表示物の選択操作、及び選択後にメニュー表示する例を示す模式図である。 WEB上のニュース画面など、一定の範囲内に密集して選択対象が存在している場合を示す模式図である。 本実施形態の携帯端末における処理の手順を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本実施形態の概要
2.携帯端末の構成例
3.携帯端末の動作例
4.携帯端末の処理フロー
図1は、本実施形態に係る携帯端末100の外観を示す図である。携帯端末100は、情報処理装置の一例である。図1を参照すると、携帯端末100は、筐体110を有し、筐体110には、LCD(Liquid Crystal Display)120が設けられる。LCD120は、表示部の一例であり、携帯端末100の出力として画像を表示する。なお、表示部は、LCD120に限定されるものではなく、有機EL(Electro-Luminescence)パネルなど任意の表示装置が用いられてもよい。LCD120には、タッチパネル130が設けられている。タッチパネル130は、LCD120の表面へのユーザの接触又は近接を検知する。なお、ボタンなどの操作部が他に設けられる場合、タッチパネル130は設けられていなくてもよい。携帯端末100は、例えば音声通話、ネットワーク通信、音楽や映像の視聴、または動画や静止画の撮像など、様々な機能を有するものでありうる。筐体110には、LCD120およびタッチパネル130に加えて、これらの機能を実現するための他の装置、例えばスピーカ、マイク、カメラ、入出力端子、またはアンテナなどが設けられていてもよい。
引き続き図1を参照して、LCD120に表示される画像の例について説明する。一例として、図1は、無線通信ネットワークを介して取得したWEBの画面がLCD120に表示されている様子を示している。ユーザは、タッチパネル130を操作することによって、WEB画面のスクロール、拡大、縮小等の操作を行うことができ、また、WEB画面に表示された文字、アイコン等を選択することができる。
ところで、携帯端末100の大きさは、手で保持できる程度の大きさである場合が多く、図1に示すように、タッチパネル130上で手指により操作を行うと、表示画面の一部が手指の下に隠れてしまう。このとき、手指の下に文字、アイコン等が隠れていると、これらを視認することが困難となり、選択することも困難になる。
このような場合に、本実施形態では、ユーザが携帯端末100を傾けて斜め方向からLCD120を視認した場合に、LCD120に表示される表示画面をあたかも斜め方向から視認したような表示状態に変化させて、傾けた方向から見えるビューを提供する。そして、このような処理により、手指の下に位置していた文字、アイコン等をユーザが視認して選択できるようになり、指で選択している対象を確認しながら操作することが可能となる。
図2は、軸200を中心として携帯端末100を矢印A1の向きにある角度だけ回動し、斜め左方向からLCD120を視認した状態を示す模式図である。携帯端末100は、図1に示す状態から図2に示す状態に携帯端末100が回動したことを検知し、これに基づいてLCD120の表示を変化させ、画面全体を左側に移動してオフセット表示する。従って、図1の状態では手指(右手の親指)の下に位置していた文字、アイコン等は、手指の左側にオフセット表示される。これにより、図1の状態では手指の下に隠れていた文字、アイコン等が手指の左側に表示されるため、ユーザは、手指の下に隠れていた文字、アイコン等を視認することができ、文字、アイコン等を選択する操作が可能となる。
従って、本実施形態の携帯端末100によれば、LCD120の大きさが比較的小さく、手指がLCD120上で占める大きさが相対的に大きい場合であっても、携帯端末100を傾けるという簡便な操作により手指の下に位置していた表示物を認識することができる。これにより、手指の下に隠れていた文字、アイコン等が極めて小さい場合であっても、所望の文字、アイコン等を選択することができ、所望の操作を行うことが可能となる。以下、詳細に説明する。
2.携帯端末の構成例
図3は、本実施形態に係る携帯端末100の機能構成を示すブロック図である。図3を参照すると、携帯端末100は、LCD120、タッチパネル130、加速度センサ(傾きセンサ)140、CPU(Central Processing Unit)150、RAM160、記憶部(不揮発性メモリ)162、および通信部170を含む。また、図4は、CPUの機能構成を示すブロック図である。CPU150によって、図4に示す傾き取得部151、接触取得部152、表示制御部154の機能が実現される。タッチパネル130は、一例として静電容量式のタッチセンサ、または感圧式のタッチセンサ等を有し、LCD120上の全域に設けられる。
LCD120は、CPU150から表示画像を提供される。タッチパネル130は、LCD120へのユーザの接触又は近接の有無、およびユーザが接触又は近接しているLCD120上の位置の情報を、CPU150に提供する。
加速度センサ140は、携帯端末100の筐体110に与えられる加速度を検知するセンサである。加速度センサ140が検知した加速度の情報は、CPU150に提供される。加速度の変化によって、例えば、筐体110の傾き、および筐体110の振動など、筐体110の状態変化を検出することが可能である。なお、加速度センサ140は、CPU150における処理で必要とされる筐体110の状態変化の種類に応じて、例えば2軸加速度センサ、または3軸加速度センサなど、任意の種類の加速度センサでありうる。また、上記のような筐体110の状態変化を検出できる他のセンサが、加速度センサ140に代えて用いられてもよい。例えば、加速度センサ140の代わりに、ユーザの顔の位置を認識できるセンサを用いて、ユーザの顔の検出結果に基づいて筐体110の傾きを検出するようにしてもよい。
CPU150は、携帯端末100の各部の動作を制御する。図4は、CPU150の機能構成を示すブロック図である。CPU150は、記憶部160に格納されたプログラムを実行するプロセッサであって、プログラムの実行によって、図4に示す傾き取得部151、接触取得部152、及び表示制御部154の機能を実現する。また、CPU150は、これらの機能に加えて、例えば音声通話、ネットワーク通信、音楽や映像の視聴、または動画や静止画の撮像など、携帯端末100が有しうる様々な機能を実現する。これらの機能を実現するために、CPU150は、タッチパネル130および加速度センサ140から情報を取得し、LCD120に画像を提供し、またRAM160、記憶部160および通信部170とデータをやりとりする。また、CPU150は、上記の機能を実現するために、携帯端末100が有する他の装置との間で、情報を取得または提供してもよい。
以下、CPU150によって実現される、傾き取得部151、接触取得部152、及び表示制御部154の各機能について説明する。これらの機能は、上述のようにCPU150が記憶部160に格納されたプログラムを実行することによって実現されうるが、これには限られず、例えばCPU150とは別途に設けられた専用の回路構成によってその一部または全部が実現されてもよい。また、プログラムは、外部から携帯端末100に接続される、携帯端末100とは別体のメモリ等に格納されていても良い。
傾き取得部151は、加速度センサ140から提供された携帯端末100の筐体110の加速度の情報に基づいて、筐体110の傾きを取得する。具体的には、傾き取得部151は、筐体110の加速度の向きおよび大きさに基づいて、筐体110の傾きの向きおよび角度を算出してもよい。傾き取得部151は、算出した筐体110の傾きの向きおよび角度を、表示制御部154に提供してもよい。
以下の説明では、LCD120に表示された文字をドラッグ操作により選択した後、メニューを表示し、選択した文字に対してメニューに応じた処理を行う場合を例に挙げて説明する。接触取得部152は、タッチパネル130から提供された、LCD120へのユーザの接触又は近接の有無、およびユーザが接触又は近接しているLCD120上の位置の情報を取得する。例えば、タッチパネル130が静電容量式のセンサから構成される場合、接触取得部152は、タッチパネル130から提供された静電容量値の変化に基づいて、LCD120へのユーザの接触又は近接の有無、およびユーザが接触又は近接しているLCD120上の位置の情報を取得することができる。接触取得部152は、例えば静電容量値の変化に基づいて、ユーザがLCD120上に接触しておらず、所定距離以内に近接していることを検出した場合は、ユーザがLCD120上に接触しているものとして、位置情報を取得するとともに、選択操作を受け付けることができる。また、例えば、接触取得部152は、LCD120上のアイコン(又は文字)が表示されている領域への接触又は近接を、アイコン等への押下操作として取得してもよい。また、接触取得部152は、LCD120上のアイコン等が表示されている領域への接触又は近接が所定の時間以上継続した場合に、この接触をアイコン等への長押し操作として取得してもよい。さらに、接触取得部152は、LCD121上で接触が継続した状態で接触位置が移動した場合に、この接触を移動の操作(フリック操作とも呼ばれる)として取得してもよい。接触取得部152は、アイコン等への押下操作、長押し操作、または移動の操作を取得し、これを表示制御部154に提供してもよい。
表示制御部154は、表示画像をLCD120に提供する。また、表示制御部154は、傾き取得部151にて取得された筐体110の傾きの情報に基づいて、表示画像に変化を与える。具体的には、表示制御部154は、筐体110の傾きの情報に基づいて、図2、図5(A)及び図5(B)に示したようなオフセット表示を行う。ここで、表示制御部154は、傾き取得部151によって取得された筐体110の傾き、接触取得部152によって取得された各種の接触操作の、一部または全部に基づいて上記の表示変化を与えてもよい。この表示変化は、少なくとも、傾き取得部151によって取得された筐体110の傾きに応じた表示変化を含む。また、表示制御部154は、接触取得部152にて取得されたユーザの接触又は近接の情報に基づいて、ユーザの表示画面上での操作に応じて表示を制御する。例えば、表示制御部154は、ユーザの操作に応じて画面をスクロールしたり、画面の拡大、縮小等の処理を行う。また、表示制御部154は、ユーザのドラッグ操作に応じて選択された文字、アイコン等を選択に応じた表示状態とする処理、選択操作が行われた後、メニュー画面を表示する処理等を行い、LCD120に出力する。
RAM160、及び記憶部162には、携帯端末100の処理に関する各種のデータが、一時的または永続的に格納される。RAM160は、DRAMなどの半導体メモリから構成され、表示画面のデータ等を一時的に保存する。また、記憶部162は、不揮発性の記憶デバイス、例えば、フラッシュROM(Read Only Memory)、BD(Blu-ray Disc)、DVD(Digital Versatile Disc)、もしくはCD(Compact Disc)などの光ディスク、またはハードディスクなどでありうる。記憶部162は、携帯端末100に内蔵される記憶装置であってもよく、携帯端末100に着脱可能なメモリカードなどのリムーバブルメディアであってもよい。また、記憶部162は、複数の種類の記憶装置またはリムーバブルメディアを含んでもよい。記憶部162には、CPU150が傾き取得部151、接触取得部152、及び表示制御部154の機能、およびその他の様々な機能を実現するために実行するプログラムが格納されうる。このプログラムは、記憶部162に予め格納されたものであってもよく、上記のリムーバブルメディアに格納して提供されたプログラム、または通信部170を介してネットワークからダウンロードされたプログラムが、RAM160または記憶部162に一時的に格納されたものであってもよい。さらに、RAM160または記憶部162には、CPU150がLCD120、タッチパネル130、加速度センサ140、および通信部170との間でやり取りする情報、およびCPU150が処理の過程で生成した情報が一時的に格納されうる。
通信部170は、ネットワークに接続するための通信デバイスを含む通信インターフェースである。通信部170は、例えば、USB(Universal Serial Bus)、IEEE1394、SCSI(Small Computer System Interface)、HDMI(High-Definition Multimedia Interface)、LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)などのためのポートや通信カードでありうる。通信部170は、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などのネットワークに接続し、携帯端末100の処理に関する各種のデータをやり取りする。通信部170は、CPU150が傾き取得部151、接触取得部152、及び表示制御部154の機能、およびその他の様々な機能を実現するために実行するプログラムをネットワークからダウンロードして記憶部160に格納してもよい。
3.携帯端末の動作例
図5は、本実施形態に係る携帯端末100の動作例を示す図である。図5(A)は、図2と同様の状態を示しており、図1の状態から携帯端末100が軸200を中心としてある角度だけ傾けられた状態を示している。また、図5(B)は、図5(A)において、枠Wで示す範囲のLCD120の表示状態を拡大して示す模式図である。
図1に示す状態では、CPU150の接触取得部152は、ユーザが接触しているLCD120上の位置の情報として、図1に示す十字210の位置を取得する。図5(A)に示す状態に携帯端末100が傾けられると、CPU150は傾き取得部151にて傾き情報を取得し、表示制御部154は、傾きの情報に基づいて、図5(A)及び図5(B)に示すように表示画像に変化を与える。
具体的には、図1の状態では、十字210の位置に対応する表示画面はユーザの手指(右手の親指)の下に隠れている。一方、携帯端末100が傾けられた図5(A)及び図5(B)の状態では、図1で十字210の位置に対応する表示物が十字220の位置にオフセットされ、画面全体もこのオフセットに応じて左側にオフセットされる。十字220は、ユーザの選択位置を示すカーソルとして表示される。そして、表示画面には、指と選択位置の相対位置関係を示すため、選択位置(カーソル)を示す十字220と、指が実際に接触又は近接している位置とを結ぶ直線230が表示される。これにより、ユーザは、十字220の位置を認識することで、自身の手指が表示画面上のどの位置を選択しているのかを容易に認識することができる。これにより、ユーザは、図1では十字210の位置に存在して指の背後に隠れていた表示物を視認できるとともに、その表示物を選択するなどの操作を行うことができる。
図6は、図5(A)及び図5(B)に示す表示状態を説明するための模式図である。図6は、LCD120の表面に指が接触している状態を表示面に沿った方向から見た状態を模式的に示している。図6では、指の下に位置する表示物が表示面から距離dだけ下に存在すると仮定する。図6に示すように、指の下に位置する表示物は、矢印A2の方向から見た場合は、指の背後に隠れてしまい、視認することはできない。一方、矢印A3の方向から見た場合は、表示物を視認することができる。本実施形態によれば、図5(A)及び図5(B)に示すオフセット表示を行うことで、図6に示すような、表示物が表示面からあたかも距離dだけ下に存在するような表示効果を与えることができ、指の下に位置する表示物を視認することが可能となる。
本実施形態では、ユーザの指の接触又は近接が取得された場合に、オフセット表示を行う。従って、ユーザがLCD120上に手指を置いておらず、手指がLCD120の表面に接触または近接していない場合は、筐体110を傾けてもオフセット表示は行われない。これは、ユーザがタッチ操作を行う場合に表示物が手指の下に隠れる状況が発生するためであり、LCD120上に手指が存在しない場合は、表示物が見えなくなる状況が生じないためである。これにより、ユーザがタッチ操作を行う場合のみ、手指の下に隠れていた表示物を確実に視認させることが可能となり、他の場合に表示状態が煩雑に切り替わることを抑止できる。
以上のように本実施形態では、携帯端末100を傾けた場合に、オフセット表示を行うことで、手指の背後に隠れていた文字、アイコン等の表示物を視認することができ、これらの表示物をドラッグ等の操作により選択し、選択した表示物に対応するメニューを表示することができる。ここで、図9は、表示物の選択する際の操作、及び選択後にメニュー表示する操作の例を示す模式図である。表示物の選択並びに選択の終了後のメニュー表示操作では、一例として図9に示すような組み合わせが考えられる。通常のタッチパネルでは、ドラッグ操作によりLCD120上で文字、アイコン等の選択が行われる。そして、ドラッグにより選択した後、指をタッチパネルから離すことによってメニューが表示される。
また、近接タッチパネル(静電容量式のタッチパネル)では、静電容量の変化を検出することで、指を表示面に接触させることなく、指を表示面に近接させた状態で操作を行うことができる。このようなタッチパネルでは、指を静電容量に変化が生じる近接領域まで近づけた状態で、空中ドラッグ操作により表示画面上で選択を行い、指を近接領域よりも遠ざけるとメニューが表示されるようにすることができる。また、感圧式タッチパネルでは、ドラッグさせることによって表示画面上で選択を行った後、指を押し込むことによってメニューを表示させることができる。いずれのタッチパネルにおいても、メニューが表示されると、メニューに従って、選択したアイコン等について所望の操作を行うことができる。
図7は、比較例として、手指で指定した領域を拡大表示する例を示す模式図である。図7は、携帯端末300の表示部302に文字列及びキーボードが表示されている状態を示している。表示部302はタッチパネルを有しており、ユーザが文字列の中の「アプリ」という部分の周辺を手指310で指定すると、指定した部分は手指310に隠れて見えないため、指定した部分とその周辺領域が、あたかも拡大鏡で拡大されたかのように、手指310の上の部分の円320内に拡大表示される。しかしながら、図7に示す比較例では、円320に拡大表示できる範囲はごく僅かであり、他の領域は手指320の背後に隠れてしまう。また、図7に示す比較例では、手指320の背後に隠れた文字、アイコン等を選択する場合は、円320の領域に拡大した後に更に選択操作、メニュー表示操作等を行う必要があり、2度手間が生じるとともに、画面を見ながら直感的に素早い操作を行うことはできない。
一方、本実施形態では、携帯端末100を傾けることによって、元々は手指の背後に隠れていた領域を含め、表示画面の全体がオフセットされてLCD120に表示される。そして、手指を動かすことによってカーソルを表す十字220の位置が移動するため、文字、アイコン等が指の大きさと比較して極めて小さい場合であっても、ワンタッチ操作で表示画面の全領域の中から所望の位置、範囲を指定することが可能である。
また、LCD120における表示のオフセット量は、必ずしも携帯端末100の傾き量に応じて変化するものではなくても良い。例えば、図8に示すように、携帯端末100の傾きが一定の値(基準角度α)を超えた場合に、表示状態を切り換えるようにしても良い。図8は、携帯端末100を軸200を中心として矢印A1方向に回転させて傾けた際に、通常表示から図2のオフセット表示に切り換わる過程を示す模式図である。図8に示すように、LCD120がユーザに正対している状態の角度を0°とすると、0°から基準角度αまでの範囲では、オフセット表示は行われず、LCD120には通常表示が行われる。
一方、携帯端末100が基準角度αを超えて傾けられると、LCD120の表示状態が切り換わり、オフセット表示が行われる。従って、図8中に示す操作角度βの状態では、オフセット表示が行われる。このように、0°から基準角度αまでの範囲では通常表示を行うことで、ユーザがオフセット表示を意図していない場合に、微小な傾きの変化に応じて表示状態が煩雑に切り換わることを抑止できる。携帯端末100が基準角度αを超えて傾けられた場合に、傾き量に応じて表示のオフセット量が変化するようにしても良い。また、基準角度αを超えて傾けられた場合に、傾き量が変化してもオフセット量は一定としても良い。
また、携帯端末100を傾けた方向に応じて、オフセット表示の設定、及び解除を行うことができる。図8に示すように、矢印A1方向に携帯端末100が基準角度α以上回転した場合にオフセット表示を行うとともに、矢印A1と逆方向に携帯端末100が回転されて角度が基準角度α以下となった場合はオフセット表示を解除することができる。
なお、オフセット表示は、文字選択などの一次元的な選択操作を行う場合に限定されるものではない。例えば、図10に示すように、WEB上のニュース画面など、一定の範囲400内に密集して選択対象410が存在している場合にもオフセット表示を用いることができる。
4.携帯端末の処理フロー
図11は、本実施形態の携帯端末100における処理の手順を示すフローチャートである。図11では、LCD120の表示画面上で文字、アイコン等が選択可能なモードを選択モードと称する。また、選択モードにおいて、筐体が基準角度α以上傾けられて、オフセット表示をするモードを回転モードと称する。
先ず、ステップS10では、携帯端末100の傾きが変化した場合に、先ず選択モードであるか否かを判定し、選択モードである場合はステップS12へ進む。ステップS12では、指が接触したか否かを判定し、指が接触している場合はステップS14へ進む。
次のステップS14では、回転モードであるか否かを判定し、既に回転モードに設定されている場合は、ステップS16へ進む。ステップS16では、携帯端末100が、回転モードが設定された際の回転方向と逆方向に、一定時間以内に一定角度以上回転したか否かを判定する。ステップS16において、一定時間以内に一定角度以上の回転が行われた場合は、ステップS18へ進み、回転モードを解除する。一方、ステップS16において、一定時間以内に一定角度以上の回転が行われなかった場合は、ステップS20へ進み、回転モードが維持されて、傾き表示を考慮して、指の移動に応じて選択領域を更新する。
また、ステップS14で回転モードではない場合は、ステップS22へ進む。ステップS22では、携帯端末100が一定時間以内に一定角度以上回転したか否かを判定する。ステップS22で一定時間以内に一定角度以上回転したと判定された場合は、回転モードに設定し、ステップS24へ進む。ステップS24では、傾き表示を考慮して、指の移動に応じて選択領域を更新する。一方、ステップS22において、一定時間以内に一定角度以上の回転が行われなかった場合は、回転モードに設定することなく、ステップS26へ進む。ステップS26では、通常表示のモードにおいて、指の移動に応じて選択領域を更新する。
また、ステップS12で指が接触していない場合はステップS28へ進む。ステップS28では、選択可能なコマンドを表示し、選択モードを解除する。
また、ステップS10で選択モードでない場合は、ステップS30へ進み、ユーザにより長押し操作が行われたか否かを検出する。長押し操作が行われた場合はステップS32へ進み、選択モードに設定し、選択可能なコマンドを表示する。長押し操作が行われなかった場合は、処理を終了する。
以上説明したように本実施形態によれば、携帯端末100を傾けた場合に、オフセット表示を行うことで、手指の背後に隠れていた文字、アイコン等の表示物を視認することが可能となる。従って、これらの表示物をドラッグ等の操作により選択したり、所望の操作を行うことが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記各実施形態では、情報処理装置の例として携帯端末について説明したが、本発明はかかる例に限定されない。情報処理装置は、例えばタブレット型のPC(Personal Computer)、携帯用ゲーム機など、表示部を有し、ユーザが傾けることが可能なあらゆる装置でありうる。
100 携帯端末(情報処理装置)
120 LCD(表示部)
150 CPU
151 傾き取得部
152 接触取得部
154 表示制御部

Claims (5)

  1. 画像が表示される表示部が設けられた筐体の傾きを取得する傾き取得部と、
    前記表示部へのユーザの接触又は近接を取得する接触取得部と、
    前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与える表示制御部と、
    を備え
    前記表示制御部は、前記取得された筐体の傾きに基づいて、前記表示される画像をオフセットして表示し、
    前記表示制御部は、前記表示される画像をオフセットして表示するとともに、ユーザが前記表示部上で指定する位置を表すカーソルを前記接触又は近接が取得された位置からオフセットして表示し、
    前記表示制御部は、オフセットして表示した前記カーソルの位置と前記接触又は近接が取得された位置との関係を示すための表示を行う、情報処理装置。
  2. 前記表示制御部は、前記取得された筐体の傾きの角度が所定のしきい値以上である場合に前記表示変化を与える、請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記取得された筐体の傾きに基づいて前記表示変化を与えた後、前記取得された筐体の傾きと逆方向に前記筐体が傾けられた場合は、前記表示変化を元の状態に戻す、請求項1に記載の情報処理装置。
  4. 画像が表示される表示部が設けられた筐体の傾きを取得することと、
    前記表示部へのユーザの接触又は近接を取得することと、
    前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与え、前記取得された筐体の傾きに基づいて、前記表示される画像をオフセットして表示し、前記表示される画像をオフセットして表示するとともに、ユーザが前記表示部上で指定する位置を表すカーソルを前記接触又は近接が取得された位置からオフセットして表示し、オフセットして表示した前記カーソルの位置と前記接触又は近接が取得された位置との関係を示すための表示を行うことと、
    を備える、情報処理方法。
  5. 画像が表示される表示部が設けられた筐体の傾きを取得する手段、
    前記表示部へのユーザの接触又は近接を取得する手段、
    前記接触又は近接が取得された場合に、前記取得された筐体の傾きに基づいて、前記表示される画像に表示変化を与え、前記取得された筐体の傾きに基づいて、前記表示される画像をオフセットして表示し、前記表示される画像をオフセットして表示するとともに、ユーザが前記表示部上で指定する位置を表すカーソルを前記接触又は近接が取得された位置からオフセットして表示し、オフセットして表示した前記カーソルの位置と前記接触又は近接が取得された位置との関係を示すための表示を行う手段、
    としてコンピュータを機能させるためのプログラム。
JP2011058987A 2011-03-17 2011-03-17 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5703873B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011058987A JP5703873B2 (ja) 2011-03-17 2011-03-17 情報処理装置、情報処理方法およびプログラム
US13/416,551 US9323351B2 (en) 2011-03-17 2012-03-09 Information processing apparatus, information processing method and program
CN2012200890071U CN203250304U (zh) 2011-03-17 2012-03-09 信息处理装置
CN2012100621239A CN102736842A (zh) 2011-03-17 2012-03-09 信息处理装置、信息处理方法和程序
EP12159386.7A EP2500797B1 (en) 2011-03-17 2012-03-14 Information processing apparatus, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011058987A JP5703873B2 (ja) 2011-03-17 2011-03-17 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012194842A JP2012194842A (ja) 2012-10-11
JP5703873B2 true JP5703873B2 (ja) 2015-04-22

Family

ID=45874669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011058987A Expired - Fee Related JP5703873B2 (ja) 2011-03-17 2011-03-17 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US9323351B2 (ja)
EP (1) EP2500797B1 (ja)
JP (1) JP5703873B2 (ja)
CN (2) CN203250304U (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
US9740340B1 (en) 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
JP5927872B2 (ja) * 2011-12-01 2016-06-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5929719B2 (ja) * 2012-11-12 2016-06-08 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
JP6219037B2 (ja) * 2013-02-06 2017-10-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20140232634A1 (en) * 2013-02-19 2014-08-21 Apple Inc. Touch-based gestures modified by gyroscope and accelerometer
JP6188377B2 (ja) * 2013-03-29 2017-08-30 キヤノン株式会社 表示制御装置、その制御方法、および制御プログラム
CN103502922A (zh) * 2013-05-20 2014-01-08 华为终端有限公司 一种基于终端设备的屏幕调节方法及装置
US10216386B2 (en) 2013-06-28 2019-02-26 Rakuten, Inc. Display system, display method, and program
CN103677643A (zh) * 2013-12-20 2014-03-26 上海天奕达电子科技有限公司 一种基于悬浮触控的屏幕内容局部放大的方法和装置
EP3218832A1 (en) * 2014-11-11 2017-09-20 Fresenius Vial SAS Method for processing an input for controlling an infusion operation
WO2017064771A1 (ja) * 2015-10-14 2017-04-20 日立マクセル株式会社 入力端末装置および操作入力方法
JP6569546B2 (ja) * 2016-01-28 2019-09-04 富士通コネクテッドテクノロジーズ株式会社 表示装置、表示制御方法、および表示制御プログラム
CN107037955A (zh) * 2016-10-24 2017-08-11 阿里巴巴集团控股有限公司 一种显示图像信息的方法及装置
US11068155B1 (en) * 2016-12-30 2021-07-20 Dassault Systemes Solidworks Corporation User interface tool for a touchscreen device
US10984606B1 (en) * 2018-06-21 2021-04-20 Dassault Systemes Solidworks Corporation Graphical user interface tool for orienting computer-aided design model
US11061551B1 (en) * 2019-10-25 2021-07-13 Amazon Technologies, Inc. Techniques for providing passive scroll hints
US11694376B2 (en) * 2020-10-19 2023-07-04 Adobe Inc. Intuitive 3D transformations for 2D graphics

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JP4773671B2 (ja) 2002-07-24 2011-09-14 富士通セミコンダクター株式会社 ポインティングデバイスによる入力方法
CN100437446C (zh) * 2002-10-07 2008-11-26 米厄里戈有限公司 用于电子设备的光标
JP2004334642A (ja) 2003-05-09 2004-11-25 Matsushita Electric Ind Co Ltd 操作入力装置及び携帯電子機器
JP4667755B2 (ja) 2004-03-02 2011-04-13 任天堂株式会社 ゲーム装置およびゲームプログラム
JP2006067157A (ja) * 2004-08-26 2006-03-09 Sony Corp 情報処理装置および方法、並びにプログラム
US7692629B2 (en) 2006-12-07 2010-04-06 Microsoft Corporation Operating touch screen interfaces
JP2009009252A (ja) 2007-06-27 2009-01-15 Panasonic Corp タッチ式入力装置
US8009146B2 (en) * 2007-06-28 2011-08-30 Nokia Corporation Method, apparatus and computer program product for facilitating data entry via a touchscreen
JP2009116583A (ja) 2007-11-06 2009-05-28 Ricoh Co Ltd 入力制御装置および入力制御方法
JP5537044B2 (ja) * 2008-05-30 2014-07-02 キヤノン株式会社 画像表示装置及びその制御方法、コンピュータプログラム
JP5608165B2 (ja) 2008-09-12 2014-10-15 コーニンクレッカ フィリップス エヌ ヴェ 携帯用デバイスのグラフィカルユーザインタフェースにおけるナビゲーション
KR101504209B1 (ko) * 2008-10-16 2015-03-19 엘지전자 주식회사 터치센서가 장착된 입력장치를 구비한 이동단말기 및 그 제어방법
JP5280800B2 (ja) 2008-10-29 2013-09-04 京セラ株式会社 携帯機器、操作検出方法および操作検出プログラム
US8645871B2 (en) * 2008-11-21 2014-02-04 Microsoft Corporation Tiltable user interface
US8558803B2 (en) * 2008-11-28 2013-10-15 Samsung Electronics Co., Ltd. Input device for portable terminal and method thereof
JP4683126B2 (ja) 2008-12-26 2011-05-11 ブラザー工業株式会社 入力装置
JP2010181956A (ja) * 2009-02-03 2010-08-19 Ricoh Co Ltd 電子機器、画像記録再生装置及びヘルプ情報の表示制御方法
US8179449B2 (en) 2009-05-20 2012-05-15 Sony Ericsson Mobile Communications Ab Portable electronic apparatus including a display and method for controlling display content based on movement of the display and user position
JP5446624B2 (ja) 2009-09-07 2014-03-19 ソニー株式会社 情報表示装置、情報表示方法及びプログラム
JP5310419B2 (ja) 2009-09-11 2013-10-09 ヤマハ株式会社 最小電流検出回路
JP5304577B2 (ja) * 2009-09-30 2013-10-02 日本電気株式会社 携帯情報端末および表示制御方法
KR20110055137A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 터치 잠금 기능 운용 방법 및 이를 이용한 휴대 단말기
JP5081952B2 (ja) * 2010-06-16 2012-11-28 株式会社コナミデジタルエンタテインメント 項目選択装置、項目選択方法、ならびに、プログラム
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content

Also Published As

Publication number Publication date
US9323351B2 (en) 2016-04-26
EP2500797B1 (en) 2019-05-08
CN102736842A (zh) 2012-10-17
EP2500797A1 (en) 2012-09-19
CN203250304U (zh) 2013-10-23
US20120326994A1 (en) 2012-12-27
JP2012194842A (ja) 2012-10-11

Similar Documents

Publication Publication Date Title
JP5703873B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102097496B1 (ko) 폴더블 이동 단말기 및 그 제어 방법
JP5970086B2 (ja) タッチスクリーンホバリング入力処理
JP6159078B2 (ja) 装置、方法、及びプログラム
JP5742187B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR102304178B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US9665177B2 (en) User interfaces and associated methods
US10198163B2 (en) Electronic device and controlling method and program therefor
US20120030628A1 (en) Touch-sensitive device and touch-based folder control method thereof
US20110157027A1 (en) Method and Apparatus for Performing an Operation on a User Interface Object
US20090096749A1 (en) Portable device input technique
KR20170062954A (ko) 사용자 단말장치 및 디스플레이 방법
CN110716687B (zh) 在便携设备上显示画面的方法和装置
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
WO2009084809A1 (en) Apparatus and method for controlling screen by using touch screen
US9569099B2 (en) Method and apparatus for displaying keypad in terminal having touch screen
JP2012141868A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20120284668A1 (en) Systems and methods for interface management
JP2012141869A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013114640A (ja) 情報処理装置、情報処理方法およびプログラム
US20140168098A1 (en) Apparatus and associated methods
KR102381051B1 (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
JP5628991B2 (ja) 表示装置、表示方法、及び表示プログラム
JP7244231B2 (ja) 電子機器、制御プログラム及び表示制御方法
KR20130031394A (ko) 터치스크린 출력화면 조정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150209

R151 Written notification of patent or utility model registration

Ref document number: 5703873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees