JP5471137B2 - Display device, a display method, and program - Google Patents

Display device, a display method, and program Download PDF

Info

Publication number
JP5471137B2
JP5471137B2 JP2009182581A JP2009182581A JP5471137B2 JP 5471137 B2 JP5471137 B2 JP 5471137B2 JP 2009182581 A JP2009182581 A JP 2009182581A JP 2009182581 A JP2009182581 A JP 2009182581A JP 5471137 B2 JP5471137 B2 JP 5471137B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
state
display
operation
operation command
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009182581A
Other languages
Japanese (ja)
Other versions
JP2011034502A (en )
Inventor
悠介 宮沢
文規 本間
辰志 梨子田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control and interface arrangements for touch screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 -G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Description

本発明は、表示装置、表示方法及びプログラムに関する。 The present invention relates to a display device, a display method and a program. より詳しくは、本発明は、表示画面においてユーザが行う操作をデバイスにより検出し、これに応じて表示画面の表示を制御する表示装置、表示方法及びプログラムに関する。 More particularly, the present invention detects the device an operation performed by the user on the display screen, the display device for controlling the display of the display screen accordingly, a display method and a program.

近年、透過型タッチパネルを搭載するモバイルデバイスが増加している。 Recently, mobile devices equipped with the transmission type touch panel has increased. このようなデバイスの多くは、できる限り大きなディスプレイを搭載し、そのディスプレイに設けられたタッチパネルによる直観的な操作が可能なようにユーザインターフェースの技術も重要視されている。 Many such devices, a large display and mounting are important also user interface techniques to allow intuitive operation by a touch panel provided on the display as possible. しかしながら、ディスプレイに表示されたボタンをユーザの指で操作する場合、操作ミスを減らすためにボタンを一定の大きさ以上に表する必要がある。 However, when operating the buttons displayed on the display at the user's finger, it is necessary to represent the button to reduce operational errors above a certain size. このため、ディスプレイのサイズに自ずと限界があるモバイルデバイスでは、多くのGUI(Graphical User Interface)ボタンを表示することは難しい。 Therefore, in the mobile device there is a natural limit to the size of the display, it is difficult to display many of GUI (Graphical User Interface) button.

これに対して、指の接触位置及び圧力を検出できるデバイスを用いることにより、ユーザが一つのボタンを押した場合であっても、その押下力に応じて異なる複数のコマンドを割り振る技術が提案されている(たとえば、特許文献1参照。)。 In contrast, by using a device capable of detecting a contact position and pressure of the finger, even when the user presses one button, techniques for allocating a plurality of commands which vary depending on the pressing force is proposed and it is (for example, see Patent Document 1.). この技術では、操作のバリエーションが拡がる可能性がある。 In this technique, there is a possibility that the variations of the operation spreads.

また、指の接近を感知すると、ユーザが操作対象としているボタンがハイライト表示される技術も提案されている(たとえば、特許文献2参照。)。 Further, upon sensing the approach of the finger, the user is the button that the operation target has been proposed technique is highlighted (e.g., see Patent Document 2.). この技術では、ユーザがどのボタンを押そうとしているのかを確認できるため、誤操作が軽減される可能性がある。 In this technique, since it can be confirmed whether trying to push which button the user, there is a possibility that erroneous operation is reduced.

特開2006−251927号公報 JP 2006-251927 JP 特開2009−75656号公報 JP 2009-75656 JP

しかし、特許文献1では、ユーザがボタンを押す際、自ら圧力を調節しなければならず、ユーザにとって操作負荷が高い。 However, in Patent Document 1, when the user presses the button, it is necessary to adjust themselves pressure, high operation load for the user. また、押下力を感知する必要があるためデバイスの構造が複雑になる。 Also, it becomes complicated structure of the device because it is necessary to sense the pressing force.

また、特許文献2では、近接状態と接触状態とで異なるインタラクションを付加することにより異なる表示制御を可能することができるが、近接状態と接触状態とを明確に区別してユーザが画面操作をすることは難しく、操作ミスが増える可能性がある。 In Patent Document 2, can be capable of different display control by adding different interactions between the contact with the proximity state, the user to the screen operation clearly distinguish between contact with the proximity state is difficult, there is a possibility that the operation error is increased. また、この技術をモバイルデバイスに応用しようとすると、前述のようにモバイルデバイスではディスプレイのサイズに限りがあるため、これに応じてGUIボタンのサイズ等も小さくしなければならない。 Also, when you try to apply this technique to a mobile device, due to the limited size of the display on mobile devices, as described above, it must be smaller size and the like of the GUI button accordingly. これに加えてノイズも大きいため、近接状態の検知及び接触状態の検知を同一ボタンに対する異なるインタラクションのトリガとすることは難しい。 Since the noise is large in addition to this, it is difficult to trigger the different interactions for the same button sensing and detection of the contact state of the proximity state.

上記問題に鑑み、本発明は、表示画面においてユーザが行う操作に対して画面への接触及び非接触の判別に加え、ユーザが行う操作の状態変化に応じて表示画面の表示を変える表示装置、表示方法及びプログラムを提供する。 In view of the above problems, the present invention is, in addition to contact and determine the non-contact to the screen with respect to the operation performed by the user on the display screen, the display device for changing the display of the display screen in response to changes in the status of operations performed by the user, to provide a display method and a program.

上記課題を解決するために、本発明のある態様によれば、表示画面と、前記表示画面においてユーザが行う操作を検出するデバイスと、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する状態判別部と、前記状態判別部により判別された状態に従い、ユーザが行う操作の状態変化を識別する状態変化識別部と、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記状態変化識別部により識別された状態変化に応じて操作コマンドを設定する操作コマンド設定部と、を有する表示装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, the display screen and a device for detecting an operation performed by a user in the display screen, to the display screen based on the operation of the user detected by the device the contact state, and a state determination unit that determines which of the states of the proximity and far conditions, depending on the state discriminated by the state determination section, the state change identification unit for identifying a change in the state of operation performed by the user, the user when setting the operation command for controlling display of the display screen relative went manipulation, and a manipulation command setting unit that sets an operation command in accordance with the state change identified by the state change identification unit display having is provided.

これによれば、ユーザが行った操作に対して表示画面の表示を制御するための操作コマンドを設定する際、前記状態変化識別部により識別された状態変化に応じて操作コマンドが設定される。 According to this, when setting the operation command for controlling display of the display screen on the operation performed by the user, the operation command in response to changes in the status which is identified by the state change identification unit is set. これにより、画面操作のバリエーションを増やしたり、操作性を向上させたりすることができる。 Thus, increased or variations of screen operation, or can improve the operability.

前記操作コマンド設定部により設定された操作コマンドに従い前記表示画面の表示を変える画面制御部を更に有していてもよい。 It may further have a screen control unit for changing the display of the display screen in accordance with operation commands set by the operation command setting unit.

前記状態変化識別部は、前記状態判別部の判別結果に基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別し、前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定してもよい。 The state change identification unit, based on said state determination unit of the discrimination result, the display operation performed by the user contact on the screen to identify whether it has changed state to any of any of the proximity and far conditions, the operation command setting unit may set a different operation command in response to changes in the status which is identified by the state change identification unit.

前記状態判別部による前回の判別結果を記憶する記憶部を更に有し、前記状態変化識別部は、前記記憶部に記憶された前回の判別結果と前記状態判別部による今回の判別結果とに基づき、前記表示画面に対する接触状態から遠方状態への状態変化又は前記表示画面に対する接触状態から近接状態への状態変化を識別し、前記操作コマンド設定部は、前記状態変化識別部により識別された状態変化に応じて異なる操作コマンドを設定してもよい。 Further comprising a storage unit for storing a previous determination result by the state determination section, the state change identification unit, based on the current discrimination result and the previous determination result stored in the storage unit by the state determination unit , to identify the state change from the contact state to a close state for the state change or the display screen from the contact state to the distant state of the display screen, the operation command setting unit, a state change identified by the state change identification unit it may be set to different operation command in response to.

前記状態変化識別部により識別された状態変化が接触状態から遠方状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を前記画面制御部に促してもよい。 If the state change identified by the state change identification unit is in the state change from the contact state to the distant state, the operation command setting unit may prompt the execution of the operation command set in the screen control unit.

前記状態変化識別部により識別された状態変化が接触状態から近接状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を見合わせるように前記画面制御部に促してもよい。 If the state change identified by the state change identification unit is in a state change to a close state from the contact state, the operation command setting unit, urging the screen control unit to forgo the execution of operation command set it may be.

上記課題を解決するために、本発明の他の態様によれば、示画面においてユーザが行う操作をデバイスに検出させるステップと、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、前記判別された状態に従い、ユーザが行う操作の状態変化を識別するステップと、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定するステップと、を含む表示方法が提供される。 In order to solve the above problems, according to another aspect of the present invention, the contact of the step of detecting an operation performed by a user in 示画 surface to the device, to the display screen based on the operation of the user detected by the device state, comprising the steps of: determining whether any of the states of the proximity and far conditions, in accordance with the determined state, and identifying a change in the state of operation performed by the user, the display screen on the operation performed by the user when setting the operation command for controlling display, a display method comprising the steps of setting the operation command in response to the identified state change is provided.

上記課題を解決するために、本発明の他の態様によれば、表示画面においてユーザが行う操作をデバイスに検出させる処理と、前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、前記判別された状態に従い、ユーザが行う操作の状態変化を識別する処理と、ユーザが行った操作に対して前記表示画面の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定する処理と、をコンピュータに実行させるプログラムが提供される。 In order to solve the above problems, according to another aspect of the present invention, the contact of the processing for detecting a device an operation performed by the user on the display screen, to the display screen based on the operation of the user detected by the device state, a process of determining whether any of the states of the proximity and far conditions, in accordance with the determined state, and the process for identifying a change in the state of operation performed by the user, the display screen on the operation performed by the user when setting the operation command for controlling the display, the program to be executed and a process of setting the operation command in response to the identified state change to the computer is provided.

以上説明したように本発明によれば、表示画面においてユーザが行う操作に対して画面への接触及び非接触の判別に加え、ユーザが行う操作の状態変化に応じて表示画面の表示を変えることができる。 According to the present invention described above, in addition to contact and determine the non-contact to the screen with respect to the operation performed by the user on the display screen, changing the display of the display screen in response to changes in the status of operations performed by the user can.

本発明の第1及び第2実施形態に係るモバイル機器を示した図である。 It is a diagram illustrating a mobile device according to the first and second embodiments of the present invention. 第1及び第2実施形態に係るモバイル機器による指の状態検出を説明するための図である。 It is a diagram for explaining a state detection of the finger by the mobile device according to the first and second embodiments. 第1及び第2実施形態に係るモバイル機器の機能構成図である。 It is a functional block diagram of a mobile device according to the first and second embodiments. 第1実施形態に係るモバイル機器にて実行される操作コマンド判定処理(メインルーチン)を示したフローチャートである。 It is the operation command determination process executed in the mobile device according to the first embodiment is a flowchart showing a (main routine). 第1実施形態に係るモバイル機器にて実行される状態識別処理(サブルーチン)を示したフローチャートである。 Is a flowchart showing a state identification process (subroutine) performed at the mobile device according to the first embodiment. 図4の操作コマンド判定処理にて判定されたシングルタップと指の状態変化との関係を説明するための図である。 It is a diagram for explaining a relationship between the determined single tap and finger state change of at operation command determination process of FIG. 図4の操作コマンド判定処理にて判定されたダブルタップと指の状態変化との関係を説明するための図である。 It is a diagram for explaining a relationship between the determined double tap and state changes of the finger on the operation command determination process of FIG. 第1実施形態に係るモバイル機器にて割り当てられる他の操作コマンドを説明するための図である。 Is a diagram for describing another operation command assigned by the mobile device according to the first embodiment. 第2実施形態に係るモバイル機器にて実行される操作コマンド判定処理(メインルーチン)を示したフローチャートである。 It is the operation command determination process executed in the mobile device according to the second embodiment is a flowchart showing a (main routine). 図9の操作コマンド判定処理にて判定されたドラッグ・アンド・ドロップと指の状態変化との関係を説明するための図である。 It is a diagram for explaining a relationship between a state change of the operation command determination process at the determined drag-and-drop and a finger of FIG. 変形例に係るモバイル機器の一例を示した図である。 Is a diagram showing an example of a mobile device according to a modification.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。 Reference will now be described in detail preferred embodiments of the present invention. なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 In the specification and the drawings, components having substantially the same function and structure are a repeated explanation thereof by referring to the figures.

なお、以下で説明する本発明の各実施形態に係る表示装置が適用されるモバイル機器は、主に携帯電話、携帯音楽プレーヤ、携帯情報端末(PDA:Personal Digital Assistant)等の携帯型端末であることが好ましい。 Incidentally, the mobile device display apparatus is applied according to each embodiment of the present invention described below, mainly cellular phones, portable music players, personal digital assistants: is (PDA Personal Digital Assistant) portable terminals such as it is preferable. ただし、本発明に係る表示装置は、ノート型PC(Personal Computer)や据え置き型のPC等の情報処理装置に用いることもできる。 However, the display device according to the present invention can also be used in a notebook PC (Personal Computer) or stationary information processing apparatus such as a PC.

以下では次の順序で説明する。 The following description in the following order.
<第1実施形態> <First Embodiment>
[1−1. [1-1. モバイル機器のハードウエア構成] Hardware Configuration of Mobile Device]
[1−2. [1-2. モバイル機器の機能構成] Functional Configuration of Mobile Device]
[1−3. [1-3. モバイル機器の動作:操作コマンド判定処理] Operation of Mobile Device: Operation command determination process]
(シングルタップ又はダブルタップの割り当て) (Allocation of a single tap or double tap)
(タップ又はウィークタップの割り当て) (Allocation of tap or Week tap)
<第2実施形態> <Second Embodiment>
[2−1. [2-1. モバイル機器の機能構成] Functional Configuration of Mobile Device]
[2−2. [2-2. モバイル機器の動作:操作コマンド判定処理] Operation of Mobile Device: Operation command determination process]
(ドラッグ・アンド・ドロップの実行と実行見合わせ) (Drag-and-drop of executions postponed)
<変形例> <Modification>

<第1実施形態> <First Embodiment>
[1−1. [1-1. モバイル機器のハードウエア構成] Hardware Configuration of Mobile Device]
まず、第1実施形態に係るモバイル機器のハードウエア構成について、図1を参照しながら説明する。 First, the hardware configuration of the mobile device according to the first embodiment will be described with reference to FIG. 本実施形態に係るモバイル機器10は、ディスプレイ12上にユーザの指の位置を検出できるセンサを搭載した透過型のタッチパネルを有するデバイスである。 Mobile device 10 according to the present embodiment is a device having a transmission type of a touch panel equipped with a sensor capable of detecting the position of the user's finger on the display 12. モバイル機器10は、図示しないネットワークを介して様々なコンテンツを受信し、ディスプレイ12に表示することができる。 Mobile device 10 can receive various contents via a network, not shown, is displayed on the display 12.

ディスプレイ12としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機エレクトロルミネッセンスディスプレイ(有機EL、OELD:Organic Electroluminescence Display)等を用いることができる。 The display 12, for example, a liquid crystal display (LCD: Liquid Crystal Display), an organic electroluminescence display (organic EL, OELD: Organic Electroluminescence Display) or the like can be used.

ディスプレイ12にはタッチパネル14が設けられている。 The touch panel 14 is provided on the display 12. タッチパネル14は、ディスプレイ12上に表示された各種のGUIボタン16に対してユーザが行った画面操作を検出する。 The touch panel 14 detects a screen operation performed by the user for various GUI button 16 displayed on the display 12. タッチパネル14は、ディスプレイ12に対してx方向及びy方向の指の位置を検出するとともに、Z方向の指の状態を検出する。 The touch panel 14 detects a position of the finger in the x and y directions relative to the display 12, for detecting the state of the Z direction of the finger. 図2に示したように、タッチパネル14は、ディスプレイ12上の指の接触状態及び近接状態を透過型で計測できるようになっている。 As shown in FIG. 2, the touch panel 14 is enabled to measure the contact state and proximity state of the finger on the display 12 by a transmission.

たとえば、指からディスプレイ12の表面までの距離Tが予め定められた閾値Thより大きい場合、タッチパネル14は何も検知しない。 For example, if greater than the threshold Th distance T is predetermined from the finger to the surface of the display 12, the touch panel 14 does not detect anything. このとき、指はディスプレイ12に対して遠方状態にあると判別される。 At this time, the finger is determined to be in the distant state with respect to the display 12.

また、指からディスプレイ12の表面までの距離Tが予め定められた閾値Thより小さく、距離Tが0でない場合、タッチパネル14は指が近接領域に存在すると検出する。 Also, smaller than the threshold Th distance T is predetermined from the finger to the surface of the display 12, if the distance T is not zero, the touch panel 14 detects a finger is present in the proximity area. このとき、指はディスプレイ12に対して近接状態にあると判別される。 At this time, the finger is determined to be in proximity to the display 12.

また、指からディスプレイ12の表面までの距離Tが0である場合、タッチパネル14は指がディスプレイ12に接触していると検出する。 Further, when the distance T from the finger to the surface of the display 12 is zero, the touch panel 14 detects that the finger is in touch with the display 12. このとき、指はディスプレイ12に対して接触状態にあると判別される。 At this time, the finger is determined to be in contact with respect to the display 12.

なお、本実施形態で搭載されるタッチパネル14及び次に説明する第2実施形態や変形例で搭載されるタッチパネルは、透過型であれば、静電式であってもよく光学式であってもよい。 The touch panel which is mounted in the second embodiment and modifications described touch panel 14 and the following are mounted in this embodiment, if a transmission type, even better optical be electrostatic good. また、タッチパネル14は、ディスプレイ12に設けられ、ディスプレイ12においてユーザが行った画面操作を検出するデバイスに相当する。 The touch panel 14 is provided on the display 12, which corresponds to a device that detects a screen operation performed by the user on the display 12.

モバイル機器10には、図1に示したCPU32、RAM34、不揮発性メモリ36を有するマイクロプロセッサ30が埋め込まれている。 The mobile device 10, CPU 32 shown in FIG. 1, RAM 34, a microprocessor 30 having a non-volatile memory 36 is embedded. 各種メモリには、タッチパネル14により検出された画面操作に関する情報が一時的に記憶される。 The various memories, information related to the detected screen operation by the touch panel 14 is temporarily stored. CPU32は、後述する操作コマンド判定処理を制御する。 CPU32 controls the operation command determination process to be described later. なお、以下のハードウエア構成は、モバイル機器に搭載された表示装置のハードウエア構成ということもできる。 Incidentally, the hardware structure of the following may also be referred to as a hardware configuration of the onboard display device in a mobile device.

[1−2. [1-2. モバイル機器の機能構成] Functional Configuration of Mobile Device]
第1実施形態に係るモバイル機器10は、図3に示した機能ブロックにより示される機能構成を有している。 The mobile device 10 according to the first embodiment has a functional configuration shown by the functional blocks shown in FIG. すなわち、本実施形態に係るモバイル機器10は、状態判別部20、記憶部22、状態変化識別部24、操作コマンド設定部26及び画面制御部28を有している。 That is, the mobile device 10 according to this embodiment, the state determination unit 20, a storage unit 22, and a state change identification unit 24, an operation command setting section 26 and a screen control unit 28.

状態判別部20は、タッチパネル14により検出されたユーザの操作に基づき、指の操作状態がディスプレイ12への接触状態、近接状態及び遠方状態のいずれの状態かを判別する。 State determination unit 20, based on the operation of the user detected by the touch panel 14, the finger of the operation state to determine which state of the contact, proximity and distant state of the display 12.

記憶部22は、状態判別部20による判別結果を記憶する。 Storage unit 22 stores the discrimination result by the state determination unit 20. 具体的には、記憶部22は、毎回の判別結果が接触状態、近接状態及び遠方状態のいずれの状態であるかを記憶する。 Specifically, the storage unit 22, each determination result is stored which one of the states of contact state, proximity and far conditions. 以下の説明では、前回のユーザの操作状態をP(t−1)で示し、今回のユーザの操作状態をP(t)で示す。 In the following description, the operation state of the previous user indicated by P (t-1), indicating the operation state of the current user in P (t).

状態変化識別部24は、状態判別部20により判別された状態に従い、ユーザが行う操作の状態変化を識別する。 State change identification unit 24, in accordance with the state of being determined by the state determination unit 20 identifies the state change of the operation performed by the user. 具体的には、状態変化識別部24は、状態判別部20の判別結果に基づき、ディスプレイ12においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別する。 Specifically, the state change identification unit 24, based on the determination result of the state determination unit 20, the operation performed by the user in the display 12 is in contact state, either to or changed status from any of the proximity and far conditions identify. 状態変化識別部24は、記憶部22に記憶された前回の判別結果と状態判別部20による今回の判別結果とに基づき、ディスプレイ12に対する接触状態から遠方状態への状態変化又はディスプレイ12に対する接触状態から近接状態への状態変化を識別する。 State change identification unit 24, based on the current discrimination result from the previous determination result stored in the storage unit 22 and the state determination unit 20, the contact state for a state change or display 12 from contact with respect to the display 12 on its far state identifying a state change to a close state from.

操作コマンド設定部26は、ユーザが行った操作に対してディスプレイ12の表示を制御するための操作コマンドを設定する。 Operation command setting unit 26 sets the operation command for controlling display of the display 12 with respect to the operation performed by the user. その際、操作コマンド設定部26は、状態変化識別部24により識別された状態変化に応じて操作コマンドを設定する。 At that time, the operation command setting unit 26 sets the operation command in response to changes in the status which is identified by the state change identification unit 24.

画面制御部28は、操作コマンド設定部26により設定された操作コマンドに従い、状態変化識別部24により識別された状態変化に応じてディスプレイ12の表示を変える。 Screen control unit 28 in accordance with the set operation command by the operation command setting unit 26 changes the display of the display 12 in accordance with a change in the state identified by the state change identification unit 24.

以上に説明した、モバイル機器10の各機能構成部への指令は、専用の制御デバイスあるいはプログラムを実行するCPU32により実行される。 Described above, a command to the functional components of the mobile device 10 is executed by the CPU32 to perform dedicated control device or program. 次に説明する操作コマンド判定処理を実行するためのプログラムは、RAM34や不揮発性メモリ36に予め記憶されている。 Program for executing the operation command determination process described below is stored in advance in the RAM34 and the non-volatile memory 36. CPU32は、これらのメモリから各プログラムを読み出し実行することにより、状態判別部20、記憶部22、状態変化識別部24、操作コマンド設定部26及び画面制御部28の各機能を実行する。 CPU32 is by reading and executing the program from the memories, the state determination unit 20, a storage unit 22, state change identification unit 24, to perform the functions of the operation command setting section 26 and a screen control unit 28.

[1−3. [1-3. モバイル機器の動作] The operation of mobile equipment]
次に、本実施形態に係るモバイル機器10の操作コマンド判定処理について図4を参照しながら説明する。 Next, the operation command determination process of the mobile device 10 according to the present embodiment with reference to FIG. 4 will be described. 図4は、本実施形態に係るモバイル機器10により実行される操作コマンド判定処理を示したフローチャートである。 Figure 4 is a flow chart showing an operation command determination process executed by the mobile device 10 according to the present embodiment. 以下の動作は、本実施形態に係るモバイル機器10に搭載された表示装置の動作ということもできる。 The following operation can also be referred to the operation of the onboard display device in the mobile device 10 according to the present embodiment.

ステップS400より、操作コマンド判定処理が開始されると、ステップS405にて状態判別部20は、状態判別処理のルーチン(図5)を実行する。 From step S400, when the operation command determination process is started, the state determination unit 20 at step S405 executes the routine of the state judgment processing (FIG. 5). 状態判別処理は、図5のステップS500から処理が開始される。 State judgment processing, the processing is started from step S500 in FIG. 状態判別部20は、ステップS505にてタッチパネル14により検出されたユーザの操作に基づき、ディスプレイ12に対してユーザの指が非接触状態であって近接状態にあるかを判別する。 State determination unit 20, based on the user operation detected by the touch panel 14 in step S505, it is determined whether the user's finger against the display 12 is in the proximity state to a non-contact state. 前述したように、ディスプレイ12から指までの距離Pが所与の閾値Thより大きい場合、指は図2の遠方状態であると判別される。 As described above, when the distance P from the display 12 until the finger is greater than a given threshold value Th, the finger is determined to be a distant state of FIG. この場合、ステップS510に進んで、状態判別部20は、今回の操作状態P(t)を遠方状態と判別し、ステップS595から図4のステップS410に戻る。 In this case, the process proceeds to step S510, the state determination unit 20, to determine the current operating state of P (t) and far state, returns from step S595 to step S410 of FIG.

一方、ステップS505でYESと判定されると、ステップS515に進み、状態判別部20は、指がディスプレイ12に接触した状態かを判別する。 On the other hand, when it is determined YES at step S505, the process proceeds to step S515, the state determination section 20, the finger is determined whether a state of being in contact with the display 12. 前述したように、ディスプレイ12から指までの距離Pが0に等しければ指の位置は図2の接触状態と判別される。 As described above, the position of the finger equal to the distance P 0 from the display 12 until the finger is determined that the contact state shown in FIG. この場合、ステップS520に進んで、状態判別部20は、今回の操作状態P(t)を接触状態と判別し、ステップS595から図4のステップS410に戻る。 In this case, the process proceeds to step S520, the state determination unit 20, the current operating state P (t) is determined that the contact state, returns from step S595 to step S410 of FIG.

一方、ステップS515でNOと判定されると、ステップS525に進み、状態判別部20は、今回の操作状態P(t)を近接状態と判別し、ステップS595から図4のステップS410に戻る。 On the other hand, when it is determined NO at step S515, the process proceeds to step S525, the state determination unit 20, the current operating state P (t) is determined to close state, the flow returns from step S595 to step S410 of FIG.

ステップS410では、記憶部22が、今回判別された操作状態P(t)を記憶する。 In step S410, the storage unit 22 stores the currently discriminated operational state P (t). 次に、ステップS415に進んで、状態変化識別部24は、指の状態が接触状態から近接状態に状態変化したかを識別する。 Then, the process proceeds to step S415, the state change identification unit 24 identifies whether the state of the finger is changed status to proximity state from the contact state. 具体的には、状態変化識別部24は、記憶部22に記憶されている前回判別された操作状態P(t−1)が接触状態で、かつ今回判別された操作状態P(t)が近接状態であるかを判断する。 Specifically, the state change identification unit 24, the last discriminated operational state P stored in the storage unit 22 (t-1) is a contact state, and this time discriminated operational state P (t) is close to determine whether the state.

状態変化が接触状態→近接状態である場合、ステップS420に進んで再度、図5の状態判別処理を実行し、ステップS425に進む。 If the state change is a contact state → proximity state, again it proceeds to step S420, and executes the state determination process of FIG. 5, the flow proceeds to step S425. ステップS425にて、状態変化識別部24は、指の状態が近接状態から遠方状態に状態変化したかを識別する。 In step S425, the state change identification unit 24 identifies whether the state of the finger is changed status distant state from the proximity state. 具体的には、状態変化識別部24は、記憶部22に記憶されている前回判別された操作状態P(t−1)が近接状態で、かつ今回判別された操作状態P(t)が遠方状態であるかを判断する。 Specifically, the state change identification unit 24, the last discriminated operational state P stored in the storage unit 22 (t-1) is close state, and this time discriminated operational state P (t) is far to determine whether the state.

識別の結果、接触状態→近接状態(S415)に状態変化した後、更に近接状態→遠方状態(S425)に状態変化した場合、ステップS430に進む。 Result of the identification, after the state change in the contact state → proximity state (S415), when the state changes to further proximity state → distant state (S425), the process proceeds to step S430. 操作コマンド設定部26は、ステップS430にてシングルタップと判定し、シングルタップに予め割り当てられている画面操作の操作コマンドを設定する。 Operation command setting unit 26 determines that the single tap at step S430, sets the operation command screen operation that has been pre-assigned to a single tap.

識別の結果、接触状態→近接状態(S415)に状態変化した後、近接状態→遠方状態(S425)には状態変化しない場合、ステップS435に進む。 Result of the identification, after the state change in the contact state → proximity state (S415), if the proximity state → distant state (S425) is not a state change, the process proceeds to step S435. 操作コマンド設定部26は、ステップS435にてダブルタップと判定し、ダブルタップに予め割り当てられている画面操作の操作コマンドを設定する。 Operation command setting unit 26 determines that the double-tap at step S435, sets the operation command screen operation that has been pre-assigned to a double-tap.

なお、ステップS415にて、状態変化識別部24が接触状態から近接状態に状態変化していないと識別した場合、ステップS440に進んで、操作コマンド設定部26は、ディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Incidentally, in step S415, if the state change identification unit 24 has identified as not a state change in the proximity state from the contact state, the process proceeds to step S440, the operation command setting section 26, an operation command for changing the display of the display 12 to maintain the status quo of the state without setting.

(シングルタップ又はダブルタップの割り当て) (Allocation of a single tap or double tap)
以上に説明した操作コマンド判定処理の具体例として、図6及び図7を参照しながら状態変化の相違により操作コマンドとしてシングルタップ又はダブルタップを割り当てる例を説明する。 Specific examples of the operation command determination process described above, an example of assigning a single tap or double tap as an operation command by the difference in the state change by referring to FIGS.

(シングルタップ) (Single tap)
図6に示したように、ディスプレイ12に対する指の操作が遠方状態→近接状態→接触状態→近接状態→遠方状態・・・を複数回繰り返す場合、最初の状態変化(遠方状態→近接状態)では、状態変化識別部24は、ステップS415にてNOと判定しステップS440に進む。 As shown in FIG. 6, the case where the operation of the finger to the display 12 is repeated a plurality of times distant state → proximity state → contact → proximity state → distant state., The first state change (distant state → proximity state) , state change identification unit 24 proceeds to step S440 determination is NO at step S415. 操作コマンド設定部26は、ステップS440にてディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Operation command setting unit 26 maintains the state of the current without setting an operation command for changing the display of the display 12 at step S440.

図6に示した次の状態変化(近接状態→接触状態)でも、状態変化識別部24は、ステップS415にてNOと判定しステップS440に進む。 The next state change (proximity state → contact) But state change identification unit 24 shown in FIG. 6, the process proceeds to step S440 determination is NO at step S415. 操作コマンド設定部26は、ステップS440にてディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Operation command setting unit 26 maintains the state of the current without setting an operation command for changing the display of the display 12 at step S440.

図6に示した次の状態変化(接触状態→近接状態)では、状態変化識別部24は、ステップS415にてYESと判定し、ステップS420にて再度、図5の状態判別処理を実行する。 In the next state change (the contact state → proximity state) shown in FIG. 6, the state change identification unit 24 determines that YES in step S415, again at step S420, executes a state determination process of FIG. 図6に示した次の状態は遠方状態である。 The next state shown in FIG. 6 is a distant state. そこで、ステップS425にて、状態変化識別部24は、状態変化が近接状態→遠方状態であると識別し、ステップS430に進む。 Therefore, at step S425, the state change identification unit 24 identifies a state change is a near state → distant state, the process proceeds to step S430. 操作コマンド設定部26は、シングルタップと判定し、シングルタップに予め割り当てられている画面操作の操作コマンドを設定する。 Operation command setting unit 26 determines that the single-tap, sets the operation command screen operation that has been pre-assigned to a single tap. 複数回のシングルタップに対しては、以上の動作を繰り返すことにより、シングルタップに予め割り当てられている画面操作の操作コマンドを繰り返し設定する。 For multiple single-tap, by repeating the above operation, setting repeat command screen operation that has been pre-assigned to a single tap.

たとえば、図6のGUIボタン16に対してシングルタップに予め割り当てられた画面操作が次の楽曲選定である場合、操作コマンド設定部26は、次の楽曲を選定する操作コマンドを設定する。 For example, pre-assigned screen operation to a single tap with respect to the GUI button 16 in FIG. 6 may be the next music selection, operation command setting unit 26 sets an operation command to select the next music piece. 画面制御部28は、操作コマンド設定部26により設定された操作コマンドに従い、ディスプレイ12上に選定された次の楽曲名を表示する。 Screen control unit 28 in accordance with the set operation command by the operation command setting unit 26, and displays the next music title that was selected on the display 12. 複数回のシングルタップに対しては、以上の動作を繰り返すことにより、楽曲名が楽曲順に次々とディスプレイ12上に表示される。 For multiple single-tap, by repeating the above operation, the music name is displayed one after another the display 12 on the music order.

(ダブルタップ) (Double tap)
図7に示したように、ディスプレイ12に対する指の操作が遠方状態→近接状態→接触状態→近接状態→接触状態→近接状態→遠方状態・・・の場合、最初の状態変化(遠方状態→近接状態)では、状態変化識別部24は、ステップS415にてNOと判定しステップS440に進む。 As shown in FIG. 7, when the operation of the finger to the display 12 is in the distant state → proximity state → contact → proximity state → contact → proximity state → distant state., The first state change (distant state → close in state), a state change identification unit 24 proceeds to step S440 determination is NO at step S415. 操作コマンド設定部26は、ステップS440にてディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Operation command setting unit 26 maintains the state of the current without setting an operation command for changing the display of the display 12 at step S440.

図7に示した次の状態変化(近接状態→接触状態)でも、状態変化識別部24は、ステップS415にてNOと判定しステップS440に進む。 The next state change (proximity state → contact) But state change identification unit 24 shown in FIG. 7, the flow proceeds to step S440 determination is NO at step S415. 操作コマンド設定部26は、ステップS440にてディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Operation command setting unit 26 maintains the state of the current without setting an operation command for changing the display of the display 12 at step S440.

図7に示した次の状態変化(接触状態→近接状態)では、状態変化識別部24は、ステップS415にてYESと判定し、再度、図5の状態判別処理を実行する。 In the next state change (the contact state → proximity state) shown in FIG. 7, the state change identification unit 24 determines that YES in step S415, again executes the state determination process of FIG. 図7に示した次の状態は接触状態である。 The next state shown in FIG. 7 is a contact. そこで、ステップS425にて、状態変化識別部24は、状態変化が近接状態→接触状態であると識別し、ステップS435に進む。 Therefore, at step S425, the state change identification unit 24 identifies a state change is a near state → contact, the process proceeds to step S435. 操作コマンド設定部26は、ダブルタップと判定し、ダブルタップに予め割り当てられている画面操作の操作コマンドを設定する。 Operation command setting unit 26 determines that the double-tap, sets an operation command screen operation that has been pre-assigned to a double-tap.

たとえば、図7のGUIボタン16に対してダブルタップに予め割り当てられた画面操作が次のアルバム選定である場合、操作コマンド設定部26は、次のアルバムを選定する操作コマンドを設定する。 For example, pre-assigned screen operation to a double-tap relative GUI button 16 in FIG. 7 be a next album selection, operation command setting unit 26 sets an operation command to select the next album. 画面制御部28は、操作コマンド設定部26により設定された操作コマンドに従い、ディスプレイ12上に選定された次のアルバム名を表示する。 Screen control unit 28 in accordance with the operation command setting section 26 set operation command by, displaying the next album name selected on the display 12.

なお、画面制御部28は、GUIボタン16を一度押すと、図7に示したように、指が近接領域を出るまでGUIボタン16の表情が変わるように画面を制御してもよい。 Incidentally, the screen control section 28, and press the GUI button 16 once, as shown in FIG. 7, may be controlled screen so fingers expression of GUI buttons 16 is changed until it exits the proximal region. たとえば、画面制御部28は、指がダブルタップの操作中、GUIボタン16の色を赤等の目立つ色に変えてもよい。 For example, the screen control unit 28, in the fingers of a double-tap operation, the color of the GUI button 16 may be changed to a conspicuous color such as red.

以上に説明したように、本実施形態に係るモバイル機器10によれば、タッチパネル14により検出された接触状態に従い表示画面の表示を制御する際、近接状態から次に遷移する状態変化に応じて設定する操作コマンドを変えることができる。 As described above, according to the mobile device 10 according to the present embodiment, when controlling the display of the display screen in accordance with the contact condition detected by the touch panel 14, set in accordance with the state change to the next transition from proximity it is possible to change the operation command to be. その結果、設定された操作コマンドに従い、状態変化に応じてディスプレイ12上の表示を変えることができる。 As a result, it is possible to vary in accordance with the set operation command, the display on the display 12 in response to a state change. これにより、ユーザにとって負荷の高い操作を減らして操作性を向上させながら、たとえば一つのGUIボタンに複数の操作コマンドを与える等、画面操作のバリエーションを増やすことができる。 Thus, while improving the operability by reducing the high operating load for the user, for example, such as providing a plurality of operation commands to one GUI button, it is possible to increase the variations of screen operation.

また、本実施形態に係るモバイル機器10によれば、高速操作が可能なユーザインターフェースを提供することができる。 Further, according to the mobile device 10 according to the present embodiment, it is possible to provide a user interface capable of high-speed operation. たとえば、従来のダブルタップは、時間方向の接触状態の変化を見ることで識別されていた。 For example, conventional double-tap has been identified by looking at the change in the time direction of the contact state. そのため、識別には一定の時間を要し、かつシングルタップを短い時間で複数回入力することはできなかった。 Therefore, the identification takes a certain time, and it was not possible to enter more than once single tap in a short time. しかしながら、本実施形態に係るモバイル機器10によれば、状態変化だけでダブルタップを識別するため、ダブルタップの識別に時間のファクターを必要としない。 However, according to the mobile device 10 according to the present embodiment, for identifying a double tap only state change does not require the factor of time to identify the double tap. これにより、本実施形態では、従来のように識別のために必ず一定の時間を要することはなく、ダブルタップ及びシングルタップを短い時間で高速入力することができる。 Thus, in this embodiment, not be necessarily for identification as in the prior art takes a certain time, it is possible to high-speed input double-tap and single tap short time.

(タップ又はウィークタップの割り当て) (Allocation of tap or Week tap)
画面操作のバリエーションを増やす他の例として、図8を参照しながら状態変化の相違により操作コマンドとしてタップ又はウィークタップを割り当てる例を説明する。 Other examples of increasing the variations of screen operations, an example of assigning a tap or weak tapping as an operation command by the difference in the state change with reference to FIG.

(タップ) (Tap)
この例では、図4の操作コマンド判定処理のステップS405〜ステップS425を実行してステップS430に進むと、操作コマンド設定部26は、ユーザの画面操作を通常のタップと判定する。 In this example determines, it proceeds to step S430 to execute the steps S405~ step S425 of the operation command determination process of FIG. 4, the operation command setting section 26, a screen operation of the user with normal tap. 操作コマンド設定部26は、タップに応じた操作コマンドとしてページ単位でのスクロールを設定する。 Operation command setting unit 26 sets the scroll page by page as an operation command corresponding to the tap. 画面制御部28は、設定された操作コマンドに応じて図8の右下に示したように、指のタップ操作に対応した画面のページ単位でのスクロールを実行する。 Screen control unit 28, as shown in the bottom right of Figure 8 according to the operation command configured to perform scrolling by page screen corresponding to the tap operation of the finger.

(ウィークタップ) (Week tap)
一方、図4の操作コマンド判定処理のステップS405〜ステップS425を実行してステップS435に進むと、操作コマンド設定部26は、ユーザの画面操作をウィークタップと判定する。 On the other hand, it is determined if the process proceeds to step S435 to execute the steps S405~ step S425 of the operation command determination process of FIG. 4, the operation command setting section 26, a weak tapping the screen operation of the user. 操作コマンド設定部26は、ウィークタップに応じた操作コマンドとして行単位でのスクロールを設定する。 Operation command setting unit 26 sets the scroll line by line as an operation command corresponding to the weak tap. 画面制御部28は、設定された操作コマンドに応じて図8の左下に示したように、指のウィークタップ操作に対応した画面の行単位でのスクロールを実行する。 Screen control unit 28, as shown in the lower left of FIG. 8 according to the operation command configured to perform a scroll line by line on the screen corresponding to the weak tapping finger operation. これにより、ユーザは大まかな位置合わせをタップで行い、細かな調整をウィークタップで行うことができる。 Accordingly, the user performs tap a rough alignment, it is possible to perform fine adjustment Week tap.

なお、本実施形態では、タップした座標は接触状態でのみ定義されるため、近接状態での位置の誤差はここでは問題にならない。 In the present embodiment, since the coordinates tap is defined only in contact with, the error of the position in the proximity state not here a problem. また、多段階で近接状態を計測できるデバイスでは、2種類より多くのタップを定義することも可能である。 Further, the device can measure the proximity state in multiple stages, it is also possible to define a number of taps than two.

以上のように、本実施形態に係るモバイル機器10によれば、状態変化識別部24は、ディスプレイ12に対する接触状態から遠方状態への状態変化(接触状態から近接状態を経て遠方状態に遷移)又はディスプレイ12に対する接触状態から近接状態への状態変化(接触状態から近接状態まで遷移し、近接状態から遠方状態へは遷移しない)を識別する。 As described above, according to the mobile device 10 according to the present embodiment, the state change identification unit 24, (transition distant state from the contact state through the proximity state) state change from the contact state to the display 12 to the distant state or identifying the state change from the contact state to the display 12 to a close state (transition from the contact state to the proximity state, no transition to distant state from the proximity state). そして、操作コマンド設定部26は、状態変化識別部24により識別された状態変化に応じて異なる操作コマンドを設定する。 Then, the operation command setting unit 26 sets a different operation command in response to changes in the status which is identified by the state change identification unit 24. このように、本実施形態では、接触状態及び近接状態に別々に操作コマンドを割り当てるのではなく、接触状態後の状態変化に応じて別々に操作コマンドを割り当てる。 Thus, in the present embodiment, instead of assigning a separate operation command in contact and proximity state, assigns the operation command separately according to the state change after contact. よって、接触状態及び近接状態を区別してユーザが画面操作をする際の操作の難しさと操作ミスの発生を回避して、ユーザの操作性を向上させながら、画面操作のバリエーションを増やすことができる。 Therefore, to avoid the occurrence of difficulty and faulty handling operations when the user performs a screen operation by distinguishing a contact state and proximity state, while improving the operability of the user, it is possible to increase the variations of screen operation.

<第2実施形態> <Second Embodiment>
次に、第2実施形態に係るモバイル機器10について説明する。 Next, a description will be given mobile device 10 according to the second embodiment. 本実施形態に係るモバイル機器10のハードウエア構成は第1実施形態に係るモバイル機器10と同様であるためここでは説明を省略する。 Hardware configuration of mobile apparatus 10 according to this embodiment will be omitted here because it is similar to the mobile device 10 according to the first embodiment.

[2−1. [2-1. モバイル機器の機能構成] Functional Configuration of Mobile Device]
第2実施形態に係るモバイル機器10は、図3に示した機能ブロックにより示される機能構成を有している。 The mobile device 10 according to the second embodiment has a functional configuration shown by the functional blocks shown in FIG. すなわち、本実施形態に係るモバイル機器10は、第1実施形態と同様に状態判別部20、記憶部22、状態変化識別部24、操作コマンド設定部26及び画面制御部28を有している。 That is, the mobile device 10 according to the present embodiment includes a first embodiment similarly to the state determination unit 20, a storage unit 22, state change identification unit 24, an operation command setting section 26 and a screen control unit 28. 状態判別部20、記憶部22及び状態変化識別部24の機能は第1実施形態の場合と同様であるためここでは説明を省略する。 Function of the state determination unit 20, a storage unit 22 and the state change identification unit 24 will be omitted here because it is the same as in the first embodiment. また、本実施形態においても、モバイル機器10の各機能は、CPU32が、RAM34や不揮発メモリ36から各プログラムを読み出して実行することにより実現される。 Also in the present embodiment, each function of the mobile device 10, CPU 32 is realized by reading and executing the programs from the RAM34 and the nonvolatile memory 36.

操作コマンド設定部26は、状態変化識別部24により識別された状態変化が接触状態から遠方状態への状態変化(接触状態から近接状態を経て遠方状態に遷移)である場合、設定された操作コマンドの実行を画面制御部28に促す。 Operation command setting section 26, when the state change identified by the state change identification unit 24 is a state change from the contact state to the distant state (transition to a distant state through the proximity state from the contact state), set operation command prompting of the execution to the screen control unit 28. 画面制御部28は、これに応じて、操作コマンドに従いディスプレイ12の表示を制御する。 Screen control unit 28, in response thereto, to control the display of the display 12 in accordance with operation commands.

操作コマンド設定部26は、状態変化識別部24により識別された状態変化が接触状態から近接状態への状態変化(接触状態から近接状態まで遷移し、近接状態から遠方状態へは遷移しない)である場合、設定された操作コマンドの実行を見合わせるように画面制御部28に促す。 Operation command setting section 26, (a transition from the contact state to the proximity state, no transition from the proximity state to a far state) state change of state change identified by the state change identification unit 24 to a close state from the contact state is If prompts the screen control unit 28 so as to withhold the execution of the operation command set. 画面制御部28は、これに応じて操作コマンドの実行を見合わせ、現在のディスプレイ12の表示状態を維持する。 Screen control unit 28, postponed the execution of the operation command in response thereto, to maintain the current display state of the display 12.

[2−2. [2-2. モバイル機器の動作:操作コマンド判定処理] Operation of Mobile Device: Operation command determination process]
次に、本実施形態に係るモバイル機器10の操作コマンド判定処理について図9を参照しながら説明する。 Next, the operation command determination process of the mobile device 10 according to the present embodiment with reference to FIG. 9 will be described. 図9は、本実施形態に係るモバイル機器10により実行される操作コマンド判定処理を示したフローチャートである。 Figure 9 is a flow chart showing an operation command determination process executed by the mobile device 10 according to the present embodiment. 以下では、ドラッグ・アンド・ドロップの実行とその実行を見合わせを例に挙げて操作コマンド判定処理を説明する。 The following describes the operation command determination process as an example postponed execution and the execution of the drag-and-drop. なお、以下の動作は、本実施形態に係るモバイル機器10に搭載された表示装置の動作ということもできる。 Note that the following operation can also be referred to the operation of the onboard display device in the mobile device 10 according to the present embodiment.

(ドラッグ・アンド・ドロップの実行と実行見合わせ) (Drag-and-drop of executions postponed)
ステップS900より、操作コマンド判定処理が開始されると、ステップS405にて状態判別部20は、状態判別処理のルーチン(図5)を実行する。 From step S900, when the operation command determination process is started, the state determination unit 20 at step S405 executes the routine of the state judgment processing (FIG. 5). 状態判別処理は、第1実施形態にて説明したのでここでは省略する。 State judgment processing is omitted here since described in the first embodiment. ステップS405の状態判別処理において今回判別された操作状態P(t)は、ステップS410にて記憶部22に記憶される。 Step S405 currently discriminated operational state P in the state determination process (t) is stored in step S410 in the storage unit 22.

次に、ステップS415に進んで、状態変化識別部24は、指の状態が接触状態から近接状態に状態変化したかを識別する。 Then, the process proceeds to step S415, the state change identification unit 24 identifies whether the state of the finger is changed status to proximity state from the contact state. 状態変化が接触状態→近接状態である場合、ステップS420に進んで再度、図5の状態判別処理を実行し、ステップS425に進む。 If the state change is a contact state → proximity state, again it proceeds to step S420, and executes the state determination process of FIG. 5, the flow proceeds to step S425. ステップS425にて、状態変化識別部24は、指の状態が近接状態から遠方状態に状態変化したかを識別する。 In step S425, the state change identification unit 24 identifies whether the state of the finger is changed status distant state from the proximity state. 識別の結果、接触状態→近接状態(S415)に状態変化した後、更に近接状態→遠方状態(S425)に状態変化した場合、ステップS905に進んで、操作コマンド設定部26は、指が接触した画像をドラッグ・アンド・ドロップする操作コマンドを設定する。 Result of the identification, after the state change in the contact state → proximity state (S415), when the state changes further proximity state → distant state (S425), the process proceeds to step S905, the operation command setting section 26, the finger is in contact to set the operation command to drag-and-drop the image.

一方、識別の結果、接触状態→近接状態(S415)に状態変化した後、近接状態→遠方状態(S425)には状態変化しない場合、ステップS910に進んで、操作コマンド設定部26は、指が接触した画像のドラッグ・アンド・ドロップ操作の実行を見合わせる。 On the other hand, the result of the identification, after the state change in the contact state → proximity state (S415), if the proximity state → no state change in the distant state (S425), the process proceeds to step S910, the operation command setting section 26, the finger postpone the execution of a drag-and-drop operation of the contact image. つまり、指が接触した画像はドラッグ・アンド・ドロップされず、現状の状態が維持される。 That is, the image of the finger is in contact is not drag and drop, current state is maintained.

なお、ステップS415にて、状態変化識別部24が接触状態から近接状態に状態変化していないと識別した場合、ステップS440に進んで、操作コマンド設定部26は、ディスプレイ12の表示を変える操作コマンドを設定せず現状の状態を維持する。 Incidentally, in step S415, if the state change identification unit 24 has identified as not a state change in the proximity state from the contact state, the process proceeds to step S440, the operation command setting section 26, an operation command for changing the display of the display 12 to maintain the status quo of the state without setting.

本実施形態に係る操作コマンド判定処理によれば、図9の下段に示したように、接触状態→近接状態に状態変化した後、近接状態→遠方状態に状態変化しない場合、指が接触した画像をドラッグ・アンド・ドロップしない。 According to the operation command determination process according to the present embodiment, as shown in the lower part of FIG. 9, after the state change in the contact state → proximity state if the proximity state → no state change in the distance condition, the finger is in contact image drag and do not drop. このように、本実施形態に係る操作コマンド判定処理では、ユーザが誤って指をディスプレイ12から離した場合、ドラッグしたデータのドロップ操作が実行されないようにする。 Thus, the operation command determination process according to the present embodiment, when the user releases the erroneously finger from the display 12, so that drop operation the dragged data is not performed.

一方、本実施形態に係る操作コマンド判定処理によれば、接触状態→近接状態に状態変化した後、近接状態→遠方状態に状態変化した場合、指が接触した画像をドラッグ・アンド・ドロップする。 On the other hand, according to the operation command determination process according to the present embodiment, after the state change in the contact state → proximity state, when the state change in the proximity state → distant state, drag and drop the image of the finger is in contact. このように、本実施形態に係る操作コマンド判定処理では、ユーザが近接領域以上指をディスプレイ12から離した場合、指の動作が誤動作ではないと判断して、ドラッグ・アンド・ドロップ操作が実行される。 Thus, the operation command determination process according to the present embodiment, when the user releases the above proximity region fingers from the display 12, it is determined that the operation of the finger is not a malfunction, drag-and-drop operation is performed that.

従来、図10の上段に示したように、ユーザが意図しなくても操作中に指が少しでもディスプレイ12から離れると、ドラッグ・アンド・ドロップ操作が実行され、操作ミスとなっていた。 Conventionally, as shown in the upper part of FIG. 10, when the finger during operation without intention user leaves the display 12 even slightly, drag-and-drop operation is performed, it has been a misoperation. しかしながら、本実施形態では、図10の下段に示したように、操作中に指が少しだけディスプレイ12から離れた状態ではドロップさせず、近接状態から遠方状態への状態変化をドロップのタイミングとみなすことにより、従来起きていた操作ミスを補償し、ユーザの操作性を向上させることができる。 However, in the present embodiment, as shown in the lower part of FIG. 10, not dropped in a state in which a finger during operation away from the only display 12 bit, regarded as drop timing state changes to distant state from the close state it allows to compensate the operation mistakes had occurred conventionally, thereby improving the operability of the user.

<変形例> <Modification>
最後に、以上に説明した各実施形態の表示装置を搭載する携帯型機器の変形例として図11のモバイル機器50について簡単に説明する。 Finally, briefly described mobile device 50 in FIG. 11 as a modified example of a portable apparatus including a display device of each embodiment described above. モバイル機器50は、上部ディスプレイ52Uと下部ディスプレイ52Dの2画面を有している。 The mobile device 50 has two screens of an upper display 52U and a lower display 52D. 上部ディスプレイ52U、下部ディスプレイ52Dにはタッチパネル58U、58Dが搭載されている。 Upper display 52U, a touch panel 58U, 58D are mounted on the lower display 52D. モバイル機器50は、中央のヒンジ機構59により折り畳み可能であり、携帯に便利な構成となっている。 The mobile device 50 is a foldable by a central hinge mechanism 59, it has become a convenient configuration on the mobile.

本変形例に係るモバイル機器50に搭載された表示装置によっても、デバイスにより検出されたGUIボタン16に対する指の接触状態に従い表示画面の表示を制御する際、識別された状態変化に応じてディスプレイの表示を変えることができる。 By display device mounted on the mobile device 50 according to this modified example, when controlling the display of the display screen in accordance with the contact state of the finger to the GUI button 16, which is detected by the device, the display in accordance with a change in the state identified it is possible to change the display. これにより、操作性を向上させながら、画面操作のバリエーションを増やすことができる。 Thus, while improving the operability, it is possible to increase the variations of screen operation.

以上に説明した各実施形態によれば、接触状態及び非接触状態の識別だけでなく、指の状態変化を識別することにより、ダブルタップと複数のシングルタップとを判別したり、2種類のタップを判別したり、ドラッグ・アンド・ドロップ操作の補助を行ったりすることができる。 According to the embodiments described above, not only the identity of the contact state and the non-contact state, by identifying the state change of the finger, or to determine the double tap and a plurality of single-tap, two taps or to determine, or can perform auxiliary drag-and-drop operation. これにより、ユーザにとって負荷の高い操作を減らし、操作性の高いユーザインターフェースを提供することができる。 This reduces the high load operation for the user, it is possible to provide a highly operability user interface.

上記実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。 In the above embodiments, the operations of the respective units are related to each other, taking into account the relevant one another, it may be replaced with a sequence of operations and a series of processes. これにより、表示装置の実施形態を、表示方法の実施形態及び表示装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。 Thus, the embodiment of the display device, can be used as an embodiment of a program for realizing the functions of the embodiments and a display device for a display method on a computer.

これにより、ディスプレイ12においてユーザが行う操作をタッチパネル14に検出させるステップと、タッチパネル14により検出されたユーザの操作に基づきディスプレイ12への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、前記判別された状態に従い、ユーザが行う操作の状態変化を識別するステップと、ユーザが行った操作に対してディスプレイ12の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定するステップと、を含む表示方法を提供することができる。 Thus, to determine the step of detecting an operation performed by the user on the display 12 on the touch panel 14, the contact state of the display 12 based on the operation of the user detected by the touch panel 14, any of the state of the proximity and far conditions a step, in accordance with the determined state, when setting identifying a change in the state of operation performed by the user, the operation command for controlling display of the display 12 with respect to the operation performed by the user, is the identification a step of setting the operation command in response to a state change has, it is possible to provide a display method comprising.

また、これにより、ディスプレイ12においてユーザが行う操作をタッチパネル14に検出させる処理と、タッチパネル14により検出されたユーザの操作に基づきディスプレイ12への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、前記判別された状態に従い、ユーザが行う操作の状態変化を識別する処理と、ユーザが行った操作に対してディスプレイ12の表示を制御するための操作コマンドを設定する際、前記識別された状態変化に応じて操作コマンドを設定する処理と、をコンピュータに実行させるプログラムを提供することができる。 Further, by this, the processing for detecting the touch panel 14 an operation performed by the user on the display 12, the contact state of the display 12 based on the operation of the user detected by the touch panel 14, any of the state of the proximity and far conditions a process of determining, in accordance with the determined state, when setting a process of identifying a change in the state of operation performed by the user, the operation command for controlling display of the display 12 with respect to the operation performed by the user, the and a program for executing a process of setting the operation command in response to an identified state change to the computer.

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。 Incidentally, the step of herein described in the flowchart include not only processing performed in time series along the order described, without being processed in a time series, in parallel or individually executed It is also including the processing. また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能である。 Even also step to be processed in chronological order, in some cases it is possible to change the appropriate order.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。 Having described in detail preferred embodiments of the present invention with reference to the accompanying drawings, of course, not limited to the present invention is such an example. 本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。 It would be appreciated by those skilled in the relevant field of technology of the present invention, within the scope of the technical idea described in the claims, it is intended to cover various changes and modifications also should be understood that such modifications and changes belong to the technical scope of the present invention for these.

たとえば、一つのGUIボタンに複数の操作コマンドを与える例としては、上記各実施形態で説明した例に限られない。 For example, examples provide multiple operation commands to one GUI buttons, not limited to the examples described in the above embodiments. 一つのGUIボタンに複数の操作コマンドを与える他の例としては、一つのGUIボタンにコンテンツの選択とインデックス送りの操作コマンドを設定する場合等が挙げられる。 Other examples of providing a plurality of operation commands to one GUI button or the like when setting the operation command selection and index feed content to a GUI button and the like.

また、状態変化を文字入力の操作コマンドに応用することもできる。 It is also possible to apply the state change to the operation command of the character input. たとえば、「Thank you」と文字入力する場合、ユーザは、「Thank」と文字入力した後、指を近接状態から遠方状態に状態変化させる。 For example, if you want to text input and "Thank you," the user, after the "Thank" and character input, to the state change to the distant state of the finger from the proximity state. 近接状態から遠方状態への状態変化には、予めブランク入力が操作コマンドとして割り当てられている。 The state change from the proximity state to the distant state, and blank previously input is assigned as an operation command. これにより、「Thank」と「you」との間のブランクが入力される。 As a result, the blank between "Thank" "you" is input. これに続いて、ユーザは「you」と文字入力する。 Following this, the user character input as "you". このようにして、指の状態変化を文字入力に応用してもよい。 In this manner, it may be applied to a state change of the finger to the character input.

本発明に係るユーザの画面操作を検出するデバイスの接触センサとしては、例えばマトリクススイッチ・抵抗膜方式のスイッチ・表面弾性波方式のスイッチなどを有するタッチセンサ・タッチパネル・タッチスクリーン・タッチパッドなどが挙げられる。 The contact sensor of the device for detecting the screen operation of the user according to the present invention, include for example, a touch sensor panel, the touch screen touch pad with a switch of the switch surface acoustic wave type of the matrix switch resistance film type It is.

本発明に係るモバイル機器に搭載されるタッチパネルは、ディスプレイ12への押し込み(押下)を検出できる機能を有していればより好ましい。 A touch panel mounted on a mobile device according to the present invention, more preferably have a function capable of detecting a pushing (pressing) on ​​the display 12. これにより、タッチパネル14は遠方状態、近接状態、接触状態、押下状態の4つの状態変化を検出することができ、これらの状態変化を組み合わせることによってさらに操作のバリエーションを増やすことができる。 Thus, the touch panel 14 can be increased further variation of the operation by combining distant state, the proximity state, the contact state, it is possible to detect the four states change in depressed state, these state changes.

10、50 モバイル機器 12 ディスプレイ 14 タッチパネル 16 ボタン 20 状態判別部 22 記憶部 24 状態変化識別部 26 操作コマンド設定部 28 画面制御部 10,50 mobile device 12 displays 14 the touch panel 16 button 20 state judgment unit 22 storage unit 24 state change identification unit 26 operation command setting unit 28 screen control unit

Claims (6)

  1. 表示画面と、 And the display screen,
    前記表示画面においてユーザが行う操作を検出するデバイスと、 A device for detecting an operation performed by a user in the display screen,
    前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する状態判別部と、 A state determination unit for determining whether any of the states of contact state, proximity and distant state to said display screen based on the operation of the user detected by the device,
    前記状態判別部による前回の判別結果を記憶する記憶部と、 A storage unit for storing the previous determination result by the state determination section,
    前記記憶部に記憶された前回の判別結果と前記状態判別部による今回の判別結果とに基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別する状態変化識別部と、 Based on this determination result and the previous determination result stored in the storage unit by the state determination section, operation contact made by the user in the display screen, status to any of any of the proximity and far conditions a state change identification unit for identifying whether it has changed,
    前記状態変化が接触状態から近接状態への状態変化である場合に、さらに前記状態判別部は、状態を判別し、判別結果に基づき、前記状態変化識別部は、近接状態から遠方状態への状態変化又は近接状態から遠方状態への状態変化以外の状態変化を識別し、識別された状態変化に応じて異なる操作コマンドを設定する操作コマンド設定部と、を備える表示装置。 If the state change is a state change to a close state from the contact state, further the state determination section may determine the state, based on the determination result, the state change identification unit, from the proximity state to the distant state condition identifying a state change other than a state change to the distant state from the changes or proximity state, a display device and an operation command setting unit for setting a different operation command in response to changes in the status identified.
  2. 前記操作コマンド設定部により設定された操作コマンドに従い前記表示画面の表示を変える画面制御部を更に備える請求項1に記載の表示装置。 The display device according to claim 1, further comprising a screen control unit for changing the display of the display screen in accordance with the set operation command by the operation command setting unit.
  3. 前記状態変化識別部により識別された状態変化が接触状態から遠方状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を前記画面制御部に促す請求項2に記載の表示装置。 If the state change identified by the state change identification unit is in the state change from the contact state to the distant state, the operation command setting section to claim 2 for prompting the execution of the operation command set in the screen control unit the display device according.
  4. 前記状態変化識別部により識別された状態変化が接触状態から近接状態への状態変化である場合、前記操作コマンド設定部は、設定された操作コマンドの実行を見合わせるように前記画面制御部に促す請求項2に記載の表示装置。 If the state change identified by the state change identification unit is in a state change to a close state from the contact state, the operation command setting unit prompts the screen control unit to forgo the execution of operations commands configured claimed the display device according to claim 2.
  5. 表示画面においてユーザが行う操作をデバイスに検出させるステップと、 A step of detecting a device an operation performed by the user on the display screen,
    前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別するステップと、 A step of determining whether any of the states of contact state, proximity and distant state to said display screen based on the operation of the user detected by the device,
    前記判別された状態を記憶するステップと、 And storing the determined state,
    前記記憶するステップで記憶された前回の判別結果と前記いずれの状態かを判別するステップによる今回の判別結果とに基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別するステップと、 Based on the current determination result by the step of determining whether the memory to the last stored in step determination result to the either state, operation performed by the user in the display screen contact, proximity and far conditions identifying whether changes state to one of either,
    前記状態変化が接触状態から近接状態への状態変化である場合に、さらに状態を判別し、判別結果に基づき、近接状態から遠方状態への状態変化又は近接状態から遠方状態への状態変化以外の状態変化を識別し、識別された状態変化に応じて異なる操作コマンドを設定するステップと、を含む表示方法。 If the state change is a state change to a close state from the contact state, further determines the state discrimination result based on, the state changes or proximity state from the proximity state to a distant state other than the state change to the distant state display method comprising identifying a state change, and setting a different operation command in accordance with the identified state change, a.
  6. 表示画面においてユーザが行う操作をデバイスに検出させる処理と、 A process for detecting a device an operation performed by the user on the display screen,
    前記デバイスにより検出されたユーザの操作に基づき前記表示画面への接触状態、近接状態及び遠方状態のいずれの状態かを判別する処理と、 A process of determining whether any of the states of contact state, proximity and distant state to said display screen based on the operation of the user detected by the device,
    前記判別された状態を記憶する処理と、 A process of storing the determined state,
    前記記憶する処理で記憶された前回の判別結果と前記いずれの状態かを判別する処理による今回の判別結果とに基づき、前記表示画面においてユーザにより行われた操作が接触状態、近接状態及び遠方状態のいずれからいずれへ状態変化したかを識別する処理と、 Based on the current determination result by the processing to determine whether the last stored in the process of storing a determination result to the either state, operation performed by the user in the display screen contact, proximity and far conditions a process of identifying whether it has changed state to any of any of,
    前記状態変化が接触状態から近接状態への状態変化である場合に、さらに前記いずれの状態かを判別する処理で、状態を判別し、判別結果に基づき、前記いずれからいずれかへ状態変化したかを識別する処理で、近接状態から遠方状態への状態変化又は近接状態から遠方状態への状態変化以外の状態変化を識別し、識別された状態変化に応じて異なる操作コマンドを設定する処理と、をコンピュータに実行させるプログラム。 If the state change is a state change to a close state from the contact state, further the processing to determine whether any state, determines the state based on the determination result, whether changes state from either the to either in process of identifying, and processing for identifying the state change other than a state change from state change or proximity state to a distant state to distant state, to set different operation command in response to a state change identified from the proximity state, program causing a computer to execute the.

JP2009182581A 2009-08-05 2009-08-05 Display device, a display method, and program Active JP5471137B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009182581A JP5471137B2 (en) 2009-08-05 2009-08-05 Display device, a display method, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009182581A JP5471137B2 (en) 2009-08-05 2009-08-05 Display device, a display method, and program
US12845948 US8922497B2 (en) 2009-08-05 2010-07-29 Display apparatus, display method and program for detecting an operation performed on a display screen
CN 201010243866 CN101996036B (en) 2009-08-05 2010-07-29 The display apparatus and a display method

Publications (2)

Publication Number Publication Date
JP2011034502A true JP2011034502A (en) 2011-02-17
JP5471137B2 true JP5471137B2 (en) 2014-04-16

Family

ID=43534460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009182581A Active JP5471137B2 (en) 2009-08-05 2009-08-05 Display device, a display method, and program

Country Status (3)

Country Link
US (1) US8922497B2 (en)
JP (1) JP5471137B2 (en)
CN (1) CN101996036B (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7770126B2 (en) * 2006-02-10 2010-08-03 Microsoft Corporation Assisting user interface element use
JP5343876B2 (en) * 2010-01-28 2013-11-13 富士通株式会社 Electronic equipment, the electronic equipment control method, and computer program
KR101710657B1 (en) * 2010-08-05 2017-02-28 삼성디스플레이 주식회사 Display device and a driving method thereof
CN103109258B (en) * 2010-09-22 2017-05-24 日本电气株式会社 The information display apparatus, a display method, a terminal device
JP5649169B2 (en) 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation The method of moving the object by dragging the touch panel, apparatus and computer program
US20120139845A1 (en) * 2010-12-03 2012-06-07 Research In Motion Limited Soft key with main function and logically related sub-functions for touch screen device
US20120161791A1 (en) * 2010-12-28 2012-06-28 Synaptics Incorporated Methods and apparatus for determining input objects associated with proximity events
JP5650583B2 (en) * 2011-05-11 2015-01-07 京セラ株式会社 Electronics
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9274642B2 (en) 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US8933896B2 (en) * 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
JP2013117784A (en) * 2011-12-01 2013-06-13 Panasonic Corp Input device, information terminal, input control method, and input control program
US20130176316A1 (en) * 2012-01-06 2013-07-11 Microsoft Corporation Panning animations
EP2818984B1 (en) * 2012-02-20 2017-10-25 NEC Corporation Touch panel input device and control method for same
JP5984722B2 (en) 2013-03-22 2016-09-06 シャープ株式会社 The information processing apparatus
JP6271881B2 (en) * 2013-06-26 2018-01-31 キヤノン株式会社 The information processing apparatus and a control method thereof, a program, a recording medium
JP6245938B2 (en) * 2013-10-25 2017-12-13 キヤノン株式会社 The information processing apparatus and control method thereof, computer program, storage medium

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105671A (en) * 1998-05-11 2000-04-11 Ricoh Co Ltd Coordinate input and detecting device, and electronic blackboard system
JP3608967B2 (en) * 1999-01-12 2005-01-12 株式会社フジクラ Automotive input device
JP3905670B2 (en) * 1999-09-10 2007-04-18 株式会社リコー Coordinate input detection device, an information storage medium and the coordinate input detection method
US7002556B2 (en) * 2001-06-20 2006-02-21 Hitachi, Ltd. Touch responsive display unit and method
US20050110756A1 (en) * 2003-11-21 2005-05-26 Hall Bernard J. Device and method for controlling symbols displayed on a display device
JP2005202611A (en) * 2004-01-15 2005-07-28 Kyocera Mita Corp Display control device
JP2005301668A (en) * 2004-04-12 2005-10-27 Seiko Epson Corp Information processor and information processing program
EP1596271A1 (en) * 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US20080098331A1 (en) * 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
JP4622590B2 (en) 2005-03-08 2011-02-02 ソニー株式会社 Input device, touch panel and electronic equipment
JP2006285370A (en) * 2005-03-31 2006-10-19 Mitsubishi Fuso Truck & Bus Corp Hand pattern switch device and hand pattern operation method
JP4765473B2 (en) * 2005-08-15 2011-09-07 ソニー株式会社 Control device for a display device and the input-output panel
JP4770662B2 (en) * 2006-09-19 2011-09-14 フリュー株式会社 Photo sticker creating apparatus and method, and program
CN101308417A (en) * 2007-05-15 2008-11-19 宏达国际电子股份有限公司 Electronic device and its software user interface operation method
JP4849412B2 (en) * 2007-05-15 2012-01-11 三菱電機株式会社 Information input display device
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
JP4900824B2 (en) * 2007-09-18 2012-03-21 トヨタ自動車株式会社 Input display device
JP2009116769A (en) * 2007-11-09 2009-05-28 Sony Corp Input device, control method for input device and program
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101486345B1 (en) * 2008-03-21 2015-01-26 엘지전자 주식회사 Mobile terminal and screen displaying method thereof
US8525802B2 (en) * 2008-03-31 2013-09-03 Lg Electronics Inc. Portable terminal capable of sensing proximity touch and method for providing graphic user interface using the same
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein

Also Published As

Publication number Publication date Type
CN101996036B (en) 2016-08-03 grant
US8922497B2 (en) 2014-12-30 grant
CN101996036A (en) 2011-03-30 application
US20110032198A1 (en) 2011-02-10 application
JP2011034502A (en) 2011-02-17 application

Similar Documents

Publication Publication Date Title
US7406666B2 (en) User-interface features for computers with contact-sensitive displays
US6915490B1 (en) Method for dragging and dropping between multiple layered windows
US20050024341A1 (en) Touch screen with user interface enhancement
US20090278806A1 (en) Extended touch-sensitive control area for electronic device
US20120146945A1 (en) Information processing apparatus, information processing method, and program
US20070250786A1 (en) Touch screen device and method of displaying and selecting menus thereof
CN201156246Y (en) Multiple affair input system
US20010015718A1 (en) Method for displying information responsive to sensing a physical presence proximate to a computer input device
US20080291171A1 (en) Character input apparatus and method
US20080036743A1 (en) Gesturing with a multipoint sensing device
US20130241847A1 (en) Gesturing with a multipoint sensing device
US20050237310A1 (en) User interface
US20100100854A1 (en) Gesture operation input system
US20010011995A1 (en) Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US20100017732A1 (en) Computer-readable storage medium having object display order changing program stored therein and apparatus
US20080042984A1 (en) Device and method for scrolling through list in portable terminal with touch pad
US20090315841A1 (en) Touchpad Module which is Capable of Interpreting Multi-Object Gestures and Operating Method thereof
US20090303200A1 (en) Sensor-based display of virtual keyboard image and associated methodology
US20100085317A1 (en) Method and apparatus for displaying graphical user interface depending on a user&#39;s contact pattern
US20090201260A1 (en) Apparatus and method for controlling mobile terminal
US20140078063A1 (en) Gesture-initiated keyboard functions
US20090271723A1 (en) Object display order changing program and apparatus
US8042042B2 (en) Touch screen-based document editing device and method
US20110138275A1 (en) Method for selecting functional icons on touch screen
US20090066659A1 (en) Computer system with touch screen and separate display screen

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140120

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250