WO2013008649A1 - 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム - Google Patents

指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム Download PDF

Info

Publication number
WO2013008649A1
WO2013008649A1 PCT/JP2012/066711 JP2012066711W WO2013008649A1 WO 2013008649 A1 WO2013008649 A1 WO 2013008649A1 JP 2012066711 W JP2012066711 W JP 2012066711W WO 2013008649 A1 WO2013008649 A1 WO 2013008649A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
user
contact position
mode
contact
Prior art date
Application number
PCT/JP2012/066711
Other languages
English (en)
French (fr)
Inventor
松木　友明
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011152819A external-priority patent/JP5269154B2/ja
Priority claimed from JP2012063837A external-priority patent/JP5912711B2/ja
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to CN201280032317.2A priority Critical patent/CN103620541B/zh
Priority to EP12811480.8A priority patent/EP2733591B1/en
Priority to US14/001,586 priority patent/US9720587B2/en
Publication of WO2013008649A1 publication Critical patent/WO2013008649A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the present invention relates to a technique related to a user interface device that displays an image on a screen and allows a user to input by operating the operation surface with a finger in association with the displayed image.
  • a touch panel is installed or not, portable information devices need to be downsized to improve portability. For this reason, when the portable information device employs a plurality of physical input keys or buttons as a user interface, the size of the input keys themselves must be reduced, and as a result, the operation of the portable information device can be reduced. There is concern about the decline of sex. On the other hand, when the portable information device employs a touch panel having virtual buttons instead of physical buttons as the user interface, the size of the virtual buttons is appropriately set according to the function of the corresponding application. Thus, the operability of the portable information device can be improved.
  • an erroneous input operation tends to occur more easily than when a physical key is used. Specifically, even when the user unintentionally touches the touch panel, the input operation is sensed, or even if the user performs the input operation, the input operation is not sensed correctly, and the desired function is not activated. May need to be redone.
  • Patent Literature 1 discloses a technique for changing the detection cycle of the touch panel after detecting a touch operation as a measure for dealing with the problem of erroneous input. According to this technology, an operation in which the user touches the touch panel instantaneously in a very short time and an operation in which the user performs scrolling with a finger placed on the touch panel are recognized and distinguished from each other.
  • Patent Document 2 discloses a technique in which when a touch panel is touched with a finger, a part of a plurality of selection buttons displayed is enlarged and rearranged to facilitate button selection.
  • Patent Document 3 discloses a technique for allowing a user to confirm that a predetermined input operation has been performed by vibrating a multi-touch panel that can detect a plurality of simultaneous contacts.
  • Patent Document 4 there is a technique for detecting a pressure on a touch panel provided with two conductive surface facing portions and detecting the magnitude of the pressure. Furthermore, there is a technology that includes two touch panels and can recognize the degree of pressing force at the time of touch input based on a sense of depth of a displayed image (see Patent Document 5).
  • the operation required for the user to move the entire displayed image on the screen is a drag operation.
  • the drag operation is a contact operation of a finger on the touch panel and a subsequent movement operation (contact and movement operation) while being in contact with each other.
  • a series of operations such as contact and movement which is one of the basic operations, is defined only as a drag operation.
  • the operation is performed with the finger of one hand holding the symbol, the number of types of operations that can be performed by the finger is limited.
  • various functions can be activated in portable information devices. Accordingly, the portable information device is required to be able to perform more types of operations, but cannot meet this requirement under the constraints described above.
  • an object of the present invention is to provide a user interface device, an input operation determination method, and a program capable of executing various operations by touching the finger when inputting to the touch panel with the finger.
  • each aspect is divided into sections, each section is numbered, and is described in the form of quoting the section numbers of other sections as necessary. In this way, each section is referred to the section number of the other section.
  • the technical features described in each section can be appropriately made independent according to the properties.
  • a display function that displays an image including an object that is an operation target of a user on a screen, and a touch panel function that sequentially outputs a contact position of a user's finger that contacts the operation surface as time passes
  • a user interface device having a “drag” mode for recognizing the movement as a user's drag operation as a mode for recognizing the type of movement of the finger contact position
  • a contact time determination unit that determines whether or not a holding time in which the contact position of the finger is substantially held on the operation surface is a predetermined time or more; When the contact time determination unit determines that the holding time is equal to or longer than the predetermined time, it is determined that the user operation does not correspond to the drag operation, and the contact position of the finger is not the “drag” mode.
  • the contact position of the finger is monitored in a state where the entire image including the object is fixedly displayed without moving on the screen regardless of whether or not the movement is subsequently performed on the operation surface.
  • An operation for determining that a “focus” operation for temporarily selecting the object has been performed by the user when the contact position determination unit determines that the contact position of the finger overlaps the display area of the object A user interface device including a determination control unit.
  • the mode operation means operates the “drag” mode when the holding time is shorter than the predetermined time, while the “touch focus” mode when the holding time is equal to or longer than the predetermined time.
  • the user interface device further including: a response control unit.
  • the tactile response control means presses a physical button instead of a virtual button in response to the action.
  • the user interface device according to the item (3) which controls the tactile response mechanism that applies vibrations to substantially simulate a touch that the finger should receive from the physical button.
  • a pressing force detection unit that detects a pressing force with which the finger presses the operation surface
  • a pressing force determination unit that determines whether the detected pressing force is equal to or greater than a predetermined threshold
  • the operation determination control unit determines that the contact position of the finger overlaps the display area of the object by the contact position determination unit during the operation in the “touch focus” mode, and the pressing force determination unit determines the pressing force.
  • a first click operation determination unit that determines that a “click” operation that activates the function of the provisionally selected object is performed by the user when the pressure is determined to be equal to or greater than the predetermined threshold value ( The user interface device according to any one of 1) to (4).
  • a pressing force detection unit that detects a pressing force with which the finger presses the operation surface
  • a pressing force determination unit that determines whether or not the detected pressing force is equal to or greater than a predetermined threshold, The operation determination control unit determines whether or not the contact time determination unit determines that the holding time is equal to or longer than the predetermined time when the contact of the finger with the operation surface is started.
  • the user When it is determined by the position determination unit that the contact position of the finger is superimposed on the display area of the object, and the pressing force determination unit determines that the pressing force is equal to or greater than the predetermined threshold, the user The user interface device according to any one of (1) to (5), including a second click operation determination unit that determines that a “click” operation for activating the function of the provisionally selected object has been performed.
  • the predetermined time is longer than an average time required from the time when the finger touches the operation surface until the next movement starts, and the user
  • the time is set shorter than the average time required from the time when the finger touches the operation surface until the next movement is started.
  • the contact time determination unit measures the holding time regardless of whether the contact position of the finger overlaps the display area of the object or any one of items (1) to (7).
  • a display function that displays an image including an object that is an operation target of the user on the screen, and a touch panel function that sequentially outputs a contact position of the user's finger that contacts the operation surface as time passes
  • a method for determining a user input operation in a user interface device having a “drag” mode for recognizing the movement as a user's drag operation as a mode for recognizing the movement of a finger contact position A first step of determining whether or not a holding time for which the contact position of the finger is substantially held on the operation surface is a predetermined time or more; When it is determined in the first step that the holding time is equal to or longer than the predetermined time, it is determined that the user's operation does not correspond to the drag operation, and the finger touch position is not the “drag” mode.
  • the contact position of the finger is monitored in a state where the entire image including the object is fixedly displayed without moving on the screen regardless of whether or not the movement is subsequently performed on the operation surface.
  • it is determined that the contact position of the finger is superimposed on the display area of the object it is determined that the user has performed a “focus” operation for temporarily selecting the object.
  • a method of controlling a user interface device capable of performing input by bringing a finger into contact with an operation surface When the user touches the operation surface with the finger and holds the finger at substantially the same position on the operation surface for a predetermined time or more, whether or not the finger contact position is subsequently moved.
  • the input operation determination method, and the program of the present invention when a finger inputs to the touch panel, it is possible to execute input by finger contact in a plurality of modes.
  • FIG. 1A is a front view showing a portable information device equipped with a user interface device according to the first exemplary embodiment of the present invention together with the movement of a user's finger in the “touch focus” mode
  • FIG. (B) is an enlarged side view showing the movement
  • 2A is a front view showing the portable information device shown in FIG. 1 together with the movement of the user's finger in the “click” operation
  • FIG. 2B is an enlarged side view showing the movement.
  • 3A is a front view showing the portable information device shown in FIG. 1 together with the movement of the user's finger in the “drag” mode
  • FIG. 3B is an enlarged side view showing the movement. It is.
  • FIG. 1A is a front view showing a portable information device equipped with a user interface device according to the first exemplary embodiment of the present invention together with the movement of a user's finger in the “touch focus” mode
  • FIG. (B) is an enlarged side view showing the movement.
  • 2A is a
  • FIG. 4 is a perspective view showing the overall configuration of the portable information device shown in FIG. 1 and a flowchart conceptually showing an input operation determination method executed in the portable information device.
  • FIG. 5 is a functional block diagram conceptually showing the portable information device shown in FIG.
  • FIG. 6A is a front view showing a portable information device equipped with a user interface device according to the second exemplary embodiment of the present invention, together with the movement of a user's finger for a click operation
  • FIG. FIG. 5B is an enlarged side view showing the click operation and the movement of the user's finger in the “touch focus” mode.
  • FIG. 7 is a perspective view generally showing the configuration of the portable information device shown in FIG. 6 and a functional block diagram conceptually showing the portable information device.
  • FIG. 6A is a front view showing a portable information device equipped with a user interface device according to the second exemplary embodiment of the present invention, together with the movement of a user's finger for a click operation
  • FIG. 5B is an enlarged side view
  • FIG. 9A is a perspective view showing an appearance of a device equipped with a user interface device according to another embodiment of the present invention
  • FIG. 9B is a user interface device according to still another embodiment of the present invention. It is a perspective view which shows the external appearance of the device which mounts.
  • the user interface device targeted by the present invention information is input by the user's finger touching the touch panel. For this reason, many of this type of user interface device is mounted on a portable information device such as a smartphone or a tablet computer that can be carried and operated by a user. Therefore, hereinafter, as some exemplary embodiments of the present invention, a case where the present invention is applied to a user interface device of a portable information device will be described as an example.
  • the portable information device is configured such that the user's finger touches the touch panel and then moves while touching.
  • the input operation is not simply recognized as a drag operation as it is, but any of the operable input modes is selected as an actual input operation.
  • Select automatically according to the type of That is, the type of actual input operation is automatically identified, and the input mode corresponding to the type is set.
  • the finger contact position on the touch panel continues for a predetermined time or more. Whether the finger contact position is substantially held on the touch panel is longer than the predetermined time (after the predetermined time has elapsed since the finger first contacted). Whether or not the contact position of the finger has changed).
  • the holding time is equal to or longer than the predetermined time, it is determined that the current input operation does not correspond to a normal drag operation, and the “touch focus” mode is activated.
  • the holding time is less than the predetermined time (when the finger contact position does not change until the predetermined time elapses after the finger first contacts)
  • this time It is determined that the input operation corresponds to a normal drag operation, and the “drag” mode is activated.
  • Each input mode is as follows.
  • “Touch focus” mode A mode in which the contact position of a finger is monitored in a fixed state without moving the entire displayed image even if the finger moves.
  • “Drag” mode A mode in which the entire displayed image is moved so as to follow the movement of the finger.
  • the characteristics of some embodiments described above are to determine the length of time that the finger has been in contact without changing the position, and based on the determination result, any one of the plurality of input modes is determined. It is to select and operate.
  • the “whole image” is a portion that is a target of movement (including movement classified into the category of scroll) among all the images displayed on the display screen.
  • the target portion may be the entire image displayed on the screen.
  • the original image is larger than the screen, it has a portion that does not fit on one screen, and that portion is a portion that is hidden (taken) outside the screen.
  • that part becomes a movement target by the user's operation.
  • FIG. 1 shows a portable information device 1 (for example, a smartphone, a tablet computer, an electronic book, a PDA (Personal Digital Assistant), etc.) according to the first exemplary embodiment of the present invention.
  • FIG. 4 is a front view of the portable information device 1 and a side view showing an example of a series of finger movements for explaining the “touch focus” mode.
  • FIG. 1A is a front view of the portable information device 1.
  • an image including a plurality of icons (each of which is an example of a visual object) 104 is displayed on the screen of the display 101.
  • Each icon 104 is an operation target for the user, and is selected by a predetermined user operation to be described later.
  • a function assigned in advance to each icon 104 is activated.
  • a touch panel 100 that sequentially outputs finger contact positions as time passes is arranged (see FIG. 4).
  • the “touch focus” mode will be described with reference to an example shown in FIG.
  • the user's finger touches the touch panel 100 and maintains the contact position for a predetermined time or longer the user's finger moves (slides) while keeping the contact. )is doing.
  • the entire image including the icon 104 does not move despite the movement of the finger and is in a fixed state.
  • the user can move while keeping the finger in contact and sequentially touch the plurality of icons 104 displayed on the screen with the position fixed.
  • the contact position determination unit 122 (FIG. 5), which will be described later, determines whether or not the finger contact position and the display area of the icon 104 overlap each other during the movement of the finger.
  • a mode in which the finger contact position is monitored in a fixed state without moving the entire image in this way is the “touch focus” mode.
  • the finger In the “touch focus” mode, for example, when a desired icon 104 exists in the displayed image, the finger is brought into contact with the vicinity of the display area, and then the finger touch position is moved to the display area. It works when you want to make sure it is superimposed.
  • This “touch focus” mode also operates when a finger is brought into contact with the display area of the desired icon 104 and this icon 104 is to be selected immediately. Further, in the “touch focus” mode, the desired icon 104 is checked while checking whether or not the desired icon 104 exists in the displayed image while tracing the surface (displayed image) of the touch panel 100 with a finger. It also works when you want to move your finger forward to the display area.
  • FIG. 1B is a schematic diagram of an operation with a finger for explaining conditions for operating the above-described “touch focus” mode.
  • p C p TH
  • the finger starts moving (sliding) from the state where the finger is kept in contact without changing the contact position to the upper side (left side in FIG. 1B) while keeping the same contact.
  • the finger contact position does not change continuously for the time (t S2 -t 0 ) (that is, the holding time).
  • the mode operation unit 124 (FIG. 5) described later operates in the “touch focus” mode. Let Thereafter, the entire image including the plurality of icons 104 is fixed without moving despite the movement of the finger. Note that if the condition of t S2 ⁇ t 0 ⁇ t TH described above is satisfied, the “touch focus” mode operates even when the finger contact position does not continue to move thereafter.
  • the user moves his / her finger while tracing the displayed image. Thereafter, a desired icon 104 is searched and a finger is advanced into the display area. In this manner, during the operation in the “touch focus” mode, the operation of superimposing the finger contact position on the display area of the desired icon 104 is hereinafter referred to as “focus” operation.
  • the “focus” operation is an operation performed for the user to select a desired icon 104, and plays a role as a preparatory operation for surely performing an operation for activating a function of the desired icon 104 thereafter.
  • the tactile response mechanism 102 (FIG. 4) described later vibrates the finger to feel the presence of a physical push button ( That is, when a finger presses a physical button instead of a virtual button, a vibration for substantially simulating the feeling that the finger should receive from the physical button can be applied. .
  • the user can tactilely confirm that the “focus” operation has been accepted, and can obtain a stable and reliable operational feeling.
  • the following can be cited as examples of vibrations that make you feel the presence of a physical push button.
  • height information is given to each point in the display area of the icon 104 as if the icon 104 had a height (thickness in a direction perpendicular to the screen).
  • the finger is given a vibration having an intensity corresponding to the magnitude of the gradient calculated from the height information. This gives the finger a feel similar to that obtained when tracing a protruding physical push button.
  • the “touch focus” mode (“focus” operation) is automatically canceled by releasing the finger from the touch panel 100, for example.
  • the finger contact position has continuously changed for the predetermined time tTH or more, and the input mode is selected according to the result.
  • the finger can be moved so as to trace on the touch panel 100 without moving the entire image, so one of the plurality of icons 104 arranged on the screen is selected.
  • the “focus” operation can be executed reliably.
  • FIG. 2 is a front view of the portable information device 1 for explaining the “click” operation, and a side view showing an example of a series of finger movements.
  • FIG. 2A is a front view of the portable information device 1.
  • the finger is moved so as to trace on the touch panel 100 while being in contact. Thereafter, the finger advances to the position of the desired icon 104, and as a result, the contact position of the finger is superimposed on the display area of the desired icon 104. From this state, when the user presses the finger more strongly, a function assigned in advance to the desired icon 104 is activated.
  • a function assigned in advance to the desired icon 104 is activated.
  • an operation of pressing the icon 104 (touch panel 100) with a finger to activate the function of the icon 104 is referred to as a “click” operation.
  • FIG. 2B is a schematic diagram of an operation with a finger for explaining a condition determined as a “click” operation.
  • the finger moves so as to trace on the touch panel 100, and the contact position of the finger is superimposed on the display area of the desired icon 104. That is, a “focus” operation is performed.
  • the tactile response mechanism 102 (FIG. 4), which will be described later, can also give the finger a vibration v 1 that gives a feeling as if the physical press button was actually pressed. .
  • the finger can also provide a vibration v 2 of imparting a feeling as if actually pressed the physical push button. That is, when the user performs the “focus” operation, the user feels the presence of the physical push button by receiving the vibration v 1, and when performing the “click” operation with certainty based on this feeling, the user vibrates the vibration v 2. Receive.
  • the user when the user actually presses the desired icon 104 configured as this virtual press button, the user feels as if the press button was physically pressed. As a result, the user can virtually obtain a stable and reliable operational feeling that the user has actually operated the physical push button in spite of the operation on the touch panel 100.
  • FIG. 3 is a front view of the portable information device 1 for explaining the “drag” mode, and a side view showing an example of a series of finger movements.
  • FIG. 3A is a front view of the portable information device 1.
  • the “drag” mode will be described using this front view.
  • the user's finger touches the touch panel 100 it moves (slides) upward while maintaining contact.
  • a mode that enables an operation of moving the entire image with such a finger is a “drag” mode.
  • the desired icon 104 since the desired icon 104 does not appear on the screen, the entire image is moved on the screen so that the desired icon 104 appears, or only a part of the image is displayed on the screen. This is set when, for example, it is desired to continue browsing the remaining part of information such as a document that has not been performed.
  • FIG. 3B is a schematic diagram of an operation with a finger for explaining a condition for operating the above-described “drag” mode.
  • t 0 t 0
  • p C ⁇ p TH there is an expression “p C ⁇ p TH ”, and this expression is particularly necessary in the description of the second embodiment described later.
  • the finger starts moving (sliding) from the state where the finger is kept in contact without changing the contact position to the upper side (left side in FIG. 3B) while keeping the same contact.
  • the finger contact position does not change continuously for the time (t S1 -t 0 ).
  • this time (t S1 -t 0 ) is less than the predetermined time t TH ((t S1 -t 0 ) ⁇ t TH )
  • the mode operation unit 124 (FIG. 5) described later operates the “drag” mode. . Thereafter, as the finger moves, the entire image including the desired icon 104 moves.
  • the movement amount of the entire image may coincide with the movement amount of the finger, or may be an appropriate function value of the movement amount of the finger, such as a constant multiple of the movement amount of the finger.
  • the direction of movement of the finger is not limited to the upper side.
  • a finger is moved in an arbitrary direction on the surface of the touch panel 100, and the entire image is moved in any of the upper, lower, left, right, and diagonal directions corresponding to the direction of movement of the finger. Can be possible.
  • the predetermined time t TH described above is set to be longer than the average time t AV1 that is required from the touch of the finger to the next start of movement.
  • the length of time that the contact position has not changed continuously is measured as a plurality of sample values, A value sufficiently larger than the average value t AV1 of the sample values is set as the predetermined time t TH .
  • the predetermined time t TH is an operation in which the user selects a specific object (for example, by observing a plurality of icons 104 displayed together on the screen while placing a finger at an arbitrary position on the operation surface, The decision to select a desired icon 104 from these icons 104 (psychological motion) is performed with the finger held, and after the decision is made, the finger is moved toward the desired icon 104)
  • the time t AV2 is set shorter than the average time required from the time when the finger touches to the time when the next movement starts.
  • the operation of selecting an object is performed by many users, and the length of time that the contact position does not continuously change is measured as a plurality of sample values, and the average of the sample values is measured.
  • a value sufficiently smaller than the value tAV2 is set as the predetermined time tTH .
  • the predetermined time t TH is determined so as to satisfy the condition of t AV1 ⁇ t TH ⁇ t AV2 .
  • the t TH value is set to 200 msec.
  • FIG. 4 is a perspective view showing the overall configuration of the portable information device 1 and a flowchart conceptually showing an input operation determination method executed in the portable information device 1.
  • FIG. 5 is a functional block diagram conceptually showing the portable information device 1.
  • the portable information device 1 includes a touch panel 100, a display 101, a tactile response mechanism unit 102, a pressing force detection unit 103, and a processor memory.
  • the processor memory realizes its function by executing a program for executing the input operation determination method.
  • the processor and the memory cooperate with each other to constitute a computer.
  • a program for executing the input operation determination method is stored in advance in the memory.
  • the memory is an example of a recording medium that records the program in a computer-readable and non-transient manner.
  • the display 101 displays an image including an icon (an example of an object) 104 that is a user's operation target.
  • the surface of the display 101 is a screen on which an image is displayed.
  • the touch panel 100 is disposed above the screen of the display 100 (in the present embodiment, is opposed to each other with a flat gap), and sequentially detects the contact position of the user's finger over time, Output.
  • the surface of the touch panel 100 is an operation surface that the user contacts with a fingertip in order to operate the portable information device 1.
  • the operation surface is physically superimposed on the screen, but information indicating the contact position of the finger is transferred from the touch panel 100 to the display 101, and a position corresponding to the contact position is displayed on the display 101. If it is, it is not necessary to physically superimpose the operation surface on the screen.
  • a projected capacitive touch panel As the touch panel 100, a projected capacitive touch panel, a surface capacitive touch panel, a resistive touch panel, an ultrasonic surface acoustic wave touch panel, an infrared scanning touch panel, or the like can be used.
  • the screen of the display 101 and the touch panel 100 When the display 101 and the touch panel 100 adopt a so-called multilayer type in which the display function and the touch panel function are realized by different devices as in the present embodiment, the screen of the display 101 and the touch panel 100 When the operation surface is separated from each other and the operation surface is superimposed on the screen, instead of using a so-called single-layer system in which the display function and touch panel function are realized by the same device The screen of the display 101 and the operation surface of the touch panel 100 coincide with each other.
  • the tactile response mechanism unit 102 vibrates the touch panel 100 to give a tactile response as a response to a specific operation to a finger that has touched the touch panel 100.
  • the tactile response mechanism 102 for example, when the “focus” operation is performed on the touch panel 100, the vibration v 1 that gives a feeling as if the physical press button is actually pressed (see FIG. 2 ( B)) is given to the finger. Further, when the “click” operation is performed, the tactile response mechanism unit 102, for example, vibrates v 2 that gives a feeling as if the physical push button was actually pressed (FIG. 2B). Give to your finger.
  • the tactile response mechanism 102 can be a piezoelectric actuator formed using a piezoelectric material such as PZT (lead zirconate titanate).
  • the tactile response mechanism 102 is sandwiched between the touch panel 100 and the display 101 (for example, a liquid crystal layer). Further, in the present embodiment, a single vibration body, or a plurality of vibration bodies arranged with a gap between each other, a silhouette obtained by projecting the portable information device 1 in a direction perpendicular to the plane, It is installed in the portable information device 1 so as to cover the area locally rather than entirely, and the tactile response device is constituted by the single vibrating body alone or by cooperating with each other. To do.
  • the pressing force detection unit 103 detects a pressing force p C with which a finger presses the touch panel 100.
  • the pressing force detection unit 103 is installed, for example, under the four corners of the touch panel 100, and at these four locations, the touch panel 100 that is slightly bent by pressing a finger presses the pressing force detection unit 103.
  • the total value is detected as the pressing force p C.
  • a predetermined pressing force threshold value p TH p C ⁇ p TH
  • the pressing force detection unit 103 can be, for example, a piezoelectric sensor formed using a piezoelectric material such as PZT.
  • the pressing force detection unit 103 can be used as a tactile response mechanism unit.
  • the pressing force detection unit 103 is sandwiched between the touch panel 100 and the display 101 (for example, a liquid crystal layer).
  • the display 101 for example, a liquid crystal layer.
  • one pressure sensor, or a plurality of pressure sensors arranged with a gap between each other has a silhouette obtained by projecting the portable information device 1 in a direction perpendicular to the plane,
  • the pressure sensor device is installed in the portable information device 1 so as to cover not the entire surface but the single pressure sensor alone or the plurality of pressure sensors together.
  • the plurality of pressure sensors are arranged in a flat space formed between the touch panel 100 and the display 101 so as to be separated from each other in the direction along the plane.
  • a gap that is not filled with the pressure sensor is positively formed between the touch panel 100 and the display 101. The gap allows the touch panel 100 to bend elastically when the user locally presses the touch panel 100 with a finger. Thanks to the deflection, the user can feel the tactile feeling that the touch panel 100 is being pressed.
  • the processor memory inputs a finger contact position signal output from the touch panel 100 and a pressing force signal output from the pressing force detection unit 103, and selects and operates an input mode based on these signals. Further, the type of the actual input operation is determined, and the corresponding processing is executed.
  • the functional configuration of the processor memory will be described with reference to FIG.
  • the processor memory includes a contact time determination unit 121, a contact position determination unit 122, a pressing force determination unit 123, a mode operation unit 124, an operation determination control unit 125, and a tactile response control.
  • the contact time determination unit 121 inputs a finger contact position signal output from the touch panel 100, determines whether the finger contact position has not changed continuously for a predetermined time t TH from the start of the contact, The determination result is output to the mode operation unit 124.
  • the contact position determination unit 121 determines whether the contact position of the finger is superimposed on the display area of any icon 104 and outputs the determination result to the operation determination control unit 125.
  • the pressing force determination unit 123 receives the pressing force signal output from the pressing force detection unit 103, determines whether or not the pressing force by the finger is equal to or greater than a predetermined pressing force threshold value pTH , and operates the determination result. It outputs to the judgment control part 125.
  • the mode operation unit 124 operates by selecting either the “touch focus” mode or the “drag” mode as the input mode as the input mode.
  • the operation determination control unit 125 determines whether or not the current operation is a “focus” operation based on the determination result from the contact position determination unit 122 during the operation in the “touch focus” mode. If it is an operation, the corresponding operation is executed. Further, the operation determination control unit 125 determines whether the current operation is a “click” operation based on the determination result from the pressing force determination unit 123 during the operation of the “touch focus” mode. If it is a “click” operation, the corresponding operation is executed.
  • the tactile response control unit 126 controls the tactile response mechanism unit 102 to give a corresponding tactile response to the finger based on the operation determination result output from the operation determination control unit 125.
  • the display control unit 111 inputs the application processing information from the application processing unit 112 and displays an image corresponding to the execution of the application on the screen of the display 101.
  • the display control unit 111 inputs instruction information for instructing the currently selected input mode as the effective input mode among the “touch focus” mode and the “drag” mode from the mode operation unit 124. An image corresponding to the input mode is displayed on the screen of the display 101.
  • the display control unit 111 inputs instruction information for instructing a currently applicable operation among a plurality of input operations from the operation determination control unit 125, and displays an image corresponding to the instructed input operation on the screen of the display 101. Display above.
  • the touch panel 100 detects a finger contact (step S401).
  • the contact time determination unit 121 determines whether or not the finger contact position has changed for a predetermined time t TH or more (step S402).
  • the contact position of the finger is expressed as one coordinate (x, y) using an xy coordinate system set on the surface (contact surface) of the touch panel 100.
  • the contact of the finger is detected as a contact surface having a predetermined area. In this case, the coordinate (center coordinate) of the position that becomes the center of the contact surface can be used as the contact position.
  • steps S401 and 402 are repeated, for example, by comparing the previous detection value and the current detection value for the contact position of the finger with each other on the condition that the finger does not leave the operation surface of the touch panel 100, If the comparison result indicates that the two detection values substantially match, it is executed to determine that the finger contact position has not changed.
  • the finger contact position may slightly vary due to finger tremors that normally occur when the finger touches the touch panel 100.
  • the variation in the coordinates of the contact position is removed by correction.
  • the range of change in the coordinates of the contact position due to the trembling of the finger at the time of pressing is predicted in advance, and the change in coordinates within this range of change is not considered as the change in the contact position of the finger. Is done.
  • the above-described determination as to whether or not the finger contact position has not changed can be made in a state in which the influence of fluctuation due to finger tremor is excluded. That is, it is possible to stably and reliably determine an operation in accordance with the user's intention.
  • the mode operation unit 124 operates the “touch focus” mode (step S404). Specifically, the entire image including the plurality of icons 104 is fixed without being moved, and the finger contact position (finger contact position signal output from the touch panel 100) is monitored (monitored).
  • the mode operation unit 124 operates the “drag” mode (step S403). Specifically, the entire image including the icon 104 can be moved in the direction specified by the drag operation with the finger.
  • the mode operation unit 124 operates the “drag” mode when the finger is moved immediately after the finger is brought into contact with the touch panel.
  • the “touch focus” mode is operated.
  • the contact position determination unit 122 determines whether the contact position of the finger is superimposed on the display area of the icon 104 (step S405).
  • the operation determination control unit 125 determines that the “focus” operation has been performed, The corresponding operation is executed (step S406).
  • the icon 104 on which the finger contact position is superimposed is selected from the plurality of icons 104 displayed on the screen.
  • the tactile response control unit 126 gives a contact response to the finger via the tactile response mechanism unit 102.
  • the operation determination control unit 125 preferably causes the display 101 to highlight the selected icon 104 via the display control unit 111.
  • the pressing force detection unit 103 detects the pressing force p C applied by the finger that has touched the touch panel 100 (step S407).
  • the pressing force determination unit 112 determines whether or not the pressing force p C detected by the pressing force detection unit 103 is equal to or greater than a predetermined pressing force threshold p TH (step S408).
  • the operation determination control unit 114 determines that the contact position determination unit 110 has superimposed the contact position of the finger on the display area of one of the icons 104, and the pressing force determination unit 112 determines that the pressing force p C is pressed. Only when it is determined that the pressure is equal to or higher than the pressure threshold pTH, it is determined that the “click” operation has been performed, and the corresponding operation is executed (step S409). Specifically, a function assigned in advance to the selected icon 104, for example, activation of a predetermined application is activated.
  • the “touch focus” mode and the “drag” are determined based on the determination result. Operate one of the modes. Therefore, whether an operation is an operation in the “touch focus” mode operation or a drag operation in the “drag” mode operation is distinguished from each other, and is correctly determined. Further, in the same “touch focus” mode operation In addition, whether an operation is a “focus” operation or a “click” operation is distinguished from each other and correctly determined. That is, various input operations can be reliably distinguished and executed by a combination of a plurality of basic operations including at least the contact and movement operations among the finger contact, holding and movement operations.
  • the portable information device 1 according to the second exemplary embodiment of the present invention will be described. However, since there are elements in common with the first embodiment in the present embodiment, the description of the common elements will be omitted by using the same names and symbols, and only different elements will be described in detail. .
  • the user makes a finger contact with a region (hereinafter referred to as “icon display region”) of the operation surface of the touch panel 100 facing the desired icon 104 displayed, and then the user quickly performs a click operation (immediately). Click operation) may be necessary.
  • the user may push the touch panel 100 with a pressing force equal to or greater than a predetermined threshold as soon as the finger is brought into contact with the icon display area.
  • the user may have an impression that the responsiveness of the portable information device 1 with respect to his / her click operation is low.
  • the predetermined time t TH since the predetermined time t TH has elapsed from the time when the finger contact is first detected, it is determined that the mode is the “touch focus” mode, and the user's operation is started after the mode is started. Is determined to correspond to the “focus” operation, and the user's operation is determined to correspond to the “click” operation only when the degree of finger contact is equal to or greater than a predetermined threshold.
  • the finger contact position is superimposed on the icon display area without waiting for a predetermined time t TH from that time.
  • the degree of finger contact with the operation surface is equal to or greater than the predetermined threshold, it is determined that the user operation corresponds to the “click” operation.
  • the contact degree includes a pressing force with which the finger presses the operation surface, an area in which the finger contacts the operation surface, and a change amount of an electrical characteristic generated when the finger contacts the operation surface. , Defined by at least one of the amount of change in temperature generated by the finger touching the operation surface.
  • the user when the user desires to activate the “touch focus” mode, the user does not reach the predetermined threshold value with respect to the degree of finger contact with the operation surface, that is, for example, as described above.
  • the pressing force p C when the finger first touches the touch panel 100 is less than a predetermined threshold value p TH as shown in detail later with reference to FIG. 6. (P C ⁇ p TH ) is required to operate the touch panel 100.
  • FIG. 6 is a front view of the portable information device 1 and a side view showing an example of a series of finger movements for explaining the “click” operation (immediate click operation) in the present embodiment.
  • FIG. 6 (A) shows a front view of the portable information device 1 similar to FIG. 1 (A). Again, an image including a plurality of icons 104 is displayed on the screen of the display 101. In order to activate one of the displayed icons 104 as the desired icon 104, the user touches the desired icon 104 from the beginning and presses the icon 104 (touch panel 100) as it is. As a result, the function pre-assigned to the desired icon 104 is immediately activated.
  • the pressing by the finger is started as soon as the finger comes into contact, the predetermined time tTH has not elapsed at this time, and thus the “touch focus” mode is not shifted to. Further, the pressing force p C at that time satisfies p C ⁇ p TH . Furthermore, the contact position of the finger is superimposed on the display area of the icon 104. Therefore, this time, since a necessary condition is satisfied, it is determined that the “click” operation has been performed, and a function assigned in advance to the desired icon 104 is activated.
  • the “click” operation is not determined.
  • FIG. 6B is a schematic diagram of an operation with a finger for explaining a condition for accepting a “click” operation (immediate click operation) to be pushed in as soon as the finger is brought into contact.
  • the pressing force p C by the finger satisfies p C ⁇ p TH .
  • This determination is made by determining whether or not the finger contact position has not changed continuously for a time (t S2 ⁇ t 0 ), that is, whether or not (t S2 ⁇ t 0 ) ⁇ t TH. Done before it is done. Therefore, when a click operation like this time is performed, the timing at which the pressing force pc is determined to be equal to or greater than the predetermined threshold value p TH is always before the elapse of the predetermined time t TH .
  • the finger contact position is superimposed on the display area of any icon 104.
  • the contact position of the finger is superimposed on the display area of one of the icons 104, it is determined that the “click” operation has been performed, and is assigned to the current icon 104 in advance.
  • the activated function is activated.
  • the finger contact position is determined in the same manner as in the first embodiment shown in FIG. It is determined whether or not the change has continued for time t TH or more (whether or not the “touch focus” mode operates).
  • a function pre-assigned to the desired icon 104 is immediately activated without shifting to the “touch focus” mode. can do. As a result, quicker operability of response is realized.
  • the vibration v 2 can be applied to the finger that has been subjected to the “click” operation (immediate click operation) described above by the tactile response mechanism unit 102 (FIG. 5) described later.
  • FIG. 7 is a perspective view showing the entire hardware configuration of the portable information device 1 according to the present embodiment, and is a functional block conceptually showing the entire software configuration of the portable information device 1.
  • the portable information device 1 includes a touch panel 100, a display 101, a tactile response mechanism unit 102, a pressing force detection unit 103, and the processor memory. Have.
  • the processor memory includes a contact time determination unit 121, a contact position determination unit 122, a pressing force determination unit 123, a mode operation unit 124, and an operation, as in the first embodiment.
  • the determination control unit 125, the tactile response control unit 126, the display control unit 111, and the application processing unit 112 are included.
  • the operation determination control unit 125 includes a first click operation determination unit as in the first embodiment.
  • the first click operation determination unit determines that the contact position of the finger overlaps the display area of any icon 104 by the contact position determination unit 122 during the operation in the “touch focus” mode, and the pressing force determination unit 123.
  • the pressing force p C is equal to or greater than the predetermined threshold value p TH, it is determined that the user's operation corresponds to a “click” operation that activates the function of the currently selected icon 104.
  • the operation determination control unit 125 further includes a second click operation determination unit.
  • the contact time determination unit 121 determines that the holding time (t S2 -t 0 ) is equal to or longer than the predetermined time t TH.
  • the pressing force determination unit 123 determines that the pressing force p C is equal to or greater than the predetermined threshold p TH.
  • the “click” operation (immediate click operation) shown in FIG. 6 that is pressed as soon as the finger is brought into contact is detected, and the corresponding function is realized.
  • the pressing force detection unit 103 measures the pressing force p C applied by the finger touching the touch panel 100.
  • the pressing force determination unit 123 determines whether or not the pressing force p C detected by the pressing force detection unit 103 is equal to or greater than a predetermined pressing force threshold p TH .
  • step S611 When it is determined in step S604 that p C ⁇ p TH , the contact position determination unit 122 determines whether or not the contact position of the finger overlaps the display area of any icon 104. Determine. On the other hand, if it is determined in step S604 that p C ⁇ p TH , the process proceeds to step S605 to determine whether or not to activate the “touch focus” mode.
  • step S611 When it is determined in step S611 that any icon 104 is superimposed on the display area, it is determined that a “click” operation (immediate click operation) has been performed, and the corresponding operation is executed.
  • a “click” operation immediate click operation
  • the function of the icon 104 for example, activation of a predetermined application is activated.
  • step S605 When it is determined in step S604 that p C ⁇ p TH is satisfied (when the immediate click operation is not performed), the contact time determination unit 121 continues the finger for a predetermined time t TH or longer. It is determined whether or not the contact position has changed.
  • step S605 If it is determined in step S605 that the finger contact position has not changed for a predetermined time t TH or longer, the mode operation unit 124 operates the “touch focus” mode. Specifically, the entire image including the plurality of icons 104 is fixed without being moved, and the finger contact position (finger contact position signal output from the touch panel 100) is monitored (monitored).
  • step S605 if it is determined in step S605 that the finger contact position has changed before the predetermined time t TH has elapsed, the mode operation unit 124 operates the “drag” mode. Specifically, the entire image including the plurality of icons 104 can be moved in a direction specified by a drag operation with a finger.
  • step S622 Next, after the “touch focus” mode is operated, it is determined whether or not the finger is in contact with the touch panel 100. If it is determined that the finger is in contact with the touch panel 100, the process proceeds to step S623. On the other hand, when it is determined that the finger is not in contact with the touch panel 100, the input operation determination method is terminated, assuming that the finger is detached from the touch panel 100 and the operation by the finger is stopped.
  • the contact position determination unit 122 determines whether or not the contact position of the finger is superimposed on any icon 104 display area.
  • step S624 When it is determined in step S623 that the contact position of the finger is superimposed on the display area of any icon 104, the operation determination control unit 125 determines that the “focus” operation has been performed. Then, the corresponding operation is executed. Specifically, the icon 104 on which the finger contact position is superimposed is selected. At this time, it is preferable that the tactile response control unit 126 gives a contact response to the finger via the tactile response mechanism unit 102. It is also preferable that the operation determination control unit 125 causes the display 101 to highlight the selected icon 104 via the display control unit 111.
  • the pressing force detection unit 103 detects the pressing force p C applied by the finger that has touched the touch panel 100.
  • the pressing force determination unit 123 determines whether or not the pressing force p C detected by the pressing force detection unit 103 is equal to or greater than a predetermined pressing force threshold value pTH.
  • the operation determination control unit 125 determines that the contact position determination unit 122 overlaps the display position of any icon 104 with the contact position of the finger, and the pressing force determination unit 112 determines the pressing force in step S626. If it is determined that p C is equal to or greater than the pressing force threshold value p TH, it is determined that a “click” operation has been performed, and an operation corresponding to that is executed. Specifically, the function of the icon 104 selected this time, for example, activation of a predetermined application is activated.
  • the “click” operation (immediate click) does not wait for the above-described time elapse. Operation) is executed. Therefore, according to the present embodiment, various input operations can be reliably distinguished and executed by a combination of a plurality of basic operations including at least the contact and movement operations of the finger contact, push-in, holding and movement operations. It becomes possible.
  • FIG. 9 is a perspective view showing an appearance of a user interface device according to some other embodiments of the present invention.
  • FIG. 9A is a perspective view of a notebook personal computer 2 equipped with a user interface device according to another embodiment of the present invention.
  • a web browser for browsing a web page is activated, and an image displayed on the display 201 includes a plurality of links (another example of the object) 204. .
  • the “drag” mode is activated if the finger is moved immediately after touching the touch panel 200.
  • a drag operation is executed. At this time, for the user, moving the finger before the predetermined time t TH elapses after the contact with the finger is a point for operating the “drag” mode.
  • the user when the user confirms whether or not the desired link 204 exists in the part displayed on the display 201 of the web page, the user first touches the touch panel 200 and the user only touches the touch panel 200 for a predetermined time t TH. Maintain contact position. Thereby, the “touch focus” mode operates. Next, the user performs a “focus” operation in which the finger is moved while being in contact with the finger, and the finger contact position is superimposed on the display area of the desired link 204 that has been found.
  • the user performs a “click” operation in which the finger is pressed against the touch panel 200 with a pressing force equal to or greater than a predetermined pressing force threshold value p TH , whereby the function of the desired link 204 is activated, and the user performs the desired link.
  • a document or an image in the website indicated by 204 can be browsed.
  • FIG. 9B is a perspective view of a digital photo printer 3 equipped with a user interface device according to still another embodiment of the present invention.
  • the digital photo printer 3 receives a large number of digital photo data via a selected one of a plurality of input adapters 305 having different methods, and the display 301 supports the captured digital photo data.
  • a plurality of thumbnails (a further example of the object) 304 are displayed.
  • the “drag” mode is activated. A drag operation is executed. At this time, for the user, moving the finger before the predetermined time t TH elapses after the contact with the finger is a point for operating the “drag” mode.
  • the user touches the touch panel 300 for the time being and maintains the contact position for at least the predetermined time t TH .
  • the “touch focus” mode operates.
  • the user performs a “focus” operation in which the finger is moved with the finger touched and the finger touch position is superimposed on the desired display area of the desired thumbnail 304.
  • the user performs a “click” operation in which a finger is pressed against the touch panel 300 with a pressing force equal to or greater than a predetermined pressing force threshold value p TH , whereby a desired thumbnail 304 is selected and, for example, corresponding digital photo data is printed. Is set.
  • a plurality of links 204 or thumbnails 304 are displayed on the display 201 or 301 so that they are outside the display area of the links 204 or thumbnails 304. It may be difficult to touch the finger with the finger. Even in this case, according to the present embodiment, the input mode is determined by determining whether or not the finger contact position has been continuously changed for the predetermined time tTH or more. As a result, the “drag” mode can be easily operated regardless of the initial contact position of the finger, and the drag operation can be reliably executed.
  • the finger is first placed outside the display area of the desired link 204 or thumbnail 304 being displayed (the display area of another link 204 or thumbnail 304). (Including the inside) may also be considered.
  • the input mode is determined by determining whether or not the finger contact position has been continuously changed for the predetermined time tTH or more. As a result, regardless of the initial contact position of the finger, the “touch focus” mode can be easily operated, and then the “focus” operation for selecting the desired link 204 or thumbnail 304 can be reliably performed.
  • the finger when the user performs an input operation by bringing the finger into contact with the screen, the finger is displayed on the screen.
  • the desired object is traced with the finger on the image displayed on the screen. Can be selected.
  • the shape of the operation surface with which the finger comes into contact is generally a flat surface.
  • a finger for example, a thumb
  • the user performs an exercise of bending the finger while the base of the palm is substantially fixed, The tip of the finger tends to perform a curved motion rather than a linear motion. Therefore, if the shape of the operation surface is a two-dimensional or three-dimensional curved surface that protrudes away from the fingertip in accordance with the characteristics of the fingertip movement, the user can operate without leaving the operation surface. Becomes easy.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置を制御する方法であって、ユーザが前記指で前記操作面に接触してから、その操作面のうちの実質的に同じ位置に前記指を所定時間以上保持した場合に、前記指の接触位置のその後の移動の有無にかかわらず、前記画面上に表示されている画像を、前記画面上において移動することなく固定して表示する固定表示を開始し、その固定表示が開始された後、前記指の接触位置が、前記画面上に表示されている画像のうちの目標の視覚的オブジェクトの表示位置に対応する場合に、ユーザによって前記オブジェクトが暫定的に選択されたと判定するものが開示される。

Description

指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
　本発明は、画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面を操作することにより、ユーザの入力を可能とするユーザインタフェース装置に関連する技術に関する。
　従来から、ユーザが指、スタイラス等で画面を操作することによって入力操作を行うことが可能なユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)などによって代表される携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。
　タッチパネルの搭載の有無を問わず、携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、携帯型情報機器がユーザインタフェースとして複数の物理的な入力キーまたはボタンを採用した場合には、それら入力キー自体のサイズを小さくしなければならず、その結果、携帯型情報機器の操作性の低下が懸念される。これに対し、携帯型情報機器がユーザインタフェースとして、物理的なボタンに代えて仮想的なボタンを有するタッチパネルを採用した場合、仮想的なボタンのサイズを、それに対応するアプリケーションの機能に応じて適切に変更することができ、携帯型情報機器の操作性の向上を図ることができる。
　一方で、タッチパネルを用いると、物理的なキーを用いる場合と比較して、誤った入力操作が生じやすい傾向にある。具体的には、ユーザが意図せずにタッチパネルに触れた場合でも入力操作が感知されてしまったり、ユーザが入力操作を行ってもそれが正しく感知されず、所望の機能が発動せず、ユーザにとってやり直しの操作が必要となったりする。
　この誤入力の問題に対処する方策として、例えば、特許文献１には、タッチ操作の検出後にタッチパネルの検出周期を変更する技術が開示されている。この技術によれば、ユーザがタッチパネルに極僅かな時間で瞬間的に触れたという操作と、ユーザがタッチパネル上に置いた指でスクロールを行ったという操作とが互いに区別されて認識される。
　また、特許文献２には、タッチパネルが指でタッチされた際、表示された、複数の選択ボタンの一部が拡大され且つ再配列されてボタン選択が容易になる技術が開示されている。さらに、特許文献３には、同時に生じる複数の接触を検出可能なマルチタッチパネルを振動させることにより、所定の入力操作が行われたことをユーザに確認させる技術が開示されている。
　なお、導電面対向部を２つ備えたタッチパネルでの押圧を検知し、且つ押圧の大きさを検知する技術も存在する（特許文献４参照）。さらに、２つのタッチパネルを備えており、表示された画像の奥行き感に基づいてタッチ入力時における押圧力の度合を認識できる技術も存在する（特許文献５参照）。
特開２００７－１０６４５号公報 特開２００８－７７２７２号公報 特開２０１０－５５２８２号公報 特開２０００－１９４５０６号公報 特開２００７－１４８６１７号公報
　通常、多くの携帯型情報機器は、ユーザによって片手で保持され、その状態で、その片手のうちのある指で操作される。この指は、典型的には、携帯型情報機器の保持に寄与しない親指となる。そのため、このような指で確実に行える操作（すなわち、ユーザが正しい入力操作を行った場合のみ、その入力操作がユーザの意図通りに正しく認識されて入力される操作）の種類は、上述した誤入力への対策を施したとしてもなお、限られている。
　例えば、従来の携帯型情報機器においては、表示された画像全体を画面上において移動させるためにユーザに要求される操作は、ドラッグ操作である。ドラッグ操作とは、指のタッチパネルへの接触及びその後の接触したままの移動動作（接触及び移動動作）のことである。
　このように、従来の携帯型情報機器においては、基本的な動作の１つである接触及び移動動作という一連の動作がドラッグ操作としてのみ規定されているので、ユーザが、携帯型情報機器をそれを保持した片手の指で操作を行う場合、結局、この指が行うことのできる操作の種類の数が限定されてしまうという制約がある。現在、携帯型情報機器では、様々な機能が発動され得るようになっている。従って、携帯型情報機器は、より多くの種類の操作が実行可能であることを要求されるが、上述したような制約の下では、この要求に沿うことができない。
　また、このような問題は、そもそも指の接触位置の移動に合わせて画像全体を画面上で移動させる動作を想定していない技術、例えば特許文献１乃至５に開示された技術を用いても到底解決されるものではない。
　そこで、本発明は、指によるタッチパネルへの入力の際、指を接触させての種々の操作が実行可能となるユーザインタフェース装置、入力操作判定方法及びプログラムを提供することを目的とする。
　本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載するが、このように、各項を他の項の番号を引用する形式で記載することにより、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能となる。
（１）　ユーザの操作対象であるオブジェクトを含む画像を画面上に表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えており、前記指の接触位置の移動の種類を認識するモードとして、その移動をユーザのドラッグ操作として認識する「ドラッグ」モードを有するユーザインタフェース装置であって、
　前記指の接触位置が前記操作面上において実質的に保持される保持時間が所定時間以上であるか否かを判定する接触時間判定部と、
　その接触時間判定部によって前記保持時間が前記所定時間以上であると判定された場合に、ユーザの操作が前記ドラッグ操作に該当しないと判定し、前記「ドラッグ」モードではなく、前記指の接触位置の、前記操作面上におけるその後における前記移動の有無にかかわらず、前記オブジェクトを含む画像全体が前記画面上において移動することなく固定して表示される状態で、前記指の接触位置をモニタする「タッチフォーカス」モードを動作させるモード動作部と、
　前記「タッチフォーカス」モードの動作中、前記指の接触位置が前記オブジェクトの、前記画面上における表示領域と重畳するか否かを判定する接触位置判定部と、
　その接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定された場合に、ユーザにより、前記オブジェクトを暫定的に選択するための「フォーカス」操作が行われたと判定する操作判定制御部と
　を含むユーザインタフェース装置。
（２）　前記モード動作手段は、前記保持時間が前記所定時間より短い場合に、前記「ドラッグ」モードを動作させる一方、前記保持時間が前記所定時間以上である場合に、前記「タッチフォーカス」モードを動作させる（１）項に記載のユーザインタフェース装置。
（３）　前記操作面に接触している状態で前記指に対して触覚応答を与える触覚応答機構部と、
　前記操作判定制御部によって前記ユーザによって前記「フォーカス」操作が行われたと判定された場合に、前記指に対して前記操作面を介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
　をさらに含む（１）又は（２）項に記載のユーザインタフェース装置。
（４）　前記触覚応答制御部手段は、前記指が、予め定められた動作を行った場合に、その動作に応答して、前記指に、仮想的なボタンに代えて物理的なボタンを押下した場合に前記指がその物理的なボタンから受けるはずである感触を実質的に模擬するための振動を与える前記触覚応答機構部を制御する（３）項に記載のユーザインタフェース装置。
（５）　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
　をさらに含み、
　前記操作判定制御部は、前記「タッチフォーカス」モードの動作中、前記接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定され、かつ、前記押圧力判定部によって前記押圧力が前記所定閾値以上であると判定された場合に、ユーザにより、前記暫定的に選択されたオブジェクトの機能を発動させる「クリック」操作が行われたと判定する第１クリック操作判定部を含む（１）乃至（４）項のいずれかに記載のユーザインタフェース装置。
（６）　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
をさらに含み、
　前記操作判定制御部は、前記操作面に対する前記指の接触が開始されると、前記接触時間判定部によって前記保持時間が前記所定時間以上であると判定されるか否かを問わず、前記接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定され、かつ、前記押圧力判定部によって前記押圧力が前記所定閾値以上であると判定された場合に、ユーザにより、前記暫定的に選択されたオブジェクトの機能を発動させる「クリック」操作が行われたと判定する第２クリック操作判定部を含む（１）乃至（５）項のいずれかに記載のユーザインタフェース装置。
（７）　前記所定時間は、ユーザが前記ドラッグ操作を意図した場合に、前記指が前記操作面に接触してから次いで移動を開始するまでに平均的に要する時間よりも長く、且つ、ユーザが前記オブジェクトを選択する操作を意図した場合に、前記指が前記操作面に接触してから次いで移動を開始するまでに平均的に要する時間よりも短く設定される（１）乃至（６）項のいずれかに記載のユーザインタフェース装置。
（８）　前記接触時間判定部は、前記指の接触位置が前記オブジェクトの表示領域と重畳するか否かを問わず、前記保持時間を測定する（１）乃至（７）項のいずれかに記載のユーザインタフェース装置。
（９）　ユーザの操作対象であるオブジェクトを含む画像を画面上に表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えており、前記指の接触位置の移動を認識するモードとして、その移動をユーザのドラッグ操作として認識する「ドラッグ」モードを有するユーザインタフェース装置においてユーザの入力操作を判定する方法であって、
　前記指の接触位置が前記操作面上において実質的に保持される保持時間が所定時間以上であるか否かを判定する第１のステップと、
　その第１のステップにおいて前記保持時間が前記所定時間以上であると判定された場合に、ユーザの操作が前記ドラッグ操作に該当しないと判定し、前記「ドラッグ」モードではなく、前記指の接触位置の、前記操作面上におけるその後における前記移動の有無にかかわらず、前記オブジェクトを含む画像全体が前記画面上において移動することなく固定して表示される状態で、前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる第２のステップと、
　前記「タッチフォーカス」モードの動作中、前記指の接触位置が前記オブジェクトの、前記画面上における表示領域と重畳したか否かを判定する第３のステップと、
　その第３のステップにおいて前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定された場合に、ユーザにより、前記オブジェクトを暫定的に選択するための「フォーカス」操作が行われたと判定する第４のステップと
　を含む方法。
（１０）　前記第１のステップは、前記指の接触位置が前記オブジェクトの表示領域と重畳するか否かを問わず、実行される（９）項に記載の方法。
（１１）　操作面にユーザが指を接触させることによって入力を行うことが可能なユーザインタフェース装置を制御する方法であって、
　ユーザが前記指を前記操作面に接触させてから、その操作面のうちの実質的に同じ位置に前記指を所定時間以上保持した場合に、前記指の接触位置のその後の移動の有無にかかわらず、ユーザが観察している画像であって画面上に表示されているものを、前記画面上において移動することなく固定して表示する固定表示を開始する第１のステップと、
　その固定表示が開始された後、前記指の接触位置が、前記画面上に表示されている画像のうちの目標の視覚的オブジェクトの表示位置に対応する場合に、ユーザによって前記オブジェクトが暫定的に選択されたと判定する第２のステップと
　を含む方法。
（１２）　ユーザによって前記オブジェクトが暫定的に選択されたと判定された後、前記操作面に対する前記指の接触度合いが増加した場合に、ユーザにより、前記暫定的に選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作が行われたと判定する第３のステップをさらに含む(１１)項に記載の方法。
（１３）　前記操作面に対する前記指の接触が開始されると、前記所定時間が経過したか否かを問わず、前記指の接触位置が前記オブジェクトの表示位置に対応し、かつ、前記操作面に対する前記指の接触度合いが増加した場合に、ユーザにより、前記暫定的に選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作が行われたと判定する第３のステップをさらに含む(１１)又は（１２）項に記載の方法。
（１４）　（９）乃至（１３）項のいずれかに記載の方法を実行するためにコンピュータによって実行されるプログラム。
　本発明のユーザインタフェース装置、入力操作判定方法及びプログラムによれば、指によるタッチパネルへの入力の際、指の接触による入力を複数のモードで実行可能となる。
図１（Ａ）は、本発明の例示的な第１実施形態に従うユーザインタフェース装置を搭載した携帯型情報機器を、「タッチフォーカス」モードにおけるユーザの指の動きと共に示す前面図、及び、図１（Ｂ）は、その動きを拡大して示す側面図である。 図２(Ａ）は、図１に示す携帯型情報機器を、「クリック」操作におけるユーザの指の動きと共に示す前面図、及び、図２（Ｂ）は、その動きを拡大して示す側面図である。 図３(Ａ）は、図１に示す携帯型情報機器を、「ドラッグ」モードにおけるユーザの指の動きと共に示す前面図、及び、図３（Ｂ）は、その動きを拡大して示す側面図である。 図４は、図１に示す携帯型情報機器の構成を全体的に示す斜視図、並びに、その携帯型情報機器において実行される入力操作判定方法を概念的に示すフローチャートである。 図５は、図４に示す携帯型情報機器を概念的に表す機能ブロック図である。 図６（Ａ）は、本発明の例示的な第２実施形態に従うユーザインタフェース装置を搭載した携帯型情報機器を、クリック操作のためのユーザの指の動きと共に示す前面図、及び、図６（Ｂ）は、そのクリック操作及び「タッチフォーカス」モードにおけるユーザの指の動きを拡大して示す側面図である。 図７は、図６に示す携帯型情報機器の構成を全体的に示す斜視図、並びに、その携帯型情報機器を概念的に表す機能ブロック図である。 図８は、図７に示す携帯型情報機器において実行される入力操作判定方法を概念的に示すフローチャートである。 図９(Ａ)は、本発明の別の実施形態に従うユーザインタフェース装置を搭載したデバイスの外観を示す斜視図、及び、図９（Ｂ）は、本発明のさらに別の実施形態に従うユーザインタフェース装置を搭載したデバイスの外観を示す斜視図である。
　以下、図面を参照することにより、本発明の例示的ないくつかの実施形態を詳細に説明する。
　本発明が対象とするユーザインタフェース装置によれば、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、この種のユーザインタフェース装置の多くは、ユーザが手で持って携帯して操作することが可能である、スマートフォンやタブレット型コンピュータのような携帯型情報機器に搭載される。従って、以下、本発明の例示的ないくつかの実施形態として、本発明を携帯型情報機器のうちのユーザインタフェース装置に適用した場合を例にとり、説明する。
　まず、前記いくつかの実施形態に共通のいくつかの事項を概略的に説明するに、それら実施形態に従う携帯型情報機器は、ユーザの指のタッチパネルへの接触及びその後の接触したままの移動動作（接触及び移動動作）を受け付けた際、その入力操作を、単純にそのままドラッグ操作として画一的に認識するのではなく、動作可能な複数の入力モードのうちのいずれかを、実際の入力操作の種類に応じて自動的に選択する。すなわち、実際の入力操作の種類を自動的に識別し、その種類に応じた入力モードを設定する。
　具体的には、タッチパネル上での指の接触位置（その接触位置が、いずれかのオブジェクト（例えば、アイコン、キー、アイテム）の表示位置に重なるか否かを問わず）が所定時間以上継続して変化しなかったか否か、すなわち、指の接触位置がタッチパネル上で実質的に保持される保持時間が前記所定時間以上である（指が最初に接触してから、前記所定時間が経過した後に、その指の接触位置が変化した場合）か否かを判定する。
　その保持時間が前記所定時間以上であった場合には、今回の入力操作が通常のドラッグ操作に該当しないと判定して、「タッチフォーカス」モードを動作させる。一方、前記保持時間が前記所定時間に満たなかった場合（指が最初に接触してから、前記所定時間が経過する時までは、その指の接触位置が変化しなかった場合）には、今回の入力操作が通常のドラッグ操作に該当すると判定して、「ドラッグ」モードを動作させる。
　それぞれの入力モードは、以下の通りである。
（１）「タッチフォーカス」モード：指が移動しても、表示される画像全体を移動させることなく固定した状態で指の接触位置をモニタするモード。
（２）「ドラッグ」モード：指の移動に追従するように、表示される画像全体を移動させるモード。
　そして、前記いくつかの実施形態の特徴は、このように指が位置を変化させずに接触していた時間の長さを判定し、この判定結果に基づいて、複数の入力モードのうちのいずれかを選択して動作させることにある。
　ここで、「画像全体」とは、ディスプレイの画面に表示された全画像のうち、移動（スクロールというカテゴリに分類される動きを含む）の対象となる部分である。当然に、その対象となる部分は、画面上に表示された全画像でもあり得る。例えば、もとの画像が画面より大きい場合には、一画面に収まり切らない部分を有し、その部分は、画面外に隠れている（とされる）部分である。この部分を画面上に表示させることが必要である場合には、その部分が、ユーザの操作による移動対象となる。
　図１は、本発明の例示的な第１実施形態に従う携帯型情報機器１（例えば、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)など）を示しており、具体的には、「タッチフォーカス」モードを説明するための、携帯型情報機器１の前面図、及び、一連の指の動きの一例を示す側面図である。
　図１（Ａ）は、携帯型情報機器１の前面図である。この前面図に示すように、ディスプレイ１０１の画面に、複数のアイコン（それぞれが視覚的なオブジェクトの一例である）１０４を含む画像が表示されている。各アイコン１０４は、ユーザにとっての操作対象であり、後述する所定のユーザ操作によって選択され、さらに、選択されると、各アイコン１０４に予め割り当てられた機能を発動させられる。また、ディスプレイ１０１の画面上に、指の接触位置を時間経過につれて逐次出力するタッチパネル１００が配置されている（図４参照）。
　以下、図１（Ａ）に示す一例を用いて、「タッチフォーカス」モードを説明する。図１（Ａ）に示すように、この例においては、ユーザの指が、タッチパネル１００に接触し、所定時間以上接触位置を維持した後、接触を保ちながらタッチパネル１００上をなぞるように移動（スライド）している。しかしながら、従来のドラッグ操作とは異なり、アイコン１０４を含む画像全体は、指の移動にもかかわらず移動せず、固定された状態となっている。
　従って、ユーザは、指を接触させたまま移動させ、位置が固定された状態で画面上に表示されている複数のアイコン１０４に順次触れていくことができる。また、後述する接触位置判定部１２２（図５）が、指の移動中も、指の接触位置とアイコン１０４の表示領域とが重畳したか否かを判定している。このように画像全体を移動させることなく固定した状態で指の接触位置をモニタするモードが、「タッチフォーカス」モードである。
　「タッチフォーカス」モードは、例えば、表示された画像内に所望のアイコン１０４が存在する際に、その表示領域の近傍に指を接触させ、その後、指の接触位置を移動させながらこの表示領域に確実に重畳させたい場合に動作する。また、この「タッチフォーカス」モードは、所望のアイコン１０４の表示領域内に指を接触させ、このアイコン１０４を直ちに選択したい場合にも動作する。さらに、この「タッチフォーカス」モードは、指でタッチパネル１００の表面（表示された画像）をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを確かめながら、所望のアイコン１０４の表示領域まで指を確実に進めたい場合にも動作する。
　図１（Ｂ）は、上述した「タッチフォーカス」モードが動作する条件を説明するための、指による操作の概略図である。この概略図が示す例においては、最初に、指がタッチパネル１００に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。なお、図１（Ｂ）には、「ｐＣ＜ｐＴＨ」なる式が存在するが、この式は、特に、後述の第２実施形態の説明において必要となる。次いで、指は、接触位置を変化させずに接触したままの状態から、同じく接触したまま上側（図１（Ｂ）では左側）に移動（スライド）を開始する。この移動を開始する時刻をｔＳ２とする（ｔ＝ｔＳ２）。この場合、指の接触位置は、時間（ｔＳ２－ｔ０）（すなわち、保持時間）だけ継続して変化しなかったことになる。
　この時間（ｔＳ２－ｔ０）が所定時間ｔＴＨ以上の場合に（（ｔＳ２－ｔ０）≧ｔＴＨ）、後述するモード動作部１２４（図５）が、「タッチフォーカス」モードを動作させる。その後、複数のアイコン１０４を含む画像全体は、指の移動にもかかわらず、移動することなく固定される。なお、上述したｔＳ２－ｔ０≧ｔＴＨの条件が満たされれば、指の接触位置がその後も継続して移動しない場合でも、「タッチフォーカス」モードは動作する。
　同じく図１（Ｂ）に示すように、ユーザは、表示された画像をなぞりながら、指を移動させている。その後、所望のアイコン１０４を探し出し、その表示領域内に指を進めている。このように、「タッチフォーカス」モードの動作中、指の接触位置を所望のアイコン１０４の表示領域に重畳させる操作を、以後、「フォーカス」操作と称する。
　なお、所望のアイコン１０４の表示領域内に指を接触させ、所定時間ｔＴＨ後も継続して指の接触位置をこの表示領域と重畳させておく操作も、「フォーカス」操作に含まれる。「フォーカス」操作は、ユーザが所望のアイコン１０４を選択するために行われる操作であり、その後の、所望のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
　また、指の接触位置がいずれかのアイコン１０４の表示領域に重畳した際には、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンの存在を感じさせる振動（すなわち、指が、仮想的なボタンに代えて物理的なボタンを押下した場合に前記指がその物理的なボタンから受けるはずである感触を実質的に模擬するための振動）を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを触覚的に確認でき、安定した確実な操作感を得ることができる。
　ここで、物理的な押下ボタンの存在を感じさせる振動の例として、以下のものが挙げられる。最初に、アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、アイコン１０４の表示領域内の各点に高さ情報を付与する。その後、指がアイコン１０４の表示領域に差し掛かりその領域内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、突出した物理的な押下ボタンをなぞったときに得られるのと同じような感触を受ける。
　なお、「タッチフォーカス」モード（「フォーカス」操作）は、例えば、指をタッチパネル１００から離すことによって自動的に解除されることが好ましい。
　以上述べたように、前記いくつかの実施形態によれば、指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否かを判定し、その結果に応じて入力モードを選択する。その結果、指の接触及び移動動作によっても、ドラッグ操作ではなく、「タッチフォーカス」モードを容易に動作させることができる。また、この「タッチフォーカス」モードでは、画像全体を移動させず、タッチパネル１００上をなぞるように指を動かすことができるので、画面上に配列された複数のアイコン１０４のうちのいずれかを選択する「フォーカス」操作を確実に実行させることができる。
　図２は、「クリック」操作を説明するための、携帯型情報機器１の前面図、及び、一連の指の動きの一例を示す側面図である。
　図２（Ａ）は、携帯型情報機器１の前面図である。この前面図に示す例においては、「タッチフォーカス」モードの動作中、指が、接触したまま、タッチパネル１００上をなぞるように移動している。その後、指は所望のアイコン１０４の位置まで進み、その結果、指の接触位置が所望のアイコン１０４の表示領域と重畳する。この状態から、ユーザが指をより強く押し付けると、所望のアイコン１０４に予め割り当てられた機能が発動する。このアイコン１０４の機能を発動させるために指でアイコン１０４（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。
　図２（Ｂ）は、「クリック」操作と判定される条件を説明するための、指による操作の概略図である。この概略図に示す例においては、「タッチフォーカス」モードの動作中、指が、タッチパネル１００上をなぞるように移動し、指の接触位置が、所望のアイコン１０４の表示領域と重畳する。すなわち「フォーカス」操作が行われる。この際、上述したように、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動ｖ１を与えることもできる。
　次いで、この状態から、ユーザが指をより強く押し付け、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、「クリック」操作が行われたと判定され、ユーザによって選択された所望のアイコン１０４の機能が発動する。このように、押圧力ｐＣが押圧力閾値ｐＴＨ以上であることが、「クリック」操作と判定される条件となる。なお、押圧力ｐＣの測定は、後述する押圧力検出部１０３（図４）で行われる。
　また、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動ｖ２を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動ｖ１を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行った際に、振動ｖ２を受ける。
　これにより、ユーザは、実際にはこの仮想的な押下ボタンとして構成される所望のアイコン１０４を押したときに、あたかも物理的なに押下ボタンを押したかのような感覚を得る。その結果、ユーザは、タッチパネル１００上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を擬似的に得ることができる。
　図３は、「ドラッグ」モードを説明するための、携帯型情報機器１の前面図、及び一連の指の動きの一例を示す側面図である。
　図３（Ａ）は、携帯型情報機器１の前面図である。この前面図を用いて「ドラッグ」モードを説明する。図３（Ａ）に示す例においては、ユーザの指が、タッチパネル１００に接触した直後、接触を保ちながら上側に移動（スライド）している。
　この指の移動に伴って、アイコン１０４を含む画像全体が、指の移動分だけ上側に移動し、これまで画面に出現していなかった幾つかのアイコン１０４が新たに、画面の下側から出現して画面に現れている。このような指によって画像全体を移動させる操作、いわゆるドラッグ操作を可能にするモードが、「ドラッグ」モードである。
　「ドラッグ」モードは、例えば、画面上に所望のアイコン１０４が出現していないために、所望のアイコン１０４を出現させるべく画像全体を画面上で移動させたい場合や、画面にその一部しか表示されていない文書等の情報のうちの残りの部分を引き続き閲覧したい場合等に設定される。
　図３（Ｂ）は、上述した「ドラッグ」モードが動作する条件を説明するための、指による操作の概略図である。この概略図が示す例においては、最初に、指がタッチパネル１００に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。なお、図３（Ｂ）には、「ｐＣ＜ｐＴＨ」なる式が存在するが、この式は、特に、後述の第２実施形態の説明において必要となる。
　次いで、指は、接触位置を変化させずに接触したままの状態から、同じく接触したまま上側（図３（Ｂ）では左側）に移動（スライド）を開始する。この移動を開始する時刻をｔＳ１とする（ｔ＝ｔＳ１）。この場合、指の接触位置は、時間（ｔＳ１－ｔ０）だけ継続して変化しなかったことになる。この時間（ｔＳ１－ｔ０）が所定時間ｔＴＨ未満の場合に（（ｔＳ１－ｔ０）＜ｔＴＨ）、後述するモード動作部１２４（図５）が、「ドラッグ」モードを動作させる。その後、指の移動に伴って、所望のアイコン１０４を含む画像全体が移動する。
　ここで、画像全体の移動量は、指の移動量と一致していてもよく、指の移動量の定数倍等、指の移動量の適当な関数値であってもよい。また、当然に、指の移動する向きは上側に限定されるものではない。例えば指をタッチパネル１００の表面上での任意の向きに移動させ、画像全体を、この指の移動の向きに対応した、上側、下側、左側、右側、さらには斜めの向きのいずれにも移動可能とすることができる。
　また、上述した所定時間ｔＴＨは、ユーザがドラッグ操作を意図した場合に、指が接触してから次いで移動を開始するまでに平均的に要する時間ｔＡＶ１よりも長く設定される。この設定のために、例えば、多数のユーザに画像を移動させることを意図した操作を行わせて、接触位置が継続して変化しなかった時間の長さを複数のサンプル値として計測し、それらサンプル値の平均値ｔＡＶ１よりも十分に大きい値を、所定時間ｔＴＨとする。
　さらに、この所定時間ｔＴＨは、ユーザが特定のオブジェクトを選択する操作（例えば、指を操作面上の任意位置に置いたまま、画面上に一緒に表示された複数のアイコン１０４を観察し、それらアイコン１０４の中から所望のアイコン１０４を選択する意思決定（心理動作）を、指を保持したまま行い、その意思決定後、指を所望のアイコン１０４に向かって移動させるという操作）を意図した場合に、指が接触してから次いで移動を開始するまでに平均的に要する時間ｔＡＶ２よりも短く設定される。
　この設定のために、例えば、多数のユーザにオブジェクトを選択する操作を行わせて、接触位置が継続して変化しなかった時間の長さを複数のサンプル値として計測し、それらサンプル値の平均値ｔＡＶ２よりも十分に小さい値を、所定時間ｔＴＨとする。
　ここで、上記の時間ｔＡＶ１及びｔＡＶ２の双方を用いると、結局、所定時間ｔＴＨは、ｔＡＶ１＜ｔＴＨ＜ｔＡＶ２の条件を満たすように決定される。より具体的な実施例においては、ｔＴＨ値が、２００ｍｓｅｃに設定される。
　図４は、携帯型情報機器１の構成を全体的に示す斜視図、並びに、その携帯型情報機器１において実行される入力操作判定方法を概念的に示すフローチャートである。また、図５は、携帯型情報機器１を概念的に表す機能ブロック図である。
　図４に示すように、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、そのプロセッサ・メモリは、前記入力操作判定方法を実行するためのプログラムを実行することによってその機能を実現させる。
　前記プロセッサ・メモリにおいては、よく知られているように、プロセッサとメモリとが互いに共同してコンピュータを構成する。そのうちのメモリに、前記入力操作判定方法を実行するためのプログラムが予め記憶される。そのメモリは、そのプログラムをコンピュータ読み取り可能に、かつ、非過渡的に記録する記録媒体の一例である。
　ディスプレイ１０１は、ユーザの操作対象であるアイコン（オブジェクトの一例）１０４を含む画像を表示する。ディスプレイ１０１の表面は、画像が表示される画面である。また、タッチパネル１００は、ディスプレイ１００の画面の上方に配置され（本実施形態においては、平板状の隙間を隔てて対向配置され）ており、ユーザの指の接触位置を時間経過につれて逐次感知し、出力する。このタッチパネル１００の表面は、ユーザが携帯型情報機器１を操作するためにユーザが指先で接触する操作面である。
　その操作面は、前記画面に物理的に重ね合わされるが、指の接触位置を表す情報がタッチパネル１００からディスプレイ１０１に転送され、その接触位置に対応する位置がディスプレイ１０１に表示されるようになっている場合には、操作面を前記画面に物理的に重ね合わせることは不要である。
　このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
　それらディスプレイ１０１及びタッチパネル１００が、本実施形態におけるように、ディスプレイ機能とタッチパネル機能とがそれぞれ互いに異なるデバイスによって実現される、いわゆる複層式を採用する場合には、ディスプレイ１０１の画面とタッチパネル１００の操作面とがそれぞれ互いに分離し、かつ、操作面が画面に重ね合わせられているが、これに代えて、ディスプレイ機能とタッチパネル機能とが同じデバイスによって実現される、いわゆる単層式を採用する場合には、ディスプレイ１０１の画面とタッチパネル１００の操作面とが互いに一致する。
　触覚応答機構部１０２は、タッチパネル１００を振動させることにより、タッチパネル１００に接触した指に、特定の操作に対する応答として触覚応答を与える。触覚応答機構部１０２は、例えば、タッチパネル１００に対して「フォーカス」操作が行われた際に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動ｖ１（図２（Ｂ））を指に与える。また、触覚応答機構部１０２は、「クリック」操作が行われた際に、例えば、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動ｖ２（図２（Ｂ））を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
　本実施形態においては、触覚応答機構部１０２が、タッチパネル１００とディスプレイ１０１（例えば、液晶層）とによってサンドイッチされる。また、本実施形態においては、１個の振動体、または互いに隙間を隔てて配列された複数個の振動体が、携帯型情報機器１をそれの面直方向に投影して得られるシルエットを、全面的にではなく、局部的に覆うように、携帯型情報機器１に設置され、その１個の振動体が単独で、またはそれら複数個の振動体が互いに共同して、触覚応答デバイスを構成する。
　押圧力検出部１０３は、指がタッチパネル１００を押圧する押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、それら４箇所において、指を押し付けられ僅かに撓んだタッチパネル１００が押圧力検出部１０３を押圧する４つの力成分の合計値を、押圧力ｐＣとして検出する。この押圧力検出部１０３で検出された押圧力ｐＣが、所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、「クリック」操作が行われたと判定される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
　本実施形態においては、押圧力検出部１０３が、タッチパネル１００とディスプレイ１０１（例えば、液晶層）とによってサンドイッチされる。また、本実施形態においては、１個の圧力センサ、または互いに隙間を隔てて配列された複数個の圧力センサが、携帯型情報機器１をそれの面直方向に投影して得られるシルエットを、全面的にではなく、局部的に覆うように、携帯型情報機器１に設置され、その１個の圧力センサが単独で、またはそれら複数個の圧力センサが互いに共同して、押圧力センサデバイスを構成する。
　さらに、本実施形態においては、複数個の圧力センサが、タッチパネル１００とディスプレイ１０１との間に形成される平板状の空間内に、その平面に沿った方向に互いに離散するように配列されるため、タッチパネル１００とディスプレイ１０１との間に、それら圧力センサによっても埋められない隙間が積極的に形成される。その隙間は、ユーザが指でタッチパネル１００を局部的に押圧すると、そのタッチパネル１００が弾性的にたわむことを可能にする。そのたわみのおかげで、ユーザは、タッチパネル１００を押しているという実感を触覚的に体感できる。
　前記プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいて入力モードを選択して動作させ、さらに実際の入力操作の種類を判定して、それに対応する処理を実行する。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。
　図５に示すように、前記プロセッサ・メモリは、接触時間判定部１２１と、接触位置判定部１２２と、押圧力判定部１２３と、モード動作部１２４と、操作判定制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有している。
　接触時間判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置が、その接触開始から所定時間ｔＴＨ以上継続して変化しなかったか否かを判定し、この判定結果をモード動作部１２４に出力する。接触位置判定部１２１は、指の接触位置がいずれかのアイコン１０４の表示領域と重畳したか否かを判定し、この判定結果を操作判定制御部１２５に出力する。押圧力判定部１２３は、押圧力検出部１０３から出力される押圧力信号を入力し、指による押圧力が所定の押圧力閾値ｐＴＨ以上であるか否かを判定し、この判定結果を操作判定制御部１２５に出力する。
　モード動作部１２４は、接触時間判定部１２１からの判定結果に基づき、入力モードとして「タッチフォーカス」モード及び「ドラッグ」モードのいずれかを有効入力モードとして選択して動作させる。操作判定制御部１２５は、「タッチフォーカス」モードの動作中に、接触位置判定部１２２からの判定結果に基づいて、今回の操作が「フォーカス」操作であるか否かの判定を行い、「フォーカス」操作であれば、それに対応した動作を実行させる。さらに、操作判定制御部１２５は、同じく「タッチフォーカス」モードの動作中に、押圧力判定部１２３からの判定結果に基づいて、今回の操作が「クリック」操作であるか否かの判定を行い、「クリック」操作であれば、それに対応した動作を実行させる。触覚応答制御部１２６は、操作判定制御部１２５から出力された操作の判定結果に基づき、対応する触覚応答を指に対して与えるべく触覚応答機構部１０２を制御する。
　表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１の画面上に表示させる。また、表示制御部１１１は、モード動作部１２４から、「タッチフォーカス」モード及び「ドラッグ」モードのうち有効入力モードとして現在選択されているものを指示するための指示情報を入力し、指示された入力モードに応じた画像をディスプレイ１０１の画面上に表示させる。さらに、表示制御部１１１は、操作判定制御部１２５から、複数の入力操作のうち現在該当するものを指示するための指示情報を入力し、指示された入力操作に応じた画像をディスプレイ１０１の画面上に表示させる。
　次いで、図４に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される入力操作判定方法を説明する。
　図４に示すように、最初に、タッチパネル１００が指の接触を検知する（ステップＳ４０１）。次いで、接触時間判定部１２１が、所定時間ｔＴＨ以上継続して指の接触位置が変化しなかったか否かを判定する（ステップＳ４０２）。ここで、指の接触位置は、タッチパネル１００の表面（接触面）に設定されたｘｙ座標系を用いて、１つの座標（ｘ，ｙ）として表される。なお、指の接触を所定の面積を持った接触面として検出する場合もあるが、この場合は、接触面の中心となる位置の座標（中心座標）を接触位置とすることができる。
　また、それらステップＳ４０１及び４０２は、例えば、指がタッチパネル１００の操作面から離れないことを条件として、指の接触位置についての前回の検出値と今回の検出値とを互いに比較することを繰り返し、その比較結果が、両検出値が実質的に一致することを示す場合には、指の接触位置が変化しなかったと判定するように実行される。
　この指の接触位置は、指をタッチパネル１００に接触させた際に通常発生する指の震えによって、若干変動してしまうことがある。一例においては、その変動に起因した誤判定を防止するために、接触位置の座標の変動分を、補正により除去する。また、他の例においては、押圧時の指の震えによる接触位置の座標の変動範囲を予め予測しておき、この変動範囲内の座標変化を、指の接触位置の変化とはみなさないようにされる。いずれにしても、上述した、指の接触位置が継続して変化しなかったか否かの判定を、この指の震えによる変動の影響が除外された状態で行うことができる。すなわち、ユーザの意図に沿った操作を、安定して確実に判定することが可能となる。
　接触時間判定部１２１が、所定時間ｔＴＨ以上継続して指の接触位置が変化しなかったとの判定を行った場合には、モード動作部１２４が、「タッチフォーカス」モードを動作させる（ステップＳ４０４）。具体的には、複数のアイコン１０４を含む画像全体を移動させることなく固定した状態とし、指の接触位置（タッチパネル１００から出力される指の接触位置信号）をモニタ（監視）する。
　一方、接触時間判定部１２１が、所定時間ｔＴＨ内に指の接触位置が変化したとの判定を行った場合には、モード動作部１２４が、「ドラッグ」モードを動作させる（ステップＳ４０３）。具体的には、指によるドラッグ操作によって指定された方向に、アイコン１０４を含む画像全体を移動させ得る状態とする。
　以上説明した複数のステップを、操作するユーザの側から見て説明すると、モード動作部１２４は、指をタッチパネルに接触させた直後にその指を移動させた場合、「ドラッグ」モードを動作させ、指をタッチパネルに接触させ且つ少なくとも所定時間ｔＴＨだけその接触位置を維持した場合、「タッチフォーカス」モードを動作させる。
　次いで、「タッチフォーカス」モードが動作した際、接触位置判定部１２２は、指の接触位置がアイコン１０４の表示領域と重畳したか否かを判定する（ステップＳ４０５）。この接触位置判定部１２２が、指の接触位置がアイコン１０４の表示領域と重畳したとの判定を行った場合には、操作判定制御部１２５が、「フォーカス」操作が行われたと判定し、それに対応する動作を実行させる（ステップＳ４０６）。具体的には、画面上に表示されている複数のアイコン１０４のうち、指の接触位置が重畳したアイコン１０４を選択する。この際、触覚応答制御部１２６が指に対し触覚応答機構部１０２を介して接触応答を与えることが好ましい。また、操作判定制御部１２５が、表示制御部１１１を介して、ディスプレイ１０１に、選択されたアイコン１０４の強調表示を行わせることが好ましい。
　次いで、押圧力検出部１０３が、タッチパネル１００に接触した指によって与えられる押圧力ｐＣを検出する（ステップＳ４０７）。次いで、押圧力判定部１１２が、押圧力検出部１０３の検出した押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する（ステップＳ４０８）。
　次いで、操作判定制御部１１４は、接触位置判定部１１０が指の接触位置がいずれかのアイコン１０４の表示領域と重畳したとの判定を行うと共に、押圧力判定部１１２が押圧力ｐＣが押圧力閾値ｐＴＨ以上であるとの判定を行った場合にのみ、「クリック」操作が行われたと判定し、それに対応する動作を実行させる（ステップＳ４０９）。具体的には、選択されたアイコン１０４に予め割り当てられた機能、例えば、所定のアプリケーションの起動を発動させる。
　本実施形態によれば、このように、指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否かを判定し、その判定結果に基づいて、「タッチフォーカス」モード及び「ドラッグ」モードのいずれかを動作させる。従って、ある操作が、「タッチフォーカス」モード動作中の操作であるのか、「ドラッグ」モード動作中のドラッグ操作であるのかが互いに区別されて正しく判定され、さらに、同じ「タッチフォーカス」モード動作中に、ある操作が、「フォーカス」操作であるのか、「クリック」操作であるのかが互いに区別されて正しく判定される。すなわち、指の接触、保持及び移動動作のうち少なくとも接触及び移動動作を含む複数の基本動作の組合せにより、種々の入力操作を確実に区別して実行することが可能となる。
　次に、本発明の例示的な第２実施形態に従う携帯型情報機器１を説明する。ただし、本実施形態は、第１実施形態と共通する要素があるため、共通する要素については、同じ名称や符号を使用することによって重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
　ユーザが最初から指を、タッチパネル１００の操作面のうち、表示されている所望のアイコン１０４が対向する領域（以下、「アイコン表示領域」という）に接触させ、その後に素早くユーザがクリック操作（即座クリック操作）を行うことが必要である場合がある。このには、ユーザは、指をアイコン表示領域に接触させるやいなやタッチパネル１００を所定の閾値以上の押圧力で押し込む可能性がある。
　この場合、第１実施形態においては、指の接触が最初に検出された時期から所定時間ｔＴＨが経過してからでないと、ユーザによってクリック操作が行われたか否かが判定されない。そのため、ユーザは、自身のクリック操作に対する携帯型情報機器１の応答性が低いという印象を抱く可能性がある。なぜなら、第１実施形態においては、指の接触が最初に検出された時期から所定時間ｔＴＨが経過したために「タッチフォーカス」モードであると判定され、そのモードが開始されてから、ユーザの操作が「フォーカス」操作に該当すると判定され、かつ、指の接触度合いが所定閾値以上である場合にはじめて、ユーザの操作が「クリック」操作に該当すると判定されるからである。
　これに対して、本実施形態においては、指の接触が最初に検出されると、その時期から所定時間ｔＴＨが経過するのを待つことなく、指の接触位置がアイコン表示領域と重畳し、かつ、操作面に対する指の接触度合いが前記所定閾値以上である場合に、ユーザの操作が「クリック」操作に該当すると判定される。
　前記接触度合いは、前記指が前記操作面を押圧する押圧力と、前記指が前記操作面に接触する面積と、前記指が前記操作面に接触することによって発生する電気的特性の変化量と、前記指が前記操作面に接触することによって発生する温度の変化量のうちの少なくとも一つによって定義される。
　従って、本実施形態においては、ユーザが「タッチフォーカス」モードの発動を希望する場合には、ユーザは、操作面に対する指の接触度合いが前記所定閾値に到達しないように、すなわち、例えば、前述のように、図１及び図３に前記式を示すとともに、後に図６を参照して詳述するように、最初に指がタッチパネル１００に接触した際の押圧力ｐＣが所定の閾値ｐＴＨ未満である（ｐＣ＜ｐＴＨ）ように、タッチパネル１００を操作することが要請される。
　図６は、本実施形態における「クリック」操作（即座クリック操作）を説明するための、携帯型情報機器１の前面図、及び一連の指の動きの一例を示す側面図である。
　図６（Ａ）は、図１（Ａ）と同様の携帯型情報機器１の前面図を示す。ここでも、ディスプレイ１０１の画面に、複数のアイコン１０４を含む画像が表示されている。ユーザは、表示されたアイコン１０４の１つを所望のアイコン１０４として起動させるべく、その所望のアイコン１０４に最初から触れて、そのままアイコン１０４（タッチパネル１００）を押し込む。これにより、その所望のアイコン１０４に予め割り当てられた機能が直ちに発動する。
　この指による押し込みは、指が接触するやいなや開始されるので、この時点で、所定時間ｔＴＨは経過していないため、上述した「タッチフォーカス」モードに移行しない。また、そのときの押し込みの押圧力ｐＣは、ｐＣ≧ｐＴＨを満たしている。さらに、指の接触位置がアイコン１０４の表示領域と重畳している。従って、今回は、必要な条件が成立するため、「クリック」操作が行われたと判定され、所望のアイコン１０４に予め割り当てられた機能が発動する。
　このような「クリック」操作（即座クリック操作）によるアイコン機能の発動では、「タッチフォーカス」モード中の「クリック」操作（図２）による発動とは異なり、指が接触してから少なくとも所定時間ｔＴＨが経過するのを待つ必要はない。従って、ユーザは、所望のアイコン１０４を真上からいきなり指で押し込めば、直ちにこの所望のアイコン１０４に予め割り当てられた機能を発動することができる。
　なお、指が最初に接触して押し込んだ位置が、いずれかのアイコン１０４の表示領域外である場合、「クリック」操作との判定がなされることはない。この場合、図１に示す第１実施形態と同じく、この指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否か（「タッチフォーカス」モードが動作するか否か）の判定がなされる。
　図６（Ｂ）は、指を接触させるやいなや押し込む「クリック」操作（即座クリック操作）が受け入れられる条件を説明するための、指による操作の概略図である。この概略図に示す例においては、最初に、指がいずれかのアイコン１０４（タッチパネル１００）に接触する。この時刻をｔ０とする（ｔ＝ｔ０）。次いで、指は、この接触動作の延長として（別の動きを経ることなく）、このいずれかのアイコン１０４を押し込む。
　ここで、指による押圧力ｐＣが、ｐＣ≧ｐＴＨを満たしているか否かが判定される。この判定は、指の接触位置が時間（ｔＳ２－ｔ０）だけ継続して変化しなかったか否かの判定、即ち、（ｔＳ２－ｔ０）≧ｔＴＨであるか否かの判定が行われる前に行われる。従って、今回のようなクリック操作が行われた場合には、押圧力ｐｃが所定閾値ｐＴＨ以上であるとの判定がなされるタイミングは、必ず所定時間ｔＴＨの経過前となる。
　押圧力ｐｃが所定閾値ｐＴＨ以上であるとの判定が行われると、その後、指の接触位置が、いずれかのアイコン１０４の表示領域に重畳しているか否かが判定される。ここで、指の接触位置がいずれかのアイコン１０４の表示領域に重畳しているとの判定がなされた場合には、「クリック」操作が行われたと判定されて、今回のアイコン１０４に予め割り当てられた機能が発動させられる。一方、指の接触位置がいずれのアイコン１０４の表示領域にも重畳していないとの判定がなされた場合には、その後、図１に示す第１実施形態と同じく、この指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否か（「タッチフォーカス」モードが動作するか否か）の判定がなされる。
　このように、本実施形態によれば、所望のアイコン１０４を真上からいきなり指で押し込めば、「タッチフォーカス」モードに移行することなく、直ちにこの所望のアイコン１０４に予め割り当てられた機能を発動することができる。その結果、応答のより素早い操作性が実現される。
　また、触覚応答として、後述する触覚応答機構部１０２（図５）が、以上に述べた「クリック」操作（即座クリック操作）を行った指に対しても振動ｖ２を付与することができる。
　図７は、本実施形態に従う携帯型情報機器１の全体のハードウエア構成を示す斜視図であるとともに、携帯型情報機器１の全体のソフトウエア構成を概念的に表す機能ブロックである。
　図７に示すように、携帯型情報機器１は、第１実施形態と同様に、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、前記プロセッサ・メモリとを有する。
　同じく図７に示すように、前記プロセッサ・メモリは、第１実施形態と同様に、接触時間判定部１２１と、接触位置判定部１２２と、押圧力判定部１２３と、モード動作部１２４と、操作判定制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有している。
　それら要素は、操作判定制御部１２５を除き、図５に示す第１実施形態のうちの対応する要素と同様に機能する。操作判定制御部１２５は、第１実施形態と同様に、第１クリック操作判定部を有する。この第１クリック操作判定部は、「タッチフォーカス」モードの動作中、接触位置判定部１２２によって指の接触位置がいずれかのアイコン１０４の表示領域と重畳すると判定され、かつ、押圧力判定部１２３によって押圧力ｐＣが所定閾値ｐＴＨ以上であると判定された場合に、ユーザの操作が、暫定的に選択された今回のアイコン１０４の機能を発動させる「クリック」操作に該当すると判定する。
　操作判定制御部１２５は、第１実施形態とは異なり、さらに、第２クリック操作判定部をも有する。この第２クリック操作判定部は、操作面に対する指の接触が開始されると、接触時間判定部１２１によって前記保持時間（ｔＳ２－ｔ０）が前記所定時間ｔＴＨ以上であると判定されるか否かを問わず、接触位置判定部１２２によって指の接触位置がいずれかのアイコン１０４の表示領域と重畳すると判定され、かつ、押圧力判定部１２３によって押圧力ｐＣが所定閾値ｐＴＨ以上であると判定された場合に、ユーザの操作が、暫定的に選択された今回のアイコン１０４を発動させる「クリック」操作に該当すると判定する。
　その第２クリック操作判定部が追加されたおかげで、図６に示した、指を接触させるやいなや押し込む「クリック」操作（即座クリック操作）が感知され、それに対応する機能が実現される。
　次いで、図８に示されたフローチャートを用いて、前記プロセッサ・メモリで実施される入力操作判定方法を説明する。
（Ｓ６０１）最初に、指の接触の有無が測定される。
（Ｓ６０２）次いで、指がタッチパネル１００に接触しているか否かが判定される。
（Ｓ６０３）押圧力検出部１０３が、タッチパネル１００に接触した指によって与えられる押圧力ｐＣを測定する。
（Ｓ６０４）次いで、押圧力判定部１２３が、押圧力検出部１０３の検出した押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。
（Ｓ６１１）ステップＳ６０４においてｐＣ≧ｐＴＨであるとの判定がなされた場合には、接触位置判定部１２２が、指の接触位置がいずれかのアイコン１０４の表示領域と重畳しているか否かを判定する。一方、ステップＳ６０４においてｐＣ＜ｐＴＨであるとの判定がなされた場合には、ステップＳ６０５に移行し、「タッチフォーカス」モードを起動させるか否かの判定がなされる。
（Ｓ６１２）ステップＳ６１１においていずれかのアイコン１０４の表示領域と重畳しているとの判定がなされた場合には、「クリック」操作（即座クリック操作）が行われたと判定し、対応する動作を実行させる。具体的には、そのアイコン１０４の機能、例えば、所定のアプリケーションの起動を発動させる。
（Ｓ６０５）ステップＳ６０４においてｐＣ＜ｐＴＨであるとの判定がなされた場合（即座クリック操作が行われなかった場合）には、接触時間判定部１２１が、所定時間ｔＴＨ以上継続して指の接触位置が変化しなかったか否かを判定する。
（Ｓ６２１）ステップＳ６０５において所定時間ｔＴＨ以上継続して指の接触位置が変化しなかったとの判定がなされた場合には、モード動作部１２４が、「タッチフォーカス」モードを動作させる。具体的には、複数のアイコン１０４を含む画像全体を移動させることなく固定した状態とし、指の接触位置（タッチパネル１００から出力される指の接触位置信号）をモニタ（監視）する。
（Ｓ６３１）一方、ステップＳ６０５において所定時間ｔＴＨ経過前に指の接触位置が変化したとの判定がなされた場合には、モード動作部１２４が、「ドラッグ」モードを動作させる。具体的には、指によるドラッグ操作によって指定された方向に、複数のアイコン１０４を含む画像全体を移動させ得る状態とする。
（Ｓ６２２）次いで、「タッチフォーカス」モードが動作した後、指がタッチパネル１００に接触しているか否かが判定される。ここで、指がタッチパネル１００に接触しているとの判定がなされた場合には、ステップＳ６２３に移行する。一方、指がタッチパネル１００に接触していないとの判定がなされた場合には、指がタッチパネル１００から離脱して指による操作が停止したとして、本入力操作判定方法を終了する。
（Ｓ６２３）接触位置判定部１２２は、指の接触位置がいずれかのアイコン１０４の表示領域と重畳したか否かを判定する。
（Ｓ６２４）ステップＳ６２３において指の接触位置がいずれかのアイコン１０４の表示領域と重畳したとの判定が行われた場合には、操作判定制御部１２５が、「フォーカス」操作が行われたと判定し、それに対応する動作を実行させる。具体的には、指の接触位置が重畳したアイコン１０４を選択する。この際、触覚応答制御部１２６が指に対し触覚応答機構部１０２を介して接触応答を与えることが好ましい。また、操作判定制御部１２５が、表示制御部１１１を介して、ディスプレイ１０１に、選択されたアイコン１０４の強調表示を行わせることも好ましい。
（Ｓ６２５）次いで、押圧力検出部１０３が、タッチパネル１００に接触した指によって与えられる押圧力ｐＣを検出する。
（Ｓ６２６）次いで、押圧力判定部１２３が、押圧力検出部１０３の検出した押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。
（Ｓ６２７）操作判定制御部１２５は、接触位置判定部１２２が指の接触位置がいずれかのアイコン１０４の表示領域と重畳したとの判定を行うと共に、ステップＳ６２６において押圧力判定部１１２が押圧力ｐＣが押圧力閾値ｐＴＨ以上であるとの判定を行った場合には、「クリック」操作が行われたと判定し、それに対応する動作を実行させる。具体的には、今回選択されたアイコン１０４の機能、例えば、所定のアプリケーションの起動を発動させる。
　以上説明したように、本実施形態によれば、ユーザが指をいずれかのアイコン（オブジェクト）１０４に接触させるやいなや押し込んだ場合、上述したような時間経過を待たず、「クリック」操作（即座クリック操作）が実行される。従って、本実施形態によれば、指の接触、押し込み、保持及び移動動作のうちの少なくとも接触及び移動動作を含む複数の基本動作の組合せによって、種々の入力操作を確実に区別して実行することが可能となる。
　図９は、本発明の別のいくつかの実施形態に従うユーザインタフェース装置の外観を示す斜視図である。
　図９（Ａ）は、本発明の別の実施形態に従うユーザインタフェース装置を搭載したノート型パーソナルコンピュータ２の斜視図である。このノート型パーソナルコンピュータ２では、ウェブページを閲覧するためのウェブブラウザが起動しており、ディスプレイ２０１に表示された画像には、複数のリンク（前記オブジェクトの別の例）２０４が含まれている。
　ユーザが、閲覧中のウェブページのうち、ディスプレイ２０１に表示されていない部分を閲覧したい場合、指をタッチパネル２００に接触させた直後にこの指を移動させれば、「ドラッグ」モードが動作してドラッグ操作が実行される。この際、ユーザにとっては、指が接触して所定時間ｔＴＨが経過する前に指を移動させることが、「ドラッグ」モードを動作させるためのポイントとなる。
　一方、ユーザは、ウェブページのうち、ディスプレイ２０１に表示されている部分に所望のリンク２０４が存在するか否かを確認する場合、取り敢えず指をタッチパネル２００に接触させ、少なくとも所定時間ｔＴＨだけその接触位置を維持する。これにより、「タッチフォーカス」モードが動作する。次いで、ユーザは、指を接触させたまま移動させ、指の接触位置を、発見した所望のリンク２０４の表示領域に重畳させる「フォーカス」操作を行う。その後、ユーザは、所定の押圧力閾値ｐＴＨ以上の押圧力で指をタッチパネル２００に押し付ける「クリック」操作を行い、それによって、所望のリンク２０４の機能が発動し、ユーザは、その所望のリンク２０４が示すウェブサイト内の文書又は画像等を閲覧することができる。
　図９（Ｂ）は、本発明のさらに別の実施形態に従うユーザインタフェース装置を搭載したデジタル写真プリンタ３の斜視図である。このデジタル写真プリンタ３には、方式が異なる複数の入力アダプタ３０５のうち選択されたものを介して、多数のデジタル写真データが取り込まれており、ディスプレイ３０１には、取り込まれたデジタル写真データに対応する複数のサムネイル（前記オブジェクトのさらに別の例）３０４が表示されている。
　ユーザが、複数のサムネイル３０４のうち、ディスプレイ３０１に表示されていないサムネイル３０４を閲覧したい場合、指をタッチパネル３００に接触させた直後にこの指を移動させれば、「ドラッグ」モードが動作してドラッグ操作が実行される。この際、ユーザにとっては、指が接触して所定時間ｔＴＨが経過する前に指を移動させることが、「ドラッグ」モードを動作させるためのポイントとなる。
　一方、ユーザが、所望のサムネイル３０４がディスプレイ３０１に表示されているか否かを確認する場合、取り敢えず指をタッチパネル３００に接触させ、少なくとも所定時間ｔＴＨだけその接触位置を維持する。これにより、「タッチフォーカス」モードが動作する。次いで、ユーザは、指を接触させたまま移動させ、指の接触位置を、発見した所望のサムネイル３０４の表示領域に重畳させる「フォーカス」操作を行う。その後、ユーザは、所定の押圧力閾値ｐＴＨ以上の押圧力で指をタッチパネル３００に押し付ける「クリック」操作を行、それによって、所望のサムネイル３０４が選択されて、例えば対応するデジタル写真データを印画する、との設定がなされる。
　なお、図９（Ａ）及び（Ｂ）に示すそれぞれの実施形態では、ディスプレイ２０１又は３０１に複数のリンク２０４又はサムネイル３０４が互いに詰めて表示されていて、それらリンク２０４又はサムネイル３０４の表示領域外に指を接触させることが困難な場合がある。この場合でも、本実施形態によれば、指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否かを判定して入力モードの決定を行う。その結果、指の最初の接触位置にかかわらず、容易に「ドラッグ」モードを動作させ、ドラッグ操作を確実に実行させることができる。
　さらに、図９（Ａ）及び（Ｂ）に示すそれぞれの実施形態では、指を最初に、表示されている所望のリンク２０４又はサムネイル３０４の表示領域外（他のリンク２０４又はサムネイル３０４の表示領域内を含む）に接触させてしまう場合も考えられる。この場合でも、本実施形態によれば、指の接触位置が所定時間ｔＴＨ以上継続して変化しなかったか否かを判定して入力モードの決定を行う。その結果、この指の最初の接触位置にかかわらず、容易に「タッチフォーカス」モードを動作させ、その後、所望のリンク２０４又はサムネイル３０４を選択する「フォーカス」操作を確実に実行させることができる。
　以上の説明から明らかなように、上述のいくつかの実施形態に従うおユーザインタフェース装置、入力操作判定方法及びプログラムによれば、ユーザが指を画面に接触させて入力操作を行う際、指を画面に接触させたままでその指を動かしたときに正しく入力可能な指の動きの種類が複数存在し、それにより、指によるタッチパネルへの入力の際、指の接触による入力を複数のモードで実行可能となる。
　すなわち、ドラッグ操作と同様に指の接触及び移動という２種類の基本動作によって構成されるにもかかわらず、保持という基本動作が追加されることにより、ドラッグ操作とは種類が異なる操作によっても、入力を行うことが可能となる。その結果、指の接触による入力を複数のモードで実行可能となる。
　また、それら実施形態に従うユーザインタフェース装置、入力操作判定方法及びプログラムによれば、ユーザが指を画面に接触させて入力操作を行う際、画面上に表示された画像を指でなぞりながら所望のオブジェクトを選択することができる。
　また、それら実施形態においては、指が接触する操作面の形状が、一般的には、平面とされる。一方、ユーザが指（例えば、親指）を画面に接触させて入力操作を行う際、ユーザは、その指のうち、掌との付け根をほぼ固定したままその指を曲げる運動を行い、その結果、指の先端は、直線運動ではなく、曲線運動を行う傾向がある。よって、操作面の形状を、指先の運動の特性に合わせて、指先から離れる向きに凸となる２次元または３次元曲面とすれば、指が操作面から離れてしまうことなくユーザが操作することが容易となる。
　以上、本発明の実施形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の概要］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims (14)

  1. 　ユーザの操作対象であるオブジェクトを含む画像を画面上に表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えており、前記指の接触位置の移動の種類を認識するモードとして、その移動をユーザのドラッグ操作として認識する「ドラッグ」モードを有するユーザインタフェース装置であって、
    　前記指の接触位置が前記操作面上において実質的に保持される保持時間が所定時間以上であるか否かを判定する接触時間判定部と、
    　その接触時間判定部によって前記保持時間が前記所定時間以上であると判定された場合に、ユーザの操作が前記ドラッグ操作に該当しないと判定し、前記「ドラッグ」モードではなく、前記指の接触位置のその後における移動の有無にかかわらず、前記オブジェクトを含む画像全体が前記画面上において移動することなく固定して表示される状態で、前記指の接触位置をモニタする「タッチフォーカス」モードを動作させるモード動作部と、
    　前記「タッチフォーカス」モードの動作中、前記指の接触位置が前記オブジェクトの、前記画面上における表示領域と重畳するか否かを判定する接触位置判定部と、
    　その接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定された場合に、ユーザにより、前記オブジェクトを暫定的に選択するための「フォーカス」操作が行われたと判定する操作判定制御部と
    　を含むユーザインタフェース装置。
  2. 　前記モード動作手段は、前記保持時間が前記所定時間より短い場合に、前記「ドラッグ」モードを動作させる一方、前記保持時間が前記所定時間以上である場合に、前記「タッチフォーカス」モードを動作させる請求項１に記載のユーザインタフェース装置。
  3. 　前記操作面に接触している状態で前記指に対して触覚応答を与える触覚応答機構部と、
    　前記操作判定制御部によって前記ユーザによって前記「フォーカス」操作が行われたと判定された場合に、前記指に対して前記操作面を介して前記触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御部と
    　をさらに含む請求項１に記載のユーザインタフェース装置。
  4. 　前記触覚応答制御部手段は、前記指が、予め定められた動作を行った場合に、その動作に応答して、前記指に、仮想的なボタンに代えて物理的なボタンを押下した場合に前記指がその物理的なボタンから受けるはずである感触を実質的に模擬するための振動を与える前記触覚応答機構部を制御する請求項３に記載のユーザインタフェース装置。
  5. 　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    　をさらに含み、
    　前記操作判定制御部は、前記「タッチフォーカス」モードの動作中、前記接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定され、かつ、前記押圧力判定部によって前記押圧力が前記所定閾値以上であると判定された場合に、ユーザにより、前記暫定的に選択されたオブジェクトの機能を発動させる「クリック」操作が行われたと判定する第１クリック操作判定部を含む請求項１に記載のユーザインタフェース装置。
  6. 　前記指が前記操作面を押圧する押圧力を検出する押圧力検出部と、
    　その検出された押圧力が所定閾値以上であるか否かを判定する押圧力判定部と
    をさらに含み、
    　前記操作判定制御部は、前記操作面に対する前記指の接触が開始されると、前記接触時間判定部によって前記保持時間が前記所定時間以上であると判定されるか否かを問わず、前記接触位置判定部によって前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定され、かつ、前記押圧力判定部によって前記押圧力が前記所定閾値以上であると判定された場合に、ユーザにより、前記暫定的に選択されたオブジェクトの機能を発動させる「クリック」操作が行われたと判定する第２クリック操作判定部を含む請求項１に記載のユーザインタフェース装置。
  7. 　前記所定時間は、ユーザが前記ドラッグ操作を意図した場合に、前記指が前記操作面に接触してから次いで移動を開始するまでに平均的に要する時間よりも長く、且つ、ユーザが前記オブジェクトを選択する操作を意図した場合に、前記指が前記操作面に接触してから次いで移動を開始するまでに平均的に要する時間よりも短く設定される請求項１に記載のユーザインタフェース装置。
  8. 　前記接触時間判定部は、前記指の接触位置が前記オブジェクトの表示領域と重畳するか否かを問わず、前記保持時間を測定する請求項１に記載のユーザインタフェース装置。
  9. 　ユーザの操作対象であるオブジェクトを含む画像を画面上に表示するディスプレイ機能と、操作面に接触するユーザの指の接触位置を時間経過につれて逐次出力するタッチパネル機能とを備えており、前記指の接触位置の移動を認識するモードとして、その移動をユーザのドラッグ操作として認識する「ドラッグ」モードを有するユーザインタフェース装置においてユーザの入力操作を判定する方法であって、
    　前記指の接触位置が前記操作面上において実質的に保持される保持時間が所定時間以上であるか否かを判定する第１のステップと、
    　その第１のステップにおいて前記保持時間が前記所定時間以上であると判定された場合に、ユーザの操作が前記ドラッグ操作に該当しないと判定し、前記「ドラッグ」モードではなく、前記指の接触位置のその後における移動の有無にかかわらず、前記オブジェクトを含む画像全体が前記画面上において移動することなく固定して表示される状態で、前記指の接触位置をモニタする「タッチフォーカス」モードを動作させる第２のステップと、
    　前記「タッチフォーカス」モードの動作中、前記指の接触位置が前記オブジェクトの、前記画面上における表示領域と重畳したか否かを判定する第３のステップと、
    　その第３のステップにおいて前記指の接触位置が前記オブジェクトの表示領域と重畳すると判定された場合に、ユーザにより、前記オブジェクトを暫定的に選択するための「フォーカス」操作が行われたと判定する第４のステップと
    　を含む方法。
  10. 　前記第１のステップは、前記指の接触位置が前記オブジェクトの表示領域と重畳するか否かを問わず、実行される請求項９に記載の方法。
  11. 　画面上に画像を表示するとともに、その表示された画像に関連付けてユーザが指で操作面に接触することにより、ユーザの入力を可能とするユーザインタフェース装置を制御する方法であって、
    　ユーザが前記指で前記操作面に接触してから、その操作面のうちの実質的に同じ位置に前記指を所定時間以上保持した場合に、前記指の接触位置のその後の移動の有無にかかわらず、前記画面上に表示されている画像を、前記画面上において移動することなく固定して表示する固定表示を開始する第１のステップと、
    　その固定表示が開始された後、前記指の接触位置が、前記画面上に表示されている画像のうちの目標の視覚的オブジェクトの表示位置に対応する場合に、ユーザによって前記オブジェクトが暫定的に選択されたと判定する第２のステップと
    　を含む方法。
  12. 　ユーザによって前記オブジェクトが暫定的に選択されたと判定された後、前記操作面に対する前記指の接触度合いが増加した場合に、ユーザにより、前記暫定的に選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作が行われたと判定する第３のステップをさらに含む請求項１１に記載の方法。
  13. 　前記操作面に対する前記指の接触が開始されると、前記所定時間が経過したか否かを問わず、前記指の接触位置が前記オブジェクトの表示位置に対応し、かつ、前記操作面に対する前記指の接触度合いが増加した場合に、ユーザにより、前記暫定的に選択されたオブジェクトに予め割り当てられた機能を発動させる「クリック」操作が行われたと判定する第３のステップをさらに含む請求項１１に記載の方法。
  14. 　請求項９に記載の方法を実行するためにコンピュータによって実行されるプログラム。
PCT/JP2012/066711 2011-07-11 2012-06-29 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム WO2013008649A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280032317.2A CN103620541B (zh) 2011-07-11 2012-06-29 用户界面装置及方法
EP12811480.8A EP2733591B1 (en) 2011-07-11 2012-06-29 User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
US14/001,586 US9720587B2 (en) 2011-07-11 2012-06-29 User interface device enabling input motions by finger touch in different modes, and method and program for recognizing input motion

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011152819A JP5269154B2 (ja) 2011-07-11 2011-07-11 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP2011-152819 2011-07-11
JP2012063837A JP5912711B2 (ja) 2012-03-21 2012-03-21 指の接触・押圧によって種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP2012-063837 2012-03-21

Publications (1)

Publication Number Publication Date
WO2013008649A1 true WO2013008649A1 (ja) 2013-01-17

Family

ID=47505945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066711 WO2013008649A1 (ja) 2011-07-11 2012-06-29 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム

Country Status (4)

Country Link
US (1) US9720587B2 (ja)
EP (1) EP2733591B1 (ja)
CN (1) CN103620541B (ja)
WO (1) WO2013008649A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141761A (zh) * 2015-08-10 2015-12-09 努比亚技术有限公司 移动终端的状态切换装置、移动终端和状态切换方法
CN106201270A (zh) * 2016-07-15 2016-12-07 乐视控股（北京）有限公司 一种目标对象的处理方法及装置
WO2020016425A1 (en) 2018-07-20 2020-01-23 Association Institut De Myologie Compositions for the treatment of sarcopenia or disuse atrophy
WO2021089736A1 (en) 2019-11-06 2021-05-14 Association Institut De Myologie Combined therapy for muscular diseases

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169853A1 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
EP3264252B1 (en) 2012-05-09 2019-11-27 Apple Inc. Device, method, and graphical user interface for performing an operation in accordance with a selected mode of operation
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9489067B2 (en) * 2012-08-17 2016-11-08 Qualcomm Incorporated Scalable touchscreen processing with realtime role negotiation among asymmetric processing cores
US20140055369A1 (en) * 2012-08-22 2014-02-27 Qualcomm Innovation Center, Inc. Single-gesture mobile computing device operations
WO2014105278A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for determining whether to scroll or select contents
CN108845748A (zh) 2012-12-29 2018-11-20 苹果公司 用于针对多接触手势而放弃生成触觉输出的设备、方法和图形用户界面
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102301592B1 (ko) 2012-12-29 2021-09-10 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101958517B1 (ko) 2012-12-29 2019-03-14 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
JP5870212B2 (ja) * 2013-02-20 2016-02-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 携帯情報端末の制御方法及びプログラム
CN103197889B (zh) * 2013-04-03 2017-02-08 锤子科技（北京）有限公司 一种亮度调整方法、装置及一种电子设备
US9158410B2 (en) * 2013-05-16 2015-10-13 International Business Machines Corporation Utilizing a touch screen as a biometric device
KR102109617B1 (ko) * 2013-09-16 2020-05-13 주식회사 팬택 지문 인식기를 구비한 단말 및 이 지문 인식기를 통한 사용자 입력의 처리 방법
JP2015106165A (ja) * 2013-11-28 2015-06-08 京セラ株式会社 電子機器
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP5924555B2 (ja) * 2014-01-06 2016-05-25 コニカミノルタ株式会社 オブジェクトの停止位置制御方法、操作表示装置およびプログラム
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
CN111782128B (zh) 2014-06-24 2023-12-08 苹果公司 用于在用户界面中导航的列界面
JP6496752B2 (ja) * 2014-06-24 2019-04-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 入力デバイス及びユーザインターフェース対話
EP4280616A3 (en) * 2014-08-12 2024-03-06 Sony Group Corporation Information processing device, program, and information processing method
WO2016036545A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Reduced-size notification interface
KR102143308B1 (ko) 2014-09-02 2020-08-10 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US9928570B2 (en) 2014-10-01 2018-03-27 Calgary Scientific Inc. Method and apparatus for precision measurements on a touch screen
CN105739881B (zh) * 2014-12-12 2019-04-23 联想(北京)有限公司 一种信息处理方法及电子设备
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
CN104699346B (zh) * 2015-04-01 2017-11-10 上海中航光电子有限公司 阵列基板及其形成方法、触控显示设备的触控检测方法
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) * 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
JP6625372B2 (ja) * 2015-08-27 2019-12-25 株式会社デンソーテン 入力装置および車載装置
US10540071B2 (en) * 2015-09-08 2020-01-21 Apple Inc. Device, method, and graphical user interface for displaying a zoomed-in view of a user interface
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
JP6073451B1 (ja) * 2015-11-17 2017-02-01 京セラ株式会社 電子機器
CN108604157A (zh) * 2016-02-04 2018-09-28 华为技术有限公司 一种信息处理的方法及电子设备
CN105786343B (zh) * 2016-02-15 2019-05-24 努比亚技术有限公司 一种触控操作的实现方法及终端
CN105912163B (zh) * 2016-04-11 2019-06-14 北京小米移动软件有限公司 实体按键组件、终端、触控响应方法及装置
JP6758922B2 (ja) * 2016-06-01 2020-09-23 キヤノン株式会社 電子機器及びその制御方法
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
US10409421B2 (en) * 2016-06-12 2019-09-10 Apple Inc. Devices and methods for processing touch inputs based on adjusted input parameters
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
US10416771B2 (en) * 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US11068155B1 (en) 2016-12-30 2021-07-20 Dassault Systemes Solidworks Corporation User interface tool for a touchscreen device
EP3622377B1 (en) * 2017-05-12 2023-02-22 Razer (Asia-Pacific) Pte. Ltd. Apparatus, computer-readable medium and apparatus of controlling feedback parameters
CN107392613B (zh) * 2017-06-23 2021-03-30 广东小天才科技有限公司 一种用户交易验证方法及终端设备
US10656780B2 (en) * 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
KR102469754B1 (ko) 2018-02-13 2022-11-22 삼성전자주식회사 전자 장치 및 그 동작 방법
JP7037177B2 (ja) * 2018-03-29 2022-03-16 株式会社コナミデジタルエンタテインメント プログラムおよび情報処理装置
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
DK201870354A1 (en) 2018-06-03 2019-12-20 Apple Inc. SETUP PROCEDURES FOR AN ELECTRONIC DEVICE
JP2020042625A (ja) * 2018-09-12 2020-03-19 株式会社東海理化電機製作所 触覚呈示装置及び触覚呈示方法
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
KR102618969B1 (ko) * 2018-10-02 2023-12-28 삼성디스플레이 주식회사 표시장치
US10852874B2 (en) * 2018-11-08 2020-12-01 Massachusetts Institute Of Technology Methods and apparatus for three-dimensional touch sensing with load sensors
WO2020105299A1 (ja) * 2018-11-21 2020-05-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109739399B (zh) * 2018-11-23 2021-08-20 努比亚技术有限公司 一种图标选择控制方法、终端及计算机可读存储介质
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
CN114297620A (zh) 2019-03-24 2022-04-08 苹果公司 用于媒体浏览应用程序的用户界面
CN114115676A (zh) 2019-03-24 2022-03-01 苹果公司 包括内容项的可选表示的用户界面
EP3928526A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces for viewing and accessing content on an electronic device
JP7314576B2 (ja) 2019-04-03 2023-07-26 京セラドキュメントソリューションズ株式会社 入力装置
US11301128B2 (en) * 2019-05-01 2022-04-12 Google Llc Intended input to a user interface from detected gesture positions
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
DE102020107752A1 (de) 2020-03-20 2021-09-23 Daimler Ag Verfahren und Vorrichtung zur Auswahl von auf einem Bildschirm angezeigten Eingabefeldern und/oder zur Aktivierung von auf dem Bildschirm in einem ausgewählten Eingabefeld angezeigten Eingabeinhalten durch manuelle Eingaben
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
CN114779984A (zh) * 2021-01-05 2022-07-22 京东方科技集团股份有限公司 客户前置设备、触控显示方法、装置及存储介质
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US11567575B2 (en) * 2021-06-14 2023-01-31 Microsoft Technology Licensing, Llc Haptic response control
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424726A (ja) * 1990-05-15 1992-01-28 Fuji Facom Corp タッチスクリーンのカーソル表示装置
JPH10171600A (ja) * 1996-12-06 1998-06-26 Brother Ind Ltd 入力装置
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194506A (ja) 1998-12-25 2000-07-14 Nec Corp タッチパネル
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
JP4282683B2 (ja) 2005-05-31 2009-06-24 富士通テン株式会社 地図表示装置及び地図表示法
JP2007148617A (ja) 2005-11-25 2007-06-14 Alpine Electronics Inc タッチパネル付きディスプレイ装置
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP4818036B2 (ja) 2006-09-20 2011-11-16 三洋電機株式会社 タッチパネル制御装置およびタッチパネル制御方法
JP5309793B2 (ja) 2008-08-27 2013-10-09 日本電気株式会社 タッチパネル振動方法およびタッチパネル装置
GB2463012A (en) 2008-08-27 2010-03-03 Roke Manor Research Touch sensitive display with an actuator grid providing soft key feedback
US8315672B2 (en) 2008-12-01 2012-11-20 Research In Motion Limited Portable electronic device and method of controlling same
JP4885938B2 (ja) * 2008-12-25 2012-02-29 京セラ株式会社 入力装置
CN101833419B (zh) 2010-04-30 2013-10-09 华为终端有限公司 一种用户界面操作的方法及移动终端
JP5998936B2 (ja) 2010-01-06 2016-09-28 ▲華▼▲為▼▲終▼端有限公司 ピクチャ／インターフェースを表示するための方法および端末
CN101819486B (zh) 2010-03-23 2012-06-13 宇龙计算机通信科技(深圳)有限公司 一种触摸屏的监视处理方法、装置及移动终端
CN101937313B (zh) * 2010-09-13 2019-11-12 中兴通讯股份有限公司 一种触摸键盘动态生成和输入的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424726A (ja) * 1990-05-15 1992-01-28 Fuji Facom Corp タッチスクリーンのカーソル表示装置
JPH10171600A (ja) * 1996-12-06 1998-06-26 Brother Ind Ltd 入力装置
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
JP2010211509A (ja) * 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141761A (zh) * 2015-08-10 2015-12-09 努比亚技术有限公司 移动终端的状态切换装置、移动终端和状态切换方法
CN106201270A (zh) * 2016-07-15 2016-12-07 乐视控股（北京）有限公司 一种目标对象的处理方法及装置
WO2020016425A1 (en) 2018-07-20 2020-01-23 Association Institut De Myologie Compositions for the treatment of sarcopenia or disuse atrophy
WO2021089736A1 (en) 2019-11-06 2021-05-14 Association Institut De Myologie Combined therapy for muscular diseases

Also Published As

Publication number Publication date
EP2733591A1 (en) 2014-05-21
US9720587B2 (en) 2017-08-01
CN103620541A (zh) 2014-03-05
CN103620541B (zh) 2017-05-24
US20130332892A1 (en) 2013-12-12
EP2733591A4 (en) 2014-12-03
EP2733591B1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
WO2013008649A1 (ja) 指の接触による入力を複数のモードで実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP5295328B2 (ja) スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
TWI382739B (zh) 用以提供資訊的卷軸運動之方法、電腦程式產品、電子裝置及卷軸多功能鍵模組
JP5490508B2 (ja) タッチセンサを有する装置、触感呈示方法及び触感呈示プログラム
JP5576841B2 (ja) 押圧による画像のズームが可能なユーザインタフェース装置、画像ズーム方法及びプログラム
US8248386B2 (en) Hand-held device with touchscreen and digital tactile pixels
JP6132644B2 (ja) 情報処理装置、表示制御方法、コンピュータプログラム、及び記憶媒体
US20100103136A1 (en) Image display device, image display method, and program product
US20140362016A1 (en) Electronic book display device that performs page turning in response to user operation pressing screen, page turning method, and program
TW201017479A (en) Electronic device and touch control method thereof
JP2011221640A (ja) 情報処理装置、情報処理方法およびプログラム
JP5968588B2 (ja) 電子機器
JP2013196465A (ja) オブジェクト選択時に触覚応答が付与されるユーザインタフェース装置、触覚応答付与方法及びプログラム
JP2016015181A (ja) 押圧の度合いによって異なる機能を発動可能なユーザインタフェース装置、プログラム及び機能発動方法
JP5767148B2 (ja) 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム
JP6137714B2 (ja) 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム
JP5269154B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
JP5912711B2 (ja) 指の接触・押圧によって種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP5484618B2 (ja) 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム
JP5833511B2 (ja) マルチタッチ状態下で押圧位置を判別可能なユーザインタフェース装置、プログラム及び機能発動方法
JP6025920B2 (ja) 触覚対象画像の奥行き・高低に応じた触覚振動を付与可能なユーザインタフェース装置、触覚振動付与方法及びプログラム
KR101223527B1 (ko) 터치스크린 입력방법, 이를 위한 장치 및 이를 포함하는 사용자 단말
US20230359278A1 (en) Tactile Feedback
JP5787824B2 (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12811480

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14001586

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012811480

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE