WO2014148090A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2014148090A1
WO2014148090A1 PCT/JP2014/051116 JP2014051116W WO2014148090A1 WO 2014148090 A1 WO2014148090 A1 WO 2014148090A1 JP 2014051116 W JP2014051116 W JP 2014051116W WO 2014148090 A1 WO2014148090 A1 WO 2014148090A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
panel display
proximity
selection
information processing
Prior art date
Application number
PCT/JP2014/051116
Other languages
English (en)
French (fr)
Inventor
潤玉 許
亮行 高間
スミン 郭
司 青山
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to EP14768261.1A priority Critical patent/EP2977862B1/en
Priority to US14/777,623 priority patent/US9823823B2/en
Publication of WO2014148090A1 publication Critical patent/WO2014148090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Definitions

  • the present invention relates to an information processing apparatus and an information processing method.
  • a touch panel display As a user interface using a touch panel display, a technique for assisting a user's operation based on whether or not an object such as a user's finger or pen is close to a touch panel display by a predetermined distance or more is disclosed (for example, Document 1). , 2).
  • Document 1 a technique for assisting a user's operation based on whether or not an object such as a user's finger or pen is close to a touch panel display by a predetermined distance or more is disclosed (for example, Document 1). , 2).
  • the technique described in Patent Literature 1 when proximity of an object is detected on the touch panel display, the object selection and non-selection states are switched according to the detection area.
  • the technique described in Patent Document 2 provides a user interface corresponding to a user's touch operation by calculating a proximity speed of an object to a touch panel display and switching a mode of content to be displayed according to the proximity speed. ing.
  • the present invention has been made in view of the above circumstances, and provides an information processing apparatus and an information processing method that can easily select an object on a touch panel display and improve user operability. Objective.
  • an information processing apparatus includes a touch panel display that displays an object, contact state detection means that detects the proximity or contact state of an operator with respect to the touch panel display, and contact state detection.
  • a touch panel display that displays an object
  • contact state detection means that detects the proximity or contact state of an operator with respect to the touch panel display
  • contact state detection When the proximity state of the operation element to the touch panel display is detected by the means, based on the coordinate detection means for detecting the proximity position coordinates on the plane of the touch panel display, and the proximity position coordinates detected by the coordinate detection means, Calculates the direction in which the position coordinates of the proximity move along the plane direction of the touch panel display and the speed at which the coordinate position moves along the plane direction of the touch panel display, and selects the object displayed at the position corresponding to the direction of movement and the speed of movement. And an object selection means.
  • An information processing method is an information processing method executed by an information processing apparatus including a touch panel display for displaying an object, and detects a proximity or contact state of an operator with respect to the touch panel display.
  • the coordinate detection step for detecting the position coordinates of the proximity on the plane of the touch panel display and the coordinate detection step are detected.
  • the position coordinates of the proximity of the operator with respect to the touch panel display are detected, and based on this, the moving direction and the moving speed along the plane direction of the touch panel display are calculated, and according to the calculation result The desired object at the position is selected.
  • This makes it possible to easily select an object on the touch panel display and improve user operability.
  • the selection of the object is performed by the proximity operation, it is possible to prevent a conflict with the contact operation.
  • the information processing apparatus determines a selection region that is separated by a distance corresponding to a moving speed in a moving direction from a nearby position coordinate, and selects an object located in the selection region. May be. According to this configuration, the selection area located at a distance corresponding to the moving speed in the moving direction from the adjacent position coordinates is determined, and the object displayed at the position in the selection area is selected. As a result, it is possible to easily select an object on the touch panel display and further improve the operability of the user.
  • the object selection unit may repeatedly move the selection region when the coordinate detection unit repeatedly detects the position coordinate of the close movement. Therefore, even when an appropriate object cannot be selected by a single operation, the selection region is repeatedly moved by repeating the movement of the operation element with respect to the touch panel display, and an appropriate object can be selected. Therefore, it is possible to easily select an object on the touch panel display and further improve the user operability.
  • the information processing apparatus may cancel the selection of the object when the object selection unit does not detect the proximity state by the contact state detection unit in a state where the object selection unit selects the object. Thereby, the selection of the object can be easily canceled, and the operability of the user at the time of reselecting the object can be improved.
  • the information processing apparatus may confirm the selection when the contact state detection unit detects the contact state of the operator with the touch panel display in a state where the object selection unit selects the object.
  • the selection of the object can be easily confirmed, and the operability of the user when confirming the selection of the object can be improved.
  • an information processing apparatus and an information processing method capable of easily selecting an object on a touch panel display and improving user operability.
  • FIG. 3 It is a schematic block diagram of the information processing apparatus which concerns on one Embodiment of this invention. It is a figure which shows the example of an output of the object in the selection area on the touchscreen display of FIG. It is a figure which shows an example of a data structure of the position coordinate information of the proximity
  • FIG. 1 is a schematic configuration diagram of an information processing apparatus according to an embodiment of the present invention.
  • the information processing apparatus 1 is a portable information processing apparatus that can be connected to a mobile communication network represented by a smartphone, a tablet terminal, a mobile phone terminal, or the like, or a wireless LAN (Local Area Network).
  • a mobile communication network represented by a smartphone, a tablet terminal, a mobile phone terminal, or the like, or a wireless LAN (Local Area Network).
  • a wireless LAN Local Area Network
  • the information processing apparatus 1 includes a so-called touch panel display 21 as an output device that displays information, and a contact state detection unit 22, a coordinate detection unit 23, an object selection unit 24, and output control as functional components.
  • the function of each component will be described in detail.
  • the touch panel display 21 included in the information processing apparatus 1 is an input / output device that displays an image such as a menu screen, an icon image, a photograph, or a document, and accepts an information input operation by detecting the approach or contact of an operator. .
  • the touch panel display 21 detects the approach or contact of a user's finger as an operation element, but may be configured to be able to detect the approach or contact of a stylus pen as an operation element.
  • the touch panel display 21 is configured to be able to detect the approach distance between the user's finger and the screen of the touch panel display 21.
  • the touch panel display 21 is a capacitive touch panel display, and the distance (approach distance) between the screen and the finger by detecting the amount of change in capacitance between the finger and the circuit in the touch panel display 21. Can be calculated.
  • the touch panel display 21 may employ a configuration that can calculate an optical approach distance using infrared rays, such as an In-Cell type.
  • the contact state detection unit 22 is a contact state detection unit that detects the proximity or contact state of a finger with respect to the touch panel display 21.
  • the contact state detection unit 22 detects whether or not the finger is in proximity to the touch panel display 21 or in contact.
  • the state in which the finger is close refers to a state in which the finger 2 is close to the surface of the touch panel display 21 but is not in direct contact and is separated from the surface of the touch panel display 21 by, for example, several mm in the Z direction (vertical direction). .
  • the state in which the finger is in contact means a state in which the finger is in direct contact with the surface of the touch panel display 21.
  • the contact state detection unit 22 detects that the finger 2 is in proximity to the touch panel display 21, a message to that effect is output to the coordinate detection unit 23 described later.
  • the contact state detection unit 22 detects that the finger is not in proximity to the touch panel display 21, the fact is output to an object selection unit 24 described later.
  • the contact state detection unit 22 detects that a finger is in contact with the touch panel display 21, the fact is output to a coordinate detection unit 23 and an object selection unit 24 described later.
  • the contact state detection unit 22 detects the amount of change in capacitance between the finger and the inside of the touch panel display 21 to thereby detect the distance between the surface of the touch panel display 21 and the finger 2 (hereinafter simply referred to as “approach distance”). .) Can be calculated.
  • the contact state detection unit 22 may calculate the approach distance using infrared rays. In this case, as the touch panel display 21, an In-Cell type is used instead of a capacitance type.
  • the coordinate detection unit 23 is a coordinate detection unit that detects the proximity position coordinates when the contact state detection unit 22 outputs that the finger is in proximity.
  • the coordinate detection unit 23 includes an x-direction sensor and a y-direction sensor on the xy plane along the surface on the touch panel display 21.
  • the coordinate detection unit 23 detects a signal output from the x-direction sensor and the y-direction sensor when the finger approaches the touch panel display 21, so that the position of the xy plane on the touch panel display 21 on which the finger approaches (hereinafter, It simply detects “close position coordinates (x coordinate, y coordinate)”).
  • the coordinate detection unit 23 outputs the proximity position coordinates (x coordinate, y coordinate) for a predetermined time from t seconds to t + ⁇ t seconds when, for example, the contact state detection unit 22 starts outputting that the finger is in proximity. Detection is performed at intervals (for example, at intervals of 0.1 second). The time until the detection is completed may be a time until the proximity of the finger is not detected by the contact state detection unit 22, or a predetermined time may be determined in advance.
  • the detected proximity position coordinates (x coordinate, y coordinate) are stored in the coordinate information storage unit 30 described later. Further, when the detection of the adjacent position coordinates (x coordinate, y coordinate) is completed, the coordinate detection unit 23 outputs a message to that effect to the object selection unit 24 described later.
  • the coordinate detection unit 23 detects the contact position coordinates in the same manner as described above.
  • the coordinate detection unit 23 detects the position coordinate of the contact, the coordinate detection unit 23 outputs the position coordinate to the object selection unit 24.
  • the coordinate detection unit 23 when an object in the selection area is not fixed by the object selection unit 24 to be described later and the fact that the finger is in proximity is output by the contact state detection unit 22, The position coordinates (x coordinate, y coordinate) are detected again.
  • the proximity position coordinates (x coordinate, y coordinate) detected by the coordinate detection unit 23 are newly stored in the coordinate information storage unit 30 described later.
  • the coordinate detection unit 23 outputs the fact to the object selection unit 24 described later.
  • the object selection unit 24 moves along the xy plane direction in which the proximity position coordinates are parallel to the surface of the touch panel display 21 based on the proximity position coordinates (x coordinate, y coordinate) output by the coordinate detection unit 23.
  • Object selection means for calculating a direction and a speed and selecting an object displayed at a position corresponding to the calculated direction and speed.
  • the coordinate detection unit 23 outputs that the detection of the proximity position coordinates (x coordinate, y coordinate) is completed
  • the object selection unit 24 outputs the proximity position coordinates (stored in the coordinate information storage unit 30 described later) Based on the time change of the x-coordinate and y-coordinate), the direction and speed in which the finger moves along the xy plane direction parallel to the surface of the touch panel display 21 is calculated.
  • the object selection unit 24 moves the finger calculated from the proximity position coordinates (x coordinate, y coordinate) currently detected toward the direction in which the calculated finger moves along the xy plane direction. A selection region at a position separated by a distance corresponding to the moving speed along the plane direction is determined. Then, the object selection unit 24 selects an object displayed in the selection position area as an object in the selection area.
  • the distance according to the speed at which the finger moves in the xy plane direction can be calculated by multiplying the speed by a predetermined proportional constant ⁇ , for example, by multiplying the speed by a predetermined proportional constant ⁇ .
  • the position coordinates of the desired selection region are obtained by adding the calculated distances to the proximity position coordinates (x coordinate, y coordinate) currently detected in the direction in which the finger moves.
  • the selection area means a rectangular area or a circular area having a predetermined size
  • the position coordinates of the selection area means, for example, the center position of the selection area.
  • the size of the selection area is, for example, the same size as the area where one object is displayed.
  • the object in the selection area can be acquired by storing the position coordinates of the object in the object information storage unit 32 described later in advance.
  • the object selection unit 24 notifies the output control unit 26 (described later) of information specifying the object in order to perform various output controls on the object in the selection region.
  • the object selection unit 24 repeatedly moves the selection region when the coordinate detection unit 23 repeatedly detects the movement of the adjacent position coordinates. For example, when the object selection unit 24 selects an object and the selection is not confirmed, and the contact state detection unit 22 detects a close state again, the object selection unit 24 causes the finger to move in the xy plane direction. The direction and speed of moving along are calculated again. The calculation is based on the time change of the proximity position coordinates (x coordinate, y coordinate) newly stored in the coordinate detection unit 23. Based on the calculated movement direction and speed of the finger, the object selection unit 24 moves the selection area again to a position farther in the movement direction than the position of the current selection area, and moves the selection area in the selection area after the movement.
  • the object at the position is selected again as the object in the selection area.
  • the object selection unit 24 acquires an object in the selection region, the object selection unit 24 notifies the output control unit 26 (described later) of information specifying the object in order to perform various output controls on the object in the selection region.
  • the object selection unit 24 cancels the selection of the object when the contact state detection unit 22 outputs that the proximity state is not detected in the state where the object is selected. In this case, the object selection unit 24 outputs to the output control unit 26 that the object selection is cancelled.
  • the object selection unit 24 determines the selection of the object when the contact state detection unit 22 outputs that the contact state is detected in the state where the object is selected. In this case, the object selection unit 24 outputs to the output control unit 26 that the selection of the object is confirmed.
  • the coordinate information storage unit 30 stores the close position coordinates (x coordinate, y coordinate) output by the coordinate detection unit 23.
  • the object information storage unit 32 stores the position coordinates of each object.
  • FIG. 2 is a diagram showing an output example of objects in the selected area on the touch panel display of FIG.
  • the pointer 4 (emphasis). display).
  • the display of the object 3 in the selection area is not limited to highlighting or display by the pointer 4, and may be performed by, for example, reversing the color of the object 3 in the selection area or by a symbol or figure other than the pointer 4.
  • the output control unit 26 uses the coordinate detection unit 23 to press the confirmation button 7 for confirming the object 3 in the selection region selected by the object selection unit 24. It is displayed at the position where the proximity of is detected. As shown in FIG. 2C, the output control unit 26 emphasizes the object 3 in the selected area when the proximity of the finger 2 to the touch panel display 21 is not detected by the contact state detection unit 22. Hide display. That is, the highlighting of the object 3 in the selection area is not performed, the pointer 4 is also hidden, and the selection of the object is released. In addition, when the object selection unit 24 outputs that the object 3 in the selected area is confirmed, the output control unit 26 performs various outputs indicating that the object 3 in the selected area is confirmed. . Further, when the position where the contact of the finger 2 is detected by the coordinate detection unit 23 is output, the output control unit 26 performs various outputs indicating that the position is determined. For example, an output associated with the activation of the application indicated by the confirmed object is performed.
  • FIGS. 5 is a flowchart showing an example of an operation for selecting an object by the information processing apparatus of FIG. 1
  • FIG. 6 is a flowchart in which an operation for displaying a confirmation button on the touch panel display is added to FIG. 5
  • FIG. 8 is a flowchart obtained by adding an operation for displaying a confirmation button on the touch panel display to FIG. 7.
  • the coordinate detection unit 23 determines whether or not the proximity of the finger 2 to the touch panel display 21 is not detected ( S3: Contact state detection step).
  • S3: YES the selection of the object is canceled (S11).
  • the coordinate detection unit 23 determines that the proximity of the finger 2 is not undetected (S3: NO) of the finger is t. It is detected at intervals of 0.1 seconds for up to t + ⁇ t seconds (S4: coordinate detection step).
  • the direction and speed in which the adjacent finger 2 moves is calculated by the object selection unit 24 from the time change of the position coordinates (x coordinate, y coordinate) of the proximity of the finger 2 (S5: object selection step). Subsequently, it is determined whether or not the moving speed of the finger 2 is greater than 0 (S6). If it is determined that the moving speed of the finger 2 is 0 or less (S6: NO), the region where the object is selected remains unchanged at the position in step S2, and the process proceeds to step S9. On the other hand, if it is determined that the moving speed of the finger 2 is greater than 0 (S6: YES), the object selection unit 24 moves the selection area where the object is selected ahead of the moving direction of the finger 2 according to the moving speed.
  • the object selection unit 24 selects an object in the selected area (S8: object selection step). Specifically, as shown in FIG. 2A, when the finger 2 is moved in the direction of the arrow A while the finger 2 is in proximity to the touch panel display 21, the pointer displayed at the proximity position of the finger 2. 8 moves in the direction of arrow A by a distance corresponding to the speed at which the finger 2 is moved. Therefore, the position of the object in the selection area indicated by the pointer changes depending on the speed at which the finger 2 is moved. In other words, the object 3 is farther from the position coordinates (x coordinate, y coordinate) of the finger 2 than the object 5, so that the object 3 is selected faster than the object 5 is selected. Move your finger. The selected object 3 is highlighted, for example, and a pointer 4 is displayed at a position pointing to the object 3.
  • the contact state detection unit 22 determines whether or not the contact of the finger 2 is detected (S9: contact state detection step). If it is determined that contact with the finger 2 has not been detected (S9: NO), the selection of the object 3 is canceled (S11: object selection step), and the highlight of the object 3 and the pointer 4 pointing to the object 3 are hidden. To do. Specifically, as illustrated in FIG. 2C, when the object 3 is selected and the finger 2 is separated from the touch panel display 21 so that the proximity to the touch panel display 21 cannot be detected, the object selection unit 24 is selected. Cancels the selection of object 3.
  • the object selection unit 24 selects the object 3 Is determined (S10: Object selection step). As described above, the operation of selecting an object by the information processing apparatus 1 ends.
  • the operation shown in FIG. 6 is different from the operation of selecting an object by the information processing apparatus 1 shown in FIG. 1 shown in FIG. 5 described above in that the confirmation button 7 is displayed on the touch panel display 21 in step S109.
  • the contact state detection unit 22 indicates that the contact state has been detected, and the object selection unit 24 determines the selection of the object 3 (S111: object selection step).
  • steps S209 to S214 the operations in steps S203 to S208 are repeated again. Is a point.
  • the object selected by the object selection unit 24 is the object 5 shown in FIG. 2A, the object is selected after the proximity of the finger 2 is detected in subsequent steps S209 to S214.
  • the object 3 located farther from the proximity position of the finger 2 than the object 5 is selected, and the pointer 4 pointing to the object 3 is displayed. Therefore, the user can select the object 3 at a position farther than the object 5 with respect to the position coordinates (x coordinate, y coordinate) of the proximity of the finger 2 by repeating the movement of the finger 2.
  • the operation shown in FIG. 8 is different from the operation of repeatedly selecting an object by the information processing apparatus shown in FIG. 1 shown in FIG. 7 described above in that the confirmation button 7 is displayed on the touch panel display 21 in steps S309 and S316. is there.
  • the contact state detection unit 22 indicates that the contact state has been detected, and the object selection unit 24 determines the selection of the object 3 (S318: object selection step).
  • the object selection unit 24 detects the proximity position coordinates, and based on the detected position coordinates.
  • the direction of movement along the plane direction of the touch panel display 21 and the speed of movement along the plane direction of the touch panel display 21 are calculated, and an object at a position corresponding to the calculation result is selected. Therefore, for example, when operating the information processing apparatus 1 with one hand, it is useful when there is an object in a range where the finger 2 does not reach the touch panel display 21.
  • the user can easily select an object in a range where the finger 2 does not reach with one-handed operation. Therefore, it is possible to select a desired object according to the moving direction and moving speed of the finger 2 with respect to the touch panel display 21, and it is possible to easily select an object on the touch panel display 21 and improve user operability. It becomes.
  • the selection of the object is performed by the proximity operation, in the case of the contact operation, the object that is hidden behind the operator and cannot be seen is visible.
  • an object can be selected without directly touching the touch panel display, it is more hygienic than the case of direct operation.
  • the object selection unit 24 determines a selection area that is located at a distance corresponding to the moving speed in the direction of movement from the adjacent position coordinates, and selects an object located in this selection area. Therefore, for example, a range where the finger 2 does not reach the touch panel display 21 is determined as a selection region, and an object in a range where the finger 2 does not reach can be easily selected. Therefore, it is possible to easily select an object on the touch panel display and further improve the user operability.
  • the object selection unit 24 repeatedly moves the selection region when the coordinate detection unit 23 repeatedly detects the movement of the adjacent position coordinates. For this reason, for example, when operating the information processing apparatus 1 with one hand, even if there is an object in a range where the finger 2 does not reach the touch panel display 21, the finger 2 is repeatedly moved along the plane direction of the touch panel display 21. The detection of the movement of the adjacent position coordinates is repeated by the coordinate detection unit 23, and the selected region is repeatedly moved. That is, it is possible to select an object in a range that the finger 2 does not reach while operating with one hand.
  • an appropriate object can be selected by repeating the movement of the finger 2 with respect to the touch panel display 21, and an object on the touch panel display 21 can be easily selected. Thus, it is possible to further improve the user operability.
  • the selection of the object is released. For this reason, for example, when operating the information processing apparatus 1 with one hand, when it is desired to cancel the selection of an object within the range where the finger 2 on the touch panel display 21 does not reach, the range where the finger 2 does not reach with the operation with one hand The selection of the object in can be released. Therefore, the selection of the object can be easily canceled, and the operability of the user at the time of reselecting the object can be improved.
  • the selection of the object is confirmed. For this reason, for example, when operating the information processing apparatus 1 with one hand, when it is desired to confirm the selection of an object within the range where the finger 2 on the touch panel display 21 does not reach, the range where the finger 2 does not reach with the operation with one hand The selection of the object at can be confirmed. Therefore, the selection of the object can be easily confirmed, and the operability of the user when the selection of the object is confirmed can be improved.
  • the distance corresponding to the speed at which the finger 2 moves in the xy plane direction is obtained by multiplying the speed by a predetermined proportional constant ⁇ , for example.
  • ⁇ a predetermined proportional constant
  • the speed of moving in the xy plane direction and the distance corresponding thereto may be stored in advance in a memory and obtained by reading them out.
  • the output for the object in the selected area is not limited to the above embodiment.
  • the user may be notified of an object in the selected area by vibration or voice.
  • the object information storage unit 32 stores the position coordinates of each object, it is not limited to this. For example, a predetermined range in which each object is assumed to be located may be stored.
  • the selected area is a rectangular area or a circular area having a predetermined size, but is not limited thereto, and can take various shapes.
  • the present invention makes it possible to use an information processing apparatus and an information processing method, and to easily select an object on a touch panel display to improve user operability.
  • SYMBOLS 1 Information processing apparatus, 2 ... Finger (operator), 3, 5 ... Object, 21 ... Touch panel display, 22 ... Contact state detection part (contact state detection means), 23 ... Coordinate detection part (coordinate detection means), 24 ... Object selection part (object selection means).

Abstract

　情報処理装置１は、オブジェクトを表示するタッチパネルディスプレイ２１と、タッチパネルディスプレイ２１に対する指２の近接又は接触の状態を検知する接触状態検知部２２と、接触状態検知部２２によりタッチパネルディスプレイ２１に対する指２の近接の状態を検知した場合に、タッチパネルディスプレイ２１の平面上の近接の位置座標を検出する座標検出部２３と、近接の位置座標に基づいて、近接の位置座標がタッチパネルディスプレイ２１の平面方向に沿って移動する方向及び速度を算出し、移動する方向及び速度に応じた位置に表示されるオブジェクトを選択するオブジェクト選択部２４と、を備える。

Description

情報処理装置及び情報処理方法
　本発明は、情報処理装置及び情報処理方法に関する。
　従来、スマートフォンやタブレットにおいては、タッチパネル式のディスプレイ（以下、「タッチパネルディスプレイ」とする。）における操作が主流となっている。タッチパネルディスプレイを用いたユーザインタフェースとして、ユーザの指又はペン等の物体がタッチパネルディスプレイへ所定の距離以上近接したか否かに基づいてユーザの操作を補助する技術が開示されている（例えば、文献１，２参照）。特許文献１に記載の技術では、タッチパネルディスプレイにおいて物体の近接を検知した際、検知領域に応じてオブジェクトの選択及び非選択状態を切り替えている。特許文献２に記載の技術では、物体のタッチパネルディスプレイへの近接速度を算出して、その近接速度に応じて表示するコンテンツのモードを切り替えることで、ユーザのタッチ操作に応じたユーザインタフェースを提供している。
特開２０１０－２２４６６３号公報 特開２０１０－２０５０５０号公報
　しかしながら、近年、タブレット等の端末装置及びタッチパネルディスプレイのサイズが大きくなる傾向にあるため、従来のタッチパネルディスプレイを用いた情報処理装置では全ての操作を片手で行うことは困難となっている。例えば、タッチパネルディスプレイのサイズが大きい場合、片手で端末を把持した際に指がタッチパネルディスプレイへ届かない範囲があるため、片手のままタッチパネルディスプレイ上に表示されたオブジェクトを選択することができず、ユーザの操作性が低下するおそれがある。
　本発明は上記実情に鑑みてなされたものであり、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性の向上を図ることを可能とする情報処理装置及び情報処理方法を提供することを目的とする。
　上記課題を解決するため、本発明の一側面に係る情報処理装置は、オブジェクトを表示するタッチパネルディスプレイと、タッチパネルディスプレイに対する操作子の近接又は接触の状態を検知する接触状態検知手段と、接触状態検知手段によりタッチパネルディスプレイに対する操作子の近接の状態を検知した場合に、タッチパネルディスプレイの平面上の近接の位置座標を検出する座標検出手段と、座標検出手段により検出された近接の位置座標に基づいて、近接の位置座標がタッチパネルディスプレイの平面方向に沿って移動する方向及びタッチパネルディスプレイの平面方向に沿って移動する速度を算出し、移動する方向及び移動する速度に応じた位置に表示されるオブジェクトを選択するオブジェクト選択手段と、を備える。
　本発明の他の側面に係る情報処理方法は、オブジェクトを表示するタッチパネルディスプレイを備える情報処理装置により実行される情報処理方法であって、タッチパネルディスプレイに対する操作子の近接又は接触の状態を検知する接触状態検知ステップと、接触状態検知ステップにおいてタッチパネルディスプレイに対する操作子の近接の状態を検知した場合に、タッチパネルディスプレイの平面上の近接の位置座標を検出する座標検出ステップと、座標検出ステップにおいて検出された近接の位置座標に基づいて、近接の位置座標がタッチパネルディスプレイの平面方向に沿って移動する方向及びタッチパネルディスプレイの平面方向に沿って移動する速度を算出し、移動する方向及び移動する速度に応じた位置に表示されるオブジェクトを選択するオブジェクト選択ステップと、を含む。
　これらの側面によれば、タッチパネルディスプレイに対する操作子の近接の位置座標が検出され、それを基にタッチパネルディスプレイの平面方向に沿って移動する方向及び移動する速度が算出され、その算出結果に応じた位置にある所望のオブジェクトが選択される。これにより、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性の向上を図ることが可能となる。また、オブジェクトの選択が近接操作により行われるので、接触操作との競合を防ぐことができる。
　また、上記情報処理装置は、オブジェクト選択手段が、近接の位置座標から移動する方向に移動する速度に応じた距離だけ離れた位置にある選択領域を決定し、選択領域内に位置するオブジェクトを選択してもよい。この構成によれば、近接の位置座標から移動する方向に移動する速度に応じた距離だけ離れた位置にある選択領域が決定され、当該選択領域内の位置に表示されるオブジェクトが選択される。これにより、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性のさらなる向上を図ることが可能となる。
　また、上記情報処理装置は、オブジェクト選択手段が、座標検出手段により近接の移動の位置座標の検出が繰り返されたときに、選択領域を繰り返し移動させてもよい。これにより、一回の操作で適切なオブジェクトを選択できない場合においても、タッチパネルディスプレイに対する操作子の移動を繰り返すことで選択領域が繰り返し移動され、適切なオブジェクトを選択することができる。よって、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性のさらなる向上を図ることが可能となる。
　また、上記情報処理装置は、オブジェクト選択手段が、オブジェクトを選択した状態において、接触状態検知手段により近接の状態が検知されなかった場合に、オブジェクトの選択を解除してもよい。これにより、オブジェクトの選択を容易に解除することができ、オブジェクトの再選択の際のユーザの操作性の向上を図ることが可能となる。
　また、上記情報処理装置は、オブジェクト選択手段が、オブジェクトを選択した状態において、接触状態検知手段によりタッチパネルディスプレイに対する操作子の接触の状態が検知された場合に、選択を確定してもよい。これにより、オブジェクトの選択を容易に確定することができ、オブジェクトの選択確定の際のユーザの操作性の向上を図ることが可能となる。
　本発明によれば、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性の向上を図ることを可能とする情報処理装置及び情報処理方法を提供することができる。
本発明の一実施形態に係る情報処理装置の概略構成図である。 図１のタッチパネルディスプレイ上における選択領域内のオブジェクトの出力例を示す図である。 図１の座標情報格納部に格納された近接の位置座標情報のデータ構成の一例を示す図である。 図１のオブジェクト情報格納部に格納されたオブジェクト情報のデータ構成の一例を示す図である。 図１の情報処理装置によるオブジェクトを選択する動作の一例を示すフローチャートである。 図５にタッチパネルディスプレイ上に確定ボタンを表示する動作を加えたフローチャートである。 図１の情報処理装置によるオブジェクトを繰り返し選択する動作の一例を示すフローチャートである。 図７にタッチパネルディスプレイ上に確定ボタンを表示する動作を加えたフローチャートである。
　以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１は、本発明の一実施形態に係る情報処理装置の概略構成図である。情報処理装置１は、スマートフォン、タブレット端末、携帯電話端末等に代表される移動体通信ネットワーク或いは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗоｒｋ）に接続可能な携帯型の情報処理装置である。
　図１に示すように、情報処理装置１は、情報を表示する出力デバイスとしていわゆるタッチパネルディスプレイ２１、機能的な構成要素として、接触状態検知部２２、座標検出部２３、オブジェクト選択部２４、出力制御部２６、座標情報格納部３０及びオブジェクト情報格納部３２を備えている。以下、各構成の機能について詳細に説明する。
　情報処理装置１が備えるタッチパネルディスプレイ２１は、メニュー画面、アイコン画像、写真、文書等の画像を表示するとともに、操作子の接近或いは接触を検知することによる情報の入力操作を受け付ける入出力デバイスである。本実施形態では、このタッチパネルディスプレイ２１は、操作子としてユーザの指の接近或いは接触を検知するが、操作子としてスタイラスペンの接近或いは接触を検知可能に構成されていてもよい。さらに、タッチパネルディスプレイ２１は、ユーザの指とタッチパネルディスプレイ２１の画面との接近距離を検知可能に構成されている。例えば、タッチパネルディスプレイ２１は、静電容量式のタッチパネルディスプレイであり、指とタッチパネルディスプレイ２１内の回路との間の静電容量の変化量を検知することにより画面と指との距離（接近距離）を算出可能に構成される。また、その他、タッチパネルディスプレイ２１として、Ｉｎ－Ｃｅｌｌ型のような赤外線を利用した光学式の接近距離が算出可能な構成が採用されてもよい。
　接触状態検知部２２は、タッチパネルディスプレイ２１に対する指の近接又は接触の状態を検知する接触状態検知手段である。接触状態検知部２２は、指がタッチパネルディスプレイ２１に対して近接の状態にあるか否か、または接触の状態にあるか否かを検知する。指が近接の状態とは、指２がタッチパネルディスプレイ２１の表面と近い位置にあるが直接接触しておらず、タッチパネルディスプレイ２１の表面からＺ方向（垂直方向）に例えば数ｍｍ離れた状態をいう。指が接触の状態とは、指がタッチパネルディスプレイ２１の表面と直接接触している状態をいう。接触状態検知部２２によりタッチパネルディスプレイ２１に指２が近接の状態にあると検知されると、その旨が後述の座標検出部２３に出力される。また、接触状態検知部２２によりタッチパネルディスプレイ２１に指が近接の状態にないと検知されると、その旨が後述のオブジェクト選択部２４に出力される。また、接触状態検知部２２によりタッチパネルディスプレイ２１に指が接触の状態にあると検知されると、その旨が後述の座標検出部２３及びオブジェクト選択部２４に出力される。
　また、接触状態検知部２２は、指とタッチパネルディスプレイ２１内との間の静電容量の変化量を検知することにより、タッチパネルディスプレイ２１表面と指２との距離（以降、単に「接近距離」という。）を算出することができる。なお、接触状態検知部２２は、赤外線を利用して接近距離を算出してもよい。この場合、タッチパネルディスプレイ２１としては、静電容量式ではなくＩｎ－Ｃｅｌｌ型が用いられる。
　座標検出部２３は、接触状態検知部２２により指が近接の状態にある旨が出力されると、当該近接の位置座標を検出する座標検出手段である。座標検出部２３は、タッチパネルディスプレイ２１上の表面に沿ったｘｙ平面におけるｘ方向センサ及びｙ方向センサを有している。座標検出部２３は、タッチパネルディスプレイ２１へ指が近接した場合に、ｘ方向センサ及びｙ方向センサが出力する信号を検知することで、指が近接したタッチパネルディスプレイ２１上のｘｙ平面の位置（以降、単に「近接の位置座標（ｘ座標，ｙ座標）」という。）を検出する。座標検出部２３は、近接の位置座標（ｘ座標，ｙ座標）を、例えば接触状態検知部２２により指が近接の状態にある旨が出力され始めたｔ秒からｔ＋Δｔ秒の間、所定の時間間隔（例えば０．１秒間隔）毎に検出する。検出を終了するまでの時間は、接触状態検知部２２により指の近接が検知されなくなるまでの時間としてもよいし、予め所定時間を定めてもよい。検出された近接の位置座標（ｘ座標，ｙ座標）は、後述する座標情報格納部３０に記憶される。また、座標検出部２３は、近接の位置座標（ｘ座標，ｙ座標）の検出が終了すると、その旨を後述するオブジェクト選択部２４に出力する。
　また、座標検出部２３は、接触状態検知部２２により指が接触の状態にある旨が出力されると、上述した方法と同様にして、当該接触の位置座標を検出する。座標検出部２３は、接触の位置座標を検出すると、当該位置座標をオブジェクト選択部２４に出力する。
　また、座標検出部２３は、後述するオブジェクト選択部２４により選択領域内のオブジェクトが確定されず、かつ、接触状態検知部２２により指が近接の状態にある旨が出力されると、当該近接の位置座標（ｘ座標，ｙ座標）を再度検出する。座標検出部２３により検出された近接の位置座標（ｘ座標，ｙ座標）は、後述する座標情報格納部３０に新たに記憶される。また、座標検出部２３は、近接の位置（ｘ座標，ｙ座標）の検出が終了すると、その旨を後述するオブジェクト選択部２４に出力する。
　オブジェクト選択部２４は、座標検出部２３により出力された近接の位置座標（ｘ座標，ｙ座標）に基づいて、近接の位置座標がタッチパネルディスプレイ２１の表面に平行なｘｙ平面方向に沿って移動する方向及び速度を算出し、算出された方向及び速度に応じた位置に表示されるオブジェクトを選択するオブジェクト選択手段である。オブジェクト選択部２４は、座標検出部２３により近接の位置座標（ｘ座標，ｙ座標）の検出が終了した旨が出力されると、後述する座標情報格納部３０に格納された近接の位置座標（ｘ座標，ｙ座標）の時間変化に基づいて、指がタッチパネルディスプレイ２１の表面に平行なｘｙ平面方向に沿って移動する方向及び速度を算出する。具体的には、最初に検出した位置座標（ｘ（ｔ），ｙ（ｔ））と、一定時間Δｔ１経過後の位置座標（ｘ（ｔ＋Δｔ１），ｙ（ｔ＋Δｔ１））との間の変位量から、指がｘｙ平面方向に沿って移動する方向及び速度を算出する。
　また、オブジェクト選択部２４は、このようにして算出された指がｘｙ平面方向に沿って移動する方向に向かって、現在検知されている近接の位置座標（ｘ座標，ｙ座標）から指がｘｙ平面方向に沿って移動する速度に応じた距離だけ離れた位置にある選択領域を決定する。そして、オブジェクト選択部２４は、当該選択位領域内に表示されているオブジェクトを選択領域内のオブジェクトとして選択する。ここで、指がｘｙ平面方向に沿って移動する速度に応じた距離は、例えば当該速度に予め定めた所定の比例定数αを乗算することにより、速度に比例した距離が算出できる。そして、現在検出されている近接の位置座標（ｘ座標，ｙ座標）に対して算出した距離を指の移動する方向に足し合わせることにより、所望の選択領域の位置座標が求まる。ここで、選択領域とは、所定の大きさの矩形領域又は円形領域等をいい、選択領域の位置座標とは例えば選択領域の中心位置をいう。選択領域の大きさは、例えば１つのオブジェクトが表示される領域と同等の大きさである。選択領域内のオブジェクトは、オブジェクトの位置座標を、予め後述するオブジェクト情報格納部３２に記憶させておくことにより取得できる。オブジェクト選択部２４は、選択領域内のオブジェクトを取得すると、当該選択領域内のオブジェクトに対する種々の出力制御を行うために、後述の出力制御部２６にそのオブジェクトを特定する情報を通知する。
　また、オブジェクト選択部２４は、座標検出部２３により近接の位置座標の移動の検出が繰り返されたとき、選択領域を繰り返し移動させる。例えば、オブジェクト選択部２４によりオブジェクトの選択がなされ当該選択が確定されなかった場合に、接触状態検知部２２により再度近接の状態が検知されると、オブジェクト選択部２４は、指がｘｙ平面方向に沿って移動する方向及び速度を再度算出する。当該算出は、座標検出部２３に改めて記憶された近接の位置座標（ｘ座標，ｙ座標）の時間変化に基づく。オブジェクト選択部２４は、当該算出した指の移動方向及び速度に基づいて、現在の選択領域の位置よりも移動方向に向かって離れた位置に選択領域を再度移動させ、移動後の選択領域内の位置にあるオブジェクトを再度選択領域内のオブジェクトとして選択する。オブジェクト選択部２４は、選択領域内のオブジェクトを取得すると、当該選択領域内のオブジェクトに対する種々の出力制御を行うために、後述の出力制御部２６にそのオブジェクトを特定する情報を通知する。
　また、オブジェクト選択部２４は、オブジェクトを選択した状態において、接触状態検知部２２により近接の状態が検知されない旨が出力された場合に、オブジェクトの選択を解除する。この場合、オブジェクト選択部２４は、オブジェクトの選択を解除する旨を出力制御部２６に出力する。
　また、オブジェクト選択部２４は、オブジェクトを選択した状態において、接触状態検知部２２により接触の状態が検知された旨が出力された場合に、オブジェクトの選択を確定する。この場合、オブジェクト選択部２４は、オブジェクトの選択を確定する旨を出力制御部２６に出力する。
　座標情報格納部３０は、座標検出部２３により出力された近接の位置座標（ｘ座標，ｙ座標）を記憶する。図３は、図１の座標情報格納部に格納された近接の位置座標情報のデータ構成の一例を示す図である。図３に示すように、座標情報格納部３０には、時刻ｔにおける近接の位置座標（ｘ（ｔ），ｙ（ｔ））から、時刻ｔ＋ｐにおける位置座標（ｘ（ｔ＋ｐ），ｙ（ｔ＋ｐ））までが配列して保存されている（ただし、ｐ＝０．１，０．２，・・・，Δｔである）。座標情報格納部３０に記憶された近接の位置座標（ｘ座標，ｙ座標）は、オブジェクト選択部２４によって読み出される。
　オブジェクト情報格納部３２は、各オブジェクトの位置座標を記憶する。図４は、図１のオブジェクト情報格納部に格納されたオブジェクト情報のデータ構成の一例を示す図である。図４に示すように、オブジェクト情報格納部３２には、位置座標（ｘｉ，ｙｉ）（ただし、i＝１，２，・・・ｎ）と、これに対応するオブジェクトＡ，Ｂ…，Ｇとが対応付けて保存されている。オブジェクト情報格納部３２に記憶されたオブジェクトＡ，Ｂ…，Ｇの位置座標は、オブジェクト選択部２４によって読み出される。
　出力制御部２６は、オブジェクト選択部２４により決定された選択領域内のオブジェクトに対する種々の出力制御を行う。図２は、図１のタッチパネルディスプレイ上における選択領域内のオブジェクトの出力例を示す図である。図１の（ａ）に示すように、オブジェクト選択部２４により算出された選択領域内のオブジェクト３が選択されると、当該オブジェクト３がハイライトして表示され、ポインタ４により指し示される（強調表示）。なお、選択領域内のオブジェクト３の表示は、ハイライトやポインタ４による表示に限られず、例えば選択領域内のオブジェクト３の色の反転や、ポインタ４以外の記号や図形により行ってもよい。
　また、図２の（ｂ）に示すように、出力制御部２６は、オブジェクト選択部２４により選択された選択領域内のオブジェクト３を確定するための確定ボタン７を、座標検出部２３により指２の近接が検知された位置に表示する。また、図２の（ｃ）に示すように、出力制御部２６は、接触状態検知部２２により指２のタッチパネルディスプレイ２１に対する近接が非検知とされると、選択領域内のオブジェクト３に対する上記強調表示を非表示にする。すなわち、選択領域内のオブジェクト３のハイライトを行わず、ポインタ４も非表示として、オブジェクトの選択を解除する。また、出力制御部２６は、オブジェクト選択部２４により選択領域内のオブジェクト３を確定する旨の出力がされた場合には、選択領域内のオブジェクト３が確定されたことを示す種々の出力を行う。また、出力制御部２６は、座標検出部２３により指２の接触が検知された位置が出力されると、当該接触の位置において、確定されたことを示す種々の出力を行う。例えば、確定されたオブジェクトが示すアプリケーションの起動に伴う出力等を行う。
　以下、図５～図８を参照して、情報処理装置１を用いて実行する情報処理方法の動作について説明する。図５は図１の情報処理装置によるオブジェクトを選択する動作の一例を示すフローチャート、図６は図５にタッチパネルディスプレイ上に確定ボタンを表示する動作を加えたフローチャート、図７は図１の情報処理装置によるオブジェクトを繰り返し選択する動作の一例を示すフローチャート、図８は図７にタッチパネルディスプレイ上に確定ボタンを表示する動作を加えたフローチャートである。
　まず、図５を参照して、図１の情報処理装置１によるオブジェクトを選択する動作を説明する。最初に、ユーザが指２をタッチパネルディスプレイ２に近接させると、接触状態検知部２２により指２の近接が検知され、座標検出部２３により指２の近接の位置座標（ｘ座標，ｙ座標）が検出される（Ｓ１）。指２の近接の位置座標（ｘ座標，ｙ座標）が検出されると、当該位置座標（ｘ座標，ｙ座標）に対応するオブジェクトが選択される（Ｓ２）。このとき、ユーザの指２が近接している位置にあるオブジェクトが選択されるため、タッチパネルディスプレイ２１上における指２の近接位置にポインタ８が表示される（図２の（ａ）参照）。
　続いて、ユーザの指２が近接している位置にあるオブジェクトが選択された状態において、座標検出部２３により、指２のタッチパネルディスプレイ２１に対する近接が非検知であるか否かが判定される（Ｓ３：接触状態検知ステップ）。座標検出部２３により指２の近接の非検知であると判定された場合（Ｓ３：ＹＥＳ）、オブジェクトの選択が解除される（Ｓ１１）。一方、座標検出部２３により指２の近接が非検知でないと判定された場合（Ｓ３：ＮＯ）、座標検出部２３により、その後に続く指の近接の座標位置（ｘ座標，ｙ座標）がｔ～ｔ＋Δｔ秒間、０．１秒間隔毎に検出される（Ｓ４：座標検出ステップ）。
　続いて、オブジェクト選択部２４により、指２の近接の位置座標（ｘ座標，ｙ座標）の時間変化から、近接する指２が移動する方向及び速度が算出される（Ｓ５：オブジェクト選択ステップ）。続いて、指２の移動速度が０より大きいか否かが判定される（Ｓ６）。指２の移動速度が０以下と判定された場合（Ｓ６：ＮＯ）、オブジェクトが選択される領域はステップＳ２における位置のまま変化せず、ステップＳ９へと移る。一方、指２の移動速度が０より大きいと判定された場合（Ｓ６：ＹＥＳ）、オブジェクト選択部２４により、オブジェクトが選択される選択領域が指２の移動方向の先へ、移動速度に応じた距離だけ移動させられる（Ｓ７：オブジェクト選択ステップ）。そして、オブジェクト選択部２４により、当該選択領域内のオブジェクトが選択される（Ｓ８：オブジェクト選択ステップ）。具体的には、図２の（ａ）に示すように、指２がタッチパネルディスプレイ２１に近接した状態において、指２を矢印Ａの方に動かすと、指２の近接位置に表示されていたポインタ８が、矢印Ａの方向に、指２を動かした速度に応じた距離だけ移動する。よって、指２を動かす速度によって、ポインタが指し示す選択領域内のオブジェクトの位置が変化する。すなわち、オブジェクト３はオブジェクト５と比べて、指２の近接の位置座標（ｘ座標，ｙ座標）から遠い位置にあるため、オブジェクト３を選択するためには、オブジェクト５を選択する場合よりも速く指を動かせばよい。選択されたオブジェクト３は、例えばハイライトされ、当該オブジェクト３を指し示す位置にポインタ４が表示される。
　続いて、接触状態検知部２２により、指２の接触を検知したか否かが判定される（Ｓ９：接触状態検知ステップ）。指２の接触を検知しなかったと判定された場合（Ｓ９：ＮＯ）、オブジェクト３の選択を解除し（Ｓ１１：オブジェクト選択ステップ）、オブジェクト３のハイライト及びオブジェクト３を指し示すポインタ４を非表示とする。具体的には、図２の（ｃ）に示すように、オブジェクト３を選択した状態において、指２がタッチパネルディスプレイ２１に対する近接を検知できないほどタッチパネルディスプレイ２１から離れた場合には、オブジェクト選択部２４はオブジェクト３の選択を解除する。一方、ユーザが指２の近接位置においてタッチパネルディスプレイ２１の表面をタッチすると、接触状態検知部２２により指２の接触を検知したと判定され（Ｓ９：ＹＥＳ）、オブジェクト選択部２４によりオブジェクト３の選択が確定される（Ｓ１０：オブジェクト選択ステップ）。以上のようにして、情報処理装置１によるオブジェクトを選択する動作が終了する。
　次に、図６を参照して、タッチパネルディスプレイ２１上に確定ボタンを表示する動作を説明する。図６に示す動作で上述の図５に示す図１の情報処理装置１によるオブジェクトを選択する動作と相違する点は、ステップＳ１０９においてタッチパネルディスプレイ２１上に確定ボタン７を表示する点である。具体的には、図２の（ｂ）に示すように、タッチパネルディスプレイ２１上の指２の近接位置において確定ボタン７が表示され、ユーザが当該確定ボタンを指２でタッチすると、接触状態検知部２２により接触の状態が検知された旨が出力され、オブジェクト選択部２４によりオブジェクト３の選択が確定される（Ｓ１１１：オブジェクト選択ステップ）。
　次に、図７を参照して、図１の情報処理装置１によるオブジェクトを繰り返し選択する動作を説明する。図７に示す動作で上述の図５に示す図１の情報処理装置１によるオブジェクトを選択する動作と相違する点は、ステップＳ２０９～ステップＳ２１４において、ステップＳ２０３～ステップＳ２０８における動作を再度繰り返している点である。このように指２の近接を検知してからオブジェクトを選択するまでの動作を再度繰り返すことで、現在検知している近接の位置座標から遠い位置に表示されるオブジェクトを選択することができる。具体的には、オブジェクト選択部２４により選択されたオブジェクトが図２の（ａ）に示すオブジェクト５であった場合に、続くステップＳ２０９～ステップＳ２１４において指２の近接を検知してからオブジェクトを選択するまでの動作が再度繰り返されることにより、例えばオブジェクト５よりも指２の近接位置から遠い位置にあるオブジェクト３が選択され、当該オブジェクト３を指し示すポインタ４が表示されることとなる。よって、ユーザは指２の移動を繰り返すことにより、指２の近接の位置座標（ｘ座標，ｙ座標）に対してオブジェクト５よりも遠い位置にあるオブジェクト３を選択することができる。
　次に、図８を参照して、タッチパネルディスプレイ２１上に確定ボタンを表示する動作を説明する。図８に示す動作で上述の図７に示す図１の情報処理装置によるオブジェクトを繰り返し選択する動作と相違する点は、ステップＳ３０９及びステップＳ３１６においてタッチパネルディスプレイ２１上に確定ボタン７を表示する点である。具体的には、図２の（ｂ）に示すように、タッチパネルディスプレイ２１上の指２の近接位置において確定ボタン７が表示され、ユーザが当該確定ボタンを指２でタッチすると、接触状態検知部２２により接触の状態が検知された旨が出力され、オブジェクト選択部２４によりオブジェクト３の選択が確定される（Ｓ３１８：オブジェクト選択ステップ）。
　以上説明した情報処理装置１によれば、接触状態検知部２２によりタッチパネルディスプレイ２１に対する指２の近接の状態が検知されると、オブジェクト選択部２４により当該近接の位置座標が検出され、それを基にタッチパネルディスプレイ２１の平面方向に沿って移動する方向及びタッチパネルディスプレイ２１の平面方向に沿って移動する速度が算出され、その算出結果に応じた位置にあるオブジェクトが選択される。このため、例えば情報処理装置１を片手で操作する際、タッチパネルディスプレイ２１に指２が届かない範囲のオブジェクトがあった場合に有用である。すなわち、ユーザはタッチパネルディスプレイ２１の平面方向に沿って指２の移動方向及び速度を変化させることで、片手での操作のまま、指２が届かない範囲のオブジェクトを容易に選択することができる。よって、タッチパネルディスプレイ２１に対する指２の移動方向及び移動速度に応じた所望のオブジェクトを選択することができ、タッチパネルディスプレイ２１上のオブジェクトを容易に選択させてユーザの操作性の向上を図ることが可能となる。また、オブジェクトの選択が近接操作により行われるので、接触操作の場合には操作子に隠れて見えなかったオブジェクトが視認可能である。また、タッチパネルディスプレイに直接触れずにオブジェクトを選択できるため直接操作の場合よりも衛生的である。また、従来から多用されている接触操作（例えば、スクロール操作）との競合を防ぐことができる。
　また、オブジェクト選択部２４が、近接の位置座標から移動する方向に移動する速度に応じた距離だけ離れた位置にある選択領域を決定し、この選択領域内に位置するオブジェクトを選択する。よって、例えばタッチパネルディスプレイ２１に指２が届かない範囲が選択領域として決定され、指２が届かない範囲にあるオブジェクトを容易に選択することができる。よって、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性のさらなる向上を図ることが可能となる。
　また、オブジェクト選択部２４が、座標検出部２３により近接の位置座標の移動の検出が繰り返されたときに、選択領域を繰り返し移動させる。このため、例えば情報処理装置１を片手で操作する際、タッチパネルディスプレイ２１に指２が届かない範囲のオブジェクトがあったとしても、タッチパネルディスプレイ２１の平面方向に沿って指２を繰り返し移動させることで、座標検出部２３により近接の位置座標の移動の検出が繰り返され、選択領域が繰り返し移動される。すなわち、片手での操作のまま、指２が届かない範囲のオブジェクトを選択することができる。よって、一回の操作で適切なオブジェクトを選択できない場合においても、タッチパネルディスプレイ２１に対する指２の移動を繰り返すことで適切なオブジェクトを選択することができ、タッチパネルディスプレイ２１上のオブジェクトを容易に選択させてユーザの操作性のさらなる向上を図ることが可能となる。
　また、オブジェクト選択部２４によりオブジェクトが選択された状態において、接触状態検知部２２により指２の近接の状態が検知されなかった場合、オブジェクトの選択が解除される。このため、例えば情報処理装置１を片手で操作する際、タッチパネルディスプレイ２１上の指２が届かない範囲にあるオブジェクトの選択を解除したい場合に、片手での操作のまま、指２が届かない範囲にあるオブジェクトの選択を解除することができる。よって、オブジェクトの選択を容易に解除することができ、オブジェクトの再選択の際のユーザの操作性の向上を図ることが可能となる。
　また、オブジェクト選択部２４によりオブジェクトを選択した状態において、接触状態検知部２２によりタッチパネルディスプレイ２１に対する指２の接触の状態が検知された場合に、オブジェクトの選択が確定される。このため、例えば情報処理装置１を片手で操作する際、タッチパネルディスプレイ２１上の指２が届かない範囲にあるオブジェクトの選択を確定したい場合に、片手での操作のまま、指２が届かない範囲にあるオブジェクトの選択を確定することができる。よって、オブジェクトの選択を容易に確定することができ、オブジェクトの選択確定の際のユーザの操作性の向上を図ることが可能となる。
　以上、本発明の好適な実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
　例えば、上記実施形態においては、指２がｘｙ平面方向に向かって移動する速度に応じた距離は、例えば当該速度に予め定めた所定の比例定数αを乗算して求めるとしたが、これに限られない。例えば、ｘｙ平面方向に向かって移動する速度とこれに対応する距離とを予めメモリに記憶しておき、これを読み出すことにより求めてもよい。
　また、選択領域内のオブジェクトに対する出力は、上記実施形態に限られない。例えば、選択領域内のオブジェクトを振動や音声等によってユーザに通知してもよい。
　また、オブジェクト情報格納部３２は、各オブジェクトの位置座標を記憶するとしたが、これに限られない。例えば、各オブジェクトが位置すると想定される所定範囲を記憶してもよい。
　また、選択領域は所定の大きさの矩形領域又は円形領域等としたが、これに限られず、種々の形状を取り得る。
　本発明は、情報処理装置及び情報処理方法を使用用途とし、タッチパネルディスプレイ上のオブジェクトを容易に選択させてユーザの操作性の向上を図ることを可能にするものである。
　１…情報処理装置、２…指（操作子）、３，５…オブジェクト、２１…タッチパネルディスプレイ、２２…接触状態検知部（接触状態検知手段）、２３…座標検出部（座標検出手段）、２４…オブジェクト選択部（オブジェクト選択手段）。

Claims (6)

  1. 　オブジェクトを表示するタッチパネルディスプレイと、
    　前記タッチパネルディスプレイに対する操作子の近接又は接触の状態を検知する接触状態検知手段と、
    　前記接触状態検知手段により前記タッチパネルディスプレイに対する操作子の近接の状態を検知した場合に、前記タッチパネルディスプレイの平面上の前記近接の位置座標を検出する座標検出手段と、
    　前記座標検出手段により検出された前記近接の位置座標に基づいて、前記近接の位置座標が前記タッチパネルディスプレイの平面方向に沿って移動する方向及び前記タッチパネルディスプレイの平面方向に沿って移動する速度を算出し、前記移動する方向及び前記移動する速度に応じた位置に表示される前記オブジェクトを選択するオブジェクト選択手段と、
    を備える情報処理装置。
  2. 　前記オブジェクト選択手段が、前記近接の位置座標から前記移動する方向に前記移動する速度に応じた距離だけ離れた位置にある選択領域を決定し、前記選択領域内に位置する前記オブジェクトを選択する、
    請求項１に記載の情報処理装置。
  3. 　前記オブジェクト選択手段が、前記座標検出手段により前記近接の位置座標の移動の検出が繰り返されたときに、前記選択領域を繰り返し移動させる、
    請求項２に記載の情報処理装置。
  4. 　前記オブジェクト選択手段が、前記オブジェクトを選択した状態において、前記接触状態検知手段により前記近接の状態が検知されなかった場合に、前記オブジェクトの選択を解除する、
    請求項１～３の何れか一項に記載の情報処理装置。
  5. 　前記オブジェクト選択手段が、前記オブジェクトを選択した状態において、前記接触状態検知手段により前記タッチパネルディスプレイに対する操作子の接触の状態が検知された場合に、前記選択を確定する、
    請求項１～４の何れか一項に記載の情報処理装置。
  6. 　オブジェクトを表示するタッチパネルディスプレイを備える情報処理装置により実行される情報処理方法であって、
    　前記タッチパネルディスプレイに対する操作子の近接又は接触の状態を検知する接触状態検知ステップと、
    　前記接触状態検知ステップにおいて前記タッチパネルディスプレイに対する操作子の近接の状態を検知した場合に、前記タッチパネルディスプレイの平面上の前記近接の位置座標を検出する座標検出ステップと、
    　前記座標検出ステップにおいて検出された前記近接の位置座標に基づいて、前記近接の位置座標が前記タッチパネルディスプレイの平面方向に沿って移動する方向及び前記タッチパネルディスプレイの平面方向に沿って移動する速度を算出し、前記移動する方向及び前記移動する速度に応じた位置に表示される前記オブジェクトを選択するオブジェクト選択ステップと、
    を含む情報処理方法。
PCT/JP2014/051116 2013-03-19 2014-01-21 情報処理装置及び情報処理方法 WO2014148090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14768261.1A EP2977862B1 (en) 2013-03-19 2014-01-21 Information processing device and information processing method
US14/777,623 US9823823B2 (en) 2013-03-19 2014-01-21 Information processing device and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013056562A JP5820414B2 (ja) 2013-03-19 2013-03-19 情報処理装置及び情報処理方法
JP2013-056562 2013-03-19

Publications (1)

Publication Number Publication Date
WO2014148090A1 true WO2014148090A1 (ja) 2014-09-25

Family

ID=51579786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051116 WO2014148090A1 (ja) 2013-03-19 2014-01-21 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (1) US9823823B2 (ja)
EP (1) EP2977862B1 (ja)
JP (1) JP5820414B2 (ja)
WO (1) WO2014148090A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921739B2 (en) * 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
JP2015201062A (ja) * 2014-04-09 2015-11-12 株式会社東海理化電機製作所 操作装置
JP6324203B2 (ja) * 2014-05-14 2018-05-16 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
CN112087570B (zh) * 2019-06-14 2022-07-15 北京小米移动软件有限公司 图像拍摄方法及装置、电子设备、可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289834A (ja) * 1993-04-06 1994-10-18 Yamaha Corp 入力装置および表示装置
JP2009070177A (ja) * 2007-09-13 2009-04-02 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2010205050A (ja) 2009-03-04 2010-09-16 Mitsubishi Electric Corp タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法、およびユーザインタフェース制御プログラム
JP2010224663A (ja) 2009-03-19 2010-10-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012138012A (ja) * 2010-12-27 2012-07-19 Sony Corp 表示制御装置および方法
JP2012252627A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101319871B1 (ko) * 2006-09-29 2013-10-18 엘지전자 주식회사 좌표 인식 장치 및 이 좌표 인식 장치에서 키이 코드를발생하는 방법
JP2010122972A (ja) 2008-11-20 2010-06-03 Sharp Corp 画像表示／検出装置、選択方法、及び、プログラム
US20100214225A1 (en) * 2009-02-26 2010-08-26 Research In Motion Limited Method for and apparatus for display scrolling
JP2011170834A (ja) 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム
JP5732784B2 (ja) * 2010-09-07 2015-06-10 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR101646616B1 (ko) * 2010-11-30 2016-08-12 삼성전자주식회사 객체 제어 장치 및 방법
CN103188374A (zh) * 2011-12-29 2013-07-03 深圳富泰宏精密工业有限公司 手机屏幕解锁方法及系统
JP5598737B2 (ja) * 2012-02-27 2014-10-01 カシオ計算機株式会社 画像表示装置、画像表示方法及び画像表示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06289834A (ja) * 1993-04-06 1994-10-18 Yamaha Corp 入力装置および表示装置
JP2009070177A (ja) * 2007-09-13 2009-04-02 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2010205050A (ja) 2009-03-04 2010-09-16 Mitsubishi Electric Corp タッチパネル付きユーザインタフェース装置、ユーザインタフェース制御方法、およびユーザインタフェース制御プログラム
JP2010224663A (ja) 2009-03-19 2010-10-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012138012A (ja) * 2010-12-27 2012-07-19 Sony Corp 表示制御装置および方法
JP2012252627A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2977862A4 *

Also Published As

Publication number Publication date
EP2977862A1 (en) 2016-01-27
EP2977862A4 (en) 2016-04-06
EP2977862B1 (en) 2020-08-19
JP5820414B2 (ja) 2015-11-24
JP2014182582A (ja) 2014-09-29
US9823823B2 (en) 2017-11-21
US20160291842A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
JP5620440B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP4979600B2 (ja) 携帯端末装置、及び表示制御方法
EP2657811B1 (en) Touch input processing device, information processing device, and touch input control method
WO2013183722A1 (ja) 電子機器、その制御方法及びプログラム
KR20140105691A (ko) 터치스크린을 구비하는 사용자 기기의 오브젝트 조작 방법 및 그 장치
JP2012003404A (ja) 情報表示装置
JP5820414B2 (ja) 情報処理装置及び情報処理方法
JPWO2009022671A1 (ja) 接触型入力装置、接触型入力方法及びプログラム
JP5628991B2 (ja) 表示装置、表示方法、及び表示プログラム
JP5984722B2 (ja) 情報処理装置
TWI480792B (zh) 電子裝置的操作方法
JP6153487B2 (ja) 端末及び制御方法
KR101503159B1 (ko) 시선의 위치를 감지하여 터치스크린을 제어하는 방법
JP6411067B2 (ja) 情報処理装置及び入力方法
EP2876540B1 (en) Information processing device
JP2013114645A (ja) 小型情報機器
KR20090020157A (ko) 터치스크린에서 화면 줌 방법 및 이를 이용한 단말기
JP5908326B2 (ja) 表示装置および表示プログラム
JP2011215937A (ja) 情報入力装置及び情報入力方法
JP6284459B2 (ja) 端末装置
JP2015049837A (ja) 携帯端末装置
JP6210911B2 (ja) 情報端末、表示制御方法、及び表示制御プログラム
KR101992314B1 (ko) 포인터 제어 방법 및 그 전자 장치
JP2018170048A (ja) 情報処理装置、入力方法及びプログラム
JP2015084124A (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14768261

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014768261

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14777623

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE