WO2018167860A1 - タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 - Google Patents

タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 Download PDF

Info

Publication number
WO2018167860A1
WO2018167860A1 PCT/JP2017/010299 JP2017010299W WO2018167860A1 WO 2018167860 A1 WO2018167860 A1 WO 2018167860A1 JP 2017010299 W JP2017010299 W JP 2017010299W WO 2018167860 A1 WO2018167860 A1 WO 2018167860A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
determination
information
touch gesture
gesture
Prior art date
Application number
PCT/JP2017/010299
Other languages
English (en)
French (fr)
Inventor
琴由 笹山
佐々木　雄一
前川　拓也
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/010299 priority Critical patent/WO2018167860A1/ja
Priority to JP2017540658A priority patent/JP6253861B1/ja
Publication of WO2018167860A1 publication Critical patent/WO2018167860A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to a touch gesture determination device, a touch gesture determination method, a touch gesture determination program, and a touch gesture operation for inputting operation information corresponding to a touch gesture operation and outputting a signal based on the input operation information. And a touch panel input device that outputs a signal based on a touch gesture operation.
  • Patent Document 1 discloses a portable information terminal and a character input method for displaying a virtual input key for inputting information based on the position of the input reference point when the user sets an input reference point on the touch panel. ing. The user first sets an input reference point by touching an arbitrary position on the touch panel with the thumb, and then touches a virtual input key arranged based on the position of the input reference point with a forefinger or the like. Enter a symbol, etc.
  • JP 2012-185565 A (for example, paragraphs 0027 to 0048)
  • Patent Document 1 when the user does not remember the virtual input key arrangement, it is necessary to view the touch panel after the virtual input key is displayed, and it is difficult to input information without completely viewing the touch panel. there were.
  • the present invention has been made to solve the above-described problems, and it is an object of the present invention to easily recognize a touch gesture operation performed by a user without looking at the touch panel as a touch gesture operation.
  • a touch gesture determination apparatus receives an operation image from a touch panel that displays an operation image on a screen, receives a user's touch gesture operation, and outputs operation information corresponding to the touch gesture operation.
  • a touch gesture determination device that generates output information based on the operation information, the touch gesture determination device including an operation determination unit that generates the output information for display on the touch panel based on the operation information;
  • a display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image. The operation determination unit is performed on the entire screen of the touch panel.
  • a whole screen input determining unit that determines the output information from operation information corresponding to a gesture operation, and the entire screen input determining unit determines a content of the touch gesture operation from the operation information.
  • the gesture input information determination unit determines whether the touch gesture operation is a first operation that is performed by the user without looking at the touch panel, based on the operation information.
  • a determination condition is determined, and when the determination condition is satisfied, it is determined that the touch gesture operation is the first operation.
  • the touch gesture determination method displays an operation image on a screen, accepts a user's touch gesture operation, and outputs the operation information from a touch panel that outputs operation information corresponding to the touch gesture operation.
  • a touch gesture determination method that receives and generates output information based on the operation information, wherein the touch gesture determination method generates the output information for display on the touch panel based on the operation information.
  • a display control step for receiving the output information and causing the touch panel to display an image corresponding to the output information as the operation image.
  • the operation determination step is performed on the entire screen of the touch panel.
  • the entire screen input mode that identifies the input content based on the touch gesture operation
  • a whole screen input determining step for determining the output information from operation information corresponding to the touch gesture operation performed in the touch screen, wherein the whole screen input determining step determines the content of the touch gesture operation from the operation information.
  • a gesture input information determination step wherein the gesture input information determination step is based on the operation information whether the touch gesture operation is a first operation performed by the user without looking at the touch panel.
  • a determination condition for determining whether or not the touch gesture operation is the first operation is determined when the determination condition is satisfied.
  • a touch panel input device displays an operation image on a screen, receives a touch gesture operation of a user, outputs operation information corresponding to the touch gesture operation, and receives the operation information.
  • a touch gesture determination device that controls a display of the touch panel based on the operation information, wherein the touch gesture determination device outputs an output for displaying the touch panel based on the operation information.
  • An operation determination unit that generates information; and a display control unit that receives the output information and causes the touch panel to display an image corresponding to the output information as the operation image.
  • the operation determination unit includes the touch panel Identify input based on touch gesture operations performed on the entire screen
  • An entire screen input determination unit that determines the output information from operation information corresponding to a touch gesture operation performed in the entire screen input mode, and the entire screen input determination unit receives the touch gesture operation from the operation information.
  • a gesture input information determination unit for determining the content of the first gesture, wherein the gesture input information determination unit is a first operation in which the touch gesture operation is an operation performed by the user without looking at the touch panel based on the operation information. It is determined about a determination condition for determining whether or not the touch gesture operation is the first operation when the determination condition is satisfied.
  • the touch gesture operation performed by the user without looking at the touch panel can be easily recognized as the touch gesture operation by the touch panel.
  • the touch panel input device includes a touch panel having a touch operation screen (operation screen) and a touch gesture determination device that receives operation information on the touch panel.
  • the touch panel input device is mounted on the target device or connected to be communicable with the target device, the operation screen of the electric device as the target device, the operation screen of the camera as the target device, and the target device
  • the present invention can be applied to an operation screen of factory equipment, an operation screen mounted on a car, a ship, an aircraft, or the like as a target device, an operation screen of a portable information terminal such as a smartphone or a tablet terminal as a target device.
  • the touch panel input device uses a signal (for example, a selection value) based on operation information input by a touch gesture operation (also referred to as “touch operation”) from the operation screen of the touch panel as a target device equipped with the touch panel input device, or a touch panel. This can be provided to a target device that can communicate with the input device.
  • a touch gesture operation also referred to as “touch operation”
  • the touch panel is a touch gesture input unit that accepts a touch gesture operation performed by the user.
  • the touch gesture operation is an information input operation by a specific movement such as the user's finger (or the user's palm, or the user's finger and palm).
  • Touch gesture operation is tapping, which is an operation of tapping the operation screen of the touch panel with a finger, flicking, which is an operation of flicking the operation screen of the touch panel with a finger, and a swipe which is an operation of sliding the operation screen of the touch panel with a finger (sliding the finger).
  • tapping which is an operation of tapping the operation screen of the touch panel with a finger
  • flicking which is an operation of flicking the operation screen of the touch panel with a finger
  • a swipe which is an operation of sliding the operation screen of the touch panel with a finger (sliding the finger).
  • Touch gesture operations include dragging, which is an operation of dragging a display component on the touch panel with a finger, pinch-in, which is an operation of narrowing the interval between fingers while pinching with multiple fingers on the operation screen of the touch panel, and multiple touch gestures on the operation screen of the touch panel. It can include pinch out, which is an operation to increase the interval between fingers.
  • Touch gesture operation is a dial gesture that operates to rotate the dial with two or more touches, and a slider that moves the finger to slide up, down, left, or right while touching the touch panel with two or more touches It can include gestures and the like.
  • the touch gesture operation can include an operation using a touch pen which is a pen-type input auxiliary tool.
  • a gesture performed while the user touches one point on the touch panel using one finger is referred to as a one-point touch operation, and the user performs two touches on the touch panel using two fingers.
  • a gesture (for example, a dial gesture) is referred to as a two-point touch operation, and a gesture performed while the user touches three points on the touch panel using three fingers is referred to as a three-point touch operation.
  • FIG. 1 is a functional block diagram showing a schematic configuration of a touch panel input device 100 according to an embodiment of the present invention.
  • FIG. 2 is a functional block diagram illustrating a schematic configuration of the entire screen input determination unit 12b according to the embodiment.
  • the touch panel input device 100 includes a touch gesture determination device 110 and a touch panel 130.
  • the touch gesture determination device 110 is a device that can execute the touch gesture determination method according to the embodiment and the touch gesture determination program according to the embodiment.
  • the touch panel 130 receives a touch gesture operation performed by a user, and outputs operation information (hereinafter, also referred to as “touch information”) A0 corresponding to the touch gesture operation.
  • the display panel unit 131 is arranged so as to overlap with the operation panel unit 132 and can display an operation image such as a GUI (Graphical User Interface) screen.
  • the display panel unit 131 is, for example, a liquid crystal display.
  • the touch gesture determination device 110 includes an operation information input unit 11, an operation determination unit 12, and a display control unit 14.
  • the touch gesture determination device 110 may include a notification unit 13.
  • the operation information input unit 11 receives operation information (operation signal) A0 output from the operation panel unit 132.
  • the operation information input unit 11 outputs input information A1 corresponding to the received operation information A0 to the operation determination unit 12.
  • the input information A1 is information corresponding to the operation information A0, and may be the same information as the operation information A0.
  • the operation determination unit 12 receives the input information A1 from the operation information input unit 11, and outputs a selection value A2 as output information as a result of the operation determination to the notification unit 13 and the display control unit 14.
  • the selection value A2 output from the operation determination unit 12 is a selection value determined by the operation determination unit 12 based on the input information A1, and an application program for a device in which the touch panel input device 100 is mounted based on the selection value A2. Etc. perform device control and the like.
  • the operation determination unit 12 determines the type and content of the touch gesture operation by the user from the received input information A1. As shown in FIG. 1, the operation determination unit 12 includes a display component input determination unit 12a, a whole screen input determination unit 12b, and an operation mode switching determination unit 12c.
  • the display component input determination unit 12a identifies the input content from the touch information on the display component displayed on the screen, accepts the operation, and selects the selected value. Take the decision.
  • the entire screen input determining unit 12b identifies input contents from touch information on the entire screen in the entire screen operation mode in which the entire screen is set as an input range, and is responsible for accepting operations and determining selected values. As illustrated in FIG. 2, the entire screen input determination unit 12 b includes a parameter adjustment unit 121 and a gesture input information determination unit 122.
  • the input content of touch information is identified by the parameter adjustment unit 121 and the gesture input information determination unit 122.
  • the parameter adjustment unit 121 adjusts the parameter according to the operation mode before the input is started, and passes the adjusted parameter to the gesture input information determination unit 122.
  • the gesture input information determination unit 122 determines a gesture input of an arbitrary pattern from the input information A1 received from the operation information input unit 11 and the parameter received from the parameter adjustment unit 121, and determines a selection value A2 corresponding thereto. . For example, the gesture input information determination unit 122 determines whether the touch gesture operation corresponding to the input information A1 is a one-point touch operation or a two-point touch operation, and the selection value A2 corresponding to the determined touch gesture operation. To decide.
  • the coordinates of the tapped positions of the two tapped points are moved by a predetermined distance (B pixel) within a predetermined time (A msec). It was determined that the operation is a two-point touch operation with the absence of the determination condition.
  • the touch panel 130 is touched at one point, touched at two points, and when released, the touch returns to the one-point touch and the hand is released.
  • the operation is performed without looking at the touch panel 130, it is easy to perform an operation of pushing the touch panel 130 without knowing the force.
  • the following first to third determination conditions are set as examples of the determination conditions for determining that the two-point touch operation is performed without looking at the touch panel 130.
  • the first to third determination conditions are conditions determined in advance based on a change in the number of touch gesture operation touches or a movement amount of the touch position in a predetermined time (predetermined time).
  • the first to third determination conditions can be stored in the parameter adjustment unit 121 or the gesture input information determination unit 122.
  • First determination condition When the touch position during the two-point touch operation hardly moves (for example, the total amount of movement in the predetermined time (C0 msec: first time) of the touch position during the two-point touch operation is predetermined) Value (D0 pixel: first value) or less).
  • Second determination condition When the touch position of the one-point touch operation immediately before the two-point touch operation hardly moves (for example, a predetermined time of the touch position of the one-point touch operation immediately before the two-point touch operation (C1 msec: second When the movement amount in (time) is less than or equal to a predetermined value (D1 pixel: second value)).
  • Third determination condition When the touch position of the one-point touch operation immediately after the two-point touch operation hardly moves (for example, a predetermined time of the touch position of the one-point touch operation immediately after the two-point touch operation (C2 msec: third (When the movement amount in (time) is equal to or smaller than a predetermined value (D2 pixel: third value)).
  • the gesture input information determination unit 122 is a two-point touch operation (first operation) in which the touch gesture operation is performed without looking at the touch panel when all of the first to third determination conditions are satisfied. If any one of the first to third determination conditions is not satisfied, it is determined that the touch gesture operation is not a two-point touch operation performed without looking at the touch panel. To do.
  • the gesture input information determination unit 122 determines that the touch gesture operation is a two-point touch operation performed without looking at the touch panel when the following fourth determination condition is satisfied, and the following fourth determination condition: Is not satisfied, it is determined that the touch gesture operation is not a two-point touch operation performed without looking at the touch panel.
  • Fourth determination condition When the operation is continued with two-point touch for a long time (for example, when the two-point touch operation duration is equal to or longer than a predetermined value (C4 msec: fourth time)).
  • the operation mode switching determination unit 12c determines from the input information A1 received from the operation information input unit 11 whether the input information A1 includes information related to switching of the operation mode of the screen.
  • the screen operation modes include a display component operation mode in which display components to be operated are displayed in the screen, and an entire screen operation mode in which the entire screen is set as an input range. These operation modes can be switched. .
  • the operation mode switching determination unit 12c switches the operation mode from the determination result regarding the switching of the operation mode.
  • the operation mode switching determination unit 12c switches the operation mode, the display content of the operation screen, the input method, and the notification method are switched.
  • the notification unit 13 switches the operation screen notification method according to the determination result of the operation mode switching determination unit 12c, and receives the information of the selected value A2 determined by the operation determination unit 12, and notifies the operation status.
  • the notification unit 13 issues a notification of notification contents according to the selection value A2 or outputs a notification signal.
  • the notification unit 13 notifies the status of the user's touch gesture operation by, for example, sound, screen display, vibration by a vibrator, or lamp lighting.
  • the notification unit 13 When the notification by the notification unit 13 is a notification by sound, the notification unit 13 outputs a notification signal to a speaker as an audio output unit.
  • the speaker is shown in FIG.
  • the notification unit 13 When the notification by the notification unit 13 is an image display, the notification unit 13 sends notification information A3 to the display control unit 14, and the display control unit 14 transmits an image signal A4 based on the notification information A3 to the display panel unit 131 of the touch panel 130. Send to.
  • the display control unit 14 switches the display content of the operation screen according to the determination result of the operation mode switching determination unit 12c, receives the information of the selection value A2 determined by the operation determination unit 12, and reflects the operation result on the screen. As shown in FIG. 1, the display control unit 14 outputs an image signal A4 of an operation image displayed on the display panel unit 131 of the touch panel 130 to the display panel unit 131.
  • FIG. 3 is a diagram illustrating an example of a hardware (H / W) configuration of the touch panel input device 100 according to the embodiment.
  • the touch panel input device 100 includes a touch panel 130, a processor 301, a memory 302, and a speaker 303.
  • a touch gesture determination device 110 shown in FIG. 1 includes a memory 302 as a storage device that stores a touch gesture determination program as software, and a processor 301 as an information processing unit that executes the touch gesture determination program stored in the memory 302. (For example, by a computer).
  • the components 11 to 14 in FIG. 1 correspond to the processor 301 that executes the touch gesture determination program in FIG.
  • a part of the touch gesture determination device 110 shown in FIG. 1 can also be realized by the memory 302 shown in FIG. 2 and the processor 301 that executes the touch gesture determination program.
  • the touch panel 130 detects contact of a plurality of fingers, and transmits touch information (an identification number, coordinates, and a contact state of each finger) to the processor 301.
  • the processor 301 stores the touch information acquired from the touch panel 130 in the memory 302, and switches the operation screen, the input method, and the notification method based on the touch history information accumulated in the memory 302.
  • the processor 301 determines from the touch information stored in the memory 302 whether the operation is for the entire screen or an operation for the display component, and determines a selection value in each operation mode.
  • the speaker 303 is a sound output unit used when, for example, a touch gesture operation status is notified by sound such as an announcement.
  • the touch panel input device 100 may include an additional device such as a vibrator, a lamp, and a transmission device for wirelessly transmitting a notification signal instead of the speaker 303 or as an additional configuration.
  • FIG. 4A and 4B are diagrams illustrating an example of the screen of the touch panel 130 and the touch gesture operation in the touch panel input device 100 according to the embodiment.
  • FIG. 4A shows a screen example 401 displayed in the display component operation mode. As shown in FIG. 4A, the screen example 401 displays various parts to be operated, such as a button 402 for directly selecting a selection value. By touch-inputting the area where the display component is displayed, the target component can be operated.
  • FIG. 4B shows an example screen 403 displayed in the entire screen operation mode.
  • the screen example 403 includes a display 404 of the currently selected value, or a display prompting an operation instruction for switching the screen (for example, a cancel area 405 described later). Indicated.
  • information is input by the number of tap operations, a gesture that rotates the dial with two or more touches (dial gesture), and the like.
  • FIG. 5 is a flowchart illustrating the operation (touch gesture determination method) of the touch gesture determination device 110 according to the embodiment. As shown in FIG. 5, in step ST401, the user activates the system in the display component operation mode and initializes each processing unit.
  • the operation mode switching determination unit 12c determines switching input to the entire screen operation mode based on the touch information input from the operation information input unit 11.
  • the operation mode is changed, and the display contents, input method, and notification method in the entire screen operation mode are switched.
  • the gesture input information determination unit 122 identifies information related to the gesture input from the touch information input by the user, and thereby determines the selection value A2. For example, the user inputs information using a gesture (dial gesture) that rotates the dial with two or more touches.
  • a gesture dial gesture
  • step ST405 by passing the selection value A2 determined in step ST404 to the display control unit 14, the display content is switched and a screen reflecting the operation content is displayed.
  • step ST406 the selection value A2 determined in step ST404 is passed to the notification unit 13, so that the notification content is switched, the notification of the situation after the operation result, and the announcement for prompting the operation are performed.
  • the operation mode switching determination unit 12c determines a switching input to the display component operation mode from the touch information input from the operation information input unit 11 and the touch history information.
  • the display component operation mode is entered, and the operation screen for the display component displayed at the initial activation is entered.
  • the touch input to the operation panel unit 132 is received until the switching input is received, and the display content and the notification content are switched accordingly.
  • step ST402 In the input determination regarding the screen switching in step ST402, if the input content is not switching to the entire screen operation mode (NO in ST402), input determination for the display component is performed in the next step ST709.
  • ⁇ ⁇ Input input to the display component in the display component operation mode is determined based on whether touch input coordinates are included in the display component operation range.
  • the selection value A2 is determined in the next step ST410.
  • the touch input is accepted again in step ST402.
  • the display component input determination unit 12a determines the selection value A2 based on the touch information input from the operation information input unit 11. As an example of selection, as shown in the display screen of each display component in FIG. 3, a display component assigned with a specific selection value such as a button is arranged, and the selection value is input by touch input to the display component. decide.
  • step ST411 by passing the selection value A2 determined in step ST410 to the display control unit 14, the display content of the display panel unit 131 is switched, and a screen corresponding to the operation content is displayed.
  • step ST412 by passing the selection value A2 determined in step ST410 to the notification unit 13, the notification content is switched, the notification of the situation after the operation result, and the announcement for prompting the operation are performed.
  • FIG. 6 is a flowchart illustrating an example of the operation of the two-point touch operation determination process by the gesture input information determination unit 122 according to the embodiment.
  • the gesture input information determination unit 122 determines that the user's touch gesture operation is a two-point touch operation performed by the user without looking at the touch panel will be described.
  • step ST501 the gesture input information determination unit 122 determines whether the total movement amount in C0 msec of the two touch positions during the two-point touch operation is equal to or less than D0 pixel ( First determination condition: When the touch position during the two-point touch operation hardly moves).
  • step ST501 When the movement amount within C0 msec is equal to or less than D0 pixel (YES in step ST501), the process proceeds to the next step ST502. On the other hand, when the movement amount within C0 msec is larger than D0 pixel (NO in step ST501), the process proceeds to step ST505, and the gesture input information determination unit 122 performs the touch gesture operation without looking at the touch panel. It is determined that it is not.
  • the gesture input information determination unit 122 determines whether the movement amount in C1 msec of the touch position of the one-point touch operation immediately before the two-point touch operation is equal to or less than D1 pixel (second determination condition: When the touch position of the one-point touch operation immediately before the two-point touch operation hardly moves).
  • step ST502 When the movement amount in C1 msec of the touch position of the one-point touch operation immediately before the two-point touch operation is equal to or less than D1 pixel (YES in step ST502), the process proceeds to the next step ST503. On the other hand, when the movement amount in C1 msec of the touch position of the one-point touch operation immediately before the two-point touch operation is larger than D1 pixel (NO in step ST502), the process proceeds to step ST505, and the touch gesture operation is performed without looking at the touch panel. It is determined that this is not a two-point touch operation.
  • the gesture input information determination unit 122 determines whether or not the movement amount in C2 msec of the touch position of the one-point touch operation immediately after the two-point touch operation is equal to or less than D2 pixel (third determination condition: When the touch position of the one-point touch operation immediately after the two-point touch operation hardly moves).
  • step ST503 When the movement amount in C2 msec of the touch position of the one-point touch operation immediately after the two-point touch operation is equal to or less than D2 pixel (YES in step ST503), the process proceeds to step S504, and the gesture input information determination unit 122 performs the touch gesture operation. Is determined to be a two-point touch operation performed without looking at the touch panel.
  • step ST503 when the movement amount in C2 msec of the touch position of the one-point touch operation immediately after the two-point touch operation is larger than D2 pixel (NO in step ST503), the process proceeds to step ST505, and the gesture input information determination unit 122 performs the touch gesture. It is determined that the operation is not a two-point touch operation performed without looking at the touch panel.
  • the touch gesture operation is a two-point touch operation performed without looking at the touch panel. A determination is made and a selection value A2 corresponding to the determined touch gesture operation is determined.
  • the gesture input information determination unit 122 performs the touch gesture operation without touching the touch panel. It is determined that the operation is not an operation, and a selection value A2 corresponding to the determined touch gesture operation is determined.
  • the gesture input information determination unit 122 determines that the touch gesture operation is a two-point touch operation performed without looking at the touch panel when all the first to third determination conditions are satisfied. When one or more of the first to third determination conditions are satisfied, the touch gesture operation may be determined as a two-point touch operation performed without looking at the touch panel.
  • the touch gesture operation may be determined as a two-point touch operation performed without looking at the touch panel. Further, another condition may be added to the determination condition for the two-point touch operation performed without looking at the touch panel. Also, the first to third determination conditions may be used for a two-point touch operation performed while looking at the touch panel.
  • FIG. 7 is a flowchart illustrating another example of the operation of the two-point tap determination process performed by the gesture input information determination unit 122 according to the embodiment.
  • the gesture input information determination unit 122 determines that the touch gesture operation is a two-point touch operation performed without the user looking at the touch panel will be described.
  • step ST601 the gesture input information determination unit 122 determines whether the two-point touch operation duration is C3 msec or more (fourth determination condition: operation with long-time two-point touch ).
  • step ST601 When the two-point touch operation duration is C3 msec or longer (YES in step ST601), the process proceeds to step ST602, and the gesture input information determination unit 122 determines that the touch gesture operation is a two-point touch operation.
  • step ST601 When the two-point touch operation duration is less than C3 msec (NO in step ST601), the process proceeds to step ST603, and the gesture input information determination unit 122 determines that the touch gesture operation is not a two-point touch operation.
  • the touch gesture operation tendency when performing the two-point touch operation without looking at the touch panel is performed without looking at the touch panel.
  • First to third determination conditions (or fourth determination conditions) for determining whether or not a two-point touch operation is performed are set, and the gesture input information determination unit 122 sets the first to third determination conditions ( Or the fourth determination condition) determines whether the touch gesture operation is a two-point touch operation performed without looking at the touch panel. This makes it possible to distinguish between a touch gesture operation performed while looking at the touch panel and a touch gesture operation performed without looking at the touch panel, and the touch panel easily recognizes the touch gesture operation performed without looking at the touch panel. be able to.
  • the two-point touch operation performed without looking at the touch panel is determined based on the first to third determination conditions (or the fourth determination condition).
  • the touch gesture operation determined by the touch gesture determination device 110 according to the embodiment is not limited to the two-point touch operation.
  • a determination condition may be newly set for a three-point touch operation (an operation performed by touching three fingers) performed without looking at the touch panel, and the three-point touch operation may be determined.
  • Operation information input unit 12 Operation determination unit, 12a Display component input determination unit, 12b Whole screen input determination unit, 13 Notification unit, 14 Display control unit, 100 Touch panel input device, 110 Touch gesture determination device, 121 Parameter adjustment unit, 122 Gesture input information determination unit, 130 touch panel, 131 display panel unit, 132 operation panel unit, 301 processor, 302 memory, 303 speaker, A0 operation information, 401, 403 screen example, 405 cancel area, A1 input information, A2 selection value , A3 notification information, A4 operation determination information.

Abstract

タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、通知部１３と、表示制御部１４とを有し、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有し、画面全体入力判定部１２ｂは、タッチジェスチャ操作が、ユーザがタッチパネルを見ずに行った動作であるか否かを判定するための判定条件の成立について判定するジェスチャ入力情報判定部１２２を有する。

Description

タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
　本発明は、タッチジェスチャ操作に対応する操作情報が入力され、入力された操作情報に基づく信号を出力するためのタッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム、並びに、タッチジェスチャ操作を受け付け、タッチジェスチャ操作に基づく信号を出力するタッチパネル入力装置に関する。
　タッチパネルを見ずにタッチパネルに表示されたキーボードを操作することにより情報を入力するための技術がある。特許文献１には、ユーザがタッチパネル上に入力基準点を設定すると、入力基準点の位置を基準に情報を入力するための仮想入力キーが表示される携帯情報端末及びその文字入力方法が開示されている。ユーザは、最初に親指でタッチパネル上の任意の位置をタッチすることで入力基準点を設定し、その後、入力基準点の位置を基準に配置された仮想入力キーを人差指等でタッチすることで文字、記号等を入力する。
特開２０１２－１８５５６５号公報（例えば、段落００２７～００４８）
　しかしながら、特許文献１では、ユーザが仮想入力キーの配列を覚えていない場合、仮想入力キーが表示された後にタッチパネルを見る必要があり、完全にタッチパネルを見ずに情報を入力することが困難であった。
　また、タッチパネルを見ずに行うタッチジェスチャ操作では、自分の指とタッチパネルとの位置関係を把握することが困難であるため、タッチパネルを見て行うタッチジェスチャ操作とは力加減、操作点などが異なる。しかし、タッチパネルはその違いを考慮せずに入力されたタッチジェスチャ操作を判定していたため、タッチパネルを見ずに行ったタッチジェスチャ操作が認識されないことがあった。
　本発明は、上記の問題点を解決するためになされたものであり、ユーザがタッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルがタッチジェスチャ操作として容易に認識することを目的とする。
　本発明の一態様に係るタッチジェスチャ判定装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定部を有し、前記ジェスチャ入力情報判定部は、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定することを特徴とする。
　本発明の他の態様に係るタッチジェスチャ判定方法は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、前記タッチジェスチャ判定方法は、前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定ステップと、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、前記操作判定ステップは、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、前記画面全体入力判定ステップは、前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定ステップを有し、前記ジェスチャ入力情報判定ステップは、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定することを特徴とする。
　本発明の他の態様に係るタッチパネル入力装置は、画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置とを有するタッチパネル入力装置であって、前記タッチジェスチャ判定装置は、前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、前記操作判定部は、前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、前記画面全体入力判定部は、前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定部を有し、前記ジェスチャ入力情報判定部は、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定することを特徴とする。
　本発明によれば、ユーザがタッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルがタッチジェスチャ操作として容易に認識することができる。
本発明の実施の形態に係るタッチパネル入力装置の概略構成を示す機能ブロック図である。 実施の形態における画面全体入力判定部の概略構成を示す機能ブロック図である。 実施の形態に係るタッチパネル入力装置のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置におけるタッチパネルの画面及びタッチジェスチャ操作の一例を示す図である。 実施の形態に係るタッチジェスチャ判定装置の動作（タッチジェスチャ判定方法）を示すフローチャートである。 実施の形態におけるジェスチャ入力情報判定部による２点タッチ操作判定処理の動作の一例を示すフローチャートである。 実施の形態におけるジェスチャ入力情報判定部による２点タッチ操作判定処理の動作の他の例を示すフローチャートである。
　以下に、本発明の実施の形態を、添付図面を参照しながら説明する。以下の説明において、タッチパネル入力装置は、タッチ式の操作用の画面（操作画面）を持つタッチパネルと、タッチパネルにおける操作情報を受け取るタッチジェスチャ判定装置とを具備する。
　タッチパネル入力装置は、対象機器に搭載されることにより、又は、対象機器と通信可能に接続されることにより、対象機器としての電気機器の操作画面、対象機器としてのカメラの操作画面、対象機器としての工場設備の操作画面、対象機器としての自動車、船舶、航空機などに搭載される操作画面、対象機器としてのスマートフォン及びタブレット端末などの携帯情報端末の操作画面などに適用可能である。
　タッチパネル入力装置は、タッチパネルの操作画面からタッチジェスチャ操作（「タッチ操作」とも言う）によって入力された操作情報に基づく信号（例えば、選択値）を、タッチパネル入力装置を搭載した対象機器、又は、タッチパネル入力装置と通信可能な対象機器に提供することができる。
　タッチパネルは、ユーザが行うタッチジェスチャ操作を受け付けるタッチジェスチャ入力手段である。また、タッチジェスチャ操作は、ユーザの指（又は、ユーザの手の平、又は、ユーザの指及び手の平）などの特定の動きによる情報入力操作である。タッチジェスチャ操作は、タッチパネルの操作画面を指で軽く叩く操作であるタップ、タッチパネルの操作画面を指ではじく操作であるフリック、タッチパネルの操作画面を指でなぞる操作（指を滑らす操作）であるスワイプを含むことができる。
　また、タッチジェスチャ操作は、タッチパネルにおける表示部品を指で引きずる操作であるドラッグ、タッチパネルの操作画面において複数本の指でつまみながら指の間隔を狭める操作であるピンチイン、タッチパネルの操作画面において複数本の指の間隔を広げる操作であるピンチアウトなどを含むことができる。
　また、タッチジェスチャ操作は、２点以上のタッチでダイヤルを回転させるように操作するダイヤルジェスチャ、２点以上のタッチで指をタッチパネルに接触させたまま、指を上下左右に滑らせるように動かすスライダージェスチャなどを含むことができる。なお、タッチジェスチャ操作は、ペン型の入力補助具であるタッチペンを用いる操作をも含むことができる。
　以下の説明において、ユーザが指を１本使ってタッチパネル上の１点をタッチしながら行うジェスチャを１点タッチ操作といい、ユーザが指を２本使ってタッチパネル上の２点をタッチしながら行うジェスチャ（例えば、ダイヤルジェスチャ）を２点タッチ操作といい、ユーザが指を３本使ってタッチパネル上の３点をタッチしながら行うジェスチャを３点タッチ操作という。
実施の形態．
《１》構成
　図１は、本発明の実施の形態に係るタッチパネル入力装置１００の概略構成を示す機能ブロック図である。図２は、実施の形態における画面全体入力判定部１２ｂの概略構成を示す機能ブロック図である。図１に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチジェスチャ判定装置１１０と、タッチパネル１３０とを有している。タッチジェスチャ判定装置１１０は、実施の形態に係るタッチジェスチャ判定方法及び実施の形態に係るタッチジェスチャ判定プログラムを実行することができる装置である。
　図１に示されるように、タッチパネル１３０は、ユーザによって行われるタッチジェスチャ操作を受け付け、タッチジェスチャ操作に対応する操作情報（以下、「タッチ情報」とも言う）Ａ０を出力する操作パネル部１３２と、操作パネル部１３２と重ねて配置され、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面などのような操作用画像を表示することができる表示パネル部１３１とを有している。表示パネル部１３１は、例えば、液晶ディスプレイである。
　図１に示されるように、タッチジェスチャ判定装置１１０は、操作情報入力部１１と、操作判定部１２と、表示制御部１４とを有している。タッチジェスチャ判定装置１１０は、通知部１３を有していてもよい。
　操作情報入力部１１は、操作パネル部１３２から出力された操作情報（操作信号）Ａ０を受け取る。操作情報入力部１１は、受け取った操作情報Ａ０に対応する入力情報Ａ１を操作判定部１２に出力する。入力情報Ａ１は、操作情報Ａ０に対応する情報であり、操作情報Ａ０と同じ情報であってもよい。
　操作判定部１２は、操作情報入力部１１から入力情報Ａ１を受け取り、操作判定の結果である出力情報としての選択値Ａ２を通知部１３及び表示制御部１４に対して出力する。操作判定部１２から出力される選択値Ａ２は、操作判定部１２が入力情報Ａ１を基に決定した選択値であり、この選択値Ａ２を基に、タッチパネル入力装置１００を搭載した装置のアプリケーションプログラム等が、機器制御などを行う。
　操作判定部１２は、受け取った入力情報Ａ１から、ユーザによるタッチジェスチャ操作の種類及び内容を判定する。図１に示されるように、操作判定部１２は、表示部品入力判定部１２ａと、画面全体入力判定部１２ｂと、操作モード切り替え判定部１２ｃとを有している。
　表示部品入力判定部１２ａは、操作対象とする表示部品を画面内に表示した表示部品操作モードにおいて、画面に表示される表示部品に対するタッチ情報から入力内容を識別し、操作の受付及び選択値の決定を担う。
　画面全体入力判定部１２ｂは、画面全体を入力範囲として設定する画面全体操作モードにおいて、画面全体に対するタッチ情報から入力内容を識別し、操作の受付及び選択値の決定を担う。図２に示されるように、画面全体入力判定部１２ｂは、パラメータ調整部１２１と、ジェスチャ入力情報判定部１２２とを有する。
　タッチ情報の入力内容は、パラメータ調整部１２１と、ジェスチャ入力情報判定部１２２とにより識別する。パラメータ調整部１２１は、入力開始前の操作モードに応じてパラメータを調整し、ジェスチャ入力情報判定部１２２に調整したパラメータを渡す。
　ジェスチャ入力情報判定部１２２は、操作情報入力部１１から受けとった入力情報Ａ１と、パラメータ調整部１２１から受け取ったパラメータから、任意のパターンのジェスチャ入力を判定し、それに対応する選択値Ａ２を決定する。ジェスチャ入力情報判定部１２２は、例えば、入力情報Ａ１に対応するタッチジェスチャ操作が、１点タッチ操作であるか、２点タッチ操作かを判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。
　ここで、従来では、２点タッチ操作であることを判定する場合、例えば、タップされている２点のそれぞれのタップ位置の座標が所定時間（Ａ　ｍｓｅｃ）以内に所定距離（Ｂ　ｐｉｘｅｌ）以上動かないことを判定条件として２点タッチ操作であることを判定していた。
　しかし、タッチパネル１３０を見ずに操作をする時は、ユーザの指とタッチパネル１３０との位置関係がわからないため、上記判定条件だけでは判定できない可能性がある。したがって、タッチパネル１３０を見ずに行った２点タッチ操作であると判定するための判定条件を新たに設定することが望ましい。以下では、実施の形態に係るタッチジェスチャ判定装置１１０が、タッチパネル１３０を見ずに行った２点タッチ操作を判定するために新たに設定する判定条件について説明を行う。
　タッチパネル１３０を見ずに２点タッチしようとして手を伸ばすと、指の長さと手の向きの関係で、同時に２点タッチするのは困難である。したがって、１点でタッチパネル１３０を触ってから、２点でタッチし、離すときに１点タッチに戻って手を離すという流れになりやすい。また、タッチパネル１３０を見ずに操作を行う場合には、力加減がわからずに、タッチパネル１３０を押し込む操作も行いやすい。
　そのため、タッチパネル１３０を見ずに行った２点タッチ操作であると判定するための判定条件の例として、例えば、以下の第１から第３の判定条件を設定する。第１から第３の判定条件は、所定時間（予め定められた時間）におけるタッチジェスチャ操作のタッチ数の変化又はタッチ位置の移動量に基づいて予め定められた条件である。第１から第３の判定条件は、パラメータ調整部１２１又はジェスチャ入力情報判定部１２２に記憶されることができる。
　第１の判定条件：２点タッチ操作中のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作中のタッチ位置の所定時間（Ｃ０　ｍｓｅｃ：第１の時間）における移動量の合計が所定値（Ｄ０　ｐｉｘｅｌ：第１の値）以下のとき）。
　第２の判定条件：２点タッチ操作直前の１点タッチ操作のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作直前の１点タッチ操作のタッチ位置の所定時間（Ｃ１　ｍｓｅｃ：第２の時間）における移動量が所定値（Ｄ１　ｐｉｘｅｌ：第２の値）以下のとき）。
　第３の判定条件：２点タッチ操作直後の１点タッチ操作のタッチ位置が殆ど動かなかったとき（例えば、２点タッチ操作直後の１点タッチ操作のタッチ位置の所定時間（Ｃ２　ｍｓｅｃ：第３の時間）における移動量が所定値（Ｄ２　ｐｉｘｅｌ：第３の値）以下のとき）。
　ジェスチャ入力情報判定部１２２は、上記の第１から第３の判定条件の全てが満たされた場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作（第１の動作）であると判定し、上記の第１から第３の判定条件の内のいずれか１つ以上の判定条件が満たされない場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作ではないと判定する。
　ただし、判定条件として、他の判定条件を用いてもよい。例えば、タッチパネル１３０を見ずに２点タッチしようとして手を伸ばすと、タッチ位置を目視で確認する場合と比較して、タッチ位置を即座に確認できないため、長時間２点タッチを行いやすい。したがって、ジェスチャ入力情報判定部１２２は、以下の第４の判定条件を満たす場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作であると判定し、以下の第４の判定条件が満たされない場合に、タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作ではないと判定する。
　第４の判定条件：長時間２点タッチで操作を続けたとき（例えば、２点タッチ操作継続時間が所定値（Ｃ４　ｍｓｅｃ：第４の時間）以上であるとき）。
　操作モード切り替え判定部１２ｃは、操作情報入力部１１から受け取った入力情報Ａ１から、入力情報Ａ１に画面の操作モードの切り替えに関する情報が含まれるかを判定する。画面の操作モードには、操作対象とする表示部品を画面内に表示した表示部品操作モードと、画面全体を入力範囲として設定する画面全体操作モードが存在し、これらの操作モードを切り替えることができる。
　操作モード切り替え判定部１２ｃは、操作モードの切り替えに関する判定結果から、操作モードを切り替える。操作モード切り替え判定部１２ｃが操作モードを切り替えることにより、操作画面の表示内容、入力方法、及び通知方法が切り替わる。
　通知部１３は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の通知方法を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作の状況を通知する。通知部１３は、選択値Ａ２に従う通知内容の通知を発し、又は通知信号を出力する。
　例えば、通知部１３は、操作判定部１２により受け取った入力情報Ａ２に応じて、ユーザのタッチジェスチャ操作の状況を、例えば、音、画面表示、バイブレータによる振動、又はランプ点灯などで通知する。
　通知部１３による通知が音による通知である場合には、通知部１３は音声出力部としてのスピーカに通知信号を出力する。スピーカは、後述の図３に示される。通知部１３による通知が画像表示である場合には、通知部１３は通知情報Ａ３を表示制御部１４に送り、表示制御部１４が通知情報Ａ３に基づく画像信号Ａ４をタッチパネル１３０の表示パネル部１３１に送信する。
　表示制御部１４は、操作モード切り替え判定部１２ｃの判定結果に従い、操作画面の表示内容を切り替え、また、操作判定部１２により決定した選択値Ａ２の情報を受け、操作結果を画面に反映する。図１に示されるように、表示制御部１４は、タッチパネル１３０の表示パネル部１３１に表示される操作用画像の画像信号Ａ４を表示パネル部１３１に対して出力する。
　図３は、実施の形態に係るタッチパネル入力装置１００のハードウェア（Ｈ／Ｗ）構成の一例を示す図である。図３に示されるように、実施の形態に係るタッチパネル入力装置１００は、タッチパネル１３０と、プロセッサ３０１と、メモリ３０２と、スピーカ３０３とを有している。
　図１に示されるタッチジェスチャ判定装置１１０は、ソフトウェアとしてのタッチジェスチャ判定プログラムを格納する記憶装置としてのメモリ３０２と、メモリ３０２に格納されたタッチジェスチャ判定プログラムを実行する情報処理部としてのプロセッサ３０１とを用いて（例えば、コンピュータにより）実現することができる。
　この場合には、図１における構成要素１１～１４は、図３においてタッチジェスチャ判定プログラムを実行するプロセッサ３０１に相当する。なお、図１に示されるタッチジェスチャ判定装置１１０の一部を、図２に示されるメモリ３０２と、タッチジェスチャ判定プログラムを実行するプロセッサ３０１とによって実現することもできる。
　タッチパネル１３０は、複数の指の接触を検知し、タッチ情報（各指の識別番号、座標、及び接触状態）をプロセッサ３０１に送信する。プロセッサ３０１は、タッチパネル１３０から取得したタッチ情報をメモリ３０２に記憶し、メモリ３０２に蓄積したタッチの履歴情報を基に、操作画面、入力方法、及び通知方法を切り替える。
　また、プロセッサ３０１は、メモリ３０２に記憶したタッチ情報から、画面全体に対する操作であるか、表示部品に対する操作であるかを判定し、それぞれの操作モードにおいて選択値を決定する。
　スピーカ３０３は、例えば、タッチジェスチャ操作状況をアナウンスなど音で通知する場合に使用される音出力部である。タッチパネル入力装置１００は、スピーカ３０３に代えて、又は、追加の構成として、バイブレータ、ランプ、通知信号を無線送信するための送信装置などの追加の装置を備えてもよい。
　図４（ａ）及び（ｂ）は、実施の形態に係るタッチパネル入力装置１００におけるタッチパネル１３０の画面及びタッチジェスチャ操作の一例を示す図である。図４（ａ）は、表示部品操作モードで表示する画面例４０１を示している。図４（ａ）に示されるように、画面例４０１には、選択値を直接選択するボタン４０２など、操作対象とする様々な部品が表示される。表示部品が表示される領域に対しタッチ入力することにより、対象の部品の操作が可能となる。
　図４（ｂ）は、画面全体操作モードで表示する画面例４０３を示している。図４（ｂ）に示されるように、画面例４０３には、現在選択している選択値の表示４０４、又は画面切り替えのための操作指示を促す表示（例えば、後述するキャンセル領域４０５）などが示される。この画面での入力方法としては、たとえばタップ操作の回数、２点以上のタッチでダイヤルを回転させるようなジェスチャ（ダイヤルジェスチャ）などで情報を入力する。
　図４（ｂ）の画面例４０３の下部には、「＞＞Ｃａｎｃｅｌ＞＞」を囲む矩形領域であるキャンセル領域４０５が示されている。キャンセル領域４０５を選択してスワイプする（予め決められた方向に指を左から右に滑らせる）ことにより、画面全体操作モードをキャンセルして、画面全体操作モードから表示部品操作モードの画面への切り替えを実行することができる。
　図５は、実施の形態におけるタッチジェスチャ判定装置１１０の動作（タッチジェスチャ判定方法）を示すフローチャートである。図５に示されるように、ステップＳＴ４０１において、ユーザは、表示部品操作モードでシステムを起動し、各処理部の初期化を実施する。
　次のステップＳＴ４０２において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報を基に、画面全体操作モードへの切り替え入力を判定する。画面全体操作モードへの切り替え入力を受け付けた場合（ＳＴ４０２においてＹＥＳ）、次のステップＳＴ４０３において、操作モードを遷移させ、画面全体操作モードにおける表示内容、入力方法、通知方法を切り替える。
　次のステップＳＴ４０４において、ジェスチャ入力情報判定部１２２が、ユーザにより入力されたタッチ情報からジェスチャ入力に関する情報を識別し、それにより選択値Ａ２を決定する。ユーザは、例えば、２点以上のタッチでダイヤルを回転させるようなジェスチャ（ダイヤルジェスチャ）などで情報を入力する。
　次のステップＳＴ４０５において、ステップＳＴ４０４で決定した選択値Ａ２を表示制御部１４に渡すことにより、表示内容を切り替え、操作内容を反映した画面を表示する。
　次のステップＳＴ４０６において、ステップＳＴ４０４で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。
　次のステップＳＴ４０７において、操作モード切り替え判定部１２ｃが、操作情報入力部１１から入力されたタッチ情報とタッチの履歴情報から、表示部品操作モードへの切り替え入力を判定する。
　切り替え入力を検知した場合（ＳＴ４０７においてＹＥＳ）は、次のステップＳＴ４０８において、表示部品操作モードに遷移し、初期起動時に表示した表示部品の操作画面に移行する。表示部品操作モードへの切り替え入力が無い場合は、切り替え入力を受け付けるまで、操作パネル部１３２に対するタッチ入力を受け付け、そして、それに応じて表示内容及び通知内容を切り替える。
　ステップＳＴ４０２の画面切り替えに関する入力判定において、入力内容が画面全体操作モードへの切り替えで無かった場合（ＳＴ４０２においてＮＯ）、次のステップＳＴ７０９において、表示部品に対する入力判定を実施する。
　表示部品操作モードにおける表示部品に対する入力の判定は、表示部品の操作範囲にタッチ入力座標が含まれるかにより判定する。表示部品の操作入力を検知した場合、次のステップＳＴ４１０で選択値Ａ２の決定を、操作対象が表示部品でない場合はステップＳＴ４０２で再度タッチ入力の受付を実施する。
　次のステップＳＴ４１０において、表示部品入力判定部１２ａが操作情報入力部１１から入力されたタッチ情報を基に、選択値Ａ２を決定する。選択の例として、図３の各表示部品の表示画面の図に示すように、ボタンなど、固有の選択値を割り当てた表示部品を配置しておき、表示部品へのタッチ入力によりその選択値を決定する。
　次のステップＳＴ４１１において、ステップＳＴ４１０で決定した選択値Ａ２を表示制御部１４に渡すことにより、表示パネル部１３１の表示内容を切り替え、操作内容に対応する画面を表示する。
　次のステップＳＴ４１２において、ステップＳＴ４１０で決定した選択値Ａ２を通知部１３に渡すことにより、通知内容を切り替え、操作結果後の状況の通知、操作を促すアナウンスを実施する。
　図６は、実施の形態におけるジェスチャ入力情報判定部１２２による２点タッチ操作判定処理の動作の一例を示すフローチャートである。以下では、ジェスチャ入力情報判定部１２２が、ユーザによるタッチジェスチャ操作を、ユーザがタッチパネルを見ずに行った２点タッチ操作と判定する処理の一例について説明する。
　図６に示されるように、ジェスチャ入力情報判定部１２２は、ステップＳＴ５０１において、２点タッチ操作中の２点のタッチ位置のＣ０　ｍｓｅｃにおける移動量の合計がＤ０　ｐｉｘｅｌ以下であるかを判定する（第１の判定条件：２点タッチ操作中のタッチ位置が殆ど動かなかったとき）。
　Ｃ０　ｍｓｅｃ以内の移動量がＤ０　ｐｉｘｅｌ以下であるとき（ステップＳＴ５０１においてＹＥＳ）は、処理は、次のステップＳＴ５０２に進む。一方、Ｃ０　ｍｓｅｃ以内の移動量がＤ０　ｐｉｘｅｌより大きいとき（ステップＳＴ５０１においてＮＯ）は、ステップＳＴ５０５に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。
　ジェスチャ入力情報判定部１２２は、次のステップＳＴ５０２において、２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１　ｍｓｅｃにおける移動量がＤ１　ｐｉｘｅｌ以下であるかを判定する（第２の判定条件：２点タッチ操作直前の１点タッチ操作のタッチ位置が殆ど動かなかったとき）。
　２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１　ｍｓｅｃにおける移動量がＤ１　ｐｉｘｅｌ以下であるとき（ステップＳＴ５０２においてＹＥＳ）は、処理は、次のステップＳＴ５０３に進む。一方、２点タッチ操作直前の１点タッチ操作のタッチ位置のＣ１　ｍｓｅｃにおける移動量がＤ１　ｐｉｘｅｌより大きいとき（ステップＳＴ５０２においてＮＯ）は、ステップＳＴ５０５に進み、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。
　ジェスチャ入力情報判定部１２２は、次のステップＳＴ５０３において、２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２　ｍｓｅｃにおける移動量がＤ２　ｐｉｘｅｌ以下であるかを判定する（第３の判定条件：２点タッチ操作直後の１点タッチ操作のタッチ位置が殆ど動かなかったとき）。
　２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２　ｍｓｅｃにおける移動量がＤ２　ｐｉｘｅｌ以下であるとき（ステップＳＴ５０３においてＹＥＳ）は、ステップＳ５０４に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が、タッチパネルを見ずに行った２点タッチ操作であると判定する。
　一方、２点タッチ操作直後の１点タッチ操作のタッチ位置のＣ２　ｍｓｅｃにおける移動量がＤ２　ｐｉｘｅｌより大きいとき（ステップＳＴ５０３においてＮＯ）は、ステップＳＴ５０５に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定する。
　以上のように、実施の形態におけるジェスチャ入力情報判定部１２２は、上記第１から第３の判定条件を全て満たすときに、当該タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作だと判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。
　一方、上記第１から第３の判定条件の内のいずれか１つ以上の判定条件を満たさないときには、ジェスチャ入力情報判定部１２２は、当該タッチジェスチャ操作はタッチパネルを見ずに行った２点タッチ操作ではないと判定し、判定されたタッチジェスチャ操作に対応する選択値Ａ２を決定する。
　なお、上記では、ジェスチャ入力情報判定部１２２は、上記第１から第３の判定条件の全てを満たすときにタッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定したが、上記第１から第３の判定条件の内の１つ以上を満たすときに、タッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定してもよい。
　例えば、上記第１の判定条件及び第２の判定条件を満たすときに、タッチジェスチャ操作をタッチパネルを見ずに行った２点タッチ操作と判定してもよい。また、タッチパネルを見ずに行った２点タッチ操作の判定条件に、他の条件を追加してもよい。また、タッチパネルを見ながら行った２点タッチ操作についても、上記第１から第３の判定条件を用いてもよい。
　図７は、実施の形態におけるジェスチャ入力情報判定部１２２による２点タップ判定処理の動作の他の例を示すフローチャートである。以下では、ジェスチャ入力情報判定部１２２が、タッチジェスチャ操作を、ユーザがタッチパネルを見ずに行った２点タッチ操作と判定する処理の他の例について説明する。
　図７に示されるように、ジェスチャ入力情報判定部１２２は、ステップＳＴ６０１において、２点タッチ操作継続時間がＣ３　ｍｓｅｃ以上であるかを判定する（第４の判定条件：長時間２点タッチで操作を続けたとき）。
　２点タッチ操作継続時間がＣ３　ｍｓｅｃ以上であるとき（ステップＳＴ６０１においてＹＥＳ）は、ステップＳＴ６０２に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が２点タッチ操作であると判定する。
　２点タッチ操作継続時間がＣ３　ｍｓｅｃ未満であるとき（ステップＳＴ６０１においてＮＯ）は、ステップＳＴ６０３に進み、ジェスチャ入力情報判定部１２２は、タッチジェスチャ操作が２点タッチ操作ではないと判定する。
《３》効果
　以上のように、実施の形態に係るタッチジェスチャ判定装置１１０によれば、タッチパネルを見ずに２点タッチ操作を行うときのタッチジェスチャ操作の傾向から、タッチパネルを見ずに行った２点タッチ操作か否かを判定する第１から第３の判定条件（又は第４の判定条件）を設定し、ジェスチャ入力情報判定部１２２は、設定された第１から第３の判定条件（又は第４の判定条件）により当該タッチジェスチャ操作がタッチパネルを見ずに行った２点タッチ操作であるかを判定する。これにより、タッチパネルを見ながら行ったタッチジェスチャ操作と、タッチパネルを見ずに行ったタッチジェスチャ操作とを区別することができ、タッチパネルを見ずに行ったタッチジェスチャ操作を、タッチパネルが容易に認識することができる。
《４》変形例
　上記実施の形態に係るタッチジェスチャ判定装置１１０では、タッチパネルを見ずに行った２点タッチ操作について第１から第３の判定条件（又は第４の判定条件）により判定したが、実施の形態に係るタッチジェスチャ判定装置１１０が判定するタッチジェスチャ操作は２点タッチ操作に限定されない。例えば、タッチパネルを見ずに行った３点タッチ操作（３本の指をタッチして行う操作）について新たに判定条件を設定し、３点タッチ操作について判定してもよい。
　１１　操作情報入力部、　１２　操作判定部、　１２ａ　表示部品入力判定部、　１２ｂ　画面全体入力判定部、　１３　通知部、　１４　表示制御部、　１００　タッチパネル入力装置、　１１０　タッチジェスチャ判定装置、　１２１　パラメータ調整部、　１２２　ジェスチャ入力情報判定部、　１３０　タッチパネル、　１３１　表示パネル部、　１３２　操作パネル部、　３０１　プロセッサ、　３０２　メモリ、　３０３　スピーカ、　Ａ０　操作情報、　４０１，４０３　画面例、　４０５　キャンセル領域、　Ａ１　入力情報、　Ａ２　選択値、　Ａ３　通知情報、　Ａ４　操作判定情報。

Claims (13)

  1. 　画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定装置であって、
    　前記タッチジェスチャ判定装置は、
    　前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定部と、
    　前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
    　前記操作判定部は、
    　前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
    　前記画面全体入力判定部は、
    　前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定部を有し、
    　前記ジェスチャ入力情報判定部は、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定する
    　ことを特徴とするタッチジェスチャ判定装置。
  2. 　前記判定条件は、予め定められた時間における前記タッチジェスチャ操作のタッチ数の変化又はタッチ位置の移動量に基づいて予め定められた条件である
    　ことを特徴とする請求項１に記載のタッチジェスチャ判定装置。
  3. 　前記第１の操作は、前記ユーザの２本指が同時に前記タッチパネルをタッチする２点タッチ操作である
    　ことを特徴とする請求項１又は２に記載のタッチジェスチャ判定装置。
  4. 　前記判定条件は、
    　２点タッチ操作中の２点のタッチ位置の第１の時間における移動量の合計が第１の値以下であることを判定する条件である第１の判定条件、
    　２点タッチ操作直前の１点タッチ操作のタッチ位置の第２の時間における移動量が第２の値以下であることを判定する条件である第２の判定条件、
    　及び２点タッチ操作直後の１点タッチ操作のタッチ位置の第３の時間における移動量が第３の値以下であることを判定する条件である第３の判定条件
    　のいずれか１つ又は２つ以上の組み合わせである
    　ことを特徴とする請求項３に記載のタッチジェスチャ判定装置。
  5. 　前記判定条件は、
    　２点タッチ操作継続時間が第４の時間以上であることを判定する条件である第４の判定条件である
    　ことを特徴とする請求項３に記載のタッチジェスチャ判定装置。
  6. 　前記第１の操作は、前記ユーザの３本指が同時に前記タッチパネルをタッチする３点タッチ操作である
    　ことを特徴とする請求項１又は２に記載のタッチジェスチャ判定装置。
  7. 　前記操作判定部は、
    　前記タッチパネルに前記操作用画像として表示された表示部品に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する表示部品入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する表示部品入力判定部と、
    　前記表示部品入力モードと前記画面全体入力モードとを切り替える操作モード切り替え部と、をさらに有する
    　ことを特徴とする請求項１から６のいずれか１項に記載のタッチジェスチャ判定装置。
  8. 　前記タッチパネルから出力された前記操作情報を受け取り、受け取った前記操作情報に対応する入力情報を前記操作判定部に出力する操作情報入力部をさらに有する
    　ことを特徴とする請求項１から７のいずれか１項に記載のタッチジェスチャ判定装置。
  9. 　前記出力情報に応じた通知内容の通知を発し、又は前記出力情報に応じた通知内容の通知信号を出力する通知部をさらに有する
    　ことを特徴とする請求項１から８のいずれか１項に記載のタッチジェスチャ判定装置。
  10. 　画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するタッチジェスチャ判定方法であって、
    　前記タッチジェスチャ判定方法は、
    　前記操作情報に基づいて、前記タッチパネルの表示のための前記出力情報を生成する操作判定ステップと、
    　前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御ステップと、を有し、
    　前記操作判定ステップは、
    　前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定ステップを有し、
    　前記画面全体入力判定ステップは、
    　前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定ステップを有し、
    　前記ジェスチャ入力情報判定ステップは、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合には前記タッチジェスチャ操作が前記第１の操作であると判定し、前記判定条件が満たされない場合には前記タッチジェスチャ操作が前記第１の操作ではないと判定する
    　ことを特徴とするタッチジェスチャ判定方法。
  11. 　コンピュータに、
    　画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルから、前記操作情報を受け取り、前記操作情報に基づく出力情報を生成するために、
    　前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定処理と、
    　前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御処理と、を実行させ、
    　前記操作判定処理は、
    　前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定処理を有し、
    　前記画面全体入力判定処理は、
    　前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定処理を有し、
    　前記ジェスチャ入力情報判定処理は、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定する処理である
    　ことを特徴とするタッチジェスチャ判定プログラム。
  12. 　画面に操作用画像を表示し、ユーザのタッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力するタッチパネルと、
    　前記操作情報を受け取り、前記操作情報に基づいて前記タッチパネルの表示を制御するタッチジェスチャ判定装置と
    　を有するタッチパネル入力装置であって、
    　前記タッチジェスチャ判定装置は、
    　前記操作情報に基づいて、前記タッチパネルの表示のための出力情報を生成する操作判定部と、
    　前記出力情報を受け取り、前記タッチパネルに前記操作用画像として前記出力情報に応じた画像を表示させる表示制御部と、を有し、
    　前記操作判定部は、
    　前記タッチパネルの画面全体に対して行われたタッチジェスチャ操作に基づいて入力内容を識別する画面全体入力モードにおいて行われたタッチジェスチャ操作に対応する操作情報から前記出力情報を決定する画面全体入力判定部を有し、
    　前記画面全体入力判定部は、
    　前記操作情報から、前記タッチジェスチャ操作の内容を判定するジェスチャ入力情報判定部を有し、
    　前記ジェスチャ入力情報判定部は、前記操作情報から、前記タッチジェスチャ操作が前記ユーザが前記タッチパネルを見ずに行った操作である第１の操作であるか否かを判定するための判定条件について判定し、前記判定条件が満たされる場合に前記タッチジェスチャ操作が前記第１の操作であると判定する
    　ことを特徴とするタッチパネル入力装置。
  13. 　前記タッチパネルは、
    　前記タッチジェスチャ操作を受け付け、前記タッチジェスチャ操作に対応する操作情報を出力する操作パネル部と、前記操作パネル部と重ねて配置され、前記画面に前記操作用画像を表示する表示パネル部とを有する
    　ことを特徴とする請求項１２に記載のタッチパネル入力装置。
PCT/JP2017/010299 2017-03-15 2017-03-15 タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置 WO2018167860A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/010299 WO2018167860A1 (ja) 2017-03-15 2017-03-15 タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP2017540658A JP6253861B1 (ja) 2017-03-15 2017-03-15 タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/010299 WO2018167860A1 (ja) 2017-03-15 2017-03-15 タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置

Publications (1)

Publication Number Publication Date
WO2018167860A1 true WO2018167860A1 (ja) 2018-09-20

Family

ID=60860136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010299 WO2018167860A1 (ja) 2017-03-15 2017-03-15 タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置

Country Status (2)

Country Link
JP (1) JP6253861B1 (ja)
WO (1) WO2018167860A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253207A1 (en) * 2020-01-19 2022-08-11 Huawei Technologies Co., Ltd. Display method and electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533575A (ja) * 2013-11-01 2016-10-27 インテル コーポレイション 注視補助型タッチスクリーン入力

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016533575A (ja) * 2013-11-01 2016-10-27 インテル コーポレイション 注視補助型タッチスクリーン入力

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253207A1 (en) * 2020-01-19 2022-08-11 Huawei Technologies Co., Ltd. Display method and electronic device

Also Published As

Publication number Publication date
JP6253861B1 (ja) 2017-12-27
JPWO2018167860A1 (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
JP7342208B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP5718042B2 (ja) タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
US20120174044A1 (en) Information processing apparatus, information processing method, and computer program
US20130263013A1 (en) Touch-Based Method and Apparatus for Sending Information
JP5522755B2 (ja) 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US20170285908A1 (en) User interface through rear surface touchpad of mobile device
EP2829967A2 (en) Method of processing input and electronic device thereof
JP2013250761A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP6041742B2 (ja) タッチパネル表示制御装置
US10353540B2 (en) Display control device
JP6253861B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
WO2013077359A1 (ja) 電子機器、電子機器の操作方法及びプログラム
JP6737239B2 (ja) 表示装置及び表示制御プログラム
KR20150040825A (ko) 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치
JP2019070990A (ja) 表示制御装置
JP6227213B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR101397907B1 (ko) 멀티 터치 인식을 위한 시스템, 제어방법과, 기록 매체
JP6210664B2 (ja) 情報処理装置とその制御方法、及びプログラムと記憶媒体
JP7030529B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
WO2014148352A1 (ja) 情報端末、操作領域制御方法及び操作領域制御プログラム
JP2016200918A (ja) 情報処理装置、その制御方法、及びプログラム
JP6475050B2 (ja) 情報入出力システム及び情報処理システム
JP2022181960A (ja) 情報処理装置、およびプログラム
WO2015155892A1 (ja) 情報端末装置及び画像表示方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017540658

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17900961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17900961

Country of ref document: EP

Kind code of ref document: A1