WO2014132893A1 - 操作検知装置 - Google Patents

操作検知装置 Download PDF

Info

Publication number
WO2014132893A1
WO2014132893A1 PCT/JP2014/054181 JP2014054181W WO2014132893A1 WO 2014132893 A1 WO2014132893 A1 WO 2014132893A1 JP 2014054181 W JP2014054181 W JP 2014054181W WO 2014132893 A1 WO2014132893 A1 WO 2014132893A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinates
gesture
radius
rotation angle
change
Prior art date
Application number
PCT/JP2014/054181
Other languages
English (en)
French (fr)
Inventor
早坂　哲
智 中嶋
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Priority to EP14756709.3A priority Critical patent/EP2963530A4/en
Priority to JP2015502897A priority patent/JP6058118B2/ja
Priority to CN201480010855.0A priority patent/CN105009059B/zh
Publication of WO2014132893A1 publication Critical patent/WO2014132893A1/ja
Priority to US14/837,809 priority patent/US20150378504A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an operation detection device capable of identifying each gesture such as scrolling, zooming, rotating by an operating tool.
  • Patent Document 1 discloses an invention related to an operation input detection device using a touch panel.
  • sample patterns of a plurality of gesture operations are acquired in advance as a preparation stage, and these are stored in a sample pattern storage unit (for example, [0058] in Patent Document 1). Specific examples of the gesture by the finger are shown in FIGS. 11 and 12 of Patent Document 1.
  • Patent Document 1 after storing a sample pattern, an operation input pattern is collected, the operation input pattern is compared with the sample pattern, and a matched sample pattern is selected. Then, gesture information corresponding to the sample pattern is output, and the display on the operation screen changes based on the gesture information (for example, [0059] in Patent Document 1).
  • the present invention is intended to solve the above-described conventional problems, and in particular, it is an object of the present invention to provide an operation detection device capable of recognizing a gesture of an operating body more easily and properly than conventional.
  • the operation detection device in the present invention is A detection unit capable of detecting position coordinates of the operating body operated on the operation surface; and a control unit that calculates an operation signal of the operation body based on the position coordinates, The control unit calculates, as the operation signal, at least one of a change of at least one of a center coordinate of a virtual circle passing substantially through the position coordinates, a radius of the virtual circle, and a rotation angle of the virtual circle. It is characterized by doing.
  • the virtual circle is set based on the position coordinates, and each change of the center coordinates, radius or rotation angle in this virtual circle is calculated as the operation signal of the operating body.
  • These operation signals are gesture information of the operating body, and it is possible to easily and appropriately recognize the gestures of the operating body by the calculated operation signals.
  • the operation signal can be obtained easily and quickly, and interlocking quickly with the gesture of the operating body You can make the display change while making it.
  • an average coordinate of each position coordinate of a plurality of operating bodies simultaneously operated on the operation surface is set as the center coordinate, and an average value of distances between the center coordinate and each position coordinate is calculated. It is preferable to calculate as the said rotation angle the average value of the angle which the said center coordinate and each position coordinate make as said radius. According to the present invention, even if there are a plurality of operating bodies operated simultaneously on the operating surface, changes in the center coordinates, radius and rotation angle of the virtual circle with time can be calculated as operating signals. .
  • the change with time progress of the central coordinate is an operation signal of the scroll gesture
  • the change with time change of the radius is a control signal of the zoom gesture
  • the change with time change of the rotation angle is a rotation gesture operation It can be calculated as a signal.
  • the center coordinates are preset.
  • the control unit sets a distance between the position coordinates of the one operating body and the central coordinates as a radius, and the one operation An angle formed between the position coordinates of the body and the center coordinates may be the rotation angle.
  • the control unit sets, as a radius, an average value of distances between the central coordinates and position coordinates of the plurality of operating bodies, The average value of the angles formed by the central coordinates and each position coordinate may be the rotation angle.
  • the operation surface when operated by one or more operation bodies, it is possible to easily and appropriately calculate the change of the radius of the imaginary circle and the rotation angle with the passage of time as the operation signal. That is, in the present invention, only one operating body may be provided.
  • the center of the operation surface is the center coordinate.
  • the radius of the virtual circle and the change over time of the rotation angle can be easily calculated as the operation signal over substantially the entire area of the operation surface.
  • the central area of the operation surface is an area where a scroll gesture is performed
  • the outer peripheral area with respect to the central area is an area where a rotate gesture is performed
  • in the central area It is possible to calculate as the operation signal of the gesture, and, in the outer peripheral region, change of the rotation angle with the passage of time can be calculated as the operation signal of the rotate gesture.
  • the operation surface is circular in plan view.
  • the outer peripheral area is set as the rotate area as described above, it is easy to rotate the operating body along the outer peripheral area.
  • the operation signal is calculated by ignoring the position coordinate with respect to the operating body having a change when the number of the operating bodies detected with the passage of time changes. As a result, it is possible to stably calculate, as the operation signal, changes of the center coordinates, radius, and rotation angle of the virtual circle with time.
  • wrap around control is performed in the control unit.
  • a virtual circle is set based on the position coordinates, and the central coordinates, radius or rotation angle in this virtual circle are calculated as operation signals as changes in the operating body.
  • These operation signals are gesture information of the operating body, and it is possible to easily and appropriately recognize the gestures of the operating body by the calculated operation signals.
  • the operation signal can be obtained easily and quickly, and interlocking quickly with the gesture of the operating body The display of the operation surface can be changed while causing
  • FIG. 1 is a plan view of the operation detection input device of the present embodiment.
  • FIG. 2 is a conceptual diagram for explaining an algorithm (0th cycle) in the first embodiment for calculating a gesture signal.
  • FIG. 3 shows the state of the first cycle following FIG. 2, and in particular, is a conceptual diagram for calculating, as a gesture signal, the change of the central coordinates of the virtual circle with the passage of time.
  • FIG. 4 shows the state of the first cycle following FIG. 2, and in particular, is a conceptual diagram for calculating the change of the radius of the virtual circle with the passage of time as a gesture signal.
  • FIG. 5 shows the state of the first cycle following FIG. 2, and in particular, is a conceptual diagram for calculating a change in the rotation angle of the virtual circle with the passage of time as a gesture signal.
  • FIG. 6 is a conceptual diagram showing a state in which the number of fingers (operating bodies) used for the gesture has changed at the nth cycle.
  • FIG. 7 is a conceptual diagram for explaining an algorithm (0th cycle) in the second embodiment for calculating a gesture signal.
  • FIG. 8 shows the state of the first cycle following FIG. 7 and is a conceptual diagram for calculating a change with the passage of time of the radius or rotation angle of the virtual circle as a gesture signal.
  • FIG. 9 is a block diagram of the operation detection apparatus in the present embodiment.
  • FIG. 10 is a plan view showing a change in display form accompanying a gesture of a finger (operating body).
  • FIG. 1 is a plan view of the operation detection input device of the present embodiment.
  • FIG. 9 is a block diagram of the operation detection apparatus in the present embodiment, and
  • FIG. 10 is a plan view showing a change in display form accompanied by a gesture of a finger (operation body).
  • the operation detection apparatus 1 shown in the present embodiment has, for example, a transparent operation surface 2, a detection unit (sensor unit) 3 located on the back side of the operation surface 2, and a control unit 4. And the display device 5 disposed on the back surface side of the operation surface 2 and the detection unit 3.
  • the operation surface 2 is made of a transparent resin sheet, glass, plastic or the like.
  • the detection unit 3 is, for example, a capacitance type sensor, and is disposed such that a large number of first electrodes 6 and a large number of second electrodes 7 intersect with each other.
  • Each of the electrodes 6 and 7 is formed of ITO (Indium Tin Oxide) or the like.
  • ITO Indium Tin Oxide
  • the capacitance between the fingers A to E and the electrodes 6 and 7 changes. It is possible to detect the operation position of each finger A to E based on the change in capacitance.
  • a drive voltage is applied to one of the first electrode 6 and the second electrode 7, and the other electrode detects a change in electrostatic capacitance between the finger and the other electrode.
  • the position of each finger based on the mutual capacitance detection type that detects the operation position, the capacitance change between each finger and the first electrode 6, and the capacitance change between each finger and the second electrode 7
  • the detection unit 3 can detect the position coordinates of the finger not only in a state in which the finger is in contact with the surface of the operation surface 2 but also in a state in which the finger is slightly away from the surface.
  • the detection unit 3 of the present embodiment even if there are a plurality of fingers (operating bodies) operating the operation surface 2 simultaneously, the number of the fingers A to E and the position coordinates can be detected. As described above, the detection unit 3 can detect the number of fingers operating on the operation surface 2 and the position coordinates of each finger.
  • the control unit 4 shown in FIG. 9 calculates a gesture signal (operation signal) based on the position coordinates detected by the detection unit 3.
  • gesture refers to the operation on the operation surface 2 following a predetermined pattern with one finger or two or more fingers. For example, as shown in FIG. 1, from the state in which five fingers A to E are in contact with the operation surface 2, the operation (scroll) to move each finger A to E linearly as it is, or spreading each finger A to E An operation to zoom in (zoom) or an operation to rotate each of A to E (rotation) is a specific example of the gesture.
  • the display device 5 shown in FIG. 9 is a liquid crystal display, an organic EL or the like, it is not particularly limited.
  • the display device 5 receives a gesture signal from the control unit 4, the display change is performed based on the gesture signal.
  • a gesture for scaling the display displayed on the operation surface 2 is referred to as a "zoom" gesture. Further, when a gesture is made to rotate the fingers A to E shown in FIG. 1, the character “A” can also be rotated (rotated) accordingly (FIG. 10 (d)). That is, the letter “A” can be rotated to the right or to the left. A gesture for rotating such a display displayed on the operation surface 2 is referred to as a "rotate" gesture.
  • the gesture has been described using the characters displayed on the operation surface 2, but the operation detection device 1 in the present embodiment is, for example, a car navigation device installed in a vehicle.
  • the displayed map can be scrolled, zoomed, or rotated as the finger gestures.
  • the operation detection device 1 is an audio device provided in the center console, and can perform adjustment of volume, song feed, music selection, and the like by a gesture operation of a finger.
  • the operation detection device 1 is an operation device for various functions of the vehicle, and can perform temperature adjustment, air conditioning adjustment, seat adjustment, and the like by a gesture operation of a finger.
  • the operation detection device 1 is not limited to the in-vehicle use, and can be used as a portable device or the like.
  • the display on the operation surface 2 there is a display surface at a position other than the operation surface 2, and the display on the display surface changes accordingly by performing a gesture with a finger on the operation surface 2. It may be As described above, in the configuration in which the display surface is provided separately from the operation surface 2, it is not essential that the operation surface 2 is transparent.
  • FIG. 2 shows position coordinates of the fingers A to E in a state where five fingers A to E are in contact with the operation surface 2 as shown in FIG.
  • Each position coordinate shown in FIG. 2 indicates an initial state before making a gesture in which each finger A to E is placed on the operation surface 2, and FIG. 2 is taken as the 0th cycle.
  • the finger A is a thumb having the largest contact area (facing area of fingertips) on the operation surface 2 as compared to the other fingers B to E.
  • the detection unit 3 can also detect the size of the contact area (the facing area of the fingertip), and can identify the thumb as the finger A.
  • Position coordinates of finger A (x 1 , y 1 ), position coordinates of finger B (x 2 , y 2 ), position coordinates of finger C (x 3 , y 3 ), position coordinates of finger D (x 1 4 and y 4 )
  • Set the position coordinates of the finger E to (x 5 , y 5 ).
  • the position coordinates are represented by x and y coordinates. Note that (0) is added to each position coordinate in order to indicate that each position coordinate in FIG. 2 is the 0th cycle.
  • the position coordinates of the fingers A to E are set substantially at the center of the contact area of the fingers A to E with respect to the operation surface 2, but the setting method and the setting position are not particularly limited. For example, it is possible to identify coordinates at which the capacitance change amount is maximum as position coordinates of the fingers A to E.
  • control unit 4 calculates the center coordinates (X, Y) of the virtual circle according to the following formula 1.
  • Equation 1 the average value (X) of the x coordinates (x 1 , x 2 , x 3 , x 4 , x 5 ) of each finger A to E, and the y coordinate (y 1 , y 2 ) of each finger A to E , Y 3 , y 4 , y 5 ) are calculated.
  • the center coordinates (X, Y) can be calculated by Equation 1. Since the state of FIG. 2 is the 0th cycle, center coordinates (X 0 , Y 0 ) are used.
  • the central coordinates (X 0 , Y 0 ) determined by Equation 1 indicate the center of the virtual circle 10 shown in FIG.
  • the control unit 4 obtains the radius R of the virtual circle 10 by the following equation 2.
  • the radius r 1 is the distance between the center coordinates and the finger A
  • the radius r 2 is the distance between the center coordinates and the finger B
  • the radius r 3 is the distance between the center coordinates and the finger C
  • the radius r 4 is the distance between the center coordinates and the finger D
  • the radius r 5 is the distance between the center coordinates and the finger E.
  • the average value of the distances r 1 , r 2 , r 3 , r 4 and r 5 is calculated by the lower equation shown in the equation 2 , and the average value is taken as the radius R of the virtual circle 10. Since it is the 0th cycle in FIG. 2, it is set as radius R0 .
  • a circumference having a center coordinate (X 0 , Y 0 ) to a radius R 0 passes on each position coordinate or a point close to each position coordinate. That is, the virtual circle 10 substantially passing on each position coordinate is set such that the difference in distance between the circumference and each position coordinate is as small as possible.
  • control unit 4 calculates an average value (rotational angle ⁇ ) of the angle formed by each position coordinate and the center coordinate according to the following formula 3.
  • Angle theta 1 which forms here is the angle between the fingers A and the center coordinates
  • the angle theta 2 is the angle of the finger B and the center coordinates
  • the angle theta 3 formed angle of the finger C and center coordinates and a
  • the angle theta 4 is the angle of the finger D and the center coordinates
  • the angle theta 5 is the angle of the finger E and center coordinates.
  • FIG. 3 corresponds to the first cycle after a predetermined time has elapsed, and based on the above equations 1 to 3, center coordinates (X 1 , Y 1 ), radius R 1 , rotation angle of the virtual circle 11 in the first cycle ⁇ ⁇ ⁇ Ask for one .
  • “cycle” refers to a time interval in which the center coordinates, radius and rotation angle of the virtual circle are obtained by the control unit 4 based on the respective position coordinates detected by the detection unit 2 using Equations 1 to 3. It is optional how often the calculation is performed.
  • the central coordinates (X 1 , Y 1 ) of the first cycle move from the central coordinates (X 0 , Y 0 ) of the 0th cycle, and the control unit 4 moves with time.
  • the amount of change (X 1 -X 0 , X 1 -X 0 ) of the center coordinates is transmitted to the display device 5 as a scroll gesture signal.
  • the display device 5 scrolls the display object displayed on the operation surface 2 based on the amount of change (X 1 -X 0 , X 1 -X 0 ).
  • FIG. 4 corresponds to the first cycle after a predetermined time has elapsed, and based on the above equations 1 to 3, center coordinates (X 1 , Y 1 ), radius R 1 , rotation angle of the virtual circle 12 in the first cycle ⁇ ⁇ ⁇ Ask for one .
  • the radius R 1 of the imaginary circle 12 at the first cycle becomes smaller than the radius R 0 at the zero cycle, and the control unit 4 changes the radius R with time (R 1 ⁇ Send R 0 ) to the display device 5 as a zoom gesture signal.
  • the display device 5 zooms and displays the display object displayed on the operation surface 2 based on the change amount (R 1 -R 0 ) of the radius R.
  • FIG. 5 corresponds to the first cycle after a predetermined time has elapsed, and based on the above equations 1 to 3, center coordinates (X 1 , Y 1 ), radius R 1 , rotation angle of the imaginary circle 13 in the first cycle ⁇ ⁇ ⁇ Ask for one .
  • the rotation angle ⁇ 1 of the imaginary circle 13 at the first cycle is smaller than the rotation angle ⁇ 0 at the 0 cycle, that is, it is rotating counterclockwise.
  • the change amount ( ⁇ ⁇ 1 ⁇ 0 ) of the rotation angle ⁇ ⁇ accompanying the passage is transmitted to the display device 5 as a rotate gesture signal.
  • the display device 5 rotates (rotates) the display object displayed on the operation surface 2 based on the amount of change ( ⁇ 1 ⁇ 0 ) of the rotation angle.
  • scroll gesture signal may be transmitted to the display device 5 as an operation signal by the gestures of the fingers A to E.
  • the display is rotated while being scrolled.
  • all of the center coordinates, radius, and rotation angle of the virtual circle may be calculated, or at least one of these may be calculated.
  • the center coordinates determined here is the locus of the center of the virtual circle passing substantially over each position coordinate.
  • the number of fingers detected by the detection unit 3 is stabilized. It is preferable to calculate the center coordinates, radius and rotation angle of the imaginary circle shown in Formulas 1 to 3 after waiting for the calculation. For example, if the contact state on the operation surface 2 of a certain finger is unstable, it waits for a predetermined time until the contact state of the finger becomes stable. Alternatively, when the contact state of the finger is not stable even after waiting for a predetermined time, the finger can be ignored to calculate the center coordinates, radius and rotation angle of the virtual circle.
  • a stable gesture signal can be obtained by ignoring the position coordinates of E in each cycle and determining the center coordinates, radius and rotation angle of the virtual circle from the position coordinates of the fingers A to D. Since FIG. 6 shows the nth cycle, (n) is attached to each position coordinate.
  • the detection unit 2 can detect the contact area of each finger A to E. Therefore, for example, a thumb is specified from the size of the contact area, and position coordinates of the finger A which is the thumb are always used for calculation. At least one of the fingers B to E can be selected and calculated using position coordinates of two or more fingers.
  • the rotation angle of the virtual circle can be appropriately calculated by the wrap around control (in the wrap around, the angle exceeds the boundary of 0 ° and 359.999 ⁇ ).
  • the rotation angle theta n-1 is 0 ° in the n-1 th cycle, when the rotation angle theta n at n-th cycle is 359 °, already the variation of the rotation angle as described (theta n - If ⁇ n -1 ), the change amount of the rotation angle is 359 °, but the change amount of the rotation angle is set to -1 ° assuming that the rotation is 1 ° in the minus direction by the wrap around control.
  • the amount of change of the rotation angle is ( ⁇ n - ⁇ Assuming that n-1 ), the amount of change in the rotation angle is -359 °, but the rotation angle ⁇ n at the nth cycle is set to 360 ° by the wrap around control described above, and the rotation angle is set to 1 °. .
  • the shape of the operation surface 2 may be rectangular or circular as shown in FIG.
  • the shape of the preferred operation surface for calculating the gesture signal shown in FIGS. 2 to 6 is not limited.
  • center coordinates (X, Y) of a virtual circle are set in advance.
  • the plan view of the operation surface 20 is circular.
  • the operation surface 20 may be formed in a plane, or may be formed in a substantially hemispherical shape.
  • the operation surface 20 includes a small circular central area 21 and an outer peripheral area 22 located on the outer periphery of the central area 21.
  • the central area 21 is a scroll gesture area
  • the outer peripheral area 22 is a rotate gesture area.
  • the number of fingers operating on the operation surface 20 may be one. Although two fingers are illustrated in FIG. 7, these are operated separately in time, so that FIG. 7 is a diagram in which the operation surface 20 is operated with one finger. is there.
  • the detection unit 3 detects the position coordinates (x ⁇ , y ⁇ ) of the finger F.
  • ⁇ is a symbol to distinguish from the position coordinates of the finger F in the outer peripheral region 22.
  • the position coordinate of the finger F in the outer peripheral area 22 in FIG. 7 is given the symbol “ ⁇ ”.
  • the radius R 0 of the virtual circle 23 is determined according to the above-mentioned equation 2.
  • the virtual circle 23 passes on the position coordinates (x ⁇ , y ⁇ ) of the finger F. Since FIG. 7 shows the 0th cycle, the radius is set to 0 .
  • Equation 2 determines the radius R 1 of the virtual circle 24.
  • the virtual circle 24 passes on the position coordinates (x ⁇ , y ⁇ ) of the finger F. Note Since 8 is a first cycle, and the radius R 1. Then, the amount of change in radius (R 1 -R 0 ) is determined.
  • the amount of change in radius (R 1 -R 0 ) can be used as a scroll gesture signal. Alternatively, it is also possible to scroll gesture signal (x ⁇ -x ⁇ , y ⁇ -y ⁇ ).
  • the detection unit 3 detects the position coordinates (x ⁇ , y ⁇ ) of the finger G. Then, the rotation angle ⁇ ⁇ 0 of the virtual circle 25 is obtained according to the above-mentioned equation 3.
  • the virtual circle 25 passes on the position coordinates (x ⁇ , y ⁇ ) of the finger G. Since FIG. 7 shows the 0th cycle, the rotation angle is 0 .
  • the rotation angle ⁇ ⁇ 1 of the virtual circle 26 is obtained according to the above-mentioned equation 3.
  • the virtual circle 26 passes on the position coordinates (x ⁇ , y ⁇ ) of the finger G. Note Since 8 is a first cycle, and the rotation angle theta 1. Then, the change amount ( ⁇ ⁇ 1 ⁇ 0 ) of the rotation angle is obtained.
  • the amount of change in the rotation angle ( ⁇ 1 ⁇ ⁇ ⁇ 0 ) can be used as a rotate gesture signal. The same applies to the second and subsequent cycles.
  • the central coordinates are the radius of the virtual circle (average value of the distance between each position coordinate and the central coordinates) and the rotation angle (the angle between each position coordinate and the central coordinates) as (X, Y) set in advance. Find the average value).
  • the virtual circle is set on the basis of the position coordinates, and the change with the passage of time of the center coordinate, radius, and rotation angle of the virtual circle is calculated as a gesture signal (operation signal).
  • a gesture signal can be obtained easily and quickly based on position coordinates, and it is possible to change the display on the operation surface while quickly interlocking with the gesture of the finger.
  • the gesture signal is easily and appropriately calculated based on the position coordinates of each finger. It is possible. In the first embodiment, even if the number of fingers simultaneously operating the operation surface 2 is three or more, it is possible to appropriately calculate the gesture signal.
  • the number of fingers operating on the operation surface 20 may be one, and the center coordinates (X, Y) of the virtual circle are predetermined. Is different from the first embodiment in that In the second embodiment shown in FIG. 7 and FIG. 8, it is possible to calculate, for example, a scroll gesture signal or a rotate gesture signal even if the number of fingers is one.
  • the operation surface 20 is divided into a central area 21 and an outer peripheral area 22, and the central area 21 is a scroll gesture area, and the outer peripheral area 22 is a rotate gesture area. be able to.
  • the operating surface 20 is preferably circular in plan view. This makes it easy to perform the rotate gesture particularly in the outer peripheral region 22.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【目的】　特に、従来に比べて簡単かつ適切に、操作体のジェスチャーを認識できる操作検知装置を提供することを目的とする。 【解決手段】　本実施形態の操作検知装置は、操作面にて操作された操作体の位置座標を検知可能な検知部と、位置座標に基づいて操作体の操作信号を算出する制御部と、を有し、制御部では、位置座標上を略通過する仮想円を設定し、仮想円の中心座標、前記仮想円の半径、及び前記仮想円の回転角のうち少なくともいずれか一つの時間経過に伴う変化を操作信号として算出することを特徴とする。

Description

操作検知装置
　本発明は、操作体によるスクロール、ズーム、ローテート等の各ジェスチャーを識別可能な操作検知装置に関する。
　特許文献１には、タッチパネルを用いた操作入力検知装置に関する発明が開示されている。
　特許文献１では、事前に準備段階として複数通りのジェスチャー動作のサンプルパターンを取得し、これらをサンプルパターン格納部に格納している（特許文献１の［００５８］等）。指によるジェスチャーとしては特許文献１の図１１や図１２に具体例が示されている。
　特許文献１では、サンプルパターンを格納した後、操作入力パターンを採取し、操作入力パターンをサンプルパターンと比較し、合致したサンプルパターンを選択する。そしてサンプルパターンに対応するジェスチャー情報が出力され、操作画面上での表示がジェスチャー情報に基づいて変化する（特許文献１の［００５９］等）。
特開２０１２－２０３５６３号公報
　このように特許文献１に記載された操作検知手法では、予め複数のサンプルパターンの取得を必要とし、さらに操作入力パターンを各サンプルパターンと比較することが必要とされる。
　したがってジェスチャーを特定するのに計算量が非常に多くなってしまい、制御部の処理負担が大きくなってしまう問題があった。この結果、操作体のジェスチャーに対する表示変化が遅れるなどの不具合が生じやすくなっていた。また、複雑なサンプルパターンを認識するにあたり、誤検知してしまう虞があった。
　そこで本発明は上記従来の課題を解決するためのものであり、特に、従来に比べて簡単かつ適切に、操作体のジェスチャーを認識できる操作検知装置を提供することを目的とする。
　本発明における操作検知装置は、
　操作面にて操作された操作体の位置座標を検知可能な検知部と、前記位置座標に基づいて前記操作体の操作信号を算出する制御部と、を有し、
　前記制御部では、前記位置座標上を略通過する仮想円の中心座標、前記仮想円の半径、及び前記仮想円の回転角のうち少なくともいずれか一つの時間経過に伴う変化を前記操作信号として算出することを特徴とするものである。
　このように本発明では、位置座標に基づいて仮想円を設定し、この仮想円における中心座標、半径あるいは回転角の各変化を操作体の操作信号として算出した。これら操作信号は操作体のジェスチャー情報であり、算出された操作信号により操作体のジェスチャーを簡単かつ適切に認識することが可能である。特に本発明では、仮想円の中心座標、半径あるいは回転角を操作体の位置座標に基づいて算出することができるので、操作信号を簡単にかつ素早く得ることができ、操作体のジェスチャーに素早く連動させながら、表示変化をさせることができる。
　本発明では、前記制御部では、前記操作面に同時に操作された複数の操作体の各位置座標の平均座標を前記中心座標とし、前記中心座標と各位置座標との間の距離の平均値を前記半径とし、前記中心座標と各位置座標とのなす角度の平均値を前記回転角として算出することが好ましい。本発明では、操作面に同時に操作された操作体が複数であっても簡単かつ適切に、仮想円の中心座標、半径、及び回転角の時間経過に伴う変化を操作信号として算出することができる。
　上記において、前記中心座標の時間経過に伴う変化をスクロールジェスチャーの操作信号として、前記半径の時間経過に伴う変化をズームジェスチャーの操作信号として、前記回転角の時間経過に伴う変化をローテートジェスチャーの操作信号として算出することができる。
　あるいは本発明では、前記中心座標は予め設定されており、
　前記操作面に操作された前記操作体が一つであるとき、前記制御部では、その一つの前記操作体の前記位置座標と前記中心座標との間の距離を半径とし、その一つの前記操作体の前記位置座標と前記中心座標とのなす角度を前記回転角とすることが可能である。また上記において、複数の前記操作体が前記操作面に同時に操作されたとき、前記制御部では、前記中心座標と複数の前記操作体の各位置座標との間の距離の平均値を半径とし、前記中心座標と各位置座標とのなす角度の平均値を前記回転角とすることが可能である。本発明では、１以上の操作体により操作面が操作されたとき、簡単かつ適切に、仮想円の半径、及び回転角の時間経過に伴う変化を操作信号として算出することができる。すなわち本発明では操作体が１つであってもよい。
　上記において、前記操作面の中心が前記中心座標であることが好ましい。これにより操作面の略全域で、仮想円の半径、及び回転角の時間経過に伴う変化を操作信号として算出しやすい。
　また本発明では、前記操作面の中央領域がスクロールジェスチャーを行う領域であり、前記中央領域に対する外周領域がローテートジェスチャーを行う領域であり、前記中央領域では前記半径の時間経過に伴う変化を前記スクロールジェスチャーの前記操作信号として算出し、前記外周領域では、前記回転角の時間経過に伴う変化を前記ローテートジェスチャーの前記操作信号として算出することができる。このように操作体の領域を分けることで、スクロールジェスチャー、及びローテートジェスチャーを特に操作体が１つであっても適切に認識できる。
　また本発明では、前記操作面が平面視で円形状であることが好ましい。特に上記のように外周領域をローテート領域と設定したとき、外周領域に沿って操作体をローテートジェスチャーさせやすい。
　また本発明では、前記時間経過に伴って検知される前記操作体の数が変化したとき、変化があった前記操作体に対する位置座標を無視して前記操作信号の算出を行うことが好ましい。これにより安定して、仮想円の中心座標、半径、及び回転角の時間経過に伴う変化を操作信号として算出することができる。
　また本発明では、前記制御部では、ラップアラウンド制御が実行されることが好ましい。これにより２サイクル以降も適切に、仮想円の回転角の時間経過に伴う変化を操作信号として算出することができる。
　本発明では、位置座標に基づいて仮想円を設定し、この仮想円における中心座標、半径あるいは回転角を操作体の各変化を操作信号として算出した。これら操作信号は操作体のジェスチャー情報であり、算出された操作信号により操作体のジェスチャーを簡単かつ適切に認識することが可能である。特に本発明では、仮想円の中心座標、半径あるいは回転角を操作体の位置座標に基づいて算出することができるので、操作信号を簡単にかつ素早く得ることができ、操作体のジェスチャーに素早く連動させながら操作面の表示を変化させることができる。
図１は、本実施形態の操作検知入力装置の平面図である。 図２は、ジェスチャー信号を算出するための第１の実施形態におけるアルゴリズム（０サイクル目）を説明するための概念図である。 図３は、図２の次の１サイクル目の状態を示し、特に、時間経過に伴う仮想円の中心座標の変化をジェスチャー信号として算出するための概念図である。 図４は、図２の次の１サイクル目の状態を示し、特に、時間経過に伴う仮想円の半径の変化をジェスチャー信号として算出するための概念図である。 図５は、図２の次の１サイクル目の状態を示し、特に、時間経過に伴う仮想円の回転角の変化をジェスチャー信号として算出するための概念図である。 図６は、ｎサイクル目に、ジェスチャーに用いられる指（操作体）の数が変化した状態を示す概念図である。 図７は、ジェスチャー信号を算出するための第２の実施形態におけるアルゴリズム（０サイクル目）を説明するための概念図である。 図８は、図７の次の１サイクル目の状態を示し、仮想円の半径あるいは回転角の時間経過に伴う変化をジェスチャー信号として算出するための概念図である。 図９は、本実施形態における操作検知装置のブロック図である。 図１０は、指（操作体）のジェスチャーに伴う表示形態の変化を示す平面図である。
　図１は、本実施形態の操作検知入力装置の平面図である。図９は、本実施形態における操作検知装置のブロック図であり、図１０は、指（操作体）のジェスチャーに伴う表示形態の変化を示す平面図である。
　本実施形態に示す操作検知装置１は、図１、図９に示すように、例えば透明な操作面２と、操作面２の裏面側に位置する検知部（センサ部）３と、制御部４と、操作面２及び検知部３の裏面側に配置された表示装置５と、を有して構成される。
　操作面２は、透明な樹脂シートやガラス、プラスチック等で構成される。
　検知部３は、例えば静電容量式センサであり、多数本の第１電極６と多数本の第２電極７とが互いに交差するように配置される。各電極６，７はＩＴＯ（Indium Tin Oxide）等で形成されている。指Ａ～Ｅで操作面２の表面を操作すると、各指Ａ～Ｅと各電極６，７との間の静電容量が変化する。この静電容量変化に基づき各指Ａ～Ｅの操作位置を検出することが可能である。各操作位置の検出には、第１電極６または第２電極７のうち一方の電極に駆動電圧を印加し、他方の電極により指との間の静電容量の変化を検知して各指の操作位置を検知する相互容量検出型や、各指と第１電極６との間の静電容量変化、及び各指と第２電極７との間の静電容量変化に基づいて各指の位置座標を検知する自己容量検出型などがあるが、どのようにして各指Ａ～Ｅの位置座標を検知するかは特に限定する事項ではない。なお、検知部３では、指が操作面２の表面に接触している状態のみならず、指が表面から多少、離れた状態であっても、指の位置座標を検知することができる。
　本実施形態の検知部３によれば、操作面２上を同時に操作する指（操作体）が複数本あっても、各指Ａ～Ｅの本数及び各位置座標を検知することができる。このように検知部３は、操作面２上を操作する指の本数と各指の位置座標を検知することができる。
　図９に示す制御部４では、検知部３にて検知された位置座標に基づいてジェスチャー信号（操作信号）を算出する。ここで「ジェスチャー」とは、１本の指あるいは２本以上の指により操作面２上を所定のパターンに倣って操作することを指す。例えば、図１のように５本の指Ａ～Ｅを操作面２上に接触させた状態から各指Ａ～Ｅをそのまま直線的に移動させる動作（スクロール）、各指Ａ～Ｅを広げたり縮めたりする動作（ズーム）、あるいは各Ａ～Ｅを回転させる動作（ローテート）がジェスチャーの具体例である。
　図９に示す表示装置５は、液晶ディスプレイや有機ＥＬ等であるが特に限定されるものでない。表示装置５では、制御部４からジェスチャー信号を受けると、そのジェスチャー信号に基づいて表示変化を実行する。
　例えば図１０（ａ）のように操作面２に「Ａ」の文字が表示されているとする。今、図１のように操作面Ａ上に５本の指Ａ～Ｅを置いて、各指Ａ～Ｅを紙面の上方向に移動させるジェスチャーを行うと、「Ａ」の文字もそれに倣って上方向に移動する（図１０（ｂ））。すなわち「Ａ」の文字をスクロールさせることができる。なお操作面２に表示された表示を上下左右方向に移動させるジェスチャーを「スクロール」ジェスチャーとする。また、図１に示す各指Ａ～Ｅを縮める方向に移動させるジェスチャーを行うと、「Ａ」の文字もそれに倣って小さくなる（図１０（ｃ））。すなわち「Ａ」の文字を大きくしたりあるいは小さくしたりすることができる。このような操作面２に表示された表示を拡大縮小させるジェスチャーを「ズーム」ジェスチャーとする。また、図１に示す各指Ａ～Ｅを回転させるジェスチャーを行うと、「Ａ」の文字もそれに倣って回転（ローテート）させることができる（図１０（ｄ））。すなわち、「Ａ」の文字を右あるいは左に回転させることができる。このような操作面２に表示された表示を回転させるジェスチャーを「ローテート」ジェスチャーとする。
　図１０では、操作面２に表示された文字を用いてジェスチャーの説明をしたが、本実施形態における操作検知装置１は、例えば、車両内に設置されるカーナビゲーション装置であり、操作面２に表示される地図を指のジェスチャー動作に伴いスクロール、ズーム、あるいはローテートさせることが可能である。また操作検知装置１は、センターコンソールに設けられたオーディオ装置であり、指のジェスチャー動作により、ボリュームの調整や、曲送り、選曲などを実行できる。または、操作検知装置１は車両の各種機能に対する操作装置であり、指のジェスチャー動作により、温度調整、空調の調整、座席の調整などを実行できる。ただし操作検知装置１は、車内用として限定されるものでなく、携帯機器等として用いることもできる。また、操作面２に表示がなされる形態以外に、操作面２以外の位置に表示面があり、指によるジェスチャーを操作面２上で行うことにより、表示面の表示がそれに合わせて変化する形態としてもよい。このように操作面２と別に表示面が設けられる構成では、操作面２が必ずしも透明であることは必須でない。
　図２には、図１に示すように５本の指Ａ～Ｅを操作面２上に当接した状態における、各指Ａ～Ｅの位置座標が示されている。
　図２に示す各位置座標は、操作面２上に各指Ａ～Ｅを置いたジェスチャーを行う前の初期状態を示しており、図２を０サイクル目とする。
　ここで指Ａは、他の指Ｂ～Ｅに比べて操作面２上での接触面積（指先の対向面積）が最も大きい親指である。なお検知部３では、接触面積（指先の対向面積）の大小を検知することも可能であり、親指を指Ａと認定することが可能である。
　指Ａの位置座標を（ｘ１，ｙ１）、指Ｂの位置座標を（ｘ２，ｙ２）、指Ｃの位置座標を（ｘ３，ｙ３）、指Ｄの位置座標を（ｘ４，ｙ４）、指Ｅの位置座標を（ｘ５，ｙ５）と設定する。位置座標はｘ座標とｙ座標とで表される。なお、図２における各位置座標は０サイクル目であることを示すために各位置座標に（０）を付した。
　図２では、各指Ａ～Ｅの位置座標を、各指Ａ～Ｅの操作面２に対する接触面積の中のほぼ中心に設定したが、設定方法や設定位置については特に限定するものでない。例えば静電容量変化量が最大になる座標を各指Ａ～Ｅの位置座標と認定することが可能である。
　各指Ａ～Ｅの位置座標が検知部３により検知されたら制御部４では、以下の数式１により、仮想円の中心座標（Ｘ，Ｙ）を算出する。
Figure JPOXMLDOC01-appb-M000001
　数式１では、各指Ａ～Ｅのｘ座標（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）の平均値（Ｘ）、及び各指Ａ～Ｅのｙ座標（ｙ１，ｙ２，ｙ３，ｙ４，ｙ５）の平均値（Ｙ）を算出する。
　数式１により中心座標（Ｘ，Ｙ）を算出できる。図２の状態は、０サイクル目であるので、中心座標（Ｘ０，Ｙ０）とする。
　さて数式１で求められた中心座標（Ｘ０，Ｙ０）は図２に示す仮想円１０の中心を示している。
　次に、制御部４では、以下の数式２により仮想円１０の半径Ｒを求める。
Figure JPOXMLDOC01-appb-M000002
　数式２では、数式１で得られた中心座標（Ｘ０，Ｙ０）と、各指Ａ～Ｅの位置座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４），（ｘ５，ｙ５）とを数式２に示す上段の数式に挿入し、中心座標と各指Ａ～Ｅとの各距離ｒｉ（ｉ＝１，２，３，４，５）を求める。ここで半径ｒ１は、中心座標と指Ａとの間の距離であり、半径ｒ２は、中心座標と指Ｂとの間の距離であり、半径ｒ３は、中心座標と指Ｃとの間の距離であり、半径ｒ４は、中心座標と指Ｄとの間の距離であり、半径ｒ５は、中心座標と指Ｅとの間の距離である。
　そして、数式２に示す下段の数式により、各距離ｒ１，ｒ２，ｒ３，ｒ４，ｒ５の平均値を算出し、その平均値を仮想円１０の半径Ｒとする。図２では０サイクル目であるので、半径Ｒ０とする。
　中心座標（Ｘ０，Ｙ０）から半径Ｒ０の円周は、各位置座標上、あるいは各位置座標から近い箇所を通過している。すなわち円周と各位置座標との間の距離の差ができるだけ小さくなるように、各位置座標上を略通過する仮想円１０が設定されている。
　次に、制御部４では、以下の数式３により、各位置座標と中心座標のなす角度の平均値（回転角Θ）を算出する。
Figure JPOXMLDOC01-appb-M000003
　数式３では、数式１で得られた中心座標（Ｘ０，Ｙ０）と、各指Ａ～Ｅの位置座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４），（ｘ５，ｙ５）とを数式３に示す上段の数式に挿入し、中心座標と各指Ａ～Ｅとのなす角度θｉ（ｉ＝１，２，３，４，５）を求める。ここでなす角度θ１は、指Ａと中心座標のなす角度であり、なす角度θ２は、指Ｂと中心座標のなす角度であり、なす角度θ３は、指Ｃと中心座標のなす角度であり、なす角度θ４は、指Ｄと中心座標のなす角度であり、なす角度θ５は、指Ｅと中心座標のなす角度である。
　そして、数式３に示す下段の数式により、各なす角度θ１，θ２，θ３，θ４，θ５の平均値を算出し、その平均値を仮想円１０の回転角Θとする。図２では０サイクル目であるので、回転角Θ０とする。
　次に、操作者が各指Ａ～Ｅを図２の状態から図３に示すように直線的に移動させたとする。なお、各指Ａ～Ｅの間の相対位置関係は図１と同じであるとする。なお、図３は１サイクル目であるので、図３に示す各位置座標に（１）を付した。図４、図５も同様である。
　図３は、所定時間が経過した１サイクル目に該当し、上記した数式１～３に基づいて、１サイクル目における仮想円１１の中心座標（Ｘ１，Ｙ１）、半径Ｒ１、回転角Θ１を求める。ここで「サイクル」とは、検知部２にて検知された各位置座標に基づいて制御部４で、数式１～３により仮想円の中心座標、半径及び回転角を求める時間間隔を指す。どの程度のサイクルで計算を行うかは任意である。
　図３に示すように、１サイクル目の中心座標（Ｘ１，Ｙ１）は、０サイクル目の中心座標（Ｘ０，Ｙ０）から移動しており、制御部４では、時間経過に伴う中心座標の変化量（Ｘ１－Ｘ０，Ｘ１－Ｘ０）を、スクロールジェスチャー信号として表示装置５に送信する。
　表示装置５では、変化量（Ｘ１－Ｘ０，Ｘ１－Ｘ０）に基づいて操作面２に表示された表示物をスクロールさせる。なおスクロールジェスチャー信号は、（Ｘｎ－Ｘｎ－１，Ｙｎ－Ｙｎ－１）（ｎ＝１，２・・・）で示される。よって２サイクル目では、２サイクル目の中心座標（Ｘ２，Ｙ２）と１サイクル目（Ｘ１，Ｙ２）の差がスクロールジェスチャー信号となる。以降のサイクルにおいても、同様である。
　また１サイクル目として、図４に示すように操作者が各指Ａ～Ｅの間を縮める方向に移動させたとする。なお、各指Ａ～Ｅの間の相対位置関係は図２に対して相似関係にある。
　図４は、所定時間が経過した１サイクル目に該当し、上記した数式１～３に基づいて、１サイクル目における仮想円１２の中心座標（Ｘ１，Ｙ１）、半径Ｒ１、回転角Θ１を求める。
　図４に示すように、１サイクル目の仮想円１２の半径Ｒ１は、０サイクル目の半径Ｒ０よりも小さくなり、制御部４では、時間経過に伴う半径Ｒの変化量（Ｒ１－Ｒ０）を、ズームジェスチャー信号として表示装置５に送信する。
　表示装置５では、半径Ｒの変化量（Ｒ１－Ｒ０）に基づいて操作面２に表示された表示物をズーム表示させる。なおズームジェスチャー信号は、（Ｒｎ－Ｒｎ－１）（ｎ＝１，２・・・）で示される。よって２サイクル目では、２サイクル目の半径Ｒ２と１サイクル目の半径Ｒ１の差が、ズームジェスチャー信号となる。以降のサイクルにおいても、同様である。
　あるいは１サイクル目として、操作者が各指Ａ～Ｅを図５に示すように回転させたとする。なお、各指Ａ～Ｅの間の相対位置関係は図２と同じである。
　図５は、所定時間が経過した１サイクル目に該当し、上記した数式１～３に基づいて、１サイクル目における仮想円１３の中心座標（Ｘ１，Ｙ１）、半径Ｒ１、回転角Θ１を求める。
　図５に示すように、１サイクル目の仮想円１３の回転角Θ１は、０サイクル目の回転角Θ０よりも小さくなり、すなわち反時計回りに回転しており、制御部４では、時間経過に伴う回転角Θの変化量（Θ１－Θ０）を、ローテートジェスチャー信号として表示装置５に送信する。
　表示装置５では、回転角の変化量（Θ１－Θ０）に基づいて操作面２に表示された表示物をローテート（回転）させる。なおローテートジェスチャー信号は、（Θｎ－Θｎ－１）（ｎ＝１，２・・・）で示される。よって２サイクル目では、２サイクル目の回転角Θ２と１サイクル目の回転角Θ１の差が、ローテートジェスチャー信号となる。以降のサイクルにおいても、同様である。
　なお指Ａ～Ｅのジェスチャーによって、スクロールジェスチャー信号、ズームジェスチャー信号、ローテートジェスチャー信号のうち２以上が操作信号として表示装置５に送信されることもある。例えば表示をスクロールさせながらローテートさせるごとくである。
　また、仮想円の中心座標、半径、回転角のすべてを算出してもよいし、これらのうち少なくともいずれか１つを算出する構成であってもよい。例えば、中心座標のみを算出する場合、各サイクルでは、中心座標の軌跡だけを求めることになるが、ここで求められる中心座標は、各位置座標上を略通過する仮想円の中心の軌跡であることに変わりがない。
　図２～図５に示した０サイクルと１サイクルでは、いずれも５本の指Ａ～Ｅが検知部３により検知されているが、検知部３にて検知される指の本数が、安定するまで待ってから数式１～３に示す仮想円の中心座標、半径及び回転角の算出を行うことが好ましい。例えば、ある指の操作面２上における接触状態が不安定であれば、その指の接触状態が安定するまで所定時間待つ。あるいは、所定時間待っても指の接触状態が安定しないときは、その指を無視して仮想円の中心座標、半径及び回転角の算出を行うことができる。
　また、５本の指Ａ～Ｅでのジェスチャーが図６に示すようにｎサイクル目で、４本の指Ａ～Ｄでのジェスチャーに変わってしまった場合、ｎサイクル目で外れてしまった指Ｅの位置座標を各サイクルで無視して、指Ａ～Ｄの位置座標により、仮想円の中心座標、半径の及び回転角を求めることで安定したジェスチャー信号を得ることができる。なお図６はｎサイクル目であるので各位置座標に（ｎ）を付した。
　また、図２ないし図５に示すように例えば５本の指Ａ～Ｅが検知されても全ての指の位置座標を用いて、仮想円の中心座標、半径及び回転角を求めなくてもよい。検知部２では、各指Ａ～Ｅの接触面積を検知できるので、例えば、接触面積の大きさから親指を特定し、親指である指Ａの位置座標は必ず計算に使用するようにし、そのほかの指Ｂ～Ｅの少なくとも１本を選択し、２本以上の指の位置座標で計算することができる。
　また、制御部４ではラップアラウンド制御（ラップアラウンドとは、角度が０°と３５９．９９９・・・°の境界を超えること）により、仮想円の回転角を適切に算出することができる。例えばｎ－１サイクル目での回転角Θｎ－１が０°で、ｎサイクル目での回転角Θｎが３５９°であるとき、すでに記述したように回転角の変化量を（Θｎ－Θｎ－１）とすると、回転角の変化量は３５９°になってしまうが、上記のラップアラウンド制御によりマイナス方向に１°回転したとして回転角の変化量を－１°に設定する。あるいは、ｎ－１サイクル目の回転角Θｎ－１が３５９°で、ｎサイクル目の回転角Θｎが０°であるとき、すでに記述したように回転角の変化量を（Θｎ－Θｎ－１）とすると、回転角の変化量は－３５９°になってしまうが、上記のラップアラウンド制御により、ｎサイクル目の回転角Θｎを３６０°にして、１°の回転に設定する。
　操作面２の形状は、図１に示すように矩形状であってもよいし円形状などであってもよい。特に図２ないし図６に示したジェスチャー信号を算出するための好ましい操作面の形状は限定されない。
　図７では、図２と違って、予め仮想円の中心座標（Ｘ，Ｙ）が設定されている。図７に示す第２の実施形態では、操作面２０の平面視が円形状である。この操作面２０を平面的に形成してもよいし、略半球状に立体形成することもできる。
　図７に示すように、操作面２０は小円形の中央領域２１と、中央領域２１の外周に位置する外周領域２２とを備える。このうち、中央領域２１は、スクロールジェスチャー領域であり、外周領域２２はローテートジェスチャー領域である。
　図７の第２の実施形態では、操作面２０上を操作する指が１本でもよい。図７には指が２本、図示されているが、これらは時間的に別々に操作されたものであり、したがって図７は、１本の指で操作面２０上を操作している図である。
　図７に示すように１本の指Ｆを操作面２０のうち中央領域２１に置いたとき、検知部３では、指Ｆの位置座標（ｘα，ｙα）を検知する。ここで「α」は、外周領域２２での指Ｆの位置座標と区別するための記号である。図７における外周領域２２での指Ｆの位置座標には「β」の記号を付した。
　そして上記した数式２に準じて、仮想円２３の半径Ｒ０を求める。仮想円２３は指Ｆの位置座標（ｘα，ｙα）上を通っている。なお図７は０サイクル目であるので、半径Ｒ０とした。
　そして図８に示すように、中央領域２１内で指Ｆを位置座標（ｘγ，ｙγ）の位置まで移動させたとする。ここで「γ」は、外周領域２２での指Ｆの位置座標と区別するための記号である。図８における外周領域２２での指Ｆの位置座標には「ε」の記号を付した。
　そして上記した数式２に準じて、仮想円２４の半径Ｒ１を求める。仮想円２４は指Ｆの位置座標（ｘγ，ｙγ）上を通っている。なお図８は１サイクル目であるので、半径Ｒ１とした。そして、半径の変化量（Ｒ１－Ｒ０）を求める。この半径の変化量（Ｒ１－Ｒ０）を、スクロールジェスチャー信号にできる。あるいは、（ｘγ－ｘα，ｙγ－ｙα）をスクロールジェスチャー信号にしてもよい。
　また、図７に示すように１本の指Ｆを操作面２０のうち外周領域２２に置いたとき、検知部３では、指Ｇの位置座標（ｘβ，ｙβ）を検知する。そして上記した数式３に準じて、仮想円２５の回転角Θ０を求める。仮想円２５は指Ｇの位置座標（ｘβ，ｙβ）上を通っている。なお図７は０サイクル目であるので、回転角Θ０とした。
　そして図８に示すように、外周領域２２内で指Ｇを位置座標（ｘε，ｙε）の位置まで回転移動させたとする。
　そして上記した数式３に準じて、仮想円２６の回転角Θ１を求める。仮想円２６は指Ｇの位置座標（ｘε，ｙε）上を通っている。なお図８は１サイクル目であるので、回転角Θ１とした。そして、回転角の変化量（Θ１－Θ０）を求める。この回転角の変化量（Θ１－Θ０）を、ローテートジェスチャー信号にできる。２サイクル目以降においても同様である。
　図７，図８において操作面２０上を同時に操作する指（操作体）が複数本あっても、数式２，数式３を用いてジェスチャー信号を得ることが可能である。なお、このとき、中心座標は予め設定された（Ｘ，Ｙ）として仮想円の半径（各位置座標と中心座標との距離の平均値）及び回転角（各位置座標と中心座標のなす角度の平均値）を求める。
　本実施形態によれば、図２ないし図６に示す第１の実施形態、図７，図８に示す第２の実施形態のいずれにおいても、検知部３にて検知された指（操作体）の位置座標に基づいて仮想円を設定し、仮想円の中心座標、半径、及び回転角のうち時間経過に伴う変化をジェスチャー信号（操作信号）として算出する。本実施形態では、位置座標に基づいて簡単かつ迅速に、ジェスチャー信号を得ることができ、指のジェスチャーに素早く連動させながら操作面の表示を変化させることが可能である。
　図２ないし図６に示す第１の実施形態によれば、操作面２上を同時に操作する指の本数が複数であるときに、各指の位置座標に基づいて簡単かつ適切にジェスチャー信号を算出することが可能である。第１の実施形態では、操作面２上を同時に操作する指の本数が３本以上であっても、適切にジェスチャー信号を算出することが可能である。
　また図７，図８に示す第２の実施形態では、操作面２０上を操作する指の本数が１本であってもよく、また仮想円の中心座標（Ｘ，Ｙ）が予め定められている点で、第１の実施形態と異なっている。図７，図８に示す第２の実施形態は、指の本数が１本でも、例えば、スクロールジェスチャー信号やローテートジェスチャー信号を算出することが可能である。図７，図８では、操作面２０を中央領域２１と外周領域２２とに分け、中央領域２１をスクロールジェスチャー領域、外周領域２２をローテートジェスチャー領域とすることで、各ジェスチャーを簡単かつ適切に行うことができる。図７，図８の実施形態では、操作面２０は平面視で円形であることが好ましい。これにより、特に外周領域２２にてローテートジェスチャーを行いやすい。
Ａ～Ｇ　指（操作体）
Ｒ０、Ｒ１　仮想円の半径
Θ０、Θ１　仮想円の回転角
１　操作検知装置
２、２０　操作面
３　検知部
４　制御部
５　表示装置
６、７　電極
１０、１１、２３～２６　仮想円
２１　中央領域
２２　外周領域

Claims (10)

  1. 　操作面にて操作された操作体の位置座標を検知可能な検知部と、前記位置座標に基づいて前記操作体の操作信号を算出する制御部と、を有し、
    　前記制御部では、前記位置座標上を略通過する仮想円の中心座標、前記仮想円の半径、及び前記仮想円の回転角のうち少なくともいずれか一つの時間経過に伴う変化を前記操作信号として算出することを特徴とする操作検知装置。
  2. 　前記制御部では、前記操作面に同時に操作された複数の前記操作体の各位置座標の平均座標を前記中心座標とし、前記中心座標と各位置座標との間の距離の平均値を前記半径とし、前記中心座標と各位置座標とのなす角度の平均値を前記回転角として算出する請求項１記載の操作検知装置。
  3. 　前記中心座標の時間経過に伴う変化をスクロールジェスチャーの操作信号として、前記半径の時間経過に伴う変化をズームジェスチャーの操作信号として、前記回転角の時間経過に伴う変化をローテートジェスチャーの操作信号として算出する請求項２記載の操作検知装置。
  4. 　前記中心座標は予め設定されており、
    　前記操作面に操作された前記操作体が一つであるとき、前記制御部では、その一つの前記操作体の前記位置座標と前記中心座標との間の距離を半径とし、その一つの前記操作体の前記位置座標と前記中心座標とのなす角度を前記回転角とする請求項１記載の操作検知装置。
  5. 　複数の前記操作体が前記操作面に同時に操作されたとき、前記制御部では、前記中心座標と複数の前記操作体の各位置座標との間の距離の平均値を半径とし、前記中心座標と各位置座標とのなす角度の平均値を前記回転角とする請求項４記載の操作検知装置。
  6. 　前記操作面の中心が前記中心座標である請求項４に記載の操作検知装置。
  7. 　前記操作面の中央領域がスクロールジェスチャーを行う領域であり、前記中央領域に対する外周領域がローテートジェスチャーを行う領域であり、前記中央領域では前記半径の時間経過に伴う変化を前記スクロールジェスチャーの前記操作信号として算出し、前記外周領域では、前記回転角の時間経過に伴う変化を前記ローテートジェスチャーの前記操作信号として算出する請求項４に記載の操作検知装置。
  8. 　前記操作面が平面視で円形状である請求項４に記載の操作検知装置。
  9. 　前記時間経過に伴って検知される前記操作体の数が変化したとき、変化があった前記操作体に対する位置座標を無視して前記操作信号の算出を行う請求項２に記載の操作検知装置。
  10. 　前記制御部では、ラップアラウンド制御が実行される請求項１に記載の操作検知装置。
PCT/JP2014/054181 2013-02-27 2014-02-21 操作検知装置 WO2014132893A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14756709.3A EP2963530A4 (en) 2013-02-27 2014-02-21 OPERATION DETECTION DEVICE
JP2015502897A JP6058118B2 (ja) 2013-02-27 2014-02-21 操作検知装置
CN201480010855.0A CN105009059B (zh) 2013-02-27 2014-02-21 操作检测装置
US14/837,809 US20150378504A1 (en) 2013-02-27 2015-08-27 Operation detective device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-037427 2013-02-27
JP2013037427 2013-02-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/837,809 Continuation US20150378504A1 (en) 2013-02-27 2015-08-27 Operation detective device

Publications (1)

Publication Number Publication Date
WO2014132893A1 true WO2014132893A1 (ja) 2014-09-04

Family

ID=51428161

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/054181 WO2014132893A1 (ja) 2013-02-27 2014-02-21 操作検知装置

Country Status (5)

Country Link
US (1) US20150378504A1 (ja)
EP (1) EP2963530A4 (ja)
JP (1) JP6058118B2 (ja)
CN (1) CN105009059B (ja)
WO (1) WO2014132893A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016066717A1 (en) * 2014-10-29 2016-05-06 Microchip Technology Germany Gmbh Human interface device and method
JP2016224630A (ja) * 2015-05-28 2016-12-28 シャープ株式会社 情報端末、情報端末による処理実行方法、及び、プログラム
EP4418084A1 (en) 2023-02-20 2024-08-21 Alps Alpine Co., Ltd. Operation detection device, operation detection unit, and operation detection method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019108129A1 (en) * 2017-12-01 2019-06-06 Make Studios Pte. Ltd. A system and method for determining a task to be triggered on a mobile device
US10838544B1 (en) 2019-08-21 2020-11-17 Raytheon Company Determination of a user orientation with respect to a touchscreen device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0448318A (ja) * 1990-06-18 1992-02-18 Sony Corp 情報入力装置
JP2008508600A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2008158842A (ja) * 2006-12-25 2008-07-10 Xanavi Informatics Corp 地図表示装置
JP2010039558A (ja) * 2008-07-31 2010-02-18 Canon Inc 情報処理装置及びその制御方法
JP2012053623A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像編集装置、その制御方法、及び、プログラム
JP2012203563A (ja) 2011-03-24 2012-10-22 Dainippon Printing Co Ltd タッチパネルを用いた操作入力検知装置
JP2012221073A (ja) * 2011-04-06 2012-11-12 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7466307B2 (en) * 2002-04-11 2008-12-16 Synaptics Incorporated Closed-loop sensor on a solid-state object position detector
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
KR100839696B1 (ko) * 2006-06-20 2008-06-19 엘지전자 주식회사 입력 장치
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
WO2009082377A1 (en) * 2007-12-26 2009-07-02 Hewlett-Packard Development Company, L.P. Touch wheel zoom and pan
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
JP2010287007A (ja) * 2009-06-11 2010-12-24 Sony Corp 入力装置および入力方法
CN102117156B (zh) * 2009-12-30 2013-06-19 比亚迪股份有限公司 一种电容式触控板、触控方法及其装置
US8760417B2 (en) * 2010-10-15 2014-06-24 Sap Ag Touch-enabled circle control for time and date entry

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0448318A (ja) * 1990-06-18 1992-02-18 Sony Corp 情報入力装置
JP2008508600A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
JP2008158842A (ja) * 2006-12-25 2008-07-10 Xanavi Informatics Corp 地図表示装置
JP2010039558A (ja) * 2008-07-31 2010-02-18 Canon Inc 情報処理装置及びその制御方法
JP2012053623A (ja) * 2010-08-31 2012-03-15 Canon Inc 画像編集装置、その制御方法、及び、プログラム
JP2012203563A (ja) 2011-03-24 2012-10-22 Dainippon Printing Co Ltd タッチパネルを用いた操作入力検知装置
JP2012221073A (ja) * 2011-04-06 2012-11-12 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2963530A4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016066717A1 (en) * 2014-10-29 2016-05-06 Microchip Technology Germany Gmbh Human interface device and method
CN107077294A (zh) * 2014-10-29 2017-08-18 微晶片科技德国公司 人机接口装置及方法
KR20170104988A (ko) * 2014-10-29 2017-09-18 마이크로칩 테크놀로지 저머니 게엠베하 휴먼 인터페이스 디바이스 및 방법
US9971442B2 (en) 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
CN107077294B (zh) * 2014-10-29 2020-08-07 微晶片科技德国公司 人机接口装置及方法
TWI703471B (zh) * 2014-10-29 2020-09-01 德商微晶片科技德國公司 人機介面裝置及方法
KR102398042B1 (ko) 2014-10-29 2022-05-13 마이크로칩 테크놀로지 저머니 게엠베하 휴먼 인터페이스 디바이스 및 방법
JP2016224630A (ja) * 2015-05-28 2016-12-28 シャープ株式会社 情報端末、情報端末による処理実行方法、及び、プログラム
EP4418084A1 (en) 2023-02-20 2024-08-21 Alps Alpine Co., Ltd. Operation detection device, operation detection unit, and operation detection method

Also Published As

Publication number Publication date
CN105009059B (zh) 2018-11-02
CN105009059A (zh) 2015-10-28
EP2963530A4 (en) 2016-10-26
JPWO2014132893A1 (ja) 2017-02-02
JP6058118B2 (ja) 2017-01-11
EP2963530A1 (en) 2016-01-06
US20150378504A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
US8217909B2 (en) Multi-finger sub-gesture reporting for a user interface device
WO2014132893A1 (ja) 操作検知装置
US9542005B2 (en) Representative image
US8570283B2 (en) Information processing apparatus, information processing method, and program
US20080134078A1 (en) Scrolling method and apparatus
JP6339448B2 (ja) 入力装置
JP2009176114A (ja) タッチパネル装置及びユーザインタフェース装置
US9965141B2 (en) Movable selection indicators for region or point selection on a user interface
JP2010086519A5 (ja)
JP6004716B2 (ja) 情報処理装置およびその制御方法、コンピュータプログラム
US20140145975A1 (en) Touchscreen device and screen zoom method thereof
US20100271301A1 (en) Input processing device
CN104965623A (zh) 一种触控模组、触摸屏、其触摸定位方法及显示装置
US20170123534A1 (en) Display zoom operation with both hands on steering wheel
JP5740796B2 (ja) 車両用操作装置
TWI405104B (zh) 利用觸碰感測輸入裝置來翻轉三維圖形物件之方法
US20160188151A1 (en) Information Processing Method And Electronic Device
EP2916203A1 (en) Touch panel and display apparatus including the same
CN103513880B (zh) 电子设备、电子设备中控制目标对象旋转的方法及装置
JP6160724B2 (ja) オブジェクト処理装置、オブジェクト処理方法及びプログラム
TWI810041B (zh) 觸控處理裝置、電子系統與其觸控處理方法
US10747424B2 (en) Information processing apparatus for recognizing multi-touch operation by which object is rotated
JP2019032886A (ja) 表示制御装置、表示制御方法、および、表示制御装置用プログラム
TWI464670B (zh) Touch the gesture to rotate the display method of the display direction of the screen
JP7001368B2 (ja) 操作装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14756709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015502897

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014756709

Country of ref document: EP