WO2014097499A1 - 触覚入出力装置 - Google Patents

触覚入出力装置 Download PDF

Info

Publication number
WO2014097499A1
WO2014097499A1 PCT/JP2013/002410 JP2013002410W WO2014097499A1 WO 2014097499 A1 WO2014097499 A1 WO 2014097499A1 JP 2013002410 W JP2013002410 W JP 2013002410W WO 2014097499 A1 WO2014097499 A1 WO 2014097499A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
input
vibration
panel
touch position
Prior art date
Application number
PCT/JP2013/002410
Other languages
English (en)
French (fr)
Inventor
荒木　昭一
良文 廣瀬
藤畝　健司
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201380027409.6A priority Critical patent/CN104321723B/zh
Priority to JP2014552874A priority patent/JP6103509B2/ja
Publication of WO2014097499A1 publication Critical patent/WO2014097499A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention when an input by a touch operation is performed on a panel whose touch position can be detected, the fact that the input by the touch operation has been accepted is output to the user by vibrating the panel.
  • the present invention relates to a tactile input / output device and an electronic device that present a user that an input has been accepted by simultaneously presenting different vibrations to each of the plurality of fingers when a touch operation is performed with the plurality of fingers.
  • touch panels and touch pads have been mounted on various devices such as smartphones, tablets, in-vehicle navigation devices, personal computers, game machines, ATMs, and ticket machines. In these devices, the position where the user touches the touch panel is detected, and the GUI displayed at the touch position is operated. In general, unlike a mechanical button switch, a touch panel does not have the feeling of pressing a button switch when operating the GUI, so when the GUI is operated, the touch panel is vibrated to accept input. A technique for allowing the user to recognize the result has been put into practical use.
  • Patent Document 1 discloses providing information to a fingertip of an operator who is touching the touch panel through a feeler, and guiding the touched fingertip to a displayed predetermined button position using a vibration pattern that vibrates the touch panel. Has been.
  • Patent Document 1 discloses providing information to a fingertip of an operator who is touching a touch panel using a vibration pattern, and guiding the touched fingertip to a predetermined button position displayed.
  • the present invention provides a haptic input / output device that allows a user to check an input result by panel vibration.
  • a haptic input / output device includes a panel that receives a touch input by a user and outputs a result by vibration, and a plurality of actuators that are installed at different positions of the panel and vibrate the panel.
  • a touch information acquisition unit that acquires touch positions detected simultaneously at a plurality of positions on the panel, a setting information storage unit that stores setting information to be input in association with the spatial order of touch positions, and the panel simultaneously.
  • a spatial order representing a spatial relationship between the plurality of touch positions detected simultaneously is calculated, and the calculated spatial order and stored in the setting information storage unit
  • An order input determination unit that determines setting information corresponding to the spatial order, and among the plurality of touch positions
  • a vibration presentation position determination unit that determines a touch position corresponding to the set information as a first touch position, and determines a touch position other than the first touch position among the plurality of touch positions as a second touch position;
  • the drive signal of each actuator is calculated so that the predetermined vibration is presented at the first touch position and the predetermined vibration is not presented at the second position, and the actuator is driven by the calculated drive signal.
  • a multi-point simultaneous vibration control unit that simultaneously controls the vibration of the panel for each touch position.
  • One of the effects of the haptic input / output device is to allow the user to appropriately confirm the setting information received by controlling which touch position the user is touching to present vibration. be able to.
  • FIG. 1 is a block diagram illustrating a configuration of a haptic input / output device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a structure of the haptic input / output device according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of setting information used in the haptic input / output device according to the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the haptic input / output device according to the first embodiment.
  • FIG. 5A is a diagram illustrating an example of touch input for selecting content and a vibration position of the panel.
  • FIG. 5B is a diagram illustrating an example of touch input for increasing the volume and a vibration position of the panel.
  • FIG. 5C is a diagram illustrating an example of touch input for decreasing the volume and a vibration position of the panel.
  • FIG. 6A is a diagram illustrating an example of touch input to be reproduced or paused and a vibration position of the panel.
  • FIG. 6B is a diagram illustrating an example of touch input for rewinding content and a vibration position of the panel.
  • FIG. 6C is a diagram illustrating an example of touch input for fast-forwarding content and a vibration position of the panel.
  • FIG. 7A is a diagram illustrating an example of a tactile sensation signal.
  • FIG. 7B is a diagram illustrating an example of a tactile sensation signal.
  • FIG. 8 is a block diagram showing an example of the configuration of the multipoint simultaneous vibration control unit in the first embodiment.
  • FIG. 8 is a block diagram showing an example of the configuration of the multipoint simultaneous vibration control unit in the first embodiment.
  • FIG. 9 is a diagram illustrating a path through which vibration propagates from the actuator to a certain position on the panel.
  • FIG. 10A is a diagram illustrating an example of a TSP.
  • FIG. 10B is a diagram illustrating an example of a TSP response.
  • FIG. 10C is a diagram illustrating an example of an inverse function of TSP.
  • FIG. 10D is a diagram illustrating an example of an impulse response calculated from a TSP response.
  • FIG. 11 is a flowchart illustrating the operation of the multipoint simultaneous vibration control unit according to the first embodiment.
  • FIG. 12 is a diagram for explaining the processing operation of the multipoint simultaneous vibration control unit in the first embodiment.
  • FIG. 13 is a diagram illustrating an example of a filter.
  • FIG. 10A is a diagram illustrating an example of a TSP.
  • FIG. 10B is a diagram illustrating an example of a TSP response.
  • FIG. 10C is a diagram illustrating an example of an inverse function of
  • FIG. 14 is a diagram illustrating an example of a drive signal.
  • FIG. 15 is a diagram illustrating experimental results of panel vibration at each touch position.
  • FIG. 16 is a block diagram illustrating a configuration of the haptic input / output device according to the second embodiment.
  • FIG. 17 is a flowchart illustrating the operation of the haptic input / output device according to the second embodiment.
  • FIG. 18 is a diagram illustrating an example of setting information used in the haptic input / output device according to the second embodiment.
  • FIG. 19A is a diagram illustrating an example of touch input for lowering track settings.
  • FIG. 19B is a diagram illustrating an example of touch input for increasing track settings.
  • FIG. 20 is a block diagram illustrating a configuration of the haptic input / output device according to the second embodiment.
  • FIG. 21 is a diagram illustrating an example of hierarchical setting information.
  • FIG. 22 is a flowchart showing the operation of the haptic input / output device according to the second embodiment.
  • FIG. 23 is a diagram illustrating an example of hierarchical setting information.
  • the touch panel control method detects at least two inputs including a first touch input and a second touch input, which are multi-touch input on or near the surface of the touch panel, and the first touch input is Detecting a first position that is an input position and a second position that is a position where the second touch input is input; determining a detection order of the first touch input and the second touch input; In the step of selecting and executing a designated operation based on the positional relationship between the first position and the second position and the detection order, and vibrating one of the vicinity of the first position and the vicinity of the second position, The vicinity of the position corresponding to the newly detected one of the touch input and the second touch input is vibrated.
  • a touch panel control device includes a touch panel configured to allow multi-touch input, a plurality of actuators, and a processor, and the processor performs multi-touch input on or near the touch panel surface. , Detecting at least two inputs including a first touch input and a second touch input, and a first position where the first touch input is input and a position where the second touch input is input. 2 positions are detected, a detection order of the first touch input and the second touch input is determined, a designated operation is selected based on a positional relationship between the first position and the second position and the detection order; Performing the step of vibrating one of the vicinity of the first position and the vicinity of the second position, and newly detecting one of the first touch input and the second touch input. It is configured to perform a control to oscillate the position near that corresponding to one.
  • a haptic input / output device includes a panel that receives a touch input by a user and outputs a result by vibration, and a plurality of panels that are installed at different positions of the panel and vibrate the panel.
  • An actuator a touch information acquisition unit that acquires touch positions detected simultaneously at a plurality of positions on the panel, a setting information storage unit that stores setting information to be input in association with a spatial order of touch positions, and the panel Based on the time series information of a plurality of touch positions detected at the same time, a spatial order representing a spatial relationship between the plurality of touch positions detected simultaneously is calculated, and the calculated spatial order and stored in the setting information storage unit
  • An order input determination unit that determines setting information corresponding to the spatial order by comparing the spatial order, and among the plurality of touch positions,
  • the vibration presentation position determination unit that determines the touch position corresponding to the determined setting information as a first touch position and determines a touch position other than the first touch position among the plurality of touch positions as a second touch position.
  • a drive signal of each actuator is calculated so as to present a predetermined vibration at the first touch position and not present the predetermined vibration at the second position, and the actuator is controlled by the calculated drive signal.
  • a multi-point simultaneous vibration control unit that drives and simultaneously controls the vibration of the panel for each touch position.
  • the haptic input / output device further presents a setting information changing unit that changes a setting value of the setting information determined by the order input determination unit, and the first touch position.
  • a presentation vibration determination unit that determines a tactile sensation signal indicating vibration based on a setting value of the setting information.
  • the user can check the setting value of the received setting information by vibration using a tactile signal.
  • a haptic input / output device is a haptic input / output device including a panel that receives a touch input by a user and outputs a result by vibration, and the panel and the panel are installed at different positions.
  • a plurality of actuators that vibrate the panel, a touch information acquisition unit that acquires touch positions simultaneously detected at a plurality of positions on the panel, and setting information to be touch-input is associated with the movement direction of the touch position
  • the movement direction of the plurality of touch positions is calculated, and the movement stored in the setting information storage unit
  • the moving input determination unit that determines the corresponding setting information by comparing the direction, and the setting value of the setting information determined by the moving input determination unit
  • the setting information changing unit that changes based on at least one of the presence / absence of movement of the touch position, the movement distance, the number of movements, and the movement speed, and the movement directions of the plurality of touch positions are the same.
  • a vibration presentation condition for calculating a touch position in the head order, setting the touch position in the head order as a first touch position for presenting vibration, and determining a touch position other than the head order as a second touch position in which vibration is not presented.
  • a determination unit a presentation vibration determination unit that generates a tactile sensation signal indicating a vibration to be presented to the first touch position based on a setting value of the setting information, a vibration is presented to the first touch position,
  • a drive signal for each actuator is calculated so as not to present vibration at the second position, and the actuator is driven by the calculated drive signal to determine the vibration of the panel by touch position.
  • a multi-point simultaneous vibration control unit for controlling at the same time.
  • the movement input to move while touching a plurality of touch positions is determined, and the direction of the movement input accepted by the device and the operation target are changed by changing the touch position that presents vibration according to the movement direction.
  • the user can confirm the direction of travel by touch.
  • the vibration presentation condition determination unit calculates a touch position in the head order with respect to the same movement direction when the movement directions of the plurality of touch positions are the same.
  • the touch position in the head order is the first touch position that presents vibration, and the touch positions other than the head order are It determines as the 2nd touch position which does not present a vibration.
  • the received setting information and setting value can be confirmed by vibration even after the movement input is stopped.
  • a haptic input / output device is a haptic input / output device including a panel that receives a touch input by a user and outputs a result by vibration, and the panel and a plurality of positions of the panel simultaneously.
  • a touch information acquisition unit for acquiring a detected touch position, a plurality of actuators installed at different positions of the panel, and a plurality of actuators for vibrating the panel, and setting information of the device are hierarchized into a plurality of selection modes.
  • a setting information hierarchization storage unit that stores information in association with a spatial order of touch positions, and a detection order of a plurality of touch positions that are simultaneously detected based on time-series information of a plurality of touch positions that are simultaneously detected on the panel, A spatial order is calculated, and the spatial order of the touch positions selected based on the detection order and the Nth floor stored in the setting information hierarchical storage unit
  • the setting item that matches the spatial order of the selected touch position is determined based on the spatial order of the setting items of the selection mode of the selected mode, and the mode is shifted to the selection mode of the (N + 1) -th layer, and the first input pattern
  • a hierarchized information input determination unit that shifts to a selection mode of the first hierarchy when a signal is detected and shifts to a selection mode of the (N-1) th hierarchy when a second input pattern is detected;
  • a setting information changing unit that changes a setting value of the setting information determined by the unit, a first touch position that presents vibration for each layer and / or each selection
  • the user can perform touch input even in a system in which functions of a plurality of devices are mixed by notifying which setting item is selected in which hierarchy and which setting item is selected by vibration. Input settings can be made without paying attention to the panel.
  • the same number of touch positions as the number of options are detected, and touch is performed separately from the touch positions.
  • the user can perform touch input even in a system in which functions of a plurality of devices are mixed by notifying which setting item is selected in which hierarchy and which setting item is selected by vibration. Input settings can be made without paying attention to the panel.
  • a tactile input / output method includes a plurality of actuators that vibrate a panel in response to a touch input by a user and are installed at different positions near the panel to vibrate the panel.
  • the tactile input / output method for controlling the touch positions detected simultaneously at a plurality of positions on the panel are acquired, and a plurality of simultaneously detected plural positions are detected based on time series information of the plurality of touch positions detected simultaneously on the panel.
  • a first touch that calculates a spatial order of touch positions, determines setting information associated with the spatial order, and presents a vibration at the touch position corresponding to the determined setting information among the plurality of touch positions.
  • a second touch position that does not present vibration in a touch position other than the first touch position detected simultaneously among the plurality of touch positions. And determining a drive signal of each actuator so as to present a predetermined vibration at the first touch position and not present the predetermined vibration at the second position, and calculate the drive signal based on the calculated drive signal.
  • the actuator is driven to simultaneously control the vibration of the panel for each touch position.
  • the tactile input / output method further changes a setting value of the determined setting information, and sets a tactile signal indicating a vibration to be presented at the first touch position. Determine based on the value.
  • the user can check the setting value of the received setting information by vibration using a tactile signal.
  • a tactile input / output method includes a plurality of actuators that vibrate a panel in response to a touch input by a user and are installed at different positions near the panel to vibrate the panel.
  • the tactile input / output method for controlling the touch positions detected simultaneously at the plurality of positions of the panel are acquired, and the movement of the plurality of touch positions is performed based on time series information of the plurality of touch positions detected by the panel.
  • the direction is calculated, setting information corresponding to the moving direction of the touch position is determined, and the setting value of the determined setting information is set to at least one of the presence / absence of movement of the touch position, the moving distance, the number of movements, and the moving speed.
  • a touch position in the head order with respect to the same movement direction is calculated, and the head position is calculated.
  • the tactile sensation indicating the vibration to be presented at the first touch position is determined by setting the first touch position as the first touch position that presents vibration, determining the touch position other than the head order as the second touch position not presenting vibration.
  • a signal is generated based on a setting value of the setting information, a vibration signal is calculated at the first touch position, and a driving signal of each actuator is calculated so as not to present vibration at the second position.
  • the actuator is driven by the drive signal to simultaneously control the vibration of the panel for each touch position.
  • the movement input to be moved while touching a plurality of touch positions is determined, and the direction of the movement input accepted by the device and the operation target are changed by changing the touch position for presenting vibration according to the movement direction.
  • the user can confirm the direction of travel by touch.
  • a computer program vibrates a panel in response to a touch input by a user, and is installed at different positions near the panel to control a plurality of actuators for vibrating the panel.
  • a computer program for an output method wherein touch positions detected simultaneously at a plurality of positions on the panel are acquired, and detected simultaneously based on time series information of the plurality of touch positions detected simultaneously on the panel Calculating a spatial order of the plurality of touch positions, determining setting information associated with the spatial order, and presenting vibrations to the touch positions corresponding to the determined setting information among the plurality of touch positions.
  • a computer program for causing a computer to execute a haptic input / output method for calculating and driving the actuator by the calculated drive signal to simultaneously control the vibration of the panel for each touch position.
  • the storage according to another aspect of the present invention vibrates the panel according to a touch input by a user, and is installed at different positions near the panel to control a plurality of actuators for vibrating the panel.
  • a storage in which the computer program is stored based on instructions for acquiring touch positions simultaneously detected at a plurality of positions on the panel, and time series information on the plurality of touch positions simultaneously detected on the panel, An instruction for calculating a spatial order of a plurality of touch positions detected simultaneously, an instruction for determining setting information associated with the spatial order, and a touch corresponding to the determined setting information among the plurality of touch positions.
  • the position is a first touch position that presents vibration, and the plurality of touches are displayed.
  • the storage according to another aspect of the present invention includes: an instruction for detecting at least two inputs including a first touch input and a second touch input that are multi-touch input on or near the touch panel surface; and the first touch input.
  • a first position that is a position where the second touch input is input, an instruction that detects a second position where the second touch input is input, and a detection order of the first touch input and the second touch input is determined.
  • multi-touch means a plurality of touches that are in contact with the panel at the same time.
  • multi-touch means a plurality of touches that are in contact with the panel at a certain time. That is, the multi-touch means a plurality of touches for a plurality of positions on the panel, and a plurality of touches that overlap in time. Therefore, the multi-touch includes not only a plurality of touches started at the same time but also a plurality of touches started at different times and detected at a certain time point at the same time. Specifically, when the second touch is started in a state where the first touch is continued after the first touch is started, the first touch and the second touch are multiple at the start time of the second touch. Corresponds to touch.
  • the inventors have found a problem that a quick input operation cannot be performed by a technique of guiding a finger to a button displayed on a GUI screen by horizontally vibrating the touch panel vertically and horizontally.
  • a problem in the case of inputting a plurality of setting information or in a complicated operation such as a hierarchical menu, it is necessary to frequently guide a finger, and a problem has been found that the input operation becomes complicated.
  • a user when a user operates a panel that can detect a plurality of touch positions at the same time and selects one of a plurality of setting information, it is stored in advance based on the spatial order of the detected plurality of touch positions.
  • the correspondence between each setting information and the spatial order of the touch position is specified, and the finger at the touch position in the spatial order corresponding to the setting information selected by the user is once removed from the panel and touched again within a predetermined time.
  • any on-panel can be checked without gazing at the panel Touch position, to provide a tactile output device that enables confirmation of the input result by the selection and panel vibration of a plurality of setting information.
  • tap input an input to be performed
  • GUI Graphic User Interface
  • Embodiment 1 aims to operate a device based on tactile feedback that vibrates a panel without gazing at the panel to be touch-input. Specifically, when the user operates a panel that can simultaneously detect a plurality of touch positions and selects one of a plurality of setting information, the setting information stored corresponding to the spatial order of the touch positions is When a user selects by tapping a finger at a touch position in the corresponding spatial order, the vibration is presented only at the touch position of the tapped finger, and the vibration is not presented at a touch position other than the tapped finger position.
  • the user can easily confirm which setting information has been received by the device, and the spatial order of the touch position
  • the user does not select the GUI (for example, icon or button) set at a specific position on the panel, but looks at the panel. And without selection of the plurality of configuration information at any position on the panel it is taken into consideration so that it is easy.
  • GUI for example, icon or button
  • FIG. 1 is a block diagram showing a configuration of a haptic input / output device according to an embodiment of the present invention.
  • the haptic input / output device 100 of this embodiment includes a panel 101, an actuator 102, a touch information acquisition unit 103, a setting information storage unit 104, an order input determination unit 105, a setting information change unit 106, a vibration presentation position determination unit 107, and a presentation vibration.
  • a determination unit 108 and a multipoint simultaneous vibration control unit 109 are provided.
  • Each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as the CPU or the processor 190 reading and executing a software program recorded in a storage or recording medium such as a hard disk or a semiconductor memory.
  • a program execution unit such as the CPU or the processor 190 reading and executing a software program recorded in a storage or recording medium such as a hard disk or a semiconductor memory.
  • the panel 101 is a member that transmits vibration, accepts a user's touch operation, and notifies the user that the touch operation has been accepted by vibrating.
  • a material that is durable to a user's touch operation such as glass, polycarbonate, acrylic, and ABS is preferable. However, it is not limited to these, and any member that can feed back vibration to the user may be used.
  • the shape, size, thickness, hardness, fixing method, and the like of the panel 101 need not be particularly limited. However, depending on the shape, size, thickness, hardness, and fixing method of the panel 101, the transmission characteristics of vibration from the actuator 102 to each position on the panel 101 (hereinafter also referred to as “point”) change. To do.
  • the actuator 102 vibrates the panel 101 and presents a tactile sensation to the user.
  • a piezoelectric element for example, a vibration motor, a voice coil, an artificial muscle, or the like can be used.
  • FIG. 2 shows an example of the arrangement of the actuator 102 on the panel 101.
  • the actuator 102 is fixed to the panel 101 with, for example, an adhesive (not shown. If the actuator 102 is a piezoelectric element, an epoxy adhesive may be used).
  • the number of actuators 102 is equal to or greater than the number of touch positions where the panel 101 is touch-operated. Thereby, mutually different vibrations can be presented to the same number of touch positions as the number M of the actuators 102 detected simultaneously (M is an integer of 2 or more).
  • M is an integer of 2 or more.
  • the number of actuators 102 is 4, and the number of touch positions is 2 (finger 1 and finger 2).
  • the arrangement position of the actuator 102 is not particularly limited.
  • the plurality of actuators 102 may be arranged so that the panel 101 can be vibrated efficiently.
  • the number of actuators 102 is four, the present invention is not limited to this.
  • the touch information acquisition unit 103 acquires a plurality of touch positions of the user with respect to the panel 101.
  • the touch position is expressed using xy coordinates of a two-dimensional plane with the origin O as the upper left corner of the panel 101 with respect to the paper surface.
  • a multi-touch panel such as a capacitance method or a resistance film method can be used.
  • the touch information acquisition unit 103 acquires a plurality of touch positions based on a change in capacitance due to multi-touch.
  • the touch information acquisition unit 103 is configured by a pressure-sensitive multi-touch panel, the touch information acquisition unit 103 acquires a plurality of touch positions based on a change in pressure due to multi-touch.
  • multi-touch detection need not be limited to a capacitive or pressure-sensitive multi-touch panel. Any type of multi-touch detection method may be used.
  • the position of the finger may be captured by a CCD or CMOS camera and acquired by image processing.
  • infrared light is incident from the side wall of the panel 101 using the panel 101 as a transparent acrylic member, infrared light is confined in the panel 101 due to the property of total reflection, but infrared light leaked due to distortion of the panel 101 due to touch operation.
  • an FTIR (Frustrated Total Internal Reflection) method or the like may be used.
  • the setting information storage unit 104 associates information related to touch input, such as the number of touches and the spatial order of touch positions, as setting information of the device, setting items, input items, increase / decrease values of setting values by selection of input items, setting values, and the like. It consists of a memory such as a hard disk or semiconductor memory.
  • the order input determination unit 105 calculates the detection order and the spatial order of the touch positions detected at the same time based on the time series information of the plurality of touch positions detected simultaneously on the panel 101, and selects the selected based on the detection order.
  • the spatial order of touch positions is compared with the spatial order stored in the setting information storage unit 104 to determine the corresponding setting item.
  • the setting information changing unit 106 changes the setting value of the setting item determined by the order input determining unit 105.
  • the vibration presentation position determination unit 107 sets the touch position in the spatial order corresponding to the determined setting item as the first touch position for presenting vibration, and vibrates touch positions other than the first touch position that are simultaneously detected. Is determined as the second touch position not presenting. That is, the second touch position in which the touch position in the order corresponding to the setting item of the device determined by the order input determination unit 105 is determined as the first touch position to vibrate, and other touch positions are not presented at the same time. Determine as. As a result, the user feels that the setting item determined by the user has been accepted by the device, and which finger feels vibration among a plurality of touch positions touching the panel 101, that is, a plurality of touching fingers. Can be confirmed.
  • the presentation vibration determination unit 108 determines a tactile sensation signal indicating a vibration to be presented at the first touch position based on a setting value of the setting item.
  • the multi-point simultaneous vibration control unit 109 calculates the drive signal of each actuator so as to present the vibration indicated by the tactile sensation signal at the first touch position and not present the vibration at the second position.
  • the actuator is driven by a drive signal to simultaneously control the vibration of the panel for each touch position.
  • FIG. 4 is a flowchart showing the operation of the haptic input / output device 100 according to the embodiment of the present invention. The operation of the haptic input / output device 100 according to the first embodiment will be described in detail based on this flowchart.
  • a haptic input / output device 100 is mounted on an electronic device 10 that controls reproduction of video content 111 displayed on a monitor 110
  • the monitor 110 and the haptic input / output device 100 are mounted on a physically separated controller
  • the controller for example, a remote controller equipped with a touch panel or a touch pad, a network-connected tablet, or a smartphone can be used.
  • the operation of the present embodiment for example, enabling operation of volume setting and playback setting without watching the panel 101 at hand of the user. Will be described.
  • Step S101 Touch information acquisition
  • the touch information acquisition unit 103 acquires a plurality of touch positions of the user with respect to the panel 101.
  • FIG. 5A it acquires the touch position x 1 on the x-axis on the panel 101 of the finger 1 at time t1.
  • Touch position x 1 is acquired as time-series information at a sampling interval, e.g. 10 ms.
  • FIG. 5B after obtaining the touch position x 1 on the x-axis on the panel 101 of the finger 1 at time t1, on the panel 101 in a state where the touch position x 1 of the finger 1 is detected, a time t2 in detecting the touch position x 2 on a different x-axis by different fingers 2 and the touch position x 1.
  • FIG. 5B after obtaining the touch position x 1 on the x-axis on the panel 101 of the finger 1 at time t1, on the panel 101 in a state where the touch position x 1 of the finger 1 is detected, a time t2 in detecting the touch position x 2 on a different x-axis by different fingers 2 and the touch position x 1.
  • 5C differs in the state in which the touch position x 1 on the x-axis of the finger 2 detected at time t1 on the panel 101 is detected, the touch position x 1 on the x axis at time t2 finger 1 detects a touch position x 2 on a different x-axis by.
  • Step S102 Order input determination
  • the order input determination unit 105 touches the setting information storage unit 104 in advance based on the spatial order of touch positions calculated from the touch position continuously detected on the panel 101 and another touch position detected simultaneously on the panel 101.
  • the input items stored in association with the spatial order of the positions are determined.
  • setting information storage unit 104 As setting information of the device, setting items, input items, increase / decrease values of setting values by selection of input items, setting values, etc., information on touch input such as the number of touches and the spatial order of touch positions are stored. It is stored in association.
  • Fig. 3 shows an example of the setting information.
  • the device is a device that plays content such as video or music
  • playback settings such as content selection, volume setting, fast forward / rewind, etc.
  • a value a numerical value representing a volume level, a rewind speed, a fast-forward speed, or the like is stored.
  • the first order touch position touch-input with one finger is stored in association with the input item “touch position coordinates”.
  • volume DOWN which is an input item based on the first-order touch position
  • volume UP which is an input item based on the second-order touch position
  • the spatial order of the two touch positions detected simultaneously Store in association with each other.
  • the input item at the first order touch position is “rewind”
  • the input item at the second order touch position is “play / pause”
  • the input item at the third order touch position is “ “Fast forward” is stored in association with the spatial order of the three touch positions detected simultaneously.
  • the number of input items that can be selected at one time is simply the number of touches that can be detected by the touch information acquisition unit 103, but setting items that are larger than the number of touches are set by combining touch positions that are used simultaneously. You can also.
  • the order input determination unit 105 performs input determination of [1] to [6] illustrated in FIG. 3 based on the detection order of touch positions and the spatial order.
  • the input item associated with the spatial order of the touch positions with the latest detection order is selected.
  • the input determination [2] will be described.
  • FIG. 5C from a state where the touch position x 1 by the finger 2 has been detected continuously, shows another state in which the touch position x 2 is detected on the panel 101 by the finger 1, the detection order is x 1 is x 2, the latest touch position is determined to be x 2.
  • reproduction setting determination will be described with reference to FIGS. 3, 6A, 6B, and 6C.
  • the playback setting stored in the setting information storage unit 104 is selected as shown in FIG.
  • the reproduction setting is changed by determining the detection order and the spatial order of the three touch positions.
  • the input item at the first order touch position is “rewind”
  • the input item at the second order touch position is switched to “play / pause”
  • the input item at the third order touch position is “fast forward”.
  • FIGS. 6A, 6B, and 6C an example in which the touch position detection order and spatial order determination on the panel 101 is executed on the x coordinate will be described.
  • FIG. 6A shows an example in which the user inputs “play / pause”.
  • finger 1, finger 2, and finger 3 are detected at touch positions x 1 , x 2 , and x 3 , respectively.
  • the order input determination unit 105 determines from the setting information stored in the setting information storage unit 104 as shown in FIG.
  • the user in order to reproduce the video content 111, the user once releases the finger 2 from the panel 101 and performs an input of touching the panel 101 again within a predetermined time (for example, within 200 ms). This input is hereinafter referred to as “tap input”.
  • the detection order is the x 2
  • the touch position is the latest.
  • the order relationship between the touch positions x 1 , x 2 , and x 3 is x 1 ⁇ x 2 ⁇ x 3
  • the tap input by the user with the finger 2 is the touch position x 2 in the latest detection order, and the second order. It is determined that the “playback / pause” input item stored in the setting information storage unit 104 is selected as shown in FIG.
  • FIG. 6B shows an example in which the user inputs “rewind”.
  • finger 1, finger 2, and finger 3 are detected at touch positions x 1 , x 2 , and x 3 , respectively.
  • the order input determination unit 105 determines from the setting information stored in the setting information storage unit 104 as shown in FIG.
  • the user in order to rewind the video content 111, the user once releases the finger 1 from the panel 101 and performs a tap input for touching the panel 101 again within a predetermined time (for example, within 200 ms).
  • the detection order of x 1 The touch position is the latest. Further, the order relationship of the touch positions x 1 , x 2 , x 3 is x 1 ⁇ x 2 ⁇ x 3 , and the tap input by the user with the finger 1 is the touch position x 1 in the latest detection order, and the first order It becomes a touch position, and it is determined that the “rewind” input item stored in the setting information storage unit 104 is selected as shown in FIG.
  • FIG. 6C shows an example in which the user inputs “fast forward”.
  • finger 1, finger 2, and finger 3 are detected at touch positions x 1 , x 2 , and x 3 , respectively.
  • the order input determination unit 105 determines from the setting information stored in the setting information storage unit 104 as shown in FIG.
  • the user in order to fast-forward the video content 111, the user once releases the finger 3 from the panel 101, and performs a tap input to touch the panel 101 again within a predetermined time (for example, within 200 ms).
  • the detection order will be different touch position x 3 by a finger 3 is detected in x 3 Touch
  • the position is the latest.
  • the order relationship of the touch positions x 1 , x 2 , x 3 is x 1 ⁇ x 2 ⁇ x 3
  • the tap input by the user with the finger 3 is the touch position x 3 in the latest detection order
  • the third order It becomes the touch position, and it is determined that the “fast forward” input item stored in the setting information storage unit 104 is selected as shown in FIG.
  • Step S103 Change setting information
  • the setting information changing unit 106 changes the setting value of the setting item determined by the order input determining unit 105 when the latest touch position is touched.
  • ⁇ Change volume setting value> An example of changing the setting value of the volume setting when the number of touches acquired by the touch information acquisition unit 103 is 2 will be described with reference to FIGS. 3, 5B, and 5C.
  • the latest touch position x 2 by a finger 2 which is determined by the order input determination unit 105 in step 102S is a touch position of the second order, the corresponding input item "volume UP"
  • the set value is changed using the increase / decrease value of the set value shown in FIG. Specifically, when a tap input at the touch position in the second order is detected, the set value is increased or decreased by the increase / decrease value of the set value.
  • the set value display unit 113 is displayed on the monitor 110 to present the set value to the user.
  • the latest touch position x 2 by a finger 2 which is determined by the order input determination unit 105 in step 102S is the first order
  • "volume DOWN" is selected as the corresponding input fields
  • the set value display unit 113 is displayed on the monitor 110 to present the set value to the user.
  • step 102S the order input determination unit 105, when the "play / pause" is selected as the input items of the second order by the finger 2 by the touch position x 2 as shown in FIG. 6A, the input items shown in FIG. 3 Set the set value.
  • the set value display unit 113 is displayed on the monitor 110 to present the set value to the user. Specifically, 1 is set as a set value at the time of reproduction and 2 is set at the time of pause. Play and pause are set alternately.
  • the setting value is set to 2 (pause), and if the setting value is 2 (pause), the setting value is set to 1 (reproduction).
  • the set value when the input items of the playback setting in FIG. 3 are in the second order is 0, but this is set when fast-forwarding or rewinding.
  • the next time the "rewind" is selected is input item by the touch position x 1 of the first order with a finger 1 as in FIG. 6B, increases or decreases the set value by increasing or decreasing value of the set value.
  • the increase / decrease value of the set value of “rewind” is +1, and the rewind speed level is increased by 1.
  • the set value display unit 113 is displayed on the monitor 110 to present the set value to the user.
  • the set value of the current rewind speed as shown in FIG. 3 is a 0, which is the operation of the current instrument is set to 0 because fast-forward
  • the set value by the input by the current touch position x 1 1 Set to Like the unwinding of Figure 6B, when the touch position x 3 with the finger 3 in FIG. 6C is a touch position of the third order, "fast forward" is selected as the input items, increase or decrease value of the setting value is +1
  • the set value of the rapid traverse rate is increased by 1.
  • the set value display unit 113 is displayed on the monitor 110 to present the set value to the user.
  • Step S104 vibration presentation position selection
  • the vibration presentation position determination unit 107 sets the touch position in the latest detection order as the first touch position for presenting vibration, and vibrates the touch position detected before the touch position in the latest detection order is detected.
  • the second touch position that is not presented is determined. That is, the touch position in the spatial order corresponding to the input item of the device determined by the order input determination unit 105 is determined as the first touch position to vibrate, and the other touch positions are not presented with vibration at the same time. Determine as position.
  • the user feels that the input item selected by the user has been received by the device, and which finger feels vibration from a plurality of touch positions touching the panel 101, that is, a plurality of touching fingers. Can be confirmed.
  • the setting value is set at a predetermined time interval.
  • a corresponding number of stimulation signals may be presented.
  • vibration may be presented at the timing when the scene change or personal information appears.
  • the order of the touch positions in the second order and the first order in the case of “fast forward”, vibrations may be presented at predetermined time intervals in the order of the touch positions in the first order and the second order.
  • Step S105 Presentation vibration determination
  • the presentation vibration determination unit 108 determines a tactile sensation signal indicating the vibration to be presented at the first touch position based on the setting value of the setting item and / or the increase / decrease value of the setting value.
  • the number of touch positions acquired by the touch information acquisition unit 103 is 2, and the setting item “volume DOWN” or “volume UP” is selected by the order input determination unit 105 according to the determination criterion shown in FIG. Since the increase / decrease value of the set value is +1 or ⁇ 1, in order to inform the user that the set value has increased or decreased by 1 when the user taps the latest touch position with a finger, for example, FIG. A tactile signal is generated.
  • the tactile sensation signal s (n) is generated based on a signal of r periods of a sine wave having a frequency fc, and the r period is just a half period as shown in Expression (1).
  • the sine wave is modulated using the modulation frequency fm.
  • Ts represents a sampling period.
  • the modulation frequency fm is 10 Hz.
  • the tactile sensation signal generated in this way can be used as a signal for presenting a tactile sensation as if a physical switch was clicked once (hereinafter, referred to as a single stimulation signal), whereby the user can It can be confirmed by tactile sense that the set value has increased or decreased by one.
  • FIG. 7B shows a sine wave modulated using the modulation frequency fm so that the r period is exactly one period, in order to present a tactile sensation as if a physical switch was clicked twice in succession.
  • Signal hereinafter referred to as a double stimulation signal.
  • the user sets it by touch input by presenting a tactile sensation as if the physical switch shown in FIG. 7B is clicked twice. It can be confirmed by tactile sense that the setting value of the rapid traverse rate is 2.
  • the tactile sensation signal is not necessarily a signal generated as described above. For example, it is not necessary to perform modulation as shown in Equation (1). That is, a sine wave may be used as the tactile sensation signal.
  • the frequency fc may be any frequency as long as it can be sensed by a human sense of touch.
  • the frequency fc may be determined based on the vibration characteristics of the panel 101.
  • the frequency fc may be determined so as to coincide with the resonance frequency of the panel 101.
  • the frequency fc may be determined so as to coincide with the resonance frequency of the panel 101.
  • Step S106 Multi-point simultaneous vibration control
  • the multipoint simultaneous vibration control unit 109 presents the vibration indicated by the tactile sensation signal at the first touch position, calculates a drive signal of each actuator so as not to present vibration at the second touch position, and calculates the calculated
  • the actuator is driven by a drive signal to simultaneously control the vibration of the panel 101 for each touch position.
  • the haptic input / output device 100 operates when the user operates the panel 101 that can simultaneously detect a plurality of touch positions and selects one from a plurality of setting information.
  • the order input determination unit 105 determines the spatial position of the touch positions corresponding to the latest detection order that the user has tapped.
  • the setting information stored in the setting information storage unit 104 in advance in association with the spatial order of the touch positions is selected, and the vibration presentation position determination unit 108 vibrates the touch positions in the spatial order corresponding to the selected setting information.
  • the first touch position to be presented is determined as a second touch position where vibration is not presented to touch positions other than the first touch position, and multipoint vibration is determined.
  • the control unit 109 drives the actuator 102 to present a vibration related to the setting value of the setting information to the first touch position that is the touch position of the tapped finger, and the position of the tapped finger. The vibration is not presented at any other touch position.
  • the vibration is to be presented on, based on the spatial order of the touch positions previously associated with a plurality of setting information as options, which The user can easily check whether the setting information is accepted by the device.
  • a plurality of settings can be made at any position on the panel without selecting the GUI set at a specific position on the panel, that is, without gazing at the panel. Information can be easily selected.
  • FIG. 8 is a block diagram showing a more detailed configuration of the multipoint simultaneous vibration control unit.
  • the multi-point simultaneous vibration control unit 109 includes a transfer characteristic storage unit 201, a transfer characteristic acquisition unit 202, a filter calculation unit 203, a tactile signal storage unit 204, and a filter processing unit 205.
  • a transfer characteristic storage unit 201 includes a transfer characteristic storage unit 201, a transfer characteristic acquisition unit 202, a filter calculation unit 203, a tactile signal storage unit 204, and a filter processing unit 205.
  • the transfer characteristic storage unit 201 is, for example, a hard disk or a semiconductor memory.
  • the transfer characteristic storage unit 201 stores, for each point on the panel 101, the transfer characteristic from each actuator 102 to the point. That is, the transfer characteristic storage unit 201 stores transfer characteristics for a plurality of positions on the panel 101 and a plurality of actuators 102 in association with combinations of positions and actuators 102.
  • Transfer characteristics indicate the relationship between input and output in the system.
  • the actuator drive signal corresponds to the input
  • the vibration at one point on the panel corresponds to the output.
  • the transfer characteristic G ( ⁇ ) matches the output Y ( ⁇ ) (impulse response).
  • the transfer characteristic storage unit 201 stores, for each point on the panel 101, an impulse response from each actuator 102 to the point as a transfer characteristic.
  • the impulse response may be expressed in the time domain or in the frequency domain. That is, the transfer characteristic storage unit 201 may store a time waveform of an impulse response, or may store a spectrum of the impulse response.
  • each point on the panel 101 may be, for example, a representative point (for example, the center or the center of gravity) of each divided area on the panel 101.
  • the divided areas are obtained, for example, by dividing the area on the panel 101 into a grid pattern in units of 10 mm.
  • the shape of the divided regions is not necessarily rectangular, and may be other shapes.
  • the size of the divided areas does not have to be the same in all the divided areas. For example, the size of the divided area may be different depending on the position on the panel 101.
  • each divided area is smaller (that is, the number of divided areas is larger), the resolution of tactile sensation presentation can be improved, but the storage capacity for storing transfer characteristics increases. That is, since the resolution and the storage capacity are in a trade-off relationship, the size of each divided region may be determined based on the necessary resolution or the allowable storage capacity.
  • the transfer characteristic storage unit 201 includes N (N is 2) on the panel 101 from each of the M (M is an integer of 2 or more) actuators 102 (A 1 , A 2 ,..., A M ). M ⁇ N up to each of the above integer) positions (P 1 (x 1 , y 1 ), P 2 (x 2 , y 2 ),..., P N (x N , y N )) It is assumed that the transfer characteristics are stored.
  • FIG. 9 shows a path through which vibration propagates from the actuator 102 to a certain position on the panel 101.
  • the vibration at the position P i is the vibration that directly reaches the position P i (x i , y i ) from the actuator A j and the position P i (x i , This is a synthesized vibration such as a vibration reaching y i ). Therefore, the transfer characteristic includes the propagation characteristic of every path from the actuator A j to a certain position P i on the panel.
  • transfer characteristics may be expressed in the time domain or in the frequency domain.
  • the transfer characteristic expressed in the time domain and the transfer characteristic expressed in the frequency domain are equivalent as information and can be converted into each other.
  • the impulse response can completely represent the characteristics of the system from the actuator A j to the position P i (x i , y i ). Therefore, in this embodiment, an impulse response is used as the transfer characteristic.
  • the impulse response may be measured using TSP (Time Stretched Pulse) instead of the impulse.
  • TSP Time Stretched Pulse
  • TSP is a signal whose time axis is extended more than the impulse by changing the phase of the impulse in proportion to the square of the frequency, as shown in Equation (2).
  • FIG. 10A shows an example of a TSP.
  • H (n) represents TSP in the frequency domain.
  • j represents an imaginary unit (the square root of ⁇ 1).
  • k is a constant and represents the degree of expansion and contraction.
  • n represents a discrete frequency unit.
  • H * represents a complex conjugate of H.
  • the actuator A j is driven using a signal obtained by performing inverse Fourier transform on the TSP shown in Expression (2), and the vibration at the position P i (x i , y i ) on the panel 101 (hereinafter referred to as “TSP response”). Is called).
  • TSP response the vibration at the position P i (x i , y i ) on the panel 101
  • the measurement method need not be limited, but vibration (TSP response) is measured using, for example, a Doppler displacement meter.
  • FIG. 10B shows an example of a TSP response.
  • the impulse response is calculated using the measured TSP response. Specifically, an impulse response is calculated by performing a convolution operation using the inverse function of TSP shown in Expression (2).
  • H-1 (n) represents the inverse function of TSP.
  • FIG. 10C shows an example of the inverse function of TSP.
  • FIG. 10D shows an example of an impulse response calculated from the TSP response of FIG. 10B.
  • the impulse response from the actuator A j to the position P i (x i , y i ) is measured using the TSP.
  • Such measurement is performed using M actuators 102 (A 1 , A 2 ,..., A M ) and N positions (P 1 (x 1 , y 1 ), P 2 (x 2 , y 2 )). ,..., P N (x N , y N )) are performed for all combinations to obtain M ⁇ N transfer characteristics.
  • the M ⁇ N transfer characteristics obtained in this way are stored in the transfer characteristic storage unit 201.
  • the transfer characteristic measurement method is not limited to the method described above.
  • the transfer characteristic may be measured using an M-sequence signal.
  • the transfer characteristic may be measured using a Gaussian random number.
  • the transfer characteristic acquisition unit 202 acquires a transfer characteristic corresponding to each touch position acquired by the touch information acquisition unit 103 from a plurality of transfer characteristics stored in the transfer characteristic storage unit 201. That is, the transfer characteristic acquisition unit 202 reads the transfer characteristic from each actuator 102 to each touch position from the transfer characteristic storage unit 201.
  • the filter calculation unit 203 is an example of a filter acquisition unit.
  • the filter calculation unit 203 acquires a filter for generating a desired drive signal by performing filter processing on an arbitrary tactile signal.
  • the desired drive signal means that the panel 101 vibrates according to an arbitrary tactile signal at the first touch position where vibration is presented, and the panel 101 does not vibrate at the second touch position where vibration is not presented. This is a signal for driving the actuator 102.
  • the filter calculation unit 203 presents a tactile sensation only at the first touch position among the plurality of touch positions acquired by the touch information acquisition unit 103 using the transfer characteristic acquired by the transfer characteristic acquisition unit 202.
  • a filter for not presenting tactile sensation at the second touch position is calculated. A more specific filter calculation method will be described later.
  • the tactile signal storage unit 204 is, for example, a hard disk or a semiconductor memory.
  • the tactile sensation signal storage unit 204 stores the tactile sensation signal generated by the presentation vibration determination unit 108, and each of FIGS. 7A and 7B is an example of a tactile sensation signal.
  • the tactile sensation signal may be any signal as long as the tactile sensation can be presented to the user, but may be determined based on the vibration characteristics of the panel 101, for example.
  • the tactile sensation signal may be, for example, a signal having a resonance frequency of the panel 101 or a frequency in the vicinity thereof. Thereby, energy efficiency can be improved.
  • the tactile sensation signal is generated online by the presentation vibration determination unit 108 based on the setting value of the setting information, but the generated signal is stored in the tactile sensation signal storage unit 204 and the actuator 102 is driven.
  • the signal is generated by the filter processing unit 205.
  • the presentation vibration determination unit 108 conversely stores the tactile sensation signals corresponding to the setting values of the setting information as shown in FIG. 7A and FIG. 7B in advance in the tactile sensation signal storage unit 204 and based on the setting values.
  • the configuration may be selected.
  • the filter processing unit 205 uses the filter for each actuator 102 calculated by the filter calculation unit 203 to filter (filter) the tactile sensation signal stored in the tactile signal storage unit 204, thereby A drive signal for driving is generated.
  • Each actuator 102 vibrates the panel 101 according to the drive signal generated by the filter processing unit 205 in this way.
  • vibration based on the tactile sensation signal is generated only at the first touch position among the plurality of touch positions, and vibration is suppressed at the second touch position where no vibration is presented.
  • the multipoint simultaneous vibration control unit 109 can present a tactile sensation to the user at the vibration presentation position and not present a tactile sensation at the second touch position where no vibration is presented.
  • FIG. 11 is a flowchart showing the processing operation of the haptic input / output device 100 according to the first embodiment.
  • FIG. 12 is a diagram for explaining the processing operation of the haptic input / output device 100 according to the first embodiment.
  • the transfer characteristic acquisition unit 202 acquires transfer characteristics corresponding to the first touch position and the second touch position determined by the vibration presentation position determination unit 107 from the transfer characteristic storage unit 201.
  • the transfer characteristic acquisition unit 202 transfers transfer characteristics g 11 , g 12 , g 13 , g from each of the actuators A 1 , A 2 , A 3 , A 4 to the touch position P 1.
  • transfer characteristics g 21 , g 22 , g 23 , and g 24 from each of the actuators A 1 , A 2 , A 3 , and A 4 to the touch position P 2 are read from the transfer characteristic storage unit 201.
  • the first touch position (presentation position) is P 1
  • the second touch position (non-presentation position) is P 2 .
  • Step S202 Calculate filter
  • the filter calculation unit 203 calculates a filter for presenting the tactile sensation at the presentation position and not presenting the tactile sensation at the non-presentation position. Specifically, the filter calculation unit 203 calculates a filter using the transfer characteristics from each actuator 102 to the presentation position and the transfer characteristics from each actuator 102 to the non-presentation position. For example, the filter calculation unit 203 presents a filter for presenting a tactile sensation at the touch position P 1 and not presenting a tactile sensation at the touch position P 2 with transfer characteristics g 11 , g 12 , g 13 , g 14 , g 21 , g 22 , g 23 , and g 24 are used for calculation.
  • the transfer characteristic (impulse response) g ij from the actuator A j to the touch position P i is expressed as in Expression (4).
  • a filter h j for generating a drive signal for the actuator A j is expressed as in Expression (5).
  • the response (output) d i at the touch position P i with respect to the inputs to all the actuators A 1 to A M is expressed as in Expression (6).
  • L g represents the length of the impulse response.
  • L represents the filter length (filter length). The longer the filter length, the finer control is possible.
  • a response at one touch position P i to an input to one actuator A j is calculated by a convolution operation of the filter h j and the transfer characteristic g ij .
  • the response d i at P i can be calculated. That is, the response d i can be expressed as in Expression (7) using the filter h j and the transfer characteristic g ij .
  • responses d 1 to d N at the touch positions P 1 to P N with respect to inputs to the actuators A 1 to A M are transfer characteristics g from the actuators A j to the touch positions P i. It is represented by the sum of the results of the convolution operation of ij and the filter h j to be calculated.
  • the filter calculation unit 203 indicates that the sum of the transfer characteristic from each actuator 102 to the presentation position and the convolution calculation result in the time domain of the filter indicates an impulse, and the transfer characteristic and filter from each actuator 102 to the non-presentation position.
  • the filter is calculated so that the sum of the results of the convolution operation in the time domain is zero.
  • the calculation method of the filter as described above is not particularly limited, but the filter can be calculated as shown in Equation (8) by calculating the general inverse matrix G * of G. That is, H indicating the desired filter can be calculated from the general inverse matrix G * of G and D indicating the impulse.
  • Equation (8) can be solved.
  • the transfer characteristics g ij from the plurality of actuators 102 should not have the same zero point at each position. desirable. For example, when the number of touch positions is two, by disposing two actuators 102 at the end on the long side of the panel 101 as shown in FIG. 12, the transfer characteristics at two arbitrary points are different. An actuator 102 can be arranged.
  • the zero point is a frequency at which the level of transfer characteristics is 0 or close to 0 in the frequency domain. In other words, even if the input includes a zero point frequency component, the output hardly includes the frequency component.
  • the panel 101 does not vibrate at that frequency at that position no matter what signal is input. That is, the vibration cannot be controlled at a specific frequency. Therefore, it is desirable that the transfer characteristic from at least one actuator 102 has a characteristic that is not a zero point at each frequency to be controlled.
  • FIG. 13 shows an example of a filter. Specifically, FIG. 13, in FIG. 12 shows a filter which is calculated when the touch position P 1 is determined to a presentation position.
  • Step S203 Filter the tactile signal
  • the filter processing unit 205 drives the actuators 102 by performing filter processing on the tactile sensation signal stored in the tactile sensation signal storage unit 204 using the filter calculated in step S202.
  • a drive signal is generated.
  • the filter processing unit 205 generates a drive signal for the actuator A j by performing a convolution operation between the tactile sensation signal S (n) and the filter h j (n).
  • the tactile signal S (n) is determined according to the set value by presenting the vibration determination unit 108, are stored in the tactile signal storage unit 204, the tactile signals shown in FIG. 7A to be presented to the touch position P 1 An example of filtering will be described.
  • the filter processing unit 109 generates a drive signal u j (n) for driving the actuator A j as shown in Expression (9). That is, the filter processing unit 109 generates a drive signal u j (n) by performing a convolution operation between the tactile sensation signal s (n) and the filter h j (n) calculated by the filter calculation unit 107.
  • FIG. 14 shows an example of the drive signal. That is, FIG. 14 shows an example of the drive signal generated by the filter processing unit 205 according to Expression (9). More specifically, FIG. 14 shows a drive signal generated by processing the tactile sensation signal shown in FIG. 7A using the filter shown in FIG.
  • Step S204 Drive the actuator
  • the actuator A j is driven using the drive signal u j (n) generated in step S203. That is, the actuator A j vibrates the panel 101 according to the drive signal u j (n).
  • the actuator 102 may include an amplifier for amplifying the drive signal.
  • FIG. 15 shows experimental results of vibration of the panel 101 at each touch position. Specifically, FIG. 15 shows the vibration of the panel 101 at the touch positions P 1 and P 2 when the actuator 102 is driven using the drive signal shown in FIG.
  • the difference between vibration peaks (hereinafter referred to as “amplitude intensity”) is about 30 ⁇ m, which indicates that the vibration is strong.
  • the touch position P 2 has a amplitude intensity of about 1 [mu] m, it can be seen that not vibrating only to the extent that people can not sense.
  • tactile sensation is presented at the first touch position where vibration is presented, and tactile sensation is presented at the second touch position where vibration is not presented. Can not present. Therefore, a tactile sensation can be presented only for a touch input that requires a tactile sensation among a plurality of touch positions.
  • the filter is calculated in the time domain in the first embodiment, but it goes without saying that the processing load can be reduced by calculating this in the frequency domain. . It goes without saying that the processing load can be further reduced by limiting the processing to a frequency band that humans feel as a tactile sensation.
  • the processing load can be reduced by performing the processing until the filter is calculated offline instead of online.
  • driving signals are calculated and stored in advance for all the combination patterns of a plurality of touch positions, and further selected by selecting the combination pattern of touch positions. Needless to say, the processing load can be reduced, and even different computing resources can present different vibrations for each touch position.
  • the first touch position P 1 presents a vibration in Figure 7A
  • the vibration presented in Figure 7B the P 2 as the first touch position a drive signal obtained by adding the drive signal 2 for not presenting the vibration of FIG. 7B the P 1 as the second touch position by by driving the actuator 102, we present the vibration of FIG. 7A to P 1, and it is needless to say that can simultaneously provide vibration in Figure 7B the P 2.
  • the panel may be composed of a flexible display and may include an actuator that locally vibrates the surface.
  • the haptic input / output device 100 of the first embodiment based on the spatial order of the touch positions associated with a plurality of setting information as options in advance, which finger (which space By controlling whether the vibration is presented at the touch position in the order, the user can easily check which setting information is accepted by the device.
  • a plurality of settings can be made at any position on the panel without selecting the GUI set at a specific position on the panel, that is, without gazing at the panel. Information can be easily selected.
  • FIG. 16 is a block diagram showing a configuration of a haptic input / output device according to Embodiment 2 of the present invention.
  • the same components as those in the block diagram showing the configuration of the first embodiment are denoted by the same reference numerals, and the configuration of the movement input determination unit 301 and the vibration presentation condition determination unit 302 which are different from those of the first embodiment. The operation will be mainly described.
  • the movement input determination unit 301 moves the plurality of touch positions in the same direction based on the time series information of the plurality of touch positions detected by the touch information acquisition unit 103 with respect to the touch input to the panel 101, and The spatial order of the touch position with respect to the moving direction is calculated.
  • the setting information storage unit 104 setting information is stored in association with the moving direction. Based on the moving direction, the moving direction stored in the setting information storage unit 104 is compared and the setting information is stored. The setting information to be determined is determined.
  • the vibration presentation condition determination unit 302 calculates a head position touch position in the movement direction among the plurality of touch positions, and includes the case where the touch position continues at the movement stop position. Is determined as a first touch position where vibration is presented, and a touch position other than the head order is determined as a second touch position where vibration is not presented.
  • FIG. 17 is a flowchart showing the operation of the haptic input / output device 100 of the second embodiment.
  • FIG. 18 shows an example of setting items input by the user.
  • an example of a procedure for determining input of [1] to [10] shown in FIG. 18 and feeding back the accepted input result by tactile sense will be described using map scrolling, volume setting, and track setting as examples.
  • FIG. 19A a configuration may be adopted in which a panel 101 made of a transparent material is arranged on the upper part of the monitor 110 that displays a map or the like.
  • positions the panel 101 to a center console or an armrest may be sufficient.
  • the user can perform an input operation without gazing at the panel 101 regardless of the configuration.
  • Step S301 Acquisition of touch information
  • the touch information acquisition unit 103 acquires a plurality of touch positions of the user on the panel 101 as time series information. For example, as shown in FIG. 19A, when touching panel 101 with two fingers, finger 1 and finger 2, touch position P 1 (x 1 (t), y 1 (t) by finger 1 at time t ), And the touch position P 2 (x 2 (t), y 2 (t)) by the finger 2 is acquired at predetermined sampling intervals ⁇ t such as 20 ms.
  • Step S302 Moving input determination
  • the movement input determination unit 301 calculates the movement of the plurality of touch positions in the same direction and the spatial order of the touch positions with respect to the movement direction based on the time series information of the plurality of touch positions detected on the panel 101.
  • the setting information storage unit 104 setting information is stored in association with the moving direction. Based on the moving direction, the moving direction stored in the setting information storage unit 104 is compared and the setting information is stored. The setting information to be determined is determined.
  • the moving direction of the touch position is calculated as follows.
  • the moving direction when moving the touch position while touching the finger on the panel 101 is calculated.
  • the movement vector representing the movement direction of the touch position P 1 at each sampling interval ⁇ t is v1 (x 1 (t) ⁇ x 1 (t ⁇ 1), y 1 (t) ⁇ y 1 (t ⁇ 1) ))
  • the movement vector of the touch position P 2 is calculated by v2 (x 2 (t) ⁇ x 2 (t ⁇ 1), y 2 (t) ⁇ y 2 (t ⁇ 1)).
  • the identity of the movement directions of the touch positions P 1 and P 2 is determined to be the same when, for example, the value of cos of the angle ⁇ formed by the movement vectors v 1 and v 2 is smaller than a predetermined threshold.
  • the touch position P 1 obtained at time t (x 1 (t), y 1 (t )) And the touch position P 1 (x 1 (t ⁇ 1), y 1 (t ⁇ 1)) acquired at time (t ⁇ t) are the same, or P 1 (x 1 (t)) , Y 1 (t)) and P 1 (x 1 (t-1), y 1 (t-1)) are less than a predetermined distance, the movement of the touch position P 1 due to the finger 1 stroking is stopped. when the movement of the the judges.
  • the spatial order of the touch position with respect to the moving direction is calculated as follows.
  • the touch positions P 1 and P 2 are projected on a straight line including either the movement vector v 1 or v 2, and the touch positions P 1 and P 2 are ordered with the movement direction being positive.
  • the movement vectors v1 and v2 can be selected arbitrarily. For example, the movement vector having the larger movement distance calculated by the above procedure may be selected.
  • Input determination [1] is a touch number 1 is detected by the touch information detection unit 103, and a case where the touch position P 1 is moved in the direction of the motion vector v1, the "map scroll" as a setting item Selected. As a specific input item, “movement distance scroll” is selected in which the map is scrolled by the movement distance of the touch position.
  • Input determination [2] is a touch number 1 is detected by the touch information detection unit 103, and the touch position P 1 is moved in the direction of the movement vector v1, the moving distance is equal to or more than the predetermined threshold value D, and the touch position This is a case where the stationary time t1s is equal to or longer than a predetermined threshold Ts, and the map scroll is selected as a setting item.
  • “continuous scroll” is selected which continuously scrolls the map when the touch position is moved by a predetermined distance and then remains stationary.
  • Input determination [3] and input determination [5] are cases where the number of touches detected by the touch information detection unit 103 is two and the touch position does not move, and the process proceeds to the order input determination in step S303. “Volume setting” is selected as the setting item.
  • Track setting input judgment> In the input determinations [7] to [10], the number of touches detected by the touch information detection 103 is 2, like the input determinations [3] to [6], but the movement directions v1 and v2 of the touch position are the same and When the moving distance of the touch position is equal to or greater than a predetermined threshold D, “track setting” is selected as the setting item.
  • the track setting is, for example, an input operation for moving an album track to the next track or moving to the previous track in an audio operation.
  • the input determination [7] is an input item when the number of touches is 2, the movement directions v1 and v2 of the touch position are the same, the minus direction of a predetermined coordinate axis, and the movement distance of the touch position is equal to or greater than a predetermined threshold D.
  • Track DOWN is selected.
  • FIG. 19A shows an example of touch input for lowering the track setting.
  • the fingers 1 and 2 are simultaneously touching the panel 101 at time (t ⁇ n), and the touch positions P 1 and P 2 are respectively x 1 (t ⁇ n) and x 2 (t ⁇ n). is there.
  • n is the number of samplings, and represents n samples before the current time t.
  • the touch position P 2 P 2 is moved parallel to the same direction for a given coordinate axis x, the direction is the minus direction, and the moving distance of P 1
  • the input determination [8] is performed when the number of touches is 2, the movement directions v1 and v2 of the touch position are the same, the negative direction of the predetermined coordinate axis, the movement distance of the touch position is equal to or greater than a predetermined threshold D, and the touch position stationary time
  • t1s is equal to or greater than a predetermined threshold Ts
  • “continuous track DOWN” is selected as an input item.
  • the input determination [9] includes “2” as the input item when the number of touches is 2, the movement directions v1 and v2 of the touch position are the same, the plus direction of a predetermined coordinate axis, and the movement distance of the touch position is equal to or greater than a predetermined threshold D.
  • Track UP is selected.
  • FIG. 19B shows an example of touch input for increasing the track setting.
  • the fingers 1 and 2 are simultaneously touching the panel 101 at time (t ⁇ n), and the touch positions P 1 and P 2 are respectively x 1 (t ⁇ n) and x 2 (t ⁇ n). is there.
  • n is the number of samplings, and represents n samples before the current time t.
  • the touch position P 2 P 2 is moved parallel to the same direction for a given coordinate axis x, the direction is a positive direction, and the moving distance of P 1
  • the input determination [10] is performed when the number of touches is 2, the movement directions v1 and v2 of the touch position are the same, the plus direction of a predetermined coordinate axis, the movement distance of the touch position is equal to or greater than a predetermined threshold D, and the rest time of the touch position
  • t1s is equal to or greater than a predetermined threshold Ts
  • “continuous track UP” is selected as an input item.
  • Step S303 Order Input Determination
  • the order input determination unit 105 detects that the user taps the panel 101, that is, detects the touch position continuously detected on the panel 101 and the panel 101 simultaneously. Based on the spatial order of the touch positions calculated by the different touch positions, input items stored in the setting information storage unit 104 in advance in association with the spatial order of the touch positions are determined.
  • the number of touches detected by the touch information detection unit 103 is 2 and the touch position does not move, it is determined as the volume setting shown in the input determinations [3] to [6] in FIG. .
  • the input determination [3] and the input determination [5] are cases where the number of touches detected by the touch information detection unit 103 is two and the touch position does not move, and “volume setting” is selected as a setting item.
  • the Since these input determinations [3] and [5] are the same operation as the volume setting in the first embodiment, the description thereof is omitted.
  • the number of touches detected by the touch information detection unit 103 is 2, the touch position does not move, and the rest time t1s of the touch position is a predetermined threshold Ts.
  • the spatial order of the touch positions is the first order, “continuous volume DOWN” is selected as the input item, and when the spatial order is the second order, “continuous volume UP” is selected as the input item. Is done.
  • step S303 by determining the tap input and the movement input, it is possible to easily execute different input operations even with the same number of touches.
  • Step S304 Setting information change
  • the setting information changing unit 106 changes the setting value of the setting item determined by the movement input determining unit 301 and the order input determining unit 105.
  • move the display area of the map displayed on only the monitor 110
  • the display area may be moved by, for example, specifying the area to be displayed on the monitor 110 in the map coordinate system. For example, when the display area is specified by a rectangle, the coordinates of the upper left vertex of the rectangle are used as a reference for map display. As the coordinates, the map can be scrolled by moving the display reference coordinates in the direction of -v1.
  • the map The display reference coordinates are continuously moved in the direction of - ⁇ v1 at predetermined time intervals.
  • ⁇ is a coefficient for controlling the amount of movement, for example, it may be changed by the movement speed of the moving distance per unit of the touch position P 1 time. Accordingly, when the touch position P 1 is moved at a high speed and then stopped, the value ⁇ is increased to increase the amount of movement of the display reference position, and conversely, the touch position P 1 at a low speed. Is moved, the amount of scroll movement can be easily set according to the user's intention by reducing ⁇ to reduce the amount of movement of the display reference position.
  • the input setting is [3]
  • “volume DOWN” is selected as the corresponding input item.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the input setting is [4], that is, if a touch position is detected continuously for a predetermined time Ts or more after a first touch position is tapped out of two touch positions. “Continuous volume DOWN” is selected as an input item to be selected.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the input setting is [5]
  • “Volume UP” is selected as the corresponding input item.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the input setting is [6], that is, if the touch position in the second order among the two touch positions is tapped and then the touch position is continuously detected for a predetermined time Ts or longer, “Continuous volume UP” is selected as the input item to be selected.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • ⁇ Change track setting value> The setting value change of the track setting will be described with reference to FIG.
  • a description will be given of an example in which a track number Nt of a music title in audio operation is set.
  • the input determination [7] i.e., the number of touches 2, and the touch position P 1 and the negative direction of the movement direction v1 and v2 of the P 2 are identical and predetermined coordinate axis, and the movement distance of the touch position is predetermined
  • “track DOWN” is selected as an input item.
  • the increase / decrease value ⁇ Nt of the set value is ⁇ 1
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the number of touches 2, and the touch position P 1 and P 2 in the moving direction v1 and v2 are identical and predetermined coordinate axis negative direction and the movement distance of the touch position is the predetermined threshold value D or more, and
  • “continuous track DOWN” is selected as an input item.
  • the increase / decrease value ⁇ Nt of the set value is ⁇ 1
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the number of touches 2, and the touch position P 1 and the positive direction of the moving direction v1 and v2 of the P 2 are identical and predetermined coordinate axis, and when the movement distance of the touch position is not smaller than a predetermined threshold value D , “Track UP” is selected as the input item.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • the number of touches 2, and the touch position P 1 and P 2 in the moving direction v1 and v2 are identical and predetermined coordinate axis positive direction and the movement distance of the touch position is the predetermined threshold value D or more, and
  • the rest time t1s of the touch position is equal to or longer than the predetermined threshold Ts
  • “continuous track UP” is selected as an input item.
  • the setting value display unit 113 may be displayed on the monitor 110 to present the setting value to the user.
  • Ts it is also possible to change the time interval Ts to further set the track number using the moving speed of the touch position P 1 or P 2. Accordingly, when the touch position is stopped after moving the touch positions P 1 and P 2 at a high speed, the track number is changed at a short time interval by shortening Ts, and conversely, the touch position P at a low speed. 1, when moving the P 2, by changing slowly the track number by lengthening the Ts, it is possible to easily set the change of the track number according to the intention of the user.
  • the movement distance of the touch position may be determined using the accumulated distance of the movement distance when the movement distance that can be easily input by the user varies. Specifically, the input may be determined based on whether the cumulative value of the movement distance due to the movement of the touch position a plurality of times is equal to or greater than a predetermined threshold value D.
  • Step S305 vibration presentation condition determination
  • the vibration presentation condition determination unit 302 calculates a head position touch position in the moving direction among the plurality of touch positions, and the touch position continues at the movement stop position. Including the case, the touch position in the head order is determined as the first touch position that presents vibration, and the touch position other than the head order is determined as the second touch position that does not present vibration.
  • the vibration presentation condition determination unit 302 sets the touch position of the spatial order corresponding to the determined input item as the first touch position for presenting vibration, and the touch position A touch position other than is determined as a second touch position where vibration is not presented.
  • FIG. 18 shows a first touch position where vibration is presented during input determination [1] to input determination [10], and vibration presentation conditions will be described below.
  • the vibration presentation condition is determined by the movement distance of the touch position. For example, it is determined by the amount of movement of the map by the amount of movement of the touch position and the scale of the map. That is, the vibration presentation condition determination unit 302 acquires the scale of the current map, for example, and if the map is displayed with reference to 100 m, the movement distance of the touch position P 1 corresponds to the distance 100 m on the map. each time, may present a vibration to the touch position P 1. Thereby, it is possible to recognize by tactile sense how much the map has been moved without paying attention to the map displayed on the monitor 110.
  • vibrations are presented at predetermined distances, for example, the distance between the destinations and the intermediate point Can be recognized by tactile sense.
  • the reference distance is guided by voice guidance, for example, and the number of times the vibration is presented is counted, so that the tactile sense is 100 m, 200 m, 300 m, etc. Can grasp the distance.
  • voice guidance may be used in combination every predetermined distance such as every 300 m or every 500 m. Frequent feedback by voice may be annoying in some cases, but by using it together with vibration feedback, necessary information can be conveyed in an appropriate transmission form.
  • input determination [2] that is, when it is determined as “continuous scroll” based on the moving distance of the touch position and the rest time of the touch position after the movement, the vibration presentation position is determined as one touched point. To do.
  • the vibration presentation condition is determined by the moving distance of the touch position and the stationary time of the touch position.
  • the moving distance may be fed back to the user by tactile sensation by vibrating the touch position every time the automatically scrolling map moves by a predetermined distance, or vibrate whenever the predetermined threshold Ts elapses. You may let them. If the user knows in advance the speed at which the map moves, the elapsed time can be recognized from the number of vibrations presented, and the approximate moving distance of the map can be known.
  • a list of contents such as video and music may be scrolled continuously, and vibration may be presented every time the genre is switched or the album is switched.
  • vibration is generated when a pre-marked page, a page with updated contents, or the like is displayed. May be presented.
  • the moving direction of the map is obtained by vibrating the head touch position with respect to the moving direction of the map or the moving direction of the finger.
  • the two touch positions are simultaneously moved by a predetermined distance and then stopped, and the touch is continued at the stop position, the top touch position is vibrated at a predetermined time interval with respect to the moving direction of the map, and the map The direction of movement may be presented. Further, vibrations may be presented when landmarks such as surrounding facilities and destinations are displayed on the monitor 110 on the map.
  • the input setting is [4], that is, if a touch position is detected continuously for a predetermined time Ts or more after a first touch position is tapped out of two touch positions.
  • “Continuous volume DOWN” is selected as an input item to be selected.
  • the first touch position is determined as the first touch position that presents vibration
  • the other touch positions are determined as second touch positions that do not present vibration
  • the touch position is determined for a predetermined time Ts or longer.
  • Each time it is detected continuously it is determined to present vibration at the first touch position.
  • the user can recognize by tactile sense that “continuous volume DOWN” has been selected by the spatial order of the fingers where the vibration is presented and the continuous vibration presentation.
  • “Continuous volume UP” is selected as the input item to be selected.
  • the second touch position is determined as the first touch position that presents vibration
  • the other touch positions are determined as second touch positions that do not present vibration
  • the touch position is determined for a predetermined time Ts or longer.
  • the input item “volume DOWN” is assigned to the touch position in the first order
  • the input item “volume UP” is assigned to the touch position in the second order.
  • the present invention is not limited to this, and arbitrary setting items can be set. For example, it may correspond to “page forward” and “page return” of an electronic book, or may correspond to up / down of a TV channel up / down, content list or menu item.
  • the touch position P 1 and P 2 are moved in the same negative direction with respect to the x-axis, the touch position of the first with respect to the moving direction becomes P 1, the touch position The first touch position where vibration is presented is determined.
  • shaded is presented vibration to the finger 1 marked, will be no vibration is presented to the finger 2, as a result, the user moves the touch position P 1 and P 2 in the negative direction of the x-axis that it has entered has been accepted to the equipment Te, is vibration presented to the top of the touch position P 1 in the direction of movement, by the vibration is not presented to the other touch position (P 2 in this case), is easily input You can know the accepted direction.
  • the number of touches 2, and the touch position P 1 and P 2 in the moving direction v1 and v2 are identical and predetermined coordinate axis negative direction and the movement distance of the touch position is the predetermined threshold value D or more, and
  • the rest time t1s of the touch position is equal to or longer than the predetermined threshold Ts, “continuous track DOWN” is selected as an input item.
  • the touch positions P 1 and P 2 are moved in the same negative direction with respect to the x axis, and the leading touch position in the movement direction is P 1.
  • the first touch position to present a vibration of the touch position P 1 the other touch position (P 2 in this case) determines the second touch position not presenting the vibration.
  • the number of touches 2, and the touch position P 1 and the positive direction of the moving direction v1 and v2 of the P 2 are identical and predetermined coordinate axis, and when the movement distance of the touch position is not smaller than a predetermined threshold value D , “Track UP” is selected as the input item.
  • the touch positions are ordered with respect to the moving direction, and the first touch position is set as the first touch position that presents vibration, and the other touch positions are displayed.
  • P 2 is determined as the second touch position where no vibration is presented. Referring to the example of FIG.
  • the touch position P 1 and P 2 are moved in the same positive direction with respect to the x-axis, the touch position of the first with respect to the moving direction P 2, and the touch position
  • the first touch position where vibration is presented is determined.
  • vibration is presented on the hatched finger 2 and vibration is not presented on the finger 1, and as a result, the user has input by moving the touch position in the positive direction of the x-axis. that it has been accepted to the device, the vibration head of the touch position P 2 in the moving direction presented by the vibration is not presented to the other touch position (P 1 in this case), the direction in which the easy input of which is accepted I can know.
  • the number of touches 2, and the touch position P 1 and P 2 in the moving direction v1 and v2 are identical and predetermined coordinate axis positive direction and the movement distance of the touch position is the predetermined threshold value D or more, and
  • the rest time t1s of the touch position is equal to or longer than the predetermined threshold Ts, “continuous track UP” is selected as an input item.
  • the touch positions P 1 and P 2 are moved in the same positive direction with respect to the x axis, and the leading touch position with respect to the movement direction is P 2.
  • the first touch position to present a vibration of the touch position P 2 determines the second touch position not presenting the vibration.
  • the input determination [9] presents a vibration movement direction accepted in a device in the touch position P 2, it causes the user identification by not presenting a vibration to the touch position P 1, a predetermined by presenting the vibration on the touch position P 2 at time interval Ts, it can allow the user to recognize that the track number is increasing continuously.
  • the track number is also determined. It is also possible to set fast-forward and rewind levels and feed back the level values by vibration.
  • the vibration can be perceived even if the touch position is moving, but the movement of the touch position is stopped or the moving speed is low.
  • the user can more easily perceive vibration at each touch position. That is, when feeding back the result of movement input with vibration, not only presenting vibration during movement, but also feedback of vibration when movement stops, so that the user can easily perceive vibration and know the accepted input. Can do.
  • the vibration presentation condition determined by the vibration presentation condition determination unit 302 is an example in which the set value is continuously changed by maintaining a stationary state after moving a plurality of touch positions.
  • the present invention is not limited to this.
  • the current set value may be notified by vibration at a predetermined time interval.
  • the vibration presentation to the moved touch position may be during the movement of the touch position, or at the time of stopping the movement and before and after that. When the movement is stopped and before and after the movement, the user can feel vibration more easily, and the input result can be confirmed more easily.
  • Step S306 Presentation vibration determination
  • the presentation vibration determination unit 108 determines a tactile sensation signal indicating the vibration to be presented at the first touch position based on the setting value determined in step S304, the increase / decrease value of the setting value, and the vibration presentation condition determined in step S305. .
  • the set value and the increase / decrease value of the set value are presented using the tactile sensation signal of the one-time stimulation signal and the two-time stimulation signal as shown in FIGS. 7A and 7B.
  • the increase / decrease value of the set value is 1, it is determined as a single stimulus signal, and when notifying two or more steps of set values such as fast forward and rewind of the track number, the double stimulus signal shown in FIG.
  • a tactile sensation signal such as a three-time stimulation signal obtained by repeating the first stimulation signal is determined.
  • Step S307 Multi-point simultaneous vibration control
  • the multipoint simultaneous vibration control unit 109 presents the vibration indicated by the tactile sensation signal at the first touch position, calculates a drive signal of each actuator so as not to present vibration at the second touch position, and calculates the calculated
  • the actuator is driven by a drive signal to simultaneously control the vibration of the panel 101 for each touch position.
  • step S307 is the same operation as step S106 of the first embodiment, description thereof is omitted.
  • the haptic input / output device 100 adds the movement input determination unit 301 to the first embodiment and moves the touch positions to move in the same direction while touching them.
  • the input is determined
  • the vibration presentation condition determining unit 302 determines the head touch position with respect to the moving direction
  • the multipoint simultaneous vibration control unit 109 presents vibration at the head touch position with respect to the moving direction, and others. Does not present vibration at the touch position.
  • the user can confirm the direction of movement input accepted by the device and the traveling direction of the operation target such as a map or a music track by tactile sense.
  • FIG. 20 is a block diagram showing a configuration of a haptic input / output device according to Embodiment 3 of the present invention.
  • the same components as those in the block diagram showing the configuration of the first embodiment are denoted by the same reference numerals, and the configuration information hierarchization storage unit 401 and the hierarchized input determination unit 402 which are different from those of the first embodiment.
  • the configuration and operation of the hierarchical vibration presentation condition determination unit 403 will be mainly described.
  • the setting information hierarchization storage unit 401 stores device setting information in a hierarchical manner in association with the spatial order of touch positions.
  • FIG. 21 shows an example of setting information stored hierarchically.
  • a system having an air conditioning function and an audio function will be described as an example.
  • FIG. 21 an example will be described in which seven selection modes of selection mode 1 to selection mode 7 are stored in three layers.
  • the first layer consists of selection mode 1 for selecting air conditioning settings or audio settings.
  • the second layer includes a selection mode 2 for selecting temperature setting or air volume setting, and a selection mode 3 for selecting volume setting or track setting.
  • the third level is a selection mode 4 for selecting temperature DOWN or temperature UP, a selection mode 5 for selecting air volume DOWN or air volume UP, a selection mode 6 for selecting volume DOWN or volume UP, and track DOWN or track UP.
  • the selection mode 7 is selected.
  • the hierarchized information input determination unit 402 is hierarchized into N hierarchies stored in the setting information hierarchization storage unit 401 based on time-series information of a plurality of touch positions acquired by the touch information acquisition unit 103. Select the selection mode and determine the desired setting item.
  • the setting item that matches the spatial order of the touch position is determined to select the selection mode of the (N + 1) th hierarchy Migrate to
  • the hierarchical vibration presentation condition determination unit 403 calculates a touch position in the head order with respect to the movement direction among a plurality of touch positions, and includes the touch in the head order including the case where the touch position continues at the stop position of the movement.
  • the position is set as a first touch position where vibration is presented, and a touch position other than the head order is determined as a second touch position where vibration is not presented.
  • FIG. 22 is a flowchart showing the operation of the haptic input / output device 100 of the second embodiment.
  • FIG. 18 shows an example of setting items input by the user.
  • an example of a procedure for determining input of [1] to [10] shown in FIG. 18 and feeding back the accepted input result by tactile sense will be described using map scrolling, volume setting, and track setting as examples.
  • FIG. 19A a configuration may be adopted in which a panel 101 made of a transparent material is arranged on the upper part of the monitor 110 that displays a map or the like.
  • positions the panel 101 to a center console or an armrest may be sufficient.
  • the user can perform an input operation without gazing at the panel 101 regardless of the configuration.
  • Step S401 Touch information acquisition
  • the touch information acquisition unit 103 acquires a plurality of touch positions of the user on the panel 101 as time series information. For example, as shown in FIG. 19A, when touching panel 101 with two fingers, finger 1 and finger 2, touch position P 1 (x 1 (t), y 1 (t) by finger 1 at time t ), And the touch position P 2 (x 2 (t), y 2 (t)) by the finger 2 is acquired at predetermined sampling intervals ⁇ t such as 20 ms.
  • Step S402 Hierarchical input determination
  • the hierarchized information input determination unit 402 is hierarchized into N hierarchies stored in the setting information hierarchization storage unit 401 based on time-series information of a plurality of touch positions acquired by the touch information acquisition unit 103. Select the selection mode and determine the desired setting item.
  • the detection order and the spatial order of touch positions detected simultaneously are calculated, and the detection
  • the setting item that matches is determined, and the mode is shifted to the selection mode of the (N + 1) th layer.
  • the mode shifts to the selection mode of the first hierarchy, and when the second input pattern is detected, the (N-1) th hierarchy. Move to the selection mode.
  • the Nth layer when there is one touch position and the duration of the touch is within a predetermined time (for example, within 100 ms to 500 ms), or when at least one touch position is continued.
  • a case where a new touch position is detected at another position (hereinafter referred to as “single tap input”) is determined as a “selection input”, and the Nth corresponding to the spatial order of the new touch position is determined.
  • the setting item of the selection mode of the hierarchy is selected, and the process moves to the (N + 1) th hierarchy.
  • the first input pattern for example, when two or more touch positions are detected twice within a predetermined time (eg, within a time of 100 ms to 500 ms) (hereinafter referred to as “double tap input”). ) As “initial selection input”, and the mode returns to the selection mode 1 of the first hierarchy.
  • the second input pattern for example, in the selection mode of the Nth layer, the same number of touch positions as the number of options are continuously detected, and at least one new new touch position is detected at the same time. Is determined as “return input”, and the mode returns to the selection mode of the (N ⁇ 1) -th layer.
  • the hierarchized information input determination unit 402 determines “selection input”, “initial selection input”, and “return input” based on the above procedure, and determines a setting item intended by the user.
  • selection mode 1 to selection mode 7 will be described using an example in which each selection mode has two options, such as air conditioning adjustment or audio adjustment, temperature adjustment or air volume adjustment.
  • the number of options is not limited to two, and more options may be selected by a touch operation with one hand or both hands.
  • FIG. 23 shows an example in which setting items are determined by three types of touch inputs of “return input” in addition to “selection input” and “initial selection input”, which will be described later.
  • Selection mode 1 is a mode for selecting a setting item related to air conditioning or a setting item related to audio.
  • air conditioning setting the user performs a single tap input with the finger 1 in the first order
  • audio setting the user performs a single tap input with the finger 2 in the second order.
  • the hierarchized information input determination unit 402 determines “selection input” when a new one touch position is detected at another position when at least one touch position is continuously detected, and a new The spatial order of touch positions is determined.
  • the spatial order of the new touch positions is the first order in step S102 of the first embodiment, similarly to the input determination of the volume setting described with reference to FIGS. 5B and 5C. Or the second order.
  • the hierarchical information input determination unit 402 is associated with the setting item stored in the setting information hierarchical storage unit 401 as illustrated in FIG.
  • the air conditioning setting that matches the spatial order is selected, and the mode shifts to the selection mode 2 of the second hierarchy.
  • the audio setting is selected as shown in FIG. 21, and the mode shifts to the selection mode 3 of the second hierarchy.
  • Selection mode 2 is a mode for selecting temperature setting or air volume setting in the air conditioning setting. As in the selection mode 1, the user performs a single tap input with the finger 1 in the first order when selecting the temperature setting, and performs a single tap input with the finger 2 in the second order when selecting the air volume setting. Execute.
  • the hierarchized information input determination unit 402 determines “selection input” when a new touch position is detected at another position when at least one touch position is continuously detected, and a new input When the spatial order of the touch positions is the first order, as shown in FIG.
  • the temperature setting stored in association with the first order is selected, and the mode is shifted to the selection mode 4 of the third hierarchy.
  • the spatial order of the new touch positions is the second order
  • the air volume setting is selected as shown in FIG. 21, and the mode shifts to the selection mode 5 of the third hierarchy.
  • the selection mode 3 is a mode for selecting volume setting or track setting in the audio setting. As in the selection mode 1, when the user selects the volume setting, the user performs the single tap input with the finger 1 in the first order, and when the user selects the track setting, the user performs the single tap input with the finger 2 in the second order. Execute.
  • the hierarchized information input determination unit 402 determines “selection input” when a new touch position is detected at another position when at least one touch position is continuously detected, and a new input When the spatial order of the touch positions is the first order, as shown in FIG.
  • the volume setting stored in association with the first order is selected, and the mode shifts to the selection mode 6 in the third hierarchy.
  • the spatial order of the new touch positions is the second order
  • the track setting is selected as shown in FIG. 21, and the mode shifts to the selection mode 7 of the third hierarchy.
  • the selection mode 4 is a mode for selecting a setting for lowering the set temperature (temperature DOWN setting) or a setting for raising the set temperature (temperature UP setting) in the air conditioning setting.
  • the selection mode 1 when the user selects the temperature DOWN setting, the user performs a single tap input with the finger 1 in the first order, and when selecting the temperature UP setting, the user performs a single tap with the finger 2 in the second order. Perform input.
  • the hierarchized information input determination unit 402 when the spatial order of new touch positions is the first order, as shown in FIG.
  • the temperature DOWN setting stored in association with the order is selected.
  • the temperature UP setting is selected as shown in FIG.
  • Selection mode 5 is a mode for selecting a setting for decreasing the set air volume (air volume DOWN setting) or a setting for increasing the set air volume (air volume UP setting) in the air conditioning setting.
  • the selection mode 1 when the user selects the air volume DOWN setting, the user performs a single tap input with the finger 1 in the first order, and when selecting the air volume UP setting, the user performs a single tap with the finger 2 in the second order. Perform input.
  • the hierarchical information input determination unit 402 associates with the first order as shown in FIG. 21 when the spatial order of the new touch positions is the first order.
  • the stored air volume DOWN setting is selected.
  • the air volume UP setting is selected as shown in FIG.
  • the selection mode 6 is a mode for selecting a setting for decreasing the set volume (volume DOWN setting) or a setting for increasing the set volume (volume UP setting) in the audio setting.
  • the selection mode 1 when the user selects the volume DOWN setting, the user performs a single tap input with the finger 1 in the first order, and when the user selects the volume UP setting, the user performs a single tap with the finger 2 in the second order. Perform input.
  • the hierarchical information input determination unit 402 associates the first touch position with the first order as shown in FIG. 21 when the spatial order of the new touch positions is the first order.
  • the stored volume DOWN setting is selected.
  • the volume up setting is selected as shown in FIG.
  • Selection mode 7 is a mode for selecting a setting for returning the setting track to the previous position (previous track setting) or a setting for moving the setting track forward (next track setting) in the audio setting.
  • selection mode 1 the user performs single tap input with finger 1 in the first order when selecting the previous track setting, and single tap with finger 2 in the second order when selecting the next track setting. Perform input.
  • the hierarchical information input determination unit 402 associates with the first order as shown in FIG. 21 when the spatial order of the new touch positions is the first order. Select the previous track setting stored. When the spatial order of the new touch positions is the second order, the next track setting is selected as shown in FIG.
  • Step S403 Change of setting information
  • the setting information changing unit 106 changes the setting value of the setting item determined by the hierarchy information input determining unit 402. Only the setting items are selected in the first and second layers, and the setting information of the setting items determined in the selection mode 4 to selection mode 7 in the third layer is changed.
  • the change of the setting information is executed by the same procedure as the volume setting and the track setting described in step S304 of the second embodiment.
  • the temperature level increase / decrease value ⁇ T + 1
  • the temperature level T which is the set value
  • the setting value is changed when, for example, a touch position newly input with a single tap is detected.
  • the touch position in the second order among the two touch positions is a touch position that is newly input by a single tap, for example, the volume setting shown in FIG.
  • the temperature level increase / decrease value ⁇ V + 1
  • the temperature level T which is the set value
  • the setting value is changed when, for example, a touch position newly input with a single tap is detected.
  • Step S404 Vibration presentation condition determination for each hierarchy
  • the vibration presentation condition determination unit 403 for each hierarchy determines a first touch position where vibration is presented and a second touch position where vibration is not presented for each hierarchy and each selection mode.
  • the vibration presentation condition determination unit 403 for each hierarchy sets each touch position with respect to a plurality of detected touch positions. It is decided to present the vibration once in a predetermined time. For example, with respect to two touch positions where a double tap is detected, first, the first order touch position is set as the first touch position for presenting vibration, and the second order touch position is set as the second touch position where vibration is not presented. After a predetermined time, for example, 250 ms after the touch position, the second order touch position is the first touch position that presents vibration, and the first order touch position is the second touch position that does not present vibration. To do. Thereby, the user can recognize the number of accepted touch positions, that is, the number of selection items and the transition to the selection mode 1.
  • the user can more easily set each interval by setting the interval until vibration is presented to one touch position and vibration is presented to another touch to 250 ms or more. It can be recognized that vibrations are sequentially presented to the fingers.
  • the hierarchical vibration presentation condition determination unit 403 receives a “selection input” and moves to the next selection mode when a single tap input is detected and determined as “selection input”.
  • a new touch position is presented as a vibration.
  • the touch position other than the new touch position is determined as the second touch position that does not present vibration.
  • the hierarchical vibration presentation condition determination unit 403 accepts the “selection input” and shifts to the next selection mode.
  • the new touch position is presented with vibration.
  • One touch position is determined, and a touch position other than the new touch position is determined as a second touch position that does not present vibration.
  • the user selects temperature setting (first order) or air volume setting (second order) in selection mode 2 Can be recognized by touch.
  • the selection mode 3 it is possible to recognize by touch whether the volume setting (first order) is selected or the track setting (second order) is selected.
  • the hierarchical vibration presentation condition determination unit 403 accepts the “selection input” and shifts to the next selection mode.
  • the new touch position is presented with vibration.
  • One touch position is determined, and a touch position other than the new touch position is determined as a second touch position that does not present vibration.
  • the user selects whether the temperature DOWN setting (first order) is selected or the temperature UP setting (second order) is selected in the selection mode 4 depending on the spatial order of the finger at the touch position where the vibration is presented. It can be recognized by touch.
  • the selection mode 5 it is possible to recognize by touch whether the air volume DOWN setting (first order) or the air volume UP setting (second order) is selected.
  • the selection mode 6 it is possible to recognize by touch whether the volume DOWN setting (first order) is selected or the volume UP setting (second order) is selected.
  • the selection mode 7 it is possible to recognize by touch whether the previous track setting (first order) is selected or the next track setting (second order) is selected.
  • Step S405 Presentation vibration determination
  • the presentation vibration determination unit 108 determines a tactile sensation signal indicating the vibration to be presented at the first touch position based on the setting value determined in step S403, the increase / decrease value of the setting value, and the vibration presentation condition determined in step S404. .
  • the selection input is accepted using the once-stimulated signal or the tactile signal of the twice-stimulated signal as shown in FIG. 7A and FIG.
  • Present the value to the user For example, if the increase / decrease value of the set value is 1, it is determined as a single stimulus signal, and when a selection input is detected in the second hierarchy, it is determined as a tactile signal such as a double stimulus signal shown in FIG. It is shown to the user that it is a selection input in two layers. That is, by making the number of stimulation signals equal to the selected number of layers N, the user is presented with a selection input in the Nth layer.
  • the presentation vibration determination unit 108 detects a double-tap input in step S402, determines that it is an “initial selection input” for shifting to the selection mode 1 of the first layer, and in step S404, for the plurality of touch positions detected.
  • a one-time stimulus signal shown in FIG. 7A is determined as a tactile sensation signal.
  • the user can recognize the number of accepted touch positions, that is, the number of selection items and the transition to the selection mode 1. If a single tap input is detected in step S402 and it is determined as “selection input”, for example, the one-time stimulus signal shown in FIG.
  • the “selection input” is accepted and the process proceeds to the next selection mode, and the selected item is the first order touch position setting item or the second order touch position setting item. The user can be notified of the presence.
  • the presentation vibration determination unit 108 detects the single tap input in step S402 and determines “selection input” in the second hierarchy. “Input” is accepted and a transition is made to the next selection mode, and whether the selected item is a setting item for the first order touch position or a setting item for the second order touch position is displayed to the user. For notification, for example, the two-time stimulus signal shown in FIG. 7B is determined as the tactile sensation signal.
  • the presentation vibration determination unit 108 detects a single tap input in step S402 and determines “selection input”. If it is 1, it is determined as a single stimulus signal. Thereby, it is notified that the set value has increased or decreased by 1 by vibrating the panel 101 by the stimulus signal once at the touch position where the user performs a single tap input.
  • the setting value takes a discrete value of several steps, such as when the air flow level is set in selection mode 5, for example, if the air flow level is about 5 steps, the touch position input with a single tap has continued for a predetermined time.
  • the panel 101 may be vibrated by the 1st to 5th stimulation signals, and the current set value may be fed back by tactile sense.
  • the set value may be fed back by vibration at predetermined time intervals.
  • the vibration may be stopped even if the touch position is continuously detected.
  • the touch position is continuously detected in each hierarchy and the input to move to the next hierarchy is not executed for a predetermined time or more, it is determined that the user is confused about the selection, by voice or the like,
  • the name of the setting item may be presented.
  • the number of options and the touch position accepted as the touch position may be fed back to the user by repeating the vibrations presented to the touch positions once in order at predetermined time intervals.
  • the mismatch may be notified to the user by voice or the like.
  • Step S406 Multi-point simultaneous vibration presentation
  • the multipoint simultaneous vibration control unit 109 presents the vibration indicated by the tactile sensation signal determined in step S405 to the first touch position determined in step S404, and vibrates to the second touch position determined in step S404.
  • the actuator 102 is driven by the calculated drive signal so as to simultaneously control the vibration of the panel 101 for each touch position.
  • step S406 is the same operation as step S106 of the first embodiment, description thereof is omitted.
  • the haptic input / output device 100 can easily select the setting items that are hierarchized as shown in FIG. 21 and confirm the input result by tactile sensation.
  • the user shifts to the selection mode 1 by double tap input with two fingers.
  • vibration is presented to each finger stationary on the panel 101 once to confirm that the number of touches received matches the number of selection items. I can confirm.
  • the selection mode 1 in order to select the air conditioning setting or the audio setting, a single tap input is performed on one of the two touched fingers.
  • the air conditioning setting is selected when the spatial order of the new touch positions is the first order, and the audio setting is selected when the spatial order is the second order.
  • the user can easily confirm which setting item has been selected by presenting vibration at a new touch position and not presenting vibration at other touch positions.
  • the mode shifts to the selection mode 2 which is the second hierarchy.
  • the selection mode 2 in order to select the temperature setting or the air volume setting, one of the two touched fingers is input with a single tap.
  • the spatial order of the new touch position is the first order
  • the temperature setting is selected
  • the spatial order is the second order
  • the air volume setting is selected.
  • the vibration is presented to the new touch position and the other touches are selected. By not presenting vibration at the position, the user can confirm which setting item has been selected.
  • the mode 2 when the temperature setting is selected, the mode shifts to the selection mode 4 which is the third hierarchy.
  • the mode shifts to the selection mode 5 that is the third hierarchy.
  • the selection mode 4 in order to select the temperature DOWN setting or the temperature UP setting, one tap input of two touched fingers is performed.
  • the spatial order of the new touch position is the first order
  • the temperature DOWN setting is selected.
  • the spatial order is the second order
  • the temperature UP setting is selected.
  • vibration is presented at the new touch position, and the others. By not presenting vibration at the touch position, the user can confirm which setting item has been selected.
  • the selection mode 5 in order to select the air volume DOWN setting or the air volume UP setting, one tap input of two touched fingers is performed.
  • the air volume DOWN setting is selected.
  • the air volume UP setting is selected.
  • vibration is presented at the new touch position, and the others. By not presenting vibration at the touch position, the user can confirm which setting item has been selected.
  • the mode shifts to the selection mode 3 which is the second hierarchy.
  • the selection mode 3 as in the selection mode 1, in order to select the volume setting or the track setting, one tap input of two touched fingers is performed.
  • the spatial order of the new touch position is the first order
  • the volume setting is selected
  • the spatial order is the second order
  • the track setting is selected.
  • the vibration is presented to the new touch position and the other touches are selected. By not presenting vibration at the position, the user can confirm which setting item has been selected.
  • the mode shifts to the selection mode 6 which is the third hierarchy.
  • the mode shifts to the selection mode 7 which is the third hierarchy.
  • the selection mode 6 in order to select the volume DOWN setting or the volume UP setting, a single tap input is performed on one of the two touched fingers.
  • the spatial order of the new touch position is the first order
  • the volume DOWN setting is selected.
  • the spatial order is the second order
  • the volume UP setting is selected.
  • the vibration is presented at the new touch position, and the others.
  • the user can confirm which setting item has been selected.
  • the selection mode 7 in order to select the track DOWN setting or the track UP setting, a single tap input is performed on one of the two touched fingers.
  • the spatial order of the new touch position is the first order
  • the track DOWN setting is selected.
  • the spatial order is the second order
  • the track UP setting is selected. At this time, vibration is presented at the new touch position, and the others. By not presenting vibration at the touch position, the user can confirm which setting item has been selected.
  • step S402 the hierarchical information input determination unit 402 continuously detects the same number of touch positions as the number of options in the selection mode of the Nth hierarchy, and at least another new touch position is simultaneously detected. When one is detected, it is determined as “return input”, and the mode returns to the selection mode of the (N ⁇ 1) -th layer.
  • double tap input is simultaneously performed at two touch positions to shift to selection mode 1.
  • selection input by “single point double tap input”
  • feedback by vibration is stimulated twice.
  • the user is confirmed to move to the second hierarchy.
  • the mode shifts to the selection mode 2 on the second level.
  • a double tap input is detected at another third touch position in a state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by presenting the vibration only at the third touch position using the single stimulus signal.
  • selection mode 2 in order to select temperature setting or air volume setting, when a double tap is detected at another touch position while one touch point continues, “selection by one point double tap input” is performed. It is determined as “input”, and the user is confirmed to shift to the third hierarchy by feeding back vibration using a stimulus signal three times to another touch position.
  • the mode shifts to the selection mode 4 in the third layer.
  • a double-tap input is detected at another third touch position in the state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by vibrating only the third touch position using the second stimulus signal.
  • selection mode 3 in order to select the temperature DOWN setting or the temperature UP setting, when a single tap is detected at another touch position while one touch point continues, “selection by“ single tap input ”is performed. It is determined as “input”, and the user confirms the increase / decrease value of the set value by feeding back vibration using a stimulus signal once to another touch position.
  • the mode shifts to the selection mode 5 at the third level.
  • a double-tap input is detected at another third touch position in the state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by vibrating only the third touch position using the second stimulus signal.
  • selection mode 5 in order to select the air volume DOWN setting or the air volume UP setting, when a single tap is detected at another touch position while one touch point continues, “selection by“ single tap input ”is performed. It is determined as “input”, and the user confirms the increase / decrease value of the set value by feeding back vibration using a stimulus signal once to another touch position.
  • the mode shifts to the selection mode 3 in the second layer.
  • a double tap input is detected at another third touch position in a state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by presenting vibration only at the third touch position using a single stimulus signal.
  • selection mode 3 in order to select volume setting or track setting, when a double tap is detected at another touch position while one touch point continues, “selection by one point double tap input” is performed. It is determined as “input”, and the user is confirmed to shift to the third hierarchy by feeding back vibration using a stimulus signal three times to another touch position.
  • the mode shifts to the selection mode 6 in the third layer.
  • a double-tap input is detected at another third touch position in the state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by vibrating only the third touch position using the second stimulus signal.
  • selection mode 6 in order to select volume DOWN setting or volume UP setting, when a single tap is detected at another touch position in a state where one touch point is continued, “selection by“ single tap input ”is performed. It is determined as “input”, and the user confirms the increase / decrease value of the set value by feeding back vibration using a stimulus signal once to another touch position.
  • the mode shifts to the selection mode 7 in the third layer.
  • a double-tap input is detected at another third touch position in the state where the number of touch positions of the number of options is detected, it is determined as “return input”.
  • the user is notified by vibrating only the third touch position using the second stimulus signal.
  • selection mode 7 in order to select the previous track setting or the next track setting, when a single tap is detected at another touch position while one touch point continues, “selection by“ single tap input ”is performed. It is determined as “input”, and the user confirms the increase / decrease value of the set value by feeding back vibration using a stimulus signal once to another touch position.
  • the selection mode selection is 2 and two touch positions are detected, and an example of determining “return input” when another third touch position is detected has been described.
  • the present invention is not limited to this.
  • the spatial order of the touch positions is determined at the same time. For example, if the (number of choices + 1) th touch position is the rightmost (the coordinate value of the x axis is maximum), The mode may be shifted to the selection mode, and if the (the number of choices + 1) -th touch position is on the leftmost side (the coordinate value of the x-axis is minimum), it may be returned to the previous level.
  • the haptic input / output device 100 has the hierarchical information input determination unit 402 to perform “selection input” by single tap input, “initial selection input” by double tap input, By determining “return input” when at least one other touch position is detected in a state where the touch positions are continuously detected by the number of options in the selection mode, they are stored in a hierarchical manner.
  • the setting item is selected, and the first vibration position for presenting vibration and the second touch position for which vibration is not presented are determined for each hierarchy or for each selection mode by the hierarchical vibration presentation condition determination unit 403,
  • the multipoint simultaneous vibration control unit 109 presents vibration at the touch position where the setting item is selected, and does not present vibration at other touch positions.
  • the driving of the actuator 102 is stopped and the panel 101 is not vibrated.
  • the input state or the state of the device may be fed back by vibration after the touch position is released.
  • the detection order, the moving direction, and the spatial order are calculated based on the time-series information of the touch position.
  • the present invention is not limited to this, for example, notification from the touch panel driver to the operating system. It may be calculated using touch events such as the number of touches to be made, touch number, touch start event, touch continuation event, touch end event.
  • the example has been described in which the vibration is presented when the touch position is detected, when the touch position is moved, and when the touch position is stopped after the movement of the touch position.
  • Vibration may be presented when the pressure is greater than or equal to a predetermined threshold, when the finger contact area at the touch position is greater than or equal to the predetermined threshold, or when another multi-touch gesture is detected.
  • the device can be set without gazing at the input touch panel or touch pad.
  • the present invention can be applied to an in-vehicle system such as a car navigation system that is desired to operate without gazing at the remote controller or to operate the monitor without gazing as much as possible.
  • the user can easily confirm the setting item received by the device by touch, so touch It can be applied to the operation of various devices with input devices.
  • tactile input / output devices such as tablet terminals, game consoles, TV remote controls, digital cameras, movies, personal computers, personal digital assistants, mobile phones, electronic blackboards and digital signage displays operated by touch input such as touch panels and touchpads It can be applied to.
  • tactile input / output devices for home appliances equipped with touch panels such as washing machines and microwave ovens
  • tactile input / output devices for devices equipped with touch panels such as mobile phones and tablet terminals that control home appliances Can be applied.
  • the tactile input / output device can be applied to operations of various devices provided with a touch input device in addition to a car navigation system.
  • tactile input / output devices such as tablet terminals, game consoles, TV remote controls, digital cameras, movies, personal computers, personal digital assistants, mobile phones, electronic blackboards and digital signage displays operated by touch input such as touch panels and touchpads Is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　入力結果の確認を可能とする触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネル（１０１）と、パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部（１０３）と、パネル（１０１）で同時に検出される複数のタッチ位置の検出順序と空間順序に基づいて、設定情報記憶部（１０４）に記憶されている空間順序と対応する設定情報を決定する順序入力判定部（１０５）と、決定された設定情報と対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する振動提示位置決定部（１０７）と、第１のタッチ位置に所定の振動を提示し、かつ第２のタッチ位置に前記所定の振動を提示しないようにパネル（１０１）の振動をタッチ位置別に同時に制御する多点同時振動制御部（１０９）とを備える。

Description

触覚入出力装置
　本発明は、タッチ位置が検出可能なパネルに対してタッチ操作による入力が行われた際に、タッチ操作による入力が受け付けられたことを、パネルを振動させることによりユーザに出力するものである。特に、複数の指でタッチ操作を行った際に、複数の指おのおのに同時に異なる振動を提示することにより、入力が受け付けられたことをユーザに提示する触覚入出力装置および電子機器に関する。
　近年、スマートフォン、タブレット、車載用ナビゲーション機器、パソコン、ゲーム機、ＡＴＭ、券売機など様々な機器に、タッチパネルやタッチパッドが搭載されている。これらの機器では、ユーザがタッチパネルに触れた位置を検出し、タッチ位置に表示されているＧＵＩを操作する。一般に、タッチパネルは機械的なボタンスイッチとは異なり、ＧＵＩを操作したときにボタンスイッチを押したような感覚が得られないため、ＧＵＩを操作したときにタッチパネルを振動させることにより、入力を受け付けた結果をユーザに認識させる技術が実用化されている。
　特許文献１には、タッチパネルを振動させる振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。
特許第３８８８０９９号
　特許文献１には、振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。しかしながら、特許文献１記載の技術によれば、操作対象のボタン位置まで指を誘導する必要があるため、素早い入力操作ができないという課題があった。そこで、本発明は、パネル振動によってユーザが入力結果の確認を可能とする触覚入出力装置を提供する。
　本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第１のタッチ位置とし、前記複数のタッチ位置のうち第１のタッチ位置以外のタッチ位置を第２のタッチ位置として決定する振動提示位置決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、記録媒体またはストレージで実現されてもよく、システム、方法、集積回路、コンピュータプログラム記録媒体およびストレージの任意な組み合わせで実現されてもよい。
　開示された実施の形態が提供する更なる利益や利点は、明細書および図面から明らかになる。それらの利益や利点は、さまざまな実施の形態や明細書および図面の特徴によって個々にもたらされる場合があり、１つ以上の利益や利点を得るために、全てが必ずしも提供される必要はない。
　本発明の一態様に係る触覚入出力装置の効果の一つは、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより受け付けられた設定情報を適切にユーザに確認させることができる。
図１は、実施の形態１における触覚入出力装置の構成を示すブロック図である。 図２は、実施の形態１における触覚入出力装置の構造を示す図である。 図３は、実施の形態１における触覚入出力装置で用いる設定情報の一例を示す図である。 図４は、実施の形態１における触覚入出力装置の動作を示すフローチャートである。 図５Ａは、コンテンツを選択するタッチ入力とパネルの振動位置の一例を示す図である。 図５Ｂは、音量を上げるタッチ入力とパネルの振動位置の一例を示す図である。 図５Ｃは、音量を下げるタッチ入力とパネルの振動位置の一例を示す図である。 図６Ａは、再生または一時停止するタッチ入力とパネルの振動位置の一例を示す図である。 図６Ｂは、コンテンツを巻戻しするタッチ入力とパネルの振動位置の一例を示す図である。 図６Ｃは、コンテンツを早送りするタッチ入力とパネルの振動位置の一例を示す図である。 図７Ａは、触感信号の一例を示す図である。 図７Ｂは、触感信号の一例を示す図である。 図８は、実施の形態１における多点同時振動制御部の構成の一例を示すブロック図である。 図９は、アクチュエータからパネル上のある位置に振動が伝播する経路を示す図である。 図１０Ａは、ＴＳＰの一例を示す図である。 図１０Ｂは、ＴＳＰ応答の一例を示す図である。 図１０Ｃは、ＴＳＰの逆関数の一例を示す図である。 図１０Ｄは、ＴＳＰ応答から算出されるインパルス応答の一例を示す図である。 図１１は、実施の形態１における多点同時振動制御部の動作を示すフローチャートである。 図１２は、実施の形態１における多点同時振動制御部の処理動作を説明するための図である。 図１３は、フィルタの一例を示す図である。 図１４は、駆動信号の一例を示す図である。 図１５は、各タッチ位置におけるパネルの振動の実験結果を示す図である。 図１６は、実施の形態２における触覚入出力装置の構成を示すブロック図である。 図１７は、実施の形態２における触覚入出力装置の動作を示すフローチャートである。 図１８は、実施の形態２における触覚入出力装置で用いる設定情報の一例を示す図である。 図１９Ａは、トラック設定を下げるタッチ入力の一例を示す図である。 図１９Ｂは、トラック設定を上げるタッチ入力の一例を示す図である。 図２０は、実施の形態２における触覚入出力装置の構成を示すブロック図である。 図２１は、階層化された設定情報の一例を示す図である。 図２２は、実施の形態２における触覚入出力装置の動作を示すフローチャートである。 図２３は、階層化された設定情報の一例を示す図である。
　本発明の一態様に係るタッチパネルの制御方法は、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる。
　この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
　本発明の一態様に係るタッチパネル制御装置は、マルチタッチが入力できるように構成されたタッチパネルと、複数のアクチュエータと、プロセッサを有し、前記プロセッサは、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる制御を行なうように構成されている。
　この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
　本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第１のタッチ位置とし、前記複数のタッチ位置のうち第１のタッチ位置以外のタッチ位置を第２のタッチ位置として決定する振動提示位置決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
　この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
　本発明の別の一態様に係る触覚入出力装置は、さらに、前記順序入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する提示振動決定部とを備える。
　この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。
　本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の移動方向と対応付けて記憶する設定情報記憶部と、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記設定情報記憶部に記憶されている移動方向とを比較して、対応する設定情報を決定する移動入力判定部と、前記移動入力判定部により決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも１つに基づいて変更する設定情報変更部と、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する振動提示条件決定部と、前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成する提示振動決定部と、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
　この構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。
　本発明の別の一態様に係る触覚入出力装置では、前記振動提示条件決定部は、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、タッチ位置の移動中および／または前記移動の停止位置近傍で前記タッチ位置が継続する場合、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　この構成によれば、移動入力の停止後においても、受け付けられた設定情報や設定値を振動により確認することができる。
　本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記機器の設定情報を複数の選択モードに階層化してタッチ位置の空間順序と対応付けて記憶する設定情報階層化記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報階層化記憶部に記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記選択されたタッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行し、さらに、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ－１階層の選択モードへ移行する階層化情報入力判定部と、前記階層化情報入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記階層ごとおよび／または選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定する階層別振動提示条件決定部と、前記第１のタッチ位置に提示する振動を示す触感信号を、前記第１の入力パターン、前記第２の入力パターン、前記設定情報の設定値、または階層値Ｎの少なくとも１つに基づいて決定する提示振動決定部と、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。
　この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。
　本発明の別の一態様に係る触覚入出力装置では、前記第２の入力パターンは、各選択モードにおいて、選択肢の数と同数のタッチ位置が検出されており、かつ前記タッチ位置とは別にタッチ位置が検出される入力パターンである。
　この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。
　本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
　この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
　本発明の別の一態様に係る触覚入出力方法は、さらに、決定された前記設定情報の設定値を変更し、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する。
　この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。
　本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記タッチ位置の移動方向に対応する設定情報を決定し、決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも１つに基づいて変更し、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成し、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
　本構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。
　本発明の一態様に係るコンピュータプログラムは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法のためのコンピュータプログラムであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、触覚入出力方法をコンピュータに実行させるためのコンピュータプログラムである。
　この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
　本発明の別の一態様に係るストレージは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御するためのコンピュータプログラムが格納されたストレージであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するインストラクションと、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出するインストラクションと、前記空間順序と関連付けられた設定情報を決定するインストラクションと、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定するインストラクションと、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御するインストラクションとを含むコンピュータプログラムが格納されたストレージである。
　この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
　本発明の別の一態様に係るストレージは、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出するインストラクションと、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出するインストラクションと、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定するインストラクションと、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行するインストラクションと、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させるインストラクション、とを含むコンピュータプログラムが格納されたストレージである。
　この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。
　本明細書において、マルチタッチとは、パネルに同時に接触している状態を有する複数のタッチを意味する。換言すれば、マルチタッチとは、ある時点においてパネルに接触している複数のタッチを意味する。つまり、マルチタッチとは、パネル上の複数の位置に対する複数のタッチであって、時間的に重複する複数のタッチを意味する。したがって、マルチタッチは、同時に開始された複数のタッチだけではなく、異なる時刻に開始され、ある時点において同時に検出される複数のタッチを含む。具体的には、第１タッチが開始された後に、第１タッチが継続された状態で第２タッチが開始された場合、第２タッチの開始時点において、第１タッチと第２タッチとはマルチタッチに相当する。
　（本発明の基礎となった知見）
　発明者らは、タッチパネルを縦横に水平振動させることで指をＧＵＩ画面上に表示されたボタンまで誘導する技術では、素早い入力操作ができないという課題を発見した。また、複数の設定情報を入力する場合や、階層メニューなど複雑な操作においては、頻繁に指を誘導する必要があり、入力操作が煩雑になるという課題を発見した。
　本発明は、例えば、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から１つを選択する場合、検出した複数のタッチ位置の空間順序に基づいて、あらかじめ記憶されている設定情報の各々とタッチ位置の空間順序との対応を特定し、ユーザが選択する設定情報に対応する空間順序のタッチ位置にある指を一旦パネルから離して所定の時間内に再度パネルにタッチする入力（以下、タップ入力と呼ぶ）を検出して、タップ入力したタッチ位置に振動を提示し、かつタップ入力したタッチ位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指に振動を提示させるかを制御することにより受け付けられた設定情報を確認させることにより、パネルを注視することなく、パネル上の任意の位置にタッチして、複数の設定情報の選択とパネル振動による入力結果の確認を可能とする触覚入出力装置を提供する。あらかじめアイコンやＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）などにより入力領域を設定して、その入力領域の位置のみでユーザに入力させる代わりに、パネル上の任意の位置で、パネルを注視することなく、複数の設定情報の選択とパネル振動による入力結果の確認ができる。
　以下本発明の実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　実施の形態１は、タッチ入力するパネルを注視することなくパネルを振動させる触覚フィードバックに基づいて機器を操作することを目的とする。具体的には、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から１つを選択する場合に、タッチ位置の空間順序に対応して記憶されている設定情報を、対応する空間順序のタッチ位置でユーザが指をタップすることにより選択する際に、タップした指のタッチ位置にのみ振動を提示し、タップした指の位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザが容易に確認でき、かつタッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩ（例えば、アイコンやボタン）を選択させるのではなく、パネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできるよう考慮したものである。
　図１は、本発明の実施の形態における触覚入出力装置の構成を示すブロック図である。
　本実施形態の触覚入出力装置１００は、パネル１０１、アクチュエータ１０２、タッチ情報取得部１０３、設定情報記憶部１０４、順序入力判定部１０５、設定情報変更部１０６、振動提示位置決定部１０７、提示振動決定部１０８、多点同時振動制御部１０９を備える。各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ１９０などのプログラム実行部が、ハードディスクまたは半導体メモリなどのストレージや記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。以下、各構成要素について説明する。
＜パネル１０１＞
　パネル１０１は振動を伝達する部材であり、ユーザのタッチ操作を受け付け、振動することによりタッチ操作が受け付けられたことをユーザに通知する。パネルの材質としては、ガラス、ポリカ、アクリル、ＡＢＳなどユーザのタッチ操作に対して耐久性のあるものが好ましい。しかしながらこれらに限定されるものではなく、ユーザに振動がフィードバックできる部材であればよい。
　なお、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などは、特に限定される必要はない。ただし、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などに依存して、アクチュエータ１０２からパネル１０１上の各位置（以後、「点」とも呼ぶ）までの振動の伝達特性は変化する。
＜アクチュエータ１０２＞
　アクチュエータ１０２は、パネル１０１を振動させ、ユーザに触覚を提示する。アクチュエータ１０２として、例えば、圧電素子、振動モータ、ボイスコイル、人工筋肉などを用いることができる。
　図２は、アクチュエータ１０２のパネル１０１への配置の一例である。アクチュエータ１０２は、例えば、接着剤など（図示しない。アクチュエータ１０２が圧電素子の場合、エポキシ系の接着剤などを用いればよい。）でパネル１０１に固定する。
　本実施の形態では、アクチュエータ１０２の数を、パネル１０１をタッチ操作するタッチ位置の数以上とする例で説明する。これにより、同時に検出されるアクチュエータ１０２の数Ｍ（Ｍは２以上の整数）と同数のタッチ位置に対して、互いに異なる振動を提示することができる。本実施の形態においては、図２に示すように、アクチュエータ１０２の数は４、タッチ位置の数は２（指１および指２）とした。
　アクチュエータ１０２の配置位置は、特に限定される必要はない。例えば、複数のアクチュエータ１０２は、パネル１０１を効率良く振動させることができるように配置されればよい。また、アクチュエータ１０２の数を４としたが、これに限るものではない。
＜タッチ情報取得部１０３＞
　タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。
　説明の便宜上、図２に示すように、例えば２本の指、指１および指２でタッチ操作されている場合、指１および指２の２つのタッチ位置をそれぞれＰ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）で表す。図２では、紙面に対してパネル１０１の左上隅を原点Ｏとする２次元平面のｘｙ座標を用いてタッチ位置を表す。
　タッチ情報取得部１０３としては、例えば静電容量方式や抵抗膜方式などのマルチタッチパネルを用いることができる。例えば、タッチ情報取得部１０３が静電容量方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる静電容量の変化に基づいて複数のタッチ位置を取得する。また例えば、タッチ情報取得部１０３が感圧方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる圧力の変化に基づいて、複数のタッチ位置を取得する。
　なお、マルチタッチの検出は、静電容量方式あるいは感圧方式のマルチタッチパネルに限定される必要はない。どのような方式のマルチタッチ検出方式であっても構わない。例えば、指の位置をＣＣＤやＣＭＯＳカメラで撮影して画像処理により取得してもよい。あるいはパネル１０１を透明のアクリル部材としてパネル１０１の側壁から赤外光を入射すると全反射の性質によりパネル１０１内に赤外光が閉じ込められるが、タッチ操作によるパネル１０１のひずみにより漏れた赤外光を、赤外フィルタを備えたカメラにより検出するＦＴＩＲ（Ｆｒｕｓｔｒａｔｅｄ　Ｔｏｔａｌ　Ｉｎｔｅｒｎａｌ　Ｒｅｆｌｅｃｔｉｏｎ）方式などを用いてもよい。
＜設定情報記憶部１０４＞
　設定情報記憶部１０４は機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などを、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶するものでハードディスクや半導体メモリなどのメモリからなる。
＜順序入力判定部１０５＞
　順序入力判定部１０５はパネル１０１で同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報記憶部１０４に記憶されている空間順序とを比較して、対応する設定項目を決定する。
＜設定情報変更部１０６＞
　設定情報変更部１０６は順序入力判定部１０５で決定された設定項目の設定値を変更する。
＜振動提示位置決定部１０７＞
　振動提示位置決定部１０７は、前記決定された設定項目と対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。すなわち、順序入力判定部１０５により決定された機器の設定項目に対応する順序のタッチ位置を振動させる第１のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第２のタッチ位置として決定する。これによりユーザは、ユーザが決定した設定項目が機器に受け付けられたことを、パネル１０１にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。
＜提示振動決定部１０８＞
　提示振動決定部１０８は、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値に基づいて決定する。
＜多点同時振動制御部１０９＞
　多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、かつ前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。
＜動作＞
　上記のように構成された本実施の形態１の触覚入出力装置１００の動作を図３～図１５に基づいて説明する。
　図４は本発明の実施の形態における触覚入出力装置１００の動作を示すフローチャートであり、これに基づいて本実施の形態１における触覚入出力装置１００の動作を詳細に説明する。
　本実施の形態１では、例えば、図５Ａに示すように、モニタ１１０に表示される映像コンテンツ１１１を再生制御する電子機器１０に触覚入出力装置１００を搭載した例で説明する。ここでは、モニタ１１０と触覚入出力装置１００は物理的に離れたコントローラに搭載されている例で説明する。コントローラとしては、例えば、タッチパネルやタッチパッドを搭載したリモートコントローラや、ネットワーク接続されたタブレットやスマートフォンの形態をとることができる。この例により、モニタ１１０に表示されている映像コンテンツ１１１を注視した状態で、ユーザの手元のパネル１０１を注視することなく、例えば音量設定や再生設定の操作を可能とする本実施の形態の動作について説明する。
（ステップＳ１０１：タッチ情報取得）
　タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。
　図５Ａの例では、指１のパネル１０１上のｘ軸上のタッチ位置ｘ１を時刻ｔ１で取得する。タッチ位置ｘ１は例えば１０ｍｓなどのサンプリング間隔で時系列情報として取得する。図５Ｂの例では、指１のパネル１０１上のｘ軸上のタッチ位置ｘ１を時刻ｔ１で取得した後、パネル１０１上で指１のタッチ位置ｘ１が検出されている状態で、時刻ｔ２でタッチ位置ｘ１とは異なる指２による別のｘ軸上のタッチ位置ｘ２を検出する。図５Ｃの例では、パネル１０１上で時刻ｔ１で検出された指２のｘ軸上のタッチ位置ｘ１が検出されている状態で、時刻ｔ２においてｘ軸上のタッチ位置ｘ１とは異なる指１による別のｘ軸上のタッチ位置ｘ２を検出する。
（ステップＳ１０２：順序入力判定）
　順序入力判定部１０５はパネル１０１で継続して検出されるタッチ位置およびパネル１０１で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。
　設定情報記憶部１０４には、機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などが、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶されている。
　図３に設定情報の一例を示す。図３に示すように、機器の設定項目は、例えば、機器が映像や音楽などのコンテンツを再生する機器の場合にはコンテンツ選択、音量設定、早送り／巻戻しなどの再生設定があり、それぞれ設定値としては音量レベルや巻戻し速度・早送り速度などを表す数値を記憶する。ユーザがタッチ入力により選択する入力項目として、コンテンツ選択については、指１本でタッチ入力した第１順序のタッチ位置を入力項目である「タッチ位置座標」と対応づけて記憶する。音量設定については、第１順序のタッチ位置による入力項目である「音量ＤＯＷＮ」、第２順序のタッチ位置による入力項目である「音量ＵＰ」として、同時に検出される２つのタッチ位置の空間順序と対応付けて記憶する。また、再生設定については、第１順序のタッチ位置による入力項目を「巻戻し」、第２順序のタッチ位置による入力項目を「再生／一時停止」、第３順序のタッチ位置による入力項目を「早送り」として、同時に検出される３つのタッチ位置の空間順序と対応づけて記憶する。
　なお、一度に選択できる入力項目の数は、単純にはタッチ情報取得部１０３で検出可能なタッチ数であるが、同時に利用するタッチ位置を組み合わせることにより、タッチ数より多くの設定項目を設定することもできる。
　順序入力判定部１０５は、タッチ位置の検出順序と空間順序に基づいて図３に示す［１］～［６］の入力判定を行う。ここでは、検出順序が最新であるタッチ位置の空間順序に対応付けられた入力項目を選択する例で説明する。
＜コンテンツ選択の入力判定＞
　入力判定［１］について、図３、図５Ａ用いてコンテンツ選択の入力判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が１のとき、図３に示すように設定情報記憶部１０４に記憶されているコンテンツ選択の入力と判定し、図５Ａに示すように、指１での入力である第１順序のタッチ位置ｘ１と対応づけて図３に示すように記憶されている入力項目であるタッチ位置座標を選択する。
＜音量設定の入力判定＞
　入力判定［２］および入力判定［３］について、図３、図５Ｂおよび図５Ｃを用いて音量設定の入力判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が２のとき、図３に示すように設定情報記憶部１０４に記憶されている音量設定を選択する。次に、２つのタッチ位置の検出順序と空間順序を判定して音量設定を変更する例を説明する。ここでは、第１順序のタッチ位置による入力項目を「音量ＤＯＷＮ」、第２順序のタッチ位置による入力項目を「音量ＵＰ」として記憶する例で説明する。図５Ｂおよび図５Ｃを用いて、パネル１０１上でタッチ位置の検出順序および空間順序の判定を、本実施の形態では水平方向（パネルの長軸方向）であるｘ座標上で実行する例で説明するが、これに限定されずどの方向の座標上で判定できる。例えば、垂直方向であるｙ座標上で実行してもよい。
　入力判定［３］について説明する。図５Ｂでは、指１によるタッチ位置ｘ１が継続して検出されている状態から、指２によりパネル１０１上で別のタッチ位置ｘ２が検出された状態を示しており、検出順序はｘ１、ｘ２であり、最新のタッチ位置はｘ２と判定する。このとき、最新のタッチ位置ｘ２はｘ１＜ｘ２を満たしており、ｘ座標上で座標値の小さいものからタッチ位置を順序付けると、ｘ１は第１順序のタッチ位置、ｘ２は第２順序のタッチ位置と順序付けられ、指２による最新のタッチ位置ｘ２による入力は第２順序のタッチ位置による入力であると判定し、「音量ＵＰ」の入力項目を選択したと決定する。
　入力判定［２］について説明する。図５Ｃの場合、指２によるタッチ位置ｘ１が継続して検出されている状態から、指１によりパネル１０１上で別のタッチ位置ｘ２が検出された状態を示しており、検出順序はｘ１、ｘ２であり、最新のタッチ位置はｘ２と判定する。指１による最新タッチ位置ｘ２はｘ２＜ｘ１を満たしており、ｘ座標上で座標値の小さいものからタッチ位置を順序付けると、別のタッチ位置ｘ２は第１順序のタッチ位置、ｘ１は第２順序のタッチ位置と順序付けられ、指１による最新タッチ位置ｘ２による入力は第１順序のタッチ位置による入力であると判定し、「音量ＤＯＷＮ」の入力項目を選択したと決定する。
＜再生設定の入力判定＞
　入力判定［４］～入力判定［６］について、図３、図６Ａ，図６Ｂおよび図６Ｃを用いて、再生設定の判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が３のとき、図３に示すように設定情報記憶部１０４に記憶されている再生設定を選択する。次に、３つのタッチ位置の検出順序と空間順序を判定して再生設定を変更する例を説明する。ここでは、第１順序のタッチ位置による入力項目を「巻戻し」、第２順序のタッチ位置による入力項目を「再生／一時停止」の切り替え、第３順序のタッチ位置による入力項目を「早送り」として記憶する例で説明する。図６Ａ、図６Ｂおよび図６Ｃを用いて、パネル１０１上でタッチ位置の検出順序および空間順序の判定をｘ座標上で実行する例で説明する。
　入力判定［５］について説明する。図６Ａはユーザが「再生／一時停止」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ１、ｘ２、ｘ３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を再生するために、指２を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチする入力を行う。この入力を以下「タップ入力」と呼ぶ。このとき、指１および指３によるタッチ位置ｘ１およびｘ３が継続して検出されている状態から、指２による別のタッチ位置ｘ２が検出されることになり、検出順序はｘ２のタッチ位置が最新となる。また、タッチ位置ｘ１、ｘ２、ｘ３の順序関係は、ｘ１＜ｘ２＜ｘ３であり、ユーザによる指２によるタップ入力は最新の検出順序のタッチ位置ｘ２で、第２順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「再生／一時停止」の入力項目が選択されたと判定する。
　入力判定［４］について説明する。図６Ｂはユーザが「巻戻し」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ１、ｘ２、ｘ３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を巻戻しするために、指１を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチするタップ入力を行う。このとき、指２および指３によるタッチ位置ｘ２およびｘ３が継続して検出されている状態から、指１による別のタッチ位置ｘ１が検出されることになり、検出順序はｘ１のタッチ位置が最新となる。また、タッチ位置ｘ１、ｘ２、ｘ３の順序関係は、ｘ１＜ｘ２＜ｘ３となり、ユーザによる指１によるタップ入力は最新の検出順序のタッチ位置ｘ１で、第１順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「巻戻し」の入力項目が選択されたと判定する。
　入力判定［６］について説明する。図６Ｃはユーザが「早送り」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ１、ｘ２、ｘ３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を早送りするために、指３を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチするタップ入力を行う。このとき、指１および指２によるタッチ位置ｘ１およびｘ２が継続して検出されている状態から、指３による別のタッチ位置ｘ３が検出されることになり検出順序はｘ３のタッチ位置が最新となる。また、タッチ位置ｘ１、ｘ２、ｘ３の順序関係は、ｘ１＜ｘ２＜ｘ３となり、ユーザによる指３によるタップ入力は最新の検出順序のタッチ位置ｘ３で、第３順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「早送り」の入力項目が選択されたと判定する。
（ステップＳ１０３：設定情報変更）
　設定情報変更部１０６は順序入力判定部１０５で決定された設定項目の設定値を前記最新のタッチ位置のタッチ時に変更する。
＜コンテンツ選択の設定値変更＞
　図３、図５Ａ用いてコンテンツ選択の設定値変更について説明する。ステップＳ１０２で選択された入力項目であるタッチ位置座標に基づいて、図３の入力判定［１］の設定値である選択枠表示座標を変更する（図５Ａの選択枠表示１１２の位置座標）。ここでは、図５Ａに示すタッチ位置座標ｘ１に基づいて、モニタ１１０に表示されているコンテンツＡ，Ｂ，またはＣの選択状況を選択枠表示１１２により表示し、例えばタッチ位置ｘ１をパネル１０１から指１を離した際にコンテンツ選択を確定する。
＜音量設定の設定値変更＞
　図３、図５Ｂおよび図５Ｃを用いて、タッチ情報取得部１０３により取得されたタッチ数が２のときの音量設定の設定値を変更する例について説明する。まず、図５Ｂに示すように、ステップ１０２Ｓで順序入力判定部１０５により判定される指２による最新のタッチ位置ｘ２は第２順序のタッチ位置であり、対応する入力項目である「音量ＵＰ」が選択されたとき、図３に示す設定値の増減値を用いて設定値を変更する。具体的には、第２順序のタッチ位置でのタップ入力が検出されたとき、設定値の増減値により設定値を増減させる。「音量ＵＰ」の設定値の増減値ΔＶは＋１であり、音量レベルをＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。図３の例では、音量設定の設定値は音量レベルが［０，４９］であり、現状の設定値がレベル１５であるから、このとき音量レベルの設定値は１５＋１＝１６となる。次に、図５Ｃに示すように、ステップ１０２Ｓで順序入力判定部１０５により判定される指２による最新のタッチ位置ｘ２は第１順序であり、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは－１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。
＜再生設定の設定値変更＞
　図３、図６Ａ、図６Ｂおよび図６Ｃを用いて、タッチ情報取得部１０３により取得されたタッチ数が３のときの再生設定の設定値を変更する例について説明する。ステップ１０２Ｓにより、順序入力判定部１０５により、図６Ａのように指２による第２順序のタッチ位置ｘ２による入力項目である「再生／一時停止」が選択されたとき、図３に示す入力項目の設定値を設定する。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。具体的には、再生の時には１、一時停止の時には２を設定値に設定する。再生と一時停止は交互に設定する。すなわち、現在の設定値が１（再生）であれば２（一時停止）に、設定値が２（一時停止）であれば１（再生）に設定値を設定する。図３の再生設定の入力項目が第２順序のときの設定値は０になっているが、これは早送りまたは巻戻しのときに設定する。次に図６Ｂのように指１による第１順序のタッチ位置ｘ１による入力項目である「巻戻し」が選択されたとき、設定値の増減値により設定値を増減させる。「巻戻し」の設定値の増減値は＋１であり、巻戻し速度のレベルを１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。巻戻し速度のレベルは１～４の４段階であり、この間の値を設定する。図３に示すように現在の巻戻し速度の設定値は０であるが、これは現在の機器の動作が早送りなので０に設定されており、今回のタッチ位置ｘ１による入力により設定値は１に設定される。図６Ｂの巻戻しと同様に、図６Ｃにおける指３によるタッチ位置ｘ３が第３順序のタッチ位置であるとき、入力項目としては「早送り」が選択され、設定値の増減値は＋１であり、早送り速度の設定値を１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。
（ステップＳ１０４：振動提示位置選択）
　振動提示位置決定部１０７は前記最新の検出順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記最新の検出順序のタッチ位置が検出される以前より検出されているタッチ位置を振動を提示しない第２のタッチ位置として決定する。すなわち、順序入力判定部１０５により決定された機器の入力項目に対応する空間順序のタッチ位置を振動させる第１のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第２のタッチ位置として決定する。これによりユーザは、ユーザが選択した入力項目が機器に受け付けられたことを、パネル１０１にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。
　なお、コンテンツの「巻戻し」や「早送り」の入力において、最新のタッチ位置がタップ入力された後、その位置で継続してタッチ位置が検出される場合、所定の時間間隔で、設定値に対応する回数の刺激信号を提示してもよい。また、コンテンツにシーンチェンジ、人物情報などのインデックスが提供されている場合、シーンチェンジや人物情報が出現するタイミングで振動を提示してもよい。また、「巻戻し」または「早送り」の方向を提示するため、複数のタッチ位置が継続して検出されているとき、「巻戻し」の場合、第２順序、第１順序のタッチ位置の順序で振動を提示し、「早送り」の場合、第１順序、第２順序のタッチ位置の順序で、所定の時間間隔で振動を提示してもよい。
（ステップＳ１０５：提示振動決定）
　提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値および／または設定値の増減値に基づいて決定する。
　例えば、タッチ情報取得部１０３により取得されたタッチ位置の数で２あり、順序入力判定部１０５により図３に示した判定基準により「音量ＤＯＷＮ」または「音量ＵＰ」の設定項目が選択され、その設定値の増減値が＋１または－１であるため、ユーザが前記最新のタッチ位置に指でタップ入力した際に、前記設定値が１だけ増減したことをユーザに伝えるために、例えば図７Ａに示す触感信号を生成する。図７Ａは、周波数ｆｃの正弦波のｒ周期分の信号に基づいて前記触感信号をｓ（ｎ）生成しており、式（１）に示すように、ｒ周期がちょうど半周期になるような変調周波数ｆｍを用いて正弦波を変調したものである。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｔｓは、サンプリング周期を表す。図７Ａの例では、ｆｃ＝２００Ｈｚ、ｒ＝１０であるので、変調周波数ｆｍは１０Ｈｚである。このように生成された触感信号は、物理的なスイッチを１回クリックしたような触感を提示するための信号（以下、１回刺激信号と呼ぶ。）として用いることができ、これにより、ユーザは前記設定値が１だけ増減したことを触覚により確認できる。
　同様に、図７Ｂはｒ周期がちょうど１周期になるような変調周波数ｆｍを用いて正弦波を変調したものであり、物理的なスイッチを２回連続してクリックしたような触感を提示するための信号（以下、２回刺激信号と呼ぶ。）として用いることができる。例えば図３に示すように、早送り速度の設定値が２であるとき、図７Ｂに示すような物理的なスイッチを２回クリックしたような触感を提示することにより、ユーザがタッチ入力により設定した早送り速度の設定値が２であることを触覚により確認することができる。
　なお、触感信号は、必ずしも上記のように生成された信号である必要はない。例えば、式（１）に示すような変調が行われる必要はない。つまり、触感信号として、正弦波が用いられてもよい。
　なお、周波数ｆｃは、人間が触覚により感知できる周波数であればどのような周波数であってもよい。例えば、周波数ｆｃは、パネル１０１の振動特性に基づいて決定されればよい。
　例えば、周波数ｆｃは、パネル１０１の共振周波数と一致するように決定されてもよい。周波数ｆｃがこのように決定されることにより、アクチュエータ１０２によってパネル１０１に与えられた振動の減衰を少なくすることができ、効率良く触感を呈示することができる。
（ステップＳ１０６：多点同時振動制御）
　多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、前記第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル１０１の振動をタッチ位置別に同時に制御する。
　多点同時振動制御部１０９の具体的な構成と動作の一例については後述する。
　上記の構成と動作により、本実施の形態１にかかる触覚入出力装置１００は、ユーザが複数のタッチ位置を同時に検出できるパネル１０１を操作して、複数の設定情報から１つを選択する場合に、タッチ情報取得部１０３により検出される複数のタッチ位置の検出順序と空間順序に基づいて、順序入力判定部１０５により、ユーザがタップ入力した最新の検出順序に対応するタッチ位置の空間順序により、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている設定情報を選択し、振動提示位置決定部１０８により、選択された設定情報に対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、第１のタッチ位置以外のタッチ位置に振動を提示しない第２のタッチ位置として決定し、多点振動制御部１０９により、アクチュエータ１０２を駆動して、タップした指のタッチ位置である第１のタッチ位置に提示振動決定部１０８により設定情報の設定値と関連した振動を提示し、タップした指の位置以外のタッチ位置に前記振動を提示しない。
　これにより、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
＜多点同時振動制御部１０９の構成と動作の一例の説明＞
　ここで、ステップＳ１０６の動作にかかる、第１の実施の形態の構成要素である多点同時振動制御部１０９の構成と動作の一例を説明する。図８は多点同時振動制御部のより詳細な構成を表すブロック図を示す。本実施の形態の多点同時振動制御部１０９は、伝達特性記憶部２０１、伝達特性取得部２０２、フィルタ算出部２０３、触感信号記憶部２０４、フィルタ処理部２０５を備える。以下、各構成要素と動作について説明する。
＜伝達特性記憶部２０１＞
　伝達特性記憶部２０１は、例えば、ハードディスクあるいは半導体メモリである。伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までの伝達特性を記憶している。つまり、伝達特性記憶部２０１は、パネル１０１上の複数の位置および複数のアクチュエータ１０２について、位置とアクチュエータ１０２との組合せに対応付けて伝達特性を記憶している。
　伝達特性は、システムにおける入力と出力との関係を示す。ここでは、アクチュエータの駆動信号が入力に相当し、パネル上の１点における振動が出力に相当する。一般的に、伝達特性Ｇ（ω）は、系への入力Ｘ（ω）に対する系からの出力Ｙ（ω）の比で表わされる（Ｇ（ω）＝Ｙ（ω）／Ｘ（ω））。例えば、入力Ｘ（ω）がインパルスである場合（Ｘ（ω）＝１）、伝達特性Ｇ（ω）は、出力Ｙ（ω）（インパルス応答）と一致する。
　そこで、本実施の形態では、伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までのインパルス応答を伝達特性として記憶している。なお、インパルス応答は、時間領域で表されてもよいし、周波数領域で表わされてもよい。つまり、伝達特性記憶部２０１には、インパルス応答の時間波形が記憶されてもよいし、インパルス応答のスペクトルが記憶されてもよい。
　ここで、パネル１０１上の各点は、例えば、パネル１０１上の各分割領域の代表点（例えば、中心あるいは重心など）であればよい。分割領域は、例えば、パネル１０１上の領域を１０ｍｍ単位で格子状に分割して得られる。なお、分割領域の形状は、必ずしも矩形状である必要はなく、その他の形状であっても構わない。また、分割領域の大きさはすべての分割領域で同一である必要はない。例えば、パネル１０１上の位置によって分割領域の大きさが異なってもよい。
　ここで、各分割領域が小さいほど（つまり、分割領域の数が多いほど）、触感呈示の分解能を向上させことができるが、伝達特性を記憶するための記憶容量は増大する。つまり、分解能と記憶容量とはトレードオフの関係にあるため、必要な分解能あるいは許容される記憶容量などに基づいて、各分割領域の大きさが決定されればよい。
　以下に、伝達特性記憶部２０１に記憶される伝達特性について、さらに詳細に説明する。
　ここでは、伝達特性記憶部２０１は、Ｍ（Ｍは２以上の整数）個のアクチュエータ１０２（Ａ１、Ａ２、・・・、ＡＭ）の各々から、パネル１０１上のＮ（Ｎは２以上の整数）個の位置（Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、・・・、ＰＮ（ｘＮ，ｙＮ））の各々までのＭ×Ｎ個の伝達特性を記憶しているとして説明する。
　図９は、アクチュエータ１０２からパネル１０１上のある位置に振動が伝播する経路を示す。
　図９に示すように、位置Ｐｉにおける振動は、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）に直接到達する振動、およびパネル１０１の端で反射して位置Ｐｉ（ｘｉ，ｙｉ）に到達する振動などが合成された振動である。したがって、伝達特性には、アクチュエータＡｊからパネル上のある位置Ｐｉまでのあらゆる経路の伝播の特性が含まれる。
　なお、伝達特性は、時間領域で表現されてもよいし、周波数領域で表現されてもよい。時間領域で表現された伝達特性と周波数領域で表現された伝達特性とは、情報としては等価であり、互いに変換することができる。
　アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までの伝達特性は、例えば、アクチュエータＡｊにインパルスを入力したときの位置Ｐｉ（ｘｉ，ｙｉ）における振動（インパルス応答）を計測することで取得することができる。インパルス応答は、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までの系の特性を完全に表現することができる。そこで、本実施の形態では、伝達特性としてインパルス応答を用いる。
　なお、通常、インパルスが直接印加された場合、インパルスの継続時間が非常に短いために、インパルス応答のＳＮ比が低くなるという傾向がある。そこで、インパルスの代わりにＴＳＰ（Ｔｉｍｅ　Ｓｔｒｅｔｃｈｅｄ　Ｐｕｌｓｅ）を用いてインパルス応答が測定されてもよい。これにより、ＳＮ比が高いインパルス応答を伝達特性として得ることができる。以下に、ＴＳＰを用いてインパルス応答を測定する方法について説明する。
　ＴＳＰは、式（２）に示すように、インパルスの位相を周波数の２乗に比例して変化させることにより、インパルスよりも時間軸が引き伸ばされた信号である。図１０Ａは、ＴＳＰの一例を示す。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、Ｈ（ｎ）は、周波数領域におけるＴＳＰを表す。ｊは、虚数単位（－１の平方根）を表す。ｋは、定数であり伸縮の度合いを表す。ｎは、離散化された周波数単位を表す。Ｈ＊は、Ｈの複素共役を表す。
　式（２）に示すＴＳＰを逆フーリエ変換して得られる信号を用いて、アクチュエータＡｊが駆動され、パネル１０１上の位置Ｐｉ（ｘｉ，ｙｉ）での振動（以降、「ＴＳＰ応答」と呼ぶ）が計測される。計測方法は限定される必要はないが、例えばドップラー変位計などを用いて振動（ＴＳＰ応答）が計測される。図１０Ｂは、ＴＳＰ応答の一例を示す。
　計測されたＴＳＰ応答を用いて、インパルス応答が算出される。具体的には、式（２）に示すＴＳＰの逆関数を用いて畳み込み演算を行なうことにより、インパルス応答が算出される。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、Ｈ－１（ｎ）は、ＴＳＰの逆関数を表す。図１０Ｃは、ＴＳＰの逆関数の一例を示す。また、図１０Ｄは、図１０ＢのＴＳＰ応答から算出されるインパルス応答の一例を示す。
　以上のように、ＴＳＰを用いて、アクチュエータＡｊから位置Ｐｉ（ｘｉ，ｙｉ）までのインパルス応答が計測される。このような計測を、Ｍ個のアクチュエータ１０２（Ａ１、Ａ２、・・・、ＡＭ）とＮ個の位置（Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、・・・、ＰＮ（ｘＮ，ｙＮ））との全ての組合せについて行うことにより、Ｍ×Ｎ個の伝達特性が得られる。このようにして得られたＭ×Ｎ個の伝達特性が伝達特性記憶部２０１に記憶される。
　なお、伝達特性の計測方法は上述の方法に限るものではない。例えば、伝達特性は、Ｍ系列信号を用いて計測されてもよい。また例えば、伝達特性は、ガウス乱数を用いて計測されてもよい。
＜伝達特性取得部２０２＞
　伝達特性取得部２０２は、伝達特性記憶部２０１に記憶されている複数の伝達特性の中から、タッチ情報取得部１０３により取得された各タッチ位置に対応する伝達特性を取得する。つまり、伝達特性取得部２０２は、各アクチュエータ１０２から各タッチ位置までの伝達特性を伝達特性記憶部２０１から読み出す。
＜フィルタ算出部２０３＞
　フィルタ算出部２０３は、フィルタ取得部の一例である。フィルタ算出部２０３は、任意の触感信号に対するフィルタ処理によって所望の駆動信号を生成するためのフィルタを取得する。ここで、所望の駆動信号とは、振動を提示する第１のタッチ位置でパネル１０１が任意の触感信号に従って振動し、かつ振動を提示しない第２のタッチ位置でパネル１０１が振動しないように各アクチュエータ１０２を駆動するための信号である。
　つまり、フィルタ算出部２０３は、伝達特性取得部２０２により取得された伝達特性を用いて、タッチ情報取得部１０３が取得した複数のタッチ位置のうち、第１のタッチ位置にのみ触感を呈示し、第２のタッチ位置（振動を提示しないタッチ位置）に触感を呈示しないためのフィルタを算出する。より具体的なフィルタの算出方法については後述する。
＜触感信号記憶部２０４＞
　触感信号記憶部２０４は、例えば、ハードディスクあるいは半導体メモリである。触感信号記憶部２０４は、提示振動決定部１０８により生成された触感信号を記憶しており、図７Ａおよび図７Ｂの各々は、触感信号の一例である。
　触感信号は、ユーザに触感を呈示できればどのような信号であってもよいが、例えば、パネル１０１の振動特性に基づいて決定されてもよい。具体的には、触感信号は、例えば、パネル１０１の共振周波数あるいはその近傍の周波数の信号であってもよい。これにより、エネルギー効率を向上させることが可能となる。
　本実施の形態では、触感信号は、提示振動決定部１０８により、設定情報の設定値に基づいてオンラインで生成しているが、生成した信号を触感信号記憶部２０４に記憶し、アクチュエータ１０２の駆動信号をフィルタ処理部２０５により生成する。なお、提示振動決定部１０８は、逆に、触感信号記憶部２０４にあらかじめ図７Ａおよび図７Ｂに示すような設定情報の設定値に応じた触感信号を記憶しておき、それらを設定値に基づいて選択する構成としてもよい。
＜フィルタ処理部２０５＞
　フィルタ処理部２０５は、フィルタ算出部２０３により算出された各アクチュエータ１０２のためのフィルタを用いて、触感信号記憶部２０４に記憶されている触感信号をフィルタ処理（フィルタリング）することにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。
　各アクチュエータ１０２は、このようにフィルタ処理部２０５により生成された駆動信号に従って、パネル１０１を振動させる。その結果、複数のタッチ位置のうち第１のタッチ位置においてのみ触感信号に基づく振動が発生し、振動を提示しない第２のタッチ位置において振動が抑制される。これにより、多点同時振動制御部１０９により、振動提示位置においてユーザに触感を呈示し、振動を提示しない第２のタッチ位置において触感を呈示しないことが可能となる。
＜動作＞
　次に、以上のように構成された多点同時振動制御部１０９の各構成要素の動作に関して具体的に説明する。図１１は、実施の形態１における触覚入出力装置１００の処理動作を示すフローチャートである。図１２は、実施の形態１における触覚入出力装置１００の処理動作を説明するための図である。
（ステップＳ２０１：伝達特性を取得）
　次に、伝達特性取得部２０２は、振動提示位置決定部１０７により決定された第１のタッチ位置および第２のタッチ位置に対応する伝達特性を伝達特性記憶部２０１から取得する。伝達特性取得部２０２は、例えば図１２に一例を示すように、アクチュエータＡ１、Ａ２、Ａ３、Ａ４の各々からタッチ位置Ｐ１までの伝達特性ｇ１１、ｇ１２、ｇ１３、ｇ１４と、アクチュエータＡ１、Ａ２、Ａ３、Ａ４の各々からタッチ位置Ｐ２までの伝達特性ｇ２１、ｇ２２、ｇ２３、ｇ２４とを伝達特性記憶部２０１から読み出す。ここでは、例えば第１のタッチ位置（提示位置）をＰ１、第２のタッチ位置（非提示位置）をＰ２とする。
（ステップＳ２０２：フィルタを算出）
　続いて、フィルタ算出部２０３は、提示位置において触感を提示し、かつ、非呈示位置において触感を提示しないためのフィルタを算出する。具体的には、フィルタ算出部２０３は、各アクチュエータ１０２から提示位置までの伝達特性と、各アクチュエータ１０２から非呈示位置までの伝達特性とを用いてフィルタを算出する。例えば、フィルタ算出部２０３は、タッチ位置Ｐ１において触感を提示し、タッチ位置Ｐ２において触感を提示しないためのフィルタを、伝達特性ｇ１１、ｇ１２、ｇ１３、ｇ１４、ｇ２１、ｇ２２、ｇ２３、ｇ２４を用いて算出する。
　以下に、より具体的なフィルタの算出方法の一例を示す。
　ここでは、アクチュエータＡｊからタッチ位置Ｐｉまでの伝達特性（インパルス応答）ｇｉｊを、式（４）のように表す。また、アクチュエータＡｊのための駆動信号を生成するためのフィルタｈｊを、式（５）のように表す。また、すべてのアクチュエータＡ１～ＡＭへの入力に対するタッチ位置Ｐｉにおける応答（出力）ｄｉを、式（６）のように表す。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　式（４）において、Ｌｇは、インパルス応答の長さを示す。式（５）において、Ｌは、フィルタの長さ（フィルタ長）を示す。このフィルタ長が長いほど、より細かな制御が可能となる。
　ここで、アクチュエータＡ１～ＡＭへの入力およびフィルタｈ１～ｈＭと、１つのタッチ位置Ｐｉにおける応答ｄｉとの関係を考える。１つのアクチュエータＡｊへの入力に対する１つのタッチ位置Ｐｉにおける応答は、フィルタｈｊと伝達特性ｇｉｊとの畳み込み演算によって算出される。そして、１つのアクチュエータＡｊへの入力に対する１つのタッチ位置Ｐｉにおける応答を全てのアクチュエータＡ１～ＡＭについて重ね合わせることにより、すべてのアクチュエータＡ１～ＡＭへの入力に対する１つのタッチ位置Ｐｉにおける応答ｄｉを算出することができる。つまり、応答ｄｉは、フィルタｈｊと伝達特性ｇｉｊとを用いて式（７）のように表すことができる。
Figure JPOXMLDOC01-appb-M000007
　式（７）に示すように、アクチュエータＡ１～ＡＭへの入力に対するタッチ位置Ｐ１～ＰＮにおける応答ｄ１～ｄＮは、各アクチュエータＡｊから各タッチ位置Ｐｉまでの伝達特性ｇｉｊと、算出すべきフィルタｈｊとの畳み込み演算結果の和で表される。
　ここで、複数のタッチ位置Ｐ１～ＰＮのうち、タッチ位置Ｐｋ（０＜ｋ≦Ｎ）における応答ｄｋのみがインパルス（ｄｋ（０）＝１、ｄｋ（１）＝０、ｄｋ（２）＝０、・・・、ｄｋ（Ｍ）＝０）となり、他のタッチ位置Ｐｌ（０＜ｌ≦Ｎ、ｌ≠ｋ）における応答が零（ｄｌ（０）＝０、ｄｌ（１）＝０、ｄｌ（２）＝０、・・・、ｄｌ（Ｍ）＝０）となるようなフィルタｈｊを算出できれば、所望のフィルタを得ることができる。つまり、このように算出されるフィルタｈｊを用いて任意の触感信号に対してフィルタ処理を行うことにより、タッチ位置Ｐｋでのみ当該任意の触感信号に従って触感を呈示し、他のタッチ位置Ｐｌ（ｌ≠ｋ）では触感を呈示しないための駆動信号を生成することができる。
　そこで、フィルタ算出部２０３は、各アクチュエータ１０２から呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和がインパルスを示し、かつ、各アクチュエータ１０２から非呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和が零を示すように、フィルタを算出する。
　上述のようなフィルタの算出方法は特に限定するものではないが、Ｇの一般逆行列Ｇ＊を算出することにより、式（８）のようにフィルタを算出することができる。つまり、Ｇの一般逆行列Ｇ＊とインパルスを示すＤとから、所望のフィルタを示すＨを算出することができる。
Figure JPOXMLDOC01-appb-M000008
　一般に、アクチュエータの数（Ｍ）がタッチ位置の数（Ｎ）以上であれば、式（８）を解くことができる。なお、任意のタッチ位置の組合せに対して安定的に式（８）を解くためには、各位置において、複数のアクチュエータ１０２からの伝達特性ｇｉｊが同じゼロ点を持たないようにすることが望ましい。例えば、タッチ位置の数が２つの場合は、図１２に示すようにパネル１０１の長辺側の端部に２個ずつアクチュエータ１０２を配置することにより、任意の２点における伝達特性が異なるようにアクチュエータ１０２を配置することができる。
　なお、ゼロ点とは、周波数領域において、伝達特性のレベルが０または０に限りなく近くなる周波数のことである。つまり、入力にゼロ点の周波数成分が含まれていても、出力には、その周波数成分がほとんど含まれない。
　したがって、全てのアクチュエータ１０２からある位置までの伝達特性が同じ周波数でゼロ点を有する場合、どのような信号が入力されても、その位置においてその周波数ではパネル１０１は振動しない。つまり、特定の周波数において振動を制御することができなくなる。したがって、制御対象となる各周波数において、少なくとも１つのアクチュエータ１０２からの伝達特性が、ゼロ点ではない特性を有するようにしておくことが望ましい。
　図１３は、フィルタの一例を示す。具体的には、図１３は、図１２において、タッチ位置Ｐ１が提示位置と決定された場合に算出されたフィルタを示す。
（ステップＳ２０３：触感信号をフィルタ処理）
　次に、フィルタ処理部２０５は、触感信号記憶部２０４に記憶されている触感信号に対して、ステップＳ２０２において算出されたフィルタを用いてフィルタ処理を行なうことにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。具体的には、フィルタ処理部２０５は、触感信号Ｓ（ｎ）とフィルタｈｊ（ｎ）との畳み込み演算を行なうことにより、アクチュエータＡｊのための駆動信号を生成する。
　ここでは、触感信号Ｓ（ｎ）としては、提示振動決定部１０８により設定値に応じて決定され、触感信号記憶部２０４に記憶されている、タッチ位置Ｐ１に提示する図７Ａに示す触感信号をフィルタ処理する例で説明する。
　ここで、フィルタ処理についてより詳細に説明する。
　フィルタ処理部１０９は、式（９）に示すように、アクチュエータＡｊを駆動するための駆動信号ｕｊ（ｎ）を生成する。つまり、フィルタ処理部１０９は、触感信号ｓ（ｎ）と、フィルタ算出部１０７により算出されたフィルタｈｊ（ｎ）との畳み込み演算を行うことにより、駆動信号ｕｊ（ｎ）を生成する。
Figure JPOXMLDOC01-appb-M000009
　図１４は、駆動信号の一例を示す。つまり、図１４は、式（９）に従ってフィルタ処理部２０５によって生成された駆動信号の一例を示す。より具体的には、図１４は、図１３に示すフィルタを用いて、図７Ａに示す触感信号を処理することにより生成された駆動信号を示す。
（ステップＳ２０４：アクチュエータを駆動）
　次に、アクチュエータＡｊは、ステップＳ２０３で生成された駆動信号ｕｊ（ｎ）を用いて駆動される。つまり、アクチュエータＡｊは、駆動信号ｕｊ（ｎ）に従ってパネル１０１を振動させる。
　なお、アクチュエータの種類によっては、高電圧の駆動信号を必要とする場合がある。そのような場合には、アクチュエータ１０２は、駆動信号を増幅するためのアンプを備えてもよい。
　図１５は、各タッチ位置におけるパネル１０１の振動の実験結果を示す。具体的には、図１５は、図１５に示す駆動信号を用いてアクチュエータ１０２が駆動された場合のタッチ位置Ｐ１およびＰ２におけるパネル１０１の振動を示す。
　タッチ位置Ｐ１では、振動のピーク間の差（以後、「振幅強度」と呼ぶ）が約３０μｍとなっており、強く振動していることが分かる。一方、タッチ位置Ｐ２では、振幅強度が約１μｍとなっており、人が感知できない程度でしか振動していないことが分かる。
　なお、図１５では、タッチ位置Ｐ１、Ｐ２における振動特性を示したが、タッチ位置Ｐ１、Ｐ２以外の位置でも振動が生じている。しかしながら、タッチ位置Ｐ１、Ｐ２以外の位置はユーザにタッチされていない位置であるので、どのような振動が生じていてもユーザに触感が提示されることがない。
　上記の構成と動作により、本実施の形態１における多点同時振動制御部１０９によれば、振動を提示する第１のタッチ位置に触感を提示し、振動を提示しない第２のタッチ位置において触感を提示しないことができる。したがって、複数のタッチ位置のうち、触感の提示が必要なタッチ入力に対してのみ触感を提示することができる。
　なお、多点同時振動制御部１０９の変形例１として、実施の形態１では、時間領域においてフィルタの算出を行ったが、これを周波数領域で算出することにより、処理負荷を低減できることは言うまでもない。また、人間が触覚として感じる周波数帯域に処理を限定することによりさらに処理負荷を低減できることもいうまでもない。
　また、多点同時振動制御部１０９の変形例２として、フィルタを算出するまでの処理を、オンラインではなくオフラインで実施することにより、処理負荷を低減できることはいうまでもない。
　なお、多点同時振動制御部１０９の変形例３として、あらかじめ複数のタッチ位置の組み合わせパターンのすべてについて、駆動信号を算出して記憶しておき、タッチ位置の組み合わせパターンによって選択することにより、さらに処理負荷を低減でき、より処理能力の低い計算資源でもタッチ位置ごとに異なる振動を提示できることはいうまでもない。
　さらに、多点同時振動制御部１０９の変形例４として、例えば、第１のタッチ位置Ｐ１に図７Ａの振動を提示し、第２のタッチ位置Ｐ２には図７Ａの振動を提示しないための駆動信号１と、Ｐ２を第１のタッチ位置として図７Ｂの振動を提示し、Ｐ１を第２のタッチ位置として図７Ｂの振動を提示しないための駆動信号２とを加算した駆動信号によりアクチュエータ１０２を駆動することで、Ｐ１に図７Ａの振動を提示し、かつＰ２に図７Ｂの振動を同時に提示することができることはいうまでもない。
　なお、ここで説明した多点同時触感制御部１０９の構成と動作は一例であり、他の構成と動作とすることもできる。例えばパネルがフレキシブルなディスプレイで構成されており、その表面を局所的に振動させるアクチュエータを備えたものであってもよい。
　以上のように、第１の実施の形態の触覚入出力装置１００によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。
　（実施の形態２）
　実施の形態２は、第１の実施の形態における複数のタッチ位置を選択的にタップするタップ入力の判定に加え、さらに複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できるよう考慮したものである。
　図１６は、本発明の実施の形態２における触覚入出力装置の構成を示すブロック図である。第１の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態１と異なる構成要素である移動入力判定部３０１、振動提示条件決定部３０２の構成と動作を中心に説明する。
＜移動入力判定部３０１＞
　移動入力判定部３０１は、パネル１０１へのタッチ入力に対してタッチ情報取得部１０３により検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部１０４には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部１０４に記憶されている移動方向とを比較して、対応する設定情報を決定する。
＜振動提示条件決定部３０２＞
　振動提示条件決定部３０２は、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　上記のように構成された本実施の形態２の触覚入出力装置１００の動作を図１７～図１９に基づいて説明する。
　図１７は、実施の形態２の触覚入出力装置１００の動作を示すフローチャートである。
　ここでは、カーナビゲーションなどの車載システムに本実施の形態２の触覚入出力装置１００を搭載した例で本実施の形態２の動作を説明する。図１８にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図１８に示す［１］～［１０］の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図１９Ａに示すように、地図などを表示するモニタ１１０の上部に透明な素材からなるパネル１０１を配置する構成であってもよく、また、モニタ１１０とは別にセンターコンソールやアームレストにパネル１０１を配置する構成であってもよい。実施の形態２は、いずれの構成であっても、ユーザはパネル１０１を注視することなく入力操作できるよう考慮したものである。
（ステップＳ３０１：タッチ情報取得）
　タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図１９Ａに示すように、２本の指、指１および指２でパネル１０１にタッチしているとき、時刻ｔにおける指１によるタッチ位置Ｐ１（ｘ１（ｔ），ｙ１（ｔ））、指２によるタッチ位置Ｐ２（ｘ２（ｔ），ｙ２（ｔ））を、例えば２０ｍｓなど所定のサンプリング間隔Δｔごとに取得する。
（ステップＳ３０２：移動入力判定）
　移動入力判定部３０１は、パネル１０１で検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部１０４には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部１０４に記憶されている移動方向とを比較して、対応する設定情報を決定する。
　タッチ位置の移動方向は次のように算出する。ここでは、ステップＳ３０１で取得するタッチ位置の時系列情報により、指をパネル１０１上にタッチしたままタッチ位置を移動させるときの移動方向を算出する。具体的には、サンプリング間隔Δｔごとのタッチ位置Ｐ１の移動方向を表す移動ベクトルはｖ１（ｘ１（ｔ）－ｘ１（ｔ－１），ｙ１（ｔ）－ｙ１（ｔ－１））、タッチ位置Ｐ２の移動ベクトルはｖ２（ｘ２（ｔ）－ｘ２（ｔ－１），ｙ２（ｔ）－ｙ２（ｔ－１））で算出する。
　タッチ位置Ｐ１，Ｐ２の移動方向の同一性は、例えば、移動ベクトルｖ１、ｖ２のなす角θのｃｏｓの値が所定の閾値より小さいときに同一であると判定する。
　タッチ位置の移動距離は次のように算出する。ユーザが指１でパネル１０１にタッチした時刻（ｔ＝０、移動開始位置Ｐ１（ｘ１（０），ｙ１（０））から時刻ｔ（タッチ位置Ｐ１（ｘ１（ｔ）、ｙ１（ｔ）））までのタッチ位置の移動距離ｄ１（ｔ）を、式（１０）により求める。ここで、時刻ｔで取得したタッチ位置Ｐ１（ｘ１（ｔ）、ｙ１（ｔ））と、時刻（ｔ－Δｔ）で取得したタッチ位置Ｐ１（ｘ１（ｔ－１）、ｙ１（ｔ－１））が同じであるとき、あるいは、Ｐ１（ｘ１（ｔ）、ｙ１（ｔ））とＰ１（ｘ１（ｔ－１）、ｙ１（ｔ－１））の距離が所定の距離より小さいとき、指１のなぞりによるタッチ位置Ｐ１の移動は停止したと判定する。タッチ位置の移動が停止したと判定されたとき、移動開始位置をＰ１（ｘ１（０），ｙ１（０））で初期化する。また、タッチ位置の移動が停止したと判定された時刻を基点として、サンプリング間隔Δｔごとに、タッチ位置の移動が停止したのと同じ位置にタッチが静止しているかを確認し静止時間ｔ１ｓを記録し更新する。指２によるタッチ位置Ｐ２の移動距離ｄ２（ｔ）も式（１０）により同様に算出し、Ｐ２の静止時間ｔ２ｓも同様に記録し、更新する。
Figure JPOXMLDOC01-appb-M000010
　移動方向に対するタッチ位置の空間順序は次のようにして算出する。移動ベクトルｖ１、ｖ２いずれかを含む直線上にタッチ位置Ｐ１，Ｐ２を射影し、移動方向を正としてタッチ位置Ｐ１、Ｐ２を順序づける。移動ベクトルｖ１、ｖ２の選択は任意でよいが、例えば、上記手順で算出した移動距離が大きいほうの移動ベクトルを選択すればよい。
　以下、上記の手順で算出したタッチ位置の移動方向、移動距離、移動方向に対するタッチ位置の空間順序、タッチ位置の静止時間に基づいて、ユーザのタッチ入力を判定する手順について説明する。ここでは、一例として、図１８に示す［１］から［１０］のいずれの入力であるかを判定する手順について説明する。
＜地図スクロールの入力判定＞
　入力判定［１］は、タッチ情報検出部１０３で検出されるタッチ数１であり、かつタッチ位置Ｐ１が移動ベクトルｖ１の方向へ移動している場合であり、設定項目として「地図スクロール」が選択される。具体的な入力項目としては、タッチ位置の移動距離だけ地図をスクロールする「移動距離スクロール」が選択される。
　入力判定［２］は、タッチ情報検出部１０３で検出されるタッチ数１であり、かつタッチ位置Ｐ１が移動ベクトルｖ１の方向へ移動し、移動距離が所定の閾値Ｄ以上で、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合であり、設定項目として地図スクロールが選択される。具体的な入力項目としては、タッチ位置が所定の距離だけ移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択される。
＜音量設定の入力判定＞
　入力判定［３］および入力判定［５］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しない場合であり、ステップＳ３０３の順序入力判定に進む。設定項目として「音量設定」が選択される。
＜トラック設定の入力判定＞
　入力判定［７］～［１０］は、タッチ情報検出１０３で検出されるタッチ数は入力判定［３］～［６］と同様に２であるが、タッチ位置の移動方向ｖ１とｖ２が同一かつ、タッチ位置の移動距離が所定の閾値Ｄ以上のときであり、設定項目としては「トラック設定」が選択される。トラック設定とは、例えばオーディオ操作において、アルバムのトラックを次のトラックに移動する、あるいは前のトラックに移動する入力操作である。
　入力判定［７］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。図１９Ａにトラック設定を下げるタッチ入力の一例を示す。指１、指２はそれぞれ、時刻（ｔ－ｎ）において、同時にパネル１０１にタッチしており、タッチ位置Ｐ１，Ｐ２はそれぞれｘ１（ｔ－ｎ）、ｘ２（ｔ－ｎ）である。ｎはサンプリング回数であり、現在時刻ｔからｎサンプル前を表している。指１、指２のタッチ位置Ｐ１，Ｐ２の移動方向はそれぞれ、ｖ１＝ｘ１（ｔ）－ｘ１（ｔ－ｎ）、ｖ２＝ｘ２（ｔ）－ｘ２（ｔ－ｎ）、である。図１９Ａの例の場合、タッチ位置Ｐ２，Ｐ２は所定の座標軸ｘについて平行に同一方向に移動し、その方向はマイナス方向であり、かつＰ１の移動距離｜ｖ１｜またはＰ２の移動距離｜ｖ２｜が所定の閾値Ｄ以上であるとき、入力項目として「トラックＤＯＷＮ」が選択される。
　入力判定［８］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。
　入力判定［９］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。図１９Ｂにトラック設定を上げるタッチ入力の一例を示す。指１、指２はそれぞれ、時刻（ｔ－ｎ）において、同時にパネル１０１にタッチしており、タッチ位置Ｐ１，Ｐ２はそれぞれｘ１（ｔ－ｎ）、ｘ２（ｔ－ｎ）である。ｎはサンプリング回数であり、現在時刻ｔからｎサンプル前を表している。指１、指２のタッチ位置Ｐ１，Ｐ２の移動方向はそれぞれ、ｖ１＝ｘ１（ｔ）－ｘ１（ｔ－ｎ）、ｖ２＝ｘ２（ｔ）－ｘ２（ｔ－ｎ）、である。図１９Ａの例の場合、タッチ位置Ｐ２，Ｐ２は所定の座標軸ｘについて平行に同一方向に移動し、その方向はプラス方向であり、かつＰ１の移動距離｜ｖ１｜またはＰ２の移動距離｜ｖ２｜が所定の閾値Ｄ以上であるとき、入力項目として「トラックＵＰ」が選択される。
　入力判定［１０］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。
　なお、ここでは移動距離の閾値を用いて入力判定をする例で説明したが、さらに移動速度を用いて判定してもよい。移動速度を用いることにより、より詳細な入力項目の選択と設定値の設定が可能となる。
（ステップＳ３０３：順序入力判定）
　順序入力判定部１０５は、実施の形態１におけるステップＳ１０２と同様に、ユーザがパネル１０１をタップ入力することを検出し、すなわち、パネル１０１で継続して検出されるタッチ位置およびパネル１０１で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。
　実施の形態２では、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しないとき、図１８の入力判定［３］～［６］に示す音量設定と判定する。
　入力判定［３］および入力判定［５］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しない場合であり、設定項目として「音量設定」が選択される。この入力判定［３］および［５］は、実施の形態１における音量設定と同一の動作であるため説明を省略する。
　入力判定［４］および入力判定［６］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動せず、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合であり、それぞれタッチ位置の空間順序が、第１順序であるとき、入力項目として「連続音量ＤＯＷＮ」が選択され、第２順序であるとき、入力項目として「連続音量ＵＰ」が選択される。
　ステップＳ３０３により、タップ入力と移動入力を判定することにより、同じタッチ数でも異なる入力操作を簡単に実行することができる。
（ステップＳ３０４：設定情報変更）
　設定情報変更部１０６は移動入力判定部３０１および順序入力判定部１０５で決定された設定項目の設定値を変更する。
＜地図スクロールの設定値変更＞
　図１８を用いて地図スクロールの設定値変更について説明する。
　入力判定［１］と判定された場合、タッチ位置Ｐ１の移動方向ｖ１へ移動距離｜ｖ１｜だけモニタ１１０に表示される地図の表示領域を移動する。表示領域の移動は、例えば、地図の座標系でモニタ１１０に表示する領域を指定すればよいが、例えば、表示する領域を長方形で指定する場合、長方形の左上の頂点の座標を地図表示の基準座標として、表示基準座標を－ｖ１の方向へ移動することにより地図をスクロールさせることができる。
　入力判定［２］と判定された場合、タッチ位置Ｐ１が所定の距離Ｄ以上移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択された場合、前記地図の表示基準座標を所定の時間間隔で－αｖ１の方向へ連続的に移動させる。ここでαは移動量を制御する係数であり、例えば、タッチ位置Ｐ１の単位時間当たりの移動距離である移動速度によって変更してもよい。これにより、速い速度でタッチ位置Ｐ１を移動させたあとタッチ位置を静止させた場合は、αの値を大きくして表示基準位置の移動量を大きくし、逆に遅い速度でタッチ位置Ｐ１を移動させた場合は、αを小さくして表示基準位置の移動量を小さくすることにより、ユーザの意図に応じてスクロールの移動量を簡単に設定することができる。
＜音量設定の設定値変更＞
　図１８を用いて音量設定の設定値変更について説明する。
　入力設定［３］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは－１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力設定［４］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは－１であり、所定の時間間隔、例えばＴｓごとに音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力設定［５］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＵＰ」が選択される。このとき、設定値の増減値ΔＶは＋１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力設定［６］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＵＰ」が選択される。このとき、設定値の増減値ΔＶは＋１であり、所定の時間間隔、例えばＴｓごとに音量レベルＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
＜トラック設定の設定値変更＞
　図１８を用いてトラック設定の設定値変更について説明する。ここでは例えばオーディオ操作における音楽タイトルのトラック番号Ｎｔを設定する例で説明する。
　入力判定［７］と判定された場合、すなわち、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＮｔは－１であり、トラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力判定［８］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＮｔは－１であり、所定の時間間隔、例えばＴｓごとにトラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力判定［９］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。このとき、設定値の増減値ΔＮｔは＋１であり、トラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　入力判定［１０］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。このとき、設定値の増減値ΔＮｔは＋１であり、所定の時間間隔、例えばＴｓごとにトラック番号Ｎｔ＝Ｎｔ＋ΔＮｔに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。
　なお、さらにタッチ位置Ｐ１またはＰ２の移動速度を用いてトラック番号を設定する時間間隔Ｔｓを変更してもよい。これにより、速い速度でタッチ位置Ｐ１、Ｐ２を移動させたあとタッチ位置を静止させた場合は、Ｔｓを短くしてトラック番号を短い時間間隔で変更し、逆に遅い速度でタッチ位置Ｐ１、Ｐ２を移動させた場合は、Ｔｓを長くしてトラック番号をゆっくり変更することにより、ユーザの意図に応じてトラック番号の変更を簡単に設定することができる。
　なお、タッチ位置の移動距離は、ユーザによって入力しやすい移動距離にはバラツキがある場合、移動距離による入力判定を、移動距離の累積距離を用いて判定してもよい。具体的には、複数回のタッチ位置の移動による移動距離の累積値が所定の閾値Ｄ以上であるかにより入力を判定すればよい。
（ステップＳ３０５：振動提示条件決定）
　振動提示条件決定部３０２は、タッチ位置が移動する移動入力の場合、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　振動提示条件決定部３０２は、最新タッチ位置の空間順序を判定する順序入力の場合、決定された入力項目に対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記タッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　図１８に、入力判定［１］～入力判定［１０］のときに振動を提示する第１のタッチ位置を示し、以下、振動提示条件について説明する。
＜地図スクロール時の振動提示条件＞
　入力判定［１］と判定された場合、すなわち、タッチ位置の移動距離による「移動距離地図スクロール」と判定された場合、振動提示位置はタッチされている１点として決定する。
　振動提示条件は、タッチ位置の移動距離によって決定する。例えばタッチ位置の移動量による地図の移動量と地図の縮尺によって決定する。すなわち、振動提示条件決定部３０２は、例えば現在の地図の縮尺を取得し、地図が１００ｍを基準として表示されているならば、タッチ位置Ｐ１の移動距離が地図上での距離１００ｍに相当するごとに、タッチ位置Ｐ１に振動を提示してもよい。これにより、モニタ１１０に表示されている地図を注視しなくとも、地図をどれだけ移動させたかを触覚により認識することができる。
　なお、変形例として、地図の領域を移動させずに固定した場合、地図上でタッチ位置を移動させたときに所定の距離ごとに振動を提示することにより、例えば目的地間の距離や中間地点までの距離などを触覚により認識することができる。
　また、変形例として、例えば、タッチ位置を移動させ始めたときに、例えば音声案内により基準距離を案内することにより、振動が提示される回数を数えることで、１００ｍ、２００ｍ、３００ｍなどと、触覚により距離を把握することができる。さらに、３００ｍごと、５００ｍごとなど所定の距離ごとに、音声案内を併用してもよい。音声による頻繁なフィードバックは場合によってわずらわしく感じることがあるが、振動フィードバックと併用することにより、必要な情報を適切な伝達形態で伝えることができる。入力判定［２］と判定された場合、すなわち、タッチ位置の移動距離と移動後のタッチ位置の静止時間により「連続スクロール」と判定された場合、振動提示位置はタッチされている１点として決定する。
　振動提示条件は、タッチ位置の移動距離とタッチ位置の静止時間によって決定する。例えば、自動でスクロールしている地図が所定の距離移動するごとにタッチ位置を振動させることによりユーザに移動距離を触感によりフィードバックしてもよいし、静止時間が所定の閾値Ｔｓ経過するごとに振動させてもよい。ユーザが地図が移動する速度をあらかじめ知っていれば、提示される振動の回数により経過時間を認識し、地図の大まかな移動距離を知ることができる。
　なお、変形例としては、地図の移動にともなってあらかじめ記憶させてある施設などがモニタ１１０に表示された際、あるいは、ネットワークやＶＩＣＳ（登録商標）などにより関連情報が取得された地図の位置にきたときに振動を提示してもよい。これにより、地図を移動させている過程で地図を注視する必要がなく、例えば車載システムであれば運転に集中することができる。またコンテンツの再生中であれば、コンテンツに集中することができる。
　なお、変形例としては、映像や音楽などコンテンツのリストを連続スクロールさせ、ジャンルの切り替わりや、アルバムの切り替わりごとに振動を提示してもよい。
　なお、変形例として、タッチ位置の移動方向により電子ブックのページを連続的に進める、あるいは戻す操作をするときに、あらかじめマークしたページ、内容が更新されたページなどが表示された際に振動を提示してもよい。
　なお、変形例として、同時に検出される２つのタッチ位置の移動により地図をスクロールする際に、地図の移動方向または指の移動方向に対して先頭のタッチ位置を振動させることにより、地図の移動方向やタッチ位置の移動方向がユーザの意図通りに受け付けられているかを確認できるようにしてもよい。また、２つのタッチ位置を同時に所定の距離移動させた後に停止させ、停止位置でタッチを継続した場合に、地図の移動方向に対して先頭のタッチ位置を所定の時間間隔で振動させて、地図の移動方向を提示してもよい。また、地図上に周辺施設などのランドマークや目的地がモニタ１１０上に表示されたときに振動を提示してもよい。
＜音量設定時の振動提示条件＞
　入力設定［３］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量ＤＯＷＮ」が選択されたことを触覚により認識することができる。
　入力設定［４］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＤＯＷＮ」が選択される。このとき、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定し、さらに所定の時間Ｔｓ以上タッチ位置が継続して検出されるごとに前記第１のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量ＤＯＷＮ」が選択されたことを触覚により認識することができる。
　入力設定［５］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＵＰ」が選択される。このとき、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量ＵＰ」が選択されたことを触覚により認識することができる。
　入力設定［６］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＵＰ」が選択される。このとき、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定し、さらに所定の時間Ｔｓ以上タッチ位置が継続して検出されるごとに前記第１のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量ＵＰ」が選択されたことを触覚により認識することができる。
　なお、ここでは、第１順序のタッチ位置に「音量ＤＯＷＮ」、第２順序のタッチ位置に「音量ＵＰ」という入力項目を割り当て、２点タッチされているうち最新のタッチ位置の入力項目を選択するという例で説明したが、これに限らず、任意の設定項目を設定し得る。例えば電子ブックの「ページ送り」、「ページ戻し」に対応づけてもよいし、ＴＶチャンネルのアップ、ダウン、コンテンツリストまたはメニュー項目などのアップ、ダウンに対応づけてもよい。
＜トラック設定時の振動提示条件＞
　入力判定［７］と判定された場合、すなわち、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。このとき、図１８の空間順序（第１のタッチ位置）に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ２）は振動を提示しない第２のタッチ位置と決定する。図１９Ａの例で説明すると、タッチ位置Ｐ１とＰ２はｘ軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ１となり、このタッチ位置を振動を提示する第１のタッチ位置と決定する。これにより、斜線が記された指１に振動が提示され、指２には振動が提示されないことになり、その結果、ユーザは、ｘ軸のマイナス方向にタッチ位置Ｐ１とＰ２を移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Ｐ１に振動が提示され、その他のタッチ位置（ここではＰ２）に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。
　入力判定［８］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。このとき、入力判定［７］の場合と同様に、タッチ位置Ｐ１とＰ２はｘ軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ１となり、タッチ位置Ｐ１を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ２）は振動を提示しない第２のタッチ位置と決定する。これにより、入力判定［７］の場合と同様に、機器に受け付けられた移動方向をタッチ位置Ｐ１に振動を提示し、タッチ位置Ｐ２に振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Ｔｓでタッチ位置Ｐ１に振動を提示することにより、トラック番号が連続して減少していることをユーザに認識させることができる。
　入力判定［９］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。このとき、図１８の空間順序（第１のタッチ位置）に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ２）は振動を提示しない第２のタッチ位置と決定する。図１９Ｂの例で説明すると、タッチ位置Ｐ１とＰ２はｘ軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ２となり、このタッチ位置を振動を提示する第１のタッチ位置と決定する。これにより、斜線が記された指２に振動が提示され、指１には振動が提示されないことになり、その結果、ユーザは、ｘ軸のプラス方向にタッチ位置を移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Ｐ２に振動が提示され、その他のタッチ位置（ここではＰ１）に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。
　入力判定［１０］は、タッチ数が２、かつタッチ位置Ｐ１とＰ２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。このとき、入力判定［９］の場合と同様に、タッチ位置Ｐ１とＰ２はｘ軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ２となり、タッチ位置Ｐ２を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ１）は振動を提示しない第２のタッチ位置と決定する。これにより、入力判定［９］の場合と同様に、機器に受け付けられた移動方向をタッチ位置Ｐ２に振動を提示し、タッチ位置Ｐ１に振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Ｔｓでタッチ位置Ｐ２に振動を提示することにより、トラック番号が連続して増加していることをユーザに認識させることができる。
　なお、さらにタッチ位置Ｐ１またはＰ２の移動速度を用いてトラック番号を設定する時間間隔Ｔｓを変更し、変更した時間間隔で触覚を提示するようにしてもよい。これにより、速い速度でタッチ位置Ｐ１、Ｐ２を移動させたあとタッチ位置を静止させた場合は、Ｔｓを短くしてトラック番号を短い時間間隔で変更され、逆に遅い速度でタッチ位置Ｐ１、Ｐ２を移動させた場合は、Ｔｓを長くしてトラック番号をゆっくり変更されるが、変更した時間間隔に合わせて触覚を提示することにより、ユーザの意図に応じてトラック番号の変更をわかりやすく通知することができる。
　また、Ｔｓがかなり短い場合、トラック番号ごとに振動を提示すると、トラック番号の切り替わりを識別しづらくなることもあるため、実施の形態１のコンテンツの早送り、巻戻しと同様に、トラック番号についても早送り、巻戻しのレベルを設定し、そのレベル値を振動によりフィードバックしてもよい。
　なお、タッチ入力の結果をパネル１０１の振動によりユーザに通知するとき、タッチ位置が移動中でであっても振動を知覚することはできるが、タッチ位置の移動が停止したときまたは移動速度が小さいときに振動を提示することにより、より容易にユーザは各タッチ位置での振動を知覚させることができる。すなわち、移動入力の結果を振動でフィードバックする際にも、移動中の振動提示だけでなく、移動の停止時に振動をフィードバックすることで、より容易に振動を知覚して受け付けられた入力について知ることができる。
　なお、実施の形態２では、振動提示条件決定部３０２で決定する振動提示条件として、複数のタッチ位置を移動させた後に静止状態を維持することで、設定値を連続的に変化させるという例で説明したが、これにかぎらず、例えば、静止状態に移行したあとは、所定の時間間隔で現在の設定値を振動により知らせるようにしてもよい。
　なお、ここでは、複数のタッチ位置を同一方向に移動させる例で説明したが、例えば、２点タッチした状態で、一方のタッチ位置は静止しており、他方のタッチ位置をｘ軸のプラス方向またはマイナス方向に移動させたときに、移動させたタッチ位置のみを振動させ、かつ設定項目としては、「早送り」あるいは「巻戻し」、「トラック番号の増加」あるいは「トラック番号の減少」などを実行してもよい。移動させたタッチ位置への振動提示は、タッチ位置の移動中でもよいし、移動の停止時およびその前後でもよい。移動の停止時およびその前後は、ユーザはより振動を感じやすく、入力結果の確認がより容易である。
（ステップＳ３０６：提示振動決定）
　提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を、ステップＳ３０４で決定した設定値と設定値の増減値、およびステップＳ３０５で決定した振動提示条件に基づいて決定する。
　実施の形態１と同様に、図７Ａおよび図７Ｂに示すような１回刺激信号や２回刺激信号の触感信号を用いて、設定値や設定値の増減値を提示する。例えば設定値の増減値が１であれば１回刺激信号に決定し、トラック番号の早送りや巻戻しなどの２段階以上の設定値を知らせるときは図７Ｂに示す２回刺激信号、さらには１回刺激信号を繰り返すことで得られる３回刺激信号などの触感信号に決定する。
（ステップＳ３０７：多点同時振動制御）
　多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、前記第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル１０１の振動をタッチ位置別に同時に制御する。
　ステップＳ３０７は実施の形態１のステップＳ１０６と同じ動作のため説明は省略する。
　上記の構成と動作により、本実施の形態２にかかる触覚入出力装置１００は、実施の形態１に、移動入力判定部３０１を追加し、複数のタッチ位置をタッチしたまま同一方向へ移動させる移動入力を判定し、振動提示条件決定部３０２により移動方向に対して先頭のタッチ位置を判定し、多点同時振動制御部１０９により、移動方向に対して先頭のタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、機器が受け付けた移動入力の方向や地図や音楽トラックなど操作対象の進行方向を触覚により確認できる。また、ＧＵＩを目視してタッチすることなく、パネル上の任意の位置で、複数のタッチ位置に基づく移動入力と順序入力より、機器の設定を操作できる。
　（実施の形態３）
　実施の形態３は、空調やオーディオなど、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができるよう考慮したものである。
　図２０は、本発明の実施の形態３における触覚入出力装置の構成を示すブロック図である。第１の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態１と異なる構成要素である設定情報階層化記憶部４０１、階層化入力判定部４０２、階層別振動提示条件決定部４０３の構成と動作を中心に説明する。
＜設定情報階層化記憶部４０１＞
　設定情報階層化記憶部４０１は、機器の設定情報を階層化してタッチ位置の空間順序と対応付けて記憶する。図２１に階層化して記憶された設定情報の一例を示す。実施の形態３では、空調機能とオーディオ機能を備えたシステムを例として説明する。ここでは、図２１に示すように、選択モード１～選択モード７の７つの選択モードが３つの階層に階層化されて記憶されている例で説明する。
　第１階層は、空調設定またはオーディオ設定を選択する選択モード１からなる。
　第２階層は、温度設定または風量設定を選択する選択モード２、および、音量設定またはトラック設定を選択する選択モード３からなる。
　第３階層は、温度ＤＯＷＮまたは温度ＵＰを選択する選択モード４、風量ＤＯＷＮまたは風量ＵＰを選択する選択モード５、音量ＤＯＷＮまたは音量ＵＰを選択する選択モード６、および、トラックＤＯＷＮまたはトラックＵＰを選択する選択モード７からなる。
＜階層化情報入力判定部４０２＞
　階層化情報入力判定部４０２は、タッチ情報取得部１０３で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部４０１に記憶されているＮ階層に階層化された選択モードを選択して、目的の設定項目を決定する。
　具体的には、パネル１０１に入力される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出して、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ－１階層の選択モードへ移行し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部４０１にあらかじめ記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行する。
＜階層別振動提示条件決定部４０３＞
　階層別振動提示条件決定部４０３は、複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　上記のように構成された本実施の形態３の触覚入出力装置１００の動作を図２１～図２３に基づいて説明する。
　図２２は、実施の形態２の触覚入出力装置１００の動作を示すフローチャートである。
　ここでは、カーナビなどの車載システムに本実施の形態３の触覚入出力装置１００を搭載した例で本実施の形態３の動作を説明する。図１８にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図１８に示す［１］～［１０］の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図１９Ａに示すように、地図などを表示するモニタ１１０の上部に透明な素材からなるパネル１０１を配置する構成であってもよく、また、モニタ１１０とは別にセンターコンソールやアームレストにパネル１０１を配置する構成であってもよい。実施の形態２は、いずれの構成であっても、ユーザはパネル１０１を注視することなく入力操作できるよう考慮したものである。
（ステップＳ４０１：タッチ情報取得）
　タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図１９Ａに示すように、２本の指、指１および指２でパネル１０１にタッチしているとき、時刻ｔにおける指１によるタッチ位置Ｐ１（ｘ１（ｔ），ｙ１（ｔ））、指２によるタッチ位置Ｐ２（ｘ２（ｔ），ｙ２（ｔ））を、例えば２０ｍｓなど所定のサンプリング間隔Δｔごとに取得する。
（ステップＳ４０２：階層化入力判定）
　階層化情報入力判定部４０２は、タッチ情報取得部１０３で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部４０１に記憶されているＮ階層に階層化された選択モードを選択して、目的の設定項目を決定する。
　具体的には、パネル１０１に入力され、タッチ情報取得部１０３により取得される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部４０１にあらかじめ記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行する。また、前記複数のタッチ位置の時系列情報に基づいて、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ－１階層の選択モードへ移行する。
　さらに具体的には、第Ｎ階層において、タッチ位置が１つでタッチの継続時間が所定の時間内（例えば１００ｍｓ～５００ｍｓ以内）である場合、あるいは、少なくとも１つのタッチ位置が継続されているときに、別の位置に新たな１つのタッチ位置が検出される場合（以下、「シングルタップ入力」と呼ぶ。）を「選択入力」として判定し、新たなタッチ位置の空間順序に対応する第Ｎ階層の選択モードの設定項目を選択し、第Ｎ＋１階層へ移行する。
　また、前記第１の入力パターンとして、例えば、２つ以上のタッチ位置が所定の時間内（例えば１００ｍｓ～５００ｍｓの時間内）に２回検出される場合（以下、「ダブルタップ入力」と呼ぶ。）を「初期選択入力」として判定し、第１階層の選択モード１に戻る。
　また、前記第２の入力パターンとして、例えば、第Ｎ階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも１つ検出される場合を「戻り入力」として判定し、第Ｎ－１階層の選択モードに戻る。
　階層化情報入力判定部４０２は、上記手順に基づいて、「選択入力」、「初期選択入力」、「戻り入力」を判定し、ユーザが目的としている設定項目を決定する。
　以下、図２１を用いて、階層化された設定項目から目的の設定項目を決定する手順の一例について説明する。ここでは、選択モード１～選択モード７は、空調調整またはオーディオ調整、温度調整または風量調整など、各選択モードはすべて２つの選択肢からなる例で説明する。ただし、選択肢の数は２に限るものではなく、片手または両手によるタッチ操作により、より多くの選択肢から選択してもよい。
　以下、図２１を用いて、「選択入力」および「初期選択入力」の２種類のタッチ入力のみで空調設定およびオーディオ設定を実施する手順の一例を説明する。図２３は、「選択入力」、「初期選択入力」に加え、「戻り入力」の３種類のタッチ入力で設定項目を決定する一例であり、これについては後述する。
＜第１階層、選択モード１での設定項目選択＞
　階層化情報入力判定部４０２は、ダブルタップ入力が検出された場合、「初期選択入力」と判定して、第１階層の選択モード１に移行する。選択モード１は空調に関する設定項目を選択する、またはオーディオに関する設定項目を選択するモードである。ユーザは空調設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、オーディオ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序を判定する。新たなタッチ位置の空間順序の判定は、実施の形態１のステップＳ１０２で、図５Ｂおよび図５Ｃを用いて説明した音量設定の入力判定と同様に、新たなタッチ位置の空間順序が第１順序であるか第２順序であるかを判定する。階層化情報入力判定部４０２は、新たなタッチ位置の空間順序が第１順序である場合、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、空間順序が一致する空調設定を選択し、第２階層の選択モード２に移行する。同様に、新たなタッチ位置の空間順序が第２順序である場合、図２１に示すようにオーディオ設定を選択し、第２階層の選択モード３に移行する。
＜第２階層、選択モード２での設定項目選択＞
　選択モード２は、空調設定における、温度設定または風量設定を選択するモードである。選択モード１と同様に、ユーザは温度設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、風量設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第１順序と対応付けられて記憶されている温度設定を選択し、第３階層の選択モード４に移行する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように風量設定を選択し、第３階層の選択モード５へ移行する。
＜第２階層、選択モード３での設定項目選択＞
　選択モード３は、オーディオ設定における、音量設定またはトラック設定を選択するモードである。選択モード１と同様に、ユーザは音量設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、トラック設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第１順序と対応付けられて記憶されている音量設定を選択し、第３階層の選択モード６に移行する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すようにトラック設定を選択し、第３階層の選択モード７へ移行する。
＜第３階層、選択モード４および選択モード５での設定項目選択＞
　選択モード４は、空調設定における、設定温度を下げる設定（温度ＤＯＷＮ設定）または設定温度を上げる設定（温度ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは温度ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、温度ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、第１階層および第２階層での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている温度ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように温度ＵＰ設定を選択する。
　選択モード５は、空調設定における、設定風量を下げる設定（風量ＤＯＷＮ設定）または設定風量を上げる設定（風量ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは風量ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、風量ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード４での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている風量ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように風量ＵＰ設定を選択する。
＜第３階層、選択モード６および選択モード７での設定項目選択＞
　選択モード６は、オーディオ設定における、設定音量を下げる設定（音量ＤＯＷＮ設定）または設定音量を上げる設定（音量ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは音量ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、音量ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード４での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている音量ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように音量ＵＰ設定を選択する。
　選択モード７は、オーディオ設定における、設定トラックを前に戻す設定（前トラック設定）または設定トラックを次に進める設定（次トラック設定）を選択するモードである。選択モード１と同様に、ユーザは前トラック設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、次トラック設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード６での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている前トラック設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように次トラック設定を選択する。
（ステップＳ４０３：設定情報の変更）
　設定情報変更部１０６は階層情報入力判定部４０２で決定された設定項目の設定値を変更する。第１階層、第２階層では設定項目を選択するのみであり、第３階層の選択モード４～選択モード７で決定された設定項目の設定情報を変更する。
　設定情報の変更は、実施の形態２のステップＳ３０４で説明した音量設定およびトラック設定と同様の手順により実行される。
＜第３階層、選択モード４および選択モード５での設定情報変更＞
　選択モード４で温度ＤＯＷＮ設定と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＴ＝－１として、設定値である温度レベルＴを、Ｔ＝Ｔ＋ΔＴに従って１減少させる。設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
　選択モード４で温度ＵＰ設定と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＴ＝＋１として、設定値である温度レベルＴを、Ｔ＝Ｔ＋ΔＴに従って１増加させる。
　選択モード５で風量ＤＯＷＮ設定と判定された場合、または、風量ＵＰ設定と判定された場合はそれぞれ、選択モード４で温度ＤＯＷＮ設定と判定された場合、または、温度ＵＰ設定と判定された場合と同様に、風量の設定値の増減値ΔＷをΔＷ＝―１または＋１として、風量レベルＷをＷ＝Ｗ＋ΔＷに従って設定値を変更する。
　設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
＜第３階層、選択モード６および選択モード７での設定情報変更＞
　選択モード６で音量ＤＯＷＮ設定と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、音量設定の増減値ΔＶ＝－１として、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。
　選択モード６で音量ＵＰ設定と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＶ＝＋１として、設定値である温度レベルＴを、Ｖ＝Ｖ＋ΔＶに従って１増加させる。
　選択モード７で前トラック設定と判定された場合、または、次トラック設定と判定された場合はそれぞれ、図１８のトラック設定と同様に、トラック番号の増減値ΔＮｔをΔＮｔ＝―１または＋１として、トラック番号ＮｔをＮｔ＝Ｎｔ＋ΔＮｔに従って設定値を変更する。
　設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。
（ステップＳ４０４：階層別に振動提示条件決定）
　階層別振動提示条件決定部４０３は、階層ごと、および選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定する。
＜第１階層での振動提示条件＞
　階層別振動提示条件決定部４０３は、図２１に示すように、ダブルタップ入力が検出され、「初期選択入力」と判定された場合、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に１回ずつ振動を提示することを決定する。例えば、ダブルタップが検出された２つのタッチ位置に対して、まず、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、第２順序のタッチ位置を振動を提示しない第２のタッチ位置とした後、所定の時間後、例えば２５０ｍｓ後に、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、第１順序のタッチ位置を振動を提示しない第２のタッチ位置とする。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード１に移行したことを認識することができる。
　なお、同時に複数のタッチ位置が継続されている場合、あるタッチ位置に振動を提示して、別のタッチに振動を提示するまでのインターバルを２５０ｍｓ以上に設定することにより、ユーザはより容易に各指に順に振動が提示されたことを認識できる。
　また、実施の形態３では選択モードに移行したことを振動により通知するため、ユーザはダブルタップ入力後、そのままタッチ位置を継続することが望ましく、また、例えば、２点タッチの場合、１つのタッチ位置をパネル１０１で継続したまま、他のタッチ位置でシングルタップ入力することにより、一方の指が支点になるので、容易にシングルタップ入力ができ、かつ２つの選択肢のうちどちらを選択しているのかを容易に認識することができる。
　また、階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
＜第２階層での振動提示条件＞
　階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード２では、温度設定（第１順序）が選択されたのか、あるいは風量設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード３では、音量設定（第１順序）が選択されたのか、あるいはトラック設定（第２順序）が選択されたのかを触覚により認識することができる。
＜第３階層での振動提示条件＞
　階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。
　これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード４では、温度ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは温度ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード５では、風量ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは風量ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード６では、音量ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは音量ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード７では、前トラック設定（第１順序）が選択されたのか、あるいは次トラック設定（第２順序）が選択されたのかを触覚により認識することができる。
（ステップＳ４０５：提示振動決定）
　提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を、ステップＳ４０３で決定した設定値と設定値の増減値、およびステップＳ４０４で決定した振動提示条件に基づいて決定する。
　実施の形態１と同様に、図７Ａおよび図７Ｂに示すような１回刺激信号や２回刺激信号の触感信号を用いて、選択入力が受け付けられたこと、また、設定値、設定値の増減値をユーザに提示する。例えば設定値の増減値が１であれば１回刺激信号に決定し、第２階層で選択入力が検出された際には、図７Ｂに示す２回刺激信号などの触感信号に決定し、第２階層での選択入力であることをユーザに提示する。すなわち刺激信号の回数と選択している階層数Ｎを同一にすることにより、第Ｎ階層での選択入力であることをユーザに提示する。
＜第１階層での提示振動＞
　提示振動決定部１０８は、ステップＳ４０２によりダブルタップ入力が検出され、第１階層の選択モード１に移行する「初期選択入力」と判定され、ステップＳ４０４により、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に１回ずつ振動を提示すると決定された際に、例えば図７Ａに示す１回刺激信号を触感信号として決定する。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード１に移行したことを認識することができる。また、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば図７Ａに示す１回刺激信号を触感信号として決定する。これにより、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知することができる。
＜第２階層での提示振動＞
　提示振動決定部１０８は、第２階層の選択モード２または選択モード３のいずれにおいても、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、第２階層において、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、例えば図７Ｂに示す２回刺激信号を触感信号として決定する。
＜第３階層での提示振動＞
　提示振動決定部１０８は、第３階層の選択モード４から選択モード７のいずれにおいても、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば設定値の増減値が１であれば１回刺激信号に決定する。これにより、ユーザがシングルタップ入力したタッチ位置に、１回刺激信号によりパネル１０１を振動させることにより、設定値が１だけ増減したことを通知する。
　なお、例えば選択モード５で、風量レベルを設定する場合など設定値が数段階の離散値をとる場合、例えば風量レベルが５段階程度であれば、シングルタップ入力したタッチ位置が所定の時間継続した場合に、１回刺激信号～５回刺激信号によりパネル１０１を振動させ、現在の設定値を触覚によりフィードバックしてもよい。
　さらに、設定値が変更された後、同じタッチ位置が継続的に検出される場合、所定の時間間隔ごとに設定値を振動によりフィードバックしてもよい。
　また、設定値の振動によるフィードバックが所定の時間、あるいは所定の回数継続した後に、タッチ位置が継続して検出されていても振動を停止させてもよい。
　なお、各階層で、タッチ位置が継続して検出されており、かつ所定の時間以上、次の階層へ移行する入力が実行されない場合、ユーザが選択を迷っている判断して、音声等により、設定項目の名称を提示してもよい。あるいは、各タッチ位置に１回ずつ順に振動を提示することを所定の時間間隔で繰り返すことにより、選択肢の数とタッチ位置として受け付けられているタッチ位置をユーザにフィードバックしてもよい。
　また、各階層で、タッチ位置の数と設定項目の選択肢の数が一致しない場合、例えば所定の時間経過後に、設定値を通知する振動とは周波数や振幅の異なる別の振動を提示することにより、あるいは音声等により、不一致をユーザに通知してもよい。
（ステップＳ４０６：多点同時振動提示）
　多点同時振動制御部１０９は、ステップＳ４０４で決定された第１のタッチ位置に、ステップＳ４０５で決定された触感信号が示す振動を提示し、ステップＳ４０４で決定された第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号によりアクチュエータ１０２を駆動してパネル１０１の振動をタッチ位置別に同時に制御する。
　ステップＳ４０６は実施の形態１のステップＳ１０６と同じ動作のため説明は省略する。
　上記の構成と動作によれば、実施の形態３にかかる触覚入出力装置１００は、図２１に示すような階層化された設定項目を容易に選択し、入力結果を触覚により確認することができる。図２１の例では、まずユーザは、２本の指によるダブルタップ入力により選択モード１に移行させる。このとき、ダブルタップ入力の後、パネル１０１上で静止している各指に、１回ずつ振動を提示することにより、受け付けられたタッチ数と選択項目の数が一致していることを触覚により確認できる。次に、選択モード１において、空調設定またはオーディオ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき空調設定が選択され、空間順序が第２順序のとき、オーディオ設定が選択される。このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは容易に確認することができる。
　選択モード１で空調が選択された場合、第２階層である選択モード２に移行する。選択モード２においては、選択モード１と同様に、温度設定または風量設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき温度設定が選択され、空間順序が第２順序のとき、風量設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード２において、温度設定が選択された場合、第３階層である選択モード４に移行する。選択モード２において、風量設定が選択された場合、第３階層である選択モード５に移行する。選択モード４においては、温度ＤＯＷＮ設定または温度ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき温度ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、温度ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード５においては、風量ＤＯＷＮ設定または風量ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき風量ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、風量ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。
　選択モード１でオーディオが選択された場合、第２階層である選択モード３に移行する。選択モード３においては、選択モード１と同様に、音量設定またはトラック設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき音量設定が選択され、空間順序が第２順序のとき、トラック設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード３において、音量設定が選択された場合、第３階層である選択モード６に移行する。選択モード３において、トラック設定が選択された場合、第３階層である選択モード７に移行する。選択モード６においては、音量ＤＯＷＮ設定または音量ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき音量ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、音量ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード７においては、トラックＤＯＷＮ設定またはトラックＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のときトラックＤＯＷＮ設定が選択され、空間順序が第２順序のとき、トラックＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。
　なお、上記ステップＳ４０１～Ｓ４０６では、新たな設定項目を選択する際、例えば、温度を設定した後、次にオーディオの音量を設定するような場合、一旦ダブルタップ入力により第１階層の選択モード１に戻り、各選択モードに移行する例で説明した。
　ここでは、第Ｎ階層から第Ｎ－１階層に戻る「戻り入力」を考慮した設定項目の決定手順の一例について説明する。具体的には、ステップＳ４０２において、階層化情報入力判定部４０２は、第Ｎ階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも１つ検出される場合を「戻り入力」として判定し、第Ｎ－１階層の選択モードに戻る。
　以下、図２３を用いて、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも１つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化された設定情報の決定手順の一例について説明する。
　図２３の例では、まず、２つのタッチ位置で同時にダブルタップ入力を行うことにより、選択モード１に移行する。次に、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、振動によるフィードバックは２回刺激信号を用いて、第２階層に移行することをユーザに確認させる。
　第１階層で空調設定が選択された場合、第２階層の選択モード２に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第２階層から第１階層へ戻ることを振動によりユーザに確認させるため、１回刺激信号を用いて第３のタッチ位置にのみ振動を提示することによりユーザに通知する。選択モード２において、温度設定または風量設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に３回刺激信号を用いて振動をフィードバックすることにより、第３階層に移行することをユーザに確認させる。
　第２階層で温度設定が選択された場合、第３階層の選択モード４に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード３において、温度ＤＯＷＮ設定または温度ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
　第２階層で風量設定が選択された場合、第３階層の選択モード５に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード５において、風量ＤＯＷＮ設定または風量ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
　第１階層でオーディオ設定が選択された場合、第２階層の選択モード３に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第２階層から第１階層へ戻ることを振動によりユーザに確認させるため、１回刺激信号を用いて第３のタッチ位置のみに振動を提示することによりユーザに通知する。選択モード３において、音量設定またはトラック設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に３回刺激信号を用いて振動をフィードバックすることにより、第３階層に移行することをユーザに確認させる。
　第２階層で音量設定が選択された場合、第３階層の選択モード６に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード６において、音量ＤＯＷＮ設定または音量ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
　第２階層でトラック設定が選択された場合、第３階層の選択モード７に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード７において、前トラック設定または次トラック設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。
　なお、ここでは、選択モードの選択肢が２であり、２つのタッチ位置が検出されている状態で、別の第３のタッチ位置が検出されたときに「戻り入力」と判定する例で説明したが、これに限らず、例えば、同時にタッチ位置の空間順序を判定し、例えば、（選択肢数＋１）番目のタッチ位置が最も右側（ｘ軸の座標値が最大）であれば、次の階層の選択モードへ移行し、（選択肢数＋１）番目のタッチ位置が最も左側（ｘ軸の座標値が最小）であれば、１つ前の階層に戻るなどとしてもよい。
　以上の構成と動作により、本実施の形態３にかかる触覚入出力装置１００は、階層化情報入力判定部４０２により、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも１つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化されて記憶されている設定項目を選択し、階層別振動提示条件決定部４０３により、階層ごとまたは選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定して、多点同時振動制御部１０９により、設定項目を選択したタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、複数の機器の機能が混在したシステムにおいても、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、タッチ入力用のパネルを注視せずに入力設定ができる。
　なお、実施の形態１から実施の形態３においては、タッチ位置が検出されない場合は、アクチュエータ１０２の駆動を停止し、パネル１０１を振動させないことが好ましい。ただし、タッチ位置が離れた後に、入力状態や機器の状態を振動によりフィードバックしてもよい。
　なお、実施の形態１から実施の形態３においては、タッチ位置の時系列情報に基づいて、検出順序、移動方向、空間順序を算出したが、これに限らず、例えばタッチパネルドライバからオペレーティングシステムに通知されるタッチ数、タッチ番号、タッチ開始イベント、タッチ継続イベント、タッチ終了イベントなどのタッチイベントを併用して算出してもよい。
　また、実施の形態１から実施の形態３では、タッチ位置の検出時、タッチ位置の移動時、タッチ位置の移動後の停止時に振動を提示する例で説明したが、これに限らず、タッチの押圧が所定の閾値以上のとき、タッチ位置での指の接触面積が所定の閾値以上のとき、あるいは他のマルチタッチジェスチャーが検出されたときに振動を提示してもよい。
　上記説明した実施の形態１から実施の形態３に係る触覚入出力装置は、タッチ入力により機器を操作する際に、入力するタッチパネルやタッチパッドを注視することなく、機器の設定操作ができるので、モニタのコンテンツを注視しながら手元のタッチリモートコントローラを操作する際にはリモコンを注視することなく操作する、あるいはモニタをできるだけ注視しないで操作することが望まれるカーナビゲーションなどの車載システムに応用できる。また、設定項目とタッチ位置の空間順序を対応づけ、選択された設定項目に対応するタッチ位置のみを振動させることにより、機器に受け付けられた設定項目をユーザが触覚により容易に確認できるので、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に応用できる。また、洗濯機、電子レンジなどのタッチパネルが搭載された家電機器の触覚入出力装置、また、家電機器を制御する携帯電話やタブレット端末などでタッチパネルが搭載されている機器の触覚入出力装置としても応用できる。
　以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。
　本発明にかかる触覚入出力装置は、カーナビゲーションシステムの他、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に利用可能である。
１　　　指
２　　　指
３　　　指
１０　　電子機器
１００　触覚入出力装置
１０１　パネル
１０２　アクチュエータ
１０３　タッチ情報取得部
１０４　設定情報記憶部
１０５　順序入力判定部
１０６　設定情報変更部
１０７　振動提示位置決定部
１０８　提示振動決定部
１０９　多点同時振動制御部
１１０　モニタ
１１１　映像コンテンツ
１１２　選択枠表示
１１３　設定値表示部
１９０　プロセッサ
２０１　伝達特性記憶部
２０２　伝達特性取得部
２０３　フィルタ算出部
２０４　触感信号記憶部
２０５　フィルタ処理部
３０１　移動入力判定部
３０２　振動提示条件決定部
４０１　設定情報階層化記憶部
４０２　階層化情報入力判定部
４０３　階層別振動提示条件決定部

Claims (14)

  1. 　タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、
    　前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、
    　前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、
    　前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、
    　前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる、
    　タッチパネルの制御方法。
  2. 　マルチタッチが入力できるように構成されたタッチパネルと、
    　複数のアクチュエータと、
    　プロセッサを有し、
    　前記プロセッサは、
    　タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、
    　前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、
    　前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、
    　前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、
    　前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる、制御を行うように構成された
    　タッチパネル制御装置。
  3. 　ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、
    　前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
    　タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、
    　前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、
    　算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、算出した前記空間順序に対応する設定情報を決定する順序入力判定部と、
    　前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第１のタッチ位置とし、前記複数のタッチ位置のうち第１のタッチ位置以外のタッチ位置を第２のタッチ位置として決定する振動提示位置決定部と、
    　前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と
    　を備える触覚入出力装置。
  4. 　前記順序入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、
    　前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する提示振動決定部とを、
    　さらに備える請求項３記載の触覚入出力装置。
  5. 　ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、
    　パネルと、
    　前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
    　タッチ入力する設定情報をタッチ位置の移動方向と対応付けて記憶する設定情報記憶部と、
    　前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記設定情報記憶部に記憶されている移動方向とを比較して、算出した移動方向に対応する設定情報を決定する移動入力判定部と、
    　前記移動入力判定部により決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、および移動速度の少なくとも１つに基づいて変更する設定情報変更部と、
    　前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する振動提示条件決定部と、
    　前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成する提示振動決定部と、
    　前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部と
    　を備える触覚入出力装置。
  6. 　前記振動提示条件決定部は、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、タッチ位置の移動中および／または前記移動の停止位置近傍で前記タッチ位置が継続する場合、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する
    　請求項５記載の触覚入出力装置。
  7. 　ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、
    　パネルと、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、
    　前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、
    　機器の設定情報を複数の選択モードに階層化してタッチ位置の空間順序と対応付けて記憶する設定情報階層化記憶部と、
    　前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の検出順序と空間順序を算出し、
    　前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報階層化記憶部に記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記選択されたタッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行し、
    　さらに、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ－１階層の選択モードへ移行する階層化情報入力判定部と、
    　前記階層化情報入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、
    　階層ごとおよび／または選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定する階層別振動提示条件決定部と、
    　前記第１のタッチ位置に提示する振動を示す触感信号を、前記第１の入力パターン、前記第２の入力パターン、前記設定情報の設定値、または階層値Ｎの少なくとも１つに基づいて決定する提示振動決定部と、
    　前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部
    　とを備える触覚入出力装置。
  8. 　前記第２の入力パターンは、各選択モードにおいて、選択肢の数と同数のタッチ位置が検出されており、かつ前記タッチ位置とは別にタッチ位置が検出される入力パターンである
    　請求項７記載の触覚入出力装置。
  9. 　ユーザによるタッチ入力に応じてパネルを振動させ、
    　前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    　前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、
    　前記空間順序と関連付けられた設定情報を決定し、
    　前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、
    　前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、
    　触覚入出力方法。
  10. 　さらに、
    　決定された前記設定情報の設定値を変更し、
    　前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する、
    　請求項９記載の触覚入出力方法。
  11. 　ユーザによるタッチ入力に応じてパネルを振動させ、
    　前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    　前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、
    　前記タッチ位置の移動方向に対応する設定情報を決定し、
    　決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、および移動速度の少なくとも１つに基づいて変更し、
    　前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、
    　前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成し、
    　前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、
    　触覚入出力方法。
  12. 　ユーザによるタッチ入力に応じてパネルを振動させ、
    　前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法のためのコンピュータプログラムであって、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、
    　前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、
    　前記空間順序と関連付けられた設定情報を決定し、
    　前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、
    　前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、触覚入出力方法を
    　コンピュータに実行させるためのコンピュータプログラム。
  13. 　ユーザによるタッチ入力に応じてパネルを振動させ、
    　前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御するためのコンピュータプログラムが格納されたストレージであって、
    　前記パネルの複数の位置で同時に検出されるタッチ位置を取得するインストラクションと、
    　前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出するインストラクションと、
    　前記空間順序と関連付けられた設定情報を決定するインストラクションと、
    　前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定するインストラクションと、
    　前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御するインストラクションと
    　を含むコンピュータプログラムが格納されたストレージ。
  14. 　タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出するインストラクションと、
    　前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出するインストラクションと、
    　前記第１タッチ入力と前記第２タッチ入力の検出順序を判定するインストラクションと、
    　前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行するインストラクションと、
    　前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させるインストラクションと、
    　を含むコンピュータプログラムが格納されたストレージ。
PCT/JP2013/002410 2012-12-19 2013-04-09 触覚入出力装置 WO2014097499A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380027409.6A CN104321723B (zh) 2012-12-19 2013-04-09 触觉输入输出装置
JP2014552874A JP6103509B2 (ja) 2012-12-19 2013-04-09 タッチパネルの制御方法、装置、プログラムおよびストレージ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261739125P 2012-12-19 2012-12-19
US61/739,125 2012-12-19

Publications (1)

Publication Number Publication Date
WO2014097499A1 true WO2014097499A1 (ja) 2014-06-26

Family

ID=50930296

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002410 WO2014097499A1 (ja) 2012-12-19 2013-04-09 触覚入出力装置

Country Status (4)

Country Link
US (1) US9223403B2 (ja)
JP (1) JP6103509B2 (ja)
CN (1) CN104321723B (ja)
WO (1) WO2014097499A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110422A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 操作装置
JP2017027294A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 表示操作装置
JP2017068865A (ja) * 2016-12-12 2017-04-06 カシオ計算機株式会社 表示装置、及び表示方法
JP2017168102A (ja) * 2016-03-15 2017-09-21 フィッシャー−ローズマウント システムズ，インコーポレイテッド オペレータインターフェースにおけるジェスチャ及びタッチ
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置
JP2020017321A (ja) * 2019-11-01 2020-01-30 カシオ計算機株式会社 表示装置、表示方法、及び、プログラム
WO2020031483A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 復号装置、復号方法、プログラム
JP2022019750A (ja) * 2017-10-13 2022-01-27 テイ・エス テック株式会社 車両用内装材

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202013012233U1 (de) 2012-05-09 2016-01-18 Apple Inc. Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt
CN104471521B (zh) * 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
US9990914B2 (en) * 2012-06-28 2018-06-05 Talkler Labs, LLC System and method for dynamically interacting with a mobile communication device by series of similar sequential barge in signals to interrupt audio playback
US9335822B2 (en) * 2012-12-12 2016-05-10 Immersion Corporation Method and system for providing haptic effects based on haptic context information
US9600103B1 (en) 2012-12-31 2017-03-21 Allscripts Software, Llc Method for ensuring use intentions of a touch screen device
DE102013000272A1 (de) * 2013-01-09 2014-07-10 Daimler Ag Verfahren zum Bewegen eines auf einer Anzeigevorrichtung eines Fahrzeugs dargestellten Bildinhalts, Bedien- und Anzeigevorrichtung für ein Fahrzeug und Computerprogrammprodukt
US20140300543A1 (en) * 2013-04-05 2014-10-09 Itvers Co., Ltd. Touch pad input method and input device
JP2015138416A (ja) * 2014-01-22 2015-07-30 キヤノン株式会社 電子機器、その制御方法及びプログラム
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
CN104267842B (zh) * 2014-09-11 2020-07-10 惠州Tcl移动通信有限公司 触摸显示面板及其触摸反馈方法
JP6076320B2 (ja) * 2014-11-28 2017-02-08 京セラドキュメントソリューションズ株式会社 画像形成装置および入力方法
JP6473610B2 (ja) * 2014-12-08 2019-02-20 株式会社デンソーテン 操作装置、及び、操作システム
US9836124B2 (en) * 2014-12-31 2017-12-05 Harman International Industries, Incorporated Techniques for dynamically changing tactile surfaces of a haptic controller to convey interactive system information
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6065939B2 (ja) * 2015-06-11 2017-01-25 カシオ計算機株式会社 表示装置、及び表示方法
JP6526196B2 (ja) * 2015-07-16 2019-06-05 アルプスアルパイン株式会社 操作感触付与型入力装置
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
WO2018084082A1 (ja) * 2016-11-02 2018-05-11 パナソニックＩｐマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法
CN106775128B (zh) * 2017-02-09 2020-06-23 联想(北京)有限公司 一种输入设备及电子设备
US10684218B2 (en) 2017-04-11 2020-06-16 Canon Kabushiki Kaisha Moisture detecting apparatus for recording material and image forming apparatus
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN110241566B (zh) * 2018-03-07 2023-11-10 重庆海尔滚筒洗衣机有限公司 一种带震动功能的洗衣机及控制方法
CN110241547B (zh) * 2018-03-07 2023-08-08 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
CN110241568B (zh) * 2018-03-07 2023-08-22 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
CN110244866B (zh) * 2018-03-07 2024-04-09 合肥海尔滚筒洗衣机有限公司 一种带震动功能的洗衣机及控制方法
CN110241565B (zh) * 2018-03-07 2023-08-01 青岛海尔洗涤电器有限公司 一种带震动功能的洗衣机及控制方法
CN109634428B (zh) * 2018-12-25 2022-05-31 Oppo广东移动通信有限公司 电子设备、反馈提示方法、装置及终端设备
CN111338527B (zh) * 2020-02-25 2021-11-30 维沃移动通信有限公司 一种方向提示方法及电子设备
CN112619142B (zh) * 2020-12-29 2022-09-02 珠海金山数字网络科技有限公司 目标对象控制方法及装置
WO2022147449A1 (en) * 2020-12-31 2022-07-07 Snap Inc. Electronic communication interface with haptic feedback response
EP4272063A1 (en) 2020-12-31 2023-11-08 Snap Inc. Media content items with haptic feedback augmentations
WO2022147151A1 (en) 2020-12-31 2022-07-07 Snap Inc. Real-time video communication interface with haptic feedback

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266992A (ja) * 2004-03-17 2005-09-29 Alpine Electronics Inc 表示式入力装置及び入力報知方法
JP2008015584A (ja) * 2006-07-03 2008-01-24 Kyocera Mita Corp 操作装置，画像形成装置
JP2010055282A (ja) * 2008-08-27 2010-03-11 Nec Saitama Ltd タッチパネル振動方法およびタッチパネル装置
JP2010532043A (ja) * 2007-06-26 2010-09-30 イマージョン コーポレーション マルチタッチの触知タッチパネルアクチュエータ機構のための方法および装置
JP2011170523A (ja) * 2010-02-17 2011-09-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011248400A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および入力方法
JP2012069042A (ja) * 2010-09-27 2012-04-05 Stanley Electric Co Ltd タッチパネル入力装置の製造方法、圧電体素子及びタッチパネル入力装置
JP2012226743A (ja) * 2011-04-19 2012-11-15 Sharp Corp タッチスクリーンデバイス

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888099B2 (ja) 2001-08-17 2007-02-28 富士ゼロックス株式会社 タッチパネル装置
WO2006042309A1 (en) 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP4743832B2 (ja) * 2004-12-02 2011-08-10 アルパイン株式会社 表示式入力装置
JP2009134473A (ja) * 2007-11-29 2009-06-18 Sony Corp 押圧検知センサ、入力装置及び電子機器
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
KR101629645B1 (ko) * 2009-09-18 2016-06-21 엘지전자 주식회사 휴대 단말기 및 그 동작방법
JP2011150467A (ja) 2010-01-20 2011-08-04 Sony Corp タッチパネル組立体及びその駆動方法
US9405404B2 (en) * 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
KR20130063831A (ko) * 2011-12-07 2013-06-17 삼성전자주식회사 휴대용 단말기

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266992A (ja) * 2004-03-17 2005-09-29 Alpine Electronics Inc 表示式入力装置及び入力報知方法
JP2008015584A (ja) * 2006-07-03 2008-01-24 Kyocera Mita Corp 操作装置，画像形成装置
JP2010532043A (ja) * 2007-06-26 2010-09-30 イマージョン コーポレーション マルチタッチの触知タッチパネルアクチュエータ機構のための方法および装置
JP2010055282A (ja) * 2008-08-27 2010-03-11 Nec Saitama Ltd タッチパネル振動方法およびタッチパネル装置
JP2011170523A (ja) * 2010-02-17 2011-09-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011248400A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および入力方法
JP2012069042A (ja) * 2010-09-27 2012-04-05 Stanley Electric Co Ltd タッチパネル入力装置の製造方法、圧電体素子及びタッチパネル入力装置
JP2012226743A (ja) * 2011-04-19 2012-11-15 Sharp Corp タッチスクリーンデバイス

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110422A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 操作装置
JP2017027294A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 表示操作装置
JP2017168102A (ja) * 2016-03-15 2017-09-21 フィッシャー−ローズマウント システムズ，インコーポレイテッド オペレータインターフェースにおけるジェスチャ及びタッチ
JP7067687B2 (ja) 2016-03-15 2022-05-16 フィッシャー－ローズマウント システムズ，インコーポレイテッド オペレータインターフェースにおけるジェスチャ及びタッチ
JP2017068865A (ja) * 2016-12-12 2017-04-06 カシオ計算機株式会社 表示装置、及び表示方法
JP6366863B1 (ja) * 2017-04-10 2018-08-01 三菱電機株式会社 ユーザインタフェース装置
JP2022019750A (ja) * 2017-10-13 2022-01-27 テイ・エス テック株式会社 車両用内装材
JP7277814B2 (ja) 2017-10-13 2023-05-19 テイ・エス テック株式会社 車両用内装材
EP3836405A4 (en) * 2018-08-08 2021-09-01 Sony Group Corporation DECODING DEVICE, DECODING METHOD AND PROGRAM
JPWO2020031483A1 (ja) * 2018-08-08 2021-11-18 ソニーグループ株式会社 復号装置、復号方法、プログラム
WO2020031483A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 復号装置、復号方法、プログラム
US11496152B2 (en) 2018-08-08 2022-11-08 Sony Corporation Decoding device, decoding method, and program
JP2020017321A (ja) * 2019-11-01 2020-01-30 カシオ計算機株式会社 表示装置、表示方法、及び、プログラム

Also Published As

Publication number Publication date
CN104321723A (zh) 2015-01-28
CN104321723B (zh) 2018-04-03
US20140168110A1 (en) 2014-06-19
JP6103509B2 (ja) 2017-03-29
US9223403B2 (en) 2015-12-29
JPWO2014097499A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
JP6103509B2 (ja) タッチパネルの制御方法、装置、プログラムおよびストレージ
JP6052743B2 (ja) タッチパネルデバイスとタッチパネルデバイスの制御方法
JP6183661B2 (ja) 触感呈示装置および触感呈示方法
US8881051B2 (en) Zoom-based gesture user interface
US9864499B2 (en) Display control apparatus and control method for the same
KR100827228B1 (ko) 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
JP6392747B2 (ja) ディスプレイ装置
US7952566B2 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
JP6037252B2 (ja) 電子機器
JP6300604B2 (ja) 触感制御装置、触感制御方法及びプログラム
JP6731866B2 (ja) 制御装置、入力システムおよび制御方法
JP2009501389A (ja) 矩形タッチパッド・センサおよび円形スクロール領域としての機能性を提供する矩形センサ・グリッド
CN101782832A (zh) 显示信息控制设备和方法
JP2011048832A (ja) 入力装置
JP2011048686A (ja) 入力装置
US10345949B2 (en) Audio device and menu display method of audio device
US20130127731A1 (en) Remote controller, and system and method using the same
US20100162155A1 (en) Method for displaying items and display apparatus applying the same
WO2017218080A1 (en) Content scrubber bar with real-world time indications
WO2013137239A1 (ja) 電子書籍コンテンツ再生用端末及び電子書籍コンテンツ再生方法
JP2018128742A (ja) 制御装置、入力システムおよび制御方法
KR101352201B1 (ko) 미디어 플레이어를 제어하는 방법 및 이를 적용한 정보기기
Sun et al. Controlling smart tvs using touch gestures on mobile devices
JP2015138416A (ja) 電子機器、その制御方法及びプログラム
JP2018132831A (ja) 電子機器、電子機器の制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13866212

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552874

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13866212

Country of ref document: EP

Kind code of ref document: A1