WO2023119581A1 - 擬似触覚提示装置、擬似触覚提示方法、およびプログラム - Google Patents

擬似触覚提示装置、擬似触覚提示方法、およびプログラム Download PDF

Info

Publication number
WO2023119581A1
WO2023119581A1 PCT/JP2021/047987 JP2021047987W WO2023119581A1 WO 2023119581 A1 WO2023119581 A1 WO 2023119581A1 JP 2021047987 W JP2021047987 W JP 2021047987W WO 2023119581 A1 WO2023119581 A1 WO 2023119581A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
pseudo
user interface
tactile
output
Prior art date
Application number
PCT/JP2021/047987
Other languages
English (en)
French (fr)
Inventor
雄介 宇治土公
隆寛 河邉
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023568954A priority Critical patent/JPWO2023119581A1/ja
Priority to PCT/JP2021/047987 priority patent/WO2023119581A1/ja
Publication of WO2023119581A1 publication Critical patent/WO2023119581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a technology that allows humans to perceive a pseudo tactile sensation by presenting output information according to input information.
  • pseudo tactile sensations By presenting visual information according to input information to input devices such as mice, keyboards, and gesture sensors from output devices such as displays (monitors) and touch screens, pseudo tactile sensations (hereinafter referred to as “pseudo tactile sensations”) ) is known (see, for example, Non-Patent Document 1). By using this technology, it is possible to realize an application that allows users to perceive a desired pseudo-tactile sensation.
  • the input information necessary for humans to perceive the desired pseudo-tactile sensation and the visual information to be presented accordingly depend on the type of user interface such as input and output devices. Therefore, applications must be designed one by one for each user interface, and the burden of application design is heavy. Not limited to this, it would be convenient if any user interface could be used to perceive a desired pseudo-tactile sensation.
  • the present invention has been made in view of such points, and allows a user to perceive a desired pseudo-tactile sensation using any of a plurality of registered user interfaces (hereinafter referred to as "registered user interfaces").
  • registered user interfaces The purpose is to provide technology that can
  • a pseudo-tactile sense presentation device receives first designation information specifying a specific user interface used for presenting a pseudo-tactile sense, and presents a plurality of registered user interface information representing a plurality of mutually different registered user interfaces and a pseudo-tactile sense.
  • first designation information specifying a specific user interface used for presenting a pseudo-tactile sense
  • Corresponding to the registered user interface information representing the specific user interface specified by the first specified information using the correspondence information representing the correspondence between a plurality of matching information for specifying the visual information presented from the registered user interface in Specific matching information, which is matching information, is obtained, and based on the specific matching information, output information representing visual information presented from a specific user interface is obtained.
  • FIG. 1 is a block diagram illustrating the configuration of the pseudo-tactile sense presentation device of the embodiment.
  • FIG. 2 is a diagram exemplifying correspondence information.
  • FIG. 3 is a diagram illustrating matching information.
  • 4A and 4B are diagrams illustrating an IF (interface) exposed to an API (Application Programming Interface) section.
  • FIG. 5 is a diagram exemplifying correspondence information.
  • FIG. 6 is a diagram exemplifying correspondence information.
  • FIG. 7 is a diagram exemplifying correspondence information.
  • FIG. 8 is a block diagram illustrating the hardware configuration of the pseudo-tactile presentation device.
  • a pseudo-tactile presentation system 1 of the present embodiment includes a pseudo-tactile presentation device 11 for presenting a pseudo-tactile sensation based on visual information, and a pseudo-tactile sensation presentation device 11 for presenting a pseudo-tactile sensation based on the visual information. It has input devices 12-1 to 12-M and output devices 13-1 to 13-N, which are user interfaces.
  • M and N are integers of 1 or more.
  • M+N is an integer of 3 or more.
  • the pseudo-tactile presentation device 11 has a storage unit 111, a compatibility setting unit 112, an application unit 113, an API unit 114, an output information acquisition unit 115, and an interface unit 116.
  • the hardware configuration of the pseudo-tactile sense presentation device 11 will be described later.
  • the input devices 12-1 to 12-M are devices that accept input of information.
  • the input devices 12-1 to 12-M are devices that receive different types of information.
  • the input devices 12-1 to 12-M are button-type input devices such as a mouse, keyboard and buttons, touch pads and touch panels with touch sensors, and non-contact input devices such as gesture sensors.
  • they do not limit the invention.
  • the output devices 13-1 to 13-N are devices that present (eg, output or display) visual information.
  • the output devices 13-1 to 13-N are used through a monitor or touch panel that outputs visual information on a screen, a virtual reality headset that presents visual information in a virtual space, a projector that projects visual information, and deformation and trajectory of a robot arm.
  • It is a real object such as a robot arm that presents visual information of the real space to the person 100 .
  • Correspondence information 1110 is stored in the storage unit 111 as preprocessing. As illustrated in FIG. 2, the correspondence information 1110 of the present embodiment includes input devices 12-1 to M and output devices 13-1 to N (a plurality of different registered user interfaces, both input devices and output devices).
  • a plurality of registered user interface information 1111 (a plurality of registered user interface information each representing both an input device and an output device) representing a plurality of registered user interfaces), and presented tactile sensations and presentation intensities of different pseudo tactile sensations (different pseudo a plurality of pseudo tactile information 1112 representing the content of the tactile sensation), and visual information ( (visual information presented from the registered user interface in order to present the pseudo-tactile sensation of the content represented by the pseudo-tactile information), and a plurality of matching information 1113 for specifying correspondence (relationship).
  • the registered user interface information 1111 exemplified in FIG. , and the like.
  • the presented tactile sensation of the pseudo-tactile information 1112 illustrated in FIG. 2 represents the type of pseudo-tactile sensation to be presented.
  • the presented tactile sensation may be a tactile attribute of texture such as resistance, weight, softness (hardness), friction, roughness, unevenness (for example, Non-Patent Document 1 etc.), texture, or perceived force (for example, a reaction force when pushing an object, a pulling force pulled from an object, a magnetic force acting remotely, etc.).
  • the presentation intensity of the pseudo-tactile information 1112 illustrated in FIG. 2 represents the degree (eg, size, strength) of the perceived pseudo-tactile sensation.
  • An example of presentation strength is an integer score from 0-100. For example, the higher the score, the greater the perceived pseudo-tactile sensation, and a score of 0 indicates "not perceiving any pseudo-tactile sensation", and a score of 100 indicates "perceiving the largest imaginable pseudo-tactile sensation". good.
  • the presentation intensity may be a value of 5 levels or 7 levels.
  • a physical quantity equivalent to the perceived pseudo-tactile sensation may be defined by a psychophysical experiment, and the physical quantity may be used as the presentation intensity. Presentation intensity may be expressed using a standardized or de facto standardized index.
  • the grit size (grit size) of the sandpaper may be used to express the suggested strength.
  • the ratio (magnification) of an index representing the degree of pseudo-tactile sensation with respect to some reference may be used as the presentation strength.
  • the sandpaper grit "#40" may be used as a reference (presentation strength 1), and the presentation strength may be the ratio of the sandpaper grit representing the degree of perceived pseudo-tactile sensation.
  • the presentation intensity may be expressed in natural language.
  • the degree of pseudo-tactile sensation, which is roughness may be expressed as "rough” or “smooth”, or may be expressed as "not rough at all" or "a little rough”.
  • Matching information 1113 is visual information (eg, output Any information may be used as long as it specifies the visual information represented by the parameter.
  • fit information 1113 may represent an input-output parameter relationship, which is the relationship between an input parameter and an output parameter representing visual information.
  • the matching information 1113 includes the degree of information input to the input devices 12-1 to M (for example, input parameters such as movement amount and operation time) and visual information presented from the output devices 13-1 to 13-N. It may represent a ratio to a degree (for example, an output parameter such as a movement amount, a movement speed, a change amount, a change speed, a vibration frequency).
  • the matching information 1113 may be the ratio of the cursor movement amount to the amount (cursor movement amount/mouse movement amount). For example, if the input device is a keyboard, the degree of information input by the keyboard is the key pressing time, and the output device is a monitor, and the degree of visual information presented from the monitor is the amount of cursor movement, the key The matching information 1113 may be the ratio of the cursor movement amount to the pressing time (cursor movement amount/key pressing time).
  • the visual information may be another object (for example, video) instead of the cursor, and the degree of visual information presented may be the movement amount, movement speed, or vibration frequency of the object.
  • the degree of visual information presented is not the amount of movement, movement speed, or vibration frequency of the cursor or object, but the amount of change in the size and change speed of other objects, the amount of change in saturation and brightness (transition amount).
  • the input device is a gesture sensor
  • the degree of information input by the gesture sensor is the amount of movement of the body part
  • the output device is a monitor
  • the degree of visual information presented therefrom is the size of the object. It may be the amount of change, the amount of change in saturation or luminance.
  • the matching information 1113 may be the ratio of the amount of change in the size of the object to the amount of movement of the body part (the amount of change in the size of the object/the amount of movement of the body part).
  • the presented visual information may be changed in a complex manner.
  • an object which is a video image presented as visual information, may be deformed so as to be concave in the depth direction of the screen, or the surface pattern of the object may be deformed or moved (for example, moved or rotated). good.
  • the matching information 1113 may be the ratio of the movement speed of the pattern to the movement amount of the mouse or body part input by the input device (pattern movement speed/movement amount).
  • the output device may be a real object such as a robot arm, and the degree of visual information presented therefrom may be the amount of movement of the real object.
  • the matching information 1113 may be the ratio of the amount of movement of the real object to the amount of movement of the mouse or the body part input by the input device (the amount of movement of the real object/the amount of movement of the mouse or the body part).
  • the degree of information input by the input device is the input time
  • the degree of visual information presented by the output device is the presentation time
  • the delay (time difference) from the input time to the presentation time is the matching information 1113.
  • the matching information 1113 may be a combination of the ratios and delays described above. However, these do not limit the present invention.
  • correspondence information 1110 illustrated in FIG. 2 registered user interface information 1111, pseudo-tactile information 1112, and matching information 1113 are associated with each other.
  • the correspondence information 1110 illustrated in FIG. 2 is a table from which matching information 1113 corresponding to the registered user interface information 1111 and the pseudo-tactile information 1112 can be obtained using the registered user interface information 1111 and the pseudo-tactile information 1112 as keys. It has become. However, this does not limit the present invention either, and at least part of the correspondence information 1110 may be represented by a function (mathematical model).
  • the relationship with the matching information 1113 may be represented as a function (not shown), or the relationship between at least part of the registered user interface information 1111 and the matching information 1113 may be represented as a function (not shown).
  • the relationship between at least part of the pseudo-tactile information 1112 and the matching information 1113 may be expressed as a function (not shown).
  • a function that receives the registered user interface information 1111 and the pseudo-tactile information 1112 and returns matching information 1113 may be stored as the correspondence information 1110 in the storage unit 111 .
  • a function may be set for each piece of registered user interface information 1111 that receives the pseudo-tactile information 1112 as input and returns matching information 1113 .
  • only some records of the correspondence information 1110 may be represented by functions, or all records may be represented by functions.
  • FIG. 3 shows a function that receives the presentation intensity of the pseudo-tactile information 1112 and returns the (cursor movement amount/mouse movement amount) ratio of the matching information 1113 .
  • such a function is associated with a record in which the input device of the registered user interface information 1111 is a mouse, the output device is a monitor, and the presented tactile sensation of the pseudo-tactile information 1112 is resistance.
  • the input device of the registered user interface information 1111 is a mouse
  • the output device is a monitor
  • the presented tactile sensation of the pseudo-tactile information 1112 is resistance.
  • these do not limit the present invention.
  • Interface unit 116 (first input unit) includes input device 12-m (specific input device) and output device used for presenting pseudo-tactile sense among input devices 12-1 to 12-M and output devices 13-1 to 13-N.
  • Designation information SUI (first designation information) designating 13-n (specific output device) (specific user interface including both a specific input device and a specific output device) is received.
  • the designation information SUI may be information (for example, automatically detected information) representing any of the input devices 12-m and output devices 13-n connected to the interface unit 116, or information connected to the interface unit 116. It may be information input by any of the input devices 12-1 to 12-M.
  • the designation information SUI input to the interface unit 116 is sent to the compatibility setting unit 112 (step S116).
  • the application unit 113 outputs a tactile sense presentation request to present a desired pseudo tactile sense to the user 100 .
  • This tactile sense presentation request includes designation information SSH (second designation information) that designates the content of the pseudo tactile sensation to be presented (for example, at least one of the presented tactile sensation and the presentation intensity of the pseudo tactile sensation).
  • the specification information SSH may specify the content of a single pseudo-haptic sensation, or may specify the content of a plurality of pseudo-haptic sensations.
  • a tactile sensation presentation request including the designation information SSH is sent to the API section 114 . That is, the API unit 114 (second input unit) receives a tactile sensation presentation request that includes designation information SSH (second designation information) that designates the content of the pseudo tactile sensation to be presented.
  • the API section 114 sends the tactile sensation presentation request to the adaptation setting section 112 .
  • the compatibility setting unit 112 discloses a predetermined IF (interface) to the application unit 113, and the application unit 113 receives a tactile sensation presentation request including the designation information SSH via this IF.
  • FIG. 4A illustrates an IF for conveying the presentation tactile sensation and presentation intensity.
  • the specification information SSH specifies the contents of multiple pseudo-haptics
  • the application unit 113 may be implemented in any way.
  • the application unit 113 may be implemented as a web application accessed through a web browser, or may be implemented as an embedded system in the pseudo-tactile presentation device 11 (step S113).
  • the compatibility setting unit 112 receives the designation information SUI sent in step S116 and the tactile presentation request including the designation information SSH sent in step S113.
  • the compatibility setting unit 112 uses the correspondence information 1110 stored in the storage unit 111 to represent the specific user interface (input device 12-m and output device 13-n) designated by the designation information SUI (first designation information).
  • Specified compatibility information that is compatibility information 1113 corresponding to registered user interface information 1111 and pseudo-tactile information 1112 representing a pseudo-tactile sensation (presentation tactile sensation and presentation intensity) specified by specification information SSH (second specification information) get
  • the compatibility setting unit 112 searches the correspondence information 1110 using the designation information SUI and the designation information SSH as keys, and retrieves the record of the registered user interface information 1111 representing the input device and the output device designated by the designation information SUI and the designation information SSH.
  • Specific matching information which is a record of matching information 1113 associated with a record of pseudo-tactile information 1112 representing a pseudo-tactile sensation of the presentation tactile sensation and presentation intensity specified in , is obtained.
  • the specific match information is sent to the output information acquisition unit 115 (step S112).
  • the user 100 inputs input information for presenting a pseudo-tactile sensation (information input to the input device for presenting a pseudo-tactile sensation) into the input device 12-m used for presenting the pseudo-tactile sensation.
  • the input device 12-m accepts the input information and sends it to the interface unit 116.
  • FIG. Interface section 116 sends the input information to output information acquisition section 115 .
  • the input information and the specific matching information sent in step S112 are input to the output information acquisition unit 115 .
  • the output information acquisition unit 115 obtains and outputs output information representing visual information presented from the output device 13-n (specific user interface, specific output device) according to the input information.
  • the output information is information representing visual information presented from the output device 13-n (specific output device) in response to information input to the input device 12-m (specific input device).
  • the output information acquisition unit 115 responds to input parameters (for example, movement amount, operation time, etc.) based on information input to the input device 12-m based on the input-output parameter relationship represented by the specific matching information.
  • output parameters representing visual information presented from the output device 13-n (for example, movement amount, movement speed, change amount, change speed, vibration frequency, etc.) are obtained and output as output information.
  • the output information is input to the interface unit 116, and the interface unit 116 outputs the output information to the output device 13-n used for presenting the pseudo-tactile sensation.
  • the output device 13-n presents visual information (for example, motion of images and real objects) based on the output information. Thereby, the user 100 perceives the pseudo-tactile sense requested by the tactile sense presentation request presented by the application unit 113 (step S115).
  • the pseudo-tactile sense presentation device 11 of the present embodiment uses first designation information (designation information SUI), a plurality of registered user interface information 1111 representing a plurality of mutually different registered user interfaces (input devices 12-1 to M and output devices 13-1 to 13-N), and a registered user interface for presenting a pseudo tactile sensation.
  • output device 13-n output information representing visual information presented from a specific user interface
  • the plurality of registered user interfaces include both input devices (input devices 12-1 to M) and output devices (output devices 13-1 to 13-N), and the plurality of registered user interface information 1111 is , represents both the input devices (input devices 12-1 to M) and the output devices (output devices 13-1 to N), and the plurality of matching information 1113 represents the input device (input device 12- 1 to M) to specify the visual information presented from the output devices (output devices 13-1 to 13-N), and is specified by the first specification information (specification information SUI).
  • the specific user interface includes both the specific input device (input device 12-m) and the specific output device (output device 13-n), and the output information presented from the output information acquisition unit 115 is the specific input device (input This is information representing visual information presented from a specific output device (output device 13-n) in response to information input to the device 12-m).
  • any combination of the specific input device (input device 12-m) and the specific output device (output device 13-n) can present a desired pseudo-tactile sensation.
  • the application unit 113 may send a tactile sense presentation request via the API unit 114 . Therefore, for example, even if an input device or an output device used for presenting a pseudo-tactile sensation is replaced, the application unit 113 does not need to be changed.
  • the registered user interface includes both input devices (input devices 12-1 to M) and output devices (output devices 13-1 to N), and registered user interface information 1111 includes input devices (input An example representing both devices (devices 12-1-M) and output devices (output devices 13-1-N) has been shown (FIG. 2).
  • the input device is fixed (for example, fixed to the input device 12-1), the input device may be omitted from the registered user interface and the information representing the input device may be omitted from the registered user interface information 1111.
  • the registered user interface may include only the output devices (output devices 13-1 to 13-N), and the registered user interface information 1111 may represent only the output devices (output devices 13-1 to 13-N).
  • the output device is fixed (for example, the output device 13-1)
  • the output device may be omitted from the registered user interface and the information representing the output device may be omitted from the registered user interface information 1111.
  • the registered user interface may include only the input devices (input devices 12-1 to 12-M), and the registered user interface information 1111 may represent only the input devices (input devices 12-1 to 12-M).
  • the plurality of registered user interfaces include at least one of input devices (input devices 12-1 to M) and output devices (output devices 13-1 to 13-N), and the plurality of registered user interface information 1111 includes input devices ( input devices 12-1 to 12-M) and output devices (output devices 13-1 to 13-N).
  • Information for specifying the visual information presented from the output device, and the specific user interface specified by the first specification information (specification information SUI) includes the specific input device (input device 12-m) and the specific output device (
  • the output information output from the output information acquisition unit 115 includes at least one of the output devices 13-n). -n) may be information representing visual information presented from. Others are the same as the first embodiment.
  • the correspondence information 1110 includes a plurality of pseudo-tactile information 1112 representing different pseudo-tactile contents (FIG. 2).
  • the corresponding information 1110 may not include the pseudo-haptic information 1112 .
  • the tactile presentation request output from the application unit 113 may not include the designation information SSH (second designation information).
  • the conformity setting unit 112 uses the correspondence information 1110 stored in the storage unit 111 to use the specific user interface (the input device 12-m and the output device 13-n) designated by the designation information SUI (first designation information). ) can be obtained as the specific matching information, which is matching information 1113 corresponding to the registered user interface information 1111. Others are the same as the first embodiment.
  • a pseudo-tactile presentation system 2 of the present embodiment includes a pseudo-tactile presentation device 21 for presenting a pseudo-tactile sensation based on visual information, and a pseudo-tactile presentation device 21 for presenting a pseudo-tactile sensation based on the visual information. It has input devices 12-1 to 12-M and output devices 13-1 to 13-N, which are user interfaces. However, in this embodiment, M is an integer of 2 or more, and N is an integer of 1 or more. Further, in the present embodiment, all of the output devices 13-1 to 13-N may be devices that present visual information, or only some of the output devices 13-1 to 13-N may be devices that present visual information.
  • the pseudo-tactile sense presentation device 21 has a storage section 111 , an adaptation setting section 212 , an application section 113 , an API section 114 , an output information acquisition section 215 and an interface section 116 .
  • the hardware configuration of the pseudo-tactile sense presentation device 21 will be described later.
  • Correspondence information 2110 is stored in the storage unit 111 as preprocessing.
  • the correspondence information 2110 of this embodiment includes input devices 12-1 to M and output devices 13-1 to N (a plurality of different registered user interfaces, both input devices and output devices).
  • Visual information presented from the output devices 13-1 to 13-N in response to the information input to the input devices 12-1 to 12-M for 2113 is information representing the correspondence (relationship) between a plurality of matching information 2113 for specifying the visual information to be displayed.
  • the correspondence information 2110 of this embodiment differs from the correspondence information 1110 of the first embodiment in the following points.
  • the first difference is that the correspondence information 2110 of this embodiment is, instead of the registered user interface information 1111, information representing the input devices 12-1 to M (input devices) and Information representing a first registered output device (output device A) that presents visual information of the first type, and second registered output that presents information of a second type different from the first type among the output devices 13-1 to 13-N
  • the point is that it has registered user interface information 2111, which is a combination including information representing the device (output device B). That is, the specific user interface of this embodiment includes a first specific output device that presents a first type of visual information and a second specific output device that presents a second type of information different from the first type.
  • the second type of information may be visual information, tactile information, auditory information, olfactory information, or gustatory information. good too.
  • the registered user interface information 2111 illustrated in FIG. 5 includes the input devices 12-1 to 12-M (input devices, such as mouse) and a first registered output device (output device A, such as monitor) that presents the first type of visual information. and a second registered output device (output device B, for example, vibration actuator) that presents the second type of information.
  • the correspondence information 2110 of this embodiment includes the first registered output device (output device A, for example, a monitor) and the second registered output device ( It has a plurality of matching information 2113 for specifying the first-type visual information and the second-type information presented from the output device B (for example, a vibration actuator).
  • the matching information 2113 is from the first registered output device (output device A, for example, monitor) with respect to information (eg, input parameters) input to the input devices 12-1 to 12-M for presenting a pseudo-tactile sensation.
  • matching information 2113 represents input parameters input to input devices 12-1 to 12-M and visual information presented from the first registered output device (output device A, for example, monitor).
  • the relationship between the input-output A parameter, which is the relationship with the output parameter, and the input parameters input to the input devices 12-1 to 12-M and the information presented from the second registered output device (output device B, for example, vibration actuator) It may represent an input-output B-parameter relationship, which is a relationship with an output parameter that represents . Others are as described in the first embodiment.
  • the interface unit 116 (first input unit) includes an input device 12-m (specific input device) included in the input devices 12-1 to 12-M and an output device 13- 1 to N, an output device 13-n 1 (first specified output device) that presents the first type of visual information and 13-n 2 (second specified output device) that presents a second type of information different from the first type output device) and designation information SUI (first designation information) is received.
  • the specific user interface of this embodiment includes a first specific output device that presents a first type of visual information and a second specific output device that presents a second type of information different from the first type.
  • the designation information SUI may be information (for example, automatically detected information) representing any of the input devices 12-m and output devices 13-n 1 and n 2 connected to the interface unit 116, or the interface The information may be input by any of the input devices 12-1 to 12-M connected to the unit 116.
  • FIG. The designation information SUI input to interface section 116 is sent to compatibility setting section 212 (step S216).
  • the application unit 113 outputs a tactile sense presentation request including the designation information SSH.
  • a tactile sensation presentation request including the designation information SSH is sent to the API section 114 .
  • the API section 114 sends the tactile sensation presentation request to the compatibility setting section 212 (step S213).
  • the compatibility setting unit 212 receives the designation information SUI sent in step S216 and the tactile sensation presentation request including the designation information SSH sent in step S213.
  • the compatibility setting unit 212 uses the correspondence information 2110 stored in the storage unit 111 to configure the specific user interface (input device 12-m and output device 13-n 1, 13) specified by the specification information SUI (first specification information). -n 2 ) and pseudo-tactile information 1112 representing the pseudo-tactile sensation of the content (presentation tactile sensation and presentation intensity) specified by the specification information SSH (second specification information). 2113 specific matching information is obtained.
  • the specific matching information is sent to the output information acquisition unit 215 (step S212).
  • the user 100 inputs input information for presenting the pseudo-tactile sensation (information input to the input device for presenting the pseudo-tactile sensation) to the input device 12-m used for presenting the pseudo-tactile sensation.
  • the input device 12-m accepts the input information and sends it to the interface unit 116.
  • FIG. Interface section 116 sends the input information to output information acquisition section 215 .
  • the output information acquisition unit 215 receives the input information and the specific matching information sent in step S212.
  • the output information acquisition unit 215 outputs first output information representing the first type of visual information presented from the output device 13-n 1 (first specific output device) according to the input information, and the output device 13-n 2 (second specified output device) obtains and outputs second output information representing the second type of information presented.
  • the first output information is input to the interface unit 116, and the interface unit 116 outputs the first output information to the output device 13- n1 used for presenting the pseudo-tactile sensation.
  • the second output information is input to the interface unit 116, and the interface unit 116 outputs the second output information to the output device 13- n2 used for presenting the pseudo-tactile sensation.
  • the output device 13- n1 presents the first type of visual information (for example, motion of images and real objects) based on the first output information.
  • the output device 13- n2 presents the second type of information based on the second output information. Thereby, the user 100 perceives the pseudo-tactile sense requested by the tactile sense presentation request presented by the application unit 113 (step S215).
  • Modification 1 of Second Embodiment As in Modification 1 of the first embodiment, in the second embodiment, if the input device is fixed, the input device is omitted from the registered user interface, and the information representing the input device is omitted from the registered user interface information 2111. good too.
  • the correspondence information 2110 does not need to include the pseudo-haptic information 1112 if the content of the pseudo-haptic to be presented is fixed in the second embodiment as well.
  • Multiple input devices may be used together to present the pseudo-tactile sensation.
  • an example in which two input devices are used together will be explained below. However, this does not limit the invention, and three or more input devices may be used together.
  • a pseudo-tactile presentation system 3 of the present embodiment includes a pseudo-tactile presentation device 31 for presenting a pseudo-tactile sensation based on visual information, and a pseudo-tactile presentation device 31 for presenting a pseudo-tactile sensation based on the visual information. It has input devices 12-1 to 12-M and output devices 13-1 to 13-N, which are user interfaces. However, in this embodiment, M is an integer of 1 or more, and N is an integer of 2 or more.
  • the pseudo-tactile sense presentation device 31 has a storage unit 111 , an adaptation setting unit 312 , an application unit 113 , an API unit 114 , an output information acquisition unit 315 and an interface unit 116 . The hardware configuration of the pseudo-tactile presentation device 31 will be described later.
  • Correspondence information 3110 is stored in the storage unit 111 as preprocessing.
  • the correspondence information 3110 of this embodiment includes input devices 12-1 to M and output devices 13-1 to N (a plurality of different registered user interfaces, both input devices and output devices).
  • a plurality of registered user interface information 3111 representing a plurality of registered user interfaces
  • a plurality of pseudo-tactile information 1112 representing presentation tactile sensations and presentation strengths of mutually different pseudo-tactile sensations (contents of mutually different pseudo-tactile sensations)
  • the correspondence information 3110 of this embodiment differs from the correspondence information 1110 of the first embodiment in the following points.
  • the first difference is that the correspondence information 3110 of this embodiment is a third registered input device (input device C ), information representing a fourth registration input device (input device D) that receives fourth type information different from the third type information among the input devices 12-1 to M, and output devices 13-1 to
  • the point is that it has registered user interface information 3111, which is a combination with information representing N (output device). That is, the registration user interface includes a third registration input device for receiving third type information and a fourth registration input device for receiving fourth type information.
  • a third registered input device (input device C, such as a mouse or a keyboard) that receives the third type of information
  • a fourth registered input device (input device) that receives the fourth type of information.
  • the correspondence information 3110 of the present embodiment includes a third registration input device (input device C, for example, a mouse or a keyboard) and a fourth registration input device for presenting a pseudo-tactile sensation instead of the matching information 1113.
  • a third registration input device input device C, for example, a mouse or a keyboard
  • a fourth registration input device for presenting a pseudo-tactile sensation instead of the matching information 1113.
  • From the output devices 13-1 to 13-N registered user interface, output device, for example monitor) for information including the third type information and the fourth type information input to the device (input device D, for example, sensor)
  • the point is that it has matching information 3113 for specifying the visual information to be presented.
  • the matching information 3113 corresponds to information (for example, input parameters) input to the third registration input device (input device C, for example, mouse or keyboard) for presenting a pseudo-tactile sensation, and output devices 13-1 to Visual information presented from N (output device, e.g., monitor) and information (e.g., input parameters) input to the fourth registration input device (input device D, e.g., sensor) to present a pseudo-tactile sensation
  • the output devices 13-1 to 13-N output devices such as monitors.
  • the matching information 3113 is composed of input parameters input to the third registration input device (input device C, such as a mouse or keyboard) and output devices 13-1 to N (output devices, such as monitors). ), and the input parameter input to the fourth registration input device (input device D, for example, sensor) and the output device 13 It may represent the relationship of the input D-output parameter, which is the relationship of the output parameter representing the visual information presented from -1 to N (output device, eg, monitor). Others are as described in the first embodiment.
  • Interface unit 116 receives input device 12-m 3 (third specified input device), the input device 12-m 4 (fourth specified input device) that receives information of the fourth type different from the third type, and the specification information SUI (first specified input device) that specifies the output devices 13-1 to N information). That is, the specific user interface of this embodiment includes a third specific input device that receives information of the third type and a fourth specific input device that receives information of a fourth type different from the third type.
  • the specification information SUI may be information (for example, automatically detected information) representing any of the input devices 12-m 3 and m 4 and the output device 13-n connected to the interface unit 116, or the interface The information may be input by any of the input devices 12-1 to 12-M connected to the unit 116.
  • FIG. The designation information SUI input to the interface unit 116 is sent to the compatibility setting unit 312 (step S316).
  • the application unit 113 outputs a tactile sense presentation request including the designation information SSH.
  • a tactile sensation presentation request including the designation information SSH is sent to the API section 114 .
  • the API section 114 sends the tactile sensation presentation request to the compatibility setting section 312 (step S313).
  • the compatibility setting unit 312 receives the designation information SUI sent in step S316 and the tactile sense presentation request including the designation information SSH sent in step S313.
  • the compatibility setting unit 312 uses the correspondence information 3110 stored in the storage unit 111 to configure the specific user interfaces (input devices 12-m 3 and 12-m 4 and output devices 13-n) and pseudo-tactile information 1112 representing the pseudo-tactile sensation of the contents (presented tactile sensation and presentation intensity) specified by the specified information SSH (second specified information). 3113 specific matching information is obtained.
  • the specific matching information is sent to the output information acquisition unit 315 (step S312).
  • the user 100 inputs the third type of input information for presenting the pseudo tactile sensation to the input device 12- m3 used for presenting the pseudo tactile sensation, and presents the pseudo tactile sensation to the input device 12- m4 .
  • the input devices 12-m 3 and 12-m 4 accept the input information of the third type and the input information of the fourth type and send them to the interface section .
  • the interface unit 116 sends the input information of the third type and the input information of the fourth type to the output information acquisition unit 315 .
  • the third type of input information, the fourth type of input information, and the specific matching information sent in step S312 are input to the output information acquisition unit 315 .
  • the output information acquisition unit 315 acquires third output information representing visual information presented from the output device 13-n in response to the third type of input information, and the fourth type of input
  • the fourth output information representing the visual information presented from the output device 13-n is obtained and output according to the information.
  • the third output information and the fourth output information are input to the interface section 116, and the interface section 116 outputs the third output information and the fourth output information to the output device 13-n used for presenting the pseudo-tactile sensation.
  • the output device 13-n presents visual information (for example, motion of images and real objects) based on the third output information and the fourth output information. Thereby, the user 100 perceives the pseudo-tactile sense requested by the tactile sense presentation request presented by the application unit 113 (step S315).
  • the correspondence information 3110 may not include the pseudo-haptic information 1112 if the content of the pseudo-haptic to be presented is fixed in the third embodiment as well.
  • the second embodiment may be combined with the third embodiment. That is, multiple input devices and multiple output devices may be used together to present a pseudo-tactile sensation.
  • An input device may not be used to present the pseudo-haptics.
  • a pseudo-tactile presentation system 4 of the present embodiment includes a pseudo-tactile presentation device 41 for presenting a pseudo-tactile sensation based on visual information, and a pseudo-tactile presentation device 41 for presenting a pseudo-tactile sensation based on the visual information. It has an input device 12-1 and output devices 13-1 to 13-N which are user interfaces. However, in this embodiment, N is an integer of 2 or more. In this embodiment, all of the output devices 13-1 to 13-N are devices that present visual information. A hardware configuration of the pseudo-tactile presentation device 41 will be described later.
  • Correspondence information 4110 is stored in the storage unit 111 as preprocessing.
  • the correspondence information 4110 of this embodiment includes a plurality of registered user interface information 4111 representing the output devices 13-1 to 13-N (a plurality of registered user interfaces different from each other), and presentation of pseudo tactile sensations different from each other.
  • a plurality of pieces of pseudo-tactile information 1112 representing tactile sensations and presentation intensities (contents of pseudo-tactile sensations different from each other), and visual information presented from the output devices 13-1 to 13-N for presenting the pseudo-tactile sensations (contents represented by the pseudo-tactile information).
  • It is information representing correspondence (relationship) with a plurality of matching information 4113 for specifying (visual information presented from the registered user interface for presenting a pseudo-tactile sensation).
  • the correspondence information 4110 of this embodiment differs from the correspondence information 1110 of the first embodiment in the following points.
  • the first difference is that the correspondence information 4110 of this embodiment is registered user interface information 4111, which is information representing the output devices 13-1 to 13-N (for example, monitors and robot arms) instead of the registered user interface information 1111. It is a point having
  • the corresponding information 4110 of this embodiment is, instead of the matching information 1113, a plurality of visual information for specifying the visual information presented from the output devices 13-1 to 13-N for presenting a pseudo-tactile sensation.
  • the adaptation information 4113 may include, for example, information for perceiving different softness (pseudo-tactile sensations) depending on the deformation speed of the visually presented object (presentation visual target). This is based on the natural law (physiological law) that the softness felt by a person viewing the presented visual object differs depending on the deformation speed of the presented visual object.
  • the matching information 4113 includes information (output parameter) representing the deformation speed of the object.
  • a second object that is in contact with or close to the first object (first presentation visual object) is applied to the first object so as to include a vibration component of a specific control frequency. It may include information for vibrating and making it appear that an apparent force (pseudo-tactile sensation) is being applied from the second object to the first object. This is done by vibrating a second presentation visual object that is in contact with or close to the first presentation visual object so as to include a vibration component of a specific control frequency, thereby vibrating the first presentation visual object. It is based on the natural law that it is possible to make it appear as if an apparent force is being applied from the visual object to the first presented visual object (the magnitude of the force can be perceived).
  • the matching information 4113 includes information (output parameter) representing the magnitude of the vibration component of the control frequency of the second object (4-7 Hz vibration frequency component [log(pixel ⁇ 2)]). I'm in.
  • the interface unit 116 receives designation information SUI (first designation information) designating one of the output devices 13-n as a specific user interface used for presenting the pseudo-tactile sensation. However, n ⁇ 1, . . . , N ⁇ .
  • the designation information SUI may be information (for example, automatically detected information) representing any output device 13-n connected to the interface unit 116, or any input device connected to the interface unit 116. It may be information entered by the device 12-1.
  • the designation information SUI input to interface section 116 is sent to compatibility setting section 412 (step S416).
  • the application unit 113 outputs a tactile sense presentation request including the designation information SSH.
  • a tactile sensation presentation request including the designation information SSH is sent to the API section 114 .
  • the API section 114 sends the tactile sensation presentation request to the compatibility setting section 412 (step S413).
  • the compatibility setting unit 412 receives the designation information SUI sent in step S416 and the tactile presentation request including the designation information SSH sent in step S413.
  • the compatibility setting unit 412 uses the correspondence information 4110 stored in the storage unit 111 to create registered user interface information 3111 representing the output device 13-n, which is the specific user interface designated by the designation information SUI (first designation information), Then, specific matching information, which is matching information 4113 corresponding to the pseudo-tactile information 1112 representing the pseudo-tactile sensation of the content (presentation tactile sensation and presentation intensity) specified by the specification information SSH (second specification information), is obtained.
  • the specific matching information is sent to the output information acquisition unit 415 (step S412).
  • the specific matching information sent in step S412 is input to the output information acquisition unit 415.
  • the output information acquisition unit 415 acquires and outputs output information representing visual information presented from the output device 13-n based on the specific matching information.
  • the output information is input to the interface unit 116, and the interface unit 116 outputs the output information to the output device 13-n used for presenting the pseudo-tactile sensation.
  • the output device 13-n presents visual information (for example, motion of images and real objects) based on the output information.
  • the user 100 perceives the pseudo-tactile sense requested by the tactile sense presentation request presented by the application unit 113 (step S415).
  • Modification 1 of the fourth embodiment As in Modification 1 of the first embodiment, in the fourth embodiment as well, if the contents of the pseudo-haptics to be presented are fixed, the corresponding information 4110 may not include the pseudo-haptic information 1112 .
  • the pseudo-tactile presentation devices 11, 21, 31, and 41 in each embodiment include, for example, a processor (hardware processor) such as a CPU (central processing unit), a RAM (random-access memory), and a ROM (read-only memory). It is a device configured by executing a predetermined program on a general-purpose or special-purpose computer having a memory such as . That is, the pseudo-tactile presentation devices 11, 21, 31, 41 in each embodiment, for example, have processing circuitry configured to implement the respective units.
  • This computer may have a single processor and memory, or may have multiple processors and memories.
  • This program may be installed in the computer, or may be recorded in ROM or the like in advance.
  • processing units may be configured using an electronic circuit that independently realizes processing functions instead of an electronic circuit that realizes functional configuration by reading a program like a CPU.
  • an electronic circuit that constitutes one device may include a plurality of CPUs.
  • FIG. 6 is a block diagram illustrating the hardware configuration of the pseudo-tactile presentation devices 11, 21, 31, and 41 in each embodiment.
  • the pseudo-tactile presentation devices 11, 21, 31, and 41 of this example include a CPU (Central Processing Unit) 10a, an input section 10b, an output section 10c, a RAM (Random Access Memory) 10d, a ROM ( (Read Only Memory) 10e, an auxiliary storage device 10f, a communication section 10h and a bus 10g.
  • the CPU 10a of this example has a control section 10aa, an arithmetic section 10ab, and a register 10ac, and executes various arithmetic processing according to various programs read into the register 10ac.
  • the input unit 10b is an input terminal for data input, a keyboard, a mouse, a touch panel, and the like.
  • the output unit 10c is an output terminal, a display, or the like from which data is output.
  • the communication unit 10h is a LAN card or the like controlled by the CPU 10a that has read a predetermined program.
  • the RAM 10d is SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or the like, and has a program area 10da in which a predetermined program is stored and a data area 10db in which various data are stored.
  • the auxiliary storage device 10f is, for example, a hard disk, an MO (Magneto-Optical disc), a semiconductor memory, or the like, and has a program area 10fa in which a predetermined program is stored and a data area 10fb in which various data are stored.
  • the bus 10g connects the CPU 10a, the input section 10b, the output section 10c, the RAM 10d, the ROM 10e, the communication section 10h, and the auxiliary storage device 10f so that information can be exchanged.
  • the CPU 10a writes the program stored in the program area 10fa of the auxiliary storage device 10f to the program area 10da of the RAM 10d according to the read OS (Operating System) program.
  • the CPU 10a writes various data stored in the data area 10fb of the auxiliary storage device 10f to the data area 10db of the RAM 10d. Then, the address on the RAM 10d where the program and data are written is stored in the register 10ac of the CPU 10a.
  • the control unit 10aa of the CPU 10a sequentially reads these addresses stored in the register 10ac, reads the program and data from the area on the RAM 10d indicated by the read address, and causes the calculation unit 10ab to sequentially execute the calculation indicated by the program, The calculation result is stored in the register 10ac.
  • the above program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such recording media are magnetic recording devices, optical discs, magneto-optical recording media, semiconductor memories, and the like.
  • the distribution of this program is carried out, for example, by selling, assigning, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Further, the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores the program recorded on a portable recording medium or transferred from a server computer in its own storage device. When executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer.
  • the processing according to the received program may be executed sequentially.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • the device is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.
  • the present invention is not limited to the above-described embodiments.
  • different users for example, the user 100 in FIG. 1 and the user 101′
  • a plurality of the pseudo-tactile sensation presentation processes may be executed in parallel.
  • pseudo-tactile presentation processing (first process) and the pseudo-haptic presentation process (second process) using the second specific user interface used by the user 100′ as the specific user interface (second process) may be executed in series or in parallel.
  • the conformity setting unit and the output information acquisition unit perform first processing for performing the first specific user interface as the specific user interface, and second processing for performing the second specific user interface different from the first specific user interface as the specific user interface. and may be executed.
  • the pseudo-tactile sensation presented by presenting the visual information represented by the output information obtained by the first processing from the first specific user interface is the visual information represented by the output information obtained by the second processing. is the same or substantially the same as the pseudo tactile sensation presented by presenting from the second specific user interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

擬似触覚提示装置は、擬似触覚の提示に利用される特定ユーザーインターフェースを指定する第１指定情報を受け付け、互いに異なる複数の登録ユーザーインターフェースを表す複数の登録ユーザーインターフェース情報と、擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報を特定するための複数の適合情報と、の対応を表す対応情報を用い、第１指定情報で指定された特定ユーザーインターフェースを表す登録ユーザーインターフェース情報に対応する適合情報である特定適合情報を得、当該特定適合情報に基づき、特定ユーザーインターフェースから提示される視覚情報を表す出力情報を得る。

Description

擬似触覚提示装置、擬似触覚提示方法、およびプログラム
　本発明は、入力情報に応じた出力情報を提示することで、ヒトに擬似的な触覚を知覚させる技術に関する。
　マウス、キーボード、ジェスチャセンサなどの入力装置への入力情報に応じた視覚情報をディスプレイ（モニタ）やタッチスクリーンなどの出力装置から提示することで、ヒトに擬似的な触覚（以下、「擬似触覚」という）を知覚させる技術が知られている（例えば、非特許文献１等参照）。この技術を用いることで、所望の擬似触覚を知覚させるアプリケーションを実現できる。
Y. Ujitoko and Y. Ban, "Survey of Pseudo-haptics: Haptic Feedback Design and Application Proposals," in IEEE Transactions on Haptics, doi: 10.1109/TOH.2021.3077619. [2021年12月19日検索], インターネット＜https://ieeexplore.ieee.org/document/9424469＞
　しかし、ヒトに所望の擬似触覚を知覚させるために必要な入力情報やそれに応じて提示する視覚情報は、入力装置や出力装置などのユーザーインターフェースの種別に依存する。そのため、ユーザーインターフェースごとに、アプリケーションを逐一設計しなければならず、アプリケーション設計の負担が大きい。これに限らず、いずれのユーザーインターフェースを用いても所望の擬似触覚を知覚させることができれば便利である。
　本発明は、このような点に鑑みてなされたものであり、登録された複数のユーザーインターフェース（以下「登録ユーザーインターフェース」）のうち、いずれのユーザーインターフェースを用いても所望の擬似触覚を知覚させることができる技術を提供することを目的とする。
　擬似触覚提示装置は、擬似触覚の提示に利用される特定ユーザーインターフェースを指定する第１指定情報を受け付け、互いに異なる複数の登録ユーザーインターフェースを表す複数の登録ユーザーインターフェース情報と、擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報を特定するための複数の適合情報と、の対応を表す対応情報を用い、第１指定情報で指定された特定ユーザーインターフェースを表す登録ユーザーインターフェース情報に対応する適合情報である特定適合情報を得、当該特定適合情報に基づき、特定ユーザーインターフェースから提示される視覚情報を表す出力情報を得る。
　これにより、複数の登録ユーザーインターフェースのうち、いずれのユーザーインターフェースを用いても所望の擬似触覚を知覚させることができる。
図１は、実施形態の擬似触覚提示装置の構成を例示したブロック図である。 図２は、対応情報を例示した図である。 図３は、適合情報を例示した図である。 図４Ａおよび図４Ｂは、ＡＰＩ（Application Programming Interface）部に公開されるＩＦ（インタフェース）を例示した図である。 図５は、対応情報を例示した図である。 図６は、対応情報を例示した図である。 図７は、対応情報を例示した図である。 図８は、擬似触覚提示装置のハードウェア構成を例示したブロック図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［第１実施形態］
　まず、本発明の第１実施形態を説明する。
　＜構成＞
　図１に例示するように、本実施形態の擬似触覚提示システム１は、視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置１１、ならびに、当該視覚情報に基づく擬似触覚を提示するためのユーザーインターフェースである入力装置１２－１～Ｍおよび出力装置１３－１～Ｎを有する。ここで、ＭおよびＮは１以上の整数である。例えば、入力装置１２－１～Ｍおよび出力装置１３－１～Ｎの少なくとも一方は複数個存在し、Ｍ＋Ｎは３以上の整数である。
　擬似触覚提示装置１１は、記憶部１１１、適合設定部１１２、アプリケーション部１１３、ＡＰＩ部１１４、出力情報取得部１１５、およびインタフェース部１１６を有する。擬似触覚提示装置１１のハードウェア構成については後述する。
　入力装置１２－１～Ｍは、情報の入力を受け付ける装置である。例えば、Ｍが２以上である場合、入力装置１２－１～Ｍは、互いに異なる種別の情報を受け付ける装置である。例えば、入力装置１２－１～Ｍは、マウス、キーボードやボタン等のボタン型入力装置、タッチセンサ付きのタッチパッドやタッチパネル、および、ジェスチャセンサ等の非接触型入力装置などである。しかし、これらは本発明を限定しない。
　出力装置１３－１～Ｎは、視覚情報を提示（例えば、出力、表示）する装置である。例えば、出力装置１３－１～Ｎは、視覚情報を画面に出力するモニタやタッチパネル、仮想空間で視覚情報を提示するバーチャルリアリティヘッドセット、視覚情報を投影するプロジェクタ、ロボットアームの変形や軌道を通じて利用者１００に実空間の視覚情報を提示するロボットアーム等の実物などである。しかし、これらは本発明を限定しない。
　＜事前処理＞
　事前処理として、記憶部１１１に対応情報１１１０が格納される。図２に例示するように、本実施形態の対応情報１１１０は、入力装置１２－１～Ｍおよび出力装置１３－１～Ｎ（互いに異なる複数の登録ユーザーインターフェース、入力装置および出力装置の両方を含む複数の登録ユーザーインターフェース）を表す複数の登録ユーザーインターフェース情報１１１１（それぞれが入力装置および出力装置の両方を表す複数の登録ユーザーインターフェース情報）と、互いに異なる擬似触覚の提示触感および提示強度（互いに異なる擬似触覚の内容）を表す複数の擬似触覚情報１１１２と、擬似触覚を提示するために入力装置１２－１～Ｍに入力される情報に対して出力装置１３－１～Ｎから提示される視覚情報（擬似触覚情報が表す内容の擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報）を特定するための複数の適合情報１１１３と、の対応（関係）を表す情報である。
　図２に例示する登録ユーザーインターフェース情報１１１１は、マウス、キーボード、ボタン、タッチパッド、タッチパネル、ジェスチャセンサなどの入力装置１２－１～Ｍ、および、モニタ、タッチパネル、バーチャルリアリティヘッドセット、プロジェクタ、ロボットアームなどの出力装置１３－１～Ｎを表す。
　図２に例示する擬似触覚情報１１１２の提示触感は、提示する擬似触感の種別を表す。例えば、提示触感は、抵抗感、重さ感、軟らかさ感（硬さ感）、摩擦感、粗さ感、凹凸感などのテクスチャの触覚属性であってもよいし（例えば、非特許文献１等参照）、素材感でもよいし、知覚される力（例えば物体を押したときの反力、物体から引っ張られる牽引力、遠隔で作用する磁力など）であってもよい。
　図２に例示する擬似触覚情報１１１２の提示強度は、知覚される擬似触覚の程度（例えば、大きさ、強さ）を表す。提示強度の例は、０～１００の整数スコアである。例えば、スコアが大きいほど知覚される擬似触覚が大きく、スコア０が「全く擬似触覚を知覚しない」ことを示し、スコア１００が「想像できる中で最も大きな擬似触覚を知覚する」ことを示してもよい。提示強度が５段階や７段階の値であってもよい。知覚される擬似触覚と等価な物理量を心理物理実験で定義し、その物理量を提示強度としてもよい。標準化またはデファクトスタンダード化された指標を用いて提示強度が表現されてもよい。例えば、サンドペーパーの番手（粒度：grit size）で提示強度が表現されてもよい。また、何らかの基準に対する擬似触覚の程度を表す指標の比率（倍率）を提示強度としてもよい。例えば、サンドペーパーの番手「#40」を基準とし（提示強度１とする）、それに対する、知覚される擬似触覚の程度を表すサンドペーパーの番手の比率を提示強度としてもよい。その他、提示強度が自然言語で表されてもよい。粗さである擬似触覚の程度が「ざらざら」「さらさら」などで表現されてもよいし、「全く粗く感じない」「すこし粗く感じる」などと表現されてもよい。
　適合情報１１１３は、擬似触覚を提示するために入力装置１２－１～Ｍに入力される情報（例えば、入力パラメータ）に対して出力装置１３－１～Ｎから提示される視覚情報（例えば、出力パラメータが表す視覚情報）を特定するための情報であれば、どのようなものであってもよい。例えば、適合情報１１１３が、入力パラメータと視覚情報を表す出力パラメータとの関係である入力‐出力パラメータの関係を表していてもよい。例えば、適合情報１１１３が、入力装置１２－１～Ｍに入力される情報の程度（例えば、移動量、操作時間などの入力パラメータ）と、出力装置１３－１～Ｎから提示される視覚情報の程度（例えば、移動量、移動速度、変化量、変化速度、振動周波数などの出力パラメータ）との比率を表していてもよい。例えば、入力装置がマウスであり、マウスで入力される情報の程度がマウス移動量であり、出力装置がモニタであり、そこから提示される視覚情報の程度がカーソル移動量である場合、マウス移動量に対するカーソル移動量の比（カーソル移動量／マウス移動量)が適合情報１１１３であってもよい。例えば、入力装置がキーボードであり、キーボードで入力される情報の程度がキーの押下時間であり、出力装置がモニタであり、そこから提示される視覚情報の程度がカーソル移動量である場合、キー押下時間に対するカーソル移動量の比（カーソル移動量／キー押下時間）が適合情報１１１３であってもよい。例えば、視覚情報が、カーソルではなく、他のオブジェクト（例えば、映像）であり、提示される視覚情報の程度が当該オブジェクトの移動量や移動速度や振動周波数であってもよい。例えば、提示される視覚情報の程度がカーソルやオブジェクトの移動量や移動速度や振動周波数ではなく、他のオブジェクトの大きさの変化量や変化速度、彩度や輝度の変化量（遷移量）であってもよい。例えば、入力装置がジェスチャセンサであり、ジェスチャセンサで入力される情報の程度が身体部位の移動量であり、出力装置がモニタであり、そこから提示される視覚情報の程度がオブジェクトの大きさの変化量や彩度や輝度の変化量であってもよい。例えば、身体部位の移動量に対するオブジェクトの大きさの変化量の比（オブジェクトの大きさの変化量／身体部位の移動量）が適合情報１１１３であってもよい。例えば、提示される視覚情報を複雑に変化させてもよい。例えば、視覚情報として提示される映像であるオブジェクトが画面の奥行方向に凹むように変形してもよいし、当該オブジェクトの表面の模様が変形したり動いたり（例えば、移動や回転）してもよい。このような場合、入力装置で入力されるマウスや身体部位の移動量に対する模様の動き速度の比（模様の動き速度／移動量）が適合情報１１１３であってもよい。出力装置がロボットアーム等の実物であり、そこから提示される視覚情報の程度が実物の移動量であってもよい。このような場合、入力装置で入力されるマウスや身体部位の移動量に対する実物の移動量の比（実物の移動量／マウスや身体部位の移動量）が適合情報１１１３であってもよい。入力装置で入力される情報の程度が入力時刻であり、出力装置から提示される視覚情報の程度が提示時刻であり、当該入力時刻から当該提示時刻までの遅延（時間差）が適合情報１１１３であってもよい。その他、上述した比や遅延の組み合わせが適合情報１１１３であってもよい。ただし、これらは本発明を限定するものではない。
　図２に例示する対応情報１１１０では、登録ユーザーインターフェース情報１１１１と、擬似触覚情報１１１２と、適合情報１１１３とが、互いに対応付けられている。例えば、図２に例示する対応情報１１１０は、登録ユーザーインターフェース情報１１１１と擬似触覚情報１１１２とをキーとして、登録ユーザーインターフェース情報１１１１および擬似触覚情報１１１２に対応する適合情報１１１３を得ることが可能なテーブルとなっている。ただし、これも本発明を限定するものではなく、対応情報１１１０の少なくとも一部が関数（数理モデル）によって表されていてもよい。例えば、登録ユーザーインターフェース情報１１１１の少なくとも一部（入力装置１２－１～Ｍおよび／または出力装置１３－１～Ｎ）と、擬似触覚情報１１１２の少なくとも一部（提示触感および／または提示強度）と、適合情報１１１３との関係が関数（図示せず）として表されていてもよいし、登録ユーザーインターフェース情報１１１１の少なくとも一部と、適合情報１１１３との関係が関数（図示せず）として表されていてもよいし、擬似触覚情報１１１２の少なくとも一部と、適合情報１１１３との関係が関数（図示せず）として表されていてもよい。例えば、登録ユーザーインターフェース情報１１１１と擬似触覚情報１１１２とを入力として適合情報１１１３を返す関数が対応情報１１１０として記憶部１１１に格納されていてもよい。例えば、各登録ユーザーインターフェース情報１１１１について、擬似触覚情報１１１２を入力として適合情報１１１３を返す関数が設定されていてもよい。その他、対応情報１１１０の一部のレコードのみが関数によって表されていてもよいし、すべてのレコードが関数によって表されていてもよい。図３に、擬似触覚情報１１１２の提示強度を入力として、適合情報１１１３の(カーソル移動量／マウス移動量)比を返す関数を表す。例えば、このような関数は、登録ユーザーインターフェース情報１１１１の入力装置がマウスであり、出力装置がモニタであり、擬似触覚情報１１１２の提示触感が抵抗感であるレコードに対応付けられている。ただし、これらは本発明を限定するものではない。
　＜擬似触覚提示処理＞
　以上の事前処理を前提として、以下の擬似触覚提示処理が実行され、これによって利用者１００に擬似触覚が提示される。
　インタフェース部１１６（第１入力部）は、入力装置１２－１～Ｍおよび出力装置１３－１～Ｎのうち、擬似触覚の提示に利用される入力装置１２－ｍ（特定入力装置）および出力装置１３－ｎ（特定出力装置）（特定入力装置および特定出力装置の両方を含む特定ユーザーインターフェース）を指定する指定情報SUI（第１指定情報）を受け付ける。ここで、ｍ∈｛１，…，Ｍ｝であり、ｎ∈｛１，…，Ｎ｝である。指定情報SUIは、インタフェース部１１６に接続された何れかの入力装置１２－ｍおよび出力装置１３－ｎを表す情報（例えば、自動検出された情報）であってもよいし、インタフェース部１１６に接続された入力装置１２－１～Ｍの何れかによって入力された情報であってもよい。インタフェース部１１６に入力された指定情報SUIは、適合設定部１１２に送られる（ステップＳ１１６）。
　アプリケーション部１１３は、利用者１００に所望の擬似触覚を提示する触覚提示要求を出力する。この触覚提示要求は、提示する擬似触覚の内容（例えば、擬似触覚の提示触感および提示強度の少なくとも一方）を指定する指定情報SSH（第２指定情報）を含む。指定情報SSHが単数の擬似触覚の内容を指定していてもよいし、複数の擬似触覚の内容を指定していてもよい。指定情報SSHを含む触覚提示要求はＡＰＩ部１１４に送られる。すなわち、ＡＰＩ部１１４（第２入力部）は、提示する擬似触覚の内容を指定する指定情報SSH（第２指定情報）を含む触覚提示要求を受け付ける。ＡＰＩ部１１４は当該触覚提示要求を適合設定部１１２に送る。例えば、適合設定部１１２は、アプリケーション部１１３に所定のIF（インタフェース）を公開しており、アプリケーション部１１３はこのIFを介して、指定情報SSHを含む触覚提示要求を受け付ける。図４Ａに、提示触感と提示強度を伝えるためのIFを例示する。指定情報SSHが複数の擬似触覚の内容を指定している場合、図４Ｂに例示するような、複数の提示触感および提示強度、ならびにそれらの配列の格納サイズを伝えるためのIFが用いられてもよい。なお、アプリケーション部１１３はどのように実装されていてもよい。例えば、アプリケーション部１１３は、ウェブブラウザを通じてアクセスされるウェブアプリケーションとして実装されていてもよいし、擬似触覚提示装置１１への組み込みシステムとして実装されていてもよい（ステップＳ１１３）。
　適合設定部１１２には、ステップＳ１１６で送られた指定情報SUIと、ステップＳ１１３で送られた指定情報SSHを含む触覚提示要求とが入力される。適合設定部１１２は、記憶部１１１に格納された対応情報１１１０を用い、指定情報SUI（第１指定情報）で指定された特定ユーザーインターフェース（入力装置１２－ｍおよび出力装置１３－ｎ）を表す登録ユーザーインターフェース情報１１１１、および、指定情報SSH（第２指定情報）で指定された内容（提示触感および提示強度）の擬似触覚を表す擬似触覚情報１１１２、に対応する適合情報１１１３である特定適合情報を得る。例えば、適合設定部１１２は、指定情報SUIおよび指定情報SSHをキーとして対応情報１１１０を検索し、指定情報SUIで指定された入力装置および出力装置を表す登録ユーザーインターフェース情報１１１１のレコードおよび指定情報SSHで指定された提示触感および提示強度の擬似触覚を表す擬似触覚情報１１１２のレコードに対応付けられている、適合情報１１１３のレコードである特定適合情報を得る。特定適合情報は出力情報取得部１１５に送られる（ステップＳ１１２）。
　利用者１００は、擬似触覚の提示に利用される入力装置１２－ｍに、擬似触覚を提示するための入力情報（擬似触覚を提示するために入力装置に入力される情報）を入力する。入力装置１２－ｍは、当該入力情報を受け付け、インタフェース部１１６に送る。インタフェース部１１６は、当該入力情報を出力情報取得部１１５に送る。出力情報取得部１１５には、当該入力情報およびステップＳ１１２で送られた特定適合情報が入力される。出力情報取得部１１５は、当該特定適合情報に基づき、当該入力情報に応じて出力装置１３－ｎ（特定ユーザーインターフェース、特定出力装置）から提示される視覚情報を表す出力情報を得て出力する。当該出力情報は、入力装置１２－ｍ（特定入力装置）に入力された情報に対して出力装置１３－ｎ（特定出力装置）から提示される視覚情報を表す情報である。例えば、出力情報取得部１１５は、特定適合情報が表す入力‐出力パラメータの関係に基づき、入力装置１２－ｍに入力された情報に基づく入力パラメータ（例えば、移動量、操作時間など）に対応する、出力装置１３－ｎから提示される視覚情報を表す出力パラメータ（例えば、移動量、移動速度、変化量、変化速度、振動周波数など）を出力情報として得て出力する。出力情報はインタフェース部１１６に入力され、インタフェース部１１６は当該出力情報を、擬似触覚の提示に利用される出力装置１３－ｎに出力する。出力装置１３－ｎは当該出力情報に基づく視覚情報（例えば、映像や実物の動き）を提示する。これにより、利用者１００は、アプリケーション部１１３から提示された触覚提示要求で要求された擬似触覚を知覚する（ステップＳ１１５）。
　上述のように、本実施形態の擬似触覚提示装置１１は、擬似触覚の提示に利用される特定ユーザーインターフェース（入力装置１２－ｍおよび出力装置１３－ｎ）を指定する第１指定情報（指定情報SUI）を受け付け、互いに異なる複数の登録ユーザーインターフェース（入力装置１２－１～Ｍおよび出力装置１３－１～Ｎ）を表す複数の登録ユーザーインターフェース情報１１１１と、擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報を特定するための複数の適合情報１１１３と、の対応を表す対応情報１１１０を用い、第１指定情報（指定情報SUI）で指定された特定ユーザーインターフェースを表す登録ユーザーインターフェース情報１１１１に対応する適合情報１１１３である特定適合情報を得、当該特定適合情報に基づき、特定ユーザーインターフェース（出力装置１３－ｎ）から提示される視覚情報を表す出力情報を得る。これにより、複数の登録ユーザーインターフェース（入力装置１２－１～Ｍおよび出力装置１３－１～Ｎ）のうち、いずれのユーザーインターフェースを用いても所望の擬似触覚を知覚させることができる。
　また、本実施形態では、複数の登録ユーザーインターフェースは、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の両方を含み、複数の登録ユーザーインターフェース情報１１１１は、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の両方を表し、複数の適合情報１１１３は、擬似触覚を提示するために入力装置（入力装置１２－１～Ｍ）に入力される情報に対して出力装置（出力装置１３－１～Ｎ）から提示される視覚情報を特定するための情報であり、第１指定情報（指定情報SUI）で指定される特定ユーザーインターフェースは、特定入力装置（入力装置１２－ｍ）および特定出力装置（出力装置１３－ｎ）の両方を含み、出力情報取得部１１５から提示される出力情報は、特定入力装置（入力装置１２－ｍ）に入力された情報に対して特定出力装置（出力装置１３－ｎ）から提示される視覚情報を表す情報である。
　以上により、どのような特定入力装置（入力装置１２－ｍ）と特定出力装置（出力装置１３－ｎ）との組み合わせであっても、所望の擬似触覚を提示することができる。これにより、アプリケーション部１１３の設計において、擬似触覚を提示するために利用する入力装置や出力装置を考慮する必要がなくなる。また、アプリケーション部１１３がＡＰＩ部１１４を介して触覚提示要求を送ればよい。そのため、例えば、擬似触覚を提示するために利用する入力装置や出力装置が置き換えられたとしても、アプリケーション部１１３の変更は不要である。
　［第１実施形態の変形例１］
　第１実施形態では、登録ユーザーインターフェースが、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の両方を含み、登録ユーザーインターフェース情報１１１１が、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の両方を表す例を示した（図２）。しかしながら、入力装置が固定なのであれば（例えば、入力装置１２－１に固定）、登録ユーザーインターフェースから入力装置が省略され、登録ユーザーインターフェース情報１１１１から入力装置を表す情報が省略されてもよい。すなわち、登録ユーザーインターフェースが出力装置（出力装置１３－１～Ｎ）のみを含み、登録ユーザーインターフェース情報１１１１が出力装置（出力装置１３－１～Ｎ）のみを表していてもよい。同様に、出力装置が固定なのであれば（例えば、出力装置１３－１）、登録ユーザーインターフェースから出力装置が省略され、登録ユーザーインターフェース情報１１１１から出力装置を表す情報が省略されてもよい。すなわち、登録ユーザーインターフェースが入力装置（入力装置１２－１～Ｍ）のみを含み、登録ユーザーインターフェース情報１１１１が入力装置（入力装置１２－１～Ｍ）のみを表していてもよい。すなわち、複数の登録ユーザーインターフェースは、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の少なくとも一方を含み、複数の登録ユーザーインターフェース情報１１１１は、入力装置（入力装置１２－１～Ｍ）および出力装置（出力装置１３－１～Ｎ）の少なくとも一方を表し、複数の適合情報１１１３は、擬似触覚を提示するために入力装置に入力される情報に対して出力装置から提示される視覚情報を特定するための情報であり、第１指定情報（指定情報SUI）で指定される特定ユーザーインターフェースは、特定入力装置（入力装置１２－ｍ）および特定出力装置（出力装置１３－ｎ）の少なくとも一方を含み、出力情報取得部１１５から出力される出力情報は、特定入力装置（入力装置１２－ｍ）に入力された情報に対して特定出力装置（出力装置１３－ｎ）から提示される視覚情報を表す情報であってもよい。その他は第１実施形態と同じである。
　［第１実施形態の変形例２］
　第１実施形態では、対応情報１１１０が互いに異なる擬似触覚の内容を表す複数の擬似触覚情報１１１２を含んでいた（図２）。しかし、提示される擬似触覚の内容が固定であれば、対応情報１１１０が擬似触覚情報１１１２を含まなくてもよい。この場合、アプリケーション部１１３から出力される触覚提示要求は指定情報SSH（第２指定情報）を含まなくてもよい。この場合、適合設定部１１２は、記憶部１１１に格納された対応情報１１１０を用い、指定情報SUI（第１指定情報）で指定された特定ユーザーインターフェース（入力装置１２－ｍおよび出力装置１３－ｎ）を表す登録ユーザーインターフェース情報１１１１に対応する適合情報１１１３である特定適合情報を得ればよい。その他は第１実施形態と同じである。
　［第２実施形態］
　擬似触覚を提示するために複数の出力装置が併用されてもよい。以下では、説明の簡略化のため、２個の出力装置が併用される例を説明する。しかし、これは本発明を限定するものではなく、３個以上の出力装置が併用されてもよい。以降、第１実施形態との相違点を中心に説明し、すでに説明した事項については同じ参照番号を用いて説明を簡略化する。
　＜構成＞
　図１に例示するように、本実施形態の擬似触覚提示システム２は、視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置２１、ならびに、当該視覚情報に基づく擬似触覚を提示するためのユーザーインターフェースである入力装置１２－１～Ｍおよび出力装置１３－１～Ｎを有する。ただし、本実施形態では、Ｍは２以上の整数であり、Ｎは１以上の整数である。また、本実施形態では、出力装置１３－１～Ｎのすべてが視覚情報を提示する装置であってもよいし、出力装置１３－１～Ｎの一部のみが、視覚情報を提示する装置であり、その他が振動や力覚や熱などの触覚情報を提示する装置であってもよいし、聴覚情報を提示する装置であってもよいし、嗅覚情報を提示する装置であってもよいし、味覚情報を提示する装置であってもよい。擬似触覚提示装置２１は、記憶部１１１、適合設定部２１２、アプリケーション部１１３、ＡＰＩ部１１４、出力情報取得部２１５、およびインタフェース部１１６を有する。擬似触覚提示装置２１のハードウェア構成については後述する。
　＜事前処理＞
　事前処理として、記憶部１１１に対応情報２１１０が格納される。図５に例示するように、本実施形態の対応情報２１１０は、入力装置１２－１～Ｍおよび出力装置１３－１～Ｎ（互いに異なる複数の登録ユーザーインターフェース、入力装置および出力装置の両方を含む複数の登録ユーザーインターフェース）を表す複数の登録ユーザーインターフェース情報２１１１と、互いに異なる擬似触覚の提示触感および提示強度（互いに異なる擬似触覚の内容）を表す複数の擬似触覚情報１１１２と、擬似触覚を提示するために入力装置１２－１～Ｍに入力される情報に対して出力装置１３－１～Ｎから提示される視覚情報（擬似触覚情報が表す内容の擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報）を特定するための複数の適合情報２１１３と、の対応（関係）を表す情報である。
　本実施形態の対応情報２１１０は、以下の点で第１実施形態の対応情報１１１０と相違する。第１の相違点は、本実施形態の対応情報２１１０が、登録ユーザーインターフェース情報１１１１に代えて、入力装置１２－１～Ｍ（入力装置）を表す情報と、出力装置１３－１～Ｎのうち第１種別の視覚情報を提示する第１登録出力装置（出力装置Ａ）を表す情報と、出力装置１３－１～Ｎのうち第１種別と異なる第２種別の情報を提示する第２登録出力装置（出力装置Ｂ）を表す情報との含む組み合わせである、登録ユーザーインターフェース情報２１１１を有する点である。すなわち、本実施形態の特定ユーザーインターフェースは、第１種別の視覚情報を提示する第１特定出力装置および第１種別と異なる第２種別の情報を提示する第２特定出力装置を含む。なお、第２種別の情報は、視覚情報であってもよいし、触覚情報であってもよいし、聴覚情報であってもよいし、嗅覚情報であってもよいし、味覚情報であってもよい。図５に例示する登録ユーザーインターフェース情報２１１１は、入力装置１２－１～Ｍ（入力装置、例えばマウス）と、第１種別の視覚情報を提示する第１登録出力装置（出力装置Ａ、例えばモニタ）と、第２種別の情報を提示する第２登録出力装置（出力装置Ｂ、例えば振動アクチュエータ）とを含む組み合わせである。
　第２の相違点は、本実施形態の対応情報２１１０が、適合情報１１１３に代えて、擬似触覚を提示するために第１登録出力装置（出力装置Ａ、例えばモニタ）および第２登録出力装置（出力装置Ｂ、例えば振動アクチュエータ）から提示される第１種別の視覚情報および第２種別の情報を特定するための複数の適合情報２１１３を有する点である。例えば、適合情報２１１３は、擬似触覚を提示するために入力装置１２－１～Ｍに入力される情報（例えば、入力パラメータ）に対して、第１登録出力装置（出力装置Ａ、例えばモニタ）から提示される視覚情報、および、当該入力装置１２－１～Ｍに入力される情報（例えば、入力パラメータ）に対して、第２登録出力装置（出力装置Ｂ、例えば振動アクチュエータ）から提示される情報を特定するための情報である。例えば、図５に例示するように、適合情報２１１３が、入力装置１２－１～Ｍに入力される入力パラメータと第１登録出力装置（出力装置Ａ、例えばモニタ）から提示される視覚情報を表す出力パラメータとの関係である入力‐出力Ａパラメータの関係、および、入力装置１２－１～Ｍに入力される入力パラメータと第２登録出力装置（出力装置Ｂ、例えば振動アクチュエータ）から提示される情報を表す出力パラメータとの関係である入力‐出力Ｂパラメータの関係を表していてもよい。その他は第１実施形態で説明した通りである。
　＜擬似触覚提示処理＞
　以上の事前処理を前提として、以下の擬似触覚提示処理が実行され、これによって利用者１００に擬似触覚が提示される。
　インタフェース部１１６（第１入力部）は、擬似触覚の提示に利用される特定ユーザーインターフェースとして、入力装置１２－１～Ｍに含まれる入力装置１２－ｍ（特定入力装置）と、出力装置１３－１～Ｎのうち、第１種別の視覚情報を提示する出力装置１３－ｎ１（第１特定出力装置）および第１種別と異なる第２種別の情報を提示する１３－ｎ２（第２特定出力装置）とを指定する指定情報SUI（第１指定情報）を受け付ける。すなわち、本実施形態の特定ユーザーインターフェースは、第１種別の視覚情報を提示する第１特定出力装置および第１種別と異なる第２種別の情報を提示する第２特定出力装置を含む。ここで、ｍ∈｛１，…，Ｍ｝であり、ｎ１∈｛１，…，Ｎ｝であり、ｎ２∈｛１，…，Ｎ｝であり、ｎ１≠ｎ２である。指定情報SUIは、インタフェース部１１６に接続された何れかの入力装置１２－ｍおよび出力装置１３－ｎ１,ｎ２を表す情報（例えば、自動検出された情報）であってもよいし、インタフェース部１１６に接続された入力装置１２－１～Ｍの何れかによって入力された情報であってもよい。インタフェース部１１６に入力された指定情報SUIは、適合設定部２１２に送られる（ステップＳ２１６）。
　第１実施形態で説明したように、アプリケーション部１１３は、指定情報SSHを含む触覚提示要求を出力する。指定情報SSHを含む触覚提示要求はＡＰＩ部１１４に送られる。ＡＰＩ部１１４は当該触覚提示要求を適合設定部２１２に送る（ステップＳ２１３）。
　適合設定部２１２には、ステップＳ２１６で送られた指定情報SUIと、ステップＳ２１３で送られた指定情報SSHを含む触覚提示要求とが入力される。適合設定部２１２は、記憶部１１１に格納された対応情報２１１０を用い、指定情報SUI（第１指定情報）で指定された特定ユーザーインターフェース（入力装置１２－ｍおよび出力装置１３－ｎ１，１３－ｎ２）を表す登録ユーザーインターフェース情報２１１１、および、指定情報SSH（第２指定情報）で指定された内容（提示触感および提示強度）の擬似触覚を表す擬似触覚情報１１１２、に対応する適合情報２１１３である特定適合情報を得る。当該特定適合情報は出力情報取得部２１５に送られる（ステップＳ２１２）。
　利用者１００は、擬似触覚の提示に利用される入力装置１２－ｍに、擬似触覚を提示するための入力情報（擬似触覚を提示するために入力装置に入力される情報）を入力する。入力装置１２－ｍは、当該入力情報を受け付け、インタフェース部１１６に送る。インタフェース部１１６は、当該入力情報を出力情報取得部２１５に送る。出力情報取得部２１５には、当該入力情報およびステップＳ２１２で送られた特定適合情報が入力される。出力情報取得部２１５は、当該特定適合情報に基づき、当該入力情報に応じて出力装置１３－ｎ１（第１特定出力装置）から提示される第１種別の視覚情報を表す第１出力情報、および出力装置１３－ｎ２（第２特定出力装置）から提示される第２種別の情報を表す第２出力情報を得て出力する。第１出力情報はインタフェース部１１６に入力され、インタフェース部１１６は当該第１出力情報を、擬似触覚の提示に利用される出力装置１３－ｎ１に出力する。また、第２出力情報はインタフェース部１１６に入力され、インタフェース部１１６は当該第２出力情報を、擬似触覚の提示に利用される出力装置１３－ｎ２に出力する。出力装置１３－ｎ１は当該第１出力情報に基づく第１種別の視覚情報（例えば、映像や実物の動き）を提示する。出力装置１３－ｎ２は当該第２出力情報に基づく第２種別の情報を提示する。これにより、利用者１００は、アプリケーション部１１３から提示された触覚提示要求で要求された擬似触覚を知覚する（ステップＳ２１５）。
　［第２実施形態の変形例１］
　第１実施形態の変形例１と同様、第２実施形態でも、入力装置が固定なのであれば、登録ユーザーインターフェースから入力装置が省略され、登録ユーザーインターフェース情報２１１１から入力装置を表す情報が省略されてもよい。
　［第２実施形態の変形例２］
　第１実施形態の変形例１と同様、第２実施形態でも、提示される擬似触覚の内容が固定であれば、対応情報２１１０が擬似触覚情報１１１２を含まなくてもよい。
　［第３実施形態］
　擬似触覚を提示するために複数の入力装置が併用されてもよい。以下では、説明の簡略化のため、２個の入力装置が併用される例を説明する。しかし、これは本発明を限定するものではなく、３個以上の入力装置が併用されてもよい。
　＜構成＞
　図１に例示するように、本実施形態の擬似触覚提示システム３は、視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置３１、ならびに、当該視覚情報に基づく擬似触覚を提示するためのユーザーインターフェースである入力装置１２－１～Ｍおよび出力装置１３－１～Ｎを有する。ただし、本実施形態では、Ｍは１以上の整数であり、Ｎは２以上の整数である。擬似触覚提示装置３１は、記憶部１１１、適合設定部３１２、アプリケーション部１１３、ＡＰＩ部１１４、出力情報取得部３１５、およびインタフェース部１１６を有する。擬似触覚提示装置３１のハードウェア構成については後述する。
　＜事前処理＞
　事前処理として、記憶部１１１に対応情報３１１０が格納される。図６に例示するように、本実施形態の対応情報３１１０は、入力装置１２－１～Ｍおよび出力装置１３－１～Ｎ（互いに異なる複数の登録ユーザーインターフェース、入力装置および出力装置の両方を含む複数の登録ユーザーインターフェース）を表す複数の登録ユーザーインターフェース情報３１１１と、互いに異なる擬似触覚の提示触感および提示強度（互いに異なる擬似触覚の内容）を表す複数の擬似触覚情報１１１２と、擬似触覚を提示するために入力装置１２－１～Ｍに入力される情報に対して出力装置１３－１～Ｎから提示される視覚情報（擬似触覚情報が表す内容の擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報）を特定するための複数の適合情報３１１３と、の対応（関係）を表す情報である。
　本実施形態の対応情報３１１０は、以下の点で第１実施形態の対応情報１１１０と相違する。第１の相違点は、本実施形態の対応情報３１１０が、登録ユーザーインターフェース情報１１１１に代えて、入力装置１２－１～Ｍのうち第３種別の情報を受け付ける第３登録入力装置（入力装置Ｃ）を表す情報と、入力装置１２－１～Ｍのうち第３種別の情報と異なる第４種別の情報を受け付ける第４登録入力装置（入力装置Ｄ）を表す情報と、出力装置１３－１～Ｎ（出力装置）を表す情報との組み合わせである、登録ユーザーインターフェース情報３１１１を有する点である。すなわち、登録ユーザーインターフェースは、第３種別の情報を受け付ける第３登録入力装置および第４種別の情報を受け付ける第４登録入力装置を含む。図６に例示する登録ユーザーインターフェース情報３１１１は、第３種別の情報を受け付ける第３登録入力装置（入力装置Ｃ、例えばマウスやキーボード）と、第４種別の情報を受け付ける第４登録入力装置（入力装置Ｄ、例えば、センサ）と、出力装置１３－１～Ｎ（出力装置、例えばモニタ）とを含む組み合わせである。
　第２の相違点は、本実施形態の対応情報３１１０が、適合情報１１１３に代えて、擬似触覚を提示するために第３登録入力装置（入力装置Ｃ、例えばマウスやキーボード）および第４登録入力装置（入力装置Ｄ、例えば、センサ）に入力された第３種別の情報および第４種別の情報を含む情報に対して出力装置１３－１～Ｎ（登録ユーザーインターフェース、出力装置、例えばモニタ）から提示される視覚情報を特定するための適合情報３１１３を有する点である。例えば、適合情報３１１３は、擬似触覚を提示するために第３登録入力装置（入力装置Ｃ、例えばマウスやキーボード）に入力される情報（例えば、入力パラメータ）に対して、出力装置１３－１～Ｎ（出力装置、例えばモニタ）から提示される視覚情報、および、擬似触覚を提示するために第４登録入力装置（入力装置Ｄ、例えば、センサ）に入力される情報（例えば、入力パラメータ）に対して、出力装置１３－１～Ｎ（出力装置、例えばモニタ）から提示される視覚情報、を特定するための情報である。例えば、図６に例示するように、適合情報３１１３が、第３登録入力装置（入力装置Ｃ、例えばマウスやキーボード）に入力される入力パラメータと出力装置１３－１～Ｎ（出力装置、例えばモニタ）から提示される視覚情報を表す出力パラメータとの関係である入力Ｃ‐出力パラメータの関係、および、第４登録入力装置（入力装置Ｄ、例えば、センサ）に入力される入力パラメータと出力装置１３－１～Ｎ（出力装置、例えばモニタ）から提示される視覚情報を表す出力パラメータとの関係である入力Ｄ‐出力パラメータの関係を表していてもよい。その他は第１実施形態で説明した通りである。
　＜擬似触覚提示処理＞
　以上の事前処理を前提として、以下の擬似触覚提示処理が実行され、これによって利用者１００に擬似触覚が提示される。
　インタフェース部１１６（第１入力部）は、擬似触覚の提示に利用される特定ユーザーインターフェースとして、入力装置１２－１～Ｍのうち、第３種別の情報を受け付ける入力装置１２－ｍ３（第３特定入力装置）および第３種別と異なる第４種別の情報を受け付ける入力装置１２－ｍ４（第４特定入力装置）と、出力装置１３－１～Ｎとを指定する指定情報SUI（第１指定情報）を受け付ける。すなわち、本実施形態の特定ユーザーインターフェースは、第３種別の情報を受け付ける第３特定入力装置および第３種別と異なる第４種別の情報を受け付ける第４特定入力装置を含む。ここで、ｍ３∈｛１，…，Ｍ｝であり、ｍ４∈｛１，…，Ｍ｝であり、ｍ３≠ｍ４であり、ｎ∈｛１，…，Ｎ｝である。指定情報SUIは、インタフェース部１１６に接続された何れかの入力装置１２－ｍ３，ｍ４および出力装置１３－ｎを表す情報（例えば、自動検出された情報）であってもよいし、インタフェース部１１６に接続された入力装置１２－１～Ｍの何れかによって入力された情報であってもよい。インタフェース部１１６に入力された指定情報SUIは、適合設定部３１２に送られる（ステップＳ３１６）。
　第１実施形態で説明したように、アプリケーション部１１３は、指定情報SSHを含む触覚提示要求を出力する。指定情報SSHを含む触覚提示要求はＡＰＩ部１１４に送られる。ＡＰＩ部１１４は当該触覚提示要求を適合設定部３１２に送る（ステップＳ３１３）。
　適合設定部３１２には、ステップＳ３１６で送られた指定情報SUIと、ステップＳ３１３で送られた指定情報SSHを含む触覚提示要求とが入力される。適合設定部３１２は、記憶部１１１に格納された対応情報３１１０を用い、指定情報SUI（第１指定情報）で指定された特定ユーザーインターフェース（入力装置１２－ｍ３，１２－ｍ４および出力装置１３－ｎ）を表す登録ユーザーインターフェース情報３１１１、および、指定情報SSH（第２指定情報）で指定された内容（提示触感および提示強度）の擬似触覚を表す擬似触覚情報１１１２、に対応する適合情報３１１３である特定適合情報を得る。当該特定適合情報は出力情報取得部３１５に送られる（ステップＳ３１２）。
　利用者１００は、擬似触覚の提示に利用される入力装置１２－ｍ３に擬似触覚を提示するための第３種別の入力情報を入力し、入力装置１２－ｍ４に擬似触覚を提示するための第４種別の入力情報を入力する。入力装置１２－ｍ３，１２－ｍ４は当該第３種別の入力情報および第４種別の入力情報を受け付け、インタフェース部１１６に送る。インタフェース部１１６は、当該第３種別の入力情報および第４種別の入力情報を出力情報取得部３１５に送る。出力情報取得部３１５には、当該第３種別の入力情報および第４種別の入力情報、ならびにステップＳ３１２で送られた特定適合情報が入力される。出力情報取得部３１５は、当該特定適合情報に基づき、当該第３種別の入力情報に応じて出力装置１３－ｎから提示される視覚情報を表す第３出力情報、および、当該第４種別の入力情報に応じて出力装置１３－ｎから提示される視覚情報を表す第４出力情報を得て出力する。第３出力情報および第４出力情報はインタフェース部１１６に入力され、インタフェース部１１６は当該第３出力情報および第４出力情報を、擬似触覚の提示に利用される出力装置１３－ｎに出力する。出力装置１３－ｎは当該第３出力情報および第４出力情報に基づく視覚情報（例えば、映像や実物の動き）を提示する。これにより、利用者１００は、アプリケーション部１１３から提示された触覚提示要求で要求された擬似触覚を知覚する（ステップＳ３１５）。
　［第３実施形態の変形例１］
　第１実施形態の変形例１と同様、第３実施形態でも、出力装置が固定なのであれば、登録ユーザーインターフェースから出力装置が省略され、登録ユーザーインターフェース情報３１１１から出力装置を表す情報が省略されてもよい。
　［第３実施形態の変形例２］
　第１実施形態の変形例１と同様、第３実施形態でも、提示される擬似触覚の内容が固定であれば、対応情報３１１０が擬似触覚情報１１１２を含まなくてもよい。
　［第３実施形態の変形例３］
　第３実施形態に第２実施形態が組み合わされてもよい。すなわち、擬似触覚を提示するために、複数の入力装置と複数の出力装置が併用されてもよい。
　［第４実施形態］
　擬似触覚を提示するために入力装置が用いられなくてもよい。
　＜構成＞
　図１に例示するように、本実施形態の擬似触覚提示システム４は、視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置４１、ならびに、当該視覚情報に基づく擬似触覚を提示するためのユーザーインターフェースである入力装置１２－１および出力装置１３－１～Ｎを有する。ただし、本実施形態では、Ｎは２以上の整数である。本実施形態では、出力装置１３－１～Ｎのすべてが視覚情報を提示する装置である。擬似触覚提示装置４１のハードウェア構成については後述する。
　＜事前処理＞
　事前処理として、記憶部１１１に対応情報４１１０が格納される。図７に例示するように、本実施形態の対応情報４１１０は、出力装置１３－１～Ｎ（互いに異なる複数の登録ユーザーインターフェース）を表す複数の登録ユーザーインターフェース情報４１１１と、互いに異なる擬似触覚の提示触感および提示強度（互いに異なる擬似触覚の内容）を表す複数の擬似触覚情報１１１２と、擬似触覚を提示するために出力装置１３－１～Ｎから提示される視覚情報（擬似触覚情報が表す内容の擬似触覚を提示するために登録ユーザーインターフェースから提示される視覚情報）を特定するための複数の適合情報４１１３と、の対応（関係）を表す情報である。
　本実施形態の対応情報４１１０は、以下の点で第１実施形態の対応情報１１１０と相違する。第１の相違点は、本実施形態の対応情報４１１０が、登録ユーザーインターフェース情報１１１１に代えて、出力装置１３－１～Ｎ（例えば、モニタやロボットアーム）を表す情報である登録ユーザーインターフェース情報４１１１を有する点である。
　第２の相違点は、本実施形態の対応情報４１１０が、適合情報１１１３に代えて、擬似触覚を提示するために出力装置１３－１～Ｎから提示される視覚情報を特定するための複数の適合情報４１１３を有する点である。適合情報４１１３は、例えば、視覚的に提示されるオブジェクト（提示視覚対象）の変形速度によって異なる柔らかさ感（擬似触覚）を知覚させるための情報を含んでいてもよい。これは、提示視覚対象の変形速度によって当該提示視覚対象を見たヒトが感じる柔らかさ感が異なるという自然法則（生理学上の法則）に基づく。図７の例では、適合情報４１１３がオブジェクトの変形速度を表す情報（出力パラメータ）を含んでいる。また、例えば、特定の制御振動数の振動成分を含むように、第１オブジェクト（第１提示視覚対象）に接触または近接する第２オブジェクト（第２提示視覚対象）を当該第１オブジェクトに対して振動させ、当該第２オブジェクトから当該第１オブジェクトに見掛け力（擬似触覚）が加えられているように見せるための情報を含んでいてもよい。これは、特定の制御振動数の振動成分を含むように、第１提示視覚対象に接触または近接する第２提示視覚対象を当該第１提示視覚対象に対して振動させることで、当該第２提示視覚対象から当該第１提示視覚対象に見掛け力が加えられているように見せることができる（力の大きさ感を知覚させることができる）という自然法則に基づく。図７の例では、適合情報４１１３が、第２オブジェクトの制御振動数の振動成分（4-7Hzの振動周波数成分[log(pixel^2)]）の大きさを表す情報（出力パラメータ）を含んでいる。
　＜擬似触覚提示処理＞
　以上の事前処理を前提として、以下の擬似触覚提示処理が実行され、これによって利用者１００に擬似触覚が提示される。
　インタフェース部１１６（第１入力部）は、擬似触覚の提示に利用される特定ユーザーインターフェースとして、何れかの出力装置１３－ｎを指定する指定情報SUI（第１指定情報）を受け付ける。ただし、ｎ∈｛１，…，Ｎ｝である。指定情報SUIは、インタフェース部１１６に接続された何れかの出力装置１３－ｎを表す情報（例えば、自動検出された情報）であってもよいし、インタフェース部１１６に接続された何れかの入力装置１２－１によって入力された情報であってもよい。インタフェース部１１６に入力された指定情報SUIは、適合設定部４１２に送られる（ステップＳ４１６）。
　第１実施形態で説明したように、アプリケーション部１１３は、指定情報SSHを含む触覚提示要求を出力する。指定情報SSHを含む触覚提示要求はＡＰＩ部１１４に送られる。ＡＰＩ部１１４は当該触覚提示要求を適合設定部４１２に送る（ステップＳ４１３）。
　適合設定部４１２には、ステップＳ４１６で送られた指定情報SUIと、ステップＳ４１３で送られた指定情報SSHを含む触覚提示要求とが入力される。適合設定部４１２は、記憶部１１１に格納された対応情報４１１０を用い、指定情報SUI（第１指定情報）で指定された特定ユーザーインターフェースである出力装置１３－ｎを表す登録ユーザーインターフェース情報３１１１、および、指定情報SSH（第２指定情報）で指定された内容（提示触感および提示強度）の擬似触覚を表す擬似触覚情報１１１２、に対応する適合情報４１１３である特定適合情報を得る。当該特定適合情報は出力情報取得部４１５に送られる（ステップＳ４１２）。
　出力情報取得部４１５には、ステップＳ４１２で送られた特定適合情報が入力される。出力情報取得部４１５は、当該特定適合情報に基づき、出力装置１３－ｎから提示される視覚情報を表す出力情報を得て出力する。出力情報はインタフェース部１１６に入力され、インタフェース部１１６は当該出力情報を、擬似触覚の提示に利用される出力装置１３－ｎに出力する。出力装置１３－ｎは当該出力情報に基づく視覚情報（例えば、映像や実物の動き）を提示する。これにより、利用者１００は、アプリケーション部１１３から提示された触覚提示要求で要求された擬似触覚を知覚する（ステップＳ４１５）。
　［第４実施形態の変形例１］
　第１実施形態の変形例１と同様、第４実施形態でも、提示される擬似触覚の内容が固定であれば、対応情報４１１０が擬似触覚情報１１１２を含まなくてもよい。
　［ハードウェア構成］
　各実施形態における擬似触覚提示装置１１，２１，３１，４１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。すなわち、各実施形態における擬似触覚提示装置１１，２１，３１，４１は、例えば、それぞれが有する各部を実装するように構成された処理回路（processing circuitry）を有する。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　図６は、各実施形態における擬似触覚提示装置１１，２１，３１，４１のハードウェア構成を例示したブロック図である。図６に例示するように、この例の擬似触覚提示装置１１，２１，３１，４１は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ、通信部１０ｈ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ等である。通信部１０ｈは、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ、通信部１０ｈ及び補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、擬似触覚提示装置１１，２１，３１，４１の機能構成が実現される。
　上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　［その他の変形例］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、互い異なる複数の特定ユーザーインターフェース（第１特定ユーザーインターフェース、および第１特定ユーザーインターフェースと異なる第２ユーザーインターフェースを含む）を用い、互いに異なる利用者（例えば、図１の利用者１００と利用者１０１’）に、同一または略同一の内容の擬似触覚を知覚させるために、第１から第４実施形態またはそれらの変形例の何れかの擬似触覚提示処理が複数回実行されてもよいし、複数の当該擬似触覚提示処理が並行に実行されてもよい。すなわち、同一または略同一の擬似触覚を互いに異なる利用者１００および利用者１００’に知覚させるために、利用者１００が使用する第１特定ユーザーインターフェースを特定ユーザーインターフェースとした擬似触覚提示処理（第１処理）と、利用者１００’が使用する第２特定ユーザーインターフェースを特定ユーザーインターフェースとした擬似触覚提示処理（第２処理）とが、直列または並列に実行されてもよい。言い換えると、適合設定部および出力情報取得部は、第１特定ユーザーインターフェースを特定ユーザーインターフェースとして行う第１処理と、第１特定ユーザーインターフェースと異なる第２特定ユーザーインターフェースを特定ユーザーインターフェースとして行う第２処理とを実行してもよい。ただし、第１処理によって得られた出力情報によって表される視覚情報を第１特定ユーザーインターフェースから提示することで提示される擬似触覚は、第２処理によって得られた出力情報によって表される視覚情報を第２特定ユーザーインターフェースから提示することで提示される擬似触覚と、同一または略同一である。
　上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
１，２，３，４：擬似触覚提示システム
１１，２１，３１，４１：擬似触覚提示装置
１１２，２１２，３１２，４１２：適合設定部
１１５，２１５，３１５，４１５：出力情報取得部

Claims (8)

  1. 　視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置であって、
    　擬似触覚の提示に利用される特定ユーザーインターフェースを指定する第１指定情報を受け付ける第１入力部と、
    　互いに異なる複数の登録ユーザーインターフェースを表す複数の登録ユーザーインターフェース情報と、擬似触覚を提示するために前記登録ユーザーインターフェースから提示される視覚情報を特定するための複数の適合情報と、の対応を表す対応情報を用い、前記第１指定情報で指定された前記特定ユーザーインターフェースを表す登録ユーザーインターフェース情報に対応する適合情報である特定適合情報を得る適合設定部と、
    　前記特定適合情報に基づき、前記特定ユーザーインターフェースから提示される視覚情報を表す出力情報を得る出力情報取得部と、
    を有する擬似触覚提示装置。
  2. 　請求項１の似触覚提示装置であって、
    　前記特定ユーザーインターフェースは、特定入力装置および特定出力装置の少なくとも一方を含み、
    　前記複数の登録ユーザーインターフェースは、互いに異なる複数の入力装置および互いに異なる複数の出力装置の少なくとも一方を含み、
    　前記複数の登録ユーザーインターフェース情報は、前記複数の入力装置および前記複数の出力装置の少なくとも一方を表し、
    　前記複数の適合情報は、擬似触覚を提示するために前記入力装置に入力される情報に対して前記出力装置から提示される視覚情報を特定するための情報であり、
    　前記出力情報は、前記特定入力装置に入力された情報に対して前記特定出力装置から提示される視覚情報を表す情報である、擬似触覚提示装置。
  3. 　請求項１または２の擬似触覚提示装置であって、
    　さらに、提示する擬似触覚の内容を指定する第２指定情報を受け付ける第２入力部をさらに有し、
    　前記対応情報は、前記複数の登録ユーザーインターフェース情報と、互いに異なる擬似触覚の内容を表す複数の擬似触覚情報と、前記擬似触覚情報が表す内容の擬似触覚を提示するために前記登録ユーザーインターフェースから提示される視覚情報を特定するための前記複数の適合情報と、の対応を表し、
    　前記適合設定部は、前記対応情報を用い、
    前記第１指定情報で指定された前記特定ユーザーインターフェースを表す登録ユーザーインターフェース情報、および、前記第２指定情報で指定された内容の擬似触覚を表す擬似触覚情報、
    に対応する適合情報である前記特定適合情報を得る、
    擬似触覚提示装置。
  4. 　請求項１から３の何れかの擬似触覚提示装置であって、
    　前記特定ユーザーインターフェースは、第１種別の視覚情報を提示する第１特定出力装置および前記第１種別と異なる第２種別の情報を提示する第２特定出力装置を含み、
    　前記複数の登録ユーザーインターフェースは、前記第１種別の視覚情報を提示する第１登録出力装置および前記第２種別の情報を提示する第２登録出力装置を含み、
    　前記複数の適合情報は、擬似触覚を提示するために前記第１登録出力装置および前記第２登録出力装置から提示される前記第１種別の視覚情報および前記第２種別の情報を特定するための情報である、
    擬似触覚提示装置。
  5. 　請求項１から４の何れかの擬似触覚提示装置であって、
    　前記特定ユーザーインターフェースは、第３種別の情報を受け付ける第３特定入力装置および前記第３種別と異なる第４種別の情報を受け付ける第４特定入力装置を含み、
    　前記複数の登録ユーザーインターフェースは、前記第３種別の情報を受け付ける第３登録入力装置および前記第４種別の情報を受け付ける第４登録入力装置を含み、
    　前記複数の適合情報は、擬似触覚を提示するために前記第３登録入力装置および前記第４登録入力装置に入力された前記第３種別の情報および前記第４種別の情報を含む情報に対して前記登録ユーザーインターフェースから提示される視覚情報を特定するための情報である、
    擬似触覚提示装置。
  6. 　請求項１から５の何れかの擬似触覚提示装置であって、
    　前記適合設定部および前記出力情報取得部は、第１特定ユーザーインターフェースを前記特定ユーザーインターフェースとして行う第１処理と、前記第１特定ユーザーインターフェースと異なる第２特定ユーザーインターフェースを前記特定ユーザーインターフェースとして行う第２処理とを実行し、
    　前記第１処理によって得られた前記出力情報によって表される視覚情報を前記第１特定ユーザーインターフェースから提示することで提示される擬似触覚は、前記第２処理によって得られた前記出力情報によって表される視覚情報を前記第２特定ユーザーインターフェースから提示することで提示される擬似触覚と、同一または略同一である、擬似触覚提示装置。
  7. 　視覚情報に基づく擬似触覚を提示するための擬似触覚提示装置による擬似触覚提示方法であって、
    　擬似触覚の提示に利用される特定ユーザーインターフェースを指定する第１指定情報を受け付ける第１入力ステップと、
    　互いに異なる複数の登録ユーザーインターフェースを表す複数の登録ユーザーインターフェース情報と、擬似触覚を提示するために前記登録ユーザーインターフェースから提示される視覚情報を特定するための複数の適合情報と、の対応を表す対応情報を用い、前記第１指定情報で指定された前記特定ユーザーインターフェースを表す登録ユーザーインターフェース情報に対応する適合情報である特定適合情報を得る適合設定ステップと、
    　前記特定適合情報に基づき、前記特定ユーザーインターフェースから提示される視覚情報を表す出力情報を得る出力情報取得ステップと、
    を有する擬似触覚提示方法。
  8. 　請求項１から６の何れかの擬似触覚提示装置としてコンピュータを機能させるためのプログラム。
PCT/JP2021/047987 2021-12-23 2021-12-23 擬似触覚提示装置、擬似触覚提示方法、およびプログラム WO2023119581A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023568954A JPWO2023119581A1 (ja) 2021-12-23 2021-12-23
PCT/JP2021/047987 WO2023119581A1 (ja) 2021-12-23 2021-12-23 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/047987 WO2023119581A1 (ja) 2021-12-23 2021-12-23 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023119581A1 true WO2023119581A1 (ja) 2023-06-29

Family

ID=86901831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/047987 WO2023119581A1 (ja) 2021-12-23 2021-12-23 擬似触覚提示装置、擬似触覚提示方法、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2023119581A1 (ja)
WO (1) WO2023119581A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026297A (ja) * 2005-07-20 2007-02-01 Ntt Docomo Inc 振動制御装置、温度制御装置及び移動制御装置
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026297A (ja) * 2005-07-20 2007-02-01 Ntt Docomo Inc 振動制御装置、温度制御装置及び移動制御装置
WO2008111245A1 (ja) * 2007-03-14 2008-09-18 Japan Science And Technology Agency 仮想感覚提示装置

Also Published As

Publication number Publication date
JPWO2023119581A1 (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
US9046926B2 (en) System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
Zissis et al. Collaborative CAD/CAE as a cloud service
Galdieri et al. Natural interaction in virtual reality for cultural heritage
US12034817B2 (en) Methods and apparatus for user identification via community detection
Yoon et al. Fine tactile representation of materials for virtual reality
Colombo et al. Mixed reality to design lower limb prosthesis
US20220254114A1 (en) Shared mixed reality and platform-agnostic format
Garcia-Sanjuan et al. Toward a general conceptualization of multi-display environments
CN116266093A (zh) 基于用户交互的内容保真度调整
WO2023119581A1 (ja) 擬似触覚提示装置、擬似触覚提示方法、およびプログラム
Weiss et al. Radiologist assessment of PACS user interface devices
Ferrise et al. Product design review application based on a vision-sound-haptic interface
Kuckuk et al. Interactive particle dynamics using opencl and kinect
Li et al. The impact of control-display gain in kinesthetic search
Koutny Exploring space: User interfaces for blind and visually impaired people for spatial and non-verbal information
WO2023119582A1 (ja) 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
Rumiński et al. Mixed reality stock trading visualization system
Graichen et al. Multimodal Interaction in Virtual Reality: Assessing User Experience of Gesture-and Gaze-Based Interaction
Skorupska et al. All factors should matter! Reference checklist for describing research conditions in pursuit of comparable IVR experiments
Kageyama Keyboard-based control of four-dimensional rotations
Beermann et al. Visual computing in the future: Computer graphics as a remote service
WO2021199408A1 (ja) 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
WO2023119583A1 (ja) 柔らかさ感制御装置、柔らかさ感提示システム、柔らかさ感制御方法、およびプログラム
Borisova Virtual Reality User Experience-Challenges and Solutions: Analyzing challenges and solutions in virtual reality (VR) user experience (UX) design for creating immersive and engaging virtual environments
Pontes de França et al. A comparative usability analysis of virtual reality goggles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21969016

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023568954

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE