WO2018116544A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018116544A1
WO2018116544A1 PCT/JP2017/032519 JP2017032519W WO2018116544A1 WO 2018116544 A1 WO2018116544 A1 WO 2018116544A1 JP 2017032519 W JP2017032519 W JP 2017032519W WO 2018116544 A1 WO2018116544 A1 WO 2018116544A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensory stimulus
information processing
output
stimulus
unit
Prior art date
Application number
PCT/JP2017/032519
Other languages
English (en)
French (fr)
Inventor
石川　毅
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/343,250 priority Critical patent/US11422626B2/en
Priority to JP2018557537A priority patent/JP6908053B2/ja
Priority to KR1020197016051A priority patent/KR102469574B1/ko
Priority to EP17883645.8A priority patent/EP3557375B1/en
Publication of WO2018116544A1 publication Critical patent/WO2018116544A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 when an object is relatively moved in a state where two objects are in contact with each other in a virtual space, an output of a sound or a tactile stimulus is output according to roughness information of the contact surface of the object.
  • the technology to control is described.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of controlling the display of an image adapted to the control content related to sensory stimulus output.
  • an information processing apparatus including an output control unit that controls display of an image according to control information for a first output unit that outputs a sensory stimulus to a user is provided.
  • an information processing method including a processor controlling display of an image according to control information for a first output unit that outputs a sensory stimulus to a user.
  • a plurality of constituent elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numeral.
  • a plurality of constituent elements having substantially the same functional configuration are distinguished as the stimulation output unit 20a and the stimulation output unit 20b as necessary.
  • only the same reference numerals are given.
  • the stimulus output unit 20 when there is no need to particularly distinguish the stimulus output unit 20a and the stimulus output unit 20b, they are simply referred to as the stimulus output unit 20.
  • the information processing system includes an information processing apparatus 10, a plurality of types of stimulus output units 20, and a communication network 22.
  • the stimulus output unit 20 is an example of a first output unit and a second output unit in the present disclosure.
  • the stimulus output unit 20 may be a device for presenting a predetermined feeling to the user, for example.
  • the stimulus output unit 20 outputs a stimulus related to skin sensation, vision, hearing, and / or olfaction according to output control information received from the information processing apparatus 10 described later.
  • the skin sensation may include, for example, touch, pressure, warmth, and pain.
  • a stimulus related to skin sensation is referred to as a tactile stimulus.
  • the stimulus output unit 20 may generate vibration (as a tactile stimulus) or generate heat.
  • the stimulation output unit 20 may include a tactile stimulation unit 20 a (such as a glove with an actuator) and a tactile stimulation unit 20 b (such as a jacket with an actuator).
  • a tactile stimulation unit 20 a such as a glove with an actuator
  • a tactile stimulation unit 20 b such as a jacket with an actuator
  • the tactile stimulation unit 20a and the tactile stimulation unit 20b can be attached to a user (for example, a user's hand or torso).
  • the haptic stimulation unit 20 can output the haptic stimulation to the part where the haptic stimulation unit 20 is mounted.
  • the haptic stimulation unit 20 performs the operation according to the output control information received from the information processing device 10
  • a tactile stimulus is output as feedback (or response) to the user touching the object.
  • FIG. 2 is a diagram showing an example of the front appearance of the user 2 shown in FIG.
  • the tactile stimulation unit 20 b may include a plurality of actuators 200.
  • each actuator 200 can output a tactile stimulus (vibration or the like) according to output control information received from the information processing apparatus 10, for example.
  • the user 2 can feel a tactile sensation, a force sensation, a thermal sensation, or a pain sensation presented by the tactile stimulation unit 20b.
  • the stimulus output unit 20 may include a tactile stimulus unit 20c (such as a fan or an air conditioner).
  • the tactile stimulation unit 20c can generate wind according to output control information received from the information processing apparatus 10, for example.
  • wind is an example of a tactile stimulus.
  • the tactile stimulation unit 20a to the tactile stimulation unit 20c may be collectively referred to as a tactile stimulation unit 20.
  • the stimulus output unit 20 may include an olfactory stimulus unit 20d.
  • the olfactory stimulation unit 20d can generate a scent (odor).
  • the scent is an example of an olfactory stimulus.
  • the stimulus output unit 20 may include an HMD (Head Mounted Display) 20 e.
  • the HMD 20e is a head-mounted device as shown in FIG. 1, for example.
  • the HMD 20e can include a display unit and an audio output unit.
  • the HMD 20e may be a shielded head mounted display or a transmissive head mounted display.
  • the HMD 20e can be an optical see-through type device.
  • the HMD 20e may include a left-eye lens and a right-eye lens (or goggle-type lens) and a display unit.
  • the display unit can project an image using at least a part of each of the left-eye lens and the right-eye lens (or at least a part of the goggle lens) as a projection plane.
  • the HMD 20e can be a video see-through type device.
  • the HMD 20e may include a camera that captures the front of the user when the HMD 20e is mounted, and a display unit that displays an image captured by the camera.
  • the HMD 20e can sequentially display images captured by the camera on the display unit. Thereby, the user can see the scenery ahead of the user through the video displayed on the display unit.
  • the said display part can be comprised by a liquid crystal display (LCD: Liquid Crystal Display), OLED (Organic Light Emitting Diode), etc., for example.
  • the HMD 20e can display video or output audio according to output control information received from the information processing apparatus 10, for example.
  • the video is an example of a stimulus related to vision
  • the sound is an example of a stimulus related to hearing.
  • the HMD 20e displays a video including an object according to the output control information received from the information processing apparatus 10.
  • the object includes a virtual object or a real object.
  • an image in which the real object is photographed can be displayed by the HMD 20e.
  • the attribute information of the real object for example, the type of the object, the size of the object in the image, or the texture information of the object. Can be identified.
  • the virtual object includes, for example, 3D data generated by CG (Computer Graphics), 3D data obtained from the sensing result of the real object, and the like.
  • CG Computer Graphics
  • 3D data obtained from the sensing result of the real object and the like.
  • the stimulus output unit 20 may include various sensors such as an acceleration sensor and a gyroscope.
  • the stimulus output unit 20 can sense the movement of the user's body (for example, the movement of the hand).
  • the stimulus output unit 20 can transmit the sensing result as motion information of the user to the information processing apparatus 10 via the communication network 22.
  • a camera is installed in the HMD 20e, the camera captures an image of the user's body (for example, a hand), and the HMD 20e can also transmit the captured image to the information processing apparatus 10. .
  • the information processing apparatus 10 is an example of an information processing apparatus in the present disclosure.
  • the information processing apparatus 10 controls the operation of the stimulus output unit 20 via, for example, a communication network 22 described later.
  • the information processing apparatus 10 causes the HMD 20e to display a video related to a VR (Virtual Reality) or AR (Augmented Reality) application.
  • the information processing apparatus 10 causes the tactile stimulation unit 20a to output a predetermined tactile stimulus at a predetermined timing (for example, when displaying an image by the HMD 20e).
  • the information processing apparatus 10 may be, for example, a server, a general-purpose PC (Personal Computer), a tablet terminal, a mobile phone such as a game machine or a smartphone, a portable music player, or a robot.
  • a server a general-purpose PC (Personal Computer)
  • a tablet terminal a mobile phone such as a game machine or a smartphone
  • a portable music player or a robot.
  • FIG. 1 only one information processing apparatus 10 is illustrated.
  • the present invention is not limited to such an example, and the functions of the information processing apparatus 10 according to the present embodiment are realized by the cooperation of a plurality of computers. May be realized.
  • the communication network 22 is a wired or wireless transmission path for information transmitted from a device connected to the communication network 22.
  • the communication network 22 may include a public line network such as a telephone line network, the Internet, and a satellite communication network, various LANs including the Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the communication network 22 may include a dedicated network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • an audio output unit 20 (such as a speaker) may be further installed in the real space where the user is located, or the user may further wear an audio output unit 20 (such as a stereophone or an earphone).
  • the audio output unit 20 can output audio according to the output control information received from the information processing apparatus 10 (in place of the HMD 20e or together with the HMD 20e).
  • the information processing apparatus 10 converts the original sensory stimulus corresponding to the virtual object displayed by the HMD 20e using a conversion method determined based on a predetermined standard, and converts the converted sensory stimulus to the stimulus output unit 20 can be output. For this reason, an appropriate degree of sensory stimulation can be presented to the user.
  • the information processing apparatus 10 can control the display of the additional image corresponding to the control information regarding the output of the sensory stimulus to the stimulus output unit 20.
  • the display of the additional image adapted to the control content regarding the output of the sensory stimulus can be controlled.
  • the additional image is an example of an image in the present disclosure.
  • FIG. 3 is a functional block diagram illustrating a configuration example of the information processing apparatus 10 according to the present embodiment.
  • the information processing apparatus 10 includes a control unit 100, a communication unit 120, and a storage unit 122.
  • Control unit 100 The control unit 100 may be configured to include a processing circuit such as a CPU (Central Processing Unit) 150 and a GPU (Graphics Processing Unit), which will be described later.
  • the control unit 100 comprehensively controls the operation of the information processing apparatus 10. As illustrated in FIG. 3, the control unit 100 includes an information acquisition unit 102, a determination unit 104, and an output control unit 106.
  • the information acquisition unit 102 acquires user motion information. For example, when motion information is sensed by the haptic stimulation unit 20, the information acquisition unit 102 acquires motion information received from the haptic stimulation unit 20. Alternatively, when a sensing result is received by another sensor worn by the user (for example, a camera installed in the HMD 20e) or another sensor (camera etc.) installed in the real space where the user is located. The information acquisition unit 102 may analyze the sensing result (for example, image recognition) and acquire the analysis result as motion information of the user.
  • a sensing result for example, image recognition
  • the information acquisition unit 102 acquires, from the tactile stimulation unit 20, user motion information for the virtual object when the virtual object is displayed on the HMD 20e.
  • the information acquisition unit 102 acquires, from the stimulus output unit 20, the sensing result of the operation that the user touches the virtual object displayed on the HMD 20 e as the motion information.
  • the information acquisition unit 102 acquires the attribute information of the virtual object displayed by the HMD 20e.
  • attribute information for each virtual object can be determined in advance by the producer, and the virtual object and attribute information can be associated and registered in the object DB 124.
  • the information acquisition unit 102 can acquire the attribute information of the virtual object displayed by the HMD 20e from the object DB 124.
  • the object DB 124 is a database that stores, for example, the identification information of the virtual object and the attribute information of the virtual object in association with each other.
  • the attribute information may include, for example, texture information (for example, texture type) associated with each surface included in the virtual object.
  • texture information may be produced by a producer, or may be specified based on image recognition for an image obtained by photographing a real object corresponding to the virtual object.
  • the image recognition can be performed using a method such as machine learning or deep learning.
  • the determination unit 104 determines the user's movement with respect to the virtual object displayed by the HMD 20e based on the motion information acquired by the information acquisition unit 102. For example, the determination unit 104 determines whether or not the user is in contact with or close to the virtual object displayed by the HMD 20e (for example, whether or not the user is touching) based on the acquired motion information. As an example, the determination unit 104 determines whether the user is in contact with the virtual object based on the distance between each surface included in the virtual object and the user's body.
  • the determination unit 104 determines that the user is in contact with the surface of the virtual object. judge. Further, when the distances between all the surfaces included in the virtual object and the user's body are larger than a predetermined threshold, the determination unit 104 determines that the user is not in contact with the virtual object.
  • the determination unit 104 determines how the user touches the virtual object.
  • the touching method of the user includes, for example, a touching strength, a touching speed, a touching direction, and the like.
  • the determination unit 104 can further specify information on the original sensory stimulus (that is, the original sensory stimulus) according to the virtual object displayed by the HMD 20e.
  • information on the original sensory stimulus that is, the original sensory stimulus
  • a virtual object and information on original sensory stimuli may be associated with each other and stored in a predetermined table.
  • the determination unit 104 can specify original sensory stimulus information for each virtual object currently displayed by the HMD 20e based on the virtual object and the predetermined table.
  • the information on the original sensory stimulus may include, for example, the type of sensory stimulus, the intensity of the sensory stimulus (for example, brightness, volume, etc.), and the like.
  • the predetermined table may be the object DB 124.
  • the determination unit 104 specifies the original tactile stimulus information according to how the user touches the virtual object. It is possible. For example, texture information and original tactile stimulus information may be associated with each other and stored in a predetermined table. In this case, the determination unit 104 can first specify the texture information of the surface determined to be touched by the user among the surfaces included in the virtual object displayed by the HMD 20e. Then, the determination unit 104 can specify original tactile stimulus information based on the texture information of the specified surface, how the user touches the surface, and the predetermined table. Note that the predetermined table may be the object DB 124.
  • the texture information and the original skin sensation information may not be associated with each other.
  • the information processing apparatus 10 (control unit 100) first acquires sound data associated with the texture information of the surface for each surface included in the virtual object displayed by the HMD 20e, and then acquires the sound data.
  • the original skin sensation information may be dynamically generated based on the sound data and the known technology.
  • another device (not shown) connected to the communication network 22 or the storage unit 122, individual texture information and sound data can be stored in association with each other.
  • the virtual object and the original sense information may be associated with each other and stored in a predetermined table.
  • the determination unit 104 may specify original sense information based on the virtual object and the predetermined table.
  • the determination part 104 may specify the sensory stimulus corresponding to the specified original sense as an original sensory stimulus.
  • Output control unit 106 ⁇ (2-1-4-1. Virtual object display control)
  • the output control unit 106 controls the HMD 20e to display a video including a virtual object.
  • the output control unit 106 causes the communication unit 120 to transmit display control information for displaying the video to the HMD 20e.
  • the output control unit 106 controls the output of sensory stimulation to the stimulus output unit 20. For example, the output control unit 106 first generates output control information for outputting a predetermined sensory stimulus, and transmits the output control information to the stimulus output unit 20 capable of outputting the predetermined sensory stimulus. To send to. As an example, when the determination unit 104 determines that the user is touching the virtual object displayed on the HMD 20e, the output control unit 106 provides feedback (or response) to the user touching the virtual object. Output control information for causing the haptic stimulation unit 20 to output a haptic stimulation corresponding to the above is generated.
  • the output control information is a sensory stimulus (hereinafter referred to as an actual sensory stimulus) obtained by converting (suppressing or enhancing) original sensory stimulus information corresponding to the virtual object displayed by the HMD 20e based on a predetermined conversion method. May be information for causing the stimulus output unit 20 to output. That is, the output control information may be regarded as including the output amount of the sensory stimulus.
  • the original sensory stimulus is an example of the first sensory stimulus in the present disclosure
  • the actual sensory stimulus is an example of the second sensory stimulus in the present disclosure.
  • the sense corresponding to the original sensory stimulus and the sense corresponding to the actual sensory stimulus may be basically the same type.
  • the output control unit 106 dynamically determines an original sensory stimulus conversion method for each virtual object displayed by the HMD 20e based on a predetermined criterion. Then, the output control unit 106 determines actual sensory stimulus information by converting the original sensory stimulus information specified by the determination unit 104 for each virtual object based on the determined conversion method. . Then, the output control unit 106 generates output control information for causing the stimulus output unit 20 to output the actual sensory stimulus.
  • the predetermined criteria may include a user profile.
  • the profile may include, for example, information indicating the age, sex, skill level of operation (whether the operator is a specialized operator, the number of times of use, etc.) and resistance to sensory stimuli (such as tactile stimuli).
  • the output control unit 106 may determine the original sensory stimulus as it is as an actual sensory stimulus.
  • the output control unit 106 may determine a sensory stimulus in which the degree of the original sensory stimulus is suppressed based on a predetermined conversion formula as an actual sensory stimulus.
  • the user information and the conversion formula can be associated with each other and registered in a predetermined database (not shown).
  • the output control unit 106 first extracts a conversion formula registered in a predetermined database in association with the corresponding user, and then converts the original sensory stimulus information based on the conversion formula. Actual sensory stimulation may be determined.
  • the predetermined criterion may include context information at the time of displaying the virtual object.
  • the context information may be information indicating the usage status of the user regarding the application corresponding to the video displayed by the HMD 20e.
  • the output control unit 106 can change the original sensory stimulus as an actual sensory stimulus with almost no change. You may decide.
  • the output control unit 106 sets the specific range to the specific range. By mapping to a wider range than the range, the degree of original skin sensation (corresponding to the original tactile stimulus) is converted, and the tactile stimulus corresponding to the converted skin sensation is determined as the actual tactile stimulus. May be.
  • the context information may be information indicating a usage mode set for the application.
  • the usage mode may include, for example, an inspection mode and a normal mode.
  • the inspection mode can be used in, for example, a scene where the temperature of oil during food processing is inspected remotely, a scene where the inspection is virtually experienced, and the like.
  • the output control unit 106 may determine the original sensory stimulus (for example, heat) as an actual sensory stimulus as it is.
  • the output control unit 106 may determine a sensory stimulus in which the degree of the original sensory stimulus is suppressed based on a predetermined conversion formula as an actual sensory stimulus.
  • the predetermined criterion may also include that the degree of original sensory stimulation is equal to or greater than a predetermined threshold.
  • a predetermined threshold For example, when a severe collision occurs in a VR car racing game or a sports game, or when a gun is shot in a game, the original pressure sensation corresponding to these events is presented to the user as it is. May be injured. Therefore, when the degree of the original stimulus related to the pressure sense is equal to or greater than the predetermined threshold, the output control unit 106 suppresses the original stimulus so that the pressure sense within a range that does not affect the human body is presented, and Then, the suppressed stimulus (as an actual tactile stimulus) is output to the tactile stimulus unit 20 (for example, the tactile stimulus unit 20b shown in FIG. 1). Thereby, the user can be presented with a skin sensation within a range that can be enjoyed as a game.
  • the output control unit 106 suppresses the original brightness and the original sound volume (only) associated with the virtual object to values within a range that does not affect the human body. Is possible. That is, the output control unit 106 can independently control the luminance of each virtual object and the related volume while maintaining the luminance of the display unit and the volume output by the audio output unit 20 as a whole.
  • the output control unit 106 can display the virtual object on the HMD 20e with the luminance after suppression, and can output the volume after suppression to the audio output unit 20.
  • parameters of virtual objects controlled independently may be grouped for each type of virtual object.
  • the types of virtual objects are preferably grouped according to the types of sensory stimuli and the intensity of sensory stimuli, such as “light emitters” and “weapons (especially firearms)”.
  • FIG. 4 shows an example of the relationship between the original temperature corresponding to the touched position and the temperature (actual temperature) converted from the original temperature when the user touches the virtual object displayed by the HMD 20e. It is the graph which showed.
  • the output control unit 106 sets the original temperature to a temperature of 20 ° C. or higher and 80 ° C. or lower using a nonlinear conversion formula.
  • the haptic stimulus corresponding to the converted temperature is determined as the actual haptic stimulus.
  • the output control unit 106 determines (uniformly) the haptic stimulus corresponding to “80 ° C.” as the actual haptic stimulus. According to this conversion example, the user can obtain more detailed information regarding the temperature change in a specific range (that is, “80 ° C. or more and 100 ° C. or less”). In addition, since the upper limit value (“80 ° C.”) of the presented temperature is set, for example, safety when a user who is not a specialized operator touches the virtual object can be ensured.
  • the output control unit 106 can control the display of the additional image in accordance with the sensory stimulus output control information for the stimulus output unit 20.
  • the additional image may include a first display indicating the degree of the original sensory stimulus, and a character string or an image indicating that the original sensory stimulus is converted (suppressed or enhanced).
  • the additional image may further include a second display indicating the actual degree of sensory stimulation (output by the stimulation output unit 20).
  • the degree of sensory stimulation may be, for example, the level (degree) of sensory stimulus intensity or the value of sensory stimulus intensity.
  • the additional image may include a degree of difference between the original sensory stimulus and the actual sensory stimulus (for example, a level of difference, a value of the difference, or a ratio of the actual sensory stimulus to the original sensory stimulus ( It may further include a display indicating a percentage).
  • a degree of difference between the original sensory stimulus and the actual sensory stimulus for example, a level of difference, a value of the difference, or a ratio of the actual sensory stimulus to the original sensory stimulus ( It may further include a display indicating a percentage).
  • the output control unit 106 causes the HMD 20e to display the additional image in association with the display position of the virtual object in the HMD 20e.
  • the output control unit 106 causes the HMD 20e to display the additional image near the display position of the virtual object.
  • the output control unit 106 adds the information in association with the position determined to be in contact in the virtual object.
  • the image is displayed on the HMD 20e. If the additional image is labeled so that the user can recognize the correspondence between the virtual object and the additional image, the positional relationship between the virtual object and the additional image is not particularly limited. good.
  • FIG. 5 is a diagram showing a display example (additional image 54a) of the additional image 54 when it is determined that the user has touched the virtual object 50 (virtual frying pan) in the video 40 displayed by the HMD 20e. is there.
  • a virtual hand 52 can be displayed in the video 40 as shown in FIG. 5 in accordance with the recognition result of the user's hand in the real space.
  • the video 40 is associated with the three-dimensional virtual space, and the virtual hand 52 is displayed at a position in the virtual space corresponding to the position of the user's hand recognized in the real space.
  • the output control unit 106 When it is determined that the user has touched the virtual object 50 as in the video 40b illustrated in FIG. 5, the output control unit 106 causes the additional image 54a to be superimposed on the video 40b and displayed on the HMD 20e. For example, as illustrated in FIG. 5, the output control unit 106 displays the additional image 54 a near the position 500 where the user touches the virtual object 50.
  • the additional image 54 a is presented with the display 540 indicating the original temperature corresponding to the contact position 500 of the user with the virtual object 50, and the original temperature being suppressed.
  • a display 542 indicating that a temperature lower than the original temperature is presented is included.
  • the display 540 may include an indicator (for example, a meter) indicating the degree of temperature, or only a character string (that is, “180 ° C.”) indicating the temperature value. But you can.
  • the display mode of the indicator for example, the length or color of the indicator
  • the additional image 54 a may further include an image (for example, a circle) indicating the contact position 500. Accordingly, the user can accurately know the position 500 where the user is touching the virtual object 50.
  • the hand corresponds to the position where the hand touches.
  • the additional image 54 indicating the degree of the original sensory stimulus to be displayed may be displayed in the vicinity of the contact position of the hand. Examples of such a case include a case where individual hands touch different virtual objects, a case where both hands touch the same virtual object, and the like.
  • FIG. 6 is a diagram showing a display example (additional image 54b) of the additional image 54 when a predetermined virtual object 50 (virtual sun 50) is displayed by the HMD 20e.
  • the output control unit 106 displays the virtual sun 50 on the HMD 30 while suppressing the original luminance to 80%.
  • the output control unit 106 displays the additional image 54 b including the character string indicating that “the luminance of the virtual sun 50 is suppressed to 80%” of the virtual sun 50. It may be displayed near the display position.
  • FIG. 7 is a diagram illustrating another display example (additional image 54c) of the additional image 54 when it is determined that the user has touched the virtual object 50 displayed by the HMD 20e.
  • the additional image 54c compares the display 56 showing the distribution of skin sensation (for example, temperature) that can be presented at each position in the virtual object 50 (as compared with the additional image 54a shown in FIG. 5).
  • the display 56 may include an isoline indicating the temperature of each position in the virtual object 50.
  • the user can simultaneously know the relationship between the temperature of the position 500 where the user is currently in contact with the virtual object 50 and the temperature around the contact position 500.
  • FIG. 8 is a diagram showing still another display example (additional image 54d) of the additional image 54 when it is determined that the user has touched the virtual object 50 displayed by the HMD 20e.
  • the additional image 54 d further includes a display 540 b indicating the temperature actually presented by the stimulus output unit 20 (as compared to the additional image 54 a shown in FIG. 5).
  • the output control unit 106 may display a display 540a indicating the original temperature and a display 540b indicating the actual temperature side by side in the video 40b.
  • the user can know the original temperature and the currently presented temperature at the same time. Therefore, the user can know how much the temperature currently felt on the skin differs from the original temperature (that is, the original temperature associated with the virtual object) by viewing the additional image 54a. it can.
  • the actual degree of sensory stimulation or the predetermined conversion formula may be set in advance based on, for example, a user input to a predetermined setting screen, or may be adjusted in real time. Also good.
  • the additional image 54 includes, for example, a GUI (for specifying the type of sensory stimulus to be output (or a sense to be presented), the degree of sensory stimulus to be output, or the predetermined conversion formula described above by the user. (Graphical User Interface).
  • the type of sensory stimulus to be output, the degree of sensory stimulus to be output, or the predetermined conversion formula may be adjustable in real time based on the user's operation on the GUI.
  • the GUI is an example of an operation image in the present disclosure.
  • the GUI may be an object having a shape like a slider, for example.
  • FIG. 9 is a diagram showing still another display example (additional image 54e) of the additional image 54 when it is determined that the user has touched the virtual object 50 displayed by the HMD 20e.
  • the additional image 54 e further includes a GUI 544 that allows the user to adjust the temperature of the heat output by the haptic stimulation unit 20.
  • the output control unit 106 can change the temperature of the heat output by the haptic stimulation unit 20 in real time based on a user operation on the GUI 544. For example, as illustrated in FIG.
  • the output control unit 106 when the user moves the GUI 544 to the position corresponding to “120 ° C.” with the right hand touching the virtual object 50, the output control unit 106 The temperature of the heat output by the tactile stimulation unit 20 is changed from “80 ° C.” to “120 ° C.”, for example.
  • the GUI 544 may be operated using a predetermined input device (such as a joystick) without being limited to an example in which the GUI 544 is operated by hand.
  • the output control unit 106 can newly output a stimulus related to a sense different from the sense corresponding to the sensory stimulus as a compensation feedback (that is, as an alternative sensory stimulus) to another stimulus output unit 20. .
  • the output control unit 106 outputs the stimulus output unit corresponding to visual or auditory sense. 20 (that is, the HMD 20e or the audio output unit 20) may newly output a predetermined video or a predetermined audio.
  • the output control unit 106 may cause the corresponding stimulus output unit 20 to change the intensity of the stimulus related to a sense different from the sense corresponding to the sensory stimulus currently output. For example, when the tactile stimulus is suppressed so that the actual tactile stimulus level is smaller than the original tactile stimulus level by a predetermined threshold or more, the output control unit 106 displays the video displayed by the HMD 20e. The aspect may be changed, or the sound output from the HMD 20e or the sound output unit 20 may be changed.
  • the fan 20c generates a wind corresponding to the traveling wind of the motorcycle according to a VR image (game or the like) displayed by the HMD 20e.
  • a VR image game or the like
  • the output control unit 106 selects the HMD 20e.
  • the output control unit 106 causes the HMD 20e to newly output a wind effect sound (storm sound or the like), or changes the effect to emphasize the currently output wind effect sound. Also good. For example, the output control unit 106 may increase the volume of the wind effect sound currently being output.
  • the communication unit 120 can be configured to include a communication device 162 described later, for example.
  • the communication unit 120 transmits and receives information to and from other devices.
  • the communication unit 120 receives motion information from the stimulus output unit 20.
  • the communication unit 120 transmits output control information to the stimulus output unit 20 according to the control of the output control unit 106.
  • the storage unit 122 can be configured to include, for example, a storage device 160 described later.
  • the storage unit 122 stores various types of data and various types of software. For example, as illustrated in FIG. 3, the storage unit 122 stores the object DB 124.
  • the configuration of the information processing apparatus 10 according to the present embodiment is not limited to the above-described example.
  • the object DB 124 may be stored in another device (not shown) connected to the communication network 22 instead of being stored in the storage unit 122.
  • the output control unit 106 of the information processing apparatus 10 causes the HMD 20e to transmit display control information for displaying a predetermined video including a virtual object to the HMD 20e to the communication unit 120. Then, the HMD 20e displays a predetermined video according to the display control information (S101).
  • the stimulus output unit 20 senses the user's movement. Then, the stimulus output unit 20 transmits the sensing result as motion information to the information processing apparatus 10 (S103).
  • the determination unit 104 of the information processing apparatus 10 determines the user's movement with respect to the virtual object displayed on the HMD 20e based on the motion information (S105). When it is determined that the user does not touch the virtual object (S107: No), the process of S103 is performed again.
  • the output control unit 106 determines an original sensory stimulus conversion method based on, for example, a user profile, current context information, and the like. Then, the output control unit 106 determines the actual sensory stimulus information by converting the original sensory stimulus information using the determined conversion method (S111).
  • the output control unit 106 causes the HMD 20e to display an additional image indicating the degree of original sensory stimulation, for example, in association with the virtual object (S113).
  • the output control unit 106 After S113, the output control unit 106 generates output control information for causing the stimulus output unit 20 to output the sensory stimulus determined in S111. And the communication part 120 transmits output control information to the stimulus output part 20 corresponding to the said sensory stimulus according to control of the output control part 106. FIG. Thereafter, the stimulus output unit 20 outputs a sensory stimulus according to the received output control information (S121).
  • the output control unit 106 determines whether or not the difference between the degree of original sensory stimulation specified in S109 and the actual degree of sensory stimulation determined in S111 is equal to or greater than a predetermined threshold. (S151). When the difference is smaller than the predetermined threshold (S151: No), the output control unit 106 performs the process of S155 described later.
  • the output control unit 106 handles a stimulus related to a sense different from the sense corresponding to the original sensory stimulus to the other sense.
  • the output control information for making it output to the stimulus output part 20b to perform is produced
  • the communication part 120 transmits the said output control information to the stimulus output part 20b according to control of the output control part 106 (S153).
  • S155 shown in FIG. 12 is substantially the same as S121 shown in FIG.
  • the information processing apparatus 10 converts the original sensory stimulus corresponding to the virtual object displayed by the HMD 20e using the conversion method determined based on a predetermined criterion.
  • the sensory stimulus after conversion can be output to the stimulus output unit 20. For this reason, an appropriate degree of sensory stimulation can be presented to the user.
  • the information processing apparatus 10 converts the original sensory stimulus into a sensory stimulus having a strength within a range that does not affect the human body, and The sensory stimulus after conversion is output to the tactile stimulus unit 20. For this reason, it can prevent that a user is injured, for example.
  • the information processing apparatus 10 controls the display of the additional image corresponding to the control information related to the output of the sensory stimulus with respect to the stimulus output unit 20. For this reason, it is possible to control the display of the additional image adapted to the control content relating to the output of the sensory stimulus.
  • the additional image indicates that the original sensory stimulus is suppressed and is output, and indicates the degree of suppression.
  • the information processing apparatus 10 causes the HMD 20e to display the additional image in association with the displayed virtual object. Therefore, for example, the user can easily know that the original sensory stimulus is suppressed and output by the stimulus output unit 20, the degree of the original sensory stimulus, and the like.
  • the information processing apparatus 10 includes a CPU 150, a ROM (Read Only Memory) 152, a RAM (Random Access Memory) 154, a bus 156, an interface 158, a storage device 160, and a communication device 162.
  • the CPU 150 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 10 according to various programs. Further, the CPU 150 realizes the function of the control unit 100 in the information processing apparatus 10.
  • the CPU 150 is configured by a processor such as a microprocessor.
  • the ROM 152 stores programs used by the CPU 150 and control data such as calculation parameters.
  • the RAM 154 temporarily stores, for example, a program executed by the CPU 150 and data in use.
  • the bus 156 includes a CPU bus and the like.
  • the bus 156 connects the CPU 150, the ROM 152, and the RAM 154 to each other.
  • the interface 158 connects the storage device 160 and the communication device 162 to the bus 156.
  • the storage device 160 is a data storage device that functions as the storage unit 122.
  • the storage device 160 includes, for example, a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, or a deletion device that deletes data recorded on the storage medium.
  • the communication device 162 is a communication interface configured by a communication device (for example, a network card) for connecting to the communication network 22, for example. Further, the communication device 162 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication. This communication device 162 functions as the communication unit 120.
  • a communication device for example, a network card
  • LTE Long Term Evolution
  • Modification 1> For example, in the above-described embodiment, an example in which the information processing apparatus 10 (output control unit 106) causes the HMD 20e to display an additional image corresponding to control information related to the output of the sensory stimulus for the stimulus output unit 20 has been described. The disclosure is not limited to such examples.
  • the information processing apparatus 10 may cause the audio output unit 20 (such as the HMD 20e or the earphone) to output a sound corresponding to the control information regarding the output of the sensory stimulus for the stimulus output unit 20.
  • the audio output unit 20 such as the HMD 20e or the earphone
  • the output control unit 106 corresponds to the contact position 500 of the user with respect to the virtual object 50.
  • a sound indicating the original temperature, a sound indicating that the original temperature is suppressed, or the like may be output to the sound output unit 20 (while the virtual object 50 is being displayed).
  • the output control unit 106 may cause the audio output unit 20 to output a sound such as “The original temperature at the touched position is 180 ° C. The temperature is currently being suppressed”.
  • the configuration of the information processing system according to the above-described embodiment is not limited to the example illustrated in FIG.
  • the HMD 20e and the information processing apparatus 10 may be configured integrally.
  • each component included in the control unit 100 described above may be included in the HMD 20e.
  • the information processing apparatus according to the present disclosure may be the HMD 20e.
  • the HMD 20e can control the output of the tactile stimulus to the tactile stimulus unit 20a to the tactile stimulus unit 20c, or can control the output of the scent to the olfactory stimulus unit 20d.
  • the projector may be arranged in the real space where the user 2 is located. Then, the information processing apparatus 10 may cause the projector to project an image including a virtual object or the like onto a projection target (for example, a wall) in the real space.
  • the display unit in the present disclosure may be a projector. In this case, the information processing system may not include the HMD 20e.
  • each step in the processing flow of the above-described embodiment does not necessarily have to be processed in the order described.
  • the steps may be processed by changing the order as appropriate.
  • Each step may be processed in parallel or individually instead of being processed in time series. Further, some of the described steps may be omitted, or another step may be further added.
  • An output control unit for controlling display of an image according to control information for a first output unit that outputs sensory stimulation to a user;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the output control unit causes the display unit to display the image in association with a display position of a virtual object on the display unit.
  • the sensory stimulus is a stimulus related to skin sensation,
  • the information processing apparatus further includes a determination unit that determines whether or not the user is in contact with the virtual object displayed by the display unit, The information processing unit according to (1) or (2), wherein the output control unit causes the display unit to display the image in association with a position where it is determined that the user is in contact with the virtual object. apparatus.
  • the control information is information for causing the first output unit to output a second sensory stimulus in which the first sensory stimulus corresponding to the virtual object is converted based on a predetermined conversion method.
  • the image includes at least one of a first display indicating the degree of the first sensory stimulus and a second display indicating the degree of the second sensory stimulus. Processing equipment.
  • the information processing apparatus according to (5), wherein the image further includes an operation image for a user to specify the degree of the second sensory stimulus or the predetermined conversion method.
  • the output control unit further includes Causing the user to output a third sensory stimulus to the second output unit; The types of the first sense corresponding to the first sensory stimulus and the second sensory stimulus are different from the second sense corresponding to the third sensory stimulus.
  • the output control unit Changing the intensity of the third sensory stimulus output by the output unit to the second output unit;
  • the types of the first sense corresponding to the first sensory stimulus and the second sensory stimulus are different from the second sense corresponding to the third sensory stimulus.
  • the information processing apparatus according to any one of claims.
  • the first sensation is a skin sensation;
  • the information processing apparatus (13) The information processing apparatus according to (12), wherein the predetermined criterion includes a profile of the user. (14) The information processing apparatus according to (12) or (13), wherein the predetermined reference includes context information when the virtual object is displayed. (15) The information processing apparatus according to any one of (12) to (14), wherein the predetermined reference includes a degree of the first sensory stimulus. (16) The sensory stimulus is a stimulus related to skin sensation, The information processing apparatus further includes a determination unit that determines whether or not the user is in contact with the virtual object, The information processing apparatus according to any one of (12) to (15), wherein when it is determined that the user has touched the virtual object, the output control unit generates the control information.
  • the information processing apparatus according to any one of (12) to (16), wherein the output control unit further causes the first output unit to transmit the control information to a communication unit.
  • the control information includes information on the output amount of the sensory stimulus,
  • the information processing apparatus according to any one of (1) to (17), wherein the output control unit changes display of the image based on an output amount of the sensory stimulus.
  • the processor controls display of an image according to control information for the first output unit that outputs sensory stimulation to the user; Including an information processing method.
  • Information processing device 20 Stimulus output unit 20e HMD 22 communication network 100 control unit 102 information acquisition unit 104 determination unit 106 output control unit 120 communication unit 122 storage unit 124 object DB

Abstract

【課題】感覚刺激の出力に関する制御内容に適応した画像の表示を制御することが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。 【解決手段】ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　従来、例えば振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
　例えば、下記特許文献１には、仮想空間において２つのオブジェクトが接触した状態で相対的にオブジェクトが移動された場合に、オブジェクトの接触面の粗さ情報に応じて、音声または触覚刺激の出力を制御する技術が記載されている。
特開２０１５－１７０１７４号公報
　しかしながら、特許文献１に記載の技術では、音声または触覚刺激の出力に関する制御内容が異なる場合であっても、表示される映像は変化しない。
　そこで、本開示では、感覚刺激の出力に関する制御内容に適応した画像の表示を制御することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、を含む、情報処理方法が提供される。
　また、本開示によれば、コンピュータを、ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、として機能させるための、プログラムが提供される。
　以上説明したように本開示によれば、感覚刺激の出力に関する制御内容に適応した画像の表示を制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施形態による情報処理システムの構成例を示した説明図である。 図１に示したユーザ２の正面の外観の一例を示した図である。 同実施形態による情報処理装置１０の構成例を示した機能ブロック図である。 オリジナルの温度と実際の温度との関係の一例を示したグラフである。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の表示例を示した図である。 所定の仮想オブジェクトがＨＭＤ２０ｅにより表示された際の付加画像の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 仮想オブジェクトに対してユーザが接触したと判定された際の付加画像の別の表示例を示した図である。 同実施形態による処理の流れの一部を示したフローチャートである。 同実施形態による処理の流れの一部を示したフローチャートである。 同実施形態による処理の流れの変形例の一部を示したフローチャートである。 同実施形態による情報処理装置１０のハードウェア構成例を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じて刺激出力部２０ａおよび刺激出力部２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、刺激出力部２０ａおよび刺激出力部２０ｂを特に区別する必要が無い場合には、単に刺激出力部２０と称する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　１．情報処理システムの構成
　２．実施形態の詳細な説明
　３．ハードウェア構成
　４．変形例
＜＜１．情報処理システムの構成＞＞
　まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、本実施形態による情報処理システムは、情報処理装置１０、複数の種類の刺激出力部２０、および、通信網２２を有する。
　＜１－１．刺激出力部２０＞
　刺激出力部２０は、本開示における第１の出力部および第２の出力部の一例である。刺激出力部２０は、例えば所定の感覚をユーザに提示するためのデバイスであり得る。例えば、刺激出力部２０は、後述する情報処理装置１０から受信される出力制御情報に従って、皮膚感覚、視覚、聴覚、および／または、嗅覚に関する刺激を出力する。ここで、皮膚感覚は、例えば触覚、圧覚、温冷覚、および、痛覚を含み得る。なお、以下では、皮膚感覚に関する刺激を触覚刺激と称する。例えば、刺激出力部２０は、（触覚刺激として）振動を発生させたり、熱を発生させ得る。
　｛１－１－１．触覚刺激部２０ａ～２０ｃ｝
　例えば、図１に示したように、刺激出力部２０は、触覚刺激部２０ａ（アクチュエータ付きグローブなど）、および、触覚刺激部２０ｂ（アクチュエータ付きジャケットなど）を含み得る。
　図１に示したように、触覚刺激部２０ａおよび触覚刺激部２０ｂは、ユーザ（例えばユーザの手や胴体など）に装着され得る。この場合、触覚刺激部２０は、触覚刺激部２０が装着されている部位に対して触覚刺激を出力し得る。例えば、後述するＨＭＤ２０ｅによりオブジェクトが表示され、かつ、当該オブジェクトに対してユーザが接触したと判定される場合には、触覚刺激部２０は、情報処理装置１０から受信される出力制御情報に従って、当該オブジェクトにユーザが接触したことに対するフィードバック（または応答）として触覚刺激を出力する。
　図２は、図１に示したユーザ２の正面の外観の一例を示した図である。図２に示したように、触覚刺激部２０ｂは、複数のアクチュエータ２００を含み得る。この場合、個々のアクチュエータ２００は、例えば情報処理装置１０から受信される出力制御情報に従って、触覚刺激（振動など）を出力し得る。これにより、ユーザ２は、触覚刺激部２０ｂにより提示される触覚、力覚、温冷覚、または、痛覚を感じ得る。
　また、図１に示したように、刺激出力部２０は、触覚刺激部２０ｃ（扇風機やエア・コンディショナーなど）を含み得る。触覚刺激部２０ｃは、例えば情報処理装置１０から受信される出力制御情報に従って、風を発生し得る。ここで、風は、触覚刺激の一例である。なお、以下では、触覚刺激部２０ａ～触覚刺激部２０ｃを総称して触覚刺激部２０と称する場合がある。
　｛１－１－２．嗅覚刺激部２０ｄ｝
　また、図１に示したように、刺激出力部２０は、嗅覚刺激部２０ｄを含み得る。嗅覚刺激部２０ｄは、香り（臭い）を発生し得る。ここで、香りは、嗅覚に関する刺激の一例である。
　｛１－１－３．ＨＭＤ２０ｅ｝
　また、図１に示したように、刺激出力部２０は、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）２０ｅを含み得る。ＨＭＤ２０ｅは、例えば図１に示したような頭部装着型デバイスである。ＨＭＤ２０ｅは、表示部および音声出力部を含み得る。
　ＨＭＤ２０ｅは、遮蔽型のヘッドマウントディスプレイであってもよいし、透過型のヘッドマウントディスプレイであってもよい。例えば、ＨＭＤ２０ｅは、光学シースルー型のデバイスであり得る。この場合、ＨＭＤ２０ｅは、左目用レンズおよび右目用レンズ（または、ゴーグル型レンズ）と表示部とを有し得る。そして、当該表示部は、左目用レンズおよび右目用レンズのそれぞれ少なくとも一部の領域（または、ゴーグル型レンズの少なくとも一部の領域）を投影面として映像を投影し得る。
　または、ＨＭＤ２０ｅは、ビデオシースルー型のデバイスであり得る。この場合、ＨＭＤ２０ｅは、ＨＭＤ２０ｅの装着時のユーザの前方を撮影するカメラと、当該カメラにより撮影された映像を表示する表示部とを有し得る。例えば、ＨＭＤ２０ｅは、当該カメラにより撮影された映像を当該表示部に逐次表示し得る。これにより、ユーザは、当該表示部に表示される映像を介して、ユーザの前方の風景を見ることができる。なお、当該表示部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）や、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などにより構成され得る。
　このＨＭＤ２０ｅは、例えば情報処理装置１０から受信される出力制御情報に従って、映像を表示したり、音声を出力することが可能である。ここで、映像は、視覚に関する刺激の一例であり、また、音声は、聴覚に関する刺激の一例である。
　例えば、ＨＭＤ２０ｅは、情報処理装置１０から受信される出力制御情報に従って、オブジェクトを含む映像を表示する。ここで、オブジェクトは、仮想オブジェクト、または、実オブジェクトを含む。なお、オブジェクトが実オブジェクトである場合には、実オブジェクトが撮影された画像がＨＭＤ２０ｅにより表示され得る。また、例えば、実オブジェクトが撮影された画像に対する画像認識の結果に基づいて、当該実オブジェクトの属性情報（例えばオブジェクトの種類、当該画像内でのオブジェクトのサイズ、または、オブジェクトのテクスチャ情報など）が特定され得る。
　また、仮想オブジェクトは、例えばＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）により生成される３Ｄデータや、実オブジェクトのセンシング結果から得られる３Ｄデータなどを含む。なお、以下では、オブジェクトが仮想オブジェクトである例を中心として説明を行う。
　｛１－１－４．ユーザの動きのセンシング｝
　また、刺激出力部２０（例えば触覚刺激部２０ａ、触覚刺激部２０ｂ、および、ＨＭＤ２０ｅなど）は、例えば加速度センサやジャイロスコープなどの各種のセンサを有し得る。この場合、刺激出力部２０は、ユーザの身体の動き（例えば手の動きなど）をセンシングすることが可能である。また、刺激出力部２０は、センシング結果を当該ユーザのモーション情報として通信網２２を介して情報処理装置１０へ送信することが可能である。また、ＨＭＤ２０ｅにカメラが設置される場合、当該カメラはユーザの身体（例えば手など）の画像を撮影し、そして、ＨＭＤ２０ｅは、撮影された画像を情報処理装置１０へ送信することも可能である。
　＜１－２．情報処理装置１０＞
　情報処理装置１０は、本開示における情報処理装置の一例である。情報処理装置１０は、例えば、後述する通信網２２を介して、刺激出力部２０の動作を制御する。例えば、情報処理装置１０は、ＶＲ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ）やＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のアプリケーションに関する映像をＨＭＤ２０ｅに表示させる。また、情報処理装置１０は、所定のタイミング（例えばＨＭＤ２０ｅによる映像の表示時など）に所定の触覚刺激を触覚刺激部２０ａに出力させる。
　ここで、情報処理装置１０は、例えば、サーバ、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、または、ロボットなどであり得る。なお、図１では、情報処理装置１０が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置１０の機能が実現されてもよい。
　＜１－３．通信網２２＞
　通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　なお、本実施形態による情報処理システムは、前述した例に限定されない。例えば、ユーザが位置する実空間内には音声出力部２０（スピーカーなど）がさらに設置されてもよいし、または、ユーザは音声出力部２０（ステレオフォンやイヤフォンなど）をさらに装着してもよい。この場合、音声出力部２０は、（ＨＭＤ２０ｅの代わりに、または、ＨＭＤ２０ｅとともに）情報処理装置１０から受信される出力制御情報に従って、音声を出力し得る。
　＜１－４．課題の整理＞
　以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、所望の皮膚感覚をユーザに提示するための技術が研究されている。しかしながら、提示される皮膚感覚の度合いによっては、人体に危険性が生じ得る。例えば、提示される温度が高温である場合にはユーザが火傷をしたり、また、提示される圧が強い場合にはユーザが怪我をする恐れがある。
　また、別の課題として、対象のユーザに応じて、異なる強度の感覚を提示可能であることが望まれる。例えば、対象のユーザが子どもである場合と専門のオペレータである場合とでは、異なる強度の感覚（皮膚感覚など）を提示可能であることが望まれる。
　そこで、上記事情を一着眼点にして、本実施形態による情報処理装置１０を創作するに至った。情報処理装置１０は、ＨＭＤ２０ｅにより表示される仮想オブジェクトに応じたオリジナルの感覚刺激を、所定の基準に基づいて決定される変換方法を用いて変換し、そして、変換後の感覚刺激を刺激出力部２０に出力させることが可能である。このため、適切な度合いの感覚刺激をユーザに提示することができる。
　また、情報処理装置１０は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像の表示を制御することが可能である。これにより、感覚刺激の出力に関する制御内容に適応した付加画像の表示を制御することができる。ここで、付加画像は、本開示における画像の一例である。
＜＜２．実施形態の詳細な説明＞＞
　＜２－１．構成＞
　次に、本実施形態による情報処理装置１０の構成について詳細に説明する。図３は、本実施形態による情報処理装置１０の構成例を示した機能ブロック図である。図３に示すように、情報処理装置１０は、制御部１００、通信部１２０、および、記憶部１２２を有する。
　｛２－１－１．制御部１００｝
　制御部１００は、例えば、後述するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１５０やＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの処理回路を含んで構成され得る。制御部１００は、情報処理装置１０の動作を統括的に制御する。また、図３に示すように、制御部１００は、情報取得部１０２、判定部１０４、および、出力制御部１０６を有する。
　｛２－１－２．情報取得部１０２｝
　（２－１－２－１．モーション情報の取得）
　情報取得部１０２は、ユーザのモーション情報を取得する。例えば、モーション情報が触覚刺激部２０によりセンシングされる場合には、情報取得部１０２は、触覚刺激部２０から受信されるモーション情報を取得する。または、ユーザが装着する他のセンサ（例えばＨＭＤ２０ｅに設置されているカメラなど）や、当該ユーザが位置する実空間内に設置された他のセンサ（カメラなど）によるセンシング結果が受信される場合には、情報取得部１０２は、当該センシング結果を解析（例えば画像認識など）し、そして、解析結果を当該ユーザのモーション情報として取得してもよい。
　例えば、情報取得部１０２は、ＨＭＤ２０ｅに仮想オブジェクトが表示されている際の、当該仮想オブジェクトに対するユーザのモーション情報を触覚刺激部２０から取得する。一例として、情報取得部１０２は、ＨＭＤ２０ｅに表示されている仮想オブジェクトに対してユーザが触れる動作のセンシング結果を当該モーション情報として刺激出力部２０から取得する。
　（２－１－２－２．仮想オブジェクトの属性情報の取得）
　また、情報取得部１０２は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトの属性情報を取得する。例えば、仮想オブジェクトごとの属性情報が予め制作者により定められ、そして、仮想オブジェクトと属性情報とが関連付けてオブジェクトＤＢ１２４に登録され得る。この場合、情報取得部１０２は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトの属性情報をオブジェクトＤＢ１２４から取得し得る。
　ここで、オブジェクトＤＢ１２４は、例えば、仮想オブジェクトの識別情報と仮想オブジェクトの属性情報とを関連付けて格納するデータベースである。また、属性情報は、例えば、仮想オブジェクトが含む個々の面に関連付けられているテクスチャの情報（例えばテクスチャの種類など）を含み得る。なお、テクスチャの情報は、制作者により制作されてもよいし、または、当該仮想オブジェクトに対応する実オブジェクトが撮影された画像に対する画像認識に基づいて特定されてもよい。ここで、画像認識は、例えば機械学習やディープラーニングなどの方法を用いて行われ得る。
　｛２－１－３．判定部１０４｝
　（２－１－３－１．ユーザの動きの判定）
　判定部１０４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに対するユーザの動きを、情報取得部１０２により取得されたモーション情報に基づいて判定する。例えば、判定部１０４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに対してユーザが接触または近接しているか否か（例えば触れているか否か）を、取得されたモーション情報に基づいて判定する。一例として、判定部１０４は、当該仮想オブジェクトに含まれる各面とユーザの身体との距離に基づいて、当該仮想オブジェクトにユーザが接触しているか否かを判定する。例えば、当該仮想オブジェクトに含まれるいずれかの面と、ユーザの身体との距離が所定の閾値以内である場合には、判定部１０４は、当該仮想オブジェクトの当該面にユーザが接触していると判定する。また、当該仮想オブジェクトに含まれる全ての面とユーザの身体との距離が所定の閾値よりも大きい場合には、判定部１０４は、当該仮想オブジェクトにユーザが接触していないと判定する。
　また、当該仮想オブジェクトにユーザが接触していると判定した場合には、判定部１０４は、さらに、当該仮想オブジェクトに対するユーザの触れ方を判定する。ここで、ユーザの触れ方は、例えば、触れる強さ、触れる速度、および、触れる方向などを含む。
　（２－１－３－２．オリジナルの感覚刺激の特定）
　また、判定部１０４は、さらに、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに応じて、オリジナルの感覚刺激（つまり本来の感覚刺激）の情報を特定することが可能である。例えば、仮想オブジェクトとオリジナルの感覚刺激（例えば視覚、聴覚、または、嗅覚に関する刺激など）の情報とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、ＨＭＤ２０ｅにより現在表示されている仮想オブジェクトごとに、当該仮想オブジェクトと、当該所定のテーブルとに基づいて、オリジナルの感覚刺激の情報を特定し得る。ここで、オリジナルの感覚刺激の情報は、例えば感覚刺激の種類や、感覚刺激の強度（例えば輝度や音量など）などを含み得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。
　また、ＨＭＤ２０ｅにより表示されている仮想オブジェクトにユーザが接触していると判定した場合には、判定部１０４は、当該仮想オブジェクトに対するユーザの触れ方に応じて、オリジナルの触覚刺激の情報を特定することが可能である。例えば、テクスチャの情報とオリジナルの触覚刺激の情報とが関連付けて、所定のテーブルに格納され得る。この場合、判定部１０４は、まず、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに含まれる面のうち、ユーザが接触したと判定される面のテクスチャ情報を特定し得る。そして、判定部１０４は、特定した面のテクスチャ情報と、当該面に対するユーザの触れ方と、当該所定のテーブルとに基づいて、オリジナルの触覚刺激の情報を特定し得る。なお、所定のテーブルは、オブジェクトＤＢ１２４であってもよい。
　‐変形例１
　なお、変形例として、テクスチャ情報とオリジナルの皮膚感覚の情報とは関連付けられていなくてもよい。この場合、情報処理装置１０（制御部１００）は、まず、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに含まれる面ごとに、当該面のテクスチャ情報に関連付けられている音データを取得し、そして、取得した音データと公知の技術とに基づいてオリジナルの皮膚感覚の情報を動的に生成してもよい。なお、通信網２２に接続された他の装置（図示省略）または記憶部１２２において、個々のテクスチャ情報と音データとは関連付けて格納され得る。
　‐変形例２
　また、別の変形例として、仮想オブジェクトとオリジナルの感覚（例えば皮膚感覚、視覚、聴覚、または、嗅覚）の情報とが関連付けて、所定のテーブルに格納されてもよい。この場合、判定部１０４は、ＨＭＤ２０ｅにより現在表示されている仮想オブジェクトごとに、当該仮想オブジェクトと、当該所定のテーブルとに基づいて、オリジナルの感覚の情報を特定してもよい。そして、判定部１０４は、特定したオリジナルの感覚に対応する感覚刺激を、オリジナルの感覚刺激として特定してもよい。
　｛２－１－４．出力制御部１０６｝
　（２－１－４－１．仮想オブジェクトの表示制御）
　出力制御部１０６は、例えば仮想オブジェクトを含む映像の表示をＨＭＤ２０ｅに対して制御する。例えば、出力制御部１０６は、当該映像を表示させるための表示制御情報をＨＭＤ２０ｅへ通信部１２０に送信させる。
　（２－１－４－２．感覚刺激の出力制御）
　また、出力制御部１０６は、刺激出力部２０に対する感覚刺激の出力を制御する。例えば、出力制御部１０６は、まず、所定の感覚刺激を出力させるための出力制御情報を生成し、そして、当該所定の感覚刺激を出力可能な刺激出力部２０へ当該出力制御情報を通信部１２０に送信させる。一例として、ＨＭＤ２０ｅに表示されている仮想オブジェクトにユーザが触れていると判定部１０４により判定された場合には、出力制御部１０６は、当該仮想オブジェクトにユーザが接触したことに対するフィードバック（または応答）に相当する触覚刺激を触覚刺激部２０に出力させるための出力制御情報を生成する。
　（２－１－４－３．感覚刺激の変換）
　ここで、出力制御情報は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトに応じたオリジナルの感覚刺激の情報が所定の変換方法に基づいて変換（抑制または強化）された感覚刺激（以下、実際の感覚刺激と称する）を刺激出力部２０に出力させるための情報であり得る。すなわち、出力制御情報は感覚刺激の出力量を含むと見做されてよい。なお、オリジナルの感覚刺激は、本開示における第１の感覚刺激の一例であり、また、実際の感覚刺激は、本開示における第２の感覚刺激の一例である。なお、オリジナルの感覚刺激に対応する感覚と、実際の感覚刺激に対応する感覚とは、基本的に同じ種類であり得る。
　例えば、出力制御部１０６は、まず、ＨＭＤ２０ｅにより表示されている各仮想オブジェクトに関するオリジナルの感覚刺激の変換方法を所定の基準に基づいて動的に決定する。そして、出力制御部１０６は、仮想オブジェクトごとに、判定部１０４により特定されたオリジナルの感覚刺激の情報を、決定された変換方法に基づいて変換することにより、実際の感覚刺激の情報を決定する。そして、出力制御部１０６は、当該実際の感覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する。
　‐ユーザのプロファイル
　ここで、所定の基準は、ユーザのプロファイルを含み得る。プロファイルは、例えば年齢、性別、操作の熟練度（専門のオペレータであるか否かや、利用回数など）、および、感覚刺激（触覚刺激など）に対する耐性を示す情報などを含み得る。例えば、ユーザが専門のオペレータである場合には、出力制御部１０６は、オリジナルの感覚刺激をそのまま実際の感覚刺激として決定してもよい。また、ユーザが子どもである場合には、出力制御部１０６は、オリジナルの感覚刺激の度合いが所定の変換式に基づいて抑制された感覚刺激を実際の感覚刺激として決定してもよい。
　または、ユーザの情報と変換式とが関連付けて所定のデータベース（図示省略）に登録され得る。この場合、出力制御部１０６は、まず、該当のユーザに関連付けて所定のデータベースに登録されている変換式を抽出し、そして、オリジナルの感覚刺激の情報を当該変換式に基づいて変換することにより実際の感覚刺激を決定してもよい。
　‐コンテキスト情報
　また、所定の基準は、仮想オブジェクトの表示時のコンテキスト情報を含み得る。ここで、当該コンテキスト情報は、ＨＭＤ２０ｅにより表示されている映像に対応するアプリケーションに関するユーザの利用状況を示す情報であってもよい。例えば、より正確に皮膚感覚を再現することをユーザが望む状況であることを当該コンテキスト情報が示す場合には、出力制御部１０６は、オリジナルの感覚刺激をほとんど変更せずに実際の感覚刺激として決定してもよい。また、特定の範囲内の皮膚感覚に関してより詳細に情報を得ることをユーザが望む状況であることを当該コンテキスト情報が示す場合には、出力制御部１０６は、当該特定の範囲を、当該特定の範囲よりも広い範囲にマッピングすることにより、（オリジナルの触覚刺激に対応する）オリジナルの皮膚感覚の度合いを変換し、そして、変換後の皮膚感覚に対応する触覚刺激を実際の触覚刺激として決定してもよい。
　または、当該コンテキスト情報は、当該アプリケーションに関して設定されている利用モードを示す情報であってもよい。ここで、利用モードは、例えば、検査モードおよび通常モードを含み得る。なお、検査モードは、例えば食品加工時の油の温度などを遠隔地で検査する場面や、当該検査を仮想的に体験する場面などで利用され得る。例えば、利用モードが検査モードに設定されている場合には、出力制御部１０６は、オリジナルの感覚刺激（例えば熱など）をそのまま実際の感覚刺激として決定してもよい。また、利用モードが通常モードである場合には、出力制御部１０６は、オリジナルの感覚刺激の度合いが所定の変換式に基づいて抑制された感覚刺激を実際の感覚刺激として決定してもよい。
　‐オリジナルの感覚刺激の度合い
　また、所定の基準は、オリジナルの感覚刺激の度合いが所定の閾値以上であることを含み得る。例えばＶＲのカーレースゲームやスポーツゲームなどにおいて激しい衝突が発生した場合や、ゲームにおいて銃で撃たれた場合などには、これらのイベントに対応するオリジナルの圧覚がそのままユーザに提示されると、ユーザが怪我をしてしまう恐れがある。そこで、圧覚に関するオリジナルの刺激の度合いが所定の閾値以上である場合には、出力制御部１０６は、人体に影響がない範囲内の圧覚が提示されるように当該オリジナルの刺激を抑制し、そして、抑制後の刺激を（実際の触覚刺激として）触覚刺激部２０（例えば図１に示した触覚刺激部２０ｂ）に出力させる。これにより、ゲームとして楽しめる範囲内の皮膚感覚をユーザに提示することができる。
　また、仮想オブジェクトに関連付けられている輝度が所定の閾値以上である場合や、当該仮想オブジェクトに関連付けられている音量（例えば、仮想空間内のスピーカーから出力される音量など）が所定の閾値以上である場合には、オリジナルの輝度やオリジナルの音量がそのままユーザに提示されると、ユーザにとって有害になり得る。そこで、これらの場合には、出力制御部１０６は、当該仮想オブジェクトに関連付けられているオリジナルの輝度やオリジナルの音量（のみ）を人体に影響がない範囲内の値になるようにそれぞれ抑制することが可能である。すなわち、出力制御部１０６は、表示部の輝度や音声出力部２０が出力する音量を全体として維持しつつ、仮想オブジェクトそれぞれの輝度や関連する音量を独立して制御することが可能である。そして、出力制御部１０６は、抑制後の輝度で当該仮想オブジェクトをＨＭＤ２０ｅに表示させたり、また、抑制後の音量を音声出力部２０に出力させることが可能である。なお、ユーザの利便性を向上するために、独立して制御される仮想オブジェクトのパラメータは仮想オブジェクトの種類ごとにグループ分けされても良い。仮想オブジェクトの種類は、例えば“発光体”や“武器（特に銃火器）”などのように、感覚刺激の種類や感覚刺激の強度に応じてグループ分けされるのが好ましい。
　‐変換方法の具体例
　ここで、感覚刺激の変換方法の具体例について、図４を参照して説明する。図４は、ＨＭＤ２０ｅにより表示されている仮想オブジェクトにユーザが触れた際の、触れた位置に対応するオリジナルの温度と、当該オリジナルの温度が変換された温度（実際の温度）との関係の一例を示したグラフである。図４に示した例では、オリジナルの温度が８０℃以上１００℃以下である場合には、出力制御部１０６は、非線形の変換式を用いてオリジナルの温度を、２０℃以上８０℃以下の温度に変換し、そして、変換後の温度に対応する触覚刺激を実際の触覚刺激として決定する。また、オリジナルの温度が１００℃よりも大きい場合には、出力制御部１０６は、「８０℃」に対応する触覚刺激を実際の触覚刺激として（画一的に）決定する。この変換例によれば、特定範囲（つまり「８０℃以上１００℃以下」）の温度変化に関して、ユーザは、より詳細に情報を得ることができる。また、提示される温度の上限値（「８０℃」）が設定されるので、例えば専門のオペレータではないユーザが仮想オブジェクトに触れた際の安全性を確保することができる。
　（２－１－４－４．付加画像の表示制御）
　また、出力制御部１０６は、刺激出力部２０に対する感覚刺激の出力制御情報に応じた付加画像の表示を制御することが可能である。ここで、当該付加画像は、オリジナルの感覚刺激の度合いを示す第１の表示、および、オリジナルの感覚刺激を変換（抑制または強化）していることを示す文字列や画像を含み得る。また、当該付加画像は、（刺激出力部２０により出力されている）実際の感覚刺激の度合いを示す第２の表示をさらに含み得る。ここで、感覚刺激の度合いとは、例えば感覚刺激の強度のレベル（度合い）や、感覚刺激の強度の値であり得る。または、当該付加画像は、オリジナルの感覚刺激と実際の感覚刺激との差異の度合い（例えば、差異のレベル、差異の値、または、オリジナルの感覚刺激の度合いに対する実際の感覚刺激の度合いの割合（パーセンテージ）など）を示す表示をさらに含んでもよい。
　例えば、出力制御部１０６は、ＨＭＤ２０ｅにおける仮想オブジェクトの表示位置と関連付けて当該付加画像をＨＭＤ２０ｅに表示させる。一例として、出力制御部１０６は、当該仮想オブジェクトの表示位置の近辺に当該付加画像をＨＭＤ２０ｅに表示させる。または、ＨＭＤ２０ｅに表示されている仮想オブジェクトにユーザが接触していると判定された場合には、出力制御部１０６は、当該仮想オブジェクト内の、接触していると判定された位置と関連付けて付加画像をＨＭＤ２０ｅに表示させる。なお、仮想オブジェクトと付加画像との対応関係をユーザが認識可能なように当該付加画像がラベリングされているのであれば、仮想オブジェクトと付加画像との位置関係は特に制限されないものと見做して良い。
　‐表示例１
　図５は、ＨＭＤ２０ｅにより表示される映像４０内の仮想オブジェクト５０（仮想のフライパン）に対してユーザが接触したと判定された際の付加画像５４の表示例（付加画像５４ａ）を示した図である。なお、実空間におけるユーザの手の認識結果に応じて、図５に示したように、映像４０内に仮想の手５２が表示され得る。例えば、映像４０と三次元の仮想空間とが関連付けられており、そして、実空間において認識されたユーザの手の位置に対応する、当該仮想空間内の位置に仮想の手５２は表示される。
　図５に示した映像４０ｂのように、仮想オブジェクト５０にユーザが接触したと判定された際には、出力制御部１０６は、付加画像５４ａを映像４０ｂに重畳させてＨＭＤ２０ｅに表示させる。例えば、図５に示したように、出力制御部１０６は、仮想オブジェクト５０にユーザが触れている位置５００の近辺に付加画像５４ａを表示させる。
　なお、図５に示したように、付加画像５４ａは、仮想オブジェクト５０に対するユーザの接触位置５００に対応するオリジナルの温度を示す表示５４０、および、当該オリジナルの温度が抑制されて提示されていること（つまり、当該オリジナルの温度よりも低い温度が提示されていること）を示す表示５４２を含む。なお、図５に示したように、表示５４０は、温度の度合いを示すインジケータ（例えばメーターなど）を含んでもよいし、または、温度の値を示す文字列（つまり「１８０℃」）のみを含んでもよい。なお、表示５４０がインジケータを含む場合、温度の度合いに応じて当該インジケータの表示態様（例えばインジケータの長さや色など）が動的に変更される。また、図５に示したように、付加画像５４ａは、接触位置５００を示す画像（例えば円など）をさらに含んでもよい。これにより、ユーザは、仮想オブジェクト５０に対して自分が触れている位置５００を正確に知ることができる。
　‐‐変形例
　なお、ＨＭＤ２０ｅに表示されている、一以上の仮想オブジェクト５０に対してユーザが両手で接触したと判定された場合には、手ごとに、当該手が接触している位置に対応するオリジナルの感覚刺激の度合いを示す付加画像５４を、当該手の接触位置の近辺にそれぞれ表示させてもよい。なお、このような場合の例としては、個々の手が別々の仮想オブジェクトに接触する場合や、両手で同じ仮想オブジェクトに接触する場合などが挙げられる。
　‐表示例２
　また、図６は、所定の仮想オブジェクト５０（仮想の太陽５０）がＨＭＤ２０ｅにより表示された際の付加画像５４の表示例（付加画像５４ｂ）を示した図である。なお、図６に示した例では、仮想の太陽５０に関連付けられているオリジナルの輝度が、例えば子どもなどのユーザの視覚に対して過剰である程度に大きいものとする。また、図６に示した例では、出力制御部１０６は、当該オリジナルの輝度を８０％に抑制して、仮想の太陽５０をＨＭＤ３０に表示させている例を示している。この場合、図６に示したように、出力制御部１０６は、「仮想の太陽５０の輝度が８０％に抑制されていること」を示す文字列を含む付加画像５４ｂを、仮想の太陽５０の表示位置の近くに表示させてもよい。
　‐表示例３
　また、図７は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０に対してユーザが接触したと判定された際の付加画像５４の別の表示例（付加画像５４ｃ）を示した図である。図７に示したように、付加画像５４ｃは、仮想オブジェクト５０内の各位置において提示され得る皮膚感覚（例えば温度など）の分布を示す表示５６を（図５に示した付加画像５４ａと比較して）さらに含む。例えば、図７に示したように、表示５６は、仮想オブジェクト５０内の各位置の温度を示す等値線を含んでもよい。これにより、ユーザは、仮想オブジェクト５０において自分が現在接触している位置５００の温度と、接触位置５００の周囲の温度との関係を同時に知ることができる。
　‐表示例４
　また、図８は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０に対してユーザが接触したと判定された際の付加画像５４のさらに別の表示例（付加画像５４ｄ）を示した図である。図８に示したように、付加画像５４ｄは、刺激出力部２０により実際に提示されている温度を示す表示５４０ｂを（図５に示した付加画像５４ａと比較して）さらに含む。例えば、図８に示したように、出力制御部１０６は、オリジナルの温度を示す表示５４０ａと、実際の温度を示す表示５４０ｂとを並べて映像４０ｂ内に表示させてもよい。この表示例によれば、オリジナルの温度と、現在提示されている温度とをユーザは同時に知ることができる。従って、現在皮膚で感じている温度と、オリジナルの温度（つまり、仮想オブジェクトに関連付けられている本来の温度）とがどの程度異なるかを、ユーザは、付加画像５４ａを閲覧することにより知ることができる。
　（２－１－４－５．感覚刺激の出力に関する設定）
　なお、実際の感覚刺激の度合い、または、上記の所定の変換式は、例えば所定の設定画面に対するユーザの入力に基づいて予め設定可能であってもよいし、または、リアルタイムに調整可能であってもよい。また、付加画像５４は、例えば、出力される感覚刺激（または提示される感覚）の種類、出力される感覚刺激の度合い、または、上記の所定の変換式などをユーザが指定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を含んでもよい。この場合、出力される感覚刺激の種類、出力される感覚刺激の度合い、または、上記の所定の変換式は、当該ＧＵＩに対するユーザの操作に基づいてリアルタイムに調整可能であってもよい。ここで、ＧＵＩは、本開示における操作画像の一例である。なお、ＧＵＩは、例えばスライダのような形状のオブジェクトであってもよい。
　ここで、図９を参照して、上記の内容についてより詳細に説明する。図９は、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０にユーザが接触したと判定された際の付加画像５４のさらに別の表示例（付加画像５４ｅ）を示した図である。図９に示したように、付加画像５４ｅは、触覚刺激部２０により出力される熱の温度をユーザが調整可能なＧＵＩ５４４をさらに含む。図９に示した例では、出力制御部１０６は、ＧＵＩ５４４に対するユーザの操作に基づいて、触覚刺激部２０により出力される熱の温度をリアルタイムに変更することが可能である。例えば、図９に示したように、ユーザが仮想オブジェクト５０に右手を接触させた状態で、「１２０℃」に対応する位置までＧＵＩ５４４を左手で移動させた場合には、出力制御部１０６は、触覚刺激部２０により出力される熱の温度を例えば「８０℃」から「１２０℃」へと変更する。なお、図９に示した例において、手でＧＵＩ５４４を操作する例に限定されず、所定の入力デバイス（ジョイスティックなど）を用いてＧＵＩ５４４を操作可能であってもよい。
　（２－１－４－６．代替の感覚刺激の出力制御）
　また、ある感覚刺激に関して、実際の感覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように感覚刺激が変換される場合、または、当該感覚刺激の出力が中止される場合には、出力制御部１０６は、当該感覚刺激に対応する感覚とは異なる感覚に関する刺激を補償フィードバックとして（つまり代替の感覚刺激として）別の刺激出力部２０に新たに出力させることも可能である。例えば、実際の触覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように触覚刺激が抑制される場合には、出力制御部１０６は、視覚または聴覚に対応する刺激出力部２０（つまり、ＨＭＤ２０ｅまたは音声出力部２０）に所定の映像や所定の音声を新たに出力させてもよい。
　または、ある感覚刺激に関して、実際の感覚刺激の度合いがオリジナルの感覚刺激の度合いよりも所定の閾値以上小さくなるように感覚刺激が変換される場合、または、当該感覚刺激の出力が中止される場合には、出力制御部１０６は、現在出力されている、当該感覚刺激に対応する感覚とは異なる感覚に関する刺激の強度を該当の刺激出力部２０に変更させてもよい。例えば、実際の触覚刺激の度合いがオリジナルの触覚刺激の度合いよりも所定の閾値以上小さくなるように触覚刺激が抑制される場合には、出力制御部１０６は、ＨＭＤ２０ｅにより表示されている映像の表示態様を変更したり、また、ＨＭＤ２０ｅまたは音声出力部２０により出力されている音声を変化させてもよい。
　例えば、アミューズメントパークなどに設置されている専用のバイクにユーザが乗っている状況において、ＨＭＤ２０ｅにより表示されているＶＲ映像（ゲームなど）に応じて、バイクの走行風に対応する風を扇風機２０ｃが発生させているとする。この場合、扇風機２０ｃにより発生される風の強さ（風量や風速など）が、オリジナルの風の強さよりも所定の閾値以上小さくなるように抑制される場合には、出力制御部１０６は、ＨＭＤ２０ｅに表示されている映像に対して、風のエフェクト（例えば表示中の映像を揺らすなど）を新たに表示させたり、現在表示中の風のエフェクトを強調するように当該エフェクトを変更したり、または、風が吹いていることを示すオノマトペ（例えば「びゅー」など）を新たに表示させてもよい。または、この場合、出力制御部１０６は、風のエフェクト音（暴風の音など）をＨＭＤ２０ｅに新たに出力させたり、または、現在出力中の風のエフェクト音を強調するように当該エフェクトを変更してもよい。例えば、出力制御部１０６は、現在出力中の風のエフェクト音の音量を大きくしてもよい。
　｛２－１－５．通信部１２０｝
　通信部１２０は、例えば、後述する通信装置１６２を含んで構成され得る。通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、モーション情報を刺激出力部２０から受信する。また、通信部１２０は、出力制御部１０６の制御に従って、出力制御情報を刺激出力部２０へ送信する。
　｛２－１－６．記憶部１２２｝
　記憶部１２２は、例えば、後述するストレージ装置１６０を含んで構成され得る。記憶部１２２は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図３に示したように、記憶部１２２は、オブジェクトＤＢ１２４を記憶する。
　なお、本実施形態による情報処理装置１０の構成は、前述した例に限定されない。例えば、オブジェクトＤＢ１２４は、記憶部１２２に記憶される代わりに、通信網２２に接続された他の装置（図示省略）に記憶されてもよい。
　＜２－２．処理の流れ＞
　以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図１０および図１１を参照して説明する。なお、以下では、仮想オブジェクトを含む映像を情報処理装置１０がＨＭＤ２０ｅに表示させる場面における処理の流れの例について説明する。
　図１０に示したように、まず、情報処理装置１０の出力制御部１０６は、仮想オブジェクトを含む所定の映像をＨＭＤ２０ｅに表示させるための表示制御情報をＨＭＤ２０ｅへ通信部１２０に送信させる。そして、ＨＭＤ２０ｅは、当該表示制御情報に従って所定の映像を表示する（Ｓ１０１）。
　その後、刺激出力部２０は、ユーザの動きをセンシングする。そして、刺激出力部２０は、センシング結果をモーション情報として情報処理装置１０へ送信する（Ｓ１０３）。
　その後、情報処理装置１０の判定部１０４は、ＨＭＤ２０ｅに表示されている仮想オブジェクトに対するユーザの動きを当該モーション情報に基づいて判定する（Ｓ１０５）。そして、当該仮想オブジェクトに対してユーザが触れていないと判定された場合には（Ｓ１０７：Ｎｏ）、再びＳ１０３の処理が行われる。
　一方、当該仮想オブジェクトに対してユーザが触れていると判定された場合には（Ｓ１０７：Ｙｅｓ）、まず、出力制御部１０６は、Ｓ１０５における、当該仮想オブジェクトに対するユーザの触れ方の判定結果と、当該仮想オブジェクトの属性情報とに応じて、オリジナルの感覚刺激の情報を特定する（Ｓ１０９）。
　続いて、出力制御部１０６は、例えばユーザのプロファイルや、現在のコンテキスト情報などに基づいて、オリジナルの感覚刺激の変換方法を決定する。そして、出力制御部１０６は、当該オリジナルの感覚刺激の情報を、決定した変換方法を用いて変換することにより、実際の感覚刺激の情報を決定する（Ｓ１１１）。
　続いて、出力制御部１０６は、例えばオリジナルの感覚刺激の度合いなどを示す付加画像を当該仮想オブジェクトと関連付けてＨＭＤ２０ｅに表示させる（Ｓ１１３）。
　ここで、図１１を参照して、Ｓ１１３より後の処理の流れについて説明する。図１１に示したように、Ｓ１１３の後、出力制御部１０６は、Ｓ１１１で決定された感覚刺激を刺激出力部２０に出力させるための出力制御情報を生成する。そして、通信部１２０は、出力制御部１０６の制御に従って、当該感覚刺激に対応する刺激出力部２０へ出力制御情報を送信する。その後、刺激出力部２０は、受信した出力制御情報に従って、感覚刺激を出力する（Ｓ１２１）。
　｛変形例｝
　なお、本実施形態による処理の流れは、前述した例に限定されない。ここで、本実施形態による処理の流れの変形例について、図１２を参照して説明する。なお、図１０に示したＳ１０１～Ｓ１１３の処理は、本変形例でも同様である。以下では、Ｓ１１３より後の処理の流れについて説明する。
　Ｓ１１３の後、出力制御部１０６は、Ｓ１０９で特定されたオリジナルの感覚刺激の度合いと、Ｓ１１１で決定された実際の感覚刺激の度合いとの差異が所定の閾値以上であるか否かを判定する（Ｓ１５１）。当該差異が所定の閾値よりも小さい場合には（Ｓ１５１：Ｎｏ）、出力制御部１０６は、後述するＳ１５５の処理を行う。
　一方、当該差異が所定の閾値以上である場合には（Ｓ１５１：Ｙｅｓ）、出力制御部１０６は、当該オリジナルの感覚刺激に対応する感覚とは別の感覚に関する刺激を、当該別の感覚に対応する刺激出力部２０ｂに出力させるための出力制御情報を生成する。そして、通信部１２０は、出力制御部１０６の制御に従って、当該出力制御情報を刺激出力部２０ｂへ送信する（Ｓ１５３）。
　なお、図１２に示したＳ１５５は、図１１に示したＳ１２１と概略同様である。
　＜２－３．効果＞
　｛２－３－１．効果１｝
　以上説明したように、本実施形態によれば、情報処理装置１０は、ＨＭＤ２０ｅにより表示される仮想オブジェクトに応じたオリジナルの感覚刺激を、所定の基準に基づいて決定される変換方法を用いて変換し、そして、変換後の感覚刺激を刺激出力部２０に出力させることが可能である。このため、適切な度合いの感覚刺激をユーザに提示することができる。
　例えば、子どもなどのユーザが当該仮想オブジェクトに接触したと判定された場合には、情報処理装置１０は、オリジナルの感覚刺激を、人体に影響がない範囲内の強度の感覚刺激に変換し、そして、変換後の感覚刺激を触覚刺激部２０に出力させる。このため、例えばユーザが怪我をすることを防止できる。
　｛２－３－２．効果２｝
　また、本実施形態によれば、情報処理装置１０は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像の表示を制御する。このため、感覚刺激の出力に関する制御内容に適応した付加画像の表示を制御することができる。
　例えば、当該付加画像は、オリジナルの感覚刺激が抑制されて出力されていることを示したり、また、抑制の程度を示す。また、情報処理装置１０は、表示されている仮想オブジェクトと関連付けて当該付加画像をＨＭＤ２０ｅに表示させる。従って、例えばオリジナルの感覚刺激が抑制されて刺激出力部２０により出力されていることや、オリジナルの感覚刺激の度合いなどをユーザは容易に知ることができる。
＜＜３．ハードウェア構成＞＞
　次に、本実施形態による情報処理装置１０のハードウェア構成について、図１３を参照して説明する。図１３に示すように、情報処理装置１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５４、バス１５６、インターフェース１５８、ストレージ装置１６０、および通信装置１６２を備える。
　ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１５０は、情報処理装置１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
　ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
　ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムや、使用中のデータなどを一時的に記憶する。
　バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、および、ＲＡＭ１５４を相互に接続する。
　インターフェース１５８は、ストレージ装置１６０および通信装置１６２を、バス１５６と接続する。
　ストレージ装置１６０は、記憶部１２２として機能する、データ格納用の装置である。ストレージ装置１６０は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
　通信装置１６２は、例えば通信網２２などに接続するための通信デバイス（例えばネットワークカードなど）等で構成された通信インターフェースである。また、通信装置１６２は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６２は、通信部１２０として機能する。
＜＜４．変形例＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　＜４－１．変形例１＞
　例えば、前述した実施形態では、情報処理装置１０（出力制御部１０６）が、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた付加画像をＨＭＤ２０ｅに表示させる例について説明したが、本開示はかかる例に限定されない。例えば、情報処理装置１０（出力制御部１０６）は、刺激出力部２０に対する、感覚刺激の出力に関する制御情報に応じた音声を音声出力部２０（ＨＭＤ２０ｅやイヤフォンなど）に出力させてもよい。一例として、図５に示したように、ＨＭＤ２０ｅにより表示される仮想オブジェクト５０にユーザが接触したと判定された際には、出力制御部１０６は、仮想オブジェクト５０に対するユーザの接触位置５００に対応するオリジナルの温度を示す音声や、当該オリジナルの温度が抑制されていることを示す音声などを（仮想オブジェクト５０の表示中に）音声出力部２０に出力させてもよい。例えば、この場合、出力制御部１０６は、「触っている位置の本来の温度は１８０℃です。現在、温度を抑制しています。」などの音声を音声出力部２０に出力させてもよい。
　＜４－２．変形例２＞
　また、前述した実施形態による情報処理システムの構成は、図１に示した例に限定されない。例えば、ＨＭＤ２０ｅと情報処理装置１０とは一体的に構成されてもよい。一例として、前述した制御部１００に含まれる各構成要素はＨＭＤ２０ｅが有してもよい。この場合、本開示における情報処理装置は、ＨＭＤ２０ｅであり得る。例えば、ＨＭＤ２０ｅは、触覚刺激部２０ａ～触覚刺激部２０ｃに対して触覚刺激の出力を制御したり、嗅覚刺激部２０ｄに対して香りの出力を制御し得る。
　また、ユーザ２が位置する実空間内にプロジェクタが配置されてもよい。そして、情報処理装置１０は、例えば仮想オブジェクトなどを含む映像を当該実空間内の投影対象（例えば壁など）に対して当該プロジェクタに投影させてもよい。なお、この変形例では、本開示における表示部は、プロジェクタであってもよい。また、この場合、当該情報処理システムは、ＨＭＤ２０ｅを有しなくてもよい。
　＜４－３．変形例３＞
　また、前述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
　また、前述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、前述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
を備える、情報処理装置。
（２）
　前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させる、前記（１）に記載の情報処理装置。
（３）
　前記感覚刺激は、皮膚感覚に関する刺激であり、
　前記情報処理装置は、表示部により表示されている仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された位置と関連付けて前記画像を前記表示部に表示させる、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
　前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じである、前記（２）または（３）に記載の情報処理装置。
（５）
　前記画像は、前記第１の感覚刺激の度合いを示す第１の表示、および、前記第２の感覚刺激の度合いを示す第２の表示のうち少なくとも一方を含む、前記（４）に記載の情報処理装置。
（６）
　前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像をさらに含む、前記（５）に記載の情報処理装置。
（７）
　前記第１の感覚刺激の強度と、前記第２の感覚刺激の強度とは異なる、前記（４）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記第２の感覚刺激の強度は、前記第１の感覚刺激の強度よりも小さい、前記（７）に記載の情報処理装置。
（９）
　前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
　前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
　前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、前記（４）～（８）のいずれか一項に記載の情報処理装置。
（１１）
　前記第１の感覚は、皮膚感覚であり、
　前記第２の感覚は、視覚または聴覚である、前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、さらに、前記所定の変換方法を所定の基準に基づいて決定し、かつ、前記制御情報を生成する、前記（４）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記所定の基準は、前記ユーザのプロファイルを含む、前記（１２）に記載の情報処理装置。
（１４）
　前記所定の基準は、前記仮想オブジェクトの表示時のコンテキスト情報を含む、前記（１２）または（１３）に記載の情報処理装置。
（１５）
　前記所定の基準は、前記第１の感覚刺激の度合いを含む、前記（１２）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記感覚刺激は、皮膚感覚に関する刺激であり、
　前記情報処理装置は、前記仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
　前記仮想オブジェクトに前記ユーザが接触したと判定された際に、前記出力制御部は、前記制御情報を生成する、前記（１２）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記出力制御部は、さらに、前記第１の出力部へ前記制御情報を通信部に送信させる、前記（１２）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記制御情報は、前記感覚刺激の出力量に関する情報を含み、
　前記出力制御部は、前記感覚刺激の出力量に基づいて前記画像の表示を変化させる、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、
を含む、情報処理方法。
（２０）
　コンピュータを、
　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
として機能させるための、プログラム。
１０　情報処理装置
２０　刺激出力部
２０ｅ　ＨＭＤ
２２　通信網
１００　制御部
１０２　情報取得部
１０４　判定部
１０６　出力制御部
１２０　通信部
１２２　記憶部
１２４　オブジェクトＤＢ

Claims (20)

  1. 　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
    を備える、情報処理装置。
  2. 　前記出力制御部は、表示部における仮想オブジェクトの表示位置と関連付けて前記画像を前記表示部に表示させる、請求項１に記載の情報処理装置。
  3. 　前記感覚刺激は、皮膚感覚に関する刺激であり、
    　前記情報処理装置は、表示部により表示されている仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
    　前記出力制御部は、前記仮想オブジェクトに対して前記ユーザが接触していると判定された位置と関連付けて前記画像を前記表示部に表示させる、請求項１に記載の情報処理装置。
  4. 　前記制御情報は、前記仮想オブジェクトに応じた第１の感覚刺激が所定の変換方法に基づいて変換された第２の感覚刺激を前記第１の出力部に出力させるための情報であり、
    　前記第１の感覚刺激に対応する感覚と、前記第２の感覚刺激に対応する感覚とは種類が同じである、請求項２に記載の情報処理装置。
  5. 　前記画像は、前記第１の感覚刺激の度合いを示す第１の表示、および、前記第２の感覚刺激の度合いを示す第２の表示のうち少なくとも一方を含む、請求項４に記載の情報処理装置。
  6. 　前記画像は、前記第２の感覚刺激の度合い、または、前記所定の変換方法をユーザが指定するための操作画像をさらに含む、請求項５に記載の情報処理装置。
  7. 　前記第１の感覚刺激の強度と、前記第２の感覚刺激の強度とは異なる、請求項４に記載の情報処理装置。
  8. 　前記第２の感覚刺激の強度は、前記第１の感覚刺激の強度よりも小さい、請求項７に記載の情報処理装置。
  9. 　前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、さらに、前記ユーザに対して第３の感覚刺激を第２の出力部に出力させ、
    　前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、請求項４に記載の情報処理装置。
  10. 　前記第２の感覚刺激の度合いが前記第１の感覚刺激の度合いよりも所定の閾値以上小さくなるように前記第１の感覚刺激が変換される場合には、前記出力制御部は、第２の出力部により出力されている第３の感覚刺激の強度を前記第２の出力部に変化させ、
    　前記第１の感覚刺激および前記第２の感覚刺激に対応する第１の感覚と、前記第３の感覚刺激に対応する第２の感覚とは種類が異なる、請求項４に記載の情報処理装置。
  11. 　前記第１の感覚は、皮膚感覚であり、
    　前記第２の感覚は、視覚または聴覚である、請求項９に記載の情報処理装置。
  12. 　前記出力制御部は、さらに、前記所定の変換方法を所定の基準に基づいて決定し、かつ、前記制御情報を生成する、請求項４に記載の情報処理装置。
  13. 　前記所定の基準は、前記ユーザのプロファイルを含む、請求項１２に記載の情報処理装置。
  14. 　前記所定の基準は、前記仮想オブジェクトの表示時のコンテキスト情報を含む、請求項１２に記載の情報処理装置。
  15. 　前記所定の基準は、前記第１の感覚刺激の度合いを含む、請求項１２に記載の情報処理装置。
  16. 　前記感覚刺激は、皮膚感覚に関する刺激であり、
    　前記情報処理装置は、前記仮想オブジェクトに前記ユーザが接触しているか否かを判定する判定部をさらに備え、
    　前記仮想オブジェクトに前記ユーザが接触したと判定された際に、前記出力制御部は、前記制御情報を生成する、請求項１２に記載の情報処理装置。
  17. 　前記出力制御部は、さらに、前記第１の出力部へ前記制御情報を通信部に送信させる、請求項１２に記載の情報処理装置。
  18. 　前記制御情報は、前記感覚刺激の出力量に関する情報を含み、
    　前記出力制御部は、前記感覚刺激の出力量に基づいて前記画像の表示を変化させる、請求項１に記載の情報処理装置。
  19. 　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示をプロセッサが制御すること、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　ユーザに対して感覚刺激を出力する第１の出力部に対する制御情報に応じた画像の表示を制御する出力制御部、
    として機能させるための、プログラム。
PCT/JP2017/032519 2016-12-19 2017-09-08 情報処理装置、情報処理方法、およびプログラム WO2018116544A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/343,250 US11422626B2 (en) 2016-12-19 2017-09-08 Information processing device, and information processing method, for outputting sensory stimulation to a user
JP2018557537A JP6908053B2 (ja) 2016-12-19 2017-09-08 情報処理装置、情報処理方法、およびプログラム
KR1020197016051A KR102469574B1 (ko) 2016-12-19 2017-09-08 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP17883645.8A EP3557375B1 (en) 2016-12-19 2017-09-08 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-245395 2016-12-19
JP2016245395 2016-12-19

Publications (1)

Publication Number Publication Date
WO2018116544A1 true WO2018116544A1 (ja) 2018-06-28

Family

ID=62626306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032519 WO2018116544A1 (ja) 2016-12-19 2017-09-08 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11422626B2 (ja)
EP (1) EP3557375B1 (ja)
JP (1) JP6908053B2 (ja)
KR (1) KR102469574B1 (ja)
WO (1) WO2018116544A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098152A (ja) * 2018-12-18 2020-06-25 株式会社中電工 表示システム
JP2020112975A (ja) * 2019-01-10 2020-07-27 東京瓦斯株式会社 設備環境出力システムおよびプログラム
WO2021193421A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2023054662A1 (ja) * 2021-10-01 2023-04-06 株式会社電通 食品、感覚提示システムおよび感覚提示方法
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11249553B2 (en) * 2020-06-12 2022-02-15 Emerge Now Inc. Method and system for the generation and management of tactile commands for tactile sensation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122750A (ja) * 2011-11-11 2013-06-20 Panasonic Corp 電子機器
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
WO2014203960A1 (ja) * 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
JP2015141647A (ja) * 2014-01-30 2015-08-03 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP2015162152A (ja) * 2014-02-28 2015-09-07 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置
JP2015170174A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
JP2015531907A (ja) * 2012-07-19 2015-11-05 ヴァッツ ゴウラヴＶＡＴＳ， Ｇａｕｒａｖ 現実的かつ拡張デジタルオブジェクトの表示と相互作用体験を提供するためのユーザ制御３ｄシミュレーション
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
GB201313444D0 (en) * 2013-07-29 2013-09-11 Ambi Labs Ltd Energy efficient indoor climate controller
US10627904B2 (en) * 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
CN105843278B (zh) * 2016-04-29 2018-04-17 广东美的制冷设备有限公司 根据虚拟场景控制环境温度的方法、温度数据终端和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013122750A (ja) * 2011-11-11 2013-06-20 Panasonic Corp 電子機器
WO2014061310A1 (ja) * 2012-10-16 2014-04-24 日本電気株式会社 表示物制御システム、表示物制御方法及びプログラム
WO2014203960A1 (ja) * 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
JP2015141647A (ja) * 2014-01-30 2015-08-03 和俊 尾花 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
JP2015162152A (ja) * 2014-02-28 2015-09-07 京セラドキュメントソリューションズ株式会社 タッチパネル装置及び画像形成装置
JP2015170174A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098152A (ja) * 2018-12-18 2020-06-25 株式会社中電工 表示システム
JP2020112975A (ja) * 2019-01-10 2020-07-27 東京瓦斯株式会社 設備環境出力システムおよびプログラム
JP7240180B2 (ja) 2019-01-10 2023-03-15 東京瓦斯株式会社 設備環境出力システムおよびプログラム
WO2021193421A1 (ja) * 2020-03-27 2021-09-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2023054662A1 (ja) * 2021-10-01 2023-04-06 株式会社電通 食品、感覚提示システムおよび感覚提示方法
JP2023053592A (ja) * 2021-10-01 2023-04-13 株式会社電通 食品、感覚提示システムおよび感覚提示方法
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置

Also Published As

Publication number Publication date
EP3557375B1 (en) 2023-10-25
JPWO2018116544A1 (ja) 2019-10-24
EP3557375A1 (en) 2019-10-23
US20210286432A1 (en) 2021-09-16
US11422626B2 (en) 2022-08-23
JP6908053B2 (ja) 2021-07-21
EP3557375A4 (en) 2019-10-23
KR102469574B1 (ko) 2022-11-22
KR20190096988A (ko) 2019-08-20

Similar Documents

Publication Publication Date Title
WO2018116544A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6977134B2 (ja) 頭部装着ディスプレイにおける仮想現実（ｖｒ）コンテンツの視野（ｆｏｖ）絞り
JP6982215B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
GB2556347B (en) Virtual Reality
US11900527B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US9588730B2 (en) Mobile tele-immersive gameplay
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
CN117311494A (zh) 发光用户输入设备
WO2019019968A1 (zh) 虚拟角色的位移控制方法、装置和存储介质
JP2017530452A (ja) 手袋インタフェースオブジェクト
US11334226B2 (en) Information processing device, information processing method, and program
JP2018524673A (ja) 仮想現実の反応性アニメーション
US20220297006A1 (en) Program, method, and terminal device
WO2018173399A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6863391B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023127403A1 (ja) Ｖｒ臨場感向上システムおよびｖｒ臨場感向上プログラム
Berriel et al. Controlling First-Person Character Movement: A Low-Cost Camera-based Tracking Alternative for Virtual Reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883645

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197016051

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018557537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017883645

Country of ref document: EP