WO2017002435A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017002435A1
WO2017002435A1 PCT/JP2016/062868 JP2016062868W WO2017002435A1 WO 2017002435 A1 WO2017002435 A1 WO 2017002435A1 JP 2016062868 W JP2016062868 W JP 2016062868W WO 2017002435 A1 WO2017002435 A1 WO 2017002435A1
Authority
WO
WIPO (PCT)
Prior art keywords
wind
information processing
output control
processing apparatus
data
Prior art date
Application number
PCT/JP2016/062868
Other languages
English (en)
French (fr)
Inventor
脩 繁田
健太郎 井田
陽方 川名
誠司 鈴木
拓也 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017002435A1 publication Critical patent/WO2017002435A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
    • A63J5/02—Arrangements for making stage effects; Auxiliary stage appliances
    • A63J5/04—Arrangements for making sound-effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of outputting a pseudo-perception that gives an immersive feeling from existing content.
  • the calculation unit that calculates an output control value for outputting a pseudo-perception that gives an immersive feeling to the content based on the content or sensor data associated with the content, and the calculated An information processing apparatus is provided that includes a transmission unit that transmits the output control value to a perceptual output control unit.
  • the calculation unit calculates an output control value for outputting a pseudo-perception that gives an immersive feeling to the content based on the content or sensor data associated with the content; Proposed is an information processing method including sending a calculated output control value to a perceptual output control unit by a sending unit.
  • the computer calculates the output control value for outputting a pseudo perception that gives an immersive feeling to the content based on the content or the sensor data associated with the content;
  • a program is proposed for causing the calculated output control value to function as a sending unit that sends the output control value to a perceptual output control unit.
  • FIG. 1 is a diagram illustrating a mounting example of an HMD 1 that realizes an information processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating the inside of the HMD 1 that implements the information processing system according to the embodiment of the present disclosure.
  • the HMD 1 shown in FIG. 1 is a head-mounted type that is worn by wearing a headband 5 on the head of the wearer and covers both eyes of the wearer.
  • FIG. 1 Head Mounted Display
  • a display unit 2 positioned in front of the wearer's eyes and a nose pad unit 4 are provided on the inner side.
  • the wearer can experience the immersive feeling by wearing the HMD 1 on the face and viewing the video on the display unit 2 with both eyes covered.
  • the air outlet 3 is an opening that sends out the wind output from a wind presentation device (not shown) provided in the HMD 1.
  • a wind presentation device not shown
  • the HMD 1 can present a wind to the wearer during viewing and can give a more immersive feeling.
  • the HMD 1 may be further provided with a speaker.
  • the information processing system calculates an output value of pseudo perception by analyzing existing content that is not assumed to present pseudo perception that gives an immersive feeling such as wind, It can be presented to the environment.
  • FIG. 3 is an explanatory diagram illustrating a hardware configuration of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a bridge 104, an input unit 105, An output unit 106, a storage unit 107, a network I / F (interface) 108, and a wireless communication I / F 109 are provided.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 functions as an arithmetic processing unit, and cooperates with various programs in each function in the information processing apparatus 100 (for example, the data acquisition unit 10, the wind output control value calculation unit 11, and the output control unit 12 illustrated in FIG. 4). Realize the operation. Further, the CPU 101 may be a microprocessor.
  • the ROM 102 stores programs or calculation parameters used by the CPU 101.
  • the RAM 103 temporarily stores programs used in the execution of the CPU 101 or parameters that change as appropriate during the execution.
  • the CPU 101, the ROM 102, and the RAM 103 are connected to each other by an internal bus including a CPU bus.
  • the input unit 105 generates input signals based on input by the user, such as a mouse, a keyboard, a touch panel, buttons, a microphone, a camera, a switch, and a lever. It consists of a control circuit.
  • a user of the information processing apparatus 100 can input various data or instruct a processing operation to the information processing apparatus 100 by operating the input unit 105.
  • the input unit 105 may be a unit that detects sensor data using various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, a position measurement, a temperature sensor, and a biological sensor.
  • the output unit 106 performs output to a display device such as a lens unit (an example of a transmissive display unit), a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device that performs display using a hologram optical technique, for example. . Furthermore, the output unit 106 may perform audio output from a speaker or headphones. Further, the output unit 106 may perform pseudo perceptual presentation such as wind output, heat output, water output, or vibration output.
  • a display device such as a lens unit (an example of a transmissive display unit), a liquid crystal display (LCD) device, or an OLED (Organic Light Emitting Diode) device that performs display using a hologram optical technique, for example.
  • the output unit 106 may perform audio output from a speaker or headphones. Further, the output unit 106 may perform pseudo perceptual presentation such as wind output, heat output, water output, or vibration output.
  • the storage unit 107 is a data storage device.
  • the storage unit 107 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage unit 107 stores programs executed by the CPU 101 and various data.
  • the network I / F 108 is a communication interface including communication devices for connecting to a network.
  • the network I / F 108 may be a wireless LAN (Local Area Network) compatible communication device or an LTE (Long Term Evolution) compatible communication device.
  • the network I / F 108 constitutes a part of the data acquisition unit 10 described later, and the data acquisition unit 10 can acquire content data from a predetermined server on the network.
  • the wireless communication I / F 109 is a communication interface for connecting to an information processing apparatus or a peripheral device outside the information processing apparatus 100. Note that, here, the wireless communication I / F 109 is used as an example, but a communication interface connected to an external information processing apparatus or peripheral device by wired communication may be used.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 functions as a data acquisition unit 10, a wind output control value calculation unit 11, and an output control unit 12.
  • the data acquisition unit 10 has a function of acquiring content data.
  • the data acquisition unit 10 may acquire content data from a predetermined server on the network through the network I / F 108, or may acquire content data from a peripheral device through the wireless communication I / F 109. Further, the data acquisition unit 10 may read content data from a storage medium inserted into the information processing apparatus 100.
  • the wind output control value calculation unit 11 has a function of analyzing a content or sensor data associated with the content and calculating a pseudo wind output control value that gives an immersive feeling to the content.
  • the wind output control value calculation unit 11 also functions as a sending unit that sends the calculated wind output value to the output control unit 12 (an example of a perceptual output control unit).
  • the wind output control value is calculated by the wind output control value calculation unit 11.
  • the present embodiment is not limited to this, and the wind output control value is not limited to this.
  • these pseudo-perceptual output control values can be calculated.
  • the wind output control value calculation unit 11 analyzes video data or sound data of content, and calculates wind output values (direction, strength, timing, etc.) to be presented to the user.
  • the data used for the analysis may be single or plural data.
  • the wind output control value calculation unit 11 analyzes video data such as a scene running on a motorcycle, a scene of a wave, a scene where a blast effect is generated in a game, and the like, and a pseudo wind that is presented to the user. Output values (direction, strength, timing, etc.) are calculated.
  • Wind presentation during the game is generated, for example, by the user's action (specifically, a wind generated in response to an action of shaking hands, a wind generated on the opposite side of the traveling direction when accelerating in a racing game), Also, what is passively received by the user due to environmental changes (specifically, a wind generated by an explosion scene during a game, a wind received from a first-person viewpoint such as a relay television of F1 race) is also assumed.
  • a wind generated in response to an action of shaking hands a wind generated on the opposite side of the traveling direction when accelerating in a racing game
  • environmental changes specifically, a wind generated by an explosion scene during a game, a wind received from a first-person viewpoint such as a relay television of F1 race
  • the wind output control value calculation unit 11 can also analyze sound data such as sound of waves, cheering people, music, and the like, and calculate a pseudo wind output value to be presented to the user.
  • an object is to generate a pseudo wind that is linked to the content data.
  • the wind is generated in conjunction with the effects of the game, even if the wind itself is not accurate, the user can feel more immersive with a combination of sound, video, and wind (multimodal). It becomes possible to make it.
  • the wind output control value calculation unit 11 can also analyze the sensor data associated with the content and calculate the wind output control value.
  • the sensor data associated with the content is not generated in advance for the wind presentation system. For example, sensor data detected at the time of video shooting (absolute position at the time of shooting, gyro data, acceleration data, atmospheric pressure, temperature, Humidity, photographer / subject biological data, etc.) are assumed.
  • the wind output control value calculation unit 11 performs API (Application It is also possible to calculate the wind output control value by analyzing the movement amount and movement of the user obtained from Programming Interface.
  • Output control unit 12 Based on the wind output value (for example, wind output direction, wind output strength, weakness, etc.) calculated by the wind output control value calculation unit 11, the output control unit 12 outputs from the wind presentation device (blower unit). Control to output wind.
  • the wind presentation device for example, a method of generating wind using the rotation of a fan, such as an electric fan, or a method of generating wind using a diaphragm such as a speaker can be used.
  • Wind presentation control based on the analysis result of the content data according to the present embodiment will be specifically described.
  • FIG. 5 is a flowchart showing wind presentation control processing based on video data according to the present embodiment.
  • step S103 the data acquisition unit 10 acquires video data.
  • step S106 the wind output control value calculation unit 11 analyzes the moving image (for example, using pattern recognition, image processing, and the like), and calculates an optical flow (object movement (movement amount)) as a vector from the object movement. Calculated). For example, when the moving image is a first-person viewpoint image of driving a bicycle as shown in FIG. 6, a number of Optical-Flows (F1 to F3) are calculated as shown in FIG.
  • step S109 the wind output control value calculation unit 11 calculates the vector average of Optical Flow, and in step S112, calculates the wind direction.
  • the calculation of the wind direction by the wind output control value calculation unit 11 is obtained by, for example, the following formula 1.
  • step S115 the wind output control value calculation unit 11 calculates the norm of the Optical Flow, and in step S118, calculates the wind intensity.
  • the wind intensity calculation by the wind output control value calculation unit 11 is obtained by, for example, the following formula 2.
  • the said Formula 1 and Formula 2 are examples, Comprising:
  • strength is not limited to this.
  • the wind output control value calculation unit 11 may obtain the motion (motion vector) of the entire video by using a technique such as feature point tracking without being limited to the optical-flow analysis.
  • step S121 the output control part 12 performs the wind output control from a wind presentation apparatus according to the wind direction and wind intensity which were calculated by the wind output control value calculation part 11.
  • FIG. The wind presentation device is provided, for example, in the above-described HMD 1 and can output wind from the plurality of air blowing ports 3.
  • the wind presentation system according to the present embodiment is not limited to the HMD 1 shown in FIGS. 1 and 2, and can be applied to a living environment as shown in FIG. 7, for example.
  • FIG. 7 is a diagram illustrating a wind presentation system applied to the living environment according to the present embodiment. As shown in FIG. 7, in an environment where the video display device 110 such as a TV and the sofa 40 are placed, a plurality of wind presentation devices 310 a to 310 g are arranged so as to surround the user sitting on the sofa 40.
  • the video display device 110 when the video display device 110 is viewing a first-person viewpoint video on a bicycle as shown in FIG. 7, the video display device 110 (an example of the information processing device 100) is based on the video analysis result.
  • the wind presentation devices 310a to 310g appropriately perform wind output control according to the wind intensity obtained from the optical flow norm and the wind direction obtained from the average value of the optical flow. Specifically, the wind from the left front direction is output from the wind presentation device 310a, the wind from the right front direction is output from the wind presentation device 310b, and the wind from the front direction is output from the wind presentation device 310e. it can.
  • the wind presentation devices 310c, 310d, 310f, and 310g located at the rear of the user can generate a negative wind by controlling the suction direction. ) Can also be generated.
  • the wind presentation control based on the video data has been described above.
  • the calculation of the wind output value according to the present embodiment is not limited to the method using the Optical-Flow based on the image analysis, and for example, the following method can be used. is there.
  • the wind output control value calculation unit 11 detects a change in the viewpoint position of the video (estimation of self position) using a technique such as Structure From Motion (SFM), for example, and estimates the three-dimensional movement amount of the viewpoint position. Thus, the direction and intensity of the wind presented to the viewing user are calculated according to the movement amount of the viewpoint position.
  • SFM Structure From Motion
  • the wind output control value calculation unit 11 is, for example, an object in the video that moves according to the movement of the user (for example, in a game that seems to be grasped and moved by the user)
  • the direction and intensity of the wind presented to the viewing user are calculated based on the movement of the sword, racket, etc.) and the movement of the object crossing the front of the eye. In fact, even if the distance is not enough to receive the movement and the wind to occur, it is possible to make the sense of immersion more felt by presenting the pseudo wind according to the movement.
  • the wind output control value calculation part 11 can also analyze the scene of an image
  • the wind output control value calculation unit 11 when it is extracted that the scene is an indoor scene by the scene analysis, no wind is emitted, and therefore the calculation by the wind output control value calculation unit 11 is not performed, or the control value of the wind stop is calculated. Further, the wind output control value calculation unit 11 resets the control value so as to stop the wind presentation when the video is switched from the outdoor scene to the indoor scene.
  • scene analysis may be realized by machine learning described below.
  • the wind output control value calculation unit 11 is pre-registered when machine learning of effects such as explosion scenes is performed in advance and the specific effects are detected from the video.
  • the wind direction, wind intensity, etc. according to the effect can be used as the output control value.
  • the information processing apparatus 100 allows the wind that is actually generated, for example, wind presentation according to an explosion scene or wind presentation according to a climax scene (for example, a goal scene) detected from a soccer game video. Rather, wind presentation as an effect or effect can be performed.
  • a situation may be estimated by combining a plurality of modals (multimodal) such as video, audio, sensor data, and text information.
  • FIG. 8 is a flowchart showing wind presentation control processing based on sound data according to the present embodiment.
  • step S203 the data acquisition unit 10 acquires sound data.
  • step S206 the wind output control value calculation unit 11 acquires the volume of each channel.
  • FIG. 9 shows an example of the acquired volume when the volume of each channel of 5.1ch is Vi.
  • the volume V1 of the Front-R (sound image localization on the front right side) is the largest
  • the volume V2 of the Surround-R (sound image localization on the rear right side) is large
  • the volume V0 of the Center (front) Surround-
  • the volume V3 of L sound image localization on the left rear side
  • the volume V4 of Front-L sound image localization on the front left side
  • the wind output control value calculation unit 11 calculates the wind direction.
  • the wind direction can be calculated according to the sound image localization position of each channel.
  • the wind output control value calculation part 11 may adjust a wind direction based on the magnitude
  • the wind output control value calculation unit 11 calculates the direction of the wind by estimating the sound at the virtual position from the information of each channel of 5.1ch, or, for example, from the data of Front-R and Surround-R You may calculate the wind from the direction of the wind presentation apparatus located in the middle of Front-R and Surround-R by generating the sound of the middle position.
  • step S212 the wind output control value calculation unit 11 calculates the wind intensity.
  • the wind intensity Fi is calculated by the following Equation 3.
  • step S215 the output control unit 12 performs wind output control from the wind presentation device according to the wind direction and the wind intensity calculated by the wind output control value calculation unit 11.
  • wind presentation in a living environment capable of outputting surround sound such as 5.1ch will be described with reference to FIG.
  • FIG. 10 is a diagram illustrating a living environment in which wind presentation based on sound data according to the present embodiment is performed.
  • wind presentation devices 310a to 310g are arranged around the user.
  • the arrangement of the wind presentation devices 310a to 310 corresponds to, for example, each channel of 5.1ch surround (Front-L, Front-R, Surround-L, Surround-R, Center).
  • each speaker is not shown, but is assumed to be disposed at a position corresponding to each channel.
  • the output control unit 12 calculates based on the sound volume (see FIG. 9) from the wind presentation device 310 corresponding to the wind direction (sound image localization position) calculated by the wind output control value calculation unit 11 as described above. Control to output the wind at the specified wind intensity.
  • the wind intensity from the wind presentation device 310d corresponding to the Surround-R position is the largest and corresponds to the Surround-R position, as shown in FIG.
  • the wind intensity from the wind presenting device 310b is next highest, and the wind strength from the wind presenting devices 310e, 310c, 310a corresponding to the positions of Center, Surround-L, and Front-L is small.
  • FIG. 10 it is assumed that speakers that realize 5.1ch surround are arranged.
  • the present embodiment is not limited to this, and for example, a user sitting on the sofa 40 wears headphones or the like to output 5.1ch surround sound. You may assume that you are listening.
  • the wind output control value calculation unit 11 calculates not only the volume (volume) of the sound data but also the power of a specific frequency obtained by, for example, spectrum analysis of the sound data. It is also possible to use a spectrum.
  • the wind output control value calculation unit 11 can present the wind in accordance with the increase or decrease of the power spectrum of the specific frequency. Specifically, the wind output control value calculation unit 11 can calculate the wind direction from the magnitudes of the left and right L and R power spectra in the case of stereo sound (the same applies to 5.1ch surround).
  • the wind output control value calculation unit 11 may dynamically normalize the volume and power spectrum by assigning the maximum volume and the minimum volume to Vmax and Vmin from the data of the past fixed time because the volume and power spectrum differ depending on the content. .
  • Vmax decreases when a scene with a low sound continues constantly, so that a change in a small sound can be reflected in the strength of the wind.
  • Vmax will increase, so it will not react to a small sound change and only the large sound change will be reflected in the wind strength. it can.
  • the wind output control value calculation unit 11 may analyze the sound data to separate the human speech and the environmental sound and control the wind according to each information.
  • the wind output control value calculation unit 11 controls the wind output time (for example, the duration of outputting the wind), the wind intensity, and the air blowing direction according to the type of the separated environmental sound, so It is also possible to present.
  • FIG. 11 is a diagram illustrating a wind presentation with a lingering sound.
  • the wind output control value calculation unit 11 does not use the detected power spectrum as it is for sound change, but based on the result of applying the filter, the wind control output value (wind presentation duration time). , Wind intensity, etc.) may be calculated. For example, the sound of a drop of water falling on the surface of the water is momentary (see the power spectrum shown in the upper part of FIG. 11), but the result of the power spectrum is slowly reduced according to the time change to present a lingering wind. can do.
  • a graph W1 shown in the lower part of FIG. 11 is the maximum value of the power spectrum at each time, and when various filters are applied thereto, graphs W2 and W3 are obtained.
  • the graph W2 is designed so that it gradually decreases with time after applying the filter of the maximum value of the power spectrum.
  • the graph W2 shows the power spectrum after applying the smoothing filter to the maximum value of the power spectrum. It is designed to follow the changes of the gradual.
  • the wind output control value calculation unit 11 calculates the control value of the wind intensity and the presentation duration based on the converted result. Note that it may be determined whether or not the power spectrum conversion is executed according to the type of environmental sound. Thus, for example, a wind with a reverberation can be presented if the sound is a wave, and a wind based on the normal power spectrum without a reverberation can be presented if the sound is a human voice or rain.
  • the wind output control value calculation part 11 detects the specific sound (for example, the sound of a wave, a car sound, a magic effect, an explosion sound etc.) learned beforehand using machine learning, and is registered beforehand.
  • a wind direction, wind intensity, or the like corresponding to a specific sound can be set as the output control value.
  • the wind output control value calculation unit 11 calculates a control value for controlling to sequentially output the wind from one of the plurality of wind presenting devices installed in the horizontal direction to the other, for example, according to the volume change. A wind flowing from a predetermined direction can be presented.
  • wind presentation control based on sensor data is acquired when shooting or recording is performed by an action camcorder, a smartphone, a glass-type device, a wearable terminal, or the like (that is, when content is generated), and is associated with the captured video data or recorded sound data. Attached.
  • the sensor data includes, for example, position information, angular velocity data, acceleration data, atmospheric pressure data, illuminance data, temperature data, humidity data, or biological data. In the present embodiment, it is possible to perform wind presentation control when reproducing the content based on the sensor data acquired and associated with the content as described above.
  • the information processing apparatus 100 performs wind presentation based on acceleration data and velocity data acquired from, for example, an acceleration sensor, a gyro sensor, and GPS. More specifically, the information processing apparatus 100 presents wind according to the acceleration obtained in the scene where the car starts, or responds to the speed obtained while the car is traveling (for example, movement speed based on GPS). The wind can be presented or the wind can be stopped according to the stop of the car. Further, the information processing apparatus 100 can present the wind based on the integrated value of the angular acceleration sensor obtained when the car curves. Further, the information processing apparatus 100 may integrate a plurality of sensor data to obtain a detailed movement locus and present it in a windy manner.
  • the information processing apparatus 100 can perform wind presentation from an altitude estimated based on a change in atmospheric pressure obtained when shooting while falling by skydiving. Further, when the information processing apparatus 100 detects that the atmospheric pressure obtained at the time of imaging is low or that it is an outdoor scene by video analysis and detects that it is a mountain top or a rooftop of a building, it presents a strong wind. be able to.
  • the information processing apparatus 100 for example, when moving from a dark place to a bright place based on a change in illuminance data at the time of shooting (specifically, a scene that exits from a tunnel or a scene that goes out of a room is assumed). Presenting the wind can give an immersive feeling to the content.
  • FIG. 12 is a diagram illustrating wind presentation during a game.
  • the user wearing the HMD 1 is playing a game in which the controller 7 is regarded as a sword 222.
  • the HMD 1 is a hand 221 of the game screen 220 displayed on the display unit 2 (see FIG. 2) inside the HMD 1 based on motion data (acceleration data, angular velocity data, etc.) received from the controller 7 via the wireless communication I / F 109. And move the image of the sword 222.
  • the HMD 1 can calculate the wind received by the user due to the movement of the sword 222 and present it from the air outlet 3 (see FIG. 2).
  • the HMD 1 may present a wind according to the movement of the character in the game.
  • the HMD 1 can give the user a feeling of the wind received by the character by giving the user a wind that is output in a direction opposite to the direction in which the character travels, and can give a sense of immersion in the game.
  • the HMD 1 may present a wind according to a specific event in the game.
  • the HMD 1 detects a specific action such as punch or kick on the opponent side in the fighting game, an action of magic activation, and the like, and presents the wind with an output control value registered in advance.
  • HMD1 may present a wind according to the relative movement from a specific object.
  • the HMD 1 can give an immersive feeling to the game by presenting the wind from the side to the user when it is overtaken by an adjacent opponent character in a race game.
  • a wind presentation device 320 may be provided in the portable game machine 120 (an example of the information processing apparatus 100), and wind presentation may be performed from the portable game machine 120 itself.
  • a wind presentation device 330 may be provided in the controller 50 and the wind presentation may be performed from the controller 50 itself.
  • the living environment to which the wind presentation system according to the present embodiment is applied is not limited to the example described above with reference to FIGS. Specifically, in the example illustrated in FIGS. 7 and 10, the wind presentation device 310 is arranged in all directions of the user, but the present invention is not necessarily limited thereto. If the presentation device 310 is not desired to be installed, only the wind presentation devices 310f and 310g of the sofa 40 may be installed. In this case, the presentation of the wind from the front can be realized by controlling the direction of sucking the fans of the wind presentation devices 310f and 310g, for example.
  • Such a method for controlling the fan in the suction direction can also be realized by a wind presentation device provided in a wearable terminal worn by the user, such as HMD1.
  • a wind presentation device provided in a wearable terminal worn by the user, such as HMD1.
  • HMD1 a wind presentation device provided in a wearable terminal worn by the user
  • the wind around the user's face is controlled by controlling the left and right suction forces of the wind presenting device placed around the user's neck. Can be given.
  • the video display device 140 can perform wind presentation based only on sound data in the content. For example, the video display device 140 presents the wind to the user's feet from the wind presenting device 310g arranged on the lower side of the sofa 40 in accordance with the environmental sound (sound of waves, sound of rubbing leaves of the forest, etc.). It is also possible to produce a comfortable space.
  • the information processing apparatus 100 may perform emotion estimation based on biometric data among sensor data associated with content, and may perform wind presentation according to the emotion at the time of content generation.
  • the HMD 1 when the user wears the HMD 1 to view content, the HMD 1 performs emotion estimation based on the detection results of the wearer's brain wave, line of sight, facial expression, etc., and winds based on the estimation result. It is also possible to present. For example, when viewing the content and the user is relaxed, it is possible to further give a sense of immersion in the content by presenting a relaxed and comfortable wind.
  • the information processing apparatus 100 may control the on / off of the wind presentation by an explicit operation by the user, an automatic setting function, or the like.
  • the information processing apparatus 100 controls the wind presentation to be off when viewing a news program, and controls it to be on when enjoying content such as a game or a movie.
  • the information processing apparatus 100 can also control on / off of the wind presentation according to the scene even when the wind presentation is on.
  • the information processing apparatus 100 may perform wind presentation when movement of the entire screen is detected, and may not perform wind presentation in a scene where there is movement only in a small area on the screen.
  • the information processing apparatus 100 may perform wind presentation according to the blast sound or wave sound in the content, and may control to not perform wind presentation in the case of noise or sound that has no correlation with the wind.
  • the information processing apparatus 100 may preferentially perform the wind presentation, or the video / sound / sensor according to the present embodiment. You may perform wind presentation according to the output control value calculated based on the analysis of the data etc. acquired from data / API. Moreover, you may combine both wind presentations. Which mode is selected may be selected in advance by the user, or may be automatically selected on the system side.
  • FIG. 14 is a diagram illustrating an example in which the wind presentation device 340 according to the present embodiment is installed in the curtain box 60.
  • the video display device 140 (an example of the information processing device 100) outputs wind that is linked to the sound of waves and wind that is linked to video from the wind presentation device 340 installed in the curtain box 60. Control as follows. As a result, the curtain attached to the curtain box 60 is shaken, and a sense of immersion in the content can be given.
  • the curtain box 60 may be installed in a place without a window, and in this case, a feeling of release can be presented in a space without a window by shaking the curtain.
  • the wind presentation device 340 can also output wind based on remote wind information obtained via the Internet.
  • the wind presentation system there is a possibility that the user may not notice the continuous wind intensity change, so it may be discrete or binarized (with or without wind). Also good. That is, in the wind presentation system according to the present embodiment, the intensity is increased by discretely or binarizing the input (for example, power spectrum) and the output (wind strength, direction) without corresponding one-to-one. The user may easily notice the change in the wind. Further, the wind presentation system according to the present embodiment may exclude a small movement or sound in the video and present a wind according to the movement or sound exceeding a certain threshold. Further, in the wind presentation system according to the present embodiment, a specific target may be specified, and only an influence on a thing related to the target (for example, spatially close) may be reflected in the wind presentation. .
  • the information processing apparatus 100 can present pseudo-perception other than wind.
  • pseudo-perception other than wind.
  • perceptual presentation by light (lighting), water, heat, smell, etc. can be assumed.
  • the information processing apparatus 100 calculates and outputs the illuminance and color of the lighting based on the analysis result of the video and sound. For example, in the case of a moving image, the information processing apparatus 100 changes the color of illumination from color information in a specified area in a moving image. In the case of sound data, the information processing apparatus 100 can perform spectrum analysis and adjust the brightness according to the power spectrum of a specific frequency. For example, the LED array may be illuminated in synchronization with the sound of waves.
  • the information processing apparatus can detect a hot scene or a cold scene based on the scene analysis, and output hot air or cold air using a Peltier element or the like. Further, the information processing apparatus can generate an odor based on scene analysis and send the odor with wind, or conversely, the odor can be sucked and removed.
  • At least a part of the functional configuration (see FIG. 4) of the information processing apparatus 100 according to the present embodiment may function on a network (so-called cloud).
  • this technique can also take the following structures.
  • a calculation unit that calculates an output control value for outputting a pseudo perception that gives an immersive feeling to the content;
  • a sending unit that sends the calculated output control value to a perceptual output control unit;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the calculation unit converts an analysis result obtained by analyzing the content or the sensor data into pseudo perception.
  • the information processing apparatus includes: The information processing apparatus according to (1) or (2), further including the perceptual output control unit that controls the output unit to give a perception to a user according to the output control value.
  • the pseudo perceptual output control value includes wind strength.
  • the information processing apparatus wherein the pseudo perceptual output control value includes a wind direction.
  • the information processing apparatus according to (4) or (5), wherein the output unit is a blower unit.
  • the content is video data, The information processing apparatus according to any one of (1) to (6), wherein the calculation unit calculates the pseudo perceptual output control value based on the analysis of the video data.
  • the calculation unit analyzes the motion of the entire screen or a part of the video in the video data, and calculates a pseudo wind blowing direction and intensity according to the traveling direction and speed, according to (7).
  • Information processing device is
  • the information processing apparatus (9) The information processing apparatus according to (7), wherein the calculation unit analyzes movement of a viewpoint in the video data and calculates a pseudo wind blowing direction and intensity according to a movement direction and speed of the viewpoint. . (10) The information processing apparatus according to (8) or (9), wherein the calculation unit analyzes an effect in the video data and calculates a pseudo wind intensity according to the magnitude of the effect. (11) The calculation unit analyzes a scene in the video data, and calculates a pseudo wind blowing direction, intensity, and duration according to the content of the scene, any one of (7) to (10) The information processing apparatus according to item.
  • the content is audio data
  • the information processing apparatus according to any one of (1) to (6), wherein the calculation unit calculates the pseudo perceptual output control value based on the analysis of the audio data.
  • the calculation unit analyzes a volume of the audio data and calculates a pseudo wind intensity according to the analyzed volume.
  • the calculation unit analyzes a power spectrum of a specific frequency of the audio data and calculates a pseudo wind intensity according to the analyzed power spectrum.
  • the calculation unit analyzes sound image localization in the audio data and calculates a pseudo wind direction according to the analyzed position of the sound image localization.
  • the calculation unit according to any one of (12) to (15), wherein the calculation unit calculates the pseudo wind output time according to a type of environmental sound separated by analyzing the audio data.
  • Information processing device 17.
  • the sensor data associated with the content includes any one of (1) to (6) including position information, angular velocity data, acceleration data, atmospheric pressure data, illuminance data, temperature data, humidity data, or biological data.
  • the information processing apparatus according to item.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】既存のコンテンツから没入感を与える疑似的な知覚を出力させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、前記算出された出力制御値を、知覚出力制御部に送出する送出部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、テーマパーク等のレジャー施設、映画館等において、映像や音に加えて風をユーザに提示することで、臨場感や没入感を向上させる演出が行われている。また、例えば下記特許文献１では、仮想空間上の風を直接ユーザに提示することで没入感を向上させている。
特開２００８－７９７８９号公報
　しかしながら、このような風を用いた提示システムは、専用に作り込まれたコンテンツ上でしか体験することができなかった。従って、このようなシステムを想定していない既存のコンテンツ（通常の映像データやサウンドデータ）に対して適用することができなかった。
　そこで、本開示では、既存のコンテンツから没入感を与える疑似的な知覚を出力させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、前記算出された出力制御値を、知覚出力制御部に送出する送出部と、を備える、情報処理装置を提案する。
　本開示によれば、コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出部により算出することと、前記算出された出力制御値を、送出部により知覚出力制御部に送出することと、を含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、前記算出された出力制御値を、知覚出力制御部に送出する送出部と、として機能させるための、プログラムを提案する。
　以上説明したように本開示によれば、既存のコンテンツから没入感を与える疑似的な知覚を出力させることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムを実現するＨＭＤの装着例を示す図である。 本開示の一実施形態による情報処理システムを実現するＨＭＤの内側を示す図である。 本開示の一実施形態による情報処理装置のハードウェア構成を示した説明図である。 本開示の一実施形態による情報処理装置の機能構成の一例を示す図である。 本実施形態による映像データに基づく風提示制御処理を示すフローチャートである。 本実施形態による映像データからのOptical Flowの算出について説明する図である。 本実施形態によるリビング環境に適用される風提示システムについて説明する図である。 本実施形態による音データに基づく風提示制御処理を示すフローチャートである。 本実施形態による各チャンネルの音量の一例を示すグラフである。 本実施形態による音データに基づく風提示を行うリビング環境について説明する図である。 本実施形態による余韻のある風提示について説明する図である。 本実施形態によるゲーム中における風提示について説明する図である。 本実施形態による携帯ゲーム機およびコントローラからの風提示について説明する図である。 本実施形態による風提示装置がカーテンボックスに設置された例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成
　　２－１．ハードウェア構成
　　２－２．機能構成
　３．風提示制御
　　３－１．映像データに基づく風提示制御
　　３－２．音データに基づく風提示制御
　　３－３．センサデータに基づく風提示制御
　　３－４．ＡＰＩから取得されるデータに基づく風提示制御
　５．変形例
　６．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　本開示の一実施形態による情報処理システムは、例えば図１、図２に示すようなＨＭＤ（Head Mounted Display）１により実現され得る。図１は、本開示の一実施形態による情報処理システムを実現するＨＭＤ１の装着例を示す図である。図２は、本開示の一実施形態による情報処理システムを実現するＨＭＤ１の内側を示す図である。図１に示すＨＭＤ１は、図１に示すように、装着者の頭部にヘッドバンド５をかけて装着され、装着者の両目を覆う頭部装着型タイプである。内側には、図２に示すように、装着時に装着者の眼前に位置するディスプレイ部２と、鼻当て部４が設けられている。これにより、装着者はＨＭＤ１を顔面に装着して両目が覆われた状態でディスプレイ部２の映像を視聴し、没入感を体験することができる。
　また、本実施形態によるＨＭＤ１の内側には、図２に示すように、１以上の送風口３が各所に設けられている。送風口３は、ＨＭＤ１に設けられた風提示装置（不図示）から出力された風を送出する開口部である。これによりＨＭＤ１は、視聴中に装着者に対して風を提示することができ、より没入感を与えることができる。なおＨＭＤ１にはさらにスピーカが設けられていてもよい。
　ここで、従来の風を用いた提示システムでは、専用に作り込まれたコンテンツ上でしか体験することができず、風提示システムを想定していない既存のコンテンツ（通常の映像データやサウンドデータ）には適用することができなかった。
　そこで、本開示による情報処理システムでは、風等の没入感を与える疑似的な知覚の提示を想定していない既存のコンテンツを解析することで、疑似的な知覚の出力値を算出し、ユーザや環境に提示することを可能とする。
　以上説明した本開示による情報処理システムについて、以下具体的に説明する。
　＜＜２．構成＞＞
　＜２－１．ハードウェア構成＞
　まず、図３を用いて、本開示の各実施形態に共通する情報処理装置１００のハードウェア構成について説明する。本実施形態によるＨＭＤ１、映像表示装置１１０、１４０、および携帯ゲーム機１２０の各機能は、ソフトウェアと、次に説明する情報処理装置１００のハードウェアとの協働により実現される。
　図３は、本開示の一実施形態による情報処理装置１００のハードウェア構成を示した説明図である。図３に示したように、情報処理装置１００は、ＣＰＵ（Central　Processing　Unit）１０１と、ＲＯＭ（Read　Only　Memory）１０２と、ＲＡＭ（Random　Access　Memory）１０３と、ブリッジ１０４と、入力部１０５と、出力部１０６と、ストレージ部１０７と、ネットワークＩ／Ｆ（interface）１０８と、無線通信Ｉ／Ｆ１０９とを備える。
　ＣＰＵ１０１は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の各機能（例えば図４に示すデータ取得部１０、風出力制御値算出部１１、および出力制御部１２）の動作を実現する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ１０１、ＲＯＭ１０２およびＲＡＭ１０３は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　入力部１０５は、マウス、キーボード、タッチパネル、ボタン、マイクロホン、カメラ、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力部１０５を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力部１０５は、加速度センサ、ジャイロセンサ、地磁気センサ、位置測位、温度センサ、生体センサ等の各種センサによりセンサデータを検出する手段であってもよい。
　出力部１０６は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置などの表示装置への出力を行う。さらに、出力部１０６は、スピーカやヘッドフォンからの音声出力を行ってもよい。また、出力部１０６は、風出力、熱出力、水出力、または振動出力等の疑似的な知覚提示を行ってもよい。
　ストレージ部１０７は、データ格納用の装置である。ストレージ部１０７は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ部１０７は、ＣＰＵ１０１が実行するプログラムや各種データを格納する。
　ネットワークＩ／Ｆ１０８は、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、ネットワークＩ／Ｆ１０８は、無線ＬＡＮ（Local　Area　Network）対応通信装置であってもよいし、ＬＴＥ（Long　Term　Evolution）対応通信装置であってもよい。ネットワークＩ／Ｆ１０８は、後述するデータ取得部１０の一部を構成し、データ取得部１０は、ネットワーク上の所定サーバからコンテンツデータを取得することが可能である。
　無線通信Ｉ／Ｆ１０９は、情報処理装置１００の外部の情報処理装置または周辺機器と接続するため通信インターフェースである。なおここでは一例として無線通信Ｉ／Ｆ１０９を有する構成としたが、有線通信によりの外部の情報処理装置または周辺機器と接続する通信インターフェースであってもよい。
　＜２－２．機能構成＞
　続いて、情報処理装置１００の機能構成について図４を参照して説明する。図４は、本開示の一実施形態による情報処理装置１００の機能構成の一例を示す図である。
　図４に示すように、情報処理装置１００は、データ取得部１０、風出力制御値算出部１１、出力制御部１２として機能する。
　（データ取得部１０）
　データ取得部１０は、コンテンツデータを取得する機能を有する。例えばデータ取得部１０は、ネットワークＩ／Ｆ１０８により、ネットワーク上の所定サーバからコンテンツデータを取得してもよいし、無線通信Ｉ／Ｆ１０９により、周辺機器からコンテンツデータを取得してもよい。また、データ取得部１０は、情報処理装置１００に挿入された記憶媒体からコンテンツデータを読取ってもよい。
　（風出力制御値算出部１１）
　風出力制御値算出部１１は、コンテンツまたはコンテンツに紐付けられたセンサデータを解析し、コンテンツへの没入感を与える疑似的な風出力制御値を算出する機能を有する。また、風出力制御値算出部１１は、算出した風出力値を、出力制御部１２（知覚出力制御部の一例）に送出する送出部としても機能する。なお、本実施形態では、疑似的な知覚出力の一例として「風」を用いるため、風出力制御値算出部１１により風出力制御値を算出するが、本実施形態はこれに限定されず、風以外の疑似的な知覚の出力、例えば熱、水、振動等を用いる場合、これらの疑似的な知覚の出力制御値を算出し得る。
　具体的には、風出力制御値算出部１１は、コンテンツの映像データまたは音データ等を解析し、ユーザに提示する風の出力値（方向、強弱、タイミング等）を算出する。解析に用いるデータは単一または複数のデータであってもよい。例えば風出力制御値算出部１１は、バイクで疾走しているシーン、波のシーン、ゲーム中において爆風のエフェクトが発生したシーン等の映像データの解析を行い、ユーザに提示する疑似的な風の出力値（方向、強弱、タイミング等）を算出する。ゲーム中における風提示は、例えばユーザが行動することによって発生するもの（具体的には手を振りかざす行動に応じて発生する風、レースゲームで加速した際に進行方向と逆側に生じる風）、および環境変化によってユーザが受動的に受けるもの（具体的にはゲーム中の爆発シーンによって発生する風、Ｆ１レースの中継テレビのような一人称視点で受ける風）も想定される。
　また、風出力制御値算出部１１は、波の音や人々の歓声、音楽等の音データの解析を行い、ユーザに提示する疑似的な風の出力値を算出することも可能である。
　なお、本実施形態では、コンテンツから実際に発生していると想定される風を正確に再現する必要はなく、コンテンツデータと連動する擬似的な風を生成することを目的とする。例えば没入感という観点からは、ゲームのエフェクトと連動して風が発生させる場合、風そのものが正確でなくとも、音、映像、風の組み合わせ（マルチモーダル）によってユーザに対して没入感をより体感させることが可能となる。
　また、本実施形態による風出力制御値算出部１１は、コンテンツに紐付けられたセンサデータを解析して、風出力制御値を算出することも可能である。コンテンツに紐付けられたセンサデータとは、風提示システム用に予め生成されたものではなく、例えば映像撮影時に検知されたセンサデータ（撮影時の絶対位置、ジャイロデータ、加速度データ、気圧、気温、湿度、撮影者／被写体の生体データ等）が想定される。
　また、風出力制御値算出部１１は、ゲーム等のコンテンツ実行時において、API（Application
Programming Interface）から得られるユーザの移動量や動き等を解析して、風出力制御値を算出することも可能である。
　（出力制御部１２）
　出力制御部１２は、風出力制御値算出部１１により算出された風の出力値（例えば風の出力方向、風出力の強さ、弱さ等）に基づいて、風提示装置（送風部）から風を出力するよう制御する。風提示装置には、例えば扇風機のようにファンの回転を利用して風を生成する方法や、スピーカのような振動板を用いて風を生成する方法が用いられ得る。また、風提示装置で生成した風を、ノズル等を介して任意の場所（例えば送風口３）から送出する方法も用いられ得る。また、風提示装置は単一または複数あってよい。風提示装置が単一の場合、風提示装置の向きを可動とする機構を有することで、任意の方向に風を提示することができる。また、出力制御部１２は、風提示装置が単一の場合に、風の強弱のみを制御するようにしてもよい。
　＜＜３．風提示制御＞＞
　続いて、本実施形態によるコンテンツデータの解析結果に基づく風提示制御について具体的に説明する。
　＜３－１．映像データに基づく風提示制御＞
　まず、コンテンツが映像データの場合における風出力値の算出について、図５～図６を参照して説明する。図５は、本実施形態による映像データに基づく風提示制御処理を示すフローチャートである。
　図５に示すように、ステップＳ１０３において、データ取得部１０は、映像データを取得する。
　次に、ステップＳ１０６において、風出力制御値算出部１１は、動画像を解析し（例えばパターン認識、画像処理等を用いる）、物体の動きからOptical Flow（物体の動き（移動量）をベクトルで表したもの）を算出する。例えば動画像が図６に示すような自転車を運転している一人称視点の映像の場合、図６に示すように多数のOptical Flow（Ｆ１～Ｆ３）が算出される。
　次いで、ステップＳ１０９において、風出力制御値算出部１１は、Optical Flowのベクトル平均を算出し、ステップＳ１１２において、風向き方向を算出する。風出力制御値算出部１１による風向き方向の算出は、例えば下記式１により求められる。
Figure JPOXMLDOC01-appb-M000001
　また、ステップＳ１１５において、風出力制御値算出部１１は、Optical Flowのノルムを算出し、ステップＳ１１８において、風の強度を算出する。風出力制御値算出部１１による風の強度算出は、例えば下記式２により求められる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-I000003
　なお上記式１、式２は一例であって、風の方向や強度の算出方法はこれに限定されない。また、風出力制御値算出部１１は、映像全体の動き（動きベクトル）を、Optical Flowの解析に限定されず、特徴点追跡のような手法を用いて求めてもよい。
　そして、ステップＳ１２１において、出力制御部１２は、風出力制御値算出部１１により算出された風方向および風強度に従って、風提示装置からの風出力制御を行う。風提示装置は、例えば上述したＨＭＤ１に設けられ、複数の送風口３から風を出力し得る。なお本実施形態による風提示システムは、図１、図２に示すＨＭＤ１に限定されず、例えば図７に示すようなリビング環境に適用することも可能である。
　図７は、本実施形態によるリビング環境に適用される風提示システムについて説明する図である。図７に示すように、ＴＶ等の映像表示装置１１０と、ソファー４０が置いてある環境において、複数の風提示装置３１０ａ～３１０ｇが、ソファー４０に座るユーザを取り囲むよう配置されている。具体的には、ユーザの前方左側に風提示装置３１０ａ、ユーザの前方右側に風提示装置３１０ｂ、ユーザの後方左側に風提示装置３１０ｃ、ユーザの後方右側に風提示装置３１０ｄ、ユーザの前方かつ映像表示装置１１０の下側に風提示装置３１０ｅ、ユーザの後方かつソファー４０の上下に風提示装置３１０ｆ、３１０ｇが配置されている。
　これにより、例えば図７に示すような自転車に乗っている一人称視点の映像を映像表示装置１１０で視聴している際、映像表示装置１１０（情報処理装置１００の一例）は、映像解析結果に基づいてOptical　Flowのノルムから求めた風の強度と、Optical　Flowの平均値から求めた風の方向に従って、風提示装置３１０ａ～３１０ｇから適宜風出力制御を行う。具体的には、左前方方向からの風は風提示装置３１０ａから出力し、右前方方向からの風は風提示装置３１０ｂから出力し、前方方向からの風は風提示装置３１０ｅから出力することができる。また、ユーザの後方に位置する風提示装置３１０ｃ、３１０ｄ、３１０ｆ、３１０ｇは、吸引する方向に制御することでマイナス方向の風を発生させることも可能であるし、ユーザの後方からの風（追い風）を発生させることも可能である。
　以上、映像データに基づく風提示制御について説明したが、本実施形態による風出力値の算出は、画像解析に基づくOptical Flowを用いた手法に限定されず、例えば以下の手法を用いることも可能である。
　・カメラ視点の３次元移動量を推定（映像全体の動き）
　風出力制御値算出部１１は、例えばStructure　From　Motion（ＳＦＭ）のような手法を用いて、映像の視点位置の変化を検出し（自己位置の推定）、視点位置の３次元移動量を推定して、かかる視点位置の移動量に応じて、視聴ユーザに提示する風の方向、強度を算出する。
　・映像の一部（小領域）の動きを検出
　風出力制御値算出部１１は、例えばユーザの動きに応じて動く映像内の物体（例えばユーザが把持して動かしているように見えるゲーム内の剣やラケット等）の動きや、目の前を横切る物体の動きに基づいて、視聴ユーザに提示する風の方向、強度を算出する。実際には風が起こるほどの動きや風を受ける程の距離にいない場合でも、動きに応じて疑似的な風を提示することで、没入感をより感じさせることが可能である。
　・シーン解析
　風出力制御値算出部１１は、映像のシーン解析を行って定常的な風の存在を提示することも可能である。具体的には、風出力制御値算出部１１は、例えば映像のシーン解析の結果、海や空等の屋外のシーンであることが抽出された場合、事前に登録されているシーン（例えば海のシーン、山のシーン、晴れているシーン、雨のシーン、嵐のシーン等）に応じた風方向および風強度と、余韻を表現するための風出力の継続時間を出力制御値とする。一方、シーン解析で屋内のシーンであることが抽出された場合は風を出さないため、風出力制御値算出部１１による算出は行わない、若しくは風停止の制御値を算出する。また、風出力制御値算出部１１は、映像が屋外のシーンから屋内のシーンに切り替わった際、風提示を停止するよう制御値をリセットする。このようなシーン解析は、次に説明する機械学習により実現されてもよい。
　・機械学習を用いた特定シーン等のエフェクトの検出
　風出力制御値算出部１１は、爆発シーン等のエフェクトを事前に機械学習し、映像から当該特定のエフェクトを検出した場合に、事前に登録されているエフェクトに応じた風方向や風強度等を出力制御値とすることもできる。これにより、情報処理装置１００は、例えば爆発シーンに合わせた風提示や、サッカーの試合映像から検出された盛り上がりシーン（例えばゴールシーン）に合わせた風提示というように、実際に発生している風ではなく、演出やエフェクトとしての風提示を行うことができる。なお機械学習を用いてシーン解析を行う場合、映像、音声、センサデータ、テキスト情報等、複数のモーダル（マルチモーダル）を組み合わせて状況を推定してもよい。
　＜３－２．音データに基づく風提示制御＞
　続いて、コンテンツが音データの場合における風出力値の算出について、図８～図１１を参照して説明する。本実施形態による風出力制御値算出部１１は、音データの場合、音源の定位位置（ユーザに対する音源の相対的定位位置）から風の方向を算出し、また、音量から風の強さを算出することが可能である。また、音源がステレオの場合、風出力制御値算出部１１は、パンニングを用いて風方向を推定したり、5.1chのようなサラウンド音声の場合は各チャンネルの音量から風方向を推定したりすることも可能である。以下、音データの風提示処理について図８を参照して説明する。図８は、本実施形態による音データに基づく風提示制御処理を示すフローチャートである。
　図８に示すように、まず、ステップＳ２０３において、データ取得部１０は、音データを取得する。
　次に、ステップＳ２０６において、風出力制御値算出部１１は、各チャンネルの音量を取得する。ここで、5.1chの各チャンネルの音量をViとした場合の取得音量の一例を図９に示す。図示された例では、Front-R（前方右側に音像定位）の音量V1が最も大きく、次いでSurround-R（後方右側に音像定位）の音量V2が大きく、Center（正面）の音量V0、Surround-L（後方左側に音像定位）の音量V3、およびFront-L（前方左側に音像定位）の音量V4は共に小さい。
　次いで、ステップＳ２０９において、風出力制御値算出部１１は、風向き方向の算出を行う。風向き方向は、各チャンネルの音像定位位置に応じて算出され得る。また、風出力制御値算出部１１は、各チャンネルのボリュームの大きさに基づいて風方向を調整してもよい。また、風出力制御値算出部１１は、5.1chの各チャンネルの情報から仮想的な位置の音を推定して風の方向を算出したり、また、例えばFront-RとSurround-Rのデータからその中間の位置の音を生成する等して、Front-RとSurround-Rの中間に位置する風提示装置方向からの風を算出してもよい。
　次いで、ステップＳ２１２において、風出力制御値算出部１１は、風強度の算出を行う。ここで、5.1chの各チャンネルの音量をVi、各チャンネルに対応する位置に設置された風提示装置の風強度をFiとした場合、風強度Fiは、下記式３により算出される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-I000005
　そして、ステップＳ２１５において、出力制御部１２は、風出力制御値算出部１１により算出された風方向および風強度に従って、風提示装置からの風出力制御を行う。ここで、5.1chのようなサラウンド音声を出力し得るリビング環境における風提示について、図１０を参照して説明する。
　図１０は、本実施形態による音データに基づく風提示を行うリビング環境について説明する図である。図１０に示すように、ユーザの周囲には、風提示装置３１０ａ～３１０ｇが配置されている。風提示装置３１０ａ～３１０の配置は、例えば5.1chサラウンドの各チャンネル（Front-L、Front-R、Surround-L、Surround-R、Center）に対応する。なお図１０では、各スピーカは図示していないが、各チャンネルに対応する位置にそれぞれ配置されているとする。
　この場合、出力制御部１２は、上述したように風出力制御値算出部１１により算出された風方向（音像定位位置）に該当する風提示装置３１０から、音量（図９参照）に基づいて算出された風強度で風を出力するよう制御する。ここで、各チャンネルの音量が図９に示す例の場合、図１０に示すように、Surround-Rの位置に相当する風提示装置３１０ｄからの風強度が最も大きく、Surround-Rの位置に相当する風提示装置３１０ｂからの風強度が次に大きく、Center、Surround-L、およびFront-Lの位置に相当する風提示装置３１０ｅ、３１０ｃ、３１０ａからの風強度は共に小さい。
　なお図１０では、5.1chサラウンドを実現するスピーカが配置されているものとしたが、本実施形態はこれに限定されず、例えばソファー４０に座るユーザがヘッドフォン等を装着して5.1chサラウンド音声を聞いている場合を想定してもよい。
　また、本実施形態による風出力制御値算出部１１は、風の強度や方向の算出を、音データの音量（ボリューム）だけではなく、例えば音データをスペクトル解析して得られた特定周波数のパワースペクトルを用いて行うことも可能である。風出力制御値算出部１１は、特定周波数のパワースペクトルの増減に合わせて風を提示し得る。具体的には、風出力制御値算出部１１は、風の方向を、ステレオ音声の場合は左右のL,Rパワースペクトルの大きさから算出し得る（5.1chサラウンドの場合も同様）。
　また、風出力制御値算出部１１は、ボリュームやパワースペクトルはコンテンツによって大きさが異なるため、過去一定時間のデータから最大音量と最小音量をVmax、Vminに割り当てて、ダイナミックにノーマライゼーションしてもよい。これにより、音が小さいシーンが定常的に続くとVmaxが小さくなるため、小さい音の変化を風の強さに反映させることができる。また、逆に大きい音や小さい音に変化が大きい状態が定常的に続くと、Vmaxが大きくなるため、小さな音変化には反応せず、大きな音変化のみを風の強さに反映させることができる。
　また、風出力制御値算出部１１は、音データを解析して人の発話と環境音を分離して、それぞれの情報に応じて風を制御してもよい。また、風出力制御値算出部１１は、分離した環境音の種類に応じて風の出力時間（例えば、風を出力する継続時間）、風の強度、および送風方向を制御し、余韻のある風を提示することも可能である。図１１は余韻のある風提示について説明する図である。
　図１１に示すように、風出力制御値算出部１１は、検出されたパワースペクトルをそのまま音変化に利用せずに、フィルタを適用した結果に基づいて風提示における出力制御値（風提示継続時間、風強度等）を算出してもよい。例えば、水面に水滴が落ちた音は一瞬だが（図１１の上段に示すパワースペクトル参照）、そのパワースペクトルの結果を時間変化に応じてゆっくりと減少させていくことで、余韻のある風を提示することができる。図１１の下段に示すグラフＷ１は各時刻のパワースペクトルの最大値であって、これに対して各種フィルタを適用すると、グラフＷ２、Ｗ３となる。グラフＷ２は、パワースペクトルの最大値のフィルタ適用後、時間変化でゆるやかに減少するように設計されたものであって、グラフＷ２は、パワースペクトルの最大値に平滑化フィルタを適用後、パワースペクトルの変化にゆるやかに追従するよう設計されたものである。風出力制御値算出部１１は、このように変換された結果に基づいて、風の強度や提示継続時間の制御値を算出する。なおパワースペクトルの変換は、環境音の種類に応じて実行するか否かを判断してもよい。これにより、例えば波の音であれば余韻のある風を提示し、人の声や雨の音であれば余韻のない通常のパワースペクトルそのままに基づいた風を提示することができる。
　また、風出力制御値算出部１１は、機械学習を用いて、事前に学習した特定の音（例えば波の音、車の音、魔法のエフェクト、爆発音等）を検出し、事前に登録されている特定の音に応じた風方向や風強度等を出力制御値とすることもできる。
　また、風出力制御値算出部１１は、音量変化に応じて、例えば水平方向に設置された複数の風提示装置の一方から他方に順次風を出力させるよう制御する制御値を算出することで、所定方向から流す風を提示することができる。
　＜３－３．センサデータに基づく風提示制御＞
　次いで、コンテンツに紐付けられたセンサデータに基づく風提示制御について説明する。センサデータは、例えばアクションカムコーダ、スマートフォン、グラス型デバイス、ウェアラブル端末等により撮影や録音が行われた際（すなわちコンテンツが生成された際）に取得され、撮影した映像データや録音した音データに紐付けられる。センサデータは、例えば位置情報、角速度データ、加速度データ、気圧データ、照度データ、気温データ、湿度データ、または生体データ等を含む。本実施形態では、このようにコンテンツ生成時に取得され紐付けられたセンサデータに基づいて、当該コンテンツを再生する際に風提示制御を行うことが可能となる。
　本実施形態による情報処理装置１００は、例えば加速度センサ、ジャイロセンサ、ＧＰＳ等から取得された加速度データや速度データに基づいて風提示を行う。より具体的には、情報処理装置１００は、車が発進するシーンにおいて得られた加速度に応じて風を提示したり、車が走行中に得られた速度（例えばGPSに基づく移動速度）に応じて風を提示したり、車の停止に応じて風提示を止めることができる。また、情報処理装置１００は、車がカーブする際に得られた角加速度センサの積分値に基づいて風を提示し得る。さらに、情報処理装置１００は、複数のセンサデータを統合して詳細な移動の軌跡を求めて風提示してもよい。
　また、情報処理装置１００は、スカイダイビングで落ちながら撮影している時に得られた気圧の変化に基づいて推定される高度から風提示を行うことも可能である。また、情報処理装置１００は、撮像時に得られた気圧が低いことや映像解析により屋外シーンであることが検出され、山頂やビルの屋上等であることを検出した場合、強めの風を提示することができる。
　また、情報処理装置１００は、撮影時照度データの変化に基づいて、例えば暗い場所から明るい場所に移動した時に（具体的にはトンネルから出たシーンや室外に出たシーンが想定される）、風を提示することで、コンテンツへの没入感を与えることができる。
　＜３－４．ＡＰＩから取得されるデータに基づく風提示制御＞
　次いで、ＡＰＩから取得されるデータに基づく風提示制御について図１２を参照して説明する。図１２は、ゲーム中における風提示について説明する図である。図示された例では、ＨＭＤ１を装着したユーザが、コントローラ７を剣２２２に見立てたゲームを行っている。ＨＭＤ１は、無線通信Ｉ／Ｆ１０９を介してコントローラ７から受信した動きデータ（加速度データや角速度データ等）に基づいて、ＨＭＤ１内側のディスプレイ部２（図２参照）に表示したゲーム画面２２０の手２２１と剣２２２の画像を動かす。この際、ＨＭＤ１は、剣２２２の動きによってユーザが受ける風を算出し、送風口３（図２参照）から提示し得る。
　また、ＨＭＤ１は、ゲーム内のキャラクターの動きに応じて風を提示してもよい。例えばＨＭＤ１は、キャラクターの進行方向と逆の方向に出力される風をユーザに提示することで、キャラクターが受けている風をユーザに感じさせ、ゲームへの没入感を与えることができる。
　また、ＨＭＤ１は、ゲーム内の特定イベントに応じて風を提示してもよい。例えばＨＭＤ１は、格闘ゲームにおける相手側のパンチ、キック等の特定アクションや、魔法発動のアクション等を検出し、予め登録されている出力制御値で風を提示する。
　また、ＨＭＤ１は、特定の対象からの相対的な動きに応じて風を提示してもよい。例えばＨＭＤ１は、レースゲームにおいて、隣の相手キャラに抜かされた場合、ユーザに対して横から風を提示することで、ゲームへの没入感を与えることができる。
　以上、ＡＰＩから取得されるデータに基づく風提示制御について、ＨＭＤ１を用いた場合について説明したが、本実施形態はこれに限定されない。例えば図１３左に示すように携帯ゲーム機１２０（情報処理装置１００の一例）に風提示装置３２０を設けて、携帯ゲーム機１２０自体から風提示を行ってもよい。また、図１３右に示すようにコントローラ５０に風提示装置３３０を設けて、コントローラ５０自体から風提示を行ってもよい。
　　＜＜４．補足＞＞
　最後に、本実施形態による情報処理システム（風提示システム）の補足についていくつか説明する。
　まず、本実施形態による風提示システムが適用されるリビング環境は、図７や図１０を用いて上述した例に限定されない。具体的には、図７や図１０に示す例では、ユーザの全方位に風提示装置３１０が配置されているが、必ずしもこれに限定されず、例えば、映像表示装置１４０や自身の周囲に風提示装置３１０を設置したくない場合、ソファー４０の風提示装置３１０ｆ、３１０ｇのみ設置してもよい。この場合、正面からの風の提示は、例えば風提示装置３１０ｆ、３１０ｇのファンを吸引する方向に制御することで実現することができる。
　このようなファンを吸引する方向に制御する方法は、ＨＭＤ１等、ユーザが装着しているウェアラブル端末に設けられている風提示装置でも実現され得る。例えばカーレースのゲーム中に右方向にカーブする場合、ユーザの首の周辺に配置されている風提示装置の左右の吸引力を制御することで、ユーザの顔周辺の風を制御して臨場感を与えることができる。
　また、映像表示装置１４０は、コンテンツ中の音データのみに基づいて風提示を行うことも可能である。例えば映像表示装置１４０は、環境音（波の音や山林の葉のこすれる音等）に合わせて、ソファー４０の下側に配置されている風提示装置３１０ｇからユーザの足元に風を提示することで、心地良い空間を演出することも可能である。
　また、情報処理装置１００は、コンテンツに紐付けられたセンサデータのうち生体データに基づいて感情推定を行い、コンテンツ生成時の感情に応じた風提示を行ってもよい。
　また、図１に示すようにＨＭＤ１を装着してコンテンツを視聴している場合、ＨＭＤ１は、装着者の脳波、視線、表情等の検出結果に基づいて感情推定を行い、推定結果に基づいて風を提示することも可能である。例えば、コンテンツを視聴してユーザがリラックスしている際には、ゆったりとした心地良い風を提示することで、コンテンツへの没入感をさらに与えることができる。
　また、情報処理装置１００は、ユーザによる明示的な操作、若しくは自動設定機能等により、風提示のon/offを制御してもよい。例えば、情報処理装置１００は、ニュース番組の視聴時は風提示をoffに制御し、ゲームや映画等のコンテンツを楽しむ際はonに制御する。また、情報処理装置１００は、風提示がonになっている場合でもシーンに応じて風提示のon/offを制御することも可能である。例えば情報処理装置１００は、画面全体の移動が検出された場合に風提示を行い、画面中の小領域のみ動きがあるようなシーンでは風提示を行なわないようにしてもよい。また、情報処理装置１００は、コンテンツ中の爆風音や波の音に応じて風提示を行い、ノイズや、風に相関が無い音の場合は風提示を行わないよう制御してもよい。
　また、情報処理装置１００は、コンテンツデータに、風提示システムを想定したデータが予め登録されていた場合、そちらを優先して風提示を行ってもよいし、本実施形態による映像／音／センサデータ／APIから取得したデータ等の解析に基づいて算出した出力制御値に従った風提示を行ってもよい。また、両方の風提示を組み合わせてもよい。いずれのモードにするかは、ユーザが予め選択してもよいし、システム側で自動に選択してもよい。
　また、風提示装置の設置方法は、図２、図７、図１０、図１３に示した例に限定されない。図１４は、本実施形態による風提示装置３４０がカーテンボックス６０に設置された例を示す図である。図１４に示すように、映像表示装置１４０（情報処理装置１００の一例）は、カーテンボックス６０に設置された風提示装置３４０から、波の音に連動する風や映像に連動する風を出力するよう制御する。これによりカーテンボックス６０に取り付けられたカーテンが揺れて、コンテンツへの没入感を与えることができる。また、カーテンボックス６０は窓の無い個所に設置されてもよく、この場合、カーテンを揺らすことで窓の無い空間に解放感を提示することができる。また風提示装置３４０は、インターネット経由で取得した遠隔地の風情報に基づいて風を出力することも可能である。
　また、本実施形態による風提示システムでは、連続的な風の強度変化をユーザが気付かない可能性もあるため、敢えて離散的にしてもよいし、若しくは二値化（風有り、無し）してもよい。すなわち、本実施形態による風提示システムでは、入力（例えばパワースペクトル）と出力（風の強さ、方向）の変化を１対１で対応させずに、離散的若しくは二値化させることで強弱をつけ、ユーザが風の変化を気付き易いようにしてもよい。また、本実施形態による風提示システムは、映像中の小さな動きや音は除外して、一定の閾値を超えた動きや音に応じた風を提示するようにしてもよい。また、本実施形態による風提示システムでは、特定の対象を指定し、その対象と関係のあるもの（例えば空間的に近い等）に対しての影響のみを風提示に反映させるようにしてもよい。
　また、本実施形態による情報処理装置１００は、風以外の疑似的な知覚を提示することも可能である。例えば、光（照明）、水、熱、匂い等による知覚提示が想定され得る。
　具体的には、情報処理装置１００は、映像や音の解析結果に基づいて、照明の照度や色を算出し、出力する。例えば情報処理装置１００は、動画像の場合、動画内の指定された領域内の色情報から照明の色を変化させる。また、サウンドデータの場合、情報処理装置１００は、スペクトル解析を行って特定周波数のパワースペクトルに応じて明るさを調整することができる。例えば波の音と同期してＬＥＤアレイを光らせてもよい。
　また、情報処理装置は、シーン解析に基づいて、暑いシーンや寒いシーンを検出し、ペルチェ素子等を用いて温風や冷風を出力し得る。また、情報処理装置は、シーン解析に基づいて匂いを発生させて風で匂いを送り込んだり、逆に匂いを吸引して除去したりすることも可能である。
　　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、風提示を前提としていない既存のコンテンツに対しても、風提示により没入感、臨場感、心地よさの向上、また、開放感の演出を行うことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１００に内蔵されるＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３等のハードウェアに、情報処理装置１００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本実施形態による情報処理装置１００の機能構成（図４参照）の少なくとも一部は、ネットワーク上（所謂クラウド）で機能してもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、
　前記算出された出力制御値を、知覚出力制御部に送出する送出部と、
を備える、情報処理装置。
（２）
　前記算出部は、前記コンテンツまたは前記センサデータを解析して得られた解析結果を疑似的な知覚に変換する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、
　前記出力制御値に従って、ユーザへ知覚を与えるよう出力部を制御する前記知覚出力制御部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
　前記疑似的な知覚の出力制御値は、風の強さを含む、前記（３）に記載の情報処理装置。
（５）
　前記疑似的な知覚の出力制御値は、風の方向を含む、前記（４）に記載の情報処理装置。
（６）
　前記出力部は、送風部である、前記（４）または（５）に記載の情報処理装置。
（７）
　前記コンテンツは、映像データであって、
　前記算出部は、前記映像データの解析に基づいて、前記疑似的な知覚の出力制御値を算出する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
　前記算出部は、前記映像データにおける画面全体または一部の映像の動きを解析し、進行方向および速さに応じて疑似的な風の送風方向および強さを算出する、前記（７）に記載の情報処理装置。
（９）
　前記算出部は、前記映像データにおける視点の移動を解析し、視点の移動方向および速さに応じて疑似的な風の送風方向および強さを算出する、前記（７）に記載の情報処理装置。
（１０）
　前記算出部は、前記映像データにおけるエフェクトを解析し、エフェクトの大きさに応じて疑似的な風の強さを算出する、前記（８）または（９）に記載の情報処理装置。
（１１）
　前記算出部は、前記映像データにおけるシーンを解析し、シーンの内容に応じて疑似的な風の送風方向、強さ、および継続時間を算出する、前記（７）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記コンテンツは、音声データであって、
　前記算出部は、前記音声データの解析に基づいて、前記疑似的な知覚の出力制御値を算出する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（１３）
　前記算出部は、前記音声データの音量を解析し、解析した音量に応じて疑似的な風の強さを算出する、前記（１２）に記載の情報処理装置。
（１４）
　前記算出部は、前記音声データの特定周波数のパワースペクトルを解析し、解析したパワースペクトルに応じて疑似的な風の強さを算出する、前記（１２）に記載の情報処理装置。
（１５）
　前記算出部は、前記音声データにおける音像定位を解析し、解析した音像定位の位置に応じて疑似的な風の方向を算出する、前記（１２）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記算出部は、前記音声データを解析して分離した環境音の種類に応じて、前記疑似的な風の出力時間を算出する、前記（１２）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
　前記コンテンツに紐付けられたセンサデータは、位置情報、角速度データ、加速度データ、気圧データ、照度データ、気温データ、湿度データ、または生体データを含む、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（１８）
　前記算出部は、前記コンテンツのアプリケーションから得られるデータに基づいて、前記疑似的な知覚の出力制御値を算出する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（１９）
　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出部により算出することと、
　前記算出された出力制御値を、送出部により知覚出力制御部に送出することと、
を含む、情報処理方法。
（２０）
　コンピュータを、
　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、
　前記算出された出力制御値を、知覚出力制御部に送出する送出部と、
として機能させるための、プログラム。
　１　　ＨＭＤ
　２　　ディスプレイ部
　３　　送風口
　４　　鼻当て部
　５　　ヘッドバンド
　１０　　データ取得部
　１１　　風出力制御値算出部
　１２　　出力制御部
　１００　　情報処理装置
　３００、３１０、３２０、３３０、３４０　　風提示装置

Claims (20)

  1. 　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、
    　前記算出された出力制御値を、知覚出力制御部に送出する送出部と、
    を備える、情報処理装置。
  2. 　前記算出部は、前記コンテンツまたは前記センサデータを解析して得られた解析結果を疑似的な知覚に変換する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、
    　前記出力制御値に従って、ユーザへ知覚を与えるよう出力部を制御する前記知覚出力制御部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記疑似的な知覚の出力制御値は、風の強さを含む、請求項３に記載の情報処理装置。
  5. 　前記疑似的な知覚の出力制御値は、風の方向を含む、請求項４に記載の情報処理装置。
  6. 　前記出力部は、送風部である、請求項４に記載の情報処理装置。
  7. 　前記コンテンツは、映像データであって、
    　前記算出部は、前記映像データの解析に基づいて、前記疑似的な知覚の出力制御値を算出する、請求項１に記載の情報処理装置。
  8. 　前記算出部は、前記映像データにおける画面全体または一部の映像の動きを解析し、進行方向および速さに応じて疑似的な風の送風方向および強さを算出する、請求項７に記載の情報処理装置。
  9. 　前記算出部は、前記映像データにおける視点の移動を解析し、視点の移動方向および速さに応じて疑似的な風の送風方向および強さを算出する、請求項７に記載の情報処理装置。
  10. 　前記算出部は、前記映像データにおけるエフェクトを解析し、エフェクトの大きさに応じて疑似的な風の強さを算出する、請求項８に記載の情報処理装置。
  11. 前記算出部は、前記映像データにおけるシーンを解析し、シーンの内容に応じて疑似的な風の送風方向、強さ、および継続時間を算出する、請求項７に記載の情報処理装置。
  12. 　前記コンテンツは、音声データであって、
    　前記算出部は、前記音声データの解析に基づいて、前記疑似的な知覚の出力制御値を算出する、請求項１に記載の情報処理装置。
  13. 　前記算出部は、前記音声データの音量を解析し、解析した音量に応じて疑似的な風の強さを算出する、請求項１２に記載の情報処理装置。
  14. 　前記算出部は、前記音声データの特定周波数のパワースペクトルを解析し、解析したパワースペクトルに応じて疑似的な風の強さを算出する、請求項１２に記載の情報処理装置。
  15. 　前記算出部は、前記音声データにおける音像定位を解析し、解析した音像定位の位置に応じて疑似的な風の方向を算出する、請求項１２に記載の情報処理装置。
  16. 　前記算出部は、前記音声データを解析して分離した環境音の種類に応じて、前記疑似的な風の出力時間を算出する、請求項１２に記載の情報処理装置。
  17. 　前記コンテンツに紐付けられたセンサデータは、位置情報、角速度データ、加速度データ、気圧データ、照度データ、気温データ、湿度データ、または生体データを含む、請求項１に記載の情報処理装置。
  18. 　前記算出部は、前記コンテンツのアプリケーションから得られるデータに基づいて、前記疑似的な知覚の出力制御値を算出する、請求項１に記載の情報処理装置。
  19. 　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出部により算出することと、
    　前記算出された出力制御値を、送出部により知覚出力制御部に送出することと、
    を含む、情報処理方法。
  20. 　コンピュータを、
    　コンテンツまたはコンテンツに紐付けられたセンサデータに基づいて、前記コンテンツへの没入感を与える疑似的な知覚を出力するための出力制御値を算出する算出部と、
    　前記算出された出力制御値を、知覚出力制御部に送出する送出部と、
    として機能させるための、プログラム。
PCT/JP2016/062868 2015-07-01 2016-04-25 情報処理装置、情報処理方法、およびプログラム WO2017002435A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015132626 2015-07-01
JP2015-132626 2015-07-01

Publications (1)

Publication Number Publication Date
WO2017002435A1 true WO2017002435A1 (ja) 2017-01-05

Family

ID=57608424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062868 WO2017002435A1 (ja) 2015-07-01 2016-04-25 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2017002435A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163700A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 コンテンツ提示システム、コンテンツ提示装置及び風提示装置
WO2020090697A1 (ja) * 2018-10-28 2020-05-07 株式会社Ｄａｐリアライズ 遠隔ライブ映像娯楽施設及び該遠隔ライブ映像娯楽施設を利用するユーザに対する課金方法
WO2021038980A1 (ja) * 2019-08-28 2021-03-04 ソニー株式会社 情報処理装置及び情報処理方法、人工知能機能搭載表示装置、並びに人工知能機能搭載演出システム
WO2021079640A1 (ja) * 2019-10-23 2021-04-29 ソニー株式会社 情報処理装置及び情報処理方法、並びに人工知能システム
JPWO2021220339A1 (ja) * 2020-04-27 2021-11-04
WO2023042423A1 (ja) * 2021-09-17 2023-03-23 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354366A (ja) * 2001-05-25 2002-12-06 Matsushita Electric Ind Co Ltd 情報表示装置
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
JP2007307097A (ja) * 2006-05-18 2007-11-29 Kanazawa Inst Of Technology 仮想空間生成装置ならびに環境風測定装置および環境風記録再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354366A (ja) * 2001-05-25 2002-12-06 Matsushita Electric Ind Co Ltd 情報表示装置
JP2006270711A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 情報提供装置及び情報提供装置の制御用プログラム
JP2007307097A (ja) * 2006-05-18 2007-11-29 Kanazawa Inst Of Technology 仮想空間生成装置ならびに環境風測定装置および環境風記録再生方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383213B (zh) * 2017-03-07 2022-02-18 索尼公司 内容呈现系统、内容呈现装置和风呈现装置
CN110383213A (zh) * 2017-03-07 2019-10-25 索尼公司 内容呈现系统、内容呈现装置和风呈现装置
JPWO2018163700A1 (ja) * 2017-03-07 2020-01-09 ソニー株式会社 コンテンツ提示システム、コンテンツ提示装置及び風提示装置
EP3594782A4 (en) * 2017-03-07 2020-02-19 Sony Corporation CONTENT PRESENTATION SYSTEM, CONTENT PRESENTATION DEVICE, AND WIND PRESENTATION DEVICE
WO2018163700A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 コンテンツ提示システム、コンテンツ提示装置及び風提示装置
JP7040514B2 (ja) 2017-03-07 2022-03-23 ソニーグループ株式会社 コンテンツ提示システム、コンテンツ提示装置及び風提示装置
US11148048B2 (en) * 2017-03-07 2021-10-19 Sony Corporation Content presentation system, content presentation device, and wind presenting device
WO2020090697A1 (ja) * 2018-10-28 2020-05-07 株式会社Ｄａｐリアライズ 遠隔ライブ映像娯楽施設及び該遠隔ライブ映像娯楽施設を利用するユーザに対する課金方法
JPWO2020090697A1 (ja) * 2018-10-28 2021-02-15 株式会社Ｄａｐリアライズ 遠隔ライブ映像娯楽施設及び該遠隔ライブ映像娯楽施設を利用するユーザに対する課金方法
WO2021038980A1 (ja) * 2019-08-28 2021-03-04 ソニー株式会社 情報処理装置及び情報処理方法、人工知能機能搭載表示装置、並びに人工知能機能搭載演出システム
WO2021079640A1 (ja) * 2019-10-23 2021-04-29 ソニー株式会社 情報処理装置及び情報処理方法、並びに人工知能システム
EP4050909A4 (en) * 2019-10-23 2022-12-28 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND ARTIFICIAL INTELLIGENCE SYSTEM
WO2021220339A1 (ja) * 2020-04-27 2021-11-04 日本電信電話株式会社 動感刺激提示システムとその方法
JPWO2021220339A1 (ja) * 2020-04-27 2021-11-04
WO2023042423A1 (ja) * 2021-09-17 2023-03-23 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Similar Documents

Publication Publication Date Title
WO2017002435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220286728A1 (en) Information processing apparatus and information processing method, display equipped with artificial intelligence function, and rendition system equipped with artificial intelligence function
US20200221247A1 (en) Method of providing to user 3d sound in virtual environment
CN105511632B (zh) 信号采集装置、虚拟现实设备及其控制方法
JP6574937B2 (ja) 通信システム、制御方法、および記憶媒体
WO2017134935A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6492332B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9349179B2 (en) Location information determined from depth camera data
WO2008047889A1 (en) Display device and display method
WO2021143574A1 (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
EP3427477B1 (en) Head-mountable display system
US20200197783A1 (en) Information processing apparatus, information processing method, and program
US10706820B2 (en) Methods and apparatus for producing a multimedia display that includes olfactory stimuli
US11726562B2 (en) Method and device for performance-based progression of virtual content
EP4080907A1 (en) Information processing device and information processing method
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
CN109144265A (zh) 显示切换方法、装置、穿戴式设备及存储介质
CN205334374U (zh) 信号采集装置和虚拟现实设备
WO2020158440A1 (ja) 情報処理装置、情報処理方法、及びプログラムを記載した記録媒体
US20220036659A1 (en) System and Method for Simulating an Immersive Three-Dimensional Virtual Reality Experience
EP4307238A1 (en) Information processing device, information processing method, and system
WO2023281803A1 (ja) 情報処理装置、情報処理方法および記憶媒体
CN113448099A (zh) 一种基于vr的智能头盔
Lin et al. Attaching-music: An interactive music delivery system for private listening as wherever you go
WO2009047678A2 (en) A method of operating a set of devices, a real-world representation system and a detection device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16817545

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16817545

Country of ref document: EP

Kind code of ref document: A1