WO2019013056A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019013056A1 WO2019013056A1 PCT/JP2018/025277 JP2018025277W WO2019013056A1 WO 2019013056 A1 WO2019013056 A1 WO 2019013056A1 JP 2018025277 W JP2018025277 W JP 2018025277W WO 2019013056 A1 WO2019013056 A1 WO 2019013056A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- user
- data
- tactile
- information processing
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
- A63G31/00—Amusement arrangements
- A63G31/16—Amusement arrangements creating illusions of travel
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J25/00—Equipment specially adapted for cinemas
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
- B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
- B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
- B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
- B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
- B06B1/045—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism using vibrating magnet, armature or coil system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
- H04R2201/023—Transducers incorporated in garment, rucksacks or the like
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2400/00—Loudspeakers
- H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
Definitions
- the present disclosure relates to an information processing device, an information processing method, and a program.
- a tactile data presentation unit provided with an actuator etc. presents tactile sensation to the user, thereby improving presence etc. It may be done. At this time, there is a possibility that the user may feel discomfort by perceiving the sound (second sound) emitted by the tactile stimulation. According to the technique described in the above-mentioned Patent Document 1 and the like, it has not been possible to appropriately prevent the sound (second sound) emitted by the tactile stimulation from being perceived by the user.
- the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately preventing the user from being perceived by the user (second sound) emitted by tactile stimulation. Do.
- An information processing apparatus includes a generation unit that generates haptic data used to present the tactile stimulus that emits the second sound that is not perceived by the user based on the information on the two perceptual characteristics.
- the information on the first perceptual characteristic of the user for the first sound emitted from the acoustic data presentation unit, and the information for the second sound emitted by the tactile stimulation presented from the tactile data presentation unit are provided.
- the information on the first perceptual characteristic of the user for the first sound emitted from the acoustic data presentation unit, and the information for the second sound emitted by the tactile stimulation presented from the tactile data presentation unit are arranged.
- FIG. 6 is a block diagram showing an example of a functional configuration of the information processing device 200. It is a figure for demonstrating the method of producing
- FIG. It is a figure for demonstrating the method of producing
- FIG. It is a block diagram showing an example of functional composition of sense presentation device 100. As shown in FIG. It is a flow chart which shows an example of a flow of generation processing of tactile sense data. It is a figure explaining an outer vest. It is a figure explaining an inner vest. It is a figure explaining the fixed aspect of the tactile sense data presentation part 121. FIG. It is a figure explaining the mounting
- FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing apparatus 200.
- An information processing system presents various senses to a user. More specifically, as shown in FIG. 1, the information processing system includes the sense presentation device 100 worn by the user, and presents various senses to the user via the sense presentation device 100. Do.
- the sensation presentation device 100 internally includes a plurality of haptic data presentation units 121 (in the figure, haptic data presentation units 121 a to haptic data presentation units 121 h).
- a plurality for example, six as shown in FIG. 1 (six haptic data presentation units 121a to 121f)
- a plurality for example, As shown in FIG. 1, one for each shoulder (tactile data presentation unit 121g and haptic data presentation unit 121h), and a plurality on the back side (not shown; for example, six like the front side) tactile data
- the presentation unit 121 may be arranged.
- each tactile data presentation unit 121 has a positional relationship in which each tactile data presentation unit 121 disposed on the front side faces an individual tactile data presentation unit 121 disposed on the back side. It can be arranged.
- the sensory presentation device 100 includes one or more haptic data presentation units 121, and presents various tactile stimuli to the user by controlling the size and timing of these outputs, or the combination of the haptic data presentation units 121 to be output.
- the sense presentation device 100 can present a sense that the user is disconnected, a sense that the user hits some object, a sense that the user is pressed down, and the like.
- FIG. 1 shows an example in which the sense presentation device 100 is a sleeveless dress (vest), the present invention is not limited to such an example, and the sense presentation device 100 also has sleeves and pants, and thus, various parts of the body. You may be able to present your senses.
- the number of tactile data presentation units 121 provided in the sensory presentation device 100 is not particularly limited.
- the sensation presentation device 100 may include an acoustic data presentation unit 131 (in the figure, an acoustic data presentation unit 131 a and an acoustic data presentation unit 131 b) for presenting a sound.
- an acoustic data presentation unit 131 in the figure, an acoustic data presentation unit 131 a and an acoustic data presentation unit 131 b
- a plurality of acoustic data presentation units 131 for example, one on each shoulder as shown in FIG. 2 may be disposed on the shoulders of the user.
- the sensation presentation device 100 includes one or more acoustic data presentation units 131, and various acoustic effects can be presented to the user by controlling the size and timing of these outputs.
- the sense presentation device 100 can localize a sound image in space, or an effect sound only to the user in a situation where BGM is presented from another speaker (for example, an effect sound when the user is disconnected, It is possible to present a sound effect or the like when the user hits an object.
- the number in particular of the acoustic data presentation parts 131 with which the sense presentation device 100 is equipped is not limited.
- the senses presented to the user by the sense presentation device 100 are presented by the sense of touch (tactile stimulation presented by the sense of haptic data presentation unit 121) or the sense of hearing (acoustic data presenter 131). Sound is included, but the feeling presented to the user is not limited to these.
- the sensory presentation device 100 may be equipped with a mechanism capable of presenting vision, smell or taste.
- the sense presentation device 100 may be able to present vision (video) as in a transmissive head mounted display etc., may be able to present olfactory sense as in a fragrance presentation device etc, A taste (taste) may be presented as in a presentation device.
- the information processing system according to the present disclosure includes, for example, indoors (for example, theaters, movie theaters, concert halls, live houses, indoor play facilities in theme parks, etc.), outdoors (for example, theaters provided with stages outdoors), It is a system that can be used regardless of the concert hall, the live hall, the movie screening hall where the screen is provided outdoors, or the outdoor play facility in the theme park.
- the information processing system according to the present disclosure includes the sense presentation device 100, the information processing apparatus 200, the controller 260, the audio IF 270, the amplifier 280, the front speaker 290, and the projector 300.
- a screen 310, a light 320, a smoke generator 330, and a wind generator 340 (note that the information processing system shown in FIG. 3 is assumed to be used indoors).
- the information processing device 200 is a device that controls the entire information processing system in an integrated manner. More specifically, the information processing apparatus 200 can be a sense presented to the user via the sense presentation device 100, an image projected on the screen 310, a sound emitted from the front speaker 290, a light emitted from the light 320, It controls the smoke emitted from the smoke generator 330, the wind emitted from the wind generator 340, and the like. The functions of the information processing apparatus 200 will be described in detail later.
- the controller 260 is a device used when the operator performs an input to the information processing device 200.
- the audio IF 270 is a device that functions as an interface of acoustic data used to present sound via the sensory presentation device 100.
- the amplifier 280 is a device that performs amplification, adjustment, switching of input, and the like of sound data input to the audio IF 270.
- the front speaker 290 is a device that functions as a sound presentation unit, and is a device that presents a sound (first sound) to the entire venue.
- the projector 300 is a device that projects an image on the screen 310, and the screen 310 is a surface (for example, a flat surface or a curved surface) on which the image is projected.
- the light 320 is a device that presents light, the smoke generator 330 presents smoke, and the wind generator 340 presents wind.
- the configuration example of the information processing system according to the present disclosure has been described above. Note that the above configuration described with reference to FIG. 3 is merely an example, and the configuration of the information processing system according to the present disclosure is not limited to such an example. For example, the number of devices constituting the information processing system is not particularly limited. The configuration of the information processing system according to the present disclosure can be flexibly deformed according to the specification and the operation.
- tactile stimulation is presented to the user from the tactile data presentation unit 121 of the sensory presentation device 100.
- the user may feel discomfort by perceiving the sound (second sound) emitted by the tactile stimulation. More specifically, the user perceives the sound (first sound) presented from the front speaker 290 as the user perceives the sound (second sound) emitted by the tactile stimulation as noise. , The sense of realism is disturbed.
- the information processing apparatus 200 is information related to a user's first perceptual characteristic with respect to a first sound emitted from the front speaker 290 (sound presentation unit) (hereinafter referred to as “first perceptual characteristic information”) , And information on the second perceptual characteristic of the user for the second sound emitted by the tactile stimulation presented from the tactile data presentation unit 121 of the sensory presentation device 100 (hereinafter referred to as “second perceptual characteristic information”) And generate tactile data to be used to present a tactile stimulus that emits a second sound not perceived by the user.
- first perceptual characteristic information information related to a user's first perceptual characteristic with respect to a first sound emitted from the front speaker 290 (sound presentation unit)
- second perceptual characteristic information information on the second perceptual characteristic of the user for the second sound emitted by the tactile stimulation presented from the tactile data presentation unit 121 of the sensory presentation device 100
- the “first perceptual property information” is information indicating the presence or absence of the perception of the first sound by the user, the degree of the perception, etc., and the first information when the first sound reaches the user's ear
- the frequency characteristic information of the sound is included.
- the “second perceptual property information” is information indicating the presence or absence of the perception of the second sound by the user, the degree of the perception, etc., and the second when the second sound reaches the user's ear It contains frequency characteristic information of sound. Specific examples of the first perceptual characteristic information and the second perceptual characteristic information will be described later. Further, in the above description, it is described that the first sound is the sound emitted from the front speaker 290, but the first sound is not limited to this.
- the first sound also includes the sound emitted from the sound data presentation unit 131 of the sense presentation device 100, and in the case where any speaker other than the front speaker 290 or the sound data presentation unit 131 is present.
- the sound emitted from the speaker is also included.
- the information processing device 200 provides the haptic data generated in this way to the sense presentation device 100, so that the haptic data presentation unit 121 of the sense presentation device 100 does not perceive the user using the haptic data.
- a tactile stimulus that emits 2 sounds can be presented. Therefore, the user who is presented with the tactile stimulus and the user who is not presented with the tactile stimulus located near the user are prevented from feeling the second sound and feeling uncomfortable. That is, it should be noted that the term "user” as used herein is a concept including not only users presented with tactile stimuli but also users not presented with tactile stimuli.
- the information processing apparatus 200 adjusts the ratio of the first sound to the second sound reaching the user's ear based on the first perceptual characteristic information and the second perceptual characteristic information. To generate tactile data. For example, the information processing apparatus 200 generates haptic data by adjusting the ratio for each frequency band.
- the ratio of the first sound to the second sound may be expressed as an SN ratio (Signal-Noise ratio) (note that the ratio is not limited to the SN ratio).
- S (Signal) refers to the signal of the first sound presented from the front speaker 290
- N (Noise)” refers to the signal of the second sound emitted by tactile stimulation.
- the information processing apparatus 200 adjusts in advance the ratio (SN ratio) of the first sound to the second sound based on the first perceptual characteristic information and the second perceptual characteristic information, or adjusts in real time. Do.
- the information processing apparatus 200 may set the sound pressure level of the second sound in the audible area of the user to The haptic data can be generated to be smaller than the sound pressure level of the 1 sound (in other words, outside the user's audible area, the information processing device 200 sets the sound pressure level of the second sound to the first). It does not have to be lower than the sound pressure level of the sound).
- the frequency characteristic information of the first sound when the first sound reaches the user's ear which is included in the first perceptual characteristic information, has a waveform 1 as shown in A of FIG. Think about the case.
- the information processing apparatus 200 performs adjustment so that the sound pressure level of the second sound is smaller than the sound pressure level of the first sound for each frequency band in the user's audible area (Waveform 2 in FIG. 4B shows the sound pressure level of the second sound).
- the information processing apparatus 200 can prevent the second sound from being perceived by the user.
- the information processing device 200 determines the frequency band corresponding to the second sound. Can be adjusted outside the audible range, or the sound pressure level of the second sound can be adjusted to a value smaller than the audible level.
- “when the first sound is not emitted from the front speaker 290” is not only when the first sound is not emitted at all from the front speaker 290 but also when the first sound is weak.
- the “frequency band corresponding to the first sound” is a frequency band having a sound pressure level (a sound pressure level equal to or higher than a predetermined value) high enough to affect the user's perception of the first sound. It should be noted that frequency bands whose sound pressure level is so low that the first sound does not affect the user's perception may be excluded. Furthermore, the “predetermined value” in “when the frequency band corresponding to the first sound is higher than the predetermined value” is a frequency that is at least the frequency band corresponding to the second sound, and the second sound as described above It is assumed that it is a difficult frequency to take measures to prevent the second sound from being perceived by the user by making the sound pressure level of the second sound smaller than the sound pressure level of the first sound. , Not limited to this).
- the frequency characteristic information of the first sound included in the first perceptual characteristic information when the first sound reaches the user's ear has a waveform 1 as shown in A of FIG.
- the information processing apparatus 200 since the frequency band corresponding to the first sound is higher than the predetermined value (500 [Hz] in this figure), the information processing apparatus 200 corresponds to the second sound as shown in B of FIG. 5.
- the frequency band is adjusted outside the audible range (200 [Hz] or less in this figure).
- the information processing device 200 can prevent the second sound from being perceived by the user.
- B of FIG. 4 and B of FIG. 5 it can be said that B of FIG. 4 is more preferable because it can present more various tactile stimuli to the user.
- the information processing apparatus 200 when the frequency band corresponding to the first sound is sufficiently larger than the frequency band corresponding to the second sound, the information processing apparatus 200 reduces the ratio of the second sound to the second sound by the user. It may be made unperceivable (less perceptible). For example, when a sound in a high frequency band is emitted from the front speaker 290 at a considerable volume, the information processing apparatus 200 merely reduces the proportion of the second sound and the user can not perceive the second sound ( Can be difficult to perceive).
- the information processing apparatus 200 includes a control unit 210, a generation unit 220, a communication unit 230, a display unit 240, and a storage unit 250, and an external controller via the communication unit 230. It is connected with 260.
- the control unit 210 is a functional configuration that comprehensively controls each functional configuration of the information processing apparatus 200.
- the control unit 210 controls start and stop of each functional configuration based on an input from the controller 260, the content of the sense presented to the user by the sense presentation device 100, and the like (for example, tactile data presentation unit
- the content, timing and intensity of the tactile stimulus presented by the content 121, the content, timing and volume etc of the second sound presented by the acoustic data presentation unit 131 can be specified.
- the control unit 210 can also control devices other than the information processing device 200 in the information processing system by generating various control signals.
- the control content of the control part 210 is not limited to these.
- control part 210 may realize processing (for example, processing of OS (Operating System) etc.) generally performed in a general purpose computer, a PC (Personal Computer), a tablet PC, a smartphone or the like.
- the generation unit 220 is a functional configuration that generates various data used by the information processing system. More specifically, the generation unit 220 is a functional configuration that generates data used to present tactile stimulation, sound, light, images, smoke, and wind. The generation of data used to present tactile stimulation, sound and light will be described later.
- the generation unit 220 generates data used for presenting images, smoke, and wind at any time based on control by the control unit 210, and a network to which the projector 300, the smoke generator 330, and the wind generator 340 are connected. Provide the generated data to each device via Further, as shown in FIG. 6, the generation unit 220 includes a haptic data generation unit 221, an acoustic data generation unit 222, and an illumination data generation unit 223.
- the haptic data generation unit 221 is a functional configuration that generates haptic data used for presenting tactile stimulation by the haptic data presentation unit 121 of the sensory presentation device 100. More specifically, the haptic data generation unit 221 acquires first perceptual characteristic information and second perceptual characteristic information on the content provided to the user. In addition, the acquisition source of these information is not specifically limited.
- the first perceptual property information and the second perceptual property information may be information obtained from a user who has viewed the content in the past, or information obtained from a user who is currently watching the content. (Information on the end of content) may be used.
- first perceptual property information and the second perceptual property information may be information acquired for other content similar to the content.
- the first perceptual characteristic information and the second perceptual characteristic information are acquired, for example, by a sensor or the like attached to the ear of each user who has watched (or is currently viewing) the content while sitting at each seat. obtain.
- the first perceptual property information and the second perceptual property information may be estimated based on the position (or seat) of the user.
- the haptic data generation unit 221 adjusts the ratio (SN ratio) of the first sound to the second sound reaching the user's ear based on the first perceptual characteristic information and the second perceptual characteristic information. Generate tactile data with. For example, as described above, the haptic data generation unit 221 can generate haptic data so that the sound pressure level of the second sound is smaller than the sound pressure level of the first sound in the user's audible area.
- the waveform 1 of the first sound included in the first perceptual property information changes in the order of (1) to (3) in FIG. 7 as time passes, and is included in the second perceptual property information.
- a case is considered in which the waveform 2 of the second sound changes in the order of (4) to (6) in FIG. 7 as time passes.
- the haptic data generation unit 221 uses the haptic data as it is without adjusting the haptic data, a second sound reaching the user's ear in the user's audible area, as shown in A of FIG. There may occur a wavelength band where the sound pressure level of the sound pressure is higher than the sound pressure level of the first sound (FIG. 8A shows a graph when (3) and (6) in FIG. 7 are compared). It is shown). Therefore, the user perceives the second sound and feels uncomfortable.
- the haptic data generation unit 221 adjusts the waveform 2 of the second sound at each timing as (4) 'to (6)' in FIG.
- the sound pressure level of the second sound reaching the user's ear becomes lower than the sound pressure level of the first sound in the user's audible area (FIG. 8B). Is a graph when (3) and (6) ′ in FIG. 7 are compared). Therefore, the user is not uncomfortable because the user does not perceive the second sound.
- the haptic data generation unit 221 corresponds to the second sound. Can be adjusted outside the audible range, or the sound pressure level of the second sound can be adjusted to a value smaller than the audible level.
- the first sound is not emitted from the front speaker 290, and the waveform 2 of the second sound included in the second perceptual property information becomes in the order of (4) to (6) in FIG. 9 as time passes.
- the waveform 2 of the second sound included in the second perceptual property information becomes in the order of (4) to (6) in FIG. 9 as time passes.
- the haptic data generation unit 221 adjusts the sound pressure level of the second sound at each timing to a value smaller than the audible level as shown in (4) 'to (6)' of FIG. As a result, the user does not perceive the second sound and does not feel uncomfortable.
- the haptic data generation unit 221 reduces the ratio of the second sound to the first sound.
- the sound of 2 may not be perceived by the user.
- the haptic data generation unit 221 can perform the above adjustment using any waveform adjustment technology or sound pressure adjustment technology (such as dedicated software).
- the types of waveform adjustment technology and sound pressure adjustment technology used are not particularly limited.
- the acoustic data generation unit 222 is a functional configuration that generates acoustic data used to present the first sound by the front speaker 290 and the acoustic data presentation unit 131 of the sense presentation device 100 based on control by the control unit 210. is there.
- the sound data generation unit 222 provides sound data to the front speaker 290 and the sensation presentation device 100 via a predetermined network.
- the illumination data generation unit 223 is a functional configuration that generates illumination data used to present light (illumination) by the light 320 based on control by the control unit 210.
- the illumination data generation unit 223 provides illumination data to the lights 320 via a predetermined network.
- the communication unit 230 is a functional configuration that communicates with an external device. For example, when the operator of the information processing apparatus 200 performs input using the controller 260, the communication unit 230 receives input data from the controller 260 and provides the input data to the control unit 210. Implement reflection of input. Further, the communication unit 230 transmits tactile sense, sound, video, illumination, smoke, and the like by transmitting data (including tactile data, acoustic data, and the like) generated by the generation unit 220 to a predetermined external device. Realize the presentation of wind and so on. The data communicated by the communication unit 230 is not limited to these.
- the communication unit 230 may receive the first perceptual characteristic information and the second perceptual characteristic information from the sensation presentation device 100 or the like. Further, the type of communication method and communication line used for communication between the communication unit 230 and each external device is not particularly limited. For example, the communication unit 230 may perform wired communication with each external device or may perform wireless communication.
- the display unit 240 is a functional configuration that displays a setting screen or the like used for input by the operator.
- the display unit 240 is, for example, a liquid crystal display (LCD: Liquid Crystal). It may be a display device such as a Display) or an organic EL (Electro Luminescence) display.
- LCD liquid crystal display
- OLED Organic EL
- the type and display content of the display unit 240 are not limited to these.
- the storage unit 250 is a functional configuration that stores various data.
- the storage unit 250 stores programs and parameters used by each functional configuration of the information processing apparatus 200, data generated by each functional configuration, and the like (for example, tactile data, acoustic data, or illumination data).
- the contents of the data stored in the storage unit 250 are not limited to these.
- the controller 260 is a device that receives input by the operator and provides input data to the information processing device 200.
- the controller 260 can receive input from the operator by providing various input mechanisms such as a keyboard, a mouse, a button, a switch, a lever, a touch sensor, a pressure sensor, or a proximity sensor.
- the types of input mechanisms provided in the controller 260 are not limited to these. Further, the controller 260 may not be provided as an external device of the information processing device 200 but may be provided in the information processing device 200.
- the functional configuration example of the information processing device 200 and the controller 260 have been described above.
- the above-described functional configuration described with reference to FIG. 6 is merely an example, and the functional configuration of the information processing apparatus 200 is not limited to such an example.
- the information processing apparatus 200 may not necessarily include all of the functional configurations illustrated in FIG. 6, and all or a part of the functional configurations of the information processing apparatus 200 may be included in an external device such as the sensation presentation device 100. Good.
- the functional configuration of the information processing apparatus 200 can be flexibly deformed according to the specification and the operation.
- the sensation presentation device 100 includes a control unit 110, a tactile sense presentation unit 120, a sound presentation unit 130, a communication unit 140, a sensor unit 150, and a storage unit 160.
- the control unit 110 is a functional configuration that controls each functional configuration of the sense presentation device 100 in an integrated manner.
- the control unit 110 controls start and stop of each functional configuration based on various data (for example, including tactile data, acoustic data, other control signals, and the like) provided from the information processing apparatus 200.
- the control content of the control part 110 is not limited to this.
- control part 110 may realize processing (for example, processing of OS etc.) generally performed in a general purpose computer, a PC, a tablet PC or a smartphone.
- the control unit 110 includes a haptic data processing unit 111 and an acoustic data processing unit 112.
- the haptic data processing unit 111 performs processing regarding presentation of haptic stimulation by the haptic data presentation unit 121 using haptic data provided from the information processing device 200. For example, the haptic data processing unit 111 sets individual settings of the sense presentation device 100 (for example, settings of the sense presentation device 100 uniquely performed by the user (for example, setting of volume, setting of ON / OFF of function, etc.)) Based on the above, tactile data provided from the information processing apparatus 200 may be edited, and tactile data may be presented by providing the tactile data presentation unit 121 with the edited tactile data.
- the acoustic data processing unit 112 performs processing relating to the presentation of the first sound by the acoustic data presentation unit 131 using the acoustic data provided from the information processing device 200.
- the sound data processing unit 112 sets individual settings of the sensation presentation device 100 (for example, setting of the sensation presentation device 100 uniquely performed by the user (for example, setting of volume, setting of ON / OFF of function, etc.))
- sound data provided from the information processing apparatus 200 may be edited, and the edited sound data may be provided to the sound data presentation unit 131 to realize the first sound presentation.
- the haptic presentation unit 120 includes one or more haptic data presentation units 121, and is a functional configuration that presents haptic stimuli to the user using the haptic data presentation units 121.
- the haptic data presentation unit 121 is a functional configuration that presents haptic stimulation to the user using haptic data provided from the haptic data processing unit 111.
- the haptic data presentation unit 121 may be an actuator (for example, ERM (eccentric motor), LRA (linear resonance actuator), VCM (voice coil motor), etc.) that presents vibration, or presents a sense of force. It may be an electrical element that does not have to be used, or it may be a temperature change element (for example, a Peltier element or the like) that presents a thermal sensation.
- actuator for example, ERM (eccentric motor), LRA (linear resonance actuator), VCM (voice coil motor), etc.
- It may be an electrical element that does not have to be used, or it may be a temperature change element (for example, a Peltier element or the like) that presents a thermal sensation.
- "tactile stimulation” may include vibration, force sense, or thermal sensation.
- the tactile sense stimulus which the tactile sense data presentation part 121 presents is not limited to these.
- channels may be assigned to each haptic data presentation unit 121 (in the figure, at least haptic data presentation unit 121a to haptic data presentation unit 121c), and different haptic stimuli may be presented for each channel.
- the sound presentation unit 130 includes one or more sound data presentation units 131, and is a functional configuration that presents the first sound to the user using the sound data presentation unit 131.
- the acoustic data presentation unit 131 is a functional configuration that presents the first sound to the user using the acoustic data provided from the acoustic data processing unit 112.
- the sound data presentation unit 131 may have a speaker that reproduces sound data, an amplifier circuit for the speaker, and the like.
- a plurality of acoustic data presentation units 131 (in the figure, at least acoustic data presentation units 131a to 131c) are provided, and the output of each acoustic data presentation unit 131 is adjusted to realize localization of a sound image. It may be done.
- the sound image may be localized by cooperation between the sound data presentation unit 131 and a speaker (for example, a speaker provided in a seat) provided in the surroundings.
- a speaker for example, a speaker provided in a seat
- a channel may be assigned to each sound data presentation unit 131, and different sounds may be presented for each channel.
- the communication unit 140 is a functional configuration that communicates with an external device.
- the communication unit 140 receives various data (for example, including haptic data, sound data, and other control signals) generated by the information processing apparatus 200.
- the data communicated by the communication unit 140 is not limited to these.
- the type of communication method and communication line used for communication between the communication unit 140 and the external device is not particularly limited.
- the communication unit 140 may perform wired communication with an external device or may perform wireless communication.
- the sensor unit 150 includes various sensors, and is a functional configuration that acquires sensor data generated by these sensors.
- the sensor unit 150 includes a position sensor (for example, a sensor that can be used to locate the user, such as a Global Navigation Satellite System (GNSS) receiver, a proximity sensor, etc.), and is used to locate the user.
- Sensor data may be acquired.
- the sensor unit 150 may include various sensors such as a posture sensor (gyro sensor or acceleration sensor), a temperature sensor, or a pressure sensor.
- the storage unit 160 is a functional configuration that stores various data.
- the storage unit 160 may use programs and parameters used by each functional configuration of the sense presentation device 100, or various data (for example, tactile data, acoustic data, and other control signals) provided by the information processing apparatus 200.
- various data for example, tactile data, acoustic data, and other control signals
- stores is not limited to these.
- the functional configuration example of the sense presentation device 100 has been described.
- the above-described functional configuration described with reference to FIG. 10 is merely an example, and the functional configuration of the sense presentation device 100 is not limited to such an example.
- the sensation presentation device 100 may not necessarily include all of the functional configurations shown in FIG.
- the functional configuration of the sense presentation device 100 can be flexibly deformed in accordance with the specification and the operation.
- FIG. 11 shows that tactile data to be used for presenting a tactile stimulus that emits a second sound not perceived by the user based on the first perceptual characteristic information and the second perceptual characteristic information is generated beforehand (a program (program) Shows the flow of processing in the case of
- step S1000 the haptic data generation unit 221 of the information processing device 200 acquires the first perceptual characteristic information and the second perceptual characteristic information about the content provided to the user.
- the acquisition source of such information is not particularly limited.
- step S1004 the haptic data generation unit 221 determines whether or not the first sound is emitted, or whether the frequency band corresponding to the first sound is higher than a predetermined value (for example, 500 [Hz]). Is confirmed for each content timing (eg, each segment).
- a predetermined value for example, 500 [Hz]
- the tactile data generation unit 221 corresponds to the second sound at Step S1008. Adjust the frequency band outside the audible range (for example, 200 Hz or less) to generate haptic data (note that the haptic data generation unit 221 sets the sound pressure level of the second sound to a value smaller than the audible level). You may adjust it).
- Step S1012 the haptic data generation unit 221 determines that the user's audible area The tactile data is generated so that the sound pressure level of the second sound is smaller than the sound pressure level of the first sound.
- the processes in steps S1004 to S1012 are continued until the above adjustment is completed over the entire content (step S1016 / No).
- the steps in the flowchart of FIG. 11 do not necessarily have to be processed chronologically in the order described. That is, the steps in the flowchart may be processed in an order different from the order described or in parallel.
- the tactile data generation unit 221 determines whether the frequency band corresponding to the first sound is sufficiently larger than the frequency band corresponding to the second sound. If the frequency band corresponding to the first sound is sufficiently larger than the frequency band corresponding to the second sound, tactile data may be generated to reduce the proportion of the second sound as described above .
- the haptic data generation unit 221 may generate haptic data in real time when the content is provided, instead of generating (programming) haptic data in advance before starting the content.
- the sense presentation device 100 has a structure in which two sheets of an outer vest having no size adjustment function and an inner vest having a size adjustment function overlap (a structure in which the outer vest is put on the inner vest). Also, in consideration of the ease of attachment and detachment by the user, the outer vest and the inner vest may be partially physically connected, for example, at both shoulders.
- FIG. 12 shows an example of the outer vest
- FIG. 13 shows an example of the inner vest.
- FIG. 12 shows an example of the outer vest of the sense presentation device 100 (shown in FIG. 2) in which the sound data presentation units 131 are arranged on both shoulders.
- the outer vest and the inner vest shown by A in FIG. 13
- an opening and closing mechanism 10 for example, a fastener, a surface fastener, or a button, etc., but the opening and closing mechanism 10 is not limited thereto
- the user can easily and efficiently attach and detach the two-layered sensory presentation device 100 without moving the head through the sensory presentation device 100 and the like.
- the user can take off the sensation presentation device 100 easily and quickly, for example, when discomfort is felt.
- the outer vest is provided with a predetermined number of pockets 11 (in the example of FIG. 12, pockets 11a to 11d) in the front body.
- the outer vest can store, for example, parts to be attached to a wrist or a foot, which will be described later, so that management of each part becomes easy when these parts are not used.
- the best type sense presentation device 100 is adopted is mainly described in consideration of the point that the user can easily move the arm, the point that the breathability is excellent, etc.
- the shape of the device 100 (in particular, the shape of the outer vest) may be changed in various designs according to the application (content content).
- FIG. 13 An example of the front of the inner vest is shown in A of FIG. 13, and an example of the back of the inner vest is shown in B of FIG.
- the side surface portion of the inner vest is provided with an adjustment mechanism 12 (in the example of FIG. 13, a surface fastener) capable of adjusting the size of the inner vest steplessly.
- an adjustment mechanism 12 in the example of FIG. 13, a surface fastener
- the sensory presentation device 100 and the haptic data presentation unit 121 be pressed against the body with an appropriate pressure.
- the user's body has a large individual difference depending on age and gender.
- the inner vest can adjust the contact pressure between the tactile data presentation unit 121 and the body, and can present optimal tactile stimulation to each user.
- the adjustment mechanism 12 is not exposed to the surface by the inner vest being covered by the outer vest at the time of use.
- the design of the wear is enhanced, and while theatrical plays and movies are being watched, the user himself makes a loud noise by removing the installation of the surface fasteners in order to adjust the size using the surface fasteners of the inner best and the like. Can be prevented from causing discomfort to the surrounding audience. It is assumed that the user wears the sensation presentation device 100 before the start of the content, and that size adjustment and detachment are not performed except for a break time and the like.
- a space for attachment (desorption) of the sense presentation device 100 is provided at a position different from the seat where the user sits, and the attendant assists the user in detaching the sense presentation device 100. Yes (of course, not limited to this).
- the inner vest is provided with a fixing mechanism 13 (in the example of FIG. 13, a surface fastener) capable of fixing the tactile sense data presentation unit 121.
- a fixing mechanism 13 in the example of FIG. 13, a surface fastener
- the tactile stimulus be presented at the same position without being influenced by individual differences (such as body size) between users. That is, it is desirable that the arrangement of the tactile sense data presentation unit 121 be adjusted according to the individual difference for each user.
- the position (part) at which the tactile stimulation should be presented changes according to the content or presentation of the content such as a play or a movie.
- the inner vest includes the fixing mechanism 13 on almost the entire surface, which enables the haptic data presentation unit 121 to be fixed at a desired position.
- the inner vest has a 2 sheet structure, and the fixing mechanism 13 is equipped inside the 2 sheet structure which a user can not touch.
- the haptic data presentation unit 121 can be fixed to the inner vest by being sandwiched between the fixing mechanism 13 (such as a surface fastener female) and the fixing mechanism 14 (such as a surface fastener male) that is a separate part. As shown in A of FIG.
- the fixing mechanism 13 is provided on the inner surface of “the outer side 15 of the inner vest” (outer vest side) of the two-sheet structure. In other words, it is assumed that the fixing mechanism 13 is not provided on the “inner side 16” (body side of the user) of the two-piece structure.
- the presence of “the inner side 16 of the inner vest” prevents the projected tactile data presentation unit 121 from interfering with the attachment / detachment when the user attaches / detches the sensation presentation device 100.
- the sense presentation device 100 may have a two-layer structure of the inner vest and the outer vest, the inner vest alone may be used in view of ease of attachment and detachment and the like. Also in such a case, the tactile sense data presentation unit 121 can be prevented from being exposed to the surface by the inner vest having the structure as described above, so that designability is secured.
- the user's body has a large individual difference depending on age, gender, and the like. Therefore, for example, two types of clothing for men (outer vests and inner vests) and clothing for women (outer vests and inner vests) are prepared before the content is provided, and for women's inner vests, the body
- the adjustment mechanism 12 is further narrowed down in accordance with the above, it is conceivable that the fixed position of the tactile sense data presentation unit 121 is relatively inward compared to that for males.
- an operation may be considered in which the relative distance between the upper and lower sides of each tactile sense data presentation unit 121 is made relatively closer than that for men.
- an operation may be considered in which the tactile data presentation unit 121 is disposed avoiding the chest.
- three sizes of S / M / L are prepared (in the same wear) according to the size of the body, and the fixed position of the tactile sense data presentation unit 121 as described above.
- the position and the number of the tactile data presentation unit 121 are changed before the start of the content according to the content of the content, and each tactile data presentation unit 121 is changed based on the setting of the position and the number.
- An operation of designing and generating tactile data to be input may be considered.
- the sensory presentation device 100 may be able to present haptic stimulation by using other parts even for sites where haptic stimulation is not presented by the best part.
- the sensory presentation device 100 includes a connector, and an additional tactile data presentation unit is connected by the wire 190 (the wire 190 a to the wire 190 f in FIG. 15 A) connected to the connector.
- 121 in FIG. 15A, the haptic data presentation unit 121k to the haptic data presentation unit 121p
- the added haptic data presentation unit 121 has a connector, and is further added by the wire 190 connected to the connector.
- the tactile sense data presentation unit 121 Can be electrically connected to the tactile sense data presentation unit 121.
- a cable for example, a curled cable, a wind-up cable, etc.
- a channel available to the additional tactile data presentation unit 121 may be used to present tactile stimulation to another part (for example, the best part). This enables more diverse tactile stimuli to be presented to the part.
- the additional haptic data presentation unit 121 may be connected by wireless.
- the additional haptic data presentation unit 121 is fixed at a constant pressure on the body part by a predetermined fixing mechanism (for example, a surface fastener or the like).
- a predetermined fixing mechanism for example, a surface fastener or the like.
- the sensory presentation device 100 can present tactile stimulation to the wrist, the knee, the back of the foot, and the like other than the best portion.
- the position at which the additional haptic data presentation unit 121 is fixed is not particularly limited, and may be flexibly changed according to the content of the content.
- labels 17 in FIG. 15 B, labels 17 a to 17 f indicate the fixed position to each additional haptic data presentation unit 121.
- An illustration or a character indicating the fixed position, etc. Is assumed to be attached. This prevents the user from fixing each additional haptic data presentation unit 121 in the wrong position.
- FIG. 16 shows the user sitting on the seat with the sensory presentation device 100 (and the additional tactile data presentation unit 121k to tactile data presentation unit 121p) attached. And it is assumed that the operation panel 180 used for the predetermined operation by a user is installed in each seat.
- the operation panel 180a shown in A of FIG. 17 is provided with a switch 181, and the user operates the switch 181 to switch ON / OFF the presentation of various senses including tactile stimulation and the like. Can.
- the operation panel 180a is provided with a connector 182 (female), and the user can operate the sensation presentation device 100 by inserting the connector (male) provided in the sensation presentation device 100 into the connector 182.
- the operation panel 180b shown in FIG. 17B is additionally provided with a volume adjustment mechanism 183, and the user is presented by the sense presentation device 100 by operating the volume adjustment mechanism 183. The tactile stimulus or sound volume can be adjusted to the desired magnitude.
- the sense presentation device 100 is provided with a plurality of types (sizes such as S / M / L, for adults / children, for men / women, colors, and notation numbers), and the sense presentation device 100 is a connector.
- the type of sense presentation device 100 is a type of information processing system (in particular, the resistance value for type detection incorporated in the sense presentation device 100 by being connected to 182 or the mechanism of ON / OFF detection such as a DIP switch).
- the information processing apparatus 200 can be identified. According to the identified type, the information processing system (in particular, the information processing apparatus 200) may change the signal (volume or the like) to be sent to the wear.
- the information processing apparatus 200 includes a central processing unit (CPU) 901 and a read only memory (ROM). Memory) 902, RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, an interface 907, an input device 908, an output device 909, a storage device (HDD) 910, A drive 911 and a communication device 912 are provided.
- CPU central processing unit
- ROM read only memory
- Memory Random Access Memory
- RAM Random Access Memory
- host bus 904 a bridge 905
- an external bus 906 an interface 907
- an input device 908 an output device 909
- HDD storage device
- a drive 911 and a communication device 912 are provided.
- the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 200 according to various programs. Also, the CPU 901 may be a microprocessor.
- the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
- the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution. These are mutually connected by a host bus 904 configured of a CPU bus and the like.
- the respective functions of the control unit 210 and the generation unit 220 are realized by the cooperation of the CPU 901, the ROM 902, and the RAM 903.
- the host bus 904 is connected to an external bus 906 such as a peripheral component interconnect / interface (PCI) bus via the bridge 905.
- PCI peripheral component interconnect / interface
- the input device 908 is an input control circuit such as a mouse, a keyboard, a touch panel, a button, a microphone, an input unit for inputting information such as a switch and a lever, and an input control circuit which generates an input signal based on an input by the user. And so on.
- a user who uses the information processing apparatus 200 can input various data to each apparatus or instruct processing operation by operating the input device 908.
- the input device 908 realizes the function of the controller 260.
- the output device 909 includes, for example, a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp.
- a display device such as a cathode ray tube (CRT) display device, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device and a lamp.
- CTR cathode ray tube
- LCD liquid crystal display
- OLED organic light emitting diode
- the storage device 910 is a device for storing data.
- the storage device 910 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
- the storage device 910 is configured by, for example, an HDD (Hard Disk Drive).
- the storage device 910 drives a hard disk and stores programs executed by the CPU 901 and various data.
- the storage device 910 implements the function of the storage unit 250.
- the drive 911 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 200.
- the drive 911 reads out information recorded in a removable storage medium 913 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
- the drive 911 can also write information in the removable storage medium 913.
- the communication device 912 is, for example, a communication interface configured of a communication device or the like for connecting to the communication network 914.
- the communication device 912 realizes the function of the communication unit 230.
- the operation check operation may be performed in a state where the sensation presentation device 100 is connected to the connector 182 of the operation panel 180 before the content is started.
- an audible sound is sequentially generated from each tactile data presentation unit 121 (actuator) of the sense presentation device 100 for confirmation of the energized state and the like, and the confirmation person confirms the operation with his ear. Do. At that time, an audible sound may be changed for each tactile data presentation unit 121 (for example, identification information such as “1”, “2”, “3”, etc. for each tactile data generation unit 221 of each sense presentation device 100 is And the tactile data presentation unit 121 outputs the identification information as an audible sound, etc.).
- a simple waveform with low audibility such as a Sin wave of 100 [Hz] is sequentially input to each haptic data presentation unit 121.
- a simple waveform with low audibility such as a Sin wave of 100 [Hz] is sequentially input to each haptic data presentation unit 121.
- the checker hears abnormal noise, it is expected that the haptic data presentation unit 121 is damaged or the like.
- the operations of the first step and the second step are performed by operating the sensory presentation devices 100 one by one so that the sounds emitted from the sensory presentation devices 100 are not mixed. For example, while the checker operates the switch 181 of the operation panel 180 to switch ON / OFF of each sense presentation device 100, the work of the first step and the second step is performed.
- each sense presentation device 100 generation of an audible sound from each sense presentation device 100 is performed while being slightly shifted for each sense presentation device 100 so that the checker can perform the above-mentioned operation confirmation work without moving each seat. It is also good.
- identification information such as “1”, “2”, “3”, etc. is assigned to each sense presentation device 100, and “1”, “2”, “2”, etc. are assigned to each tactile data generation unit 221 of each sense presentation device 100.
- identification information such as “3”
- the tactile sense data presentation unit 121 is presented with sense presentation devices 100 and tactile sense data 100 such as “1-1”, “1-2”, “1-3”, etc.
- a countermeasure is conceivable such as outputting the combination of the identification information of the unit 121 as an audible sound.
- each tactile sense data presentation unit 121 may be equipped with an acceleration sensor, and the operation check may be performed by analysis of acceleration data when each tactile sense data presentation unit 121 vibrates.
- the operator operating the controller 260 described above is located in the control booth behind (or in the middle of) the passenger seat so that the stage and the passenger seat can be viewed, and the movement of the performer on the stage according to a predetermined progress
- the controller 260 operates an interface such as a touch panel or a physical switch provided in the controller 260.
- devices involved in rendering effects such as sound, illumination, video, and tactile stimulation can be collectively controlled in real time.
- the operator collectively controls in real time the intensity of the rendering effect output by the device related to the rendering effect such as sound, illumination, image, tactile stimulation or the like by operating the slide bar provided in the controller 260.
- the slide bar provided in the controller 260.
- the acoustic volume is lowered, and the intensity of the tactile stimulus presented by the tactile data presentation unit 121 is lowered or the illumination is darkened.
- each time the operator presses a predetermined button an event in the content is switched, and according to a program associated with the event after switching, it is involved in rendering effects such as sound, illumination, video, and tactile stimulation.
- the devices can be controlled collectively in real time. At this time, different events may be assigned to the respective buttons.
- the operator can receive feedback of the rendering effect experienced by the user by wearing the headphone for sound presentation and the sensation presentation device 100 for tactile presentation.
- the operator and the time keeper may work in cooperation with each other by disposing a time keeper performing progress management separately from the operator in the control booth.
- the generation unit generates the haptic data by adjusting the ratio for each frequency band based on the information on the first perceptual characteristic and the information on the second perceptual characteristic.
- the generation unit makes the sound pressure level of the second sound smaller than the sound pressure level of the first sound in the audible area of the user.
- the generation unit sets the frequency band corresponding to the second sound outside the audible range. Adjust or adjust the sound pressure level of the second sound to a value smaller than an audible level, The information processing apparatus according to (3).
- the generation unit reduces the proportion of the second sound, The information processing apparatus according to (3).
- Information on the first perceptual characteristic of the user for the first sound emitted from the acoustic data presentation unit, and the second perceptual characteristic for the second sound emitted by the tactile stimulus presented from the tactile data presentation unit Based on the information, generating haptic data to be used for the presentation of the haptic stimulus that emits the second sound not perceived by the user.
- sense presentation device 110 control unit 111 haptic data processing unit 112 acoustic data processing unit 120 haptic presentation unit 121 haptic data presentation unit 130 sound presentation unit 131 acoustic data presentation unit 140 communication unit 150 sensor unit 160 storage unit 200 information processing apparatus 210 control Unit 220 Generation unit 221 Tactile data generation unit 222 Acoustic data generation unit 223 Illumination data generation unit 230 Communication unit 240 Display unit 250 Storage unit 260 Controller 270 Audio IF 280 Amplifier 290 Front Speaker 300 Projector 310 Screen 320 Light 330 Smoke Generator 340 Wind Generator
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- User Interface Of Digital Computer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】触覚刺激によって発せられる音(第2の音)がユーザに知覚されることを適切に防ぐ。 【解決手段】音響提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成する生成部を備える、情報処理装置が提供される。
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、例えば以下の特許文献1のように触覚刺激などをユーザに提示するための技術が各種提案されている。
ここで例えば、演劇、映画、コンサート、またはライブなどを含む各種コンテンツの提供に伴い、アクチュエータなどを備えた触覚データ提示部から触覚刺激がユーザに提示されることで臨場感などを向上させる演出が行われる場合がある。このとき、ユーザが、触覚刺激によって発せられる音(第2の音)を知覚することで違和感を受ける可能性がある。上記の特許文献1に記載の技術などによっては、触覚刺激によって発せられる音(第2の音)がユーザに知覚されることを適切に防ぐことができなかった。
そこで、本開示では、触覚刺激によって発せられる音(第2の音)がユーザに知覚されることを適切に防ぐことが可能な新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、音響提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成する生成部を備える、情報処理装置が提供される。
また、本開示によれば、音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成することを有する、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成すること、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、触覚刺激によって発せられる音(第2の音)がユーザに知覚されることを適切に防ぐことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理システムの概要
2.装置の機能構成例
3.装置の処理フロー例
4.ハードウェア構成例
5.備考
1.情報処理システムの概要
2.装置の機能構成例
3.装置の処理フロー例
4.ハードウェア構成例
5.備考
<1.情報処理システムの概要>
まず、本開示に係る情報処理システムの概要について説明する。
まず、本開示に係る情報処理システムの概要について説明する。
本開示に係る情報処理システムは、ユーザに様々な感覚を提示するものである。より具体的に説明すると、図1に示すように、情報処理システムは、ユーザに装着される感覚提示デバイス100を備えており、当該感覚提示デバイス100を介してユーザに対して様々な感覚を提示する。
図1に示すように、感覚提示デバイス100は、内部に複数の触覚データ提示部121(図中では、触覚データ提示部121a~触覚データ提示部121h)を備える。例えば、感覚提示デバイス100の内部において、ユーザの正面側に複数個(例えば、図1に示すように6個(触覚データ提示部121a~触覚データ提示部121f))、肩部に複数個(例えば、図1に示すように各肩に1個ずつ(触覚データ提示部121gおよび触覚データ提示部121h))、および背面側に複数個(図示なし。例えば、正面側と同様に6個)触覚データ提示部121が配置され得る。一例として、正面側に配置されている個々の触覚データ提示部121と、背面側に配置されている個々の触覚データ提示部121とが向かい合うような位置関係で、個々の触覚データ提示部121は配置され得る。
感覚提示デバイス100は、1以上の触覚データ提示部121を備え、これらの出力の大きさやタイミング、または出力させる触覚データ提示部121の組合せを制御することによって様々な触覚刺激をユーザに提示することができる。例えば、感覚提示デバイス100は、ユーザが切られる感覚、ユーザが何らかの物体に当たる感覚、ユーザが押さえつけられる感覚などを提示することができる。なお、図1では、感覚提示デバイス100が袖なしの服(ベスト)である例を示しているが、かかる例に限定されず、感覚提示デバイス100は、袖やズボンも有することで体の各所に感覚を提示できてもよい。また、感覚提示デバイス100に備えられる触覚データ提示部121の数は特に限定されない。
また、図2に示すように、感覚提示デバイス100は、音を提示する音響データ提示部131(図中では、音響データ提示部131aおよび音響データ提示部131b)を備えていてもよい。例えば、感覚提示デバイス100には、ユーザの肩部に複数個(例えば、図2に示すように各肩に1個ずつ)音響データ提示部131が配置され得る。
感覚提示デバイス100は、1以上の音響データ提示部131を備え、これらの出力の大きさやタイミングなどを制御することによって様々な音響効果をユーザに対して提示することができる。例えば、感覚提示デバイス100は、音像を空間に定位させることができたり、別のスピーカからBGMが提示されている状況においてユーザだけに効果音(例えば、ユーザが切られた時の効果音や、ユーザが何らかの物体に当たった時の効果音など)を提示できたりする。なお、感覚提示デバイス100に備えられる音響データ提示部131の数は特に限定されない。
ここで、図1および図2の例では、感覚提示デバイス100によってユーザに提示される感覚が、触覚(触覚データ提示部121によって提示される触覚刺激)または聴覚(音響データ提示部131によって提示される音)を含む旨を示したが、ユーザに提示される感覚はこれらに限定されない。より具体的には、感覚提示デバイス100は、視覚、嗅覚、または味覚を提示可能な機構を備えていてもよい。例えば、感覚提示デバイス100は、透過型ヘッドマウントディスプレイなどのように視覚(映像)を提示できてもよいし、芳香提示装置などのように嗅覚(匂い)を提示できてもよいし、電気味覚提示装置などのように味覚(味)を提示できてもよい。
続いて、図3を参照して、感覚提示デバイス100を含むシステム全体の構成例について説明する。本開示に係る情報処理システムは、例えば、屋内(例えば、劇場、映画館、コンサートホール、ライブハウス、またはテーマパーク内の屋内遊戯施設など)、屋外(例えば、屋外にステージが設けられた劇場、コンサート会場やライブ会場、屋外にスクリーンが設けられた映画上映会場、またはテーマパーク内の屋外遊戯施設など)を問わず利用され得るシステムである。そして、図3に示すように、本開示に係る情報処理システムは、感覚提示デバイス100と、情報処理装置200と、コントローラ260と、オーディオIF270と、アンプ280と、フロントスピーカ290と、プロジェクタ300と、スクリーン310と、ライト320と、煙発生器330と、風発生器340と、を備える(なお、図3に示す情報処理システムは、屋内で利用される場合を想定したものである)。
ユーザは、感覚提示デバイス100を装着し、スクリーン310やステージを視認可能な態様で座席に座る。情報処理装置200は、情報処理システム全体を統括的に制御する装置である。より具体的には、情報処理装置200は、感覚提示デバイス100を介してユーザに提示される感覚、スクリーン310に投影される映像、フロントスピーカ290から発せられる音、ライト320から照射される光、煙発生器330から発せられる煙、風発生器340から発せられる風などを統括的に制御する。情報処理装置200の機能については後段にて詳述する。コントローラ260は、操作者が情報処理装置200に対して入力を行う際に使用される装置である。
オーディオIF270は、感覚提示デバイス100を介する音の提示に使用される音響データのインタフェースとして機能する装置である。アンプ280は、オーディオIF270に入力された音響データの増幅、調整または入力の切り替えなどを行う装置である。フロントスピーカ290は、音響提示部として機能する装置であり、会場全体に対して音(第1の音)を提示する装置である。
プロジェクタ300は、スクリーン310に対して映像を投影する装置であり、スクリーン310は、映像が投影される面(例えば平面や曲面)である。ライト320は光を、煙発生器330は煙を、風発生器340は風を、それぞれ提示する装置である。
以上、本開示に係る情報処理システムの構成例について説明した。なお、図3を参照して説明した上記の構成はあくまで一例であり、本開示に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理システムを構成する各装置の台数は特に限定されない。本開示に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
ここで、本開示に係る情報処理システムのように、演劇、映画、コンサート、またはライブなどを含む各種コンテンツの提供に伴い、感覚提示デバイス100の触覚データ提示部121から触覚刺激がユーザに提示される場合、ユーザが、触覚刺激によって発せられる音(第2の音)を知覚することで違和感を受ける可能性がある。より具体的には、触覚刺激によって発せられる音(第2の音)が雑音としてユーザに知覚されることで、ユーザがフロントスピーカ290から提示される音(第1の音)を聞き取りにくくなったり、臨場感が阻害されたりする。また、触覚刺激を提示されるユーザだけでなく、触覚刺激を提示されないユーザ(感覚提示デバイス100を装着していないユーザ)も、付近に位置する他人に提示される触覚刺激によって発せられる音(第2の音)を知覚することで上記と同様に違和感を受ける可能性がある。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置200は、フロントスピーカ290(音響提示部)から発せられる第1の音に対するユーザの第1の知覚特性に関する情報(以降、「第1の知覚特性情報」と呼称する)、および感覚提示デバイス100の触覚データ提示部121から提示される触覚刺激によって発せられる第2の音に対するユーザの第2の知覚特性に関する情報(以降、「第2の知覚特性情報」と呼称する)に基づいて、ユーザに知覚されない第2の音を発する触覚刺激の提示に用いられる触覚データを生成する。
ここで、「第1の知覚特性情報」とは、ユーザによる第1の音の知覚の有無または知覚の程度などを示す情報であり、第1の音がユーザの耳に達したときの第1の音の周波数特性情報を含むものである。また、「第2の知覚特性情報」とは、ユーザによる第2の音の知覚の有無または知覚の程度などを示す情報であり、第2の音がユーザの耳に達したときの第2の音の周波数特性情報を含むものである。第1の知覚特性情報および第2の知覚特性情報の具体例については後述する。また、上記では、第1の音がフロントスピーカ290から発せられた音である旨を説明したところ、第1の音はこれに限定されない。例えば、第1の音は、感覚提示デバイス100の音響データ提示部131から発せられる音も含まれるし、フロントスピーカ290や音響データ提示部131以外にも任意のスピーカなどが存在する場合には当該スピーカから発せられる音も含まれる。
そして、情報処理装置200は、このように生成した触覚データを感覚提示デバイス100に提供することによって、感覚提示デバイス100の触覚データ提示部121は、当該触覚データを用いて、ユーザに知覚されない第2の音を発する触覚刺激を提示することができる。そのため、触覚刺激を提示されるユーザ、および当該ユーザ付近に位置する触覚刺激を提示されないユーザが第2の音を知覚して違和感を受けることが防止される。すなわち、本書において「ユーザ」とは、触覚刺激を提示されるユーザだけでなく触覚刺激を提示されないユーザをも含む概念である点に留意されたい。
触覚データの生成方法について説明すると、情報処理装置200は、第1の知覚特性情報および第2の知覚特性情報に基づいて、ユーザの耳に達する第1の音と第2の音の割合を調整することで触覚データを生成する。例えば、情報処理装置200は、当該割合を周波数帯域ごとに調整することで触覚データを生成する。ここで、「第1の音と第2の音の割合」とはSN比(Signal-Noise ratio)と表現されてもよい(なお、SN比に限定されるわけではない)。この場合、“S(Signal)”がフロントスピーカ290から提示される第1の音の信号を指し、“N(Noise)”が触覚刺激によって発せられる第2の音の信号を指す。例えば、情報処理装置200は、第1の知覚特性情報および第2の知覚特性情報に基づいて、第1の音と第2の音の割合(SN比)を事前に調整したり、リアルタイムに調整したりする。
第1の音と第2の音の割合(SN比)の調整方法についてより具体的に説明すると、例えば、情報処理装置200は、ユーザの可聴領域において、第2の音の音圧レベルを第1の音の音圧レベルよりも小さくするように触覚データを生成することができる(換言するとユーザの可聴領域外においては、情報処理装置200は、第2の音の音圧レベルを第1の音の音圧レベルよりも小さくしなくてもよい)。
例えば、第1の知覚特性情報に含まれる、第1の音がユーザの耳に達したときの第1の音の周波数特性情報が、図4のAに示すような波形1を有している場合について考える。そして、情報処理装置200は、図4のBに示すように、ユーザの可聴領域における周波数帯域ごとに、第2の音の音圧レベルを第1の音の音圧レベルよりも小さくするよう調整する(図4のBにおける波形2は、第2の音の音圧レベルを示す)。これによって、情報処理装置200は、第2の音がユーザに知覚されることを防ぐことができる。
また、フロントスピーカ290から第1の音が発せられていない場合、または第1の音に対応する周波数帯域が所定値より高い場合において、情報処理装置200は、第2の音に対応する周波数帯域を可聴領域外に調整したり、第2の音の音圧レベルを可聴レベルよりも小さい値に調整したりすることができる。ここで、「フロントスピーカ290から第1の音が発せられていない場合」とは、フロントスピーカ290から第1の音が全く発せられていない場合だけでなく、第1の音が微弱である場合も含む概念である点に留意されたい。また、「第1の音に対応する周波数帯域」とは、第1の音がユーザの知覚に影響を及ぼす程度に高い音圧レベル(所定値以上の音圧レベル)を有している周波数帯域であり、第1の音がユーザの知覚に影響を及ぼさないほどに低い音圧レベルを有している周波数帯域は除外され得る点に留意されたい。さらに「第1の音に対応する周波数帯域が所定値より高い場合」における「所定値」とは、少なくとも第2の音に対応する周波数帯域以上の周波数であり、上記のように第2の音の音圧レベルを第1の音の音圧レベルよりも小さくすることで第2の音がユーザに知覚されないようにするという対応をとることが困難な周波数であることを想定している(なお、これに限定されない)。
例えば、第1の知覚特性情報に含まれる、第1の音がユーザの耳に達したときの第1の音の周波数特性情報が、図5のAに示すような波形1を有している場合について考える。この場合、第1の音に対応する周波数帯域が所定値(この図では500[Hz])より高いため、情報処理装置200は、図5のBに示すように、第2の音に対応する周波数帯域を可聴領域外(この図では200[Hz]以下)に調整する。これによって、上記のように第2の音の音圧レベルを第1の音の音圧レベルよりも小さくすることで第2の音がユーザに知覚されないようにするという対応をとることが困難な場合であっても、情報処理装置200は、第2の音がユーザに知覚されることを防ぐことができる。なお、図4のBおよび図5のBの態様を比較すると、図4のBの方がより多様な触覚刺激をユーザに提示することができるため、より好ましいと言える。
さらに、第1の音に対応する周波数帯域が第2の音に対応する周波数帯域よりも十分大きい場合、情報処理装置200は、第2の音の割合を低減させることで第2の音がユーザに知覚されない(知覚されにくい)ようにしてもよい。例えば、フロントスピーカ290から高い周波数帯域の音が相当程度の音量で発せられている場合、情報処理装置200は、第2の音の割合を低減させるだけで第2の音をユーザに知覚されない(知覚されにくい)ようにすることができる。なお、「第1の音に対応する周波数帯域が第2の音に対応する周波数帯域よりも十分大きい場合」とは、「第1の音に対応する周波数帯域が所定値より高い場合」、または「第1の音のピークとなる音圧レベルに対応する周波数と第2の音のピークとなる音圧レベルに対応する周波数の差が所定値より大きい場合」とも換言され得る点に留意されたい(なお、これら「所定値」は上記で説明したものとは異なる)。
<2.装置の機能構成例>
上記では、本開示に係る情報処理システムの概要について説明した。続いて、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明する。
上記では、本開示に係る情報処理システムの概要について説明した。続いて、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明する。
(2.1.情報処理装置200の機能構成例)
まず、図6を参照して、情報処理装置200の機能構成例について説明する。図6に示すように、情報処理装置200は、制御部210と、生成部220と、通信部230と、表示部240と、記憶部250と、を備え、通信部230を介して外部のコントローラ260と接続されている。
まず、図6を参照して、情報処理装置200の機能構成例について説明する。図6に示すように、情報処理装置200は、制御部210と、生成部220と、通信部230と、表示部240と、記憶部250と、を備え、通信部230を介して外部のコントローラ260と接続されている。
(制御部210)
制御部210は、情報処理装置200の各機能構成を統括的に制御する機能構成である。例えば、制御部210は、コントローラ260からの入力に基づいて各機能構成の起動や停止を制御したり、感覚提示デバイス100によってユーザに対して提示される感覚の内容など(例えば、触覚データ提示部121によって提示される触覚刺激の内容、タイミングおよび強さ、音響データ提示部131によって提示される第2の音の内容、タイミングおよびボリュームなど)を指定したりすることができる。また、制御部210は、各種制御信号を生成することによって、情報処理システムにおける情報処理装置200以外の装置を制御することができる。なお、制御部210の制御内容はこれらに限定されない。例えば、制御部210は、汎用コンピュータ、PC(Personal Computer)、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OS(Operating System)の処理など)を実現してもよい。
制御部210は、情報処理装置200の各機能構成を統括的に制御する機能構成である。例えば、制御部210は、コントローラ260からの入力に基づいて各機能構成の起動や停止を制御したり、感覚提示デバイス100によってユーザに対して提示される感覚の内容など(例えば、触覚データ提示部121によって提示される触覚刺激の内容、タイミングおよび強さ、音響データ提示部131によって提示される第2の音の内容、タイミングおよびボリュームなど)を指定したりすることができる。また、制御部210は、各種制御信号を生成することによって、情報処理システムにおける情報処理装置200以外の装置を制御することができる。なお、制御部210の制御内容はこれらに限定されない。例えば、制御部210は、汎用コンピュータ、PC(Personal Computer)、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OS(Operating System)の処理など)を実現してもよい。
(生成部220)
生成部220は、情報処理システムによって使用される各種データを生成する機能構成である。より具体的には、生成部220は、触覚刺激、音、光、映像、煙、および風の提示に使用されるデータを生成する機能構成である。なお、触覚刺激、音および光の提示に使用されるデータの生成については後述する。生成部220は、制御部210による制御に基づいて映像、煙、および風の提示に使用されるデータを随時生成し、プロジェクタ300、煙発生器330、および風発生器340が接続されているネットワークを介してそれぞれの装置に対して生成したデータを提供する。また、図6に示すように、生成部220は、触覚データ生成部221と、音響データ生成部222と、照明データ生成部223と、を備える。
生成部220は、情報処理システムによって使用される各種データを生成する機能構成である。より具体的には、生成部220は、触覚刺激、音、光、映像、煙、および風の提示に使用されるデータを生成する機能構成である。なお、触覚刺激、音および光の提示に使用されるデータの生成については後述する。生成部220は、制御部210による制御に基づいて映像、煙、および風の提示に使用されるデータを随時生成し、プロジェクタ300、煙発生器330、および風発生器340が接続されているネットワークを介してそれぞれの装置に対して生成したデータを提供する。また、図6に示すように、生成部220は、触覚データ生成部221と、音響データ生成部222と、照明データ生成部223と、を備える。
(触覚データ生成部221)
触覚データ生成部221は、感覚提示デバイス100の触覚データ提示部121による触覚刺激の提示に使用される触覚データを生成する機能構成である。より具体的に説明すると、触覚データ生成部221は、ユーザに提供されるコンテンツについての第1の知覚特性情報および第2の知覚特性情報を取得する。なお、これらの情報の取得元は特に限定されない。例えば、第1の知覚特性情報および第2の知覚特性情報は、過去に当該コンテンツを鑑賞したユーザから取得された情報であってもよいし、現在当該コンテンツを鑑賞中のユーザから取得された情報(コンテンツの終了分についての情報)であってもよい。また、第1の知覚特性情報および第2の知覚特性情報は、当該コンテンツと類似する他のコンテンツについて取得された情報であってもよい。第1の知覚特性情報および第2の知覚特性情報は、例えば、各座席に着席した状態で当該コンテンツを鑑賞した(または現在視聴している)各ユーザの耳に装着されたセンサなどによって取得され得る。また、第1の知覚特性情報および第2の知覚特性情報はユーザの位置(または座席)に基づいて推定されてもよい。
触覚データ生成部221は、感覚提示デバイス100の触覚データ提示部121による触覚刺激の提示に使用される触覚データを生成する機能構成である。より具体的に説明すると、触覚データ生成部221は、ユーザに提供されるコンテンツについての第1の知覚特性情報および第2の知覚特性情報を取得する。なお、これらの情報の取得元は特に限定されない。例えば、第1の知覚特性情報および第2の知覚特性情報は、過去に当該コンテンツを鑑賞したユーザから取得された情報であってもよいし、現在当該コンテンツを鑑賞中のユーザから取得された情報(コンテンツの終了分についての情報)であってもよい。また、第1の知覚特性情報および第2の知覚特性情報は、当該コンテンツと類似する他のコンテンツについて取得された情報であってもよい。第1の知覚特性情報および第2の知覚特性情報は、例えば、各座席に着席した状態で当該コンテンツを鑑賞した(または現在視聴している)各ユーザの耳に装着されたセンサなどによって取得され得る。また、第1の知覚特性情報および第2の知覚特性情報はユーザの位置(または座席)に基づいて推定されてもよい。
そして、触覚データ生成部221は、第1の知覚特性情報および第2の知覚特性情報に基づいて、ユーザの耳に達する第1の音と第2の音の割合(SN比)を調整することで触覚データを生成する。例えば上記のとおり、触覚データ生成部221は、ユーザの可聴領域において、第2の音の音圧レベルを第1の音の音圧レベルよりも小さくするように触覚データを生成することができる。
ここで図7および図8に示す、より詳細な具体例を用いて説明する。例えば、第1の知覚特性情報に含まれる第1の音の波形1が、時間の経過に伴って図7の(1)~(3)の順に変化し、第2の知覚特性情報に含まれる第2の音の波形2が時間の経過に伴って図7の(4)~(6)の順に変化する場合について考える。この場合、触覚データ生成部221が触覚データを調整することなくそのまま触覚刺激の提示に使用した場合、図8のAに示すように、ユーザの可聴領域において、ユーザの耳に達する第2の音の音圧レベルが第1の音の音圧レベルよりも高い波長帯域が発生する場合がある(図8のAには、図7の(3)と(6)が比較された場合のグラフが示されている)。したがって、ユーザは、第2の音を知覚してしまい違和感を受けることになる。
そこで、触覚データ生成部221は、各タイミングにおける第2の音の波形2を図7の(4)’~(6)’のように調整する。これによって、図8のBに示すように、ユーザの可聴領域において、ユーザの耳に達する第2の音の音圧レベルが第1の音の音圧レベルよりも低くなる(図8のBには、図7の(3)と(6)’が比較された場合のグラフが示されている)。したがって、ユーザは、第2の音を知覚しなくなるため違和感を受けない。
また、フロントスピーカ290から第1の音が発せられていない場合、または第1の音に対応する周波数帯域が所定値より高い場合、上記のとおり触覚データ生成部221は、第2の音に対応する周波数帯域を可聴領域外に調整するか、または第2の音の音圧レベルを可聴レベルよりも小さい値に調整することができる。
ここで図9に示す、より詳細な具体例を用いて説明する。フロントスピーカ290から第1の音が発せられておらず、第2の知覚特性情報に含まれる第2の音の波形2が時間の経過に伴って図9の(4)~(6)の順に変化する場合について考える。この場合、ユーザの可聴領域において第2の音の音圧レベルが可聴レベル(この例では、25[dB])以上であるため、ユーザは、第2の音を知覚してしまい違和感を受けることになる。
そこで、触覚データ生成部221は、図9の(4)’~(6)’のように各タイミングにおける第2の音の音圧レベルを可聴レベルよりも小さい値に調整する。これによって、ユーザは、第2の音を知覚しなくなるため違和感を受けない。
また、上記のとおり、第1の音に対応する周波数帯域が第2の音に対応する周波数帯域よりも十分大きい場合、触覚データ生成部221は、第2の音の割合を低減させることで第2の音がユーザに知覚されない(知覚されにくい)ようにしてもよい。
なお、触覚データ生成部221は、任意の波形調整技術や音圧調整技術(専用のソフトウェアなど)を用いて上記の調整を行うことができる。なお、使用される波形調整技術や音圧調整技術の種類は特に限定されない。
(音響データ生成部222)
音響データ生成部222は、制御部210による制御に基づいて、フロントスピーカ290、および感覚提示デバイス100の音響データ提示部131による第1の音の提示に使用される音響データを生成する機能構成である。音響データ生成部222は、所定のネットワークを介して音響データをフロントスピーカ290および感覚提示デバイス100に提供する。
音響データ生成部222は、制御部210による制御に基づいて、フロントスピーカ290、および感覚提示デバイス100の音響データ提示部131による第1の音の提示に使用される音響データを生成する機能構成である。音響データ生成部222は、所定のネットワークを介して音響データをフロントスピーカ290および感覚提示デバイス100に提供する。
(照明データ生成部223)
照明データ生成部223は、制御部210による制御に基づいて、ライト320による光(照明)の提示に使用される照明データを生成する機能構成である。照明データ生成部223は、所定のネットワークを介して照明データをライト320に提供する。
照明データ生成部223は、制御部210による制御に基づいて、ライト320による光(照明)の提示に使用される照明データを生成する機能構成である。照明データ生成部223は、所定のネットワークを介して照明データをライト320に提供する。
(通信部230)
通信部230は、外部装置との通信を行う機能構成である。例えば、情報処理装置200の操作者がコントローラ260を用いて入力を行った場合、通信部230は、コントローラ260から入力データを受信し、当該入力データを制御部210に提供することで操作者による入力の反映を実現する。また、通信部230は、生成部220によって生成されたデータ(例えば、触覚データや音響データなどを含む)を所定の外部装置へ送信することによって、触覚刺激、音、映像、照明、煙、および風などの提示を実現する。なお、通信部230によって通信されるデータはこれらに限定されない。例えば、通信部230は、第1の知覚特性情報および第2の知覚特性情報を感覚提示デバイス100などから受信してもよい。また、通信部230と各外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部230は、各外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
通信部230は、外部装置との通信を行う機能構成である。例えば、情報処理装置200の操作者がコントローラ260を用いて入力を行った場合、通信部230は、コントローラ260から入力データを受信し、当該入力データを制御部210に提供することで操作者による入力の反映を実現する。また、通信部230は、生成部220によって生成されたデータ(例えば、触覚データや音響データなどを含む)を所定の外部装置へ送信することによって、触覚刺激、音、映像、照明、煙、および風などの提示を実現する。なお、通信部230によって通信されるデータはこれらに限定されない。例えば、通信部230は、第1の知覚特性情報および第2の知覚特性情報を感覚提示デバイス100などから受信してもよい。また、通信部230と各外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部230は、各外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
(表示部240)
表示部240は、操作者による入力に用いられる設定画面などを表示する機能構成である。この表示部240は、例えば、液晶ディスプレイ(LCD:Liquid Crystal
Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置であってもよい。なお、表示部240の種類および表示内容はこれらに限定されない。
表示部240は、操作者による入力に用いられる設定画面などを表示する機能構成である。この表示部240は、例えば、液晶ディスプレイ(LCD:Liquid Crystal
Display)、有機EL(Electro Luminescence)ディスプレイなどの表示装置であってもよい。なお、表示部240の種類および表示内容はこれらに限定されない。
(記憶部250)
記憶部250は、各種データを記憶する機能構成である。例えば、記憶部250は、情報処理装置200の各機能構成によって使用されるプログラムやパラメータ、または各機能構成によって生成されたデータなど(例えば、触覚データ、音響データ、または照明データなど)を記憶する。なお、記憶部250が記憶するデータの内容はこれらに限定されない。
記憶部250は、各種データを記憶する機能構成である。例えば、記憶部250は、情報処理装置200の各機能構成によって使用されるプログラムやパラメータ、または各機能構成によって生成されたデータなど(例えば、触覚データ、音響データ、または照明データなど)を記憶する。なお、記憶部250が記憶するデータの内容はこれらに限定されない。
(コントローラ260)
コントローラ260は、操作者による入力を受け、入力データを情報処理装置200に提供する装置である。コントローラ260は、キーボード、マウス、ボタン、スイッチ、レバー、タッチセンサ、圧力センサ、または近接センサなどの各種入力機構を備えることで操作者による入力を受けることができる。なお、コントローラ260が備える入力機構の種類はこれらに限定されない。また、コントローラ260は、情報処理装置200の外部装置として設けられるのではなく、情報処理装置200内に備えられてもよい。
コントローラ260は、操作者による入力を受け、入力データを情報処理装置200に提供する装置である。コントローラ260は、キーボード、マウス、ボタン、スイッチ、レバー、タッチセンサ、圧力センサ、または近接センサなどの各種入力機構を備えることで操作者による入力を受けることができる。なお、コントローラ260が備える入力機構の種類はこれらに限定されない。また、コントローラ260は、情報処理装置200の外部装置として設けられるのではなく、情報処理装置200内に備えられてもよい。
以上、情報処理装置200の機能構成例およびコントローラ260について説明した。なお、図6を用いて説明した上記の機能構成はあくまで一例であり、情報処理装置200の機能構成は係る例に限定されない。例えば、情報処理装置200は、図6に示す機能構成の全てを必ずしも備えなくてもよく、情報処理装置200の機能構成の全部または一部は感覚提示デバイス100などの外部装置に備えられてもよい。また、情報処理装置200の機能構成は、仕様や運用に応じて柔軟に変形可能である。
(2.2.感覚提示デバイス100の機能構成例)
上記では、情報処理装置200の機能構成例について説明した。続いて、図10を参照して、感覚提示デバイス100の機能構成例について説明する。図10に示すように、感覚提示デバイス100は、制御部110と、触覚提示部120と、音提示部130と、通信部140と、センサ部150と、記憶部160と、を備える。
上記では、情報処理装置200の機能構成例について説明した。続いて、図10を参照して、感覚提示デバイス100の機能構成例について説明する。図10に示すように、感覚提示デバイス100は、制御部110と、触覚提示部120と、音提示部130と、通信部140と、センサ部150と、記憶部160と、を備える。
(制御部110)
制御部110は、感覚提示デバイス100の各機能構成を統括的に制御する機能構成である。例えば、制御部110は、情報処理装置200から提供される各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)に基づいて各機能構成の起動や停止を制御する。なお、制御部110の制御内容はこれに限定されない。例えば、制御部110は、汎用コンピュータ、PC、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OSの処理など)を実現してもよい。また、図10に示すように、制御部110は、触覚データ処理部111と、音響データ処理部112と、を備える。
制御部110は、感覚提示デバイス100の各機能構成を統括的に制御する機能構成である。例えば、制御部110は、情報処理装置200から提供される各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)に基づいて各機能構成の起動や停止を制御する。なお、制御部110の制御内容はこれに限定されない。例えば、制御部110は、汎用コンピュータ、PC、タブレットPCまたはスマートフォンなどにおいて一般的に行われる処理(例えば、OSの処理など)を実現してもよい。また、図10に示すように、制御部110は、触覚データ処理部111と、音響データ処理部112と、を備える。
(触覚データ処理部111)
触覚データ処理部111は、情報処理装置200から提供される触覚データを用いて、触覚データ提示部121による触覚刺激の提示に関する処理を行う。例えば、触覚データ処理部111は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された触覚データを編集し、編集後の触覚データを触覚データ提示部121に提供することで触覚刺激の提示を実現してもよい。
触覚データ処理部111は、情報処理装置200から提供される触覚データを用いて、触覚データ提示部121による触覚刺激の提示に関する処理を行う。例えば、触覚データ処理部111は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された触覚データを編集し、編集後の触覚データを触覚データ提示部121に提供することで触覚刺激の提示を実現してもよい。
(音響データ処理部112)
音響データ処理部112は、情報処理装置200から提供される音響データを用いて、音響データ提示部131による第1の音の提示に関する処理を行う。例えば、音響データ処理部112は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された音響データを編集し、編集後の音響データを音響データ提示部131に提供することで第1の音の提示を実現してもよい。
音響データ処理部112は、情報処理装置200から提供される音響データを用いて、音響データ提示部131による第1の音の提示に関する処理を行う。例えば、音響データ処理部112は、感覚提示デバイス100個別の設定(例えば、ユーザが独自に行った感覚提示デバイス100の設定など(例えば、ボリュームの設定や、機能のON/OFFの設定など))に基づいて、情報処理装置200から提供された音響データを編集し、編集後の音響データを音響データ提示部131に提供することで第1の音の提示を実現してもよい。
(触覚提示部120)
触覚提示部120は、1以上の触覚データ提示部121を備え、触覚データ提示部121を用いてユーザに対して触覚刺激を提示する機能構成である。
触覚提示部120は、1以上の触覚データ提示部121を備え、触覚データ提示部121を用いてユーザに対して触覚刺激を提示する機能構成である。
(触覚データ提示部121)
触覚データ提示部121は、触覚データ処理部111から提供される触覚データを用いてユーザに対して触覚刺激を提示する機能構成である。例えば、触覚データ提示部121は、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)など)であってもよいし、力覚を提示する電気素子であってもよいし、温度感覚を提示する温度変化素子(例えば、ペルチェ素子等)であってもよい。換言すると「触覚刺激」には、振動、力覚、または温度感覚などが含まれ得る。なお、触覚データ提示部121が提示する触覚刺激はこれらに限定されない。また、各触覚データ提示部121(図中では、少なくとも触覚データ提示部121a~触覚データ提示部121c)にチャンネルが割り当てられ、チャンネル毎に互いに異なる触覚刺激の提示が行われてもよい。
触覚データ提示部121は、触覚データ処理部111から提供される触覚データを用いてユーザに対して触覚刺激を提示する機能構成である。例えば、触覚データ提示部121は、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)など)であってもよいし、力覚を提示する電気素子であってもよいし、温度感覚を提示する温度変化素子(例えば、ペルチェ素子等)であってもよい。換言すると「触覚刺激」には、振動、力覚、または温度感覚などが含まれ得る。なお、触覚データ提示部121が提示する触覚刺激はこれらに限定されない。また、各触覚データ提示部121(図中では、少なくとも触覚データ提示部121a~触覚データ提示部121c)にチャンネルが割り当てられ、チャンネル毎に互いに異なる触覚刺激の提示が行われてもよい。
(音提示部130)
音提示部130は、1以上の音響データ提示部131を備え、音響データ提示部131を用いてユーザに対して第1の音を提示する機能構成である。
音提示部130は、1以上の音響データ提示部131を備え、音響データ提示部131を用いてユーザに対して第1の音を提示する機能構成である。
(音響データ提示部131)
音響データ提示部131は、音響データ処理部112から提供される音響データを用いてユーザに対して第1の音を提示する機能構成である。例えば、音響データ提示部131は、音響データを再生するスピーカと、スピーカに対するアンプ回路などを有し得る。また、複数の音響データ提示部131(図中では、少なくとも音響データ提示部131a~音響データ提示部131c)が備えられ、各音響データ提示部131の出力が調整されることによって音像の定位が実現されてもよい。その際、音響データ提示部131と周囲に備えられるスピーカ(例えば、座席に備えられるスピーカなど)との連携が行われることで音像が定位されてもよい。なお、各音響データ提示部131にチャンネルが割り当てられ、チャンネル毎に互いに異なる音の提示が行われてもよい。
音響データ提示部131は、音響データ処理部112から提供される音響データを用いてユーザに対して第1の音を提示する機能構成である。例えば、音響データ提示部131は、音響データを再生するスピーカと、スピーカに対するアンプ回路などを有し得る。また、複数の音響データ提示部131(図中では、少なくとも音響データ提示部131a~音響データ提示部131c)が備えられ、各音響データ提示部131の出力が調整されることによって音像の定位が実現されてもよい。その際、音響データ提示部131と周囲に備えられるスピーカ(例えば、座席に備えられるスピーカなど)との連携が行われることで音像が定位されてもよい。なお、各音響データ提示部131にチャンネルが割り当てられ、チャンネル毎に互いに異なる音の提示が行われてもよい。
(通信部140)
通信部140は、外部装置との通信を行う機能構成である。例えば、通信部140は、情報処理装置200によって生成された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)を受信する。なお、通信部140によって通信されるデータはこれらに限定されない。また、通信部140と外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部140は、外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
通信部140は、外部装置との通信を行う機能構成である。例えば、通信部140は、情報処理装置200によって生成された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)を受信する。なお、通信部140によって通信されるデータはこれらに限定されない。また、通信部140と外部装置との通信に用いられる通信方式および通信回線の種類は特に限定されない。例えば、通信部140は、外部装置と有線による通信を行ってもよいし、無線による通信を行ってもよい。
(センサ部150)
センサ部150は、各種センサを備えており、これらのセンサによって生成されたセンサデータを取得する機能構成である。例えば、センサ部150は、位置センサ(例えば、GNSS(Global Navigation Satellite System)受信機や近接センサなどを含む、ユーザの位置特定に使用され得るセンサ)を備えることで、ユーザの位置特定に使用されるセンサデータを取得してもよい。当該センサデータを用いた解析によりユーザの位置が特定されることで、上記のとおりユーザの位置に基づいて第1の知覚特性情報および第2の知覚特性情報が推定され得る。なお、センサ部150が備えるセンサの種類は特に限定されない。例えば、センサ部150は、姿勢センサ(ジャイロセンサや加速度センサなど)、温度センサ、または圧力センサなどの各種センサを備えていてもよい。
センサ部150は、各種センサを備えており、これらのセンサによって生成されたセンサデータを取得する機能構成である。例えば、センサ部150は、位置センサ(例えば、GNSS(Global Navigation Satellite System)受信機や近接センサなどを含む、ユーザの位置特定に使用され得るセンサ)を備えることで、ユーザの位置特定に使用されるセンサデータを取得してもよい。当該センサデータを用いた解析によりユーザの位置が特定されることで、上記のとおりユーザの位置に基づいて第1の知覚特性情報および第2の知覚特性情報が推定され得る。なお、センサ部150が備えるセンサの種類は特に限定されない。例えば、センサ部150は、姿勢センサ(ジャイロセンサや加速度センサなど)、温度センサ、または圧力センサなどの各種センサを備えていてもよい。
(記憶部160)
記憶部160は、各種データを記憶する機能構成である。例えば、記憶部160は、感覚提示デバイス100の各機能構成によって使用されるプログラムやパラメータ、または情報処理装置200から提供された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)などを記憶する。なお、記憶部160が記憶するデータの内容はこれらに限定されない。
記憶部160は、各種データを記憶する機能構成である。例えば、記憶部160は、感覚提示デバイス100の各機能構成によって使用されるプログラムやパラメータ、または情報処理装置200から提供された各種データ(例えば、触覚データ、音響データ、およびその他の制御信号などを含む)などを記憶する。なお、記憶部160が記憶するデータの内容はこれらに限定されない。
以上、感覚提示デバイス100の機能構成例について説明した。なお、図10を用いて説明した上記の機能構成はあくまで一例であり、感覚提示デバイス100の機能構成は係る例に限定されない。例えば、感覚提示デバイス100は、図10に示す機能構成の全てを必ずしも備えなくてもよい。また、感覚提示デバイス100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<3.装置の処理フロー例>
上記では、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明した。続いて、図11を参照して、触覚刺激の提示に用いられる触覚データの生成処理の流れの例について説明する。図11は、コンテンツの開始前に、第1の知覚特性情報および第2の知覚特性情報に基づいてユーザに知覚されない第2の音を発する触覚刺激の提示に用いられる触覚データが予め生成(プログラム)される場合の処理の流れを示している。
上記では、本開示に係る情報処理システムにおける情報処理装置200および感覚提示デバイス100の機能構成例について説明した。続いて、図11を参照して、触覚刺激の提示に用いられる触覚データの生成処理の流れの例について説明する。図11は、コンテンツの開始前に、第1の知覚特性情報および第2の知覚特性情報に基づいてユーザに知覚されない第2の音を発する触覚刺激の提示に用いられる触覚データが予め生成(プログラム)される場合の処理の流れを示している。
まず、ステップS1000では、情報処理装置200の触覚データ生成部221が、ユーザに提供されるコンテンツについての第1の知覚特性情報および第2の知覚特性情報を取得する。上記のとおり、これらの情報の取得元は特に限定されない。ステップS1004では、触覚データ生成部221が、第1の音が発せられていないか否か、または第1の音に対応する周波数帯域が所定値(例えば、500[Hz])より高いか否かをコンテンツのタイミング(例えば、各セグメントなど)ごとに確認する。
第1の音が発せられていない、または第1の音に対応する周波数帯域が所定値より高い場合(ステップS1004/Yes)、ステップS1008にて、触覚データ生成部221が第2の音に対応する周波数帯域を可聴領域外(例えば、200[Hz]以下)に調整し触覚データを生成する(なお、触覚データ生成部221は、第2の音の音圧レベルを可聴レベルよりも小さい値に調整してもよい)。第1の音が発せられており、かつ第1の音に対応する周波数帯域が所定値以下である場合(ステップS1004/No)、ステップS1012にて、触覚データ生成部221は、ユーザの可聴領域において、第2の音の音圧レベルを第1の音の音圧レベルよりも小さくするように触覚データを生成する。コンテンツ全体にわたって上記の調整が終了するまで(ステップS1016/No)、ステップS1004~ステップS1012の処理が継続される。
なお、図11のフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。また、図11のフローチャートには示さなかったが、触覚データ生成部221は、第1の音に対応する周波数帯域が第2の音に対応する周波数帯域よりも十分大きいか否かの判断を行い、第1の音に対応する周波数帯域が第2の音に対応する周波数帯域よりも十分大きい場合には上記の通り、第2の音の割合を低減させるように触覚データを生成してもよい。また、触覚データ生成部221は、コンテンツの開始前に触覚データを予め生成(プログラム)するのではなく、コンテンツの提供時にリアルタイムに触覚データを生成してもよい。
<4.ハードウェア構成例>
上記では、触覚データの生成処理の流れの例について説明した。続いて、本開示に係る情報処理システムにおけるハードウェア構成例について説明する。
上記では、触覚データの生成処理の流れの例について説明した。続いて、本開示に係る情報処理システムにおけるハードウェア構成例について説明する。
(4.1.感覚提示デバイス100)
まず、感覚提示デバイス100のハードウェア構成について説明する。感覚提示デバイス100は、サイズ調整機能を有さないアウターベストと、サイズ調整機能を有するインナーベストの2枚が重なった構造(アウターベストがインナーベストの上から被せられる構造)を有している。また、ユーザによる着脱のし易さを考慮して、アウターベストおよびインナーベストは、例えば両肩部分などで、部分的に物理的に連結されていてもよい。ここで、図12にはアウターベストの例が示されており、図13にはインナーベストの例が示されている。
まず、感覚提示デバイス100のハードウェア構成について説明する。感覚提示デバイス100は、サイズ調整機能を有さないアウターベストと、サイズ調整機能を有するインナーベストの2枚が重なった構造(アウターベストがインナーベストの上から被せられる構造)を有している。また、ユーザによる着脱のし易さを考慮して、アウターベストおよびインナーベストは、例えば両肩部分などで、部分的に物理的に連結されていてもよい。ここで、図12にはアウターベストの例が示されており、図13にはインナーベストの例が示されている。
図12には、両肩部分に音響データ提示部131が配置されている感覚提示デバイス100(図2で示したもの)のアウターベストの例が示されている。また、アウターベスト(および図13のAで示すインナーベスト)は、前身頃の中央に開閉機構10(例えば、ファスナー、面ファスナー、またはボタンなど。なお、開閉機構10はこれらに限定されない)を備えている。これにより、ユーザは頭を感覚提示デバイス100に通すなどの負荷の高い動きをすることなく、2層構造の感覚提示デバイス100を容易に効率良く着脱することができる。また、ユーザは、不快感を覚えた場合などにおいて容易かつ迅速に感覚提示デバイス100を脱ぐことができる。また、アウターベストは、前身頃に所定の数のポケット11(図12の例では、ポケット11a~ポケット11d)を備えている。これによって、アウターベストは、例えば後述する手首や足に装着されるパーツを収納することができるため、これらのパーツが使用されない場合において各パーツの管理が容易になる。なお、ユーザが腕を容易に可動させることができる点や通気性に優れる点などが考慮されることで、ベスト型の感覚提示デバイス100が採用される場合を主として説明しているところ、感覚提示デバイス100の形状(特に、アウターベストの形状)は、その用途(コンテンツの内容)に合わせて様々なデザインに変更され得る。
図13のAにはインナーベストの前身頃の例が示されており、図13のBにはインナーベストの後ろ身頃の例が示されている。図13のAおよびBに示すように、インナーベストの側面部にはインナーベストのサイズを無段階に調整可能な調整機構12(図13の例では、面ファスナー)が備えられている。感覚提示デバイス100が触覚刺激をユーザの体に伝達するためには、感覚提示デバイス100および触覚データ提示部121が、体に対して適切な圧力で押し付けられることが望ましい。しかし、ユーザの体は年齢や性別などによって個体差が大きい。そこで、インナーベストは、調整機構12を備えることによって、触覚データ提示部121と体の間の接触圧力を調整可能にし、ユーザ毎に最適な触覚刺激を提示可能にする。また、インナーベストが使用時にアウターベストに覆われることによって、調整機構12が表面に露出されない。これにより、ウェアの意匠性が高められると共に、演劇の観劇や映画の鑑賞中に、ユーザ自身がインナーベストの面ファスナーなどを用いたサイズ調整をするために面ファスナーの着け外しすることで大きな音が発生して周囲の観客に不快感を与えることが防止され得る。なお、ユーザによる感覚提示デバイス100の装着はコンテンツの開始前に完了し、休憩時間などを除いてサイズ調整や着脱は行われないことを想定している。より具体的には、ユーザが座る座席とは別の位置に、感覚提示デバイス100の装着(脱着)用のスペースが設けられて、係員がユーザによる感覚提示デバイス100の脱着を補助することを想定している(もちろん、これに限定されない)。
また、インナーベストは、触覚データ提示部121を固定可能な固定機構13(図13の例では、面ファスナー)を備えている。感覚提示デバイス100がユーザに対して触覚刺激を提示する場合、ユーザ毎の個体差(体の大きさなど)に影響されることなく、同様の位置に触覚刺激が提示されることが望ましい。すなわち、触覚データ提示部121の配置はユーザ毎の個体差に応じて調整されることが望ましい。また、劇や映画などのコンテンツの内容や演出に応じて、触覚刺激が提示されるべき位置(部位)が変わる。例えば、触覚刺激が提示されるべき位置は、劇Aでは体の前面4か所、劇Bでは体の前面6か所、映画Aでは体の前面6か所に加えて背面2か所などのようにコンテンツによって変わる。そこで、インナーベストはほぼ全面に固定機構13を備えることで、所望の位置に触覚データ提示部121が固定されることを可能にする。
ここで、図14を参照して、触覚データ提示部121の固定態様の具体例について説明する。コンテンツの開始前のユーザによる装着時にユーザ自身によって触覚データ提示部121の固定位置が変更されることは、基本的に想定していない(なお、これに限定されない)。そのため、図14のAに示すように、インナーベストは2枚構造を有しており、固定機構13は、ユーザが触れることができない2枚構造の内側に備えられている。触覚データ提示部121は固定機構13(面ファスナーメスなど)と、別パーツである固定機構14(面ファスナーオスなど)によって挟まれることによってインナーベストに固定され得る。図14のAに示すように、固定機構13は、2枚構造のうちの“インナーベストの外側15”(アウターベスト側)の内側の面に備えられることを想定している。換言すると、2枚構造のうちの“インナーベストの内側16”(ユーザの体側)には、固定機構13が備えられないことを想定している。これによって、サイズ調整時に調整機構12の締め付け圧によって生じる“インナーベストの外側15”の張力によって、触覚データ提示部121がユーザの体に的確に押し付けられることになる。
また、“インナーベストの内側16”が面として存在することにより、ユーザが感覚提示デバイス100を着脱する際に、突出した触覚データ提示部121が着脱の妨げになることが防止される。前述したように、感覚提示デバイス100はインナーベストとアウターベストの2層構造を有することが望ましいが、着脱の容易さなどに鑑みて、インナーベスト単体が使用されてもよい。その場合にも、インナーベストが上記で説明したような構造を有することで、触覚データ提示部121を表面に露出させないようにできるため、意匠性が確保される。
また、前述したように、ユーザの体は年齢や性別などによって個体差が大きい。そのため、例えば、コンテンツの提供前に男性用のウェア(アウターベストやインナーベスト)と女性用のウェア(アウターベストやインナーベスト)の2種類を用意しておき、女性用のインナーベストについては、体に合わせて調整機構12がより絞り込まれる前提で、触覚データ提示部121の固定位置を男性用のものに比べて相対的に内側にしておく、という運用が考えられる。同様に、男女の身長差を考慮して、各触覚データ提示部121の上下の相対距離を男性用のものに比べて相対的に近づけておく、という運用も考えられる。また、女性用については、胸部を避けて触覚データ提示部121を配置する、という運用も考えられる。また、男女差とは無関係に、体の大きさに応じてS/M/Lの3種類のサイズを(同一のウェアで)用意し、前述したようにそれぞれに触覚データ提示部121の固定位置を異なるものとする、という運用も考えらえる。あるいは、前述のように、コンテンツの内容に応じて、コンテンツの開始前に触覚データ提示部121の位置および数量を変更しておき、その位置および数量の設定に基づいて各触覚データ提示部121に入力する触覚データの設計および生成を行う、といった運用も考えられる。
さらに、感覚提示デバイス100は、ベスト部分によっては触覚刺激が提示されない部位に対しても他のパーツを用いることによって触覚刺激を提示することができてもよい。例えば、図15のAに示すように、感覚提示デバイス100はコネクタを備えており、当該コネクタに接続された配線190(図15のAでは、配線190a~配線190f)によって追加の触覚データ提示部121(図15のAでは、触覚データ提示部121k~触覚データ提示部121p)と電気的に接続され得る。なお、図中の触覚データ提示部121lと触覚データ提示部121mのように、追加された触覚データ提示部121は、コネクタを備えており、当該コネクタに接続された配線190によってさらに別の追加された触覚データ提示部121と電気的に接続され得る。なお、長さを調節可能なケーブル(例えば、カールケーブルや巻取り式のケーブルなど)が配線190として使用されることによって、必要以上に長い配線190によってユーザの動きが阻害されることが防止され得る。また、配線190によって触覚データ提示部121が追加されない場合、追加の触覚データ提示部121に使用可能なチャンネルが他の部分(例えば、ベスト部分)への触覚刺激の提示に使用されてもよい。これによって、より多様な触覚刺激を当該部分に提示することが可能になる。なお、追加の触覚データ提示部121は無線によって接続されてもよい。
そして、追加の触覚データ提示部121は、所定の固定機構(例えば、面ファスナーなど)によって体の部位に一定の圧力で固定される。この構造によって、例えば図15のAに示すように、感覚提示デバイス100は、ベスト部分以外の手首、膝、および足の甲などに触覚刺激を提示することができる。なお、追加の触覚データ提示部121が固定される位置は特に限定されず、コンテンツの内容などに応じて柔軟に変更され得る。
ここで、図15のBに示すように、追加の各触覚データ提示部121には固定位置を示すラベル17(図15のBでは、ラベル17a~ラベル17f。固定位置を示すイラストや文字などが表示される)が付されることを想定している。これによって、ユーザが追加の各触覚データ提示部121を間違った位置に固定することが防がれる。
続いて、感覚提示デバイス100と共に使用される各機器について説明する。まず図16を参照して、ユーザが着席してコンテンツの提供を受ける場合に使用される座席の周辺機器について説明する。図16には、ユーザが感覚提示デバイス100(および追加の触覚データ提示部121k~触覚データ提示部121p)を装着した状態で座席に座っている様子を示している。そして、各座席にはユーザによる所定の操作に使用される操作パネル180が設置されることを想定している。
ここで、図17を参照して操作パネル180の具体例について説明する。図17のAに示された操作パネル180aにはスイッチ181が備えられており、ユーザは、当該スイッチ181を操作することによって触覚刺激などをはじめとする各種感覚の提示のON/OFFを切り替えることができる。また、操作パネル180aにはコネクタ182(メス)が備えられており、ユーザは、当該コネクタ182に対して感覚提示デバイス100に備えられたコネクタ(オス)を差し込むことによって感覚提示デバイス100を動作可能な状態にすることができる。また、図17のBに示された操作パネル180bには、その他にもボリューム調節機構183が備えられており、ユーザは、当該ボリューム調節機構183を操作することによって感覚提示デバイス100によって提示される触覚刺激または音のボリュームを所望の大きさに調節することができる。
なお、感覚提示デバイス100には複数の種類(S/M/Lなどのサイズ、大人用/子供用、男性用/女性用、色、表記番号)が設けられており、感覚提示デバイス100がコネクタ182に接続されることによって、感覚提示デバイス100内に組み込まれた種類検出用の抵抗値、あるいはDIPスイッチのようなON/OFF検出の仕組みによって、感覚提示デバイス100の種類が情報処理システム(特に情報処理装置200)に識別され得る。識別された種類に応じて、情報処理システム(特に情報処理装置200)は、ウェアに流す信号(ボリューム等)を変化させてもよい。
(4.2.情報処理装置200)
続いて、図18を参照して、情報処理装置200のハードウェア構成について説明する。
続いて、図18を参照して、情報処理装置200のハードウェア構成について説明する。
図18に示すように、情報処理装置200は、CPU(Central Processing Unit)901と、ROM(Read Only
Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912とを備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置200内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、制御部210および生成部220の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置200を使用するユーザは、該入力装置908を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置908により、コントローラ260の機能が実現される。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。当該出力装置909により表示部240の機能が実現される。
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910によって記憶部250の機能が実現される。
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置200に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。通信装置912によって通信部230の機能が実現される。
<5.備考>
上記では、本開示に係る情報処理システムにおけるハードウェア構成例について説明した。続いて、本開示に係る情報処理システムにおける運用面などを備考として説明する。
上記では、本開示に係る情報処理システムにおけるハードウェア構成例について説明した。続いて、本開示に係る情報処理システムにおける運用面などを備考として説明する。
(5.1.感覚提示デバイス100の動作確認について)
本開示に係る情報処理システムが使用される場合、コンテンツの開始前に、感覚提示デバイス100を操作パネル180のコネクタ182に接続した状態で動作確認作業が行われ得る。
本開示に係る情報処理システムが使用される場合、コンテンツの開始前に、感覚提示デバイス100を操作パネル180のコネクタ182に接続した状態で動作確認作業が行われ得る。
動作確認作業においては、第1ステップとして通電状態などの確認のために、感覚提示デバイス100の各触覚データ提示部121(アクチュエータ)から可聴音を順次発生させて、確認者が耳で動作確認を行う。その際、触覚データ提示部121ごとに可聴音が変更されてもよい(例えば、各感覚提示デバイス100の触覚データ生成部221ごとに「1」、「2」、「3」などの識別情報が割り振られ、触覚データ提示部121にそれぞれの識別情報を可聴音として出力させるなど)。第2ステップとして、触覚データ提示部121の故障状態の確認のために、各触覚データ提示部121に100[Hz]のSin波のような可聴性の低い単純な波形を順次入力する。例えば、第2ステップにて、確認者に異音が聞こえる場合、触覚データ提示部121の破損などが生じていることが予想される。
第1ステップおよび第2ステップの作業は、各感覚提示デバイス100から発せられる音が混ざらないように、感覚提示デバイス100を1台ずつ動作させて行われる。例えば、確認者が操作パネル180のスイッチ181を操作して各感覚提示デバイス100のON/OFFを切り替えながら第1ステップおよび第2ステップの作業を行っていく。
なお、確認者が各座席を移動することなく上記の動作確認作業を行えるように、各感覚提示デバイス100からの可聴音の発生などが、感覚提示デバイス100ごとに少しずつずらされながら行われてもよい。また、感覚提示デバイス100ごとに「1」、「2」、「3」などの識別情報が割り振られ、さらに各感覚提示デバイス100の触覚データ生成部221ごとに「1」、「2」、「3」などの識別情報が割り振られることによって、触覚データ提示部121に「1-1」、「1-2」、「1-3」などのように、それぞれの感覚提示デバイス100および触覚データ提示部121の識別情報の組合せを可聴音として出力させるなどの対応が考えられる。これによって、確認者は、全ての感覚提示デバイス100から発せられる可聴音を聞き取れる位置から動くことなく動作確認作業を行うことができる。また、可聴音の聞き取り作業が専用装置によって行われてもよい。また、各触覚データ提示部121に加速度センサが備えられており、各触覚データ提示部121が振動した際の加速度データの解析などによって動作確認が行われてもよい。
(5.2.操作者の対応について)
上記で説明したコントローラ260を操作する操作者は、ステージおよび客席が見渡せるよう、客席後方(または中央)のコントロールブースに位置しており、予め決められた進行に応じて、ステージ上の演者の動きのタイミングに合わせ、コントローラ260に備えられるタッチパネルや物理スイッチなどインタフェースを操作する。
上記で説明したコントローラ260を操作する操作者は、ステージおよび客席が見渡せるよう、客席後方(または中央)のコントロールブースに位置しており、予め決められた進行に応じて、ステージ上の演者の動きのタイミングに合わせ、コントローラ260に備えられるタッチパネルや物理スイッチなどインタフェースを操作する。
コントローラ260に対して所定の操作が行われることで、音響、照明、映像、触覚刺激などの演出効果に関わる装置が一括してリアルタイムに制御され得る。例えば、操作者は、コントローラ260に備えられるスライドバーの操作によって、音響、照明、映像、触覚刺激などの演出効果に関わる装置によって出力される演出効果の強度を、一括してリアルタイムに制御することができる。例えば、操作者がスライドバーを下げると、音響ボリュームが下がるとともに、触覚データ提示部121によって提示される触覚刺激の強度が低くなったり、照明が暗くなったりする。また、例えば、操作者が、所定のボタンを押下するたびに、コンテンツにおけるイベントが切り替わり、切り替わった後のイベントに対応付けられたプログラムに従って、音響、照明、映像、触覚刺激などの演出効果に関わる装置が一括してリアルタイムに制御され得る。なお、このときに各ボタンにそれぞれ異なるイベントが割り当てられていてもよい。
また、ユーザだけでなく操作者も、音響提示用のヘッドホンおよび触覚提示用の感覚提示デバイス100を装着することによって、ユーザが体験している演出効果のフィードバックを受けることができる。なお、コントロールブースには、操作者とは別に進行管理を行うタイムキーパーが配置されることで、操作者とタイムキーパーが互いに協調して作業をしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
音響提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成する生成部を備える、
情報処理装置。
(2)
前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記ユーザの耳に達する前記第1の音と前記第2の音の割合を調整することで前記触覚データを生成する、
前記(1)に記載の情報処理装置。
(3)
前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記割合を周波数帯域ごとに調整することで前記触覚データを生成する、
前記(2)に記載の情報処理装置。
(4)
前記生成部は、前記ユーザの可聴領域において、前記第2の音の音圧レベルを前記第1の音の音圧レベルよりも小さくする、
前記(3)に記載の情報処理装置。
(5)
前記第1の音が発せられていない場合、または前記第1の音に対応する周波数帯域が所定値より高い場合、前記生成部は、前記第2の音に対応する周波数帯域を可聴領域外に調整するか、または前記第2の音の音圧レベルを可聴レベルよりも小さい値に調整する、
前記(3)に記載の情報処理装置。
(6)
前記第1の音に対応する周波数帯域が所定値より高い場合、または前記第1の音のピークとなる音圧レベルに対応する周波数と前記第2の音のピークとなる音圧レベルに対応する周波数の差が所定値より大きい場合、前記生成部は、前記第2の音の割合を低減させる、
前記(3)に記載の情報処理装置。
(7)
音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成することを有する、
コンピュータにより実行される情報処理方法。
(8)
音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成すること、
をコンピュータに実現させるためのプログラム。
(1)
音響提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成する生成部を備える、
情報処理装置。
(2)
前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記ユーザの耳に達する前記第1の音と前記第2の音の割合を調整することで前記触覚データを生成する、
前記(1)に記載の情報処理装置。
(3)
前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記割合を周波数帯域ごとに調整することで前記触覚データを生成する、
前記(2)に記載の情報処理装置。
(4)
前記生成部は、前記ユーザの可聴領域において、前記第2の音の音圧レベルを前記第1の音の音圧レベルよりも小さくする、
前記(3)に記載の情報処理装置。
(5)
前記第1の音が発せられていない場合、または前記第1の音に対応する周波数帯域が所定値より高い場合、前記生成部は、前記第2の音に対応する周波数帯域を可聴領域外に調整するか、または前記第2の音の音圧レベルを可聴レベルよりも小さい値に調整する、
前記(3)に記載の情報処理装置。
(6)
前記第1の音に対応する周波数帯域が所定値より高い場合、または前記第1の音のピークとなる音圧レベルに対応する周波数と前記第2の音のピークとなる音圧レベルに対応する周波数の差が所定値より大きい場合、前記生成部は、前記第2の音の割合を低減させる、
前記(3)に記載の情報処理装置。
(7)
音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成することを有する、
コンピュータにより実行される情報処理方法。
(8)
音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成すること、
をコンピュータに実現させるためのプログラム。
100 感覚提示デバイス
110 制御部
111 触覚データ処理部
112 音響データ処理部
120 触覚提示部
121 触覚データ提示部
130 音提示部
131 音響データ提示部
140 通信部
150 センサ部
160 記憶部
200 情報処理装置
210 制御部
220 生成部
221 触覚データ生成部
222 音響データ生成部
223 照明データ生成部
230 通信部
240 表示部
250 記憶部
260 コントローラ
270 オーディオIF
280 アンプ
290 フロントスピーカ
300 プロジェクタ
310 スクリーン
320 ライト
330 煙発生器
340 風発生器
110 制御部
111 触覚データ処理部
112 音響データ処理部
120 触覚提示部
121 触覚データ提示部
130 音提示部
131 音響データ提示部
140 通信部
150 センサ部
160 記憶部
200 情報処理装置
210 制御部
220 生成部
221 触覚データ生成部
222 音響データ生成部
223 照明データ生成部
230 通信部
240 表示部
250 記憶部
260 コントローラ
270 オーディオIF
280 アンプ
290 フロントスピーカ
300 プロジェクタ
310 スクリーン
320 ライト
330 煙発生器
340 風発生器
Claims (8)
- 音響提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成する生成部を備える、
情報処理装置。 - 前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記ユーザの耳に達する前記第1の音と前記第2の音の割合を調整することで前記触覚データを生成する、
請求項1に記載の情報処理装置。 - 前記生成部は、前記第1の知覚特性に関する情報および前記第2の知覚特性に関する情報に基づいて、前記割合を周波数帯域ごとに調整することで前記触覚データを生成する、
請求項2に記載の情報処理装置。 - 前記生成部は、前記ユーザの可聴領域において、前記第2の音の音圧レベルを前記第1の音の音圧レベルよりも小さくする、
請求項3に記載の情報処理装置。 - 前記第1の音が発せられていない場合、または前記第1の音に対応する周波数帯域が所定値より高い場合、前記生成部は、前記第2の音に対応する周波数帯域を可聴領域外に調整するか、または前記第2の音の音圧レベルを可聴レベルよりも小さい値に調整する、
請求項3に記載の情報処理装置。 - 前記第1の音に対応する周波数帯域が所定値より高い場合、または前記第1の音のピークとなる音圧レベルに対応する周波数と前記第2の音のピークとなる音圧レベルに対応する周波数の差が所定値より大きい場合、前記生成部は、前記第2の音の割合を低減させる、
請求項3に記載の情報処理装置。 - 音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成することを有する、
コンピュータにより実行される情報処理方法。 - 音響データ提示部から発せられる第1の音に対するユーザの第1の知覚特性に関する情報、および触覚データ提示部から提示される触覚刺激によって発せられる第2の音に対する前記ユーザの第2の知覚特性に関する情報に基づいて、前記ユーザに知覚されない前記第2の音を発する前記触覚刺激の提示に用いられる触覚データを生成すること、
をコンピュータに実現させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/025277 WO2019013056A1 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
CN201880045010.3A CN110915231A (zh) | 2017-07-10 | 2018-07-03 | 信息处理装置、信息处理方法和程序 |
JP2019529076A JP7040527B2 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
EP18832751.4A EP3654666A4 (en) | 2017-07-10 | 2018-07-03 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
US16/628,089 US11190874B2 (en) | 2017-07-10 | 2018-07-03 | Information processing device and information processing method |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762530455P | 2017-07-10 | 2017-07-10 | |
US62/530,455 | 2017-07-10 | ||
US201762534879P | 2017-07-20 | 2017-07-20 | |
US62/534,879 | 2017-07-20 | ||
PCT/JP2018/025277 WO2019013056A1 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019013056A1 true WO2019013056A1 (ja) | 2019-01-17 |
Family
ID=70153026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/025277 WO2019013056A1 (ja) | 2017-07-10 | 2018-07-03 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11190874B2 (ja) |
EP (1) | EP3654666A4 (ja) |
JP (1) | JP7040527B2 (ja) |
CN (1) | CN110915231A (ja) |
WO (1) | WO2019013056A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095536A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024524087A (ja) * | 2021-06-15 | 2024-07-05 | フレクソウンド システムズ オサケユイチア | 音響振動の再生の制御 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0819078A (ja) * | 1994-06-30 | 1996-01-19 | Kazumichi Fujiwara | 音響振動体感付与方法ならびにその装置 |
JP2006222826A (ja) * | 2005-02-14 | 2006-08-24 | Fujitsu Ltd | 通話機能付き携帯情報端末 |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6442599U (ja) | 1987-09-02 | 1989-03-14 | ||
US5553148A (en) | 1994-06-20 | 1996-09-03 | Werle; Ben | Apparatus and method for producing vibratory sensations to accompany audible sounds in a properly phased relationship |
JP2004233463A (ja) * | 2003-01-28 | 2004-08-19 | Nec Viewtechnology Ltd | ファン騒音低減装置及びファン騒音低減方法 |
WO2008117002A1 (en) * | 2007-03-26 | 2008-10-02 | Nds Limited | Active fan control |
US9019087B2 (en) | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
EP2277096A1 (en) | 2008-05-09 | 2011-01-26 | Koninklijke Philips Electronics N.V. | Method and system for conveying an emotion |
US20110080273A1 (en) * | 2008-06-13 | 2011-04-07 | Waseda University | Sensation Presenting System and Sensation Presenting Device |
WO2010093913A1 (en) * | 2009-02-12 | 2010-08-19 | Brock Seiler | Multi-channel audio vibratory entertainment system |
US8716940B2 (en) | 2009-10-01 | 2014-05-06 | Production Resource Group, Llc | Sound adaptive cooling system for a stage light |
JP5732937B2 (ja) * | 2010-09-08 | 2015-06-10 | ヤマハ株式会社 | サウンドマスキング装置 |
US9886091B2 (en) * | 2012-03-15 | 2018-02-06 | Nokia Technologies Oy | Tactile apparatus link |
US9098984B2 (en) | 2013-03-14 | 2015-08-04 | Immersion Corporation | Haptic effects broadcasting during a group event |
DE102013214201A1 (de) * | 2013-07-19 | 2015-01-22 | Volkswagen Aktiengesellschaft | Verfahren zur Steuerung einer Kraftfahrzeug-Klimaanlage |
JP2015185137A (ja) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR101641418B1 (ko) * | 2014-07-25 | 2016-07-20 | 포항공과대학교 산학협력단 | 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치 |
JP2017182496A (ja) * | 2016-03-30 | 2017-10-05 | ソニー株式会社 | 制御装置、制御方法およびプログラム |
US10649529B1 (en) * | 2016-06-28 | 2020-05-12 | Apple Inc. | Modification of user-perceived feedback of an input device using acoustic or haptic output |
CN109416584B (zh) * | 2016-07-07 | 2022-08-02 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
US10699538B2 (en) * | 2016-07-27 | 2020-06-30 | Neosensory, Inc. | Method and system for determining and providing sensory experiences |
US10713908B2 (en) * | 2016-09-30 | 2020-07-14 | Sony Corporation | Content providing system, control apparatus, and reception apparatus |
CN106774891A (zh) | 2016-12-15 | 2017-05-31 | 北京小鸟看看科技有限公司 | 虚拟现实场景的音效产生方法、设备及虚拟现实设备 |
-
2018
- 2018-07-03 US US16/628,089 patent/US11190874B2/en active Active
- 2018-07-03 CN CN201880045010.3A patent/CN110915231A/zh active Pending
- 2018-07-03 WO PCT/JP2018/025277 patent/WO2019013056A1/ja unknown
- 2018-07-03 EP EP18832751.4A patent/EP3654666A4/en active Pending
- 2018-07-03 JP JP2019529076A patent/JP7040527B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0819078A (ja) * | 1994-06-30 | 1996-01-19 | Kazumichi Fujiwara | 音響振動体感付与方法ならびにその装置 |
JP2006222826A (ja) * | 2005-02-14 | 2006-08-24 | Fujitsu Ltd | 通話機能付き携帯情報端末 |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3654666A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095536A1 (ja) * | 2019-11-12 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
US11887631B2 (en) | 2019-11-12 | 2024-01-30 | Sony Group Corporation | Information processing device and information processing method |
Also Published As
Publication number | Publication date |
---|---|
US11190874B2 (en) | 2021-11-30 |
CN110915231A (zh) | 2020-03-24 |
US20210152931A1 (en) | 2021-05-20 |
EP3654666A4 (en) | 2020-05-27 |
JP7040527B2 (ja) | 2022-03-23 |
EP3654666A1 (en) | 2020-05-20 |
JPWO2019013056A1 (ja) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10993498B2 (en) | Vibrating footwear device and entertainment system for use therewith | |
US9078523B2 (en) | Electronic display for vibro-kinetic platform | |
CN102647944B (zh) | 耳鸣治疗系统和方法 | |
CA2738746C (en) | Haptic chair sound enhancing system with audiovisual display | |
US20190369725A1 (en) | Guided virtual reality system for relaxing body and mind | |
KR101904505B1 (ko) | 정신치료장치 및 개인단말기와 블루투스통신을 통해 연결된 정신치료장치를 이용한 정신치료시스템 | |
JP6396351B2 (ja) | 心身状態推定装置、心身状態推定方法、およびアイウエア | |
JP7040527B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7140120B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20190138463A1 (en) | Information processing apparatus, information processing method, and program | |
WO2019171767A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2021145452A1 (ja) | 情報処理装置及び情報処理端末 | |
WO2020235307A1 (ja) | コンテンツ提供システム、出力装置、及び情報処理方法 | |
TW201904633A (zh) | 休閒裝置 | |
JP6523038B2 (ja) | 感覚提示装置 | |
US20210409876A1 (en) | Method for Adjusting a Hearing Aid Device and System for Carrying Out the Method | |
WO2021145454A1 (ja) | 情報処理装置、情報処理端末及びプログラム | |
WO2021145451A1 (ja) | 情報処理装置及び情報処理端末 | |
US20220353457A1 (en) | Information processing apparatus, information processing method, and program | |
JP2021171320A (ja) | 身体状態再現方法、及び、身体状態再現システム | |
JP2021052965A (ja) | 上映施設 | |
WO2021145455A1 (ja) | 情報処理装置、情報処理端末及びプログラム | |
WO2022102307A1 (ja) | 信号処理装置、信号処理方法、信号処理システム | |
JPH10240159A (ja) | 頭部装着型表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18832751 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019529076 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018832751 Country of ref document: EP Effective date: 20200210 |