WO2021261085A1 - 情報処理装置、情報処理方法、プログラム、収録再生システム - Google Patents

情報処理装置、情報処理方法、プログラム、収録再生システム Download PDF

Info

Publication number
WO2021261085A1
WO2021261085A1 PCT/JP2021/017285 JP2021017285W WO2021261085A1 WO 2021261085 A1 WO2021261085 A1 WO 2021261085A1 JP 2021017285 W JP2021017285 W JP 2021017285W WO 2021261085 A1 WO2021261085 A1 WO 2021261085A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
recording
positional relationship
reproduction
environment
Prior art date
Application number
PCT/JP2021/017285
Other languages
English (en)
French (fr)
Inventor
高弘 渡邉
修一郎 錦織
裕史 竹田
志朗 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/001,921 priority Critical patent/US20230254535A1/en
Priority to JP2022532373A priority patent/JPWO2021261085A1/ja
Publication of WO2021261085A1 publication Critical patent/WO2021261085A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • This technology relates to information processing devices, information processing methods, programs, and recording / playback systems.
  • Patent Document 1 various techniques for presenting recorded sensory stimulus information such as tactile stimuli to a user have been proposed.
  • the playback device By reproducing sensory stimulus information such as video, sound, and vibration in the recorded content such as sports and movies by the playback device, the user can enjoy the content while being in a place different from the recording place.
  • sensory stimulus information is transmitted differently depending on the environment, such as propagation speed and attenuation rate. Therefore, if the recording environment and the playback environment of the content are different, the way the sound or vibration is transmitted to the video will be different from the user's perception, which will give the user who views the content a sense of discomfort and impair the presence of the content itself. There is a risk.
  • This technology was made in view of the above circumstances, and aims to alleviate the discomfort in the way sensory stimulus information is transmitted due to the difference between the recording environment and the playback environment.
  • the information processing device includes information on the first positional relationship between the recording device performing the recording and the recording target in the recording environment for recording the sensory stimulus information transmitted from the recording target, and the above-mentioned information.
  • the positional relationship information acquisition unit for acquiring the second positional relationship between the recording target and the user in the reproduction environment of the recorded sensory stimulus information, the first positional relationship information, and the above. It is provided with a correction unit that corrects the output signal of the reproduction device that reproduces the sensory stimulus information based on the information of the second positional relationship.
  • the sensory stimulus information is, for example, various stimulus information that can be perceived by the user, such as images, sounds, tactile stimuli, and odors.
  • the recording target is, for example, an object such as a vibration source or a sound generation source in the recording environment.
  • the recording device is, for example, an image pickup device for taking an image, a microphone for collecting sound of acoustic information, an IMU (Inertial Measurement Unit) for collecting vibration information, and the like.
  • the position of the recording target in the reproduction environment is the position information in which the object recognized by the user who received the sensory stimulus information should exist.
  • the display unit on which the image of the basketball as the recording target is projected For a user viewing (for example, a screen or a display), it is a basketball position virtually located on the other side of the display unit.
  • the positional relationship between the recording target and the user in the playback environment is the relationship between the virtual position of the basketball and the actual position of the user.
  • the user can correct the audio signal of the speaker as the playback device and the output signal of the tactile signal presentation device based on the information of the first positional relationship in the recording environment and the information of the second positional relationship in the playback environment. It is possible to experience sensory stimulation according to the viewing position. Specifically, the closer the user is to the display unit, the louder the sound or vibration can be experienced.
  • the reproduction device when the reproduction device includes a plurality of types of reproduction devices corresponding to the plurality of types of the sensory stimulus information, the image of the second positional relationship is reproduced.
  • the information is the information on the relationship between the virtual position of the recording target and the position of the user recognized by the user through the display unit. That is, the output signals of the auditory information and the tactile information are corrected according to the visual information received by the user.
  • the correction unit performs the correction according to the change in the first positional relationship in the recording environment.
  • the output signal is corrected according to the movement of the recording device or the movement of the recording target in the recording environment.
  • the change in the first positional relationship corresponds to the change in the position of the recording target in the recording environment.
  • the output signal of the playback device is corrected according to the change in the position of the recording target.
  • the change in the first positional relationship corresponds to the change in the position of the recording apparatus in the recording environment.
  • the output signal of the reproduction device is corrected according to the position change of the recording device.
  • the correction unit performs the correction according to the change in the second positional relationship in the reproduction environment.
  • the output signal is corrected according to the movement of the playback device or the movement of the user in the playback environment.
  • the change in the second positional relationship corresponds to the change in the position of the user in the reproduction environment.
  • the output signal of the playback device is corrected according to the change in the viewing position of the user.
  • the change in the second positional relationship corresponds to the change in the position of the reproduction apparatus in the reproduction environment.
  • the output signal of the reproduction device is corrected according to the change of the reproduction device.
  • the correction unit corrects the output timing of the output signal.
  • the playback device display unit such as a display or screen
  • the output timing of the output signal of the speaker as the playback device can be further delayed.
  • the correction unit corrects the signal strength of the output signal.
  • the playback device display unit such as a display or screen
  • the signal strength of the output signal of the speaker as the playback device can be further reduced. ..
  • the correction unit performs the correction according to the environmental information in the recording environment.
  • the output signal is corrected so that the sensory stimulus is equivalent to that when the user actually puts himself / herself in the recording environment.
  • the environmental information is information on temperature.
  • the user can experience the sensory stimulus that the user will experience when the user is in the recording environment in the playback environment.
  • the output signal is corrected.
  • the environmental information is information on the medium.
  • the medium of the reproduction environment underwater, atmosphere, etc.
  • the medium of the recording environment are different, even if the user actually has different temperature of the environment and the temperature of the recording environment in the atmosphere, the recording environment.
  • the output signal is corrected so that the user can experience the sensory stimulus that the user will experience when the user is present in the reproduction environment.
  • the correction unit corrects the output signal of the reproduction apparatus that reproduces acoustic information as the sensory stimulation information.
  • the output signal is corrected for the acoustic information in which the arrival time tends to be different due to the difference between the recording position and the reproducing position.
  • the correction unit corrects the output signal of the reproduction device that reproduces the vibration information as the sensory stimulation information.
  • the output signal is corrected for the vibration information in which the arrival time tends to deviate due to the difference between the recording position and the reproducing position.
  • the information processing method includes information on the first positional relationship between the recording device performing the recording and the recording target in the recording environment for recording the sensory stimulus information transmitted from the recording target, and the above-mentioned information.
  • the positional relationship information acquisition process for acquiring the second positional relationship between the recording target and the user in the reproduction environment of the recorded sensory stimulus information, the positional relationship information acquisition process, and the first positional relationship information and the above.
  • This is an information processing method in which the information processing apparatus executes a correction process for correcting the output signal of the reproducing apparatus that reproduces the sensory stimulus information based on the second positional relationship information. Even with such an information processing method, the same operation as that of the information processing apparatus according to the present technology can be obtained.
  • the program according to the present technology includes information on the first positional relationship between the recording device performing the recording and the recording target in the recording environment for recording the sensory stimulus information transmitted from the recording target, and the recording.
  • the positional relationship information acquisition function for acquiring the second positional relationship between the recording target and the user in the reproduction environment of the sensory stimulus information, the first positional relationship information, and the second positional relationship.
  • This is a program for causing an information processing apparatus to execute a correction function for correcting an output signal of a reproduction device that reproduces the sensory stimulus information based on the information on the positional relationship of the above.
  • Such a program related to the present technology realizes the above-mentioned information processing apparatus according to the present technology.
  • the recording device has a sensory stimulus information acquisition unit that acquires sensory stimulus information transmitted from the recording target, and a positional relationship between the recording device and the recording target.
  • the reproduction control device includes the detection unit for detecting the information of the first positional relationship, and the reproduction control device is the recording target of the information of the first positional relationship and the acquired sensory stimulus information in the reproduction environment.
  • the positional relationship information acquisition unit for acquiring the second positional relationship information, which is the positional relationship between the user and the user, the first positional relationship information, and the second positional relationship information.
  • the recording / playback system which comprises a correction unit for correcting the output signal of the playback device that reproduces the sensory stimulation information, provides information on the first positional relationship in the recording environment and a second in the playback environment.
  • the recording / playback system 1 includes a recording device 2, a playback control device 3, and a playback device 4.
  • the environment for realizing the recording / playback system 1 is divided into a recording environment and a playback environment.
  • the recording device 2 records the sensory stimulus information transmitted from the recording target in the recording environment.
  • the recording target is, for example, an object or a person that is a vibration source or a sound generation source in the recording environment.
  • the recording device 2 includes, for example, an image pickup device for taking an image, a microphone for collecting sound of acoustic information, an IMU (Inertial Measurement Unit) for collecting vibration information, and the like.
  • the sensory stimulus information is various stimulus information that can be perceived by the user, such as images, sounds, tactile stimuli, and odors.
  • the recording device 2 generates coded data Ec by encoding the recorded sensory stimulus information.
  • the reproduction control device 3 performs reproduction control processing for allowing the user to experience various sensory stimulus information recorded in the recording environment. Therefore, the reproduction control device 3 acquires the coded data Ec encoded in the recording environment.
  • the reproduction control device 3 may acquire the coded data Ec from the recording media by appropriately mounting a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the reproduction control device 3 outputs the sensory stimulus information obtained by decoding the acquired coded data Ec to the plurality of reproduction devices 4. By reproducing the sensory stimulus information by each reproduction device 4, the user can experience the sensory stimulus information recorded in the recording environment while putting himself / herself in the reproduction environment.
  • FIG. 2 shows an example in which a user Hm seated in a chair 5 in a reproduction environment experiences sensory stimulus information output from the reproduction device 4.
  • a plurality of types of playback devices 4 are provided according to a plurality of types of sensory stimulus information.
  • the video reproduction device 4a, the sound reproduction device 4b, the vibration reproduction device 4c, and the like are referred to as the reproduction device 4.
  • the video reproduction device 4a is a device that outputs an image that stimulates the visual sense of the user Hm, and is, for example, a TV (Television) device provided with a display unit as shown in the figure.
  • the video playback device 4a may have various other application examples such as a projector device and a screen installed in a movie theater or the like, a head-mounted display (HMD: Head Mounted Display) worn by a user Hm, and the like.
  • HMD Head Mounted Display
  • the sound reproduction device 4b is a device that outputs a sound that stimulates the hearing of the user Hm, and is, for example, a headphone or an earphone as shown in the figure.
  • various other application examples such as a speaker arranged in a movie theater or a room can be considered.
  • the vibration reproduction device 4c is a device that outputs vibration that stimulates the tactile sensation of the user Hm, and is a vibration vest equipped with a vibration device such as a vibrator or an actuator as shown in the figure.
  • the vibration reproduction device 4c can be applied to various other devices equipped with a vibration device.
  • it may be a smart device such as a smartphone, a controller used for a game or an attraction, or a chair on which a user Hm sits. It may also be a wall or ceiling of an attraction vehicle, a floor with a built-in vibration device, or the like.
  • the configuration example of the reproduction device 4 is not limited to the above.
  • the video reproduction device 4a, the sound reproduction device 4b, and the vibration reproduction device 4c are described as a plurality of reproduction devices 4, but each reproduction device 4 may be partially or wholly configured as one.
  • the chair 5 on which the user Hm is seated may function as an acoustic reproduction device 4b and a vibration reproduction device 4c provided with an acoustic reproduction unit and a vibration reproduction unit.
  • the head-mounted display HMD may function as the video reproduction device 4a and the sound reproduction device 4b.
  • a plurality of reproduction devices 4 of the same type may be provided.
  • a vibration vest mounted on the upper body of the user Hm and a vibration supporter mounted on the knees of the user Hm may be provided.
  • FIG. 4 schematically shows the positional relationship between the recording target and the recording device 2 in the recording environment, and the positional relationship between the recording target and the user Hm in the reproduction environment.
  • the position of the recording target is the target position T
  • the position of the recording device 2 in the recording environment is the recording position R
  • the position of a certain user Hm in the reproduction environment is the experience position A
  • the position of another user Hm is the experience position B. It is shown as. Further, the experience position A and the experience position B, which are the positions of the user Hm, are set to the reproduction positions of the sound reproduction device 4b and the vibration reproduction device 4c.
  • the target position T in the reproduction environment is a position where an object recognized by the user Hm receiving the sensory stimulus information should exist, and for example, the display unit of the image reproduction device 4a in which the image (image) is reproduced. It is a virtual position of the recording target recognized by the user Hm through the system.
  • the basketball virtually located on the other side of the display.
  • the position of. Therefore, the positional relationship between the recording target and the user Hm in the reproduction environment is the relationship between the virtual position of the basketball and the actual position (viewing position) of the user Hm.
  • the image displayed on the display (image reproduction device 4a) while the user Hm wears the headphones (sound reproduction device 4b) and the vibration vest (vibration reproduction device 4c) is displayed.
  • the explanation is based on the assumption of a scene to be viewed.
  • the target position T as seen from the recording position R in the recording environment and the experience position A in the reproduction environment. It suffices if the target position T (that is, the virtual position of the recording target) seen from the same is the same.
  • the experience position A and the experience position B in the reproduction environment are farther from the target position T than the recording position R in the recording environment. Further, the experience position B is farther from the target position T than the experience position A.
  • the arrival time of each sensory stimulus information emitted from the target position T to each position is shown in Table 1 of FIG.
  • the time point at which the target position T emits the sensory stimulus information is set as the time T0, and it is assumed that the time elapses in the right direction of the horizontal axis.
  • the time when the sensory stimulus information from the target position T reaches the recording position R is “Tr”
  • the time when the experience position A is reached is “Ta”
  • the time when the sensory stimulus information reaches the experience position B is “Ta”. It is shown as "Tb”.
  • the transmission speed of the video information among the sensory stimulus information is based on the speed of light, it is almost unaffected by the positional relationship from the target position T, and each position (recording position R, experience position A, experience position B).
  • the transmission time to is about the same.
  • the transmission speed (Table 1), the transmission distance per time (Table 2), and the arrival time to a predetermined distance (Table 3) are significantly different between the acoustic information and the vibration information.
  • the vibration information has a faster transmission speed than the acoustic information, and the arrival time at a predetermined distance is faster.
  • Tables 1 to 3 of FIG. 5 show an example in which air is used for transmitting acoustic information (sound) and solids such as iron and wood are used for transmitting signal information.
  • the sensory stimulus information recorded by the recording device 2 at the timing corresponding to the positional relationship (direction or distance) between the target position T and the recording position R is stored in the sensory position A or the sensory position B having a different positional relationship with the target position T. If it is output as it is toward the user Hm, there may be a discrepancy between what the user Hm assumes and the transmission of video information, acoustic information, and vibration information, which may give a sense of discomfort to the user Hm.
  • the acoustic information recorded in the recording environment is recorded later than the video information due to the difference in transmission speed.
  • the amount of the delay depends on the distance between the recording target and the recording position R.
  • the delay amount of the acoustic information in the reproduction environment corresponds to the positional relationship between the virtual position (target position T) of the recording target perceived by the user Hm and the perceived position A of the user Hm. ..
  • the acoustic information recorded in the recording position R is corrected.
  • the user Hm perceives the acoustic information that should be perceived at the recording position R at the perceived position A. As a result, the user Hm may feel uncomfortable.
  • the acoustic information is transmitted to the user earlier than expected. It will reach Hm, and the sense of presence will be impaired.
  • the acoustic information output from the acoustic reproduction device 4b and the vibration information output from the vibration reproduction device 4c are corrected.
  • the recording device 2 is configured to include, for example, a computer device such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the recording device 2 has various functions when the CPU, DSP, or the like execute various programs.
  • the recording device 2 includes a camera unit 10, an image signal processing unit 11, an acoustic input unit 12, an acoustic signal processing unit 13, a vibration detection unit 14, a vibration signal processing unit 15, a sensor unit 16, a coding unit 17, and a storage unit 18. And has a communication unit 19. Further, the image signal processing unit 11, the acoustic signal processing unit 13, the vibration signal processing unit 15, the sensor unit 16, the coding unit 17, the storage unit 18, and the communication unit 19 are connected to each other via the bus 20 to provide various data. And control signals are exchanged.
  • the camera unit 10 includes an image pickup unit having an image pickup element using a CCD (Charged-coupled devices) image sensor, a CMOS (Complementary metal-oxide-semiconductor) image sensor, or the like, and an image pickup optical system.
  • the image pickup unit receives light based on the subject (recording target) imaged on the lens system, performs photoelectric conversion, and converts it into an electric signal (captured image signal).
  • the camera unit 10 supplies the converted captured image signal to the image signal processing unit 11.
  • the image signal processing unit 11 is configured as an image processing processor such as a DSP (Digital Signal Processor), and executes various signal processing such as A / D (Analog / Digital) conversion processing on the captured image signal from the camera unit 10. By doing so, image data (captured image data) is obtained.
  • image data captured image data
  • the captured image data obtained by the image signal processing unit 11 is supplied to the coding unit 17.
  • the captured image data may be temporarily stored (recorded) in the storage unit 18.
  • the acoustic input unit 12 is composed of, for example, a microphone or the like, and collects the sound emitted from the recording target and converts it into an electric signal (acoustic signal).
  • the acoustic input unit 12 supplies the converted electric signal to the acoustic signal processing unit 13.
  • the acoustic signal processing unit 13 obtains acoustic data by executing various signal processes such as an acoustic signal amplification process and an A / D conversion process.
  • the acoustic data obtained by the acoustic signal processing unit 13 is supplied to the coding unit 17.
  • the acoustic data may be temporarily stored in the storage unit 18.
  • the vibration detection unit 14 is a vibration detection gyro sensor such as an IMU, and detects vibrations originating from a recording target and converts them into electrical signals (vibration signals). The vibration detection unit 14 supplies the converted electric signal to the vibration signal processing unit 15.
  • the vibration signal processing unit 15 obtains vibration data (tactile data) by executing various signal processing such as vibration signal amplification processing and A / D conversion processing.
  • the vibration data obtained by the vibration signal processing unit 15 is supplied to the coding unit 17.
  • the vibration data may be temporarily stored in the storage unit 18. Further, the vibration data may be generated by passing the acoustic data through a filter, or the produced and edited vibration data may be recorded in the storage unit 18 in advance.
  • the sensor unit 16 detects a position sensor that detects the position of the recording device 2, a distance measuring sensor that detects the distance from the recording device 2 to the recording target, a temperature sensor that detects the temperature of the recording environment, and a medium of the recording environment. It is configured to have various sensors, etc., and detects various information.
  • the above-mentioned camera unit 10 can also function as a distance measuring sensor.
  • the camera unit 10 includes two image pickup units, and each image pickup unit is "arranged so as to be separated in the left-right direction.
  • distance information can be obtained. Disparity can be generated between the captured images of each other. That is, information on the distance to the recording target can be obtained by the stereo method based on the captured images obtained by each of these imaging units. In other words, in real space.
  • the camera unit 10 is a TOF (Time-of-Flight) sensor or an image plane phase difference sensor. By providing such as, it may function as a distance measuring sensor.
  • TOF Time-of-Flight
  • the coding unit 17 encodes the sensory stimulus information supplied from the image signal processing unit 11, the acoustic signal processing unit 13, and the vibration signal processing unit 15 according to a predetermined data format, and obtains the coding.
  • the coded data Ec is stored in the storage unit 18.
  • the coded data Ec obtained by the coding unit 17 is temporarily stored in the storage unit 18. Further, the storage unit 18 may temporarily store signal data from various signal processing units of the image signal processing unit 11, the acoustic signal processing unit 13, and the vibration signal processing unit 15, and various detection information from the sensor unit 16. ..
  • the storage unit 18 may be a detachable recording medium such as a memory card, an optical disk, or a magnetic tape, or may be a fixed type HDD (Hard Disk Drive), a semiconductor memory module, or the like.
  • the communication unit 19 communicates with an external device.
  • the communication unit 19 is a mobile communication system of a mobile phone system called 3G or 4G communication, wireless communication such as wireless LAN (Local Area Network) by IEEE802.11 series, or wired communication such as wired LAN or USB. It is composed of modules that perform. This makes it possible to transfer various data to and from an external device such as the reproduction control device 3. As described above, the recording device 2 in the present embodiment is realized.
  • the recording device 2 a part or all of the above-mentioned parts is the recording device 2. It may be provided in an external device capable of communicating with. In this case, a position sensor is provided in the external device in order to acquire the position information of each of the above parts. The external device supplies its own position information to the recording device 2 in addition to the acquired sensory stimulus information.
  • Each external device may be equipped with various sensors or the like for acquiring environmental information.
  • the environmental information is temperature information, humidity information, medium information, etc., and is information that causes a change in the transmission speed of sensory stimulus information.
  • an external device having each of the camera unit 10, the acoustic input unit 12, and the vibration detection unit 14 may be provided as a separate recording device 2.
  • various signal processes such as amplification processing and A / D conversion processing are performed on the recorded sensory stimulus information for each external device, and the coding data Ec is generated by performing the coding processing.
  • the reproduction control device 3 is configured to include, for example, a computer device such as a CPU or a DSP.
  • the playback control device 3 has various functions when the CPU, DSP, or the like execute various programs.
  • the reproduction control device 3 has a decoding unit 30, a signal processing unit 31, a reproduction data generation unit 32, a storage unit 33, and a communication unit 34. Further, the decoding unit 30, the signal processing unit 31, the reproduction data generation unit 32, the storage unit 33, and the communication unit 34 are connected to each other via the bus 40, and various data, control signals, and the like are exchanged.
  • the decoding unit 30 decodes the coded data Ec encoded by the recording device 2 according to a predetermined data format.
  • the decoding unit 30 acquires image data, acoustic data, vibration data, etc. obtained by recording sensory stimulus information by decoding the coded data Ec.
  • the signal processing unit 31 is composed of a microcomputer equipped with a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the signal processing unit 31 has functions as a positional relationship information acquisition unit 35 and a correction unit 36.
  • the positional relationship information acquisition unit 35 includes information on the first positional relationship that is the positional relationship between the recording device 2 and the recording target in the recording environment, and the recording target (virtual position) in the reproduction environment of the recorded sensory stimulus information.
  • the information of the second positional relationship which is the positional relationship of the user Hm, is acquired.
  • FIG. 8 conceptually shows the positional relationship between the recording target, the recording device 2, and the user Hm.
  • the position of the recording target is shown as the target position T
  • the position of the recording device 2 is shown as the recording position R
  • the position of the user Hm is shown as the perceived position A.
  • the video reproduction device 4a is provided with a screen as a display unit.
  • the recording device 2 On the recording environment side, the recording device 2 records sensory stimulus information propagated from a recording target such as basketball or a player in basketball court BC.
  • a recording target such as basketball or a player in basketball court BC.
  • the user Hm equipped with the sound reproduction device 4b and the vibration reproduction device 4c as shown in FIG. 2 is viewing the output image of the image reproduction device 4a on the screen.
  • the first positional relationship is the positional relationship between the target position T and the recording position R on the recording environment side.
  • the first positional relationship can be expressed by the distance Lx between the target position T and the recording position R.
  • the second positional relationship is the positional relationship between the virtual position (target position T) of the recording target perceived by the user Hm through the screen and the perceived position A on the reproduction environment side.
  • the second positional relationship can be expressed by the distance Ly between the virtual target position T and the perceived position A.
  • the distance Ly between the virtual position of the recording target and the experience position A is the sum of the distance Lx between the target position T and the recording position R and the distance Lz from the screen (display portion of the video reproduction device 4a) to the experience position A. It is said that.
  • the position of the mounted playback device 4 is the experience position A of the user Hm. Therefore, the second positional relationship can be considered as the positional relationship between the recording target at the virtual position and the playback device 4 worn by the user Hm. Further, the positional relationship referred to here includes various positional relationships such as one-dimensional to three-dimensional.
  • the positional relationship information acquisition unit 35 shown in FIG. 7 acquires information on the positional relationship (first positional relationship) between the target position T and the recording position R based on the acquired position information of the recording device 2. Further, the positional relationship information acquisition unit 35 specifies the positional relationship between the experience position A and the recording position R by acquiring the position information of the various playback devices 4, the positional relationship between the experience position A and the recording position R, and the recording position R. And the information of the second positional relationship is acquired (calculated) based on the positional relationship (first positional relationship) of the target position T.
  • the correction unit 36 outputs an output signal to the reproduction device 4 that reproduces each sensory stimulus information based on the first positional relationship information and the second positional relationship information acquired by the positional relationship information acquisition unit 35. to correct. For example, the correction unit 36 corrects the output timing of the output signal to adjust the time until the sensory stimulus information reaches the user Hm (experience position A). Further, the correction unit 36 corrects the signal intensity of the output signal to adjust the intensity of the sensory stimulus information experienced by the user Hm at the experience position A.
  • the correction unit 36 corrects the output signal of the reproduction device 4 according to the change of the first positional relationship and the change of the second positional relationship.
  • the first positional relationship changes depending on, for example, the movement of the recording target in the recording environment, the movement of the recording device 2, and the like.
  • the second positional relationship changes due to, for example, the movement of the user Hm in the reproduction environment, the movement of various reproduction devices 4, and the like. The details of the process of correcting the output signal of the reproduction device 4 will be described later. As described above, various functions of the signal processing unit 31 in the present embodiment are realized.
  • the reproduction data generation unit 32 performs predetermined processing such as codec processing and packetization processing according to the output destination reproduction device 4 on the output signal corrected by the signal processing unit 31.
  • the storage unit 33 temporarily stores the reproduction data generated by the reproduction data generation unit 32.
  • the storage unit 33 may be a detachable recording medium such as a memory card, an optical disk, or a magnetic tape, or may be a fixed type HDD (Hard Disk Drive), a semiconductor memory module, or the like.
  • the coded data Ec can be supplied to the decoding unit 30 by connecting the recording medium on which the coded data Ec is recorded to the reproduction control device 3. Is.
  • the communication unit 34 communicates with an external device in the same manner as the communication unit 19 of FIG. As a result, the communication unit 34 receives the coded data Ec from the recording device 2. Further, the communication unit 34 transmits the reproduction data generated by the reproduction data generation unit 32 to various reproduction devices 4. The communication unit 34 may acquire position information and the like from various playback devices 4. As described above, the reproduction control device 3 in the present embodiment is realized.
  • correction processing of sensory stimulus information The correction processing of the sensory stimulus information executed by the signal processing unit 31 of the reproduction control device 3 in the present embodiment will be described with reference to FIG.
  • FIG. 2 an example in which the user Hm wears the sound reproduction device 4b and the vibration reproduction device 4c and visually recognizes the image displayed on the display unit of the image reproduction device 4a will be described.
  • the signal processing unit 31 calculates the distance between the recording target and the recording device 2 in step S101.
  • the signal processing unit 31 may acquire the information of the target position T and the recording position R to calculate the distance Lx, or may obtain the distance information from the recording device 2 acquired by the recording device 2 to the target position T as the distance Lx. May be obtained as.
  • the signal processing unit 31 calculates the distance Ly between the recording target and the user Hm in step S102.
  • the distance Ly can be calculated by adding the distance Lx and the distance Lz as shown in FIG. Since the distance Lx is calculated by the processing of step S101, the signal processing unit 31 can obtain the distance Ly by calculating the distance Lz.
  • the distance Lz can be calculated based on the positional relationship between the user Hm and the recording position R.
  • the position of the user Hm can be detected by detecting the position of the sound reproduction device 4b.
  • the position of the vibration reproducing device 4c worn by the user Hm may be detected.
  • the display unit of the video reproduction device 4a can be regarded as the recording position R. Therefore, the distance Lz between the recording position R and the user Hm can be regarded as the distance between the display unit of the video reproduction device 4a and the sound reproduction device 4b.
  • the video reproduction device 4a may be provided with a distance measuring unit, and the distance measuring unit may be used to calculate the distance from the sound reproduction device 4b (or the user Hm).
  • the distance may be calculated from the difference between the position information of the display unit of the video reproduction device 4a and the position information of the sound reproduction device 4b in the same coordinate system.
  • the distance between the seat and the screen used by the user Hm may be acquired from the database in which the distance information between the seat position and the screen is stored. ..
  • the signal processing unit 31 calculates (acquires) the distance between the target position T (virtual position) and the perceived position A.
  • the distance Ly indicates a second positional relationship indicating a virtual positional relationship between the recording target and the user Hm.
  • step S103 the signal processing unit 31 corrects the output signal of the sensory stimulus information to each reproduction device 4.
  • the signal processing unit 31 corrects the output timing (delay amount) and signal strength (attenuation amount) of the output signal based on the first positional relationship and the second positional relationship.
  • the distance from the target position T to the recording position R shown in FIG. 8 is “Lx [m]”
  • the virtual distance from the target position T to the perceived position A is “Ly [m]”
  • the sound propagation speed is “Ly [m]”.
  • Taudio (Ly-Lx) / Vaudio ... [Equation 1]
  • the value of Taudio calculated here indicates the time required for the sound to propagate from the recording position R to the perceived position A.
  • the correction amount “Gaudio [dB]” of the attenuation amount of the acoustic information is calculated by, for example, the following [Equation 3].
  • "10" is the base of the logarithm
  • (Ly / Lx) is the antilogarithm of the logarithm.
  • Gaudio 20log (10, (Ly / Lx)) ...
  • the value of Gaudio calculated here indicates the amount of attenuation during which the sound reaches the perceived position A from the recording position R.
  • the correction amount “Ghaptics [dB]” of the damping amount of the vibration information is calculated by, for example, the following [Equation 4].
  • "10" is the base of the logarithm
  • (Ly / Lx) is the antilogarithm of the logarithm.
  • Ghaptics 20log (10, (Ly / Lx)) ...
  • the values of Ghaptics calculated here indicate the amount of attenuation during which the sound reaches the perceived position A from the recording position R.
  • the signal processing unit 31 calculates various correction amounts of acoustic information and vibration information based on the above [Equation 1] to [Equation 4].
  • the correction amount of the delay amount of the output timing and the correction amount of the attenuation amount may be calculated.
  • the delay amount and the attenuation amount of the video information are much smaller than the transmission system delay, the calculation of the output timing delay amount and the attenuation amount correction amount for the video information is not performed here.
  • the signal processing unit 31 performs correction according to the environmental information in the recording environment in the correction processing of step S103. Specifically, the signal processing unit 31 corrects the delay amount and the attenuation amount of the output timing in the sensory stimulus information output to the reproduction device 4 according to the environmental information.
  • the signal processing unit 31 when performing correction based on the temperature, acquires the temperature information of the recording environment from the recording device 2. The signal processing unit 31 calculates the correction amount of the delay amount and the attenuation amount of the output timing of the acoustic information and the vibration information based on the acquired temperature information.
  • the signal processing unit 31 may perform correction based on the temperature information of the reproduction environment in the correction processing of step S103.
  • the signal processing unit 31 acquires the temperature information of the reproduction environment from the reproduction device 4 provided with the temperature sensor, and based on the acquired temperature information, the delay amount and the attenuation amount of the output timing of the acoustic information and the vibration information. Calculate the correction amount.
  • the user Hm in the reproduction environment can experience the sensory stimulus that the user Hm will experience when the user Hm is in the recording environment.
  • Various sensory stimulus information is corrected so that the user can experience it.
  • the signal processing unit 31 can perform correction according to the medium used for transmitting the sensory stimulus in the recording environment. Therefore, the signal processing unit 31 acquires information on the medium of the recording environment from the recording device 2.
  • the medium information is information that specifies, for example, what transmitted acoustic information or vibration information. Specifically, it is information such as water, air, or floor material.
  • the signal processing unit 31 calculates the delay amount and the attenuation amount of the output timing of the acoustic information and the vibration information based on the medium information at the time of recording acquired from the recording device 2.
  • the signal processing unit 31 may perform correction based on the information of the medium of the reproduction environment from, for example, the reproduction device 4. At this time, the signal processing unit 31 calculates the amount of delay in the output timing of the acoustic information and the vibration information and the amount of correction of the attenuation based on the medium information of the reproduction environment acquired from the reproduction device 4.
  • the user Hm reproduces the sensory stimulus that the user Hm will experience when the user Hm is in the recording environment.
  • Various sensory stimulus information is corrected so that it can be experienced in the environment.
  • step S104 the signal processing unit 31 sets a filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the various correction amounts calculated in step S103.
  • the signal processing unit 31 corrects various sensory stimulus information based on the filter coefficient.
  • an output signal having an appropriate delay amount and attenuation amount based on the filter coefficient is output to the reproduction data generation unit 32.
  • step S105 the reproduction control device 3 executes the reproduction control process based on the corrected sensory stimulus information.
  • the communication unit 34 transmits the reproduction data for the image reproduction device 4a generated by the reproduction data generation unit 32 from the image information acquired from the coded data Ec to the image reproduction device 4a to reproduce the image.
  • the device 4a is made to execute the output based on the video information.
  • the communication unit 34 transmits the reproduction data for the sound reproduction device 4b generated by the reproduction data generation unit 32 from the corrected acoustic information to the sound reproduction device 4b, so that the sound reproduction device 4b is based on the corrected acoustic information. Run the output.
  • the communication unit 34 transmits the reproduction data for the vibration reproduction device 4c generated by the reproduction data generation unit 32 from the corrected vibration information to the vibration reproduction device 4c, so that the vibration reproduction device 4c is based on the corrected vibration information. Run the output.
  • the signal processing unit 31 proceeds with processing in the order of steps S106, S107, and S108, and then the screening of the content is completed in step S111, and various sensory stimuli are generated.
  • the corrected acoustic information and vibration information are used for reproduction based on the filter coefficient set in step S104 until the information related to the information is not output to the reproduction device 4.
  • steps S109 and S110 are executed based on the determination process of steps S106, S107, and S108, and the filter coefficient is updated.
  • step S106 the presence or absence of a change in the target position T of the recording target is confirmed, and if the change is recognized, the signal processing unit 31 proceeds to the process in step S109.
  • the positional relationship (distance Lx) between the recording target (target position T) and the recording device 2 (recording position R) and the positional relationship between the recording target (target position T) and the user Hm (experience position A) ( Distance Ly) changes. That is, the first positional relationship and the second positional relationship are in a changed state.
  • the target position T of the recording target changes, for example, when the recording target moves during recording in the recording environment, or during playback by the video playback device 4a in the playback environment, the video to be recorded is close to the distance.
  • the scene of the video viewpoint of recording
  • the image is switched when the user Hm turns around while wearing the head-mounted display HMD.
  • step S109 the signal processing unit 31 recalculates the distance Lx and the distance Ly in the same manner as in step S103, and substitutes the calculated distance Lx and the distance Ly into the above [Equation 1] to [Equation 4]. Then, the delay amount of the input timing of the sensory stimulus information and the correction amount of the attenuation amount are calculated again.
  • step S110 the signal processing unit 31 updates (resets) the filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the correction amount calculated in step S109. Then, the signal processing unit 31 corrects various sensory stimulus information based on the filter coefficient.
  • step S105 the signal processing unit 31 executes the reproduction control process of the reproduction device 4 based on the sensory stimulus information corrected based on the updated filter coefficient. After that, the signal processing unit 31 performs the same processing as described above.
  • step S106 the signal processing unit 31 confirms in step S107 whether or not the recording position R of the recording device 2 has changed, and if a change is observed, the signal processing unit 31 confirms whether or not the recording position R has changed. , Step S109.
  • the positional relationship (distance Lx) between the recording target (target position T) and the recording device 2 (recording position R) changes. That is, the first positional relationship is changed.
  • the recording device 2 may move in the recording environment, or the position of the display unit of the video playback device 4a, which can be regarded as the recording position R, moves in the playback environment. Be done.
  • step S109 the signal processing unit 31 recalculates the distance Lx and the distance Ly in the same manner as in step S103, and the delay amount of the input timing of the sensory stimulus information based on the above [Equation 1] to [Equation 4]. And the correction amount of the attenuation amount is calculated again.
  • step S110 the signal processing unit 31 updates (resets) the filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the correction amount calculated in step S109. Then, the signal processing unit 31 corrects various sensory stimulus information based on the filter coefficient.
  • step S105 the signal processing unit 31 executes the reproduction control process of the reproduction device 4 based on the sensory stimulus information corrected based on the updated filter coefficient. After that, the signal processing unit 31 performs the same processing as described above.
  • step S107 the signal processing unit 31 confirms in step S108 whether or not there is a change in the perceived position A of the user Hm, and if a change is observed, the signal processing unit 31 confirms whether or not there is a change. , Step S109.
  • the positional relationship (distance Ly) between the recording target (target position T) and the user Hm (experience position) changes. That is, the second positional relationship is changed.
  • the signal processing unit 31 has changed the perceived position A of the user Hm due to the change in the position of the reproduction device 4 worn by the user Hm.
  • the position of the reproduction device 4 can be regarded as the position of the user Hm. That is, it can be said that the positional relationship (distance Ly) between the recording target and the user Hm changes by changing the position of the playback device 4 worn by the user Hm.
  • the signal processing unit 31 recalculates the distance Lx and the distance Ly in step S109 in the same manner as in step S103, and from the above [Equation 1] to [Equation 4]. ], The delay amount of the input timing of the sensory stimulus information and the correction amount of the attenuation amount are recalculated.
  • step S110 the signal processing unit 31 updates (resets) the filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the correction amount calculated in step S109. Then, the signal processing unit 31 corrects various sensory stimulus information based on the filter coefficient.
  • step S105 the signal processing unit 31 executes the reproduction control process of the reproduction device 4 based on the sensory stimulus information corrected based on the updated filter coefficient. After that, the signal processing unit 31 performs the same processing as described above.
  • the signal processing unit 31 ends the process shown in FIG. 9 when the reproduction data to be transmitted to the reproduction device 4 is exhausted in step S111 during the execution of the above processing.
  • the signal processing unit 31 may end the processing shown in FIG. 9 by detecting the end of reproduction by the reproduction device 4. As described above, the correction processing of the sensory stimulus information by the signal processing unit 31 in the present embodiment is realized.
  • the signal processing unit 31 delays the output timing of the sensory stimulus information according to the change in the temperature information of the recording environment and the reproduction environment.
  • the correction amount of the attenuation amount may be calculated again.
  • the case where the temperature information in the recording environment changes may be the case where the video scene is switched, such as the case where the underwater image is switched to the water image during playback by the video playback device 4a in the playback environment. .. Further, when the temperature information of the reproduction environment changes, for example, the temperature in a movie theater or the like may change due to an increase in the number of visitors or switching of air conditioning.
  • step S109 the signal processing unit 31 corrects the delay amount and the attenuation amount of the output timing of the sensory stimulus information according to the changed temperature information. Recalculate.
  • the signal processing unit 31 updates (resets) the filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the correction amount in step S110.
  • the signal processing unit 31 delays and attenuates the output timing of the sensory stimulus information according to the change of the medium information in the recording environment and the reproduction environment.
  • the amount of correction may be calculated again.
  • the case where the medium information in the recording environment changes may be the case where the video scene is switched, such as the case where the underwater image is switched to the water image during playback by the video playback device 4a in the playback environment. ..
  • the medium information of the reproduction environment changes it is conceivable that, for example, the vehicle of the user Hm who experiences the attraction enters the water.
  • step S109 the signal processing unit 31 corrects the delay amount and the attenuation amount of the output timing of the sensory stimulus information according to the changed medium information. Recalculate.
  • the signal processing unit 31 updates (resets) the filter coefficient for correcting the delay amount and the attenuation amount of the output timing of the sensory stimulus information based on the correction amount in step S110.
  • the signal processing unit 31 executes the correction processing of the sensory stimulation information shown in FIG. 9 for the video reproduction device 4a, the sound reproduction device 4b, and the vibration reproduction device 4c as the reproduction device 4 has been described.
  • this embodiment can also be applied to, for example, an example of executing the process for the video reproduction device 4a and the sound reproduction device 4b, and an example of executing the process for the video reproduction device 4a and the vibration reproduction device 4c. .. That is, the correction processing of the sensory stimulus information in the present embodiment can be realized by the cooperation of two or more reproduction devices 4.
  • the information processing device (signal processing unit 31 in the reproduction control device 3) according to the above embodiment has a positional relationship between the recording device 2 and the recording target for recording in a recording environment for recording sensory stimulus information transmitted from the recording target.
  • the positional relationship information acquisition unit that acquires the first positional relationship information, and the second positional relationship information, which is the positional relationship between the recording target and the user Hm in the reproduction environment of the recorded sensory stimulus information.
  • 35 is provided with a correction unit 36 that corrects the output signal of the reproduction device 4 that reproduces the sensory stimulation information based on the information of the first positional relationship and the information of the second positional relationship (FIG. 7 and FIG. See FIG. 9).
  • the acoustic signal of the acoustic reproduction device 4b as the reproduction device 4 and the output signal of the vibration reproduction device 4c are corrected based on the information of the first positional relationship in the recording environment and the information of the second positional relationship in the reproduction environment.
  • the user Hm can experience the sensory stimulus according to the viewing position. Specifically, the closer the user Hm is to the screen or display (display unit of the video reproduction device 4a), the louder the sound or vibration can be experienced.
  • the user Hm can receive sensory stimulus information with a high sense of presence as if he / she is in the recording environment.
  • the second positional relationship information is a display unit on which an image is reproduced. It is used as information on the relationship between the virtual position of the recording target (target position T) recognized by the user Hm and the position of the user Hm (experienced position A) (see FIGS. 4 and 8 and the like). That is, the output signals of acoustic information and vibration information (tactile information) are corrected according to the video information received by the user Hm.
  • the recording target for example, basketball or player in the case of recording a basketball game
  • the screen or display display unit of the video reproduction device 4a
  • the correction unit 36 makes the above correction according to the change in the first positional relationship in the recording environment (see S106, S107, etc. in FIG. 9).
  • the sensory stimulus information is corrected according to the movement of the recording device 2 or the movement of the recording target in the recording environment. Therefore, it is possible to provide the sensory stimulus information to the user Hm with a signal strength that does not give a sense of discomfort. That is, it is possible to experience various stimuli without giving a sense of discomfort or discomfort to the user Hm.
  • the change in the first positional relationship corresponds to the change in the position of the recording target in the recording environment (see S106 and the like in FIG. 9).
  • the output signal of the reproduction device 4 is corrected according to the change in the position of the recording target. That is, by changing various sensory stimulus information, it is possible for the user Hm to perceive the change in the position of the recording target. Therefore, since the user Hm can be made to recognize the change in the position of the recording target in multiple ways, it is possible to increase the sense of presence.
  • the change in the first positional relationship is assumed to correspond to the change in the position of the recording device 2 in the recording environment (see S107 and the like in FIG. 9).
  • the output signal of the reproduction device 4 is corrected according to the position change of the recording device 2. That is, by changing various sensory stimulus information, it is possible to make the user Hm perceive a change in the position of the recording device 2, in other words, a change in the viewpoint (or viewing angle) of the user Hm. Therefore, since the user Hm can be made to recognize the change in the position of the recording device 2 in multiple ways, it is possible to increase the sense of presence.
  • the correction unit 36 makes the above correction according to the change in the second positional relationship in the reproduction environment (see S108 and the like in FIG. 9).
  • the output signal of the reproduction device 4 is corrected according to the movement of the reproduction device 4 or the movement of the user Hm in the reproduction environment. Therefore, it is possible to provide the sensory stimulus information to the user Hm with a signal strength that does not give a sense of discomfort. That is, it is possible to experience various stimuli without giving a sense of discomfort or discomfort to the user Hm.
  • the change in the second positional relationship corresponds to the change in the position of the user Hm in the reproduction environment (see S108 and the like in FIG. 9).
  • the output signal of the reproduction device 4 is corrected according to the change in the perceived position A of the user Hm. That is, it is possible to make the user Hm perceive the change in the position of the user Hm by changing various sensory stimulus information.
  • the playback volume may increase when the user Hm approaches the screen or display, or the playback volume may decrease when the user Hm moves away from the screen or the like. Therefore, it is possible to provide the sensory stimulus information with a sense of presence as if the user Hm is in the recording environment.
  • the change in the second positional relationship is made to correspond to the change in the position of the reproduction device 4 in the reproduction environment (see S108 and the like in FIG. 9).
  • the output signal of the reproduction device 4 is corrected according to the change of the reproduction device 4. That is, by changing various sensory stimulus information, it is possible for the user Hm to perceive the change in the position of the reproduction device 4. Therefore, since the user Hm can be made to recognize the change in the position of the recording target in multiple ways, it is possible to increase the sense of presence.
  • the correction unit 36 corrects the output timing of the output signal (see S103, S105, S109, etc. in FIG. 9).
  • the output timing of the output signal of the sound reproduction device 4b as the reproduction device 4 is further delayed. Is possible. Therefore, it is possible to provide the sensory stimulus information to the user Hm at an appropriate timing according to the positional relationship between the user Hm and the virtual recording target, and it is possible to increase the sense of presence.
  • the correction unit 36 corrects the signal strength of the output signal (see S103, S109, etc. in FIG. 9).
  • the signal strength of the output signal of the sound reproduction device 4b as the reproduction device 4 is further reduced. It becomes possible. Therefore, since the reproduced sound adjusted (corrected) to an appropriate reproduction volume according to the positional relationship between the user Hm and the virtual recording target is provided to the user Hm, it is possible to increase the sense of presence.
  • the correction unit 36 makes the above correction according to the environmental information in the recording environment (see S103 and the like in FIG. 9). As a result, the output signal to the reproduction device 4 is corrected so that the sensory stimulus is equivalent to that when the user Hm actually puts himself / herself in the recording environment. Therefore, it is possible to provide the user Hm with sensory stimulus information as if the user Hm is actually in the recording environment, and it is possible to increase the sense of presence.
  • the above environmental information is temperature information (see S103 and the like in FIG. 9).
  • the user Hm can experience the sensory stimulus that the user Hm will experience when the user Hm is present in the recording environment in the reproduction environment.
  • the output signal to the reproduction device 4 is corrected so that it can be experienced. Therefore, it is possible to provide a highly realistic reproduction environment in which the user Hm is actually in the recording environment.
  • the above environmental information is information on the medium. (See S103, etc. in FIG. 9)
  • the medium of the reproduction environment underwater, air, etc.
  • the medium of the recording environment are different, even if the user Hm actually has a different temperature of the environment and the temperature of the recording environment in the atmosphere, the recording is performed.
  • the output signal to the reproduction device 4 is corrected so that the user Hm can experience the sensory stimulus that the user Hm will experience when the user Hm is in the environment in the reproduction environment. Therefore, it is possible to provide a highly realistic reproduction environment in which the user Hm is actually in the recording environment.
  • the correction unit 36 corrects the output signal of the reproduction device 4 that reproduces the acoustic information as the sensory stimulus information (see S103, S109, etc. in FIG. 9). As a result, the output signal to the reproduction device 4 is corrected for the acoustic information in which the arrival time tends to be deviated due to the difference between the recording position and the reproduction position. Therefore, it is possible to output the acoustic information that does not give a sense of discomfort to the user Hm from the reproduction device 4.
  • the correction unit 36 corrects the output signal of the reproduction device 4 that reproduces the vibration information as the sensory stimulus information (see S103, S109, etc. in FIG. 9). As a result, the output signal to the reproduction device 4 is corrected for the vibration information in which the arrival time tends to be deviated due to the difference between the recording position and the reproduction position. Therefore, it is possible to output the acoustic information that does not give a sense of discomfort to the user Hm from the reproduction device 4.
  • the sensory stimulus information acquisition unit that acquires the sensory stimulus information transmitted from the recording target, and the positional relationship between the recording device 2 (recording position R) and the recording target (target position T).
  • a recording device 2 having a detection unit for detecting the information of the first positional relationship to be performed, the information of the first positional relationship, and the recording target (target position T) in the reproduction environment of the recorded sensory stimulus information.
  • the positional relationship information acquisition unit 35 Based on the information of the second positional relationship which is the positional relationship of the user Hm (experienced position), the positional relationship information acquisition unit 35 for acquiring, and the information of the first positional relationship and the information of the second positional relationship.
  • a reproduction control device 3 having a correction unit 36 for correcting an output signal of the reproduction device for reproducing sensory stimulus information is provided (see FIGS. 1, 9, etc.).
  • the recording / reproduction system as such an embodiment can also obtain the same operations and effects as those of the above-described embodiment.
  • the information processing method in the present embodiment has a positional relationship between the recording device 2 (recording position R) and the recording target (target position T) that perform recording in a recording environment for recording sensory stimulation information transmitted from the recording target.
  • the information of the first positional relationship and the information of the second positional relationship which is the positional relationship between the recording target (target position T) and the user Hm (experience position) in the reproduction environment of the recorded sensory stimulus information.
  • This is an information processing method executed by an information processing device.
  • the information processing method as the embodiment can also obtain the same operation and effect as the information processing apparatus as the above-described embodiment.
  • the functions of the information processing apparatus described so far can be realized as software processing by, for example, a CPU, a DSP, or the like.
  • the software processing is executed based on the program.
  • the program as an embodiment is recorded with information on a first positional relationship that is a positional relationship between the recording device that performs the recording and the recording target in a recording environment that records the sensory stimulus information transmitted from the recording target.
  • the positional relationship information acquisition function for acquiring the second positional relationship between the recording target and the user in the reproduction environment of the sensory stimulus information.
  • the information processing device as the above-described embodiment can be realized as the reproduction control device 3.
  • the reproduction control device 3 realizes the present technology by performing the processing of FIG. 9 based on the above program, but by recording the above program in the recording device 2 and the reproduction device 4, the recording device
  • the present technology can also be realized by the processing executed by 2 or the reproduction device 4. Further, the process may be realized by an external server executing the above program.
  • a program as described above can be recorded in advance in a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
  • removable discs such as flexible discs, CD-ROMs (Compact Disc Read Only Memory), MO (Magneto optical) discs, DVDs, Blu-ray discs (Blu-ray Disc (registered trademark)), magnetic discs, semiconductor memories, and memory cards. It can be temporarily or permanently stored (recorded) on a recording medium.
  • Such removable recording media can be provided as so-called package software.
  • the above program can also be downloaded from a download site via a network such as the Internet or a LAN (Local Area Network).
  • the reproduction control device 3 of the embodiment it is suitable for a wide range of provision of the reproduction control device 3 of the embodiment. For example, by downloading a program to a personal computer, a portable information processing device, a mobile phone, a game device, an AV (Audio Visual) device, or the like, the personal computer or the like can be made to function as a playback control device 3.
  • a program for example, by downloading a program to a personal computer, a portable information processing device, a mobile phone, a game device, an AV (Audio Visual) device, or the like, the personal computer or the like can be made to function as a playback control device 3.
  • this technology can also adopt the following configurations.
  • (1) In a recording environment for recording sensory stimulus information transmitted from a recording target, information on a first positional relationship between the recording device performing the recording and the recording target, and a reproduction environment for the recorded sensory stimulus information.
  • the information on the second positional relationship which is the positional relationship between the recording target and the user in the above, and the positional relationship information acquisition unit for acquiring the information.
  • An information processing device including a correction unit that corrects an output signal of a reproduction device that reproduces the sensory stimulus information based on the first positional relationship information and the second positional relationship information.
  • the reproduction device includes a plurality of types of reproduction devices corresponding to the plurality of types of the sensory stimulus information
  • the user recognizes the second positional relationship information via the display unit on which the image is reproduced.
  • the information processing apparatus according to (1) above which is information on the relationship between the virtual position of the recording target and the position of the user.
  • the correction unit performs the correction according to a change in the first positional relationship in the recording environment.
  • the change in the first positional relationship corresponds to a change in the position of the recording target in the recording environment.
  • Information processing method that the information processing device executes. (17) In a recording environment for recording sensory stimulus information transmitted from a recording target, information on a first positional relationship between the recording device performing the recording and the recording target, and a reproduction environment for the recorded sensory stimulus information. The information on the second positional relationship, which is the positional relationship between the recording target and the user in the above, and the positional relationship information acquisition function for acquiring the information.
  • a correction function that corrects the output signal of the reproduction device that reproduces the sensory stimulus information based on the first positional relationship information and the second positional relationship information. Is a program that causes the information processing device to execute.
  • the recording device is The sensory stimulus information acquisition unit that acquires the sensory stimulus information transmitted from the recording target, A recording device and a detection unit for detecting information on a first positional relationship, which is the positional relationship of the recording target, are provided.
  • the reproduction control device is A positional relationship information acquisition unit that acquires the first positional relationship information and the second positional relationship information that is the positional relationship between the recording target and the user in the reproduction environment of the recorded sensory stimulus information.
  • a correction unit that corrects the output signal of the reproduction device that reproduces the sensory stimulus information based on the first positional relationship information and the second positional relationship information. Recording and playback system equipped with.
  • the effects described in the present disclosure are exemplary and not limited, and may have other effects or are part of the effects described in the present disclosure. You may. Further, the embodiments described in the present disclosure are merely examples, and the present technology is not limited to the above-described embodiments. Therefore, it goes without saying that various changes can be made according to the design and the like as long as the technical idea of the present technology is not deviated from the above-described embodiment. It should be noted that not all combinations of configurations described in the embodiments are essential for solving the problem.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

収録環境と再生環境が異なることにより生ずる感覚刺激情報の伝わり方の違和感を緩和する。本技術に係る情報処理装置は、収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、を備える。

Description

情報処理装置、情報処理方法、プログラム、収録再生システム
 本技術は、情報処理装置、情報処理方法、プログラム、及び収録再生システムに関する。
 従来、例えば特許文献1のように、収録した触覚刺激などの感覚刺激情報をユーザに提示するための技術が各種提案されている。
WO2019/013056
 収録されたスポーツや映画などのコンテンツにおいて、映像や音、振動などの感覚刺激情報を再生装置により再生することで、ユーザは収録場所と異なる場所にいながら当該コンテンツを楽しむことができる。
 しかしながら、このような感覚刺激情報は、環境によって伝搬速度や減衰率など伝わり方が異なる。従って、当該コンテンツの収録環境と再生環境が異なる場合には、映像に対する音や振動の伝わり方がユーザの認識と異なってしまい、コンテンツを鑑賞するユーザに違和感を与え、コンテンツ自体の臨場感を損ねるおそれがある。
 本技術は、上記の事情に鑑みてなされたものであり、収録環境と再生環境が異なることにより生ずる感覚刺激情報の伝わり方の違和感を緩和することを目的とする。
 本技術に係る情報処理装置は、収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、を備えるものである。
 感覚刺激情報とは、例えば、映像や、音や、触覚刺激や、匂いなど、ユーザが知覚可能な各種の刺激情報とされる。
 また、収録対象とは、例えば、収録環境においての振動源や音の発生源などの物体とされる。収録装置とは、例えば、画像の撮影を行う撮像装置や音響情報の集音を行うマイクロフォンや、振動情報の収集を行うIMU(Inertial Measurement Unit)などである。
 また、再生環境における収録対象の位置とは、感覚刺激情報を受け取ったユーザが認知する物体が存在すべき位置情報であり、例えば、収録対象としてのバスケットボールを写した映像が映し出された表示部(例えばスクリーンやディスプレイ)を視聴しているユーザにとって、当該表示部の向こう側に仮想的に位置しているバスケットボールの位置である。従って、再生環境における収録対象とユーザの位置関係とは、バスケットボールの仮想位置とユーザの実際の位置の関係とされる。
 収録環境における第1の位置関係の情報と、再生環境における第2の位置関係の情報に基づいて再生装置としてのスピーカの音声信号や触覚信号提示装置の出力信号が補正されることにより、ユーザは視聴位置に応じた感覚刺激を体感することが可能となる。具体的には、表示部から近いユーザほど大きな音や振動を体感することが可能となる。
 上記した本技術に係る情報処理装置は、前記再生装置として、複数種類の前記感覚刺激情報に応じた複数種類の再生装置が含まれる場合に、前記第2の位置関係の情報は、画像が再生される表示部を介してユーザが認知する前記収録対象の仮想的な位置と前記ユーザの位置の関係の情報とされることが考えられる。
 即ち、ユーザが受け取る視覚情報に応じて、聴覚情報や触覚情報の出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記補正部は、前記収録環境における前記第1の位置関係の変化に応じて前記補正を行うことが考えられる。
 これにより、収録環境において収録装置が移動した場合や、収録対象が移動した場合に応じて出力信号の補正が行われる。
 上記した本技術に係る情報処理装置において、前記第1の位置関係の変化は、前記収録環境における前記収録対象の位置の変化に応じたものとされることが考えられる。
 これにより、収録対象の位置変化に応じて再生装置の出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記第1の位置関係の変化は、前記収録環境における前記収録装置の位置の変化に応じたものとされることが考えられる。
 これにより、収録装置の位置変化に応じて再生装置の出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記補正部は、前記再生環境における前記第2の位置関係の変化に応じて前記補正を行うことが考えられる。
 これにより、再生環境において再生装置が移動した場合や、ユーザが移動した場合に応じて出力信号の補正が行われる。
 上記した本技術に係る情報処理装置において、前記第2の位置関係の変化は、前記再生環境における前記ユーザの位置の変化に応じたものとされることが考えられる。
 これにより、ユーザの視聴位置の変化に応じて再生装置の出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記第2の位置関係の変化は、前記再生環境における前記再生装置の位置の変化に応じたものとされることが考えられる。
 これにより、再生装置の変化に応じて再生装置の出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記補正部は、前記出力信号の出力タイミングを補正することが考えられる。
 これにより、例えば、映像が出力される再生装置(ディスプレイやスクリーンなどの表示部)とユーザの位置が遠い場合には再生装置としてのスピーカの出力信号の出力タイミングをより遅らせることが可能となる。
 上記した本技術に係る情報処理装置において、前記補正部は、前記出力信号の信号強度を補正することが考えられる。
 これにより、例えば、映像が出力される再生装置(ディスプレイやスクリーンなどの表示部)とユーザの位置が遠い場合には再生装置としてのスピーカの出力信号の信号強度をより小さくさせることが可能となる。
 上記した本技術に係る情報処理装置において、前記補正部は、前記収録環境における環境情報に応じて前記補正を行うことが考えられる。
 これにより、実際にユーザが収録環境の中に身をおいた場合と同等の感覚刺激となるように出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記環境情報は気温の情報とされることが考えられる。
 これにより、実際にユーザがいる環境の温度と収録環境の温度が異なっていたとしても、収録環境にユーザがいる場合にユーザが体感するであろう感覚刺激をユーザが再生環境において体感できるように出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記環境情報は媒質の情報とされることが考えられる。
 これにより、再生環境の媒質(水中や大気中など)と収録環境の媒質が異なっていたとしても、実際にユーザが大気中に環境の温度と収録環境の温度が異なっていたとしても、収録環境にユーザがいる場合にユーザが体感するであろう感覚刺激をユーザが再生環境において体感できるように出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記補正部は、前記感覚刺激情報として音響情報の再生を行う前記再生装置の出力信号を補正することが考えられる。
 これにより、収録位置と再生位置の位置が異なることで到達時間にずれが生じやすい音響情報について出力信号が補正される。
 上記した本技術に係る情報処理装置において、前記補正部は、前記感覚刺激情報として振動情報の再生を行う前記再生装置の出力信号を補正することが考えられる。
 これにより、収録位置と再生位置の位置が異なることで到達時間にずれが生じやすい振動情報について出力信号が補正される。
 本技術に係る情報処理方法は、収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得処理と、前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正処理と、を情報処理装置が実行する情報処理方法である。
 このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。
 本技術に係るプログラムは、収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得機能と、前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正機能と、を情報処理装置に実行させるプログラムである。
 このような本技術に係るプログラムにより、上記した本技術に係る情報処理装置が実現される。
 本技術に係る収録装置と再生制御装置からなる収録再生システムは、前記収録装置は、収録対象から伝達される感覚刺激情報を取得する感覚刺激情報取得部と、収録装置と前記収録対象の位置関係とされる第1の位置関係の情報を検出する検出部と、を備え、前記再生制御装置は、前記第1の位置関係の情報と、前記取得された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、を備える
 このような本技術に係る収録再生システムにより、収録環境における第1の位置関係の情報と、再生環境における第2の位置関係の情報に基づいて再生装置としてのスピーカの音声信号や触覚信号提示装置の出力信号が補正されることにより、ユーザは視聴位置に応じた感覚刺激を体感することが可能となる。
本技術の実施形態における収録再生システムの構成例を示す図である。 本実施の形態の再生環境の第1例を示す図である。 本実施の形態の再生環境の第2例を示す図である。 本実施の形態の収録環境及び再生環境における位置関係を示す図である。 本実施の形態の音響情報と振動情報の性質を示す図である。 本実施の形態の収録装置の構成例を示す図である。 本実施の形態の再生制御装置の構成例を示す図である。 本実施の形態の収録環境及び再生環境における位置関係を示す図である。 本実施の形態の感覚刺激情報の補正処理のフローチャートである。
 以下、本技術に係る実施の形態を次の順序で説明する。
<1.収録再生システムの構成例>
<2.感覚刺激情報による伝達の違い>
<3.収録装置の構成例>
<4.再生制御装置の構成例>
<5.感覚刺激情報の補正処理>
<6.まとめ>
<7.本技術>
 なお、説明にあたり参照する図面に記載された各構成は、本技術に係る要部の構成のみ抽出したものであり、図面に記載された構成は、本技術の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。
 また、以下で一度説明した構成は、それ以降同一の符号を付して説明を省略することがある。さらに、本技術は本実施の形態に限定されるものではなく、本技術の目的を達成できる範囲での変形、改良等は本技術に含まれるものである。
<1.収録再生システムの構成例>
 本実施の形態における収録再生システム1の構成例について図1を参照して説明する。収録再生システム1は、収録装置2と再生制御装置3、及び再生装置4を有して構成される。収録再生システム1を実現するための環境は、収録環境と再生環境に分けられる。
 収録装置2は、収録環境において収録対象から伝達される感覚刺激情報を収録する。
 ここで収録対象とは、例えば、収録環境においての振動源や音の発生源となる物体や人物などとされる。収録装置2は、例えば、画像の撮影を行う撮像装置や音響情報の集音を行うマイクロフォンや、振動情報の収集を行うIMU(Inertial Measurement Unit)などを備えている。
 また感覚刺激情報とは、例えば、映像や、音や、触覚刺激や、匂いなど、ユーザが知覚可能な各種の刺激情報とされる。
 収録装置2は、収録した感覚刺激情報を符号化することで符号化データEcを生成する。
 再生制御装置3は、収録環境で収録された各種の感覚刺激情報をユーザに体感させるための再生制御処理を行う。そのために再生制御装置3は、収録環境で符号化された符号化データEcを取得する。
 なお、再生制御装置3は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどの記録メディアを適宜装着することで、記録メディアから当該符号化データEcを取得してもよい。
 再生制御装置3は、取得した符号化データEcを復号して得られる感覚刺激情報を複数の再生装置4に出力する。
 各再生装置4が感覚刺激情報を再生することで、ユーザは再生環境に身を置きながら収録環境で収録された感覚刺激情報を体感することができる。
 ここで再生装置4の構成例について図2を参照して説明する。
 図2は、再生環境において椅子5に着席したユーザHmが、再生装置4から出力される感覚刺激情報を体感する例を示している。
 再生装置4は、複数種類の感覚刺激情報に応じて複数種類設けられる。例えば映像再生装置4a、音響再生装置4b、及び振動再生装置4cなどが再生装置4とされる。
 映像再生装置4aは、ユーザHmの視覚を刺激する映像を出力する機器であり、例えば図示のような表示部を備えるTV(Television)装置である。なお、映像再生装置4aには、映画館などに設置されたプロジェクタ装置及びスクリーンや、ユーザHmが装着するヘッドマウントディスプレイ(HMD:Head Mounted Display)など他にも様々な適用例が考えられる。
 音響再生装置4bは、ユーザHmの聴覚を刺激する音を出力する機器であり、例えば図示のようなヘッドフォンやイヤフォンである。なお、音響再生装置4bは、ユーザHmに装着されるもののほか、映画館や室内などに配置されたスピーカなど、他にも様々な適用例が考えられる。
 振動再生装置4cは、ユーザHmの触覚を刺激する振動を出力する機器であり、例えば図示のようなバイブレータやアクチュエータ等の振動デバイスが搭載された振動ベストである。
 なお、振動再生装置4cは、他にも振動デバイスが搭載された様々な機器に適用することができる。例えばスマートフォンをはじめとするスマートデバイスや、ゲームやアトラクションに用いられるコントローラなどであってもよいし、ユーザHmが着席する椅子などであってもよい。またアトラクションの乗り物の壁や天井、振動デバイスが内蔵された床などであってもよい。
 なお、図2で説明した上記の構成はあくまで一例であり、再生装置4の構成例は上記に限定されることはない。
 例えば上記では映像再生装置4a、音響再生装置4b、及び振動再生装置4cを複数の再生装置4として説明したが、各再生装置4は、一部又は全部が一体として構成されていてもよい。例えばユーザHmの着席する椅子5が音響再生部と振動再生部を備える音響再生装置4b及び振動再生装置4cとして機能してもよい。また図3に示すように、ヘッドマウントディスプレイHMDが映像再生装置4a及び音響再生装置4bとして機能してもよい。
 それ以外にも同種の再生装置4が複数設けられていてもよい。例えば複数の振動再生装置4cとして、ユーザHmの上半身に装着される振動ベストとユーザHmのひざに装着される振動サポータが設けられていてもよい。
 以上の構成により、本実施の形態における収録再生システム1が実現される。
<2.感覚刺激情報による伝達の違い>
 本実施の形態において解決しようとする課題について図4及び図5を参照して説明する。図4は、収録環境における収録対象と収録装置2の位置関係、及び再生環境における収録対象とユーザHmの位置関係を模式的に示している。
 図4では、収録対象の位置を対象位置T、収録環境における収録装置2の位置を収録位置R、再生環境における或るユーザHmの位置を体感位置A、他のユーザHmの位置を体感位置Bとして示している。また、ユーザHmの位置である体感位置A及び体感位置Bは、音響再生装置4bと振動再生装置4cの再生位置とされる。
 ここで再生環境における対象位置Tとは、感覚刺激情報を受け取ったユーザHmにより認知される物体が存在すべき位置であり、例えば、映像(画像)が再生される映像再生装置4aの表示部を介してユーザHmが認知する収録対象の仮想的な位置のことである。
 具体的には、収録対象として例えばバスケットボールを写した映像が映し出されたディスプレイ(映像再生装置4aの表示部)を視認しているユーザHmにとって、ディスプレイの向こう側に仮想的に位置しているバスケットボールの位置である。従って、再生環境における収録対象とユーザHmの位置関係とは、バスケットボールの仮想位置とユーザHmの実際の位置(鑑賞位置)の関係とされる。
 本実施の形態では一例として、ユーザHmが図2で示すようにヘッドフォン(音響再生装置4b)と振動ベスト(振動再生装置4c)を装着しながらディスプレイ(映像再生装置4a)に表示される映像を鑑賞する場面を想定して説明する。
 臨場感を失わずに収録装置2で収録した感覚刺激情報を体感位置Aに位置するとユーザHmが体感するためには、収録環境における収録位置Rからみた対象位置Tと、再生環境における体感位置Aからみた対象位置T(即ち、収録対象の仮想位置)が同じであればよい。
 しかし、実際には収録環境における対象位置Tと収録位置Rの位置関係と、再生環境における対象位置Tと体感位置Aの位置関係とは、異なることがほとんどである。
 具体的に図4に示す例では、再生環境における体感位置A及び体感位置Bは、収録環境における収録位置Rよりも対象位置Tから離れている。また体感位置Bは対象位置Tから体感位置Aよりも離れている。
 この場合において、対象位置Tから発せられる各感覚刺激情報の各位置への到達時間を図4の表1に示している。ここでは、対象位置Tが感覚刺激情報を発した時点を時間T0とし、横軸の右方向に時間が経過することを示すものとする。
 また図4の表1では、対象位置Tからの感覚刺激情報が収録位置Rに到達した時点を「Tr」、体感位置Aに到達した時点を「Ta」、体感位置Bに到達した時点を「Tb」として示している。
 こうしてみたときに、感覚刺激情報のうち映像情報は伝達速度が光速に基づくため、対象位置Tからの位置関係にほぼ影響を受けず、各位置(収録位置R、体感位置A、体感位置B)への伝達時間はほぼ同じである。
 一方で、音響情報及び振動情報は、映像情報よりも伝達速度が大幅に遅いため、図示のように対象位置Tからの距離による影響を受けやすく、各位置への伝達時間は対象位置Tから離れるに従って増加する。
 また図5に示すように、音響情報と振動情報では、伝達速度(表1)、時間あたりの伝達距離(表2)、所定距離への到達時間(表3)が大きく異なる。具体的には、振動情報は、音響情報よりも伝達速度が速く、所定距離への到達時間が早い。
 この違いは、伝達に用いられる媒質の違い等によるものである。図5の表1から表3は、一例として音響情報(音)の伝達に空気が用いられ、信号情報の伝達に鉄、木といった固体が用いられる例を示している。
 従って、例えば対象位置Tと収録位置Rの位置関係(方向や距離)に応じたタイミングで収録装置2が収録した感覚刺激情報を、対象位置Tとの位置関係が異なる体感位置Aや体感位置Bに向けてそのまま出力してしまうと、ユーザHmの想定するものと映像情報、音響情報、及び振動情報の伝達とにずれが生じてしまい、ユーザHmに違和感を与えるおそれがある。
 具体的には、収録環境において収録される音響情報は、伝達速度の違いから映像情報よりも遅れて収録される。そして、その遅れの量は収録対象と収録位置Rの距離に応じたものとされている。
 一方、再生環境における音響情報の遅れ量は、ユーザHmが知覚している収録対象の仮想位置(対象位置T)とユーザHmの体感位置Aとの位置関係とに応じたものとなることが望ましい。
 そのため、収録環境における対象位置Tから収録位置Rまでの距離と、再生環境における仮想位置としての対象位置Tから体感位置Aまでの距離が異なる場合に、収録位置Rで収録した音響情報を補正することなく再生すると、ユーザHmは、本来収録位置Rで知覚すべき音響情報を体感位置Aで知覚することになる。これにより、ユーザHmが違和感を覚えるおそれがある。
 例えば、収録環境における収録対象と収録位置Rの距離よりも、再生環境におけるユーザHmの位置と収録対象の仮想位置の距離が大きい(遠い)場合には、想定していたよりも早く音響情報がユーザHmに到達することとなり、臨場感を損なってしまう。
 そこで、本実施の形態では、収録環境における対象位置Tと収録位置Rの位置関係と、再生環境における対象位置T(前述の仮想位置)と体感位置(体感位置Aや体感位置B)の位置関係が異なる場合に、音響再生装置4bから出力する音響情報、及び振動再生装置4cから出力する振動情報を補正する。このように音響情報及び振動情報を補正することで、ユーザHmが体感する音や振動が想定よりもずれてしまうことを抑制し、臨場感が損なわれることを防止することができる。
<3.収録装置の構成例>
 本実施の形態における収録装置2の構成例について図6を参照して説明する。
 収録装置2は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のコンピュータ装置を備えて構成される。そしてCPUやDSP等が各種のプログラムを実行することにより収録装置2は各種の機能を備える。
 収録装置2は、カメラ部10、画像信号処理部11、音響入力部12、音響信号処理部13、振動検知部14、振動信号処理部15、センサ部16、符号化部17、記憶部18、及び通信部19を有している。また画像信号処理部11、音響信号処理部13、振動信号処理部15、センサ部16、符号化部17、記憶部18、及び通信部19は、バス20を介して相互に接続され、各種データや制御信号等がやりとりされる。
 カメラ部10は、例えばCCD(Charged-coupled devices)イメージセンサやCMOS(Complementary metal-oxide-semiconductor)イメージセンサ等による撮像素子と撮像光学系とを有する撮像部を備える。撮像部は、レンズ系に結像された被写体(収録対象)に基づく光を受光して光電変換し、電気信号(撮像画像信号)に変換する。カメラ部10は、変換した撮像画像信号を画像信号処理部11に供給する。
 画像信号処理部11は、例えばDSP(Digital Signal Processor)等の画像処理プロセッサとして構成され、カメラ部10からの撮像画像信号にA/D(Analog/Digital)変換処理等の各種の信号処理を実行することで画像データ(撮像画像データ)を得る。画像信号処理部11により得られた撮像画像データは、符号化部17に供給される。
 なお、当該撮像画像データは記憶部18に一時記憶(記録)されてもよい。
 音響入力部12は、例えばマイクロフォンなどにより構成され、収録対象から発せられる音を収音して電気信号(音響信号)に変換する。音響入力部12は、変換した電気信号を音響信号処理部13に供給する。
 音響信号処理部13は、音響信号の増幅処理やA/D変換処理等の各種の信号処理を実行することで音響データを得る。音響信号処理部13により得られた音響データは、符号化部17に供給される。
 なお、当該音響データは記憶部18に一時記憶されてもよい。
 振動検知部14は、例えばIMUなどの振動検知用ジャイロセンサであり、収録対象を発生源とする振動を検出して電気信号(振動信号)に変換する。振動検知部14は、変換した電気信号を振動信号処理部15に供給する。
 振動信号処理部15は、振動信号の増幅処理やA/D変換処理等の各種の信号処理を実行することで振動データ(触覚データ)を得る。振動信号処理部15により得られた振動データは、符号化部17に供給される。
 なお、当該振動データは記憶部18に一時記憶されてもよい。
 また振動データは、音響データにフィルタを通して生成してもよいし、制作、編集した振動データをあらかじめ記憶部18に記録しておいてもよい。
 センサ部16は、収録装置2の位置を検出する位置センサ、収録装置2から収録対象までの距離を検出する測距センサ、収録環境の温度を検出する温度センサ、収録環境の媒質を検出するための各種センサなどを有して構成され、各種情報の検出を行う。
 なお、上述のカメラ部10は測距センサとして機能することもできる。例えば、カメラ部10は二つの撮像部を備え、各撮像部は「左右方向に離間して配置される。各撮像部が左右方向に離間して配置されることで、距離情報を得るための視差を互いの撮像画像間に生じさせることができる。すなわち、これら各撮像部で得られる撮像画像に基づき、収録対象までの距離の情報をステレオ法により得ることができる。換言すれば、実空間における収録対象までのX軸、Y軸、Z軸の各方向における位置を表す三次元データを得ることができる。或いは、カメラ部10がTOF(Time-of-Flight)センサや像面位相差センサ等を備えることにより、測距センサとして機能してもよい。
 符号化部17は、画像信号処理部11、音響信号処理部13、振動信号処理部15、から供給された感覚刺激情報について、所定のデータフォーマットに従った符号化を行い、該符号化により得られる符号化データEcを記憶部18に記憶させる。
 記憶部18には、符号化部17により得られた符号化データEcが一時記憶される。また記憶部18には、画像信号処理部11、音響信号処理部13、振動信号処理部15の各種信号処理部からの信号データや、センサ部16からの各種検出情報が一時記憶されてもよい。
 記憶部18は、メモリカードや光ディスク、磁気テープ等のように着脱可能な記録メディアであってもよく、固定タイプのHDD(Hard Disk Drive)や半導体メモリモジュール等であってもよい。
 通信部19は外部機器との通信を行う。具体的に、通信部19は3G,4G通信などと呼ばれる携帯電話系の移動通信システムやIEEE802.11シリーズなどによる無線LAN(Local Area Network)などの無線通信、あるいは有線LANやUSBなどの有線通信を行うモジュールから構成される。これにより、例えば再生制御装置3などの外部機器との各種データの受け渡しが可能とされている。
 以上により本実施の形態における収録装置2が実現される。
 なお、本実施の形態では、カメラ部10、音響入力部12、及び振動検知部14の全てが収録装置2に設けられている例について説明したが、上記各部の一部又は全部が収録装置2と通信可能な外部機器に設けられていてもよい。この場合、上記各部の位置情報を取得するために、当該外部機器に位置センサが設けられる。外部機器は、取得した感覚刺激情報に加えて自身の位置情報を収録装置2に供給する。
 各外部機器には、環境情報を取得する各種センサ等が設けられていてもよい。ここで環境情報とは、温度情報、湿度情報や媒質情報等であり、感覚刺激情報の伝達速度の変化の要因となる情報である。
 また、カメラ部10、音響入力部12、及び振動検知部14のぞれぞれを有する外部機器が別体の収録装置2として設けられていてもよい。この場合、外部機器ごとに、収録した感覚刺激情報について増幅処理やA/D変換処理等の各種の信号処理が行われ、符号化処理が施されることで符号化データEcが生成される。
<4.再生制御装置の構成例>
 本実施の形態における再生制御装置3の構成例について図7を参照して説明する。
 再生制御装置3は、例えばCPUやDSP等のコンピュータ装置を備えて構成される。そしてCPUやDSP等が各種のプログラムを実行することにより再生制御装置3は各種の機能を備える。
 再生制御装置3は、復号部30、信号処理部31、再生データ生成部32、記憶部33、及び通信部34を有している。また復号部30、信号処理部31、再生データ生成部32、記憶部33、及び通信部34は、バス40を介して相互に接続され、各種データや制御信号等がやりとりされる。
 復号部30は、収録装置2で符号化された符号化データEcを所定のデータフォーマットに従って復号する。復号部30は、符号化データEcを復号することで、感覚刺激情報を収録することで得られた画像データ、音響データ、振動データなどを取得する。
 信号処理部31は、CPU、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータで構成される。
 信号処理部31は、位置関係情報取得部35及び補正部36としての機能を有している。
 位置関係情報取得部35は、収録環境における収録装置2と収録対象の位置関係とされる第1の位置関係の情報と、当該収録された感覚刺激情報の再生環境における収録対象(仮想位置)とユーザHmの位置関係とされた第2の位置関係の情報と、を取得する。
 ここで第1の位置関係及び第2の位置関係について図8を参照して説明する。図8は、収録対象、収録装置2、及びユーザHmの位置関係を概念的に示している。ここでは、図4と同様に、収録対象の位置を対象位置T、収録装置2の位置を収録位置R、ユーザHmの位置を体感位置Aとして示すものとする。また、映像再生装置4aが表示部としてのスクリーンを備えている例を示す。
 収録環境側では、収録装置2は、バスケットコートBCにおけるバスケットボールや選手などの収録対象から伝搬する感覚刺激情報を収録している。また再生環境側では、図2に示すような音響再生装置4b及び振動再生装置4cを装着したユーザHmが、スクリーン上における映像再生装置4aの出力映像を鑑賞している。
 この場合において、第1の位置関係は、収録環境側における対象位置Tと収録位置Rの位置関係である。例えば第1の位置関係は、対象位置Tと収録位置Rの距離Lxで表すことができる。
 また第2の位置関係は、再生環境側において、スクリーンを介してユーザHmが知覚する収録対象の仮想的な位置(対象位置T)と体感位置Aとの位置関係である。例えば第2の位置関係は、仮想的な対象位置Tと体感位置Aの距離Lyで表すことができる。
 そして、収録対象の仮想位置と体感位置Aの距離Lyは、対象位置Tと収録位置Rの距離Lxと、スクリーン(映像再生装置4aの表示部)から体感位置Aまでの距離Lzを合算した距離とされる。
 なお、ユーザHmが再生装置4を装着している場合は、当該装着された再生装置4の位置がユーザHmの体感位置Aということになる。従って、第2の位置関係は、仮想位置における収録対象とユーザHmが装着した再生装置4の位置関係と考えることができる。またここでいう位置関係とは、一次元から三次元といった様々な位置関係が含まれる。
 図7に示す位置関係情報取得部35は、取得した収録装置2の位置情報に基づいて、対象位置Tと収録位置Rの位置関係(第1の位置関係)の情報を取得する。
 また位置関係情報取得部35は、各種再生装置4の位置情報を取得することで体感位置Aと収録位置Rの位置関係を特定し、体感位置Aと収録位置Rの位置関係、及び収録位置Rと対象位置Tの位置関係(第1の位置関係)に基づいて第2の位置関係の情報を取得(算出)する。
 補正部36は、位置関係情報取得部35が取得した第1の位置関係の情報と第2の位置関係の情報とに基づいて、各感覚刺激情報の再生を行う再生装置4への出力信号を補正する。例えば補正部36は、当該出力信号の出力タイミングを補正することで、感覚刺激情報がユーザHm(体感位置A)に到達するまでの時間を調整する。
 また補正部36は、当該出力信号の信号強度を補正することで、ユーザHmが体感位置Aにおいて体感する感覚刺激情報の強度を調整する。
 補正部36は、第1の位置関係の変化や第2の位置関係の変化に応じて再生装置4の出力信号を補正する。
 第1の位置関係は、例えば収録環境における収録対象の移動や、収録装置2の移動などに応じて変化する。また第2の位置関係は、例えば再生環境におけるユーザHmの移動や、各種再生装置4の移動などにより変化する。再生装置4の出力信号を補正する処理の詳細については後述する。
 以上により、本実施の形態における信号処理部31の各種機能が実現される。
 再生データ生成部32は、信号処理部31によって補正された出力信号について、出力先の再生装置4に応じたコーデック処理やパケット化処理などの所定の処理を施す。
 記憶部33には、再生データ生成部32により生成された再生データが一時記憶される。
 記憶部33は、メモリカードや光ディスク、磁気テープ等のように着脱可能な記録メディアであってもよく、固定タイプのHDD(Hard Disk Drive)や半導体メモリモジュール等であってもよい。
 記憶部33が、着脱可能な記録メディアである場合は、符号化データEcが記録された記録メディアを再生制御装置3に接続することで、符号化データEcを復号部30に供給することも可能である。
 通信部34は、図6の通信部19と同様に外部機器との通信を行う。これにより、通信部34は、収録装置2から符号化データEcを受信する。
 また通信部34は、再生データ生成部32が生成した再生データを各種再生装置4に伝送する。なお、通信部34は各種再生装置4から位置情報などを取得してもよい。
 以上により、本実施の形態における再生制御装置3が実現される。
<5.感覚刺激情報の補正処理>
 本実施の形態において再生制御装置3の信号処理部31が実行する感覚刺激情報の補正処理について図9を参照して説明する。ここでは一例として、図2に示すようにユーザHmが音響再生装置4b及び振動再生装置4cを装着して、映像再生装置4aの表示部に表示される映像を視認する例を説明する。
 まず信号処理部31は、ステップS101において、収録対象と収録装置2の間の距離を算出する。例えば信号処理部31は、対象位置Tと収録位置Rの情報を取得して距離Lxを算出してもよいし、収録装置2が取得した収録装置2から対象位置Tまでの距離情報を距離Lxとして取得してもよい。
 続いて信号処理部31は、ステップS102において、収録対象とユーザHmの距離Lyを算出する。ここで距離Lyは、図8に示すように距離Lxと距離Lzを加算することにより算出可能である。ステップS101の処理により距離Lxは算出されているため、信号処理部31は、距離Lzを算出することで距離Lyを求めることができる。
 距離Lzは、ユーザHmと収録位置Rの位置関係に基づいて算出することができる。ここでユーザHmは、音響再生装置4bを装着しているため、音響再生装置4bの位置を検出することでユーザHmの位置を検出することができる。なお、図2の例によればユーザHmが装着している振動再生装置4cの位置を検出することとしてもよい。
 また、図8に示すように映像再生装置4aの表示部は、収録位置Rとみなすことが可能である。従って、収録位置RとユーザHmの距離Lzは、映像再生装置4aの表示部と音響再生装置4bの距離とみなすことができる。
 映像再生装置4aの表示部と音響再生装置4bの距離を算出する方法はいくつか考えられる。例えば映像再生装置4aに測距部が設けられており、該測距部により、音響再生装置4b(あるいはユーザHm)との距離を算出してもよい。あるいは、同一座標系における映像再生装置4aの表示部の位置情報と、音響再生装置4bの位置情報の差分から距離を算出してもよい。
 また映画館などのように、座席位置があらかじめ決まっている場合には、座席位置とスクリーンの距離情報が記憶されたデータベースからユーザHmが使用している座席とスクリーンの距離を取得してもよい。
 このようにして信号処理部31は、対象位置T(仮想位置)と体感位置Aの距離を算出(取得)する。距離Lyは、収録対象とユーザHmの仮想的な位置関係を示す第2の位置関係を示すものである。
 信号処理部31は、ステップS103において、各再生装置4への感覚刺激情報の出力信号を補正する。信号処理部31は、第1の位置関係及び第2の位置関係に基づいて、当該出力信号の出力タイミング(遅延量)や信号強度(減衰量)を補正する。
 例えば図8に示す対象位置Tから収録位置Rまでの距離を「Lx[m]」、対象位置Tから体感位置Aまでの仮想的な距離を「Ly[m]」、音の伝搬速度を「Vaudio[m/s]」とすると、音響情報出力タイミングの遅延量の補正量「Taudio[mS]」は例えば下記[式1]により算出される。

 Taudio=(Ly-Lx)/Vaudio ・・・[式1]

 ここで算出されたTaudioの値は、収録位置Rから体感位置Aまでの音が伝搬するために要する時間を示している。
 また振動の伝搬速度を「Vhaptics[m/s]」とすると、補正をすべき振動情報出力タイミングの遅延量の補正量「Thaptics[mS]」は例えば下記[式2]により算出される。

 Thaptics=(Ly-Lx)/Vhaptics ・・・[式2]

 ここで算出されたThapticsの値は、収録位置Rから体感位置Aまでの音が伝搬するために要する時間を示している。
 また音響情報の減衰量の補正量「Gaudio[dB]」は、例えば下記[式3]により算出される。なお、[式3]における「10」は対数の底、(Ly/Lx)は対数の真数である。

 Gaudio=20log(10,(Ly/Lx)) ・・・[式3]

 ここで算出されたGaudioの値は、音が収録位置Rから体感位置Aに到達する間の減衰量を示している。
 また振動情報の減衰量の補正量「Ghaptics[dB]」は、例えば下記[式4]により算出される。なお、[式4]における「10」は対数の底、(Ly/Lx)は対数の真数である。

 Ghaptics=20log(10,(Ly/Lx)) ・・・[式4]

 ここで算出されたGhapticsの値は、音が収録位置Rから体感位置Aに到達する間の減衰量を示している。
 信号処理部31は、上記[式1]から[式4]に基づいて、音響情報及び振動情報の各種補正量を算出する。
 なお、映像情報においても出力タイミングの遅延量の補正量及び減衰量の補正量を算出してもよい。但し、映像情報の遅延量や減衰量は伝送系遅延よりも遥かに小さいため、映像情報に関する出力タイミングの遅延量及び減衰量の補正量の算出はここでは行わないものとする。
 また信号処理部31は、ステップS103の補正処理において、収録環境における環境情報に応じた補正を行う。具体的には、信号処理部31は、環境情報に応じて、再生装置4に出力する感覚刺激情報における出力タイミングの遅延量及び減衰量の補正を行う。
 例えば気温に基づいた補正を行う場合、信号処理部31は、収録装置2から収録環境の気温情報を取得する。信号処理部31は、当該取得した気温情報に基づいて音響情報や振動情報の出力タイミングの遅延量及び減衰量の補正量を算出する。
 信号処理部31は、ステップS103の補正処理において、再生環境の気温情報に基づいた補正を行ってもよい。この場合、信号処理部31は、温度センサを設けた再生装置4から再生環境の気温情報を取得し、当該取得した気温情報に基づいて音響情報や振動情報の出力タイミングの遅延量及び減衰量の補正量を算出する。
 これにより、実際にユーザHmがいる再生環境の温度と収録環境の温度が異なっていたとしても、収録環境にユーザHmがいる場合にユーザHmが体感するであろう感覚刺激を再生環境においてユーザHmが体感できるように各種感覚刺激情報が補正される。
 また信号処理部31は、ステップS103の補正処理において、収録環境において、感覚刺激の伝達に用いられる媒質に応じた補正を行うことができる。そのために信号処理部31は、収録装置2からの収録環境の媒質の情報を取得する。
 媒質情報とは、例えば音響情報や振動情報が何によって伝達されたかを特定する情報である。具体的には、水や空気、あるいは床の材質などの情報である。
 信号処理部31は、収録装置2から取得した収録時の媒質情報に基づいて音響情報や振動情報の出力タイミングの遅延量及び減衰量の補正量を算出する。
 また信号処理部31は、例えば再生装置4から再生環境の媒質の情報に基づいた補正を行ってもよい。このとき信号処理部31は、再生装置4から取得した再生環境の媒質情報に基づいて音響情報や振動情報の出力タイミングの遅延量及び減衰量の補正量を算出する。
 これにより、再生環境の媒質(水中や大気中など)と収録環境の媒質が異なっていたとしても、収録環境にユーザHmがいる場合にユーザHmが体感するであろう感覚刺激をユーザHmが再生環境において体感できるように各種感覚刺激情報が補正される。
 続いて信号処理部31は、ステップS104において、ステップS103において算出した各種補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を設定する。信号処理部31は、当該フィルタ係数に基づいて各種感覚刺激情報を補正する。
 これにより、フィルタ係数に基づいて適切な遅延量及び減衰量とされた出力信号が再生データ生成部32に出力される。
 再生制御装置3は、ステップS105において、補正後の感覚刺激情報に基づく再生制御処理を実行する。
 再生制御処理では、例えば、符号化データEcから取得した映像情報から再生データ生成部32が生成した映像再生装置4a用の再生データを通信部34が映像再生装置4aに送信することで、映像再生装置4aに当該映像情報に基づく出力を実行させる。
 また補正後の音響情報から再生データ生成部32が生成した音響再生装置4b用の再生データを通信部34が音響再生装置4bに送信することで、音響再生装置4bに補正後の音響情報に基づく出力を実行させる。
 さらに補正後の振動情報から再生データ生成部32が生成した振動再生装置4c用の再生データを通信部34が振動再生装置4cに送信することで、振動再生装置4cに補正後の振動情報に基づく出力を実行させる。
 信号処理部31は、第1の位置関係及び第2の位置関係について変化がない場合、ステップS106、S107、S108の順に処理を進め、その後ステップS111でコンテンツの上映が終了するなど、各種感覚刺激情報に係る情報が再生装置4に出力されなくなるまで、ステップS104で設定したフィルタ係数に基づいて、補正後の音響情報及び振動情報が再生に供される。
 なお、第1の位置関係や第2の位置関係に変化が生じた場合、ステップS106、S107、S108の判定処理に基づいてステップS109、S110が実行され、フィルタ係数の更新が行われる。
 具体的に、ステップS106では、収録対象の対象位置Tの変化の有無を確認し、変化が認められる場合には、信号処理部31は、ステップS109に処理を進める。対象位置Tが変化すると、収録対象(対象位置T)と収録装置2(収録位置R)の位置関係(距離Lx)及び収録対象(対象位置T)とユーザHm(体感位置A)の位置関係(距離Ly)が変化する。即ち、第1の位置関係及び第2の位置関係が変化した状態となる。
 収録対象の対象位置Tが変化する場合には、例えば収録環境において収録中に収録対象が動いた場合や、再生環境での映像再生装置4aによる再生中に、遠方を収録対象の映像が近接する収録対象の映像に切り換わった場合、映像の場面(収録の視点)が切り替わった場合が考えられる。また収録対象の対象位置Tが変化する例としてはユーザHmがヘッドマウントディスプレイHMDを装着している状態で振り向くことにより、映像が切り換わる場合なども考えられる。
 この場合、信号処理部31は、ステップS109において、ステップS103と同様に距離Lx及び距離Lyを再度算出し、算出した距離Lx及び距離Lyを上記[式1]から[式4]に代入することで、感覚刺激情報の入力タイミングの遅延量及び減衰量の補正量を再度算出する。
 そして信号処理部31は、ステップS110において、ステップS109で算出した補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を更新(再設定)する。そして信号処理部31は、当該フィルタ係数に基づいて各種感覚刺激情報を補正する。
 信号処理部31は、再生制御処理が終了していない場合はステップS111、S105の順に処理を進める。信号処理部31は、ステップS105において、更新後のフィルタ係数に基づいて補正された感覚刺激情報に基づく再生装置4の再生制御処理を実行する。以降、信号処理部31は、上記と同様の処理を行う。
 また、ステップS106で収録対象の対象位置Tが変化しない場合には、信号処理部31は、ステップS107において、収録装置2の収録位置Rの変化の有無を確認し、変化が認められる場合には、ステップS109に処理を進める。これにより、収録対象(対象位置T)と収録装置2(収録位置R)の位置関係(距離Lx)が変化する。即ち、第1の位置関係が変化した状態となる。
 収録位置Rが変化する場合には、例えば収録環境において収録装置2が移動した場合や、再生環境において収録位置Rとみなすことのできる映像再生装置4aの表示部の位置が移動した場合などが考えられる。
 この場合、信号処理部31は、ステップS109において、ステップS103と同様に距離Lx及び距離Lyを再度算出し、上記[式1]から[式4]に基づいて感覚刺激情報の入力タイミングの遅延量及び減衰量の補正量を再度算出する。
 そして信号処理部31は、ステップS110において、ステップS109で算出した補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を更新(再設定)する。そして信号処理部31は、当該フィルタ係数に基づいて各種感覚刺激情報を補正する。
 信号処理部31は、再生制御処理が終了していない場合はステップS111、S105の順に処理を進める。信号処理部31は、ステップS105において、更新後のフィルタ係数に基づいて補正された感覚刺激情報に基づく再生装置4の再生制御処理を実行する。
 以降、信号処理部31は、上記と同様の処理を行う。
 また、ステップS107で収録装置2の収録位置Rが変化しない場合には、信号処理部31は、ステップS108において、ユーザHmの体感位置Aの変化の有無を確認し、変化が認められる場合には、ステップS109に処理を進める。
 このとき、体感位置Aが変化することにより、収録対象(対象位置T)とユーザHm(体感位置)の位置関係(距離Ly)が変化する。即ち、第2の位置関係が変化した状態となる。
 ユーザHmの体感位置Aに変化がある場合には、ユーザHmが搭乗している乗物が動くといった場合や、ユーザHm自身が移動する場合などが考えられる。
 なお、信号処理部31は、ユーザHmの装着する再生装置4の位置に変化があったことをもって、ユーザHmの体感位置Aが変化したとすることもできる。これは、再生装置4の位置をユーザHmの位置とみなすことができるためである。即ち、ユーザHmが装着中の再生装置4の位置が変化することで、収録対象とユーザHmの位置関係(距離Ly)が変化するといえる。
 この場合、ステップS108においてユーザHmの体感位置Aが変化すると、信号処理部31は、ステップS109において、ステップS103と同様に距離Lx及び距離Lyを再度算出し、上記[式1]から[式4]に基づいて感覚刺激情報の入力タイミングの遅延量及び減衰量の補正量を再度算出する。
 そして信号処理部31は、ステップS110において、ステップS109で算出した補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を更新(再設定)する。そして信号処理部31は、当該フィルタ係数に基づいて各種感覚刺激情報を補正する。
 信号処理部31は、再生制御処理が終了していない場合はステップS111、S105の順に処理を進める。信号処理部31は、ステップS105において、更新後のフィルタ係数に基づいて補正された感覚刺激情報に基づく再生装置4の再生制御処理を実行する。
 以降、信号処理部31は、上記と同様の処理を行う。
 信号処理部31は、上記処理の実行中にステップS111において、再生装置4に送信する再生データがなくなった場合に図9に示す処理を終了する。なお、信号処理部31は、再生装置4による再生の終了を検知することにより図9に示す処理を終了してもよい。
 以上により、本実施の形態における信号処理部31による感覚刺激情報の補正処理が実現される。
 なお、本実施の形態において、信号処理部31は、ステップS104でフィルタ係数の設定が完了した後、収録環境や再生環境の気温情報の変化に応じて、感覚刺激情報の出力タイミングの遅延量及び減衰量の補正量を再度算出することとしてもよい。
 収録環境の気温情報が変化する場合とは、再生環境での映像再生装置4aによる再生中に、水中の映像から水上の映像に切り換わった場合など、映像の場面が切り替わった場合などが考えられる。
 また再生環境の気温情報が変化する場合とは、例えば映画館などの館内の気温が来館客の人数の増加や空調切り換え等により変化する場合などが考えられる。
 この場合、信号処理部31は、収録環境や再生環境の気温情報の変化を検知すると、ステップS109において、変化した気温情報に応じた感覚刺激情報の出力タイミングの遅延量及び減衰量の補正量を再算出する。
 そして信号処理部31は、ステップS110で当該補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を更新(再設定)する。
 また本実施の形態において、信号処理部31は、ステップS104でフィルタ係数の設定が完了した後、収録環境や再生環境の媒質情報の変化に応じて、感覚刺激情報の出力タイミングの遅延量及び減衰量の補正量を再度算出することとしてもよい。
 収録環境の媒質情報の変化する場合とは、再生環境での映像再生装置4aによる再生中に、水中の映像から水上の映像に切り換わった場合など、映像の場面が切り替わった場合などが考えられる。
 また再生環境の媒質情報の変化する場合とは、例えばアトラクションを体感するユーザHmの乗り物が水中に入るといったことが考えられる。
 この場合、信号処理部31は、収録環境や再生環境の媒質情報の変化を検知すると、ステップS109において、変化した媒質情報に応じた感覚刺激情報の出力タイミングの遅延量及び減衰量の補正量を再算出する。
 そして信号処理部31は、ステップS110で当該補正量に基づいて、感覚刺激情報の出力タイミングの遅延量及び減衰量を補正するためのフィルタ係数を更新(再設定)する。
 また本実施の形態では、信号処理部31が再生装置4として、映像再生装置4a、音響再生装置4b、及び振動再生装置4cについて図9に示す感覚刺激情報の補正処理を実行する例について説明したが、本実施の形態は、例えば映像再生装置4aと音響再生装置4bについて当該処理を実行する例や、映像再生装置4aと振動再生装置4cについて当該処理を実行する例についても適用することができる。すなわち、本実施の形態における感覚刺激情報の補正処理は、2以上の再生装置4の連携により実現することが可能である。
<6.まとめ>
 以上の本実施の形態における情報処理装置(再生制御装置3における信号処理部31)は、収録対象から伝達される感覚刺激情報を収録する収録環境において収録を行う収録装置2と収録対象の位置関係とされる第1の位置関係の情報と、収録された感覚刺激情報の再生環境における収録対象とユーザHmの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部35と、第1の位置関係の情報と第2の位置関係の情報とに基づいて、感覚刺激情報の再生を行う再生装置4の出力信号を補正する補正部36と、を備える(図7及び図9参照)。
 収録環境における第1の位置関係の情報と、再生環境における第2の位置関係の情報に基づいて再生装置4としての音響再生装置4bの音響信号や振動再生装置4cの出力信号が補正されることにより、ユーザHmは視聴位置に応じた感覚刺激を体感することが可能となる。具体的には、スクリーンやディスプレイ(映像再生装置4aの表示部)から近いユーザHmほど大きな音や振動を体感することが可能となる。
 これにより、ユーザHmは、あたかも収録環境にいるかのような臨場感の高い感覚刺激情報を受け取ることができる。
 本実施の形態においては、再生装置4として、複数種類の前記感覚刺激情報に応じた複数種類の再生装置4が含まれる場合に、第2の位置関係の情報は、画像が再生される表示部を介してユーザHmが認知する収録対象の仮想的な位置(対象位置T)とユーザHmの位置(体感位置A)の関係の情報とされる(図4及び図8等参照)。
 即ち、ユーザHmが受け取る映像情報に応じて、音響情報や振動情報(触覚情報)の出力信号が補正される。
 従って、スクリーンやディスプレイ(映像再生装置4aの表示部)を介してユーザHmが仮想的に視認している収録対象(例えばバスケットボールの試合を収録する場合におけるバスケットボールや選手)との方向や距離に応じた音や振動などの刺激をユーザHmに提供することができるため、ユーザHmに違和感や不快感を与えることなく臨場感のある再生環境を提供することができる。
 本実施の形態の信号処理部31において、補正部36は、収録環境における第1の位置関係の変化に応じて上記補正を行う(図9のS106、S107等参照)。
 これにより、収録環境において収録装置2が移動した場合や、収録対象が移動した場合に応じて感覚刺激情報の補正が行われる。
 従って、ユーザHmに対して違和感のない信号強度で感覚刺激情報を提供することができる。即ち、ユーザHmに対して違和感や不快感を与えずに各種の刺激を体感させることが可能となる。
 本実施の形態において、第1の位置関係の変化は、収録環境における収録対象の位置の変化に応じたものとされる(図9のS106等参照)。
 これにより、収録対象の位置変化に応じて再生装置4の出力信号が補正される。
 即ち、各種の感覚刺激情報を変化させることにより収録対象の位置の変化をユーザHmに知覚させることが可能となる。従って、多元的に収録対象の位置変化をユーザHmに認識させることができるため、臨場感を増すことが可能となる。
 本実施の形態において、第1の位置関係の変化は、収録環境における収録装置2の位置の変化に応じたものとされる(図9のS107等参照)
 これにより、収録装置2の位置変化に応じて再生装置4の出力信号が補正される。
 即ち、各種の感覚刺激情報を変化させることにより収録装置2の位置の変化、換言すれば、ユーザHmの視点(或いは視角)の変化をユーザHmに知覚させることが可能となる。従って、多元的に収録装置2の位置変化をユーザHmに認識させることができるため、臨場感を増すことが可能となる。
 本実施の形態の信号処理部31において、補正部36は、再生環境における第2の位置関係の変化に応じて上記補正を行う(図9のS108等参照)。
 これにより、再生環境において再生装置4が移動した場合や、ユーザHmが移動した場合に応じて再生装置4の出力信号の補正が行われる。
 従って、ユーザHmに対して違和感のない信号強度で感覚刺激情報を提供することができる。即ち、ユーザHmに対して違和感や不快感を与えずに各種の刺激を体感させることが可能となる。
 本実施の形態において、第2の位置関係の変化は、再生環境におけるユーザHmの位置の変化に応じたものとされる(図9のS108等参照)。
 これにより、ユーザHmの体感位置Aの変化に応じて再生装置4の出力信号が補正される。
 即ち、各種の感覚刺激情報を変化させることによりユーザHmの位置の変化をユーザHmに知覚させることが可能となる。例えば、ユーザHmがスクリーンやディスプレイに近づいたことにより再生音量が大きくなったり、ユーザHmがスクリーン等から遠ざかったことにより再生音量が小さくなったりする。従って、ユーザHmがあたかも収録環境にいるかのような、臨場感のある感覚刺激情報を提供することができる。
 本実施の形態における信号処理部31は、第2の位置関係の変化は、再生環境における再生装置4の位置の変化に応じたものとされる(図9のS108等参照)。
 これにより、再生装置4の変化に応じて再生装置4の出力信号が補正される。
 即ち、各種の感覚刺激情報を変化させることにより再生装置4の位置の変化をユーザHmに知覚させることが可能となる。従って、多元的に収録対象の位置変化をユーザHmに認識させることができるため、臨場感を増すことが可能となる。
 本実施の形態の信号処理部31において、補正部36は、上記出力信号の出力タイミングを補正する(図9のS103、S105、S109等参照)。
  これにより、例えば、映像が出力される映像再生装置4a(スクリーン等の表示部)とユーザHmの位置が遠い場合には再生装置4としての音響再生装置4bの出力信号の出力タイミングをより遅らせることが可能となる。
 従って、ユーザHmと仮想的な収録対象の位置関係に応じた適切なタイミングで感覚刺激情報をユーザHmに提供することができ、臨場感を増すことが可能となる。
 本実施の形態の信号処理部31において、補正部36は、上記出力信号の信号強度を補正する(図9のS103、S109等参照)。
 これにより、例えば、映像が出力される映像再生装置4a(スクリーン等の表示部)とユーザHmの位置が遠い場合には再生装置4としての音響再生装置4bの出力信号の信号強度をより小さくさせることが可能となる。
 従って、ユーザHmと仮想的な収録対象の位置関係に応じて適切な再生音量に調整(補正)された再生音がユーザHmに提供されるため、臨場感を増すことが可能となる。
 本実施の形態の信号処理部31において、補正部36は、収録環境における環境情報に応じて上記補正を行う(図9のS103等参照)。
 これにより、実際にユーザHmが収録環境の中に身をおいた場合と同等の感覚刺激となるように再生装置4への出力信号が補正される。
 従って、ユーザHmが実際に収録環境にいるかのような感覚刺激情報をユーザHmに提供することができ、臨場感を増すことが可能となる。
 本実施の形態において、上記環境情報は気温の情報とされる(図9のS103等参照)。
 これにより、実際にユーザHmがいる環境の温度と収録環境の温度が異なっていたとしても、収録環境にユーザHmがいる場合にユーザHmが体感するであろう感覚刺激をユーザHmが再生環境において体感できるように再生装置4への出力信号が補正される。
 従って、ユーザHmが収録環境に実際にいるような臨場感の高い再生環境を提供することができる。
 本実施の形態において、上記環境情報は媒質の情報とされる。(図9のS103等参照)
 これにより、再生環境の媒質(水中や大気中など)と収録環境の媒質が異なっていたとしても、実際にユーザHmが大気中に環境の温度と収録環境の温度が異なっていたとしても、収録環境にユーザHmがいる場合にユーザHmが体感するであろう感覚刺激をユーザHmが再生環境において体感できるように再生装置4への出力信号が補正される。
 従って、ユーザHmが収録環境に実際にいるような臨場感の高い再生環境を提供することができる。
 本実施の形態の信号処理部31において、補正部36は、感覚刺激情報として音響情報の再生を行う再生装置4の出力信号を補正する(図9のS103、S109等参照)。
 これにより、収録位置と再生位置の位置が異なることで到達時間にずれが生じやすい音響情報について再生装置4への出力信号が補正される。
 従って、ユーザHmに違和感を与えない音響情報を再生装置4から出力させることができる。
 本実施の形態の信号処理部31において、補正部36は、感覚刺激情報として振動情報の再生を行う再生装置4の出力信号を補正する(図9のS103、S109等参照)。
 これにより、収録位置と再生位置の位置が異なることで到達時間にずれが生じやすい振動情報について再生装置4への出力信号が補正される。
 従って、ユーザHmに違和感を与えない音響情報を再生装置4から出力させることができる。
 また本実施の形態における収録再生システムは、収録対象から伝達される感覚刺激情報を取得する感覚刺激情報取得部と、収録装置2(収録位置R)と収録対象(対象位置T)の位置関係とされる第1の位置関係の情報を検出する検出部と、を有する収録装置2と、第1の位置関係の情報と、収録された感覚刺激情報の再生環境における収録対象(対象位置T)とユーザHm(体感位置)の位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部35と、第1の位置関係の情報と第2の位置関係の情報とに基づいて、感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部36とを有する再生制御装置3と、を備える(図1、図9等参照)。
 このような実施の形態としての収録再生システムによっても上記した実施の形態と同様の作用及び効果を得ることができる。
 また本実施の形態における情報処理方法は、収録対象から伝達される感覚刺激情報を収録する収録環境において収録を行う収録装置2(収録位置R)と収録対象(対象位置T)の位置関係とされる第1の位置関係の情報と、収録された感覚刺激情報の再生環境における収録対象(対象位置T)とユーザHm(体感位置)の位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得処理と、第1の位置関係の情報と第2の位置関係の情報とに基づいて、感覚刺激情報の再生を行う再生装置4の出力信号を補正する補正処理と、を情報処理装置が実行する情報処理方法である。
 このような実施の形態としての情報処理方法によっても上記した実施の形態としての情報処理装置と同様の作用及び効果を得ることができる。
 ここで、これまで説明した情報処理装置による機能は、例えばCPU、DSP等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行される。
 実施形態としてのプログラムは、収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得機能と、
 前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正機能と、を情報処理装置に実行させるプログラムである。
 このようなプログラムによって、上記した実施の形態としての情報処理装置を再生制御装置3として実現することができる。
 なお、本実施の形態では上記プログラムに基づいて再生制御装置3が図9の処理を行うことで本技術を実現したが、上記プログラムを収録装置2や再生装置4に記録させることで、収録装置2や再生装置4が実行する処理によっても本技術を実現することができる。また当該処理は、外部のサーバが上記プログラムを実行することにより実現されてもよい。
 上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 或いはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto optical)ディスク、DVD、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、上記プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、インターネット、LAN(Local Area Network)などのネットワークを介してダウンロードすることもできる。
 また、本プログラムによれば、実施の形態の再生制御装置3の広範な提供に適している。例えば、パーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、AV(Audio Visual)機器等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、再生制御装置3として機能させることができる。
<7.本技術>
 また本技術は以下のような構成も採ることができる。
(1)
 収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、
 前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、を備える
 情報処理装置。
(2)
 前記再生装置として、複数種類の前記感覚刺激情報に応じた複数種類の再生装置が含まれる場合に、前記第2の位置関係の情報は、画像が再生される表示部を介してユーザが認知する前記収録対象の仮想的な位置と前記ユーザの位置の関係の情報とされた
 上記(1)に記載の情報処理装置。
(3)
 前記補正部は、前記収録環境における前記第1の位置関係の変化に応じて前記補正を行う
 上記(1)又は(2)に記載の情報処理装置。
(4)
 前記第1の位置関係の変化は、前記収録環境における前記収録対象の位置の変化に応じたものとされた
 上記(3)に記載の情報処理装置。
(5)
 前記第1の位置関係の変化は、前記収録環境における前記収録装置の位置の変化に応じたものとされた
 上記(3)又は(4)に記載の情報処理装置。
(6)
 前記補正部は、前記再生環境における前記第2の位置関係の変化に応じて前記補正を行う
 上記(1)から(5)の何れかに記載の情報処理装置。
(7)
 前記第2の位置関係の変化は、前記再生環境における前記ユーザの位置の変化に応じたものとされた
 上記(6)に記載の情報処理装置。
(8)
 前記第2の位置関係の変化は、前記再生環境における前記再生装置の位置の変化に応じたものとされた
 上記(6)又は(7)に記載の情報処理装置。
(9)
 前記補正部は、前記出力信号の出力タイミングを補正する
 上記(1)から(8)の何れかに記載の情報処理装置。
(10)
 前記補正部は、前記出力信号の信号強度を補正する
 上記(1)から(9)の何れかに記載の情報処理装置。
(11)
 前記補正部は、前記収録環境における環境情報と前記再生環境における環境情報の違いに基づいて前記補正を行う
 上記(1)から(10)の何れかに記載の情報処理装置。
(12)
 前記環境情報の違いは気温の違いとされた
 上記(11)に記載の情報処理装置。
(13)
 前記環境情報の違いは媒質の違いとされた
 上記(11)に記載の情報処理装置。
(14)
 前記補正部は、前記感覚刺激情報として音響情報の再生を行う前記再生装置の出力信号を補正する
 上記(1)から(13)の何れかに記載の情報処理装置。
(15)
 前記補正部は、前記感覚刺激情報として振動情報の再生を行う前記再生装置の出力信号を補正する
 上記(1)から(14)の何れかに記載の情報処理装置。
(16)
 収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得処理と、
 前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正処理と、
 を情報処理装置が実行する情報処理方法。
(17)
 収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得機能と、
 前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正機能と、
 を情報処理装置に実行させるプログラム。
(18)
 収録装置と再生制御装置からなる収録再生システムにおいて、
 前記収録装置は、
 収録対象から伝達される感覚刺激情報を取得する感覚刺激情報取得部と、
 収録装置と前記収録対象の位置関係とされる第1の位置関係の情報を検出する検出部と、を備え、
 前記再生制御装置は、
 前記第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、
 前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、
 を備える収録再生システム。
 最後に、本開示に記載された効果は例示であって限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
 また本開示に記載された実施の形態はあくまでも一例であり、本技術が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本技術の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。なお、実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。
1 収録再生システム
2 収録装置
3 再生制御装置
4 再生装置
4a 映像再生装置
4b 音響再生装置
4c 振動再生装置
10 カメラ部
11 画像信号処理部
12 音響入力部
13 音響信号処理部
14 振動検知部
15 振動信号処理部
16 センサ部
17 符号化部
30 復号部
31 信号処理部
35 位置関係情報取得部
36 補正部
T 対象位置
R 収録位置
A、B 体感位置
Hm ユーザ

Claims (18)

  1.  収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、
     前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、を備える
     情報処理装置。
  2.  前記再生装置として、複数種類の前記感覚刺激情報に応じた複数種類の再生装置が含まれる場合に、前記第2の位置関係の情報は、画像が再生される表示部を介してユーザが認知する前記収録対象の仮想的な位置と前記ユーザの位置の関係の情報とされた
     請求項1に記載の情報処理装置。
  3.  前記補正部は、前記収録環境における前記第1の位置関係の変化に応じて前記補正を行う
     請求項1に記載の情報処理装置。
  4.  前記第1の位置関係の変化は、前記収録環境における前記収録対象の位置の変化に応じたものとされた
     請求項3に記載の情報処理装置。
  5.  前記第1の位置関係の変化は、前記収録環境における前記収録装置の位置の変化に応じたものとされた
     請求項3に記載の情報処理装置。
  6.  前記補正部は、前記再生環境における前記第2の位置関係の変化に応じて前記補正を行う
     請求項1に記載の情報処理装置。
  7.  前記第2の位置関係の変化は、前記再生環境における前記ユーザの位置の変化に応じたものとされた
     請求項6に記載の情報処理装置。
  8.  前記第2の位置関係の変化は、前記再生環境における前記再生装置の位置の変化に応じたものとされた
     請求項6に記載の情報処理装置。
  9.  前記補正部は、前記出力信号の出力タイミングを補正する
     請求項1に記載の情報処理装置。
  10.  前記補正部は、前記出力信号の信号強度を補正する
     請求項1に記載の情報処理装置。
  11.  前記補正部は、前記収録環境における環境情報に応じて前記補正を行う
     請求項1に記載の情報処理装置。
  12.  前記環境情報は気温の情報とされた
     請求項11に記載の情報処理装置。
  13.  前記環境情報は媒質の情報とされた
     請求項11に記載の情報処理装置。
  14.  前記補正部は、前記感覚刺激情報として音響情報の再生を行う前記再生装置の出力信号を補正する
     請求項1に記載の情報処理装置。
  15.  前記補正部は、前記感覚刺激情報として振動情報の再生を行う前記再生装置の出力信号を補正する
     請求項1に記載の情報処理装置。
  16.  収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得処理と、
     前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正処理と、
     を情報処理装置が実行する情報処理方法。
  17.  収録対象から伝達される感覚刺激情報を収録する収録環境において前記収録を行う収録装置と前記収録対象の位置関係とされる第1の位置関係の情報と、前記収録された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得機能と、
     前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正機能と、
     を情報処理装置に実行させるプログラム。
  18.  収録装置と再生制御装置からなる収録再生システムにおいて、
     前記収録装置は、
     収録対象から伝達される感覚刺激情報を取得する感覚刺激情報取得部と、
     収録装置と前記収録対象の位置関係とされる第1の位置関係の情報を検出する検出部と、を備え、
     前記再生制御装置は、
     前記第1の位置関係の情報と、前記取得された感覚刺激情報の再生環境における前記収録対象とユーザの位置関係とされた第2の位置関係の情報と、を取得する位置関係情報取得部と、
     前記第1の位置関係の情報と前記第2の位置関係の情報とに基づいて、前記感覚刺激情報の再生を行う再生装置の出力信号を補正する補正部と、
     を備える収録再生システム。
PCT/JP2021/017285 2020-06-26 2021-04-30 情報処理装置、情報処理方法、プログラム、収録再生システム WO2021261085A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/001,921 US20230254535A1 (en) 2020-06-26 2021-04-30 Information processing device, information processing method, program, and recording/reproduction system
JP2022532373A JPWO2021261085A1 (ja) 2020-06-26 2021-04-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-110393 2020-06-26
JP2020110393 2020-06-26

Publications (1)

Publication Number Publication Date
WO2021261085A1 true WO2021261085A1 (ja) 2021-12-30

Family

ID=79282429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017285 WO2021261085A1 (ja) 2020-06-26 2021-04-30 情報処理装置、情報処理方法、プログラム、収録再生システム

Country Status (3)

Country Link
US (1) US20230254535A1 (ja)
JP (1) JPWO2021261085A1 (ja)
WO (1) WO2021261085A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033104A (ja) * 2011-08-01 2013-02-14 Densei:Kk 音響信号送出装置、音響信号送出方法、およびプログラム
US20200154229A1 (en) * 2017-07-14 2020-05-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a depth-extended dirac technique or other techniques

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033104A (ja) * 2011-08-01 2013-02-14 Densei:Kk 音響信号送出装置、音響信号送出方法、およびプログラム
US20200154229A1 (en) * 2017-07-14 2020-05-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for generating an enhanced sound-field description or a modified sound field description using a depth-extended dirac technique or other techniques

Also Published As

Publication number Publication date
US20230254535A1 (en) 2023-08-10
JPWO2021261085A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
AU2021250896B2 (en) Mixed reality system with spatialized audio
JP6565903B2 (ja) 情報再生装置及び情報再生方法
US20120207308A1 (en) Interactive sound playback device
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
KR20190039960A (ko) 다차원 음향 효과를 재생하기 위한 라우드 스피커를 포함하는 머리 받침대 및 시스템
JP2010056589A (ja) 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
WO1995010167A1 (fr) Dispositif de reproduction audio
JP6580516B2 (ja) 処理装置および画像決定方法
WO2021261085A1 (ja) 情報処理装置、情報処理方法、プログラム、収録再生システム
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
WO2023199813A1 (ja) 音響処理方法、プログラム、及び音響処理システム
JP2017195521A (ja) 位相差増幅装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828410

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532373

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21828410

Country of ref document: EP

Kind code of ref document: A1