WO2020189263A1 - 音響処理装置、音響処理方法、および音響処理プログラム - Google Patents

音響処理装置、音響処理方法、および音響処理プログラム Download PDF

Info

Publication number
WO2020189263A1
WO2020189263A1 PCT/JP2020/008997 JP2020008997W WO2020189263A1 WO 2020189263 A1 WO2020189263 A1 WO 2020189263A1 JP 2020008997 W JP2020008997 W JP 2020008997W WO 2020189263 A1 WO2020189263 A1 WO 2020189263A1
Authority
WO
WIPO (PCT)
Prior art keywords
acoustic
user
content
location
sound
Prior art date
Application number
PCT/JP2020/008997
Other languages
English (en)
French (fr)
Inventor
亨 中川
越 沖本
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/438,358 priority Critical patent/US20220312143A1/en
Priority to EP20774002.8A priority patent/EP3944638A4/en
Priority to KR1020217027495A priority patent/KR20210138006A/ko
Priority to JP2021507164A priority patent/JPWO2020189263A1/ja
Priority to CN202080017766.4A priority patent/CN113519171A/zh
Publication of WO2020189263A1 publication Critical patent/WO2020189263A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present disclosure relates to an acoustic processing device, an acoustic processing method, and an acoustic processing program.
  • Patent Document 1 There is a sound field sound collector that virtually reproduces the sound field at the sound collection location by driving the speaker with a drive signal generated from the sound field signals collected by multiple microphones using the wave surface synthesis method (for example).
  • Patent Document 1 There is a sound field sound collector that virtually reproduces the sound field at the sound collection location by driving the speaker with a drive signal generated from the sound field signals collected by multiple microphones using the wave surface synthesis method (for example).
  • the present disclosure proposes an acoustic processing device, an acoustic processing method, and an acoustic processing program that can enhance the sense of presence given to the listener of acoustics.
  • the sound processing device has an acquisition unit, a storage unit, and a processing unit.
  • the acquisition unit acquires location information regarding the location seen by the user listening to the acoustic content.
  • the storage unit stores acoustic information regarding acoustics at the location.
  • the processing unit converts the acoustic characteristics of the acoustic content into the acoustic characteristics according to the location and reproduces the sound field.
  • FIG. 1 is an explanatory diagram showing an outline of acoustic processing by the acoustic processing device 1 according to the present disclosure.
  • the sound processing device 1 reproduces the sound field of the recording place by converting the acoustic characteristics of the acoustic contents such as a movie, a live music, a promotional video of a music, a TV program, and a music into the acoustic characteristics of the recording place. It is a device that reproduces the sound field with.
  • the sound processing device 1 may not be able to give a sufficient sense of presence to the listener of the sound content only by reproducing the sound field of the recording place. Specifically, when the measurement location where the acoustic characteristics of the acoustic content are measured and the reproduction location of the acoustic content match, the acoustic processing device 1 presents the listener as if he / she is there. It can give a feeling, but otherwise the sense of presence is halved.
  • the sound processing device 1 provides a user who watches a movie at home with the acoustic content of a movie converted into acoustic characteristics that reproduce the reverberation characteristics and reverberation characteristics of a movie theater, the user's location is at home. Therefore, it is difficult to give the user the feeling of being in a movie theater.
  • the sound processing device 1 uses, for example, a technology such as virtual reality (hereinafter referred to as VR: Virtual Reality) to reproduce the measurement place where the acoustic information of the acoustic content is measured, and then the measurement place.
  • VR virtual reality
  • the sound field reproduces the acoustic content that reproduces the acoustic characteristics of.
  • the sound processing device in addition to the movie image content D1, the movie sound content D2, and the movie theater sound information D3, the VR spherical image D4 in the movie theater is provided. Is stored (step S01).
  • the sound information D3 of the movie theater includes various parameters related to the sound characteristics of the movie theater.
  • the sound processing device 1 acquires a request for providing movie content from a user terminal 11 such as a smartphone carried by user U
  • the movie video content D1 and the movie are sent to the user terminal 11 of user U.
  • the acoustic content D2 is transmitted and provided.
  • the sound processing device 1 converts the acoustic characteristics of the sound content D2 of the movie into the sound characteristics of the movie theater based on the sound information D3 of the movie theater, and further, the user together with the VR all-sky image D4 in the movie theater. It is provided to the terminal 11 (step S02).
  • the VR all-sky image D4 of the movie theater includes an image of the screen installed in the movie theater and an image of the surrounding environment of the screen including the audience seats and the walls and ceiling of the movie theater.
  • the sound processing device 1 adds information indicating that the position of the screen in the VR spherical image D4 in the movie hall is the display position of the movie image content D1 to the movie image content D1, and the user terminal 11 To provide to.
  • the sound processing device 1 displays, for example, the VR spherical image D4 in the movie hall on the head-mounted display 12 worn by the user U, and displays the movie image content D1 on the screen in the VR spherical image D4. It can be displayed (step S03).
  • the sound processing device 1 can reproduce the sound field of the sound content D2 of the video content D1 in which the sound characteristics are converted into the sound characteristics in the movie hall by the earphone 13 worn by the user U (step S04).
  • the sound processing device 1 allows the user U to visually recognize not only the video content D1 of the movie projected on the screen but also the surrounding environment of the screen such as the audience seats, walls, and ceiling of the movie theater, and the user U uses the sound content D2. You can tell U.
  • the sound processing device 1 can give the user U who watches the video content of the movie at home, for example, a sense of reality as if he / she is watching a movie in a movie theater.
  • the VR all-sky image D4 in the movie hall is displayed on the head-mounted display 12, but the sound processing device 1 replaces the VR all-sky image D4 in the movie hall with 3DCG (Dimensional) that reproduces the movie hall.
  • 3DCG Human Graphics
  • FIG. 2 is a block diagram showing an example of the configuration of the sound processing device 1 according to the present disclosure.
  • the sound processing device 1 includes a communication unit 2, a storage unit 3, and a control unit 4.
  • the communication unit 2 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 2 is connected to the user terminal 11, the acoustic information creation device 100, and the creator terminal 101 by wire or wirelessly via a communication network N such as the Internet so that information can be communicated with each other.
  • a communication network N such as the Internet
  • the acoustic information creating device 100 is a device that creates acoustic information 34, which will be described later. Further, the creator terminal 101 is a terminal device used by the creator who creates the acoustic content 32 provided to the user U by the acoustic processing device 1.
  • the storage unit 3 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 3 stores video content 31, acoustic content 32, VR video information 33, acoustic information 34, and the like.
  • the video content 31 is a plurality of video data such as a movie, a live music, a promotional video of a musical piece, and a TV program, and is content data provided to the user terminal 11 by the sound processing device 1.
  • the acoustic content 32 is a plurality of audio data such as a movie, a live music, a promotional video of a musical piece, a TV program, and a musical piece, and is the content data provided to the user terminal 11 by the sound processing device 1.
  • the VR video information 33 includes a plurality of VR spherical images captured at various locations.
  • FIG. 3 is an explanatory diagram of a method for creating a VR spherical image according to the present disclosure.
  • a 360 ° camera 102 is installed at each place where the acoustic content 32 is played, and the 360 ° camera 102 is used to move the 360 ° camera 102 back and forth, up, down, left and right.
  • a VR spherical image Vr is captured.
  • a movie theater in which one screen is installed is taken as an example, but in the present disclosure, the VR spherical image of a movie theater having four screens on the front, left and right sides, and the bottom is shown. It is also possible to create a spherical image Vr.
  • the sound processing device 1 displays the video content 31 on one of the four screens on the front side, and displays the surrounding environment of the movie theater on the other three screens. This also makes it possible for the sound processing device 1 to improve the sense of presence given to the user.
  • the acoustic information 34 includes a plurality of information regarding the acoustic at each place where the acoustic content 32 is reproduced in the sound field.
  • FIG. 4 is an explanatory diagram showing an example of the acoustic information 34 according to the present disclosure.
  • the acoustic information 34 is provided for each user who provides the video content 31 and the acoustic content 32 by the audio processing device 1.
  • the acoustic information 34 is information in which a user ID, a user's head related transfer function (hereinafter, referred to as HRTF: Head Related Transfer Function), a location, a VR image, and an acoustic parameter are associated with each other.
  • HRTF Head Related Transfer Function
  • the user ID is identification information for identifying each user.
  • the HRTF is function information unique to each user that mathematically represents how the sound reaches the user's ear from the sound source.
  • a method of measuring the HRTF will be described with reference to FIGS. 5 and 6.
  • FIG. 5 and 6 are explanatory views of the HRTF measurement method according to the present disclosure.
  • the HRTF included in the sound information D3 of the movie theater described with reference to FIG. 1 as shown in FIG. 5, the user U is asked to wear the ear microphone 14 in the audience seat of the movie theater Mt.
  • the test signal Ts is output from the speaker SP of the movie theater.
  • the acoustic information creation device 100 includes a voice signal SL collected by the ear microphone 14 mounted on the left ear of the user U and a voice signal collected by the ear microphone 14 mounted on the right ear of the user U. Get SR and.
  • the acoustic information creating device 100 derives the HRTF of the user U based on the temporal deviation of the two acquired audio signals SL and SR, the deviation of the signal level (intensity), the difference in sound, and the like. In this way, the acoustic information creating device 100 can derive an accurate HRTF of the user U by actually measuring the test signal Ts heard by the user U.
  • the HRTF differs depending on the place (environment) where the user U listens to the test signal Ts. Therefore, for example, when there are a plurality of images of a place that the user wants to see while listening to the acoustic content 32, it is necessary to have the user come to each place, measure the HRTF, and derive it. It will be a burden.
  • the acoustic information creation device 100 can also derive the HRTF of the user U at a plurality of locations while reducing the burden on the user U.
  • the audio signal collected by the ear microphone 14 attached to the ear of the user U has a time in which the sound wave characteristic depends on the user U in the first predetermined time portion, and thereafter. There are times when the sound wave characteristics are location dependent.
  • the acoustic information creation device 100 has the user U come to one place, collects the test signal Ts by the ear microphone 14, and acquires the audio signal waveform of the time portion depending on the user U. To do. After that, the acoustic information creating device 100 installs the dummy doll DM equipped with the ear microphone 14 at a plurality of places desired by the user U, and acquires the voice signal waveform of the time portion where the sound wave characteristics depend on the place.
  • the acoustic information creating device 100 synthesizes the audio signal waveform of the time portion depending on the user U and the audio signal waveform of the time portion depending on the location acquired by using the dummy doll at a plurality of locations. , The HRTF of the user U at each location is derived based on the synthesized signal.
  • the acoustic information creation device 100 can derive the HRTFs of the user U at a plurality of places desired by the user U while reducing the burden on the user U, although the accuracy is slightly lower than that in the case of actual measurement.
  • the acoustic information creating device 100 may, for example, have the user U take a picture of his / her ear and transmit the image data, and estimate and derive the HRTF of the user U based on the image data of the ear. it can. In such a case, the acoustic information creation device 100 uses a learning model machine-learned to output the HRTF corresponding to the ear when the image data including the image of the ear is input, and the HRTF of the user U is used. Is derived.
  • the acoustic information creation device 100 can estimate and derive the user's HRTF without having the user U come to the place where the HRTF is measured, so that the burden on the user U required for the HRTF measurement is increased. It can be further reduced.
  • the location included in the acoustic information 34 is identification information for the user U registered in advance to identify a location desired to be viewed while listening to the acoustic content 32.
  • the VR image is identification information for identifying the VR spherical image corresponding to the place included in the acoustic information 34.
  • the acoustic parameters are associated with numerical values indicating reverberation characteristics such as reverberation time and reverberation characteristics such as reflection coefficient of sound waves for each of a plurality of sound output positions at each location.
  • the acoustic information creating device 100 measures the actual acoustics at each location and derives acoustic parameters based on the collected acoustics. As a result, the acoustic information creating device 100 can derive accurate acoustic parameters according to the actual location.
  • the data of each item is conceptually described as “A01” or “B01”, but in reality, the data of each item includes specific data corresponding to each item. Is remembered.
  • the acoustic information creating device 100 transmits the created acoustic information 34 to the acoustic processing device 1.
  • the sound processing device 1 stores the sound information 34 received from the sound information creating device 100 in the storage unit 3.
  • the acoustic processing device 1 has the same functions and configurations as the acoustic information creating device 100, and the acoustic information 34 is created by the own device.
  • the device may be configured to be stored in the storage unit 3.
  • the control unit 4 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), an input / output port, and various circuits.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 4 has an acquisition unit 41 and a processing unit that function by executing various programs (corresponding to an example of the sound processing program according to the embodiment) stored in the ROM by the CPU using the RAM as a work area. 42, and a providing unit 43 are provided.
  • the acquisition unit 41, the processing unit 42, and the providing unit 43 included in the control unit 4 are composed of hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Good.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the acquisition unit 41, the processing unit 42, and the providing unit 43 each realize or execute the actions of information processing described below.
  • the internal configuration of the control unit 4 is not limited to the configuration shown in FIG. 2, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the acquisition unit 41 acquires, for example, a request for providing the video content 31 and the acoustic content 32 from the user U. Further, when the acquisition unit 41 acquires the request for providing the video content 31 and the acoustic content 32 from the user U, the acquisition unit 41 acquires the information about the place seen by the user listening to the acoustic content 32 from the user terminal 11.
  • the acquisition unit 41 acquires the request for providing the movie video content D1 and the movie sound content D2 from the user terminal 11, and acquires the information indicating the movie theater as the location information from the user terminal 11, the acquisition unit 41 obtains the information indicating the movie theater from the user terminal 11.
  • the acquired information is output to the processing unit 42.
  • the processing unit 42 corresponds to the acoustic characteristics of the acoustic content 32 with the location information acquired from the user terminal 11 based on the acoustic information 34. It is converted into acoustic characteristics according to the location and output to the providing unit 43.
  • the processing unit 42 applies the HRTF of the user U for each user U to convert the acoustic characteristics of the acoustic content 32.
  • the processing unit 42 can convert the acoustic characteristics of the acoustic content 32 so as to have the optimum acoustic characteristics for the user U.
  • the processing unit 42 outputs the information acquired from the user terminal 11 to the providing unit 43 together with the acoustic content 32 after the acoustic characteristic conversion.
  • the providing unit 43 transmits the acoustic content 32 input from the processing unit 42, the VR spherical image of the location corresponding to the location information, and the video content 31 requested to be provided by the user to the user terminal 11.
  • the sound processing device 1 provides the user U not only with the movie video content D1 projected on the screen but also with the surrounding environment of the screen such as the audience seats of the movie theater, the walls, and the ceiling. It can be visually recognized.
  • the sound processing device 1 can simultaneously allow the user to listen to the sound content D2 of the movie converted into the sound characteristics of the movie theater. Therefore, for example, the sound processing device 1 can give the user U who watches the video content of the movie at home a sense of reality as if he / she is watching a movie in a movie theater.
  • the acquisition unit 41 acquires the request for providing the video content 31 and the acoustic content 32 from the user terminal 11 has been described, but the acquisition unit 41 is combined with the request for providing the acoustic content 32 from the user terminal 11. In some cases, an image of the location of the user U may be acquired.
  • the processing unit 42 converts the acoustic characteristics of the acoustic content 32 according to the location of the user U, transmits the converted acoustic content 32 to the user terminal 11 by the providing unit 43, and reproduces the sound field by the user terminal 11. Let me. An operation example of the sound processing device 1 will be described later with reference to FIGS. 7 and 8.
  • the acquisition unit 41 may acquire the acoustic information 34 of the acoustic content 32 and the request for providing the VR spherical image of the place where the acoustic content 32 is reproduced in the sound field from the creator who created the acoustic content 32.
  • An operation example of the sound processing device 1 in such a case will be described later with reference to FIG.
  • FIGS. 7 to 10 are explanatory views of an operation example of the sound processing device 1 according to the present disclosure.
  • the acquisition unit 41 of the sound processing device 1 captures, for example, the location (here, the vehicle interior of the vehicle C) imaged by the user terminal 11 when the user U is in the vehicle C.
  • the image Pic1 and the request for providing the acoustic content 32 may be acquired.
  • the sound processing device 1 predicts the acoustic characteristics of the location from the image Pic1 of the location, converts the acoustic characteristics of the acoustic content 32 into the predicted acoustic characteristics, and reproduces the sound field by the user terminal 11.
  • the processing unit 42 of the sound processing device 1 determines the location of the user U as the space inside the vehicle interior of the vehicle C by recognizing the image Pic1 as an image.
  • the processing unit 42 estimates the length L in the front-rear direction, the length W in the lateral direction, and the length H in the height direction from the image Pic1 to predict the size of the space in the vehicle interior. Based on the size of the space inside the vehicle, the acoustic characteristics such as the reverberation characteristics and the reverberation characteristics of the space inside the vehicle are predicted.
  • the processing unit 42 converts the acoustic characteristics of the acoustic content 32 into the predicted acoustic characteristics.
  • the virtual speaker SpC is arranged at the front center position in the vehicle interior, and is located at a position 30 ° to the left and right from the center. Place virtual speakers SpL and SpR.
  • the processing unit 42 converts the acoustic characteristics of the acoustic content 32 so that it sounds as if the sound is output from the three virtual speakers PcC, SpL, and SpR, outputs the sound to the providing unit 43, and is output by the providing unit 43.
  • the acoustic content 32 is transmitted to the user terminal 11.
  • the sound processing device 1 can give the user U a sense of realism as if the user U is listening to the sound content 32 with a high-quality car audio, for example, when the user U listens to the sound content 32 with an earphone. it can.
  • the acquisition unit 41 requests the provision of the image Pic2 whose location is captured by the user U and the video content 31 and the acoustic content 32. May get.
  • the acquisition unit 41 acquires, for example, information indicating that the user U has selected a predetermined area A (here, an area surrounding the television Tv) including the visual field center of the user U from the image Pic2. In some cases.
  • the processing unit 42 arranges virtual speakers Sp1, Sp2, Sp3, Sp4, Sp5, Sp6, which are the sound output positions of the acoustic content 32, so as to surround the predetermined area A. Then, the processing unit 42 converts the acoustic characteristics of the acoustic content 32 and outputs the sound to the providing unit 43 so that the sound is output from the virtual speakers Sp1, Sp2, Sp3, Sp4, Sp5, and Sp6.
  • the providing unit 43 transmits the video content 31 requested to be provided by the user U and the acoustic content 32 whose acoustic characteristics have been converted by the processing unit 42 to the user terminal 11, displays the video content 31 and sounds of the acoustic content 32. Let the place be regenerated.
  • the sound processing device 1 seems to be listening to the sound content 32 with the high-quality audio device while displaying the video content 31 on the TV Tv.
  • a sense of realism can be given to the user U.
  • the sound processing device 1 can also display the augmented reality (AR: Augmented Reality) images Ca, Cc, and Cd of the characters appearing in the work Vd around the user by the head-mounted display Cb.
  • AR Augmented Reality
  • the sound processing device 1 can further improve the sense of presence given to the user U.
  • the acquisition unit 41 can also acquire the position information of the user U, which is positioned by the GPS (Global Positioning System) included in the user terminal 11, for example.
  • GPS Global Positioning System
  • the processing unit 42 predicts the user's location from the user's position information acquired by the acquisition unit, converts the acoustic characteristics of the acoustic content 32 into the predicted acoustic characteristics of the location, and reproduces the sound field. As a result, the processing unit 42 can convert the acoustic characteristics of the acoustic content 32 into acoustic characteristics according to the exact location of the user U positioned by GPS.
  • the acquisition unit 41 can also acquire an image selected from images previously captured by the user U from the user terminal 11 or an image viewed by the user U via the communication network N.
  • the processing unit 42 predicts the acoustic characteristics of the place reflected in the image acquired by the acquisition unit 41, converts the acoustic characteristics of the acoustic content into the predicted acoustic characteristics, and reproduces the sound field.
  • the sound processing device 1 gives the user U a sense of realism as if he / she is listening to the sound content 32 at a place of memories that the user U visited in the past or a favorite place reflected in the image viewed in the past. Can be given.
  • the processing unit 42 changes the number of virtual speakers to be arranged as the sound output position of the acoustic content 32 and the sound output characteristics of the virtual speakers according to the size of the space where the user U is predicted from the image. To do. For example, the processing unit 42 increases the number of virtual speakers to be arranged as the predicted space becomes wider.
  • the processing unit 42 arranges a virtual speaker having sound output characteristics such that the acoustic content 32 can be heard from a direction of 360 °, for example, a surround speaker. ..
  • the sound processing device 1 can cause the user terminal 11 to reproduce the optimum sound field according to the size of the location of the user U.
  • the acquisition unit 41 may acquire, for example, a request for providing the acoustic information 34 of the acoustic content 32 and the VR spherical image of the place where the acoustic content 32 is reproduced in the sound field from the creator who created the acoustic content 32. is there.
  • the processing unit 42 of the sound processing device 1 uses the sound content 32, the sound information 34, and the VR video information 33 requested to be provided to the creator terminal 101 by the providing unit 43 by the creator CR. To send to the creator terminal 101.
  • the creator CR can change the acoustic information 34 based on his / her own creation intention while watching the VR spherical image Vr of the movie theater included in the VR image information 33, for example.
  • the creator CR currently has acoustic information 34 that sounds like virtual speakers Sp are arranged on both sides of a movie theater screen, and virtual speakers Sp are arranged at positions further away from both sides of the screen. It can be changed to the acoustic information 34 that sounds like it is.
  • the creator CR can be changed to acoustic information 34, which sounds like a new virtual speaker SpU is arranged on the screen and a new virtual speaker SpD is arranged under the screen, for example.
  • the creator CR listens to the acoustic content 32 to which its own HRTF is applied and changes the acoustic information 34.
  • the creator CR transmits the changed acoustic information 34a, the acoustic content 32a, and the VR video information 33 from the creator terminal 101 to the audio processing device 1.
  • the sound processing device 1 stores the sound information 34a received from the creator terminal 101, the sound content 32a, and the VR video information 33 in the storage unit 3.
  • the acoustic processing device 1 can reproduce the acoustic content 32a in the sound field with the acoustic characteristics reflecting the creation intention of the creator CR when the acoustic content 32a is provided to the user U next time.
  • the sound processing device 1 can reproduce the sound field of the acoustic content 32a having the optimum acoustic characteristics for the user U by providing the user U with the acoustic content 32a to which the HRTF of the user U is applied.
  • FIGS. 11 to 13 are flowcharts showing an example of the processing executed by the control unit 4 of the sound processing device 1 according to the present disclosure.
  • control unit 4 of the sound processing device 1 acquires a request for providing content including sound and video from the user U of the user terminal 11, the control unit 4 executes the process shown in FIG. Specifically, when the control unit 4 acquires the content provision request from the user U, the control unit 4 first acquires the content and location information desired by the user U from the user U (step S101).
  • control unit 4 converts the acoustic characteristics of the acoustic content corresponding to the content desired by the user into the acoustic characteristics corresponding to the acoustic characteristics corresponding to the location information (step S102). After that, the control unit 4 provides the user U with the video content, the acoustic content whose acoustic characteristics are converted, and the VR spherical image to be visually recognized by the user U when the acoustic content and the video content are reproduced, and the sound field. It is regenerated (step S103), and the process is terminated.
  • control unit 4 executes the process shown in FIG. 12 when the user requests the provision of acoustic content and the image of the user's whereabouts captured by the user is acquired. Specifically, when the control unit 4 acquires the content provision request and the captured image from the user U, the control unit 4 first predicts the acoustic characteristics of the space reflected in the captured image (step S201).
  • control unit 4 converts the acoustic characteristics of the acoustic content corresponding to the content desired by the user U into the acoustic characteristics of the space predicted in step S201 (step S202). After that, the control unit 4 provides the user U with acoustic content whose acoustic characteristics have been converted to reproduce the sound field (step S203), and ends the process.
  • control unit 4 performs a process of arranging the sound output position of the acoustic content so as to surround the predetermined area A, and the sound content to the user U. I will provide a.
  • control unit 4 changes the number of sound output positions and the sound output characteristics of the acoustic content to be arranged according to the size of the predetermined area A selected by the user, and provides the acoustic content to the user U. ..
  • control unit 4 predicts and predicts the acoustic characteristics of the space reflected in the captured image even when the user U requests the provision of contents including sound and video and the captured image showing the user's whereabouts. It is possible to provide the user U with acoustic content converted into acoustic characteristics.
  • control unit 4 executes the process shown in FIG. 13 when, for example, the acoustic information of the acoustic content and the request for providing the place where the acoustic content is reproduced in the sound field are acquired from the creator CR of the acoustic content.
  • control unit 4 when the control unit 4 acquires the request for providing the acoustic information and the location from the creator CR, the control unit 4 first determines the location where the acoustic information and the acoustic content corresponding to the acoustic information are reproduced in the sound field to the creator CR.
  • the VR spherical image is provided (step S301).
  • control unit 4 determines whether or not the changed acoustic information has been acquired from the creator CR (step S302). Then, when the control unit 4 determines that the acoustic information has not been acquired from the creator CR (steps S302, No), the control unit 4 repeats the determination process of step S302 until the acoustic information is acquired.
  • step S302, Yes when it is determined that the acoustic information has been acquired from the creator CR (step S302, Yes), the control unit 4 stores the acquired acoustic characteristics in association with the VR spherical image provided to the creator CR (step S302, Yes). Step S303), the process is terminated.
  • the present technology can also have the following configurations.
  • An acquisition unit that acquires location information about the location seen by the user listening to the acoustic content
  • a storage unit that stores acoustic information related to acoustics at the location
  • An acoustic processing device having a processing unit that converts the acoustic characteristics of the acoustic content into acoustic characteristics according to the location based on the acoustic information and reproduces the sound field.
  • the storage unit Memorize the virtual reality spherical image of the above location, The processing unit The acoustic processing device according to (1), wherein the user visually recognizes the virtual reality spherical image during sound field reproduction of the acoustic content.
  • the storage unit The virtual reality spherical image including the screen on which the image content corresponding to the acoustic content is displayed at the place and the image of the surrounding environment of the screen is stored.
  • the processing unit The sound processing device according to (2), wherein the video content is displayed on the screen in the virtual reality spherical image.
  • the storage unit The virtual reality spherical image including the four screens on which the image content corresponding to the acoustic content is displayed at the location is stored.
  • the processing unit The video content is displayed on one of the four screens in the virtual reality spherical image, and the image of the surrounding environment of the place is displayed on the other three screens (2).
  • the acquisition unit An image of the whereabouts imaged by the user is acquired,
  • the processing unit The acoustic processing device according to (1) above, wherein the acoustic characteristics of the location are predicted from the image of the location, the acoustic characteristics of the acoustic content are converted into the predicted acoustic characteristics, and the sound field is reproduced.
  • the processing unit The acoustic processing apparatus according to (5) above, which predicts the acoustic characteristics of the space based on the size of the space of the location predicted from the image of the location.
  • the processing unit The acoustic processing apparatus according to (6) above, which predicts reverberation characteristics and reverberation characteristics in the space.
  • the processing unit The sound processing apparatus according to (6), wherein the number of sound output positions and the sound output characteristics of the acoustic content to be arranged are changed according to the size of the space of the location predicted from the image of the location. (9) The processing unit When a predetermined area including the center of the visual field of the user is selected from the image of the location by the user, the sound output position of the acoustic content is arranged so as to surround the predetermined area. Any of the above (5) to (8). The sound processing device described in Crab. (10) The acquisition unit An image selected from images previously captured by the user or an image viewed by the user via a communication network is acquired.
  • the processing unit The acoustic processing apparatus according to (1), wherein the acoustic characteristics of a place reflected in the image are predicted, the acoustic characteristics of the acoustic content are converted into the predicted acoustic characteristics, and the sound field is reproduced.
  • the acquisition unit Acquire the position information of the user, which is positioned by GPS (Global Positioning System),
  • the processing unit The acoustic processing apparatus according to (1), wherein the user's location is predicted from the user's position information, the acoustic characteristics of the acoustic content are converted into the predicted acoustic characteristics of the location, and the sound field is reproduced.
  • a providing unit that provides the acoustic content, the virtual reality spherical image of the place where the acoustic content is reproduced in the sound field, and the acoustic information to the creator of the acoustic content.
  • the acquisition unit Acquires the acoustic information changed by the creator,
  • the storage unit The acoustic content provided to the creator and the virtual reality all-sky image of the place where the acoustic content is reproduced in the sound field are stored in association with the acoustic information changed by the creator in (2).
  • the described acoustic processing device is described.
  • the storage unit The acoustic processing apparatus according to any one of (1) to (12) above, which stores the acoustic information generated based on the acoustic measured at the location.
  • the storage unit Memorize the user's head-related transfer function
  • the processing unit The acoustic processing device according to any one of (1) to (13), wherein the acoustic characteristics of the acoustic content are converted by applying the head-related transfer function of the user for each user.
  • the storage unit The sound processing device according to (14), which stores the head-related transfer function derived based on the sound recorded by the ear microphone worn by the user.
  • the storage unit Based on the sound of time recorded by the user-mounted ear microphone and the sound wave characteristics depend on the user, and the sound of time recorded by the ear microphone mounted on the doll and the sound wave characteristics depend on the location.
  • the acoustic processing apparatus according to (14) above which stores the head-related transfer function derived from the above.
  • the storage unit The acoustic processing device according to (14), which stores the head-related transfer function derived based on the image of the user's ear.
  • a computer-executed sound processing method The acquisition process to acquire location information about the location seen by the user listening to the acoustic content, A storage process for storing acoustic information about acoustics at the location, An acoustic processing method including a processing step of converting the acoustic characteristics of the acoustic content into acoustic characteristics according to the location based on the acoustic information and reproducing the sound field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本開示に係る音響処理装置（１）は、取得部（４１）と、記憶部（３）と、処理部（４２）とを有する。取得部（４１）は、音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する。記憶部（３）は、場所における音響に関する音響情報（３４）を記憶する。処理部（４２）は、音響情報（３４）に基づいて音響コンテンツの音響特性を場所に応じた音響特性に変換して音場再生させる。

Description

音響処理装置、音響処理方法、および音響処理プログラム
　本開示は、音響処理装置、音響処理方法、および音響処理プログラムに関する。
　複数のマイクロホンで集音した音場の信号から波面合成法を用いて生成する駆動信号によってスピーカを駆動し、仮想的に集音場所の音場を再現する音場集音生成装置がある（例えば、特許文献１参照）。
特開２０１５－１７１１１１号公報
　しかしながら、音場を再現するだけでは、音響の聞き手に十分な臨場感を与えることができない場合がある。そこで、本開示では、音響の聞き手に与える臨場感を高めることができる音響処理装置、音響処理方法、および音響処理プログラムを提案する。
　本開示に係る音響処理装置は、取得部と、記憶部と、処理部とを有する。取得部は、音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する。記憶部は、前記場所における音響に関する音響情報を記憶する。処理部は、前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる。
本開示に係る音響処理装置による音響処理の概要を示す説明図である。 本開示に係る音響処理装置の構成の一例を示すブロック図である。 本開示に係るＶＲ全天球映像の作成方法の説明図である。 本開示に係る音響情報の一例を示す説明図である。 本開示に係るＨＲＴＦの計測方法の説明図である。 本開示に係るＨＲＴＦの計測方法の説明図である。 本開示に係る音響処理装置の動作例の説明図である。 本開示に係る音響処理装置の動作例の説明図である。 本開示に係る音響処理装置の動作例の説明図である。 本開示に係る音響処理装置の動作例の説明図である。 本開示に係る音響処理装置の制御部が実行する処理の一例を示すフローチャートである。 本開示に係る音響処理装置の制御部が実行する処理の一例を示すフローチャートである。 本開示に係る音響処理装置の制御部が実行する処理の一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（１．音響処理の概要）
　図１は、本開示に係る音響処理装置１による音響処理の概要を示す説明図である。音響処理装置１は、例えば、映画、音楽ライブ、楽曲のプロモーションビデオ、テレビ番組、および楽曲等の音響コンテンツの音響特性を録音場所の音響特性に変換することによって録音場所の音場を再現した状態で音場再生させる装置である。
　ここで、音響処理装置１は、録音場所の音場を再現するだけでは、音響コンテンツの聞き手に十分な臨場感を与えることができない場合がある。具体的には、音響処理装置１は、音響コンテンツの音響特性が測定された測定場所と、音響コンテンツの再生場所とが一致している場合には、聞き手にまるでその場にいるかのような臨場感を与えることができるが、そうでない場合には臨場感が半減する。
　例えば、音響処理装置１は、自宅で映画を視聴するユーザへ映画館の残響特性や反響特性等を再現した音響特性に変換した映画の音響コンテンツを提供しても、ユーザの居場所が自宅であるため、映画館にいるかのような感覚をユーザに与えることは困難である。
　そこで、音響処理装置１は、例えば、仮想現実（以下、ＶＲ：Virtual　Realityと記載する）等の技術を利用して、音響コンテンツの音響情報が測定された測定場所を再現した上で、測定場所の音響特性を再現した音響コンテンツを音場再生させる。
　例えば、図１に示すように、音響処理装置１は、予め映画の映像コンテンツＤ１と、映画の音響コンテンツＤ２と、映画館の音響情報Ｄ３とに加えて、映画館内のＶＲ全天球映像Ｄ４を記憶する（ステップＳ０１）。映画館の音響情報Ｄ３には、映画館内の音響特性に関する種々のパラメータが含まれる。
　そして、音響処理装置１は、例えば、ユーザＵが携帯するスマートフォン等のユーザ端末１１から映画のコンテンツの提供要求を取得した場合に、ユーザＵのユーザ端末１１へ映画の映像コンテンツＤ１と、映画の音響コンテンツＤ２とを送信して提供する。
　このとき、音響処理装置１は、映画館の音響情報Ｄ３に基づいて、映画の音響コンテンツＤ２の音響特性を映画館の音響特性に変換し、さらに、映画館内のＶＲ全天球映像Ｄ４と共にユーザ端末１１へ提供する（ステップＳ０２）。
　映画館のＶＲ全天球映像Ｄ４には、映画館に設置されたスクリーンの画像と、観客席や映画館の壁および天井等が含まれるスクリーンの周囲環境の画像とが含まれている。音響処理装置１は、映画の映像コンテンツＤ１に対して、映画館内のＶＲ全天球映像Ｄ４におけるスクリーンの位置を映画の映像コンテンツＤ１の表示位置とすることを示す情報を付加してユーザ端末１１へ提供する。
　これにより、音響処理装置１は、例えば、ユーザＵが装着するヘッドマウントディスプレイ１２に映画館内のＶＲ全天球映像Ｄ４を表示させ、ＶＲ全天球映像Ｄ４内のスクリーンに映画の映像コンテンツＤ１を表示させることができる（ステップＳ０３）。
　同時に、音響処理装置１は、例えば、ユーザＵが装着するイヤホン１３によって、音響特性を映画館内の音響特性に変換した映像コンテンツＤ１の音響コンテンツＤ２を音場再生することができる（ステップＳ０４）。
　このように、音響処理装置１は、スクリーンに映し出される映画の映像コンテンツＤ１だけではなく、映画館の客席や壁および天井等といったスクリーンの周囲環境までユーザＵに視認させながら、音響コンテンツＤ２をユーザＵに聞かせることができる。
　これにより、音響処理装置１は、例えば、自宅で映画の映像コンテンツを視聴するユーザＵに対して、まるで映画館で映画を見ているかのような臨場感を与えることができる。ここでは、映画館内のＶＲ全天球映像Ｄ４をヘッドマウントディスプレイ１２に表示させたが、音響処理装置１は、映画館内のＶＲ全天球映像Ｄ４に代えて、映画館内を再現した３ＤＣＧ（Dimensional　Computer　Graphics）映像を表示させてもよい。なお、図１を参照して説明した音響処理装置１の動作は一例である。音響処理装置１の他の動作例については、図７～図１０を参照して後述する。
（２．音響処理装置の構成）
　次に、図２を参照し、音響処理装置１の構成の一例について説明する。図２は、本開示に係る音響処理装置１の構成の一例を示すブロック図である。図２に示すように、音響処理装置１は、通信部２と、記憶部３と、制御部４とを備える。
　通信部２は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部２は、例えば、インターネット等の通信ネットワークＮを介して有線又は無線によって、ユーザ端末１１、音響情報作成装置１００、およびクリエータ端末１０１と情報通信可能に接続される。
　音響情報作成装置１００は、後述する音響情報３４を作成する装置である。また、クリエータ端末１０１は、音響処理装置１によってユーザＵに提供される音響コンテンツ３２を作成するクリエータが使用する端末装置である。
　記憶部３は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。かかる記憶部３は、映像コンテンツ３１、音響コンテンツ３２、ＶＲ映像情報３３、および音響情報３４等を記憶する。
　映像コンテンツ３１は、映画、音楽ライブ、楽曲のプロモーションビデオ、およびテレビ番組等の複数の映像データであり、音響処理装置１によってユーザ端末１１へ提供されるコンテンツデータである。
　音響コンテンツ３２は、映画、音楽ライブ、楽曲のプロモーションビデオ、テレビ番組、および楽曲等の複数の音声データであり、音響処理装置１によってユーザ端末１１へ提供されるコンテンツデータである。
　ＶＲ映像情報３３は、種々の場所で撮像された複数のＶＲ全天球映像を含む。ここで、図３を参照し、ＶＲ全天球映像の作成方法の一例について説明する。図３は、本開示に係るＶＲ全天球映像の作成方法の説明図である。
　図３に示すように、ＶＲ全天球映像を作成する場合には、音響コンテンツ３２が再生される各場所に、３６０°カメラ１０２を設置し、３６０°カメラ１０２によって、その場所の前後上下左右全方位の画像を撮像することによって、ＶＲ全天球映像Ｖｒを撮像する。
　これにより、例えば、映画館に３６０°カメラ１０２を設置して撮像を行うことにより、図１に示した映画館のスクリーンと、映画館の客席や壁および天井等といったスクリーンの周囲環境の画像とを含むＶＲ全天球映像Ｖｒを作成することができる。
　なお、図１に示す例では、１面のスクリーンが設置される映画館を例に挙げたが、本開示では、正面、左右両側面、および底面の４面スクリーンがある映画館のＶＲ全天球映像Ｖｒを作成することもできる。
　かかる場合、音響処理装置１は、４面のスクリーンのうち、正面の１面のスクリーンに映像コンテンツ３１を表示させ、他の３面のスクリーンに映画館の周囲環境を表示させる。これによっても、音響処理装置１は、ユーザに与える臨場感を向上させることができる。
　図２へ戻り、音響情報３４について説明する。音響情報３４は、音響コンテンツ３２が音場再生される各場所における音響に関する複数の情報を含む。ここで、図４を参照し、音響情報３４の一例について説明する。図４は、本開示に係る音響情報３４の一例を示す説明図である。
　図４に示すように、音響情報３４は、音響処理装置１によって映像コンテンツ３１や音響コンテンツ３２を提供するユーザ毎に設けられる。音響情報３４は、ユーザＩＤと、ユーザの頭部伝達関数（以下、ＨＲＴＦ：Head　Related　Transfer　Functionと記載する）と、場所と、ＶＲ映像と、音響パラメータとが対応付けられた情報である。
　ユーザＩＤは、各ユーザを識別するための識別情報である。ＨＲＴＦは、音源からユーザの耳への音の届き方を数学的に表した各ユーザ固有の関数情報である。ここで、図５および図６を参照し、ＨＲＴＦの計測方法について説明する。
　図５および図６は、本開示に係るＨＲＴＦの計測方法の説明図である。例えば、図１を参照して説明した映画館の音響情報Ｄ３に含まれるＨＲＴＦを計測する場合、図５に示すように、ユーザＵに映画館Ｍｔの客席でイヤマイクロホン１４を装着してもらい、映画館のスピーカＳＰから試験信号Ｔｓを出音させる。
　そして、音響情報作成装置１００は、ユーザＵの左耳に装着されたイヤマイクロホン１４によって集音された音声信号ＳＬと、ユーザＵの右耳に装着されたイヤマイクロホン１４によって集音された音声信号ＳＲとを取得する。
　そして、音響情報作成装置１００は、取得した２つの音声信号ＳＬ，ＳＲの時間的なズレ、信号レベル（強度）のズレ、響きの違い等に基づいて、ユーザＵのＨＲＴＦを導出する。このように、音響情報作成装置１００は、ユーザＵによって聞かれる試験信号Ｔｓを実測することによって、ユーザＵの正確なＨＲＴＦを導出することができる。
　なお、ＨＲＴＦは、ユーザＵが試験信号Ｔｓを聴く場所（環境）によって異なる。このため、例えば、ユーザが音響コンテンツ３２を聴きながら見たい場所の映像が複数ある場合には、ユーザに各場所に来てもらい、ＨＲＴＦを計測して導出する必要があり、かかる作業はユーザにとって負担となる。
　このため、音響情報作成装置１００は、ユーザＵの負担を軽減しつつ、複数の場所でのユーザＵのＨＲＴＦを導出することもできる。例えば、図６に示すように、ユーザＵの耳に装着されたイヤマイクロホン１４によって集音される音声信号は、始めの所定時間部分に音波特性がユーザＵに依存する時間があり、それ以降に音波特性が場所に依存する時間がある。
　このため、音響情報作成装置１００は、例えば、１箇所の場所へユーザＵに来てもらい、イヤマイクロホン１４によって試験信号Ｔｓを集音し、ユーザＵに依存する時間の部分の音声信号波形を取得する。その後、音響情報作成装置１００は、イヤマイクロホン１４を装着させたダミー人形ＤＭをユーザＵが望む複数の場所に設置して、音波特性が場所に依存する時間の部分の音声信号波形を取得する。
　そして、音響情報作成装置１００は、ユーザＵに依存する時間の部分の音声信号波形と、複数の場所でダミー人形を使用して取得した場所に依存する時間の部分の音声信号波形とを合成し、合成信号に基づいて、各場所におけるユーザＵのＨＲＴＦを導出する。
　これにより、音響情報作成装置１００は、実測する場合に比べて精度が若干下がるが、ユーザＵの負担を軽減しつつ、ユーザＵが望む複数の場所におけるユーザＵのＨＲＴＦを導出することができる。
　また、音響情報作成装置１００は、例えば、ユーザＵに自身の耳の写真を撮像して画像データを送信してもらい、耳の画像データに基づいてユーザＵのＨＲＴＦを推定して導出することもできる。かかる場合、音響情報作成装置１００は、耳の映像を含む画像データが入力された場合に、その耳に対応するＨＲＴＦを出力するように機械学習された学習モデルを使用して、ユーザＵのＨＲＴＦを導出する。
　これにより、音響情報作成装置１００は、ユーザＵにＨＲＴＦを測定する場所へ来てもらわなくても、ユーザのＨＲＴＦを推定して導出することができるので、ＨＲＴＦの計測に要するユーザＵの負担をさらに軽減することができる。
　図３へ戻り、音響情報３４の説明を続ける。音響情報３４に含まれる場所は、事前に登録されたユーザＵが音響コンテンツ３２を聴きながら見たい場所を識別するための識別情報である。ＶＲ映像は、音響情報３４に含まれる場所に対応するＶＲ全天球映像を識別するための識別情報である。
　音響パラメータは、各場所における複数の出音位置毎に、残響時間等の残響特性や、音波の反射係数等の反響特性を示す数値が対応付けられる。音響情報作成装置１００は、各場所で実際の音響を測定し、収集した音響に基づいて音響パラメータを導出する。これにより、音響情報作成装置１００は、実際の場所に即した正確な音響パラメータを導出することができる。なお、図４では、各項目のデータを「Ａ０１」や「Ｂ０１」のように概念的に記載しているが、実際には、各項目のデータには、各項目に対応した具体的なデータが記憶される。
　音響情報作成装置１００は、作成した音響情報３４を音響処理装置１へ送信する。音響処理装置１は、音響情報作成装置１００から受信する音響情報３４を記憶部３に記憶させる。なお、ここでは、音響情報作成装置１００が音響情報３４を作成する場合について説明したが、音響処理装置１が音響情報作成装置１００と同様の機能および構成を備え、自装置によって音響情報３４を作成して記憶部３に記憶させる構成であってもよい。
　図２へ戻り、制御部４について説明する。制御部４は、例えば、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。
　制御部４は、ＣＰＵがＲＯＭに記憶された各種プログラム（実施形態に係る音響処理プログラムの一例に相当）を、ＲＡＭを作業領域として使用して実行することにより機能する取得部４１と、処理部４２、と提供部４３とを備える。
　なお、制御部４が備える取得部４１、処理部４２、提供部４３は、それぞれ一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。
　取得部４１、処理部４２、提供部４３は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、制御部４の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　取得部４１は、例えば、ユーザＵから映像コンテンツ３１および音響コンテンツ３２の提供要求を取得する。また、取得部４１は、ユーザＵから映像コンテンツ３１および音響コンテンツ３２の提供要求を取得した場合に、音響コンテンツ３２を聴くユーザによって見られる場所に関する情報をユーザ端末１１から取得する。
　例えば、取得部４１は、ユーザ端末１１から映画の映像コンテンツＤ１および映画の音響コンテンツＤ２の提供要求を取得し、ユーザ端末１１から場所情報として映画館を示す情報を取得した場合、ユーザ端末１１から取得した情報を処理部４２へ出力する。
　処理部４２は、ユーザ端末１１から取得された情報が取得部４１から入力された場合に、音響情報３４に基づいて、音響コンテンツ３２の音響特性をユーザ端末１１から取得された場所情報に対応する場所に応じた音響特性に変換して提供部４３へ出力する。
　このとき、処理部４２は、ユーザＵ毎に、ユーザＵのＨＲＴＦを適用して、音響コンテンツ３２の音響特性を変換する。これにより、処理部４２は、ユーザＵにとって最適な音響特性となるように、音響コンテンツ３２の音響特性を変換することができる。処理部４２は、音響特性変換後の音響コンテンツ３２と合わせて、ユーザ端末１１から取得された情報を提供部４３へ出力する。
　提供部４３は、処理部４２から入力される音響コンテンツ３２と、場所情報に対応する場所のＶＲ全天球映像と、ユーザによって提供要求された映像コンテンツ３１とをユーザ端末１１へ送信する。
　これにより、音響処理装置１は、例えば、図１に示したように、スクリーンに映し出される映画の映像コンテンツＤ１だけではなく、映画館の客席や壁および天井等といったスクリーンの周囲環境までユーザＵに視認させることができる。
　そして、音響処理装置１は、同時に、映画館の音響特性に変換した映画の音響コンテンツＤ２をユーザに聴かせることができる。したがって、音響処理装置１は、例えば、自宅で映画の映像コンテンツを視聴するユーザＵに対して、まるで映画館で映画を見ているかのような臨場感を与えることができる。
　なお、ここまでは、取得部４１がユーザ端末１１から映像コンテンツ３１および音響コンテンツ３２の提供要求を取得する場合について説明したが、取得部４１は、ユーザ端末１１から音響コンテンツ３２の提供要求と合わせて、ユーザＵの居場所の画像を取得する場合がある。
　かかる場合、処理部４２は、ユーザＵの居場所に応じて音響コンテンツ３２の音響特性を変換し、変換後の音響コンテンツ３２を提供部４３によってユーザ端末１１へ送信し、ユーザ端末１１によって音場再生させる。かかる音響処理装置１の動作例については、図７および図８を参照して後述する。
　また、取得部４１は、音響コンテンツ３２を作成したクリエータから音響コンテンツ３２の音響情報３４、および音響コンテンツ３２が音場再生される場所のＶＲ全天球映像の提供要求を取得する場合がある。かかる場合の音響処理装置１の動作例については、図１０を参照して後述する。
（３．音響処理装置の動作例）
　次に、図７～図１０を参照し、音響処理装置１の動作例について説明する。図７～図１０は、本開示に係る音響処理装置１の動作例の説明図である。
　図７に示すように、音響処理装置１の取得部４１は、例えば、ユーザＵが車両Ｃ内に居るときに、ユーザ端末１１によって撮像された居場所（ここでは、車両Ｃの車室内）が撮像された画像Ｐｉｃ１と、音響コンテンツ３２の提供要求とを取得する場合がある。
　かかる場合、音響処理装置１は、居場所の画像Ｐｉｃ１から居場所の音響特性を予測し、音響コンテンツ３２の音響特性を予測した音響特性に変換してユーザ端末１１によって音場再生させる。例えば、音響処理装置１の処理部４２は、画像Ｐｉｃ１を画像認識することによって、ユーザＵの居場所を車両Ｃの車室内の空間と判定する。
　その後、処理部４２は、画像Ｐｉｃ１から車室内の前後方向の長さＬ、横方向の長さＷ、および高さ方向の長さＨを推定して車室内の空間の広さを予測し、車室内の空間の広さに基づいて、車室内の空間の反響特性および残響特性等の音響特性を予測する。
　続いて、処理部４２は、音響コンテンツ３２の音響特性を予測した音響特性に変換し、例えば、車室内の前方中央位置に仮想スピーカＳｐＣを配置し、中央から左右にそれぞれ３０°離れた位置に仮想スピーカＳｐＬ，ＳｐＲを配置する。
　そして、処理部４２は、３つの仮想スピーカＰｃＣ，ＳｐＬ，ＳｐＲから出音されているように聞こえるように、音響コンテンツ３２の音響特性を変換して、提供部４３へ出力し、提供部４３によってユーザ端末１１へ音響コンテンツ３２を送信させる。
　これにより、音響処理装置１は、例えば、ユーザＵがイヤホンで音響コンテンツ３２を聴く場合に、高音質なカーオーディオで音響コンテンツ３２を聴いているかのような、臨場感をユーザＵに与えることができる。
　また、図８に示すように、取得部４１は、ユーザＵが自宅のリビングルームにいるときに、ユーザＵによって居場所が撮像された画像Ｐｉｃ２と、映像コンテンツ３１および音響コンテンツ３２の提供要求とを取得する場合がある。
　また、このとき、取得部４１は、例えば、ユーザＵによって、画像Ｐｉｃ２からユーザＵの視野中心を含む所定領域Ａ（ここでは、テレビＴｖを囲む領域）が選択されたことを示す情報を取得する場合がある。
　かかる場合、処理部４２は、所定領域Ａを囲むように、音響コンテンツ３２の出音位置となる仮想スピーカＳｐ１，Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６を配置する。そして、処理部４２は、仮想スピーカＳｐ１，Ｓｐ２，Ｓｐ３，Ｓｐ４，Ｓｐ５，Ｓｐ６から出音されているように聞こえるように、音響コンテンツ３２の音響特性を変換して、提供部４３へ出力する。
　提供部４３は、ユーザＵによって提供要求された映像コンテンツ３１と、処理部４２によって音響特性が変換された音響コンテンツ３２とをユーザ端末１１へ送信し、映像コンテンツ３１の表示および音響コンテンツ３２の音場再生を行わせる。
　これにより、音響処理装置１は、ユーザＵがイヤホンで音響コンテンツ３２を聴く場合に、テレビＴｖで映像コンテンツ３１を表示中に、高音質なオーディオ装置で音響コンテンツ３２を聴いているかのような、臨場感をユーザＵに与えることができる。
　また、このとき、例えば、図９に示すように、ユーザＵがテレビＴｖでアニメーションの作品Ｖｄを視聴している場合がある。かかる場合、音響処理装置１は、作品Ｖｄに登場するキャラクタの拡張現実（ＡＲ：Augmented　Reality）画像Ｃａ，Ｃｃ，ＣｄをヘッドマウントディスプレイＣｂによって、ユーザの周囲に表示させることもできる。これにより、音響処理装置１は、ユーザＵに与える臨場感をさらに向上させることができる。
　なお、ここでは、ユーザＵによって撮像された画像からユーザの居場所を予測したが、これは一例である。取得部４１は、例えば、ユーザ端末１１が備えるＧＰＳ（Global　Positioning　System）によって測位されるユーザＵの位置情報を取得することもできる。
　この場合、処理部４２は、取得部によって取得されるユーザの位置情報からユーザの居場所を予測し、音響コンテンツ３２の音響特性を予測した居場所の音響特性に変換して音場再生させる。これにより、処理部４２は、音響コンテンツ３２の音響特性を、ＧＰＳによって測位されたユーザＵの正確な居場所に応じた音響特性に変換することができる。
　また、取得部４１は、ユーザ端末１１からユーザＵによって過去に撮像された画像から選択された画像、または通信ネットワークＮを介してユーザＵによって閲覧された画像を取得することもできる。
　この場合、処理部４２は、取得部４１によって取得された画像に写る場所の音響特性を予測し、音響コンテンツの音響特性を予測した音響特性に変換して音場再生させる。これにより、音響処理装置１は、例えば、ユーザＵが過去に訪れた思い出の場所や、過去に閲覧した画像に写るお気に入りの場所で音響コンテンツ３２を聴いているかのような臨場感をユーザＵに与えることができる。
　また、処理部４２は、画像から予測するユーザＵが居る場所の空間の広さに応じて、音響コンテンツ３２の出音位置となる仮想スピーカを配置する数、および仮想スピーカの出音特性を変更する。例えば、処理部４２は、予測する空間の広さが広くなるほど、配置する仮想スピーカの数を増加させる。
　また、処理部４２は、予測する空間の広さがさらに広くなる場合には、例えば、サラウンドスピーカのように、３６０°の方向から音響コンテンツ３２が聴こえるような出音特性の仮想スピーカを配置する。これにより、音響処理装置１は、ユーザ端末１１によってユーザＵの居場所の広さに応じた最適な音場再生を行わせることができる。
　また、取得部４１は、例えば、音響コンテンツ３２を作成したクリエータから音響コンテンツ３２の音響情報３４、および音響コンテンツ３２が音場再生される場所のＶＲ全天球映像の提供要求を取得する場合がある。
　かかる場合、図１０に示すように、音響処理装置１の処理部４２は、提供部４３によってクリエータ端末１０１へ提供要求された音響コンテンツ３２、音響情報３４、およびＶＲ映像情報３３をクリエータＣＲが使用するクリエータ端末１０１へ送信させる。
　これにより、クリエータＣＲは、例えば、ＶＲ映像情報３３に含まれる映画館のＶＲ全天球映像Ｖｒを見ながら、自身の作成意図に基づいて音響情報３４を変更することができる。例えば、クリエータＣＲは、現状では、映画館のスクリーンの両脇に仮想スピーカＳｐが配置されているように聞こえる音響情報３４を、スクリーンの両脇から更に離れた位置に仮想スピーカＳｐが配置されているように聞こえる音響情報３４に変更することができる。
　さらに、クリエータＣＲは、例えば、スクリーンの上に新たな仮想スピーカＳｐＵが配置され、スクリーンの下に新たな仮想スピーカＳｐＤが配置されているように聞こえる音響情報３４に変更することができる。このとき、クリエータＣＲは、自身のＨＲＴＦを適用した音響コンテンツ３２を聴いて音響情報３４を変更する。
　そして、クリエータＣＲは、変更した音響情報３４ａと、音響コンテンツ３２ａと、ＶＲ映像情報３３とをクリエータ端末１０１から音響処理装置１へ送信する。音響処理装置１は、クリエータ端末１０１から受信する音響情報３４ａと、音響コンテンツ３２ａと、ＶＲ映像情報３３とを記憶部３に記憶させる。
　これにより、音響処理装置１は、次回、音響コンテンツ３２ａをユーザＵへ提供する場合に、クリエータＣＲの作成意図が反映された音響特性で音響コンテンツ３２ａを音場再生させることができる。このとき、音響処理装置１は、ユーザＵのＨＲＴＦを適用した音響コンテンツ３２ａをユーザＵへ提供することによって、ユーザＵにとって最適な音響特性の音響コンテンツ３２ａを音場再生させることができる。
（４．音響処理装置が実行する処理）
　次に、図１１～図１３を参照し、音響処理装置１の制御部４が実行する処理の一例について説明する。図１１～図１３は、本開示に係る音響処理装置１の制御部４が実行する処理の一例を示すフローチャートである。
　音響処理装置１の制御部４は、ユーザ端末１１のユーザＵから音響および映像を含むコンテンツの提供要求を取得した場合に、図１１に示す処理を実行する。具体的には、制御部４は、ユーザＵからコンテンツの提供要求を取得すると、まず、ユーザＵからユーザＵが所望するコンテンツおよび場所情報を取得する（ステップＳ１０１）。
　続いて、制御部４は、ユーザが所望するコンテンツに対応する音響コンテンツの音響特性を場所情報に対応する音響特性に応じた音響特性に変換する（ステップＳ１０２）。その後、制御部４は、ユーザＵへ映像コンテンツと、音響特性を変換した音響コンテンツと、音響コンテンツおよび映像コンテンツが再生されるときにユーザＵに視認させるＶＲ全天球映像を提供して音場再生させ（ステップＳ１０３）、処理を終了する。
　また、制御部４は、ユーザから音響コンテンツの提供要求と、ユーザによって撮像さえたユーザの居場所が写った画像とを取得した場合に、図１２に示す処理を実行する。具体的には、制御部４は、ユーザＵからコンテンツの提供要求と撮像画像とを取得すると、まず、撮像画像に写る空間の音響特性を予測する（ステップＳ２０１）。
　続いて、制御部４は、ユーザＵが所望するコンテンツに対応する音響コンテンツの音響特性をステップＳ２０１で予測した空間の音響特性に変換する（ステップＳ２０２）。その後、制御部４は、ユーザＵへ音響特性を変換した音響コンテンツを提供して音場再生させ（ステップＳ２０３）、処理を終了する。
　また、制御部４は、ユーザによって撮像画像における所定領域Ａが選択されている場合には、所定領域Ａを囲むように音響コンテンツの出音位置を配置する処理を行って、ユーザＵへ音響コンテンツを提供する。
　このとき、制御部４は、ユーザによって選択される所定領域Ａの広さに応じて、配置する音響コンテンツの出音位置の数および出音特性を変更して、ユーザＵへ音響コンテンツを提供する。
　なお、制御部４は、ユーザＵから音響および映像を含むコンテンツの提供要求と、ユーザの居場所が写った撮像画像を取得した場合にも、撮像画像に写る空間の音響特性を予測し、予測した音響特性に変換した音響コンテンツをユーザＵへ提供することができる。
　また、制御部４は、例えば、音響コンテンツのクリエータＣＲから音響コンテンツの音響情報と、音響コンテンツを音場再生する場所の提供要求を取得した場合に、図１３に示す処理を実行する。
　具体的には、制御部４は、クリエータＣＲから音響情報と場所の提供要求を取得した場合に、まず、クリエータＣＲへ音響情報と、音響情報に対応する音響コンテンツが音場再生される場所のＶＲ全天球映像を提供する（ステップＳ３０１）。
　続いて、制御部４は、クリエータＣＲから変更された音響情報を取得したか否かを判定する（ステップＳ３０２）。そして、制御部４は、クリエータＣＲから音響情報を取得していないと判定した場合（ステップＳ３０２，Ｎｏ）、音響情報を取得するまでステップＳ３０２の判定処理を繰り返す。
　そして、制御部４は、クリエータＣＲから音響情報を取得したと判定した場合（ステップＳ３０２，Ｙｅｓ）、取得した音響特性と、クリエータＣＲへ提供したＶＲ全天球映像とを対応付けて記憶し（ステップＳ３０３）、処理を終了する。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得部と、
　前記場所における音響に関する音響情報を記憶する記憶部と、
　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理部と
　を有する音響処理装置。
（２）
　前記記憶部は、
　前記場所の仮想現実全天球映像を記憶し、
　前記処理部は、
　前記音響コンテンツの音場再生中に前記仮想現実全天球映像をユーザに視認させる
　前記（１）に記載の音響処理装置。
（３）
　前記記憶部は、
　前記場所において前記音響コンテンツに対応する映像コンテンツが表示されるスクリーンと、前記スクリーンの周囲環境の画像とを含む前記仮想現実全天球映像を記憶し、
　前記処理部は、
　前記仮想現実全天球映像中の前記スクリーンに前記映像コンテンツを表示させる
　前記（２）に記載の音響処理装置。
（４）
　前記記憶部は、
　前記場所において前記音響コンテンツに対応する映像コンテンツが表示される４面のスクリーンを含む前記仮想現実全天球映像を記憶し、
　前記処理部は、
　前記仮想現実全天球映像中の前記４面のスクリーンのうちの１面のスクリーンに前記映像コンテンツを表示させ、他の３面のスクリーンに前記場所の周囲環境の画像を表示させる
　前記（２）に記載の音響処理装置。
（５）
　前記取得部は、
　前記ユーザによって撮像された居場所の画像を取得し、
　前記処理部は、
　前記居場所の画像から前記居場所の音響特性を予測し、前記音響コンテンツの音響特性を予測した音響特性に変換して音場再生させる
　前記（１）に記載の音響処理装置。
（６）
　前記処理部は、
　前記居場所の画像から予測する前記居場所の空間の広さに基づいて前記空間の音響特性を予測する
　前記（５）に記載の音響処理装置。
（７）
　前記処理部は、
　前記空間における残響特性および反響特性を予測する
　前記（６）に記載の音響処理装置。
（８）
　前記処理部は、
　前記居場所の画像から予測する前記居場所の空間の広さに応じて配置する前記音響コンテンツの出音位置の数および出音特性を変更する
　前記（６）に記載の音響処理装置。
（９）
　前記処理部は、
　前記ユーザによって前記居場所の画像から前記ユーザの視野中心を含む所定領域が選択される場合、前記所定領域を囲むように前記音響コンテンツの出音位置を配置する
　前記（５）～（８）のいずれかに記載の音響処理装置。
（１０）
　前記取得部は、
　前記ユーザによって過去に撮像された画像から選択された画像または通信ネットワークを介して前記ユーザによって閲覧された画像を取得し、
　前記処理部は、
　前記画像に写る場所の音響特性を予測し、前記音響コンテンツの音響特性を予測した音響特性に変換して音場再生させる
　前記（１）に記載の音響処理装置。
（１１）
　前記取得部は、
　ＧＰＳ（Global　Positioning　System）によって測位される前記ユーザの位置情報を取得し、
　前記処理部は、
　前記ユーザの位置情報から前記ユーザの居場所を予測し、前記音響コンテンツの音響特性を予測した居場所の音響特性に変換して音場再生させる
　前記（１）に記載の音響処理装置。
（１２）
　前記音響コンテンツのクリエータへ前記音響コンテンツと、前記音響コンテンツが音場再生される場所の前記仮想現実全天球映像および前記音響情報とを提供する提供部
　をさらに備え、
　前記取得部は、
　前記クリエータによって変更された前記音響情報を取得し、
　前記記憶部は、
　前記クリエータへ提供された前記音響コンテンツおよび前記音響コンテンツが音場再生される場所の仮想現実全天球映像と、前記クリエータによって変更された前記音響情報とを対応つけて記憶する
　前記（２）に記載の音響処理装置。
（１３）
　前記記憶部は、
　前記場所において測定された音響に基づいて生成された前記音響情報を記憶する
　前記（１）～（１２）のいずれかに記載の音響処理装置。
（１４）
　前記記憶部は、
　前記ユーザの頭部伝達関数を記憶し、
　前記処理部は、
　前記ユーザ毎に、前記ユーザの頭部伝達関数を適用して前記音響コンテンツの音響特性を変換する
　前記（１）～（１３）のいずれかに記載の音響処理装置。
（１５）
　前記記憶部は、
　前記ユーザに装着されたイヤマイクロホンによって録音された音響に基づいて導出された前記頭部伝達関数を記憶する
　前記（１４）に記載の音響処理装置。
（１６）
　前記記憶部は、
　前記ユーザに装着されたイヤマイクロホンによって録音され、音波特性が前記ユーザに依存する時間の音響と、人形に装着されたイヤマイクロホンによって録音され、音波特性が前記場所に依存する時間の音響とに基づいて導出された前記頭部伝達関数を記憶する
　前記（１４）に記載の音響処理装置。
（１７）
　前記記憶部は、
　前記ユーザの耳の画像に基づいて導出される前記頭部伝達関数を記憶する
　前記（１４）に記載の音響処理装置。
（１８）
　コンピュータが実行する音響処理方法であって、
　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得工程と、
　前記場所における音響に関する音響情報を記憶する記憶工程と、
　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理工程と
　を含む音響処理方法。
（１９）
　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得手順と、
　前記場所における音響に関する音響情報を記憶する記憶手順と、
　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理手順と
　をコンピュータに実行させる音響処理プログラム。
　１　音響処理装置
　２　通信部
　３　記憶部
　３１　映像コンテンツ
　３２　音響コンテンツ
　３３　ＶＲ映像情報
　３４　音響情報
　４　制御部
　４１　取得部
　４２　処理部
　４３　提供部

Claims (19)

  1. 　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得部と、
    　前記場所における音響に関する音響情報を記憶する記憶部と、
    　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理部と
    　を有する音響処理装置。
  2. 　前記記憶部は、
    　前記場所の仮想現実全天球映像を記憶し、
    　前記処理部は、
    　前記音響コンテンツの音場再生中に前記仮想現実全天球映像をユーザに視認させる
    　請求項１に記載の音響処理装置。
  3. 　前記記憶部は、
    　前記場所において前記音響コンテンツに対応する映像コンテンツが表示されるスクリーンと、前記スクリーンの周囲環境の画像とを含む前記仮想現実全天球映像を記憶し、
    　前記処理部は、
    　前記仮想現実全天球映像中の前記スクリーンに前記映像コンテンツを表示させる
    　請求項２に記載の音響処理装置。
  4. 　前記記憶部は、
    　前記場所において前記音響コンテンツに対応する映像コンテンツが表示される４面のスクリーンを含む前記仮想現実全天球映像を記憶し、
    　前記処理部は、
    　前記仮想現実全天球映像中の前記４面のスクリーンのうちの１面のスクリーンに前記映像コンテンツを表示させ、他の３面のスクリーンに前記場所の周囲環境の画像を表示させる
    　請求項２に記載の音響処理装置。
  5. 　前記取得部は、
    　前記ユーザによって撮像された居場所の画像を取得し、
    　前記処理部は、
    　前記居場所の画像から前記居場所の音響特性を予測し、前記音響コンテンツの音響特性を予測した音響特性に変換して音場再生させる
    　請求項１に記載の音響処理装置。
  6. 　前記処理部は、
    　前記居場所の画像から予測する前記居場所の空間の広さに基づいて前記空間の音響特性を予測する
    　請求項５に記載の音響処理装置。
  7. 　前記処理部は、
    　前記空間における残響特性および反響特性を予測する
    　請求項６に記載の音響処理装置。
  8. 　前記処理部は、
    　前記居場所の画像から予測する前記居場所の空間の広さに応じて配置する前記音響コンテンツの出音位置の数および出音特性を変更する
    　請求項６に記載の音響処理装置。
  9. 　前記処理部は、
    　前記ユーザによって前記居場所の画像から前記ユーザの視野中心を含む所定領域が選択される場合、前記所定領域を囲むように前記音響コンテンツの出音位置を配置する
    　請求項５に記載の音響処理装置。
  10. 　前記取得部は、
    　前記ユーザによって過去に撮像された画像から選択された画像または通信ネットワークを介して前記ユーザによって閲覧された画像を取得し、
    　前記処理部は、
    　前記画像に写る場所の音響特性を予測し、前記音響コンテンツの音響特性を予測した音響特性に変換して音場再生させる
    　請求項１に記載の音響処理装置。
  11. 　前記取得部は、
    　ＧＰＳ（Global　Positioning　System）によって測位される前記ユーザの位置情報を取得し、
    　前記処理部は、
    　前記ユーザの位置情報から前記ユーザの居場所を予測し、前記音響コンテンツの音響特性を予測した居場所の音響特性に変換して音場再生させる
    　請求項１に記載の音響処理装置。
  12. 　前記音響コンテンツのクリエータへ前記音響コンテンツと、前記音響コンテンツが音場再生される場所の前記仮想現実全天球映像および前記音響情報とを提供する提供部
    　をさらに備え、
    　前記取得部は、
    　前記クリエータによって変更された前記音響情報を取得し、
    　前記記憶部は、
    　前記クリエータへ提供された前記音響コンテンツおよび前記音響コンテンツが音場再生される場所の前記仮想現実全天球映像と、前記クリエータによって変更された前記音響情報とを対応付けて記憶する
    　請求項２に記載の音響処理装置。
  13. 　前記記憶部は、
    　前記場所において測定された音響に基づいて生成された前記音響情報を記憶する
    　請求項１に記載の音響処理装置。
  14. 　前記記憶部は、
    　前記ユーザの頭部伝達関数を記憶し、
    　前記処理部は、
    　前記ユーザ毎に、前記ユーザの頭部伝達関数を適用して前記音響コンテンツの音響特性を変換する
    　請求項１に記載の音響処理装置。
  15. 　前記記憶部は、
    　前記ユーザに装着されたイヤマイクロホンによって録音された音響に基づいて導出された前記頭部伝達関数を記憶する
    　請求項１４に記載の音響処理装置。
  16. 　前記記憶部は、
    　前記ユーザに装着されたイヤマイクロホンによって録音され、音波特性が前記ユーザに依存する時間の音響と、人形に装着されたイヤマイクロホンによって録音され、音波特性が前記場所に依存する時間の音響とに基づいて導出された前記頭部伝達関数を記憶する
    　請求項１４に記載の音響処理装置。
  17. 　前記記憶部は、
    　前記ユーザの耳の画像に基づいて導出される前記頭部伝達関数を記憶する
    　請求項１４に記載の音響処理装置。
  18. 　コンピュータが実行する音響処理方法であって、
    　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得工程と、
    　前記場所における音響に関する音響情報を記憶する記憶工程と、
    　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理工程と
    　を含む音響処理方法。
  19. 　音響コンテンツを聴くユーザに見られる場所に関する場所情報を取得する取得手順と、
    　前記場所における音響に関する音響情報を記憶する記憶手順と、
    　前記音響情報に基づいて前記音響コンテンツの音響特性を前記場所に応じた音響特性に変換して音場再生させる処理手順と
    　をコンピュータに実行させる音響処理プログラム。
PCT/JP2020/008997 2019-03-19 2020-03-03 音響処理装置、音響処理方法、および音響処理プログラム WO2020189263A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/438,358 US20220312143A1 (en) 2019-03-19 2020-03-03 Acoustic processing apparatus, acoustic processing method, and acoustic processing program
EP20774002.8A EP3944638A4 (en) 2019-03-19 2020-03-03 ACOUSTIC TREATMENT DEVICE, ACOUSTIC TREATMENT METHOD, AND ACOUSTIC TREATMENT PROGRAM
KR1020217027495A KR20210138006A (ko) 2019-03-19 2020-03-03 음향 처리 장치, 음향 처리 방법, 및 음향 처리 프로그램
JP2021507164A JPWO2020189263A1 (ja) 2019-03-19 2020-03-03
CN202080017766.4A CN113519171A (zh) 2019-03-19 2020-03-03 声音处理装置、声音处理方法和声音处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019051931 2019-03-19
JP2019-051931 2019-03-19

Publications (1)

Publication Number Publication Date
WO2020189263A1 true WO2020189263A1 (ja) 2020-09-24

Family

ID=72520227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008997 WO2020189263A1 (ja) 2019-03-19 2020-03-03 音響処理装置、音響処理方法、および音響処理プログラム

Country Status (6)

Country Link
US (1) US20220312143A1 (ja)
EP (1) EP3944638A4 (ja)
JP (1) JPWO2020189263A1 (ja)
KR (1) KR20210138006A (ja)
CN (1) CN113519171A (ja)
WO (1) WO2020189263A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4203502A4 (en) 2020-11-16 2024-03-06 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ITS CONTROL METHOD
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015171111A (ja) 2014-03-11 2015-09-28 日本電信電話株式会社 音場収音再生装置、システム、方法及びプログラム
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
JP2017175458A (ja) * 2016-03-24 2017-09-28 ヤマハ株式会社 撮像装置保持器具
WO2018110269A1 (ja) * 2016-12-12 2018-06-21 ソニー株式会社 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006009004A1 (ja) * 2004-07-15 2006-01-26 Pioneer Corporation 音響再生システム
KR20060022968A (ko) * 2004-09-08 2006-03-13 삼성전자주식회사 음향재생장치 및 음향재생방법
US7792674B2 (en) * 2007-03-30 2010-09-07 Smith Micro Software, Inc. System and method for providing virtual spatial sound with an audio visual player
JP2014093697A (ja) * 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
US20150254340A1 (en) * 2014-03-10 2015-09-10 JamKazam, Inc. Capability Scoring Server And Related Methods For Interactive Music Systems
DE102014210215A1 (de) * 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
CN108605193B (zh) * 2016-02-01 2021-03-16 索尼公司 声音输出设备、声音输出方法、计算机可读存储介质和声音系统
KR20220062684A (ko) * 2016-05-25 2022-05-17 워너 브로스. 엔터테인먼트 인크. 3d 오디오 포지셔닝을 이용하는 가상 또는 증강 현실 프레젠테이션을 생성하기 위한 방법 및 장치
US20170347219A1 (en) * 2016-05-27 2017-11-30 VideoStitch Inc. Selective audio reproduction
US10154365B2 (en) * 2016-09-27 2018-12-11 Intel Corporation Head-related transfer function measurement and application
US10848899B2 (en) * 2016-10-13 2020-11-24 Philip Scott Lyren Binaural sound in visual entertainment media
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US11503423B2 (en) * 2018-10-25 2022-11-15 Creative Technology Ltd Systems and methods for modifying room characteristics for spatial audio rendering over headphones

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015171111A (ja) 2014-03-11 2015-09-28 日本電信電話株式会社 音場収音再生装置、システム、方法及びプログラム
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
JP2017175458A (ja) * 2016-03-24 2017-09-28 ヤマハ株式会社 撮像装置保持器具
WO2018110269A1 (ja) * 2016-12-12 2018-06-21 ソニー株式会社 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3944638A4

Also Published As

Publication number Publication date
US20220312143A1 (en) 2022-09-29
EP3944638A1 (en) 2022-01-26
CN113519171A (zh) 2021-10-19
EP3944638A4 (en) 2022-09-07
KR20210138006A (ko) 2021-11-18
JPWO2020189263A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US11770671B2 (en) Spatial audio for interactive audio environments
Hong et al. Quality assessment of acoustic environment reproduction methods for cinematic virtual reality in soundscape applications
JP7270820B2 (ja) 空間化オーディオを用いた複合現実システム
US10924875B2 (en) Augmented reality platform for navigable, immersive audio experience
US11582556B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
WO2020189263A1 (ja) 音響処理装置、音響処理方法、および音響処理プログラム
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
RU2823573C1 (ru) Аудиоустройство и способ обработки аудио
RU2815366C2 (ru) Аудиоустройство и способ обработки аудио
WO2024084920A1 (ja) 音響処理方法、音響処理装置、及び、プログラム
RU2798414C2 (ru) Аудиоустройство и способ обработки аудио
WO2023173285A1 (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
JP7493411B2 (ja) バイノーラル再生装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20774002

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021507164

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020774002

Country of ref document: EP

Effective date: 20211019