WO2023228900A1 - 信号処理システム、信号処理方法及びプログラム - Google Patents

信号処理システム、信号処理方法及びプログラム Download PDF

Info

Publication number
WO2023228900A1
WO2023228900A1 PCT/JP2023/018937 JP2023018937W WO2023228900A1 WO 2023228900 A1 WO2023228900 A1 WO 2023228900A1 JP 2023018937 W JP2023018937 W JP 2023018937W WO 2023228900 A1 WO2023228900 A1 WO 2023228900A1
Authority
WO
WIPO (PCT)
Prior art keywords
measurement
acoustic signal
measurement data
user
control device
Prior art date
Application number
PCT/JP2023/018937
Other languages
English (en)
French (fr)
Inventor
誉 今
悠 前野
Original Assignee
クレプシードラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クレプシードラ株式会社 filed Critical クレプシードラ株式会社
Publication of WO2023228900A1 publication Critical patent/WO2023228900A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present disclosure relates to a signal processing system, a signal processing method, and a program.
  • Binaural recording is a technology that records sound transmitted to the eardrums of both ears.
  • For binaural recording for example, microphones placed in the ear canals of both ears are used. Playing back binaurally recorded sounds is also referred to as binaural playback.
  • Binaural playback using earphones or headphones can reproduce sound with a three-dimensional effect and a sense of presence, as if you were present at the recording location.
  • Patent Document 1 proposes a binaural recording device that uses a noise-canceling microphone provided on the outside of an earphone that is held in the ear by inserting the earpiece into the ear canal.
  • Patent Document 1 the technology described in Patent Document 1 has only recently been developed, and there is still room for improvement from various viewpoints.
  • the present disclosure has been made in view of the above problems, and the purpose of the present disclosure is to provide a mechanism that allows binaural recording to be performed more easily.
  • a measuring device that acquires measurement data related to transfer characteristics, a first acquisition device that acquires a first acoustic signal, the measuring device and the first acquisition device.
  • a control device connected to each of the devices via a network, the control device correcting the first acoustic signal based on the measurement data acquired by the measurement device, and correcting the second acoustic signal.
  • a signal processing system is provided that generates a signal.
  • the signal processing system further includes a playback device that plays back an audio signal, and a second acquisition device that acquires an audio signal
  • the signal processing system further includes a playback device that plays back an audio signal, and a second acquisition device that acquires an audio signal, and the third sound that is acquired by the second acquisition device and played back by the playback device.
  • the measuring device may transmit a fourth acoustic signal corresponding to the signal to the control device as the measurement data.
  • the measurement device may transmit information indicating the characteristics of the playback device or information indicating the characteristics of the second acquisition device to the control device as the measurement data.
  • the measurement device may transmit information indicating how the second acquisition device acquired the fourth acoustic signal to the control device as the measurement data.
  • the signal processing system includes the two playback devices and the two second acquisition devices, and the two playback devices, the two second acquisition devices, and the measurement device are the two playback devices.
  • a five-pole plug consisting of two terminals for transmitting the third acoustic signal inputted to the second acquisition device, two terminals for transmitting the fourth acoustic signal output from the two second acquisition devices, and one ground terminal.
  • a wired connection may also be made via.
  • the measurement device transmits a fifth acoustic signal acquired by the second acquisition device to the control device as the measurement data at a timing when the reproduction device is not executing the reproduction of the acoustic signal, and the control device
  • the first acoustic signal may be further corrected based on the fifth acoustic signal.
  • the measurement device may include a communication interface capable of cellular communication, and transmit the measurement data to the control device via the communication interface.
  • the measurement device may determine whether or not the acquired measurement data satisfies a predetermined condition, and transmit only the measurement data determined to satisfy the predetermined condition to the control device.
  • the signal processing system further includes a terminal device capable of receiving information input by a user and outputting information to the user, and the terminal device inputs and outputs information regarding acquisition of the measurement data, and outputs information regarding the acquisition of the measurement data.
  • the device may acquire the measurement data using input of information instructing the terminal device to acquire the measurement data as a trigger.
  • the terminal device may output information indicating an action that the user should perform before acquiring the measurement data.
  • the terminal device may refuse input of information instructing to start acquiring the measurement data if the user has not performed the action to be performed before acquiring the measurement data.
  • the control device may generate the second acoustic signal by calculating the transfer characteristic based on the measurement data and convolving an inverse characteristic of the calculated transfer characteristic into the first acoustic signal.
  • measurement data regarding the transfer characteristic is acquired via a network
  • the first acoustic signal acquired by the first acquisition device is A computer-implemented signal processing method, comprising: acquiring the first acoustic signal via the network; and correcting the first acoustic signal based on the measurement data to generate a second acoustic signal.
  • the computer acquires measurement data regarding the transfer characteristic via a network, and the first acoustic wave acquired by the first acquisition device
  • a program is provided for executing the following steps: acquiring a signal via the network; and correcting the first acoustic signal based on the measurement data to generate a second acoustic signal.
  • a mechanism is provided that allows binaural recording to be performed more easily.
  • FIG. 1 is a diagram illustrating an example of a configuration of a signal processing system according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram showing an example of the configuration of a measurement system according to the present embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of a recording system according to the present embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of a control device according to the present embodiment.
  • FIG. 3 is a diagram for explaining measurement of transfer characteristics according to the present embodiment.
  • FIG. 3 is a diagram for explaining binaural recording according to the present embodiment.
  • FIG. 3 is a diagram for explaining binaural playback according to the present embodiment.
  • FIG. 2 is a sequence diagram illustrating an example of the flow of processing executed in the signal processing system according to the present embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of a measurement system according to the present embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of a recording system according to the present embodiment
  • FIG. 2 is a diagram schematically showing an example of the hardware configuration of a measurement earphone and a measurement microphone.
  • FIG. 2 is a diagram for explaining an example of a connection form between a measurement earphone, a measurement microphone, and a measurement device.
  • FIG. 7 is a sequence diagram illustrating an example of the flow of processing executed in the signal processing system according to the first modification.
  • FIG. 7 is a sequence diagram illustrating an example of the flow of processing executed in a signal processing system according to a second modification.
  • FIG. 1 is a diagram showing an example of the configuration of a signal processing system 1 according to an embodiment of the present disclosure.
  • the signal processing system 1 includes a measurement system 2, a first terminal device 3, a recording system 4, a second terminal device 5, and a control device 6.
  • the measurement system 2, the first terminal device 3, the recording system 4, the second terminal device 5, and the control device 6 are connected via a network 9 and can communicate with each other.
  • the network 9 may include a public network in addition to a local network.
  • the network 9 may be configured by a telephone line, the Internet, or the like.
  • the measurement system 2 is a system that acquires measurement data, which will be described later.
  • the measurement system 2 will be explained in detail later.
  • the first terminal device 3 is a device that performs processing related to acquisition of measurement data by the measurement system 2.
  • the first terminal device 3 is capable of accepting information input by a user and outputting information to the user.
  • the first terminal device 3 displays a UI (User Interface) screen for operating the measurement system 2, and notifies the user of information and receives operations from the user.
  • the first terminal device 3 may be realized by a smartphone or the like.
  • the recording system 4 is a system that performs binaural recording.
  • the recording system 4 will be explained in detail later.
  • the second terminal device 5 is a device that acquires binaurally recorded content (that is, an audio signal) and performs various processing on it.
  • the second terminal device 5 is capable of outputting information to the user and receiving information input by the user.
  • the second terminal device 5 acquires content that has been binaurally recorded and subjected to correction processing by the control device 6, and binaurally reproduces the content using playback earphones connected to the second terminal device 5.
  • the second terminal device 5 may be realized by a PC (Personal Computer).
  • the control device 6 is a device that performs correction processing to improve the quality of the content binaurally recorded by the recording system 4. Specifically, the control device 6 corrects the content binaurally recorded by the recording system 4 based on the measurement data acquired by the measurement system 2. Then, the control device 6 transmits the corrected content to the second terminal device 5.
  • FIG. 2 is a diagram showing an example of the configuration of measurement system 2 according to the present embodiment.
  • the measurement system 2 includes measurement earphones 10 (10A and 10B), measurement microphones 20 (20A and 20B), and a measurement device 30.
  • the measurement system 2 includes two measurement earphones 10 and two measurement microphones 20 for each ear.
  • the measurement earphone 10 is an audio output device that reproduces an acoustic signal.
  • the measurement earphone 10 converts the input acoustic signal into sound and emits it into the surrounding space.
  • the measurement earphone 10 can be connected to the measurement device 30 via various devices related to audio signal reproduction, such as a DAC (Digital Analog Converter) and an amplifier.
  • the measurement earphone 10 is used to measure transfer characteristics, which will be described later.
  • the measurement earphone 10 is an example of a playback device in this embodiment.
  • the playback device may include any audio output device such as a speaker in addition to earphones.
  • the measurement microphone 20 is an audio input device that acquires acoustic signals.
  • the measurement microphone 20 converts sounds in the surrounding space into acoustic signals, and outputs the converted acoustic signals.
  • the measurement microphone 20 can be connected to the measurement device 30 via various devices related to acquisition of acoustic signals, such as an ADC (Analog Digital Converter) and an amplifier.
  • the measurement microphone 20 is used to measure transfer characteristics.
  • the measurement microphone 20 may be configured as an audio input device of any type, such as a dynamic microphone, a MEMS (Micro Electro Mechanical Systems) microphone, a condenser microphone, or a laser microphone.
  • the condenser microphone As the condenser microphone, a so-called electret condenser microphone that uses an electret element in the diaphragm, back electrode, or back chamber may be used, in addition to a microphone that applies a direct current voltage to the diaphragm from the outside.
  • the measurement microphone 20 is an example of the second acquisition device in this embodiment.
  • the measurement device 30 is a device that performs processing related to acquisition of measurement data. As shown in FIG. 2, the measuring device 30 includes a communication section 31, a storage section 32, and a control section 33.
  • the communication unit 31 is a communication interface that communicates with other devices by wire or wirelessly.
  • the communication unit 31 performs communication based on any communication standard. Examples of communication standards include LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), cellular communication standards such as 4G or 5G, and USB (Universal Serial Bus).
  • LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • cellular communication standards such as 4G or 5G
  • USB Universal Serial Bus
  • the communication unit 31 functions as a first communication unit that communicates with the measurement earphone 10 and the measurement microphone 20.
  • the communication unit 31 as the first communication unit is a wired or wireless audio interface.
  • the communication unit 31 as a first communication unit transmits and receives acoustic signals to and from the measurement earphone 10 or the measurement microphone 20.
  • the communication unit 31 functions as a second communication unit that communicates with the first terminal device 3.
  • the communication unit 31 as the second communication unit may be a communication interface connectable to a local network constructed using Wi-Fi or the like.
  • the communication unit 31 functions as a third communication unit that communicates with the control device 6.
  • the communication unit 31 as the third communication unit may be a communication interface capable of cellular communication. That is, the measuring device 30 may include a SIM (Subscriber Identity Module) card for cellular communication.
  • SIM Subscriber Identity Module
  • the storage unit 32 stores various information.
  • the storage unit 32 stores and reads data from and to a predetermined storage medium.
  • An example of the predetermined storage medium is a nonvolatile storage medium such as a flash memory.
  • the storage unit 32 stores the acquired measurement data.
  • the control unit 33 functions as an arithmetic processing device and a control device, and controls overall operations within the measuring device 30 according to various programs.
  • the control unit 33 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). Note that the control unit 33 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 33 controls various processes for acquiring measurement data.
  • FIG. 3 is a diagram showing an example of the configuration of the recording system 4 according to this embodiment.
  • the recording system 4 includes recording microphones 50 (50A and 50B) and a recording device 40.
  • the recording system 4 has two recording microphones 50 for both ears.
  • the recording microphone 50 is an audio input device that acquires acoustic signals.
  • the configuration of the recording microphone 50 is similar to that of the measurement microphone 20.
  • the recording microphone 50 is used for binaural recording.
  • the recording microphone 50 is an example of the first acquisition device in this embodiment.
  • the recording device 40 is a device that performs processing related to acquisition of recorded data.
  • the recorded data includes content binaurally recorded by the recording microphone 50.
  • the recording device 40 includes a communication section 41, an input section 42, a storage section 43, and a control section 44.
  • the communication unit 41 is a communication interface that communicates with other devices by wire or wirelessly.
  • the communication unit 41 performs communication based on any communication standard. Examples of communication standards include LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), cellular communication standards such as 4G or 5G, and USB (Universal Serial Bus).
  • LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • cellular communication standards such as 4G or 5G
  • USB Universal Serial Bus
  • the communication unit 41 functions as a first communication unit that communicates with the recording microphone 50.
  • the communication unit 41 as the first communication unit is a wired or wireless audio interface.
  • the communication unit 41 as a first communication unit transmits and receives acoustic signals to and from the recording microphone 50.
  • the communication unit 41 functions as a second communication unit that communicates with the second terminal device 5.
  • the communication unit 41 as the second communication unit may be a communication interface connectable to a local network constructed using Wi-Fi or the like.
  • the communication unit 41 functions as a third communication unit that communicates with the control device 6.
  • the communication unit 41 as the third communication unit may be a communication interface capable of cellular communication. That is, the recording device 40 may include a SIM (Subscriber Identity Module) card for cellular communication.
  • SIM Subscriber Identity Module
  • the input unit 42 receives input of various information from the user.
  • the input unit 42 may be configured with any input device such as a button, a touch panel, a keyboard, or a switch.
  • the storage unit 43 stores various information.
  • the storage unit 43 stores and reads data from and to a predetermined storage medium.
  • An example of the predetermined storage medium is a nonvolatile storage medium such as a flash memory.
  • the storage unit 43 stores recorded data.
  • the control unit 44 functions as an arithmetic processing unit and a control unit, and controls overall operations within the recording device 40 according to various programs.
  • the control unit 44 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor). Note that the control unit 44 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 44 controls various processes for binaural recording.
  • FIG. 4 is a diagram showing an example of the configuration of the control device 6 according to this embodiment.
  • the control device 6 includes a communication section 61, a storage section 62, and a control section 63.
  • the communication unit 61 is a communication interface that communicates with other devices by wire or wirelessly.
  • the communication unit 61 performs communication based on any communication standard. Examples of communication standards include LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), cellular communication standards such as 4G or 5G, and USB (Universal Serial Bus).
  • LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • cellular communication standards such as 4G or 5G
  • USB Universal Serial Bus
  • the storage unit 62 stores various information.
  • the storage unit 62 stores and reads data from and to a predetermined storage medium.
  • An example of the predetermined storage medium is a nonvolatile storage medium such as a flash memory.
  • the storage unit 62 stores various information such as measurement data, recorded data, correction coefficients, and corrected recorded data.
  • the control unit 63 functions as an arithmetic processing device and a control device, and controls overall operations within the control device 6 according to various programs.
  • the control unit 63 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor).
  • the control unit 63 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the control unit 63 controls the calculation of the transfer characteristic based on the measurement data and the process of correcting the acoustic signal based on the calculated transfer characteristic.
  • the signal processing system 1 measures transfer characteristics. Measurement of the transfer characteristic is typically performed with a human user wearing measurement earphones 10 and measurement microphone 20.
  • the transmission characteristic to be measured is the transmission characteristic from the sound source to the user's eardrum (that is, the acoustic characteristic of the transmission path).
  • the signal processing system 1 measures the transfer characteristic from the measurement earphone 10 to the measurement microphone 20 as an approximate value of the transfer characteristic from the sound source to the user's eardrum.
  • the acoustic characteristic may be a frequency characteristic.
  • the measurement microphone 20 is placed near the user's eardrum.
  • the measurement earphone 10 is placed on the user's auricle. With this configuration, it is possible to measure the acoustic characteristics of the auricle, which greatly affects how sound is transmitted to the eardrum.
  • the measurement microphone 20 may be placed in the external auditory canal, and the measurement earphone 10 may be placed in the concha cavity.
  • user A the user who wears the measurement earphone 10 and the measurement microphone 20 to measure the transfer characteristic.
  • the measurement device 30 causes the measurement earphone 10 to reproduce the third acoustic signal. Then, the measuring device 30 transmits the fourth acoustic signal, which is acquired by the measuring microphone 20 and corresponds to the third acoustic signal reproduced by the measuring earphone 10, to the control device 6 as measurement data regarding the transfer characteristic.
  • the third acoustic signal is an acoustic signal reproduced for measurement of transfer characteristics.
  • the third acoustic signal may be, for example, a so-called sweep signal whose frequency changes stepwise from a low frequency to a high frequency. It can also be said that the fourth acoustic signal is a third acoustic signal influenced by the transmission path from the measurement earphone 10 to the measurement microphone 20.
  • the measurement device 30 first outputs the stored third acoustic signal to the measurement earphone 10, thereby causing the measurement earphone 10 to reproduce the third acoustic signal.
  • the measurement microphone 20 is a third acoustic signal reproduced from the measurement earphone 10, and is an acoustic signal originating from the sound that has arrived via the transmission path from the measurement earphone 10 to the measurement microphone 20.
  • the measurement device 30 then stores the fourth acoustic signal acquired by the measurement microphone 20. Thereafter, the measuring device 30 transmits the fourth acoustic signal to the control device 6 as measurement data.
  • the control device 6 calculates the transfer characteristic based on the measurement data received from the measurement device 30. Specifically, the control device 6 calculates the transfer characteristic based on the third acoustic signal and the fourth acoustic signal. The calculated transfer characteristic corresponds to the difference between the third acoustic signal and the fourth acoustic signal. Note that it is assumed that the third acoustic signal is known to the control device 6.
  • the first terminal device 3 may input and output information regarding acquisition of measurement data. For example, the first terminal device 3 transmits and receives control information to and from the measurement system 2, displays a UI screen for operating the measurement system 2, and inputs information instructing the user to start acquiring measurement data. accept.
  • the measuring device 30 may acquire measurement data using the input of information instructing the first terminal device 3 to start acquiring measurement data as a trigger. According to this configuration, the first terminal device 3 can be made to function as a UI of the measurement system 2.
  • FIG. 5 is a diagram for explaining measurement of transfer characteristics according to this embodiment.
  • the transmission path from the measurement earphone 10 to the measurement microphone 20 includes the measurement earphone 10 and the auricle 90 of the user A wearing the measurement earphone 10 and the measurement microphone 20. exist. Therefore, the measured transfer characteristic is expressed by the following equation.
  • G m ( ⁇ ) is a transfer characteristic.
  • H a ( ⁇ ) is the acoustic characteristic of the measurement earphone 10.
  • the acoustic characteristic is, for example, an amplitude frequency characteristic, and in addition to this, a phase frequency characteristic, a phase delay characteristic, a group delay characteristic, etc. may be adopted.
  • G A ( ⁇ ) is the acoustic characteristic of user A's auricle 90.
  • ⁇ is the angular frequency.
  • Binaural recording The recording system 4 performs binaural recording. Binaural recording is performed with the recording microphone 50 attached to the user.
  • the recording microphone 50 acquires a first acoustic signal derived from a sound coming from a sound source to be binaurally recorded. Then, the recording device 40 stores the first acoustic signal acquired by the recording microphone 50. Thereafter, the recording device 40 transmits the stored first acoustic signal to the control device 6 as recorded data.
  • the control device 6 generates corrected recorded data by correcting the recorded data received from the recording device 40. Specifically, the control device 6 corrects the first acoustic signal based on the measurement data acquired by the measurement device 30, and generates the second acoustic signal. For example, the control device 6 generates the second acoustic signal by applying correction processing based on the transfer characteristic calculated based on the measurement data to the first acoustic signal. After that, the control device 6 stores the generated second acoustic signal as corrected recorded data.
  • the second terminal device 5 can receive the second acoustic signal, which is the corrected recorded data, from the control device 6 and play it binaurally using the playback earphone.
  • the user who wears the recording microphone 50 during binaural recording and the user who wears the measurement earphone 10 and the measurement microphone 20 when measuring the transfer characteristic are the same user. Further, it is desirable that the arrangement of the recording microphone 50 during binaural recording and the arrangement of the measurement microphone 20 during transfer characteristic measurement are the same. Furthermore, it is desirable that the acoustic characteristics of the measurement microphone 20 and the recording microphone 50 be the same. If all of these conditions are met, it is possible to maximize the effect of the correction and improve the quality of binaural reproduction. Of course, it is possible to improve the quality of binaural reproduction even if at least one of these conditions is not met. In the following, it is assumed that binaural recording is performed with user A wearing a recording microphone 50 that is in the same arrangement as when measuring the transfer characteristic and has the same acoustic characteristics as the measurement microphone 20.
  • FIG. 6 is a diagram for explaining binaural recording according to this embodiment.
  • the transmission path from the sound source 80, which is the target of binaural recording, to the recording microphone 50, which has the same acoustic characteristics as the measurement microphone 20, includes the ear pinna of user A who is wearing the recording microphone 50. There are 90. Therefore, the first acoustic signal acquired by the recording microphone 50 is expressed by the following equation.
  • y rec ( ⁇ ) is the first acoustic signal.
  • x( ⁇ ) is an acoustic signal (hereinafter also referred to as a sound source signal) derived from the sound generated from the sound source 80.
  • the control device 6 generates a second acoustic signal by correcting the first acoustic signal based on a transfer characteristic measured in advance. Specifically, the control device 6 generates the second acoustic signal by convolving the inverse characteristic of the transfer characteristic G m ( ⁇ ) measured in advance into the first acoustic signal y rec ( ⁇ ).
  • the second acoustic signal is expressed by the following equation.
  • G m ⁇ 1 ( ⁇ ) is an inverse characteristic of the transfer characteristic G m ( ⁇ ).
  • H a ⁇ 1 ( ⁇ ) is an inverse characteristic of the acoustic characteristic H a ( ⁇ ) of the measurement earphone 10.
  • the inverse characteristic G m -1 ( ⁇ ) of the transfer characteristic G m ( ⁇ ) is hereinafter also referred to as a correction coefficient.
  • the second acoustic signal y'( ⁇ ) cancels the acoustic characteristic G A ( ⁇ ) of the auricle 90 of the user A, and cancels the acoustic characteristic H a ( ⁇ ) of the measurement earphone 10.
  • the preconvolved sound source signal x( ⁇ ) is the preconvolved sound source signal x( ⁇ ). Therefore, during binaural playback, corrections must be made to cancel the acoustic characteristic G A ( ⁇ ) of the auricle 90 of user A and the acoustic characteristic H a ( ⁇ ) of the measurement earphone 10. This makes it possible to improve the quality of binaural playback.
  • the meta information for correction includes the acoustic characteristic G A ( ⁇ ) of the auricle 90 of the user A, the acoustic characteristic H a ( ⁇ ) of the measurement earphone 10, and the like.
  • binaural recording is performed with the recording microphone 50 attached to the human user A. Therefore, compared to the case where binaural recording is performed using a dummy head, it becomes possible to perform simple and high-quality binaural recording in various use cases.
  • binaural recording can be performed by attaching the recording microphone 50 to a user who takes a moving image while holding a camera in his or her hand. Furthermore, the user can perform binaural recording and monitoring (that is, checking the recorded sound) at the same time.
  • Binaural playback is performed with the user wearing playback earphones.
  • the configuration of the reproduction earphone may be the same as that of the measurement earphone 10.
  • the playback earphone is placed on the user's pinna.
  • playback earphones may be placed in the concha cavity.
  • the reproduction earphone reproduces the second acoustic signal while being placed on the user's auricle. This allows the user wearing the playback earphones to listen to the binaurally recorded sound.
  • the user who wears the recording microphone 50 during binaural recording and the user who wears the playback earphones during binaural playback may be the same user. That is, binaural playback may be performed while user A is wearing playback earphones.
  • the user who wears the recording microphone 50 during binaural recording and the user who wears the reproduction earphones during binaural reproduction may be different. That is, binaural playback may be performed while user B, who is different from user A, is wearing playback earphones.
  • the acoustic characteristics of the measurement earphone 10 and the acoustic characteristics of the reproduction earphone may be the same or different.
  • the first reproduction environment is a reproduction environment in which the acoustic characteristics of the measurement earphone 10 and the reproduction earphone are the same, and the reproduction earphone is worn by user A. Binaural playback in the first playback environment will be described with reference to FIG. 7.
  • FIG. 7 is a diagram for explaining binaural playback according to this embodiment.
  • the auricle 90 of user A wearing the reproduction earphone 70 is present in the transmission path from the reproduction earphone 70, which has the same acoustic characteristics as the measurement earphone 10, to the user A's eardrum. . Therefore, the acoustic signal representing the sound heard by user A is expressed by the following equation.
  • y rep ( ⁇ ) is an acoustic signal indicating the sound heard by the user wearing the reproduction earphone 70, that is, the user A.
  • H a ( ⁇ ) is the acoustic characteristic of the reproduction earphone 70 that is the same as the acoustic characteristic of the measurement earphone 10 .
  • the second playback environment is a playback environment in which the acoustic characteristics of the measurement earphone 10 and the acoustic characteristics of the playback earphone 70 are the same, and the playback earphone 70 is worn by a user B who is different from the user A. It is.
  • the auricle 90 of user B wearing the playback earphone 70 is present in the transmission path from the playback earphone 70, which has the same acoustic characteristics as the measurement earphone 10, to the user B's eardrum. Therefore, the acoustic signal representing the sound heard by user B is expressed by the following equation.
  • y rep ( ⁇ ) is an acoustic signal indicating the sound heard by the user wearing the reproduction earphone 70, that is, the user B.
  • H a ( ⁇ ) is the acoustic characteristic of the reproduction earphone 70 that is the same as the acoustic characteristic of the measurement earphone 10 .
  • G B ( ⁇ ) is the acoustic characteristic of user B's pinna 90.
  • the acoustic signal y rec ( ⁇ ) representing the sound that the user A listens to during binaural recording is obtained by adding the acoustic characteristic G A ( ⁇ ) of the auricle 90 of the user A to the sound source signal x ( ⁇ ). ) are convolved.
  • the acoustic signal y rep ( ⁇ ) representing the sound that user B listens to during binaural reproduction has the acoustic characteristics of user B's auricle 90 added to the sound source signal x ( ⁇ ).
  • G B ( ⁇ ) is convoluted.
  • user B uses the binaural playback to record an acoustic signal that represents the sound that user B would have heard if binaural recording was performed with user B wearing the recording microphone 50 instead of user A. You can listen to it at In this way, user B, in place of user A, can listen to the sound as if he were present at the binaural recording. In this way, it is possible to improve the quality of binaural reproduction.
  • the sound source signal x( ⁇ ) recorded binaurally may include the influence of acoustic characteristics specific to user A in addition to the acoustic characteristics of user A's auricle 90.
  • acoustic characteristics include acoustic characteristics due to physical characteristics other than user A's auricle 90. Since the acoustic signal y rep ( ⁇ ) representing the sound heard by user B includes the influence of the acoustic characteristics specific to user A, who is a stranger, there is a risk that the naturalness of the auditory sense may be impaired.
  • the quality of binaural playback is lower than when the recording microphone 50 is attached to a dummy head. It is possible to improve. If binaural recording is performed with the recording microphone 50 attached to the dummy head, the acoustic signal y rep ( ⁇ ) representing the sound heard by user B will include the acoustic characteristics of the dummy head. It is. In this case, the naturalness of hearing is significantly impaired due to the sound reflection coefficient different from that of human skin and the structure different from that of the human body.
  • the third playback environment is a playback environment in which the acoustic characteristics of the measurement earphone 10 and the playback earphone 70 are different, and the playback earphone 70 is worn by a user B who is different from the user A. .
  • the auricle 90 of user B wearing the playback earphone 70 is present in the transmission path from the playback earphone 70, which has acoustic characteristics different from those of the measurement earphone 10, to the user B's eardrum. Therefore, the acoustic signal representing the sound heard by user B is expressed by the following equation.
  • y rep ( ⁇ ) is an acoustic signal indicating the sound heard by the user wearing the reproduction earphone 70, that is, the user B.
  • H n ( ⁇ ) is the acoustic characteristic of the reproduction earphone 70 that is different from the acoustic characteristic of the measurement earphone 10 .
  • G B ( ⁇ ) is the acoustic characteristic of user B's pinna 90.
  • user B adds an acoustic characteristic H n (corresponding to the difference between the measurement earphones 10 and the reproduction earphones 70) to the acoustic signal indicating the sound that the user B listens to in the second reproduction environment.
  • H n corresponding to the difference between the measurement earphones 10 and the reproduction earphones 70
  • ⁇ acoustic characteristic
  • H a ⁇ /H a ( ⁇ ) will be convoluted.
  • user B plays a sound similar to the sound that user B would have heard if binaural recording was performed with user B wearing the recording microphone 50 instead of user A. You can listen to it at Therefore, it is expected that the quality of binaural playback will improve.
  • FIG. 8 is a sequence diagram showing an example of the flow of processing executed in the signal processing system 1 according to the present embodiment. This sequence involves the measurement system 2, the first terminal device 3, the recording system 4, the second terminal device 5, and the control device 6.
  • the first terminal device 3 transmits a signal requesting to start acquiring measurement data to the measurement system 2 (step S102). For example, the first terminal device 3 transmits a signal requesting to start acquiring measurement data when a predetermined touch operation is input to the displayed UI screen.
  • the measurement system 2 acquires measurement data (step S104).
  • the measuring device 30 causes the measuring earphone 10 to reproduce the third acoustic signal, and the measuring microphone 20 acquires the fourth acoustic signal.
  • the measurement system 2 transmits the measurement data to the control device 6 (step S106).
  • the measurement system 2 transmits the fourth acoustic signal to the control device 6 via cellular communication.
  • control device 6 calculates a correction coefficient (step S108). For example, the control device 6 calculates the transfer characteristic based on the known third acoustic signal and the fourth acoustic signal received from the measurement system 2. Then, the control device 6 calculates the inverse characteristic of the transfer characteristic as a correction coefficient. After that, the control device 6 stores the calculated correction coefficient.
  • the recording system 4 acquires the first acoustic signal (step S110).
  • the recording device 40 acquires the first acoustic signal using the recording microphone 50 when a predetermined user operation such as pressing a button is input.
  • the recording system 4 transmits the first acoustic signal to the control device 6 (step S112).
  • the recording system 4 transmits the first acoustic signal to the control device 6 via cellular communication.
  • control device 6 generates a second acoustic signal by correcting the first acoustic signal (step S114).
  • the control device 6 generates the second acoustic signal by convolving the correction coefficient (that is, the inverse characteristic of the transfer characteristic measured in advance) with the first acoustic signal.
  • control device 6 transmits the generated second acoustic signal to the second terminal device 5 (step S116). Thereafter, the second terminal device 5 can store the received second acoustic signal, distribute it to another device, or perform binaural reproduction using the reproduction earphones 70.
  • the user can easily measure the transfer characteristic by wearing the measurement earphone 10 and the measurement microphone 20 and reproducing the third acoustic signal. Moreover, the user can easily and high-quality binaural recording simply by wearing the recording microphone 50 and starting recording. Therefore, the user can obtain high-quality content without having specialized knowledge regarding binaural recording. In this way, it becomes possible to perform binaural recording more easily.
  • correction processing with a high processing load such as calculation of transfer characteristics, calculation of correction coefficients, and convolution of correction coefficients, is executed by the control device 6. Therefore, compared to the case where the second terminal device 5 performs the correction process, the processing load on the second terminal device 5 can be reduced.
  • the effect of reducing the processing load is significant.
  • the measurement earphone 10 and the measurement microphone 20 can be realized with various hardware. An example thereof will be explained with reference to FIG. 9.
  • FIG. 9 is a diagram schematically showing an example of the hardware configuration of the measurement earphone 10 and the measurement microphone 20.
  • a headphone 100 serving as a measurement earphone 10 and a sound collection jig 200 including a measurement microphone 20 are attached to the user's auricle 90.
  • Headphones 100 are audio output devices that reproduce acoustic signals. Headphones 100 are an example of measurement earphones 10. The headphones 100 are configured as a so-called ear cuff type, and are worn by the user so as to cover a portion of the sound collection jig 200 worn by the user. Headphones 100 include a driver unit 110 and a frame 120.
  • the driver unit 110 is a device that converts an input acoustic signal into sound and emits it into the surrounding space.
  • the frame 120 is a member that holds the driver unit 110 on the auricle 90.
  • the frame 120 is curved from the front surface of the auricle 90 to the back surface of the auricle 90 so as to pass through the outside of at least either the helix 96 or the earlobe 97 .
  • the driver unit 110 is connected to one end of the frame 120.
  • the frame 120 holds the auricle 90 between the front surface of the auricle 90 and the back surface of the auricle 90 between the driver unit 110 connected to one end of the frame 120 and the other end of the frame 120 .
  • the sound collection jig 200 includes an insertion section 210 including a measurement microphone 20, a first frame 220, a second frame 230, and a third frame 240.
  • the insertion section 210 is a member inserted into the user's external auditory canal 98.
  • the insertion portion 210 is configured as a cylindrical body having a through hole extending in the insertion direction.
  • the measurement microphone 20 is placed inside the through-hole with a gap provided between the measurement microphone 20 and the inner wall of the through-hole of the insertion portion 210 . Therefore, when the insertion section 210 is inserted into the user's external auditory canal 98, the measurement microphone 20 will be placed near the user's eardrum. Moreover, sounds coming from the outside world pass through the through-holes and reach the user's eardrum. Therefore, the user can clearly hear surrounding sounds while wearing the sound collection jig 200.
  • the first frame 220 is a ring-shaped member.
  • the first frame 220 comes into contact with the concha cavity 92 of the user when the sound collection jig 200 is worn by the user.
  • the first frame 220 is connected to the insertion section 210.
  • the second frame 230 is a member configured in the shape of a hollow shark fin.
  • the second frame 230 comes into contact with the user's concha boat 91 when the sound collection jig 200 is worn by the user.
  • the second frame 230 is connected to the first frame 220.
  • the third frame 240 curves from the front side of the user's auricle 90 to the back side of the auricle 90 so as to pass outside the helix leg 93 of the user.
  • the third frame 240 is connected to the first frame 220.
  • FIG. 10 is a diagram for explaining an example of a connection form between the measurement earphone 10, the measurement microphone 20, and the measurement device 30.
  • the two measurement earphones 10, the two measurement microphones 20, and the measurement device 30 may be connected by wire via a five-pole plug 35 consisting of five terminals (35A to 35E).
  • Two terminals (for example, terminals 35A and 35B) of the five-pole plug 35 transmit the third acoustic signal input to the two measurement earphones 10.
  • the other two terminals (for example, terminals 35C and 35D) of the five-pole plug 35 transmit the fourth acoustic signals output from the two measurement microphones 20.
  • the remaining one terminal (for example, terminal 35E) of the five-pole plug 35 is a ground terminal. According to this configuration, it becomes possible to easily connect or disconnect the measuring earphone 10 and the measuring microphone 20 from the measuring device 30.
  • At least one of the measurement earphones 10 and the measurement microphone 20 may be wirelessly connected to the measurement device 30.
  • the measurement earphone 10 can be placed in the user's auricle 90 while the measurement microphone 20 is inserted into the user's external auditory canal 98 and placed near the eardrum. Furthermore, it is possible to measure the transfer characteristics while keeping the user's ear canal 98 open.
  • the configuration of the recording microphone 50 may be the same as that of the measurement microphone 20. In that case, it is possible to perform binaural recording while keeping the user's ear canal 98 open.
  • the configuration of the reproduction earphone 70 may be the same as that of the measurement earphone 10.
  • Headphones 100 and sound collection jig 200 may be implemented as the same device.
  • the driver unit 110 may be provided in the first frame 220.
  • the measurement earphone 10 and the measurement microphone 20 may be installed in the same device.
  • the measurement system 2 may communicate with the control device 6 via the first terminal device 3. For example, the measurement system 2 does not need to have the function of the third communication section.
  • the recording system 4 may communicate with the control device 6 via the second terminal device 5. For example, the recording system 4 does not need to have the function of the third communication section.
  • FIG. 11 is a sequence diagram showing an example of the flow of processing executed in the signal processing system 1 according to the first modification. This sequence involves the measurement system 2, the first terminal device 3, the recording system 4, the second terminal device 5, and the control device 6.
  • the processing related to steps S202 and S204 shown in FIG. 9 is similar to the processing related to steps S102 and S104 described above with reference to FIG. 8.
  • the measurement system 2 transmits the measurement data to the first terminal device 3 (step S206-1).
  • the first terminal device 3 transmits the received measurement data to the control device 6 (step S206-2).
  • the recording system 4 transmits the first audio signal to the second terminal device 5 (step S212-1).
  • the second terminal device 5 transmits the received first acoustic signal to the control device 6 (step S212-2).
  • the recording system 4 may include playback earphones 70.
  • the recording device 40 may be connected to the reproduction earphones 70.
  • the user can perform binaural recording while playing back and monitoring the binaurally recorded content using the playback earphones 70.
  • the recording device 40 may perform a correction process on the binaurally recorded content and then play the content binaurally. An example of the processing flow in that case will be described with reference to FIG. 12.
  • FIG. 12 is a sequence diagram showing an example of the flow of processing executed in the signal processing system 1 according to the second modification. This sequence involves the measurement system 2, the first terminal device 3, the recording system 4, the second terminal device 5, and the control device 6.
  • the processing related to steps S302 to S308 shown in FIG. 12 is similar to the processing related to steps S102 to S108 described above with reference to FIG.
  • control device 6 transmits the correction coefficient to the recording system 4 (step S310).
  • the recording system 4 acquires the first acoustic signal (step S312). For example, when a predetermined user operation such as pressing a button is input, the recording device 40 operates the recording microphone 50 to acquire the first acoustic signal.
  • the recording system 4 transmits the first acoustic signal to the control device 6 (step S314).
  • the control device 6 may store the received first acoustic signal for backup.
  • the recording system 4 generates a second acoustic signal by correcting the first acoustic signal (step S316).
  • the recording system 4 generates the second acoustic signal by convolving the correction coefficient (that is, the inverse characteristic of the previously measured transfer characteristic) received from the control device 6 with the first acoustic signal.
  • the recording system 4 reproduces the second audio signal (step S318).
  • the recording device 40 reproduces the second acoustic signal using the reproduction earphones 70.
  • the recording system 4 transmits the generated second acoustic signal to the second terminal device 5 (step S320).
  • steps S312 to S320 may be executed in order or may be executed in parallel.
  • the measuring device 30 may transmit information indicating the characteristics of the measuring earphone 10 to the control device 6 as measurement data.
  • Examples of the information indicating the characteristics of the measurement earphone 10 include information indicating the acoustic characteristic of the measurement earphone 10, a setting value of the playback volume, and the like.
  • the control device 6 calculates the transfer characteristic further based on the characteristics of the measurement earphone 10. As a result, it is possible to further enhance the effect of correction and improve the quality of binaural reproduction.
  • the control device 6 may store a combination of the identification information of the measurement earphone 10 and the acoustic characteristics of the measurement earphone 10.
  • the measurement device 30 may transmit identification information of the measurement earphone 10 as information indicating the acoustic characteristics of the measurement earphone 10.
  • the control device 6 can search for the acoustic characteristics of the measurement earphone 10 using the identification information received from the measurement device 30 as a search key, and use the identification information to calculate the transfer characteristics. According to this configuration, communication load can be reduced.
  • the measuring device 30 may transmit information indicating the characteristics of the measuring microphone 20 to the control device 6 as measurement data.
  • the information indicating the characteristics of the measurement microphone 20 include information indicating the acoustic characteristics of the measurement microphone 20, a setting value of microphone sensitivity, and the like.
  • the control device 6 performs correction processing further based on the characteristics of the measurement microphone 20.
  • the control device 6 calculates the transfer characteristic after adjusting the left and right balance based on the microphone sensitivities of the left and right measurement microphones 20. As a result, it is possible to further enhance the effect of correction and improve the quality of binaural reproduction.
  • the control device 6 may store a combination of the identification information of the measurement microphone 20 and the acoustic characteristics of the measurement microphone 20.
  • the measuring device 30 may transmit identification information of the measuring microphone 20 as information indicating the acoustic characteristics of the measuring microphone 20.
  • the control device 6 can search for the acoustic characteristics of the measurement microphone 20 using the identification information received from the measurement device 30 as a search key, and use the identification information to calculate the transfer characteristics. According to this configuration, communication load can be reduced.
  • the recording device 40 may transmit information indicating the characteristics of the recording microphone 50 to the control device 6 as recorded data.
  • Examples of the information indicating the characteristics of the recording microphone 50 include information indicating the acoustic characteristics of the recording microphone 50, a microphone sensitivity setting value, and the like.
  • the control device 6 adjusts the correction coefficient further based on the characteristics of the recording microphone 50. As a result, it is possible to further enhance the effect of correction and improve the quality of binaural reproduction.
  • the control device 6 may store a combination of the identification information of the recording microphone 50 and the acoustic characteristics of the recording microphone 50.
  • the recording device 40 may transmit identification information of the recording microphone 50 as information indicating the acoustic characteristics of the recording microphone 50.
  • the control device 6 can search for the acoustic characteristics of the recording microphone 50 using the identification information received from the recording device 40 as a search key, and use it for correction processing. According to this configuration, communication load can be reduced.
  • the measuring device 30 may transmit information indicating how the measuring microphone 20 acquired the fourth acoustic signal to the control device 6 as measurement data.
  • the control device 6 calculates the transfer characteristic further based on information indicating how the measurement microphone 20 acquired the fourth acoustic signal. As a result, it is possible to further enhance the effect of correction and improve the quality of binaural reproduction.
  • the measuring device 30 transmits the identification information of the third acoustic signal used for acquiring the measurement data to the control device 6 as information indicating the method by which the measuring microphone 20 acquired the fourth acoustic signal.
  • the control device 6 stores the combination of the identification information of the third acoustic signal and the third acoustic signal, searches for the third acoustic signal using the identification information received from the measuring device 30 as a search key, and Used to calculate transfer characteristics.
  • the measuring device 30 may acquire the fourth acoustic signal once and transmit it to the control device 6 as measurement data, or may acquire the fourth acoustic signal multiple times and measure the result of synchronous addition. It may also be transmitted to the control device 6 as data.
  • the information indicating the method by which the measurement microphone 20 acquired the fourth acoustic signal may include the number of times of synchronous addition of the fourth acoustic signal.
  • the measurement device 30 sends the fifth acoustic signal acquired by the measurement microphone 20 at a timing when the measurement earphone 10 is not playing the acoustic signal to the control device 6 as measurement data. You can also send it. Then, the control device 6 may perform correction processing further based on the fifth acoustic signal. Specifically, the measurement device 30 records environmental sound using the measurement microphone 20 and transmits a fifth acoustic signal corresponding to the environmental sound to the control device 6 as measurement data. Then, the control device 6 calculates the transfer characteristic after canceling the component corresponding to the environmental sound indicated by the fifth acoustic signal from the fourth acoustic signal. According to this configuration, it is possible to improve calculation accuracy of transfer characteristics. As a result, it is possible to further enhance the effect of correction and improve the quality of binaural reproduction.
  • the measuring device 30 may determine whether the acquired measurement data satisfies a predetermined condition.
  • the measuring device 30 determines that the predetermined condition is satisfied when it is assumed that the transfer characteristic can be appropriately calculated from the acquired measurement data, and determines that the predetermined condition is not satisfied when this is not the case.
  • the measuring device 30 determines whether the frequency characteristics of the fourth acoustic signal are within a range of appropriate frequency characteristics.
  • the measuring device 30 determines whether the noise level of the fourth acoustic signal is less than a predetermined threshold.
  • the measuring device 30 determines whether the variation in the fourth acoustic signal acquired multiple times is less than a predetermined threshold.
  • the measuring device 30 may transmit only measurement data determined to satisfy a predetermined condition to the control device 6. That is, the measuring device 30 transmits to the control device 6 only measurement data for which the transfer characteristic can be appropriately calculated.
  • the determination regarding the predetermined conditions may be performed by the control device 6.
  • the measurement device 30 makes the determination regarding the predetermined condition, the communication load is reduced and the delay until reacquisition of measurement data is reduced compared to when the control device 6 makes the determination regarding the predetermined condition. This makes it possible to reduce
  • the first terminal device 3 may prompt the user to re-acquire the measurement data when the measurement device 30 determines that the measurement data does not satisfy a predetermined condition. At this time, the first terminal device 3 may output information indicating an action that the user should perform before acquiring the measurement data. As an example, if it is determined that the frequency characteristic of the fourth acoustic signal is outside the appropriate frequency characteristic range, the first terminal device 3 may display information prompting the user to re-insert the five-pole plug 35. good. As another example, when it is determined that the noise level of the fourth acoustic signal is equal to or higher than a predetermined threshold, the first terminal device 3 may display information urging the user to move to a quiet place.
  • the first terminal device 3 may display information urging the user to remain still. According to such a configuration, it becomes possible to more easily obtain measurement data that is assumed to allow appropriate calculation of transfer characteristics.
  • the first terminal device 3 may refuse input of information instructing to start acquiring measurement data if the action that the user should perform before acquiring measurement data has not been performed. As an example, the first terminal device 3 determines the magnitude of the noise level based on the fifth acoustic signal acquired by the measurement microphone 20 at a timing when the measurement earphone 10 is not reproducing an acoustic signal. Then, when the noise level is equal to or higher than a predetermined threshold, the first terminal device 3 rejects input of information instructing to start acquiring measurement data. For example, the first terminal device 3 may disable a button for instructing to start acquiring measurement data on the UI screen. According to this configuration, it is possible to start acquiring measurement data only when measurement data that is assumed to be able to appropriately calculate the transfer characteristic can be acquired.
  • the recording microphone 50 is worn by a human user
  • the present disclosure is not limited to such an example.
  • the recording microphone 50 may be attached to a dummy head.
  • the acoustic characteristics of the measurement microphone 20 and the acoustic characteristics of the recording microphone 50 are the same, but the present disclosure is not limited to such an example.
  • the acoustic characteristics of the measurement microphone 20 and the acoustic characteristics of the recording microphone 50 may be different.
  • the signal processing system 1 includes two measurement earphones 10, two measurement microphones 20, and two recording microphones 50 for each ear, but the present disclosure is limited to such an example. Not done.
  • the signal processing system 1 may include one measurement earphone 10, one measurement microphone 20, and one recording microphone 50 for each ear. That is, the present disclosure is applicable not only to binaural recording for both ears but also for binaural recording for one ear.
  • an acoustic signal is used as an example of measurement data, but the present disclosure is not limited to such an example.
  • Another example of measurement data is an image.
  • the signal processing system 1 may estimate the transfer characteristic based on an image of the user's ear. Images of the ear include images showing the external appearance of the ear as well as images showing the internal structure of the ear such as X-ray photographs. Further, the signal processing system 1 may perform correction processing based on physical characteristics other than the user's ears. That is, the transfer characteristics estimated by the signal processing system 1 based on the measurement data are not limited to the transfer characteristics of the space from the sound source to the user's eardrum, but may include the transfer characteristics of the user's body.
  • the measurement data may include, for example, an image of the user's body other than the user's ears.
  • Each of the devices described in this specification may be realized as a single device, part or all of them may be realized as separate devices, or may be combined into one device.
  • a part of the functions of the measurement system 2, the first terminal device 3, the recording system 4, or the second terminal device 5 may be provided in a device such as a server connected via the network 9 or the like.
  • the control device 6 may be realized not only as a single device but also as a plurality of devices. Specifically, some of the functions of the control device 6 may be distributed and provided to multiple devices on the mesh network.
  • the measuring device 30 and the first terminal device 3 may be configured integrally.
  • the recording device 40 and the second terminal device 5 may be configured integrally.
  • the recording device 40 and the recording microphone 50 may be integrally configured.
  • each device described in this specification may be realized using software, hardware, or a combination of software and hardware.
  • a program constituting the software is stored in advance, for example, in a recording medium (specifically, a computer-readable non-temporary storage medium) provided inside or outside each device.
  • each program is read into the RAM when executed by a computer that controls each device described in this specification, and is executed by a processing circuit such as a CPU.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed, for example, via a network, without using a recording medium.
  • the above-mentioned computer may be an application-specific integrated circuit such as an ASIC, a general-purpose processor that executes functions by loading a software program, or a computer on a server used for cloud computing. Furthermore, a series of processes performed by each device described in this specification may be distributed and processed by multiple computers.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】バイノーラル録音をより容易に実施することが可能な仕組みを提供する。 【解決手段】伝達特性に関する計測データを取得する計測装置と、第１音響信号を取得する第１取得装置と、前記計測装置及び前記第１取得装置の各々とネットワークを介して接続される制御装置と、を備え、前記制御装置は、前記計測装置により取得された前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成する、信号処理システム。

Description

信号処理システム、信号処理方法及びプログラム
　本開示は、信号処理システム、信号処理方法及びプログラムに関する。
　近年、バイノーラル録音が注目されている。バイノーラル録音とは、人の両耳の鼓膜に伝わる音を録音する技術である。バイノーラル録音には、例えば両耳の外耳道内に設置されたマイクが使用される。バイノーラル録音された音を再生することは、バイノーラル再生とも称される。イヤホン又はヘッドホン等によりバイノーラル再生することで、あたかも録音の場に居合わせたかのような立体感及び臨場感のある音を再現することができる。
　バイノーラル録音及びバイノーラル再生に関する様々な技術が開発されている。例えば、下記特許文献１においては、イヤーピースを外耳道に挿入することで耳に保持されるイヤホンの外側に設けられた、ノイズキャンセル用のマイクを使用したバイノーラル録音装置が提案されている。
特開２００９－４９９４７号公報
　しかし、上記特許文献１に記載の技術は、開発されてから未だ日が浅く、様々な観点で向上の余地が残されている。
　そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、バイノーラル録音をより容易に実施することが可能な仕組みを提供することにある。
　上記課題を解決するために、本発明のある観点によれば、伝達特性に関する計測データを取得する計測装置と、第１音響信号を取得する第１取得装置と、前記計測装置及び前記第１取得装置の各々とネットワークを介して接続される制御装置と、を備え、前記制御装置は、前記計測装置により取得された前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成する、信号処理システムが提供される。
　前記信号処理システムは、音響信号を再生する再生装置と、音響信号を取得する第２取得装置と、をさらに備え、前記第２取得装置により取得された、前記再生装置により再生された第３音響信号に対応する第４音響信号を、前記計測装置は、前記計測データとして前記制御装置へ送信してもよい。
　前記計測装置は、前記再生装置の特性を示す情報又は前記第２取得装置の特性を示す情報を、前記計測データとして前記制御装置へ送信してもよい。
　前記計測装置は、前記第２取得装置が前記第４音響信号を取得した方法を示す情報を、前記計測データとして前記制御装置へ送信してもよい。
　前記信号処理システムは、２つの前記再生装置と、２つの前記第２取得装置と、を備え、２つの前記再生装置及び２つの前記第２取得装置と前記計測装置とは、２つの前記再生装置に入力される前記第３音響信号を伝送する２つの端子、２つの前記第２取得装置から出力される前記第４音響信号を伝送する２つの端子、及び１つのグランド端子から成る５極プラグを介して有線接続されてもよい。
　前記計測装置は、前記再生装置による音響信号の再生が実行されていないタイミングで前記第２取得装置により取得された第５音響信号を前記計測データとして前記制御装置へ送信し、前記制御装置は、前記第５音響信号にさらに基づいて前記第１音響信号を補正してもよい。
　前記計測装置は、セルラー通信可能な通信インタフェースを含み、前記計測データを前記通信インタフェースにより前記制御装置へ送信してもよい。
　前記計測装置は、取得した前記計測データが所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定された前記計測データに限定して前記制御装置へ送信してもよい。
　前記信号処理システムは、ユーザによる情報の入力の受け付け、及び前記ユーザへの情報の出力が可能な端末装置をさらに備え、前記端末装置は、前記計測データの取得に関する情報を入出力し、前記計測装置は、前記計測データを取得するよう指示する情報が前記端末装置に入力されたことをトリガとして前記計測データを取得してもよい。
　前記端末装置は、前記計測データの取得の前に前記ユーザが実行するべき行動を示す情報を出力してもよい。
　前記端末装置は、前記計測データの取得の前に前記ユーザが実行するべき行動が実行されていない場合、前記計測データの取得を開始するよう指示する情報の入力を拒否してもよい。
　前記制御装置は、前記計測データに基づいて前記伝達特性を計算し、計算した前記伝達特性の逆特性を前記第１音響信号に畳み込むことで前記第２音響信号を生成してもよい。
　また、上記課題を解決するために、本発明の別の観点によれば、伝達特性に関する計測データを、ネットワークを介して取得することと、第１取得装置により取得された第１音響信号を、前記ネットワークを介して取得することと、前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成することと、を含む、コンピュータにより実行される信号処理方法が提供される。
　また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、伝達特性に関する計測データを、ネットワークを介して取得することと、第１取得装置により取得された第１音響信号を、前記ネットワークを介して取得することと、前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成することと、を実行させるためのプログラムが提供される。
　以上説明したように本開示によれば、バイノーラル録音をより容易に実施することが可能な仕組みが提供される。
本開示の一実施形態に係る信号処理システムの構成の一例を示す図である。 本実施形態に係る計測システムの構成の一例を示す図である。 本実施形態に係る収録システムの構成の一例を示す図である。 本実施形態に係る制御装置の構成の一例を示す図である。 本実施形態に係る伝達特性の計測について説明するための図である。 本実施形態に係るバイノーラル録音について説明するための図である。 本実施形態に係るバイノーラル再生について説明するための図である。 本実施形態に係る信号処理システムにおいて実行される処理の流れの一例を示すシーケンス図である。 計測用イヤホン及び計測用マイクのハードウェア構成の一例を模式的に示す図である。 計測用イヤホン及び計測用マイクと計測装置との接続形態の一例を説明するための図である。 第１の変形例に係る信号処理システムにおいて実行される処理の流れの一例を示すシーケンス図である。 第２の変形例に係る信号処理システムにおいて実行される処理の流れの一例を示すシーケンス図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜１．構成例＞
　（１）信号処理システム１の構成
　図１は、本開示の一実施形態に係る信号処理システム１の構成の一例を示す図である。図１に示すように、信号処理システム１は、計測システム２、第１端末装置３、収録システム４、第２端末装置５、及び制御装置６を含む。計測システム２、第１端末装置３、収録システム４、第２端末装置５、及び制御装置６は、ネットワーク９を介して接続され、互いに通信可能である。ネットワーク９は、ローカルネットワークの他、パブリックネットワークを含んでいてもよい。例えば、ネットワーク９は、電話回線又はインターネット等により構成され得る。
　計測システム２は、後述する計測データを取得するシステムである。計測システム２については、後に詳しく説明する。
　第１端末装置３は、計測システム２による計測データの取得に関する処理を行う装置である。第１端末装置３は、ユーザによる情報の入力の受け付け、およびユーザへの情報の出力が可能である。例えば、第１端末装置３は、計測システム２を操作するためのＵＩ（User Interface）画面を表示して、ユーザに情報を通知したりユーザからの操作を受け付けたりする。一例として、第１端末装置３は、スマートフォン等により実現され得る。
　収録システム４は、バイノーラル録音を行うシステムである。収録システム４については、後に詳しく説明する。
　第２端末装置５は、バイノーラル録音されたコンテンツ（即ち、音響信号）を取得して各種処理を行う装置である。第２端末装置５は、ユーザへの情報の出力、及びユーザによる情報の入力を受け付け可能である。例えば、第２端末装置５は、バイノーラル録音され制御装置６による補正処理が施されたコンテンツを取得して、第２端末装置５に接続された再生用イヤホンによりバイノーラル再生する。一例として、第２端末装置５は、ＰＣ（Personal Computer）により実現され得る。
　制御装置６は、収録システム４によりバイノーラル録音されたコンテンツの質を向上させるための補正処理を行う装置である。詳しくは、制御装置６は、収録システム４によりバイノーラル録音されたコンテンツを、計測システム２により取得された計測データに基づいて補正する。そして、制御装置６は、補正済みのコンテンツを第２端末装置５へ送信する。
　（２）計測システム２の構成
　図２は、本実施形態に係る計測システム２の構成の一例を示す図である。図２に示すように、計測システム２は、計測用イヤホン１０（１０Ａ及び１０Ｂ）、計測用マイク（マイクロホン）２０（２０Ａ及び２０Ｂ）、及び計測装置３０を含む。計測システム２は、計測用イヤホン１０及び計測用マイク２０を、両耳用に２つずつ有している。
　－計測用イヤホン１０
　計測用イヤホン１０は、音響信号を再生する音声出力装置である。計測用イヤホン１０は、入力された音響信号を音に変換して、周囲の空間に放出する。計測用イヤホン１０は、ＤＡＣ（Digital　Analog　Converter）、及びアンプ等、音響信号の再生に関する各種装置を介して計測装置３０に接続され得る。計測用イヤホン１０は、後述する伝達特性の計測のために使用される。ここで、計測用イヤホン１０は、本実施形態における再生装置の一例である。再生装置は、イヤホンの他に、スピーカ等の任意の音声出力装置により構成されてよい。
　－計測用マイク２０
　計測用マイク２０は、音響信号を取得する音声入力装置である。計測用マイク２０は、周囲の空間に鳴る音を音響信号に変換し、変換後の音響信号を出力する。計測用マイク２０は、ＡＤＣ（Analog　Digital　Converter）、及びアンプ等、音響信号の取得に関する各種装置を介して計測装置３０に接続され得る。計測用マイク２０は、伝達特性の計測のために使用される。計測用マイク２０は、ダイナミックマイク、ＭＥＭＳ（Micro Electro Mechanical Systems）マイク、コンデンサマイク又はレーザーマイク等の任意の方式の音声入力装置として構成されてよい。なお、コンデンサマイクとしては、ダイアフラムに外部から直流電圧をかける方式のマイクの他に、ダイアフラム、背極又はバックチャンバにエレクトレット素子を使用する、いわゆるエレクトレットコンデンサマイクが用いられてもよい。ここで、計測用マイク２０は、本実施形態における第２取得装置の一例である。
　－計測装置３０
　計測装置３０は、計測データの取得に関する処理を行う装置である。図２に示すように、計測装置３０は、通信部３１、記憶部３２、及び制御部３３を含む。
　通信部３１は、有線又は無線で他の装置と通信する通信インタフェースである。通信部３１は、任意の通信規格に準拠した通信を行う。通信規格の一例として、ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、４Ｇ若しくは５Ｇ等のセルラー通信規格、又はＵＳＢ（Universal Serial Bus）等が挙げられる。
　とりわけ、通信部３１は、計測用イヤホン１０及び計測用マイク２０と通信する第１通信部として機能する。第１通信部としての通信部３１は、有線又は無線のオーディオインタフェースである。第１通信部としての通信部３１は、計測用イヤホン１０又は計測用マイク２０との間で音響信号を送受信する。
　また、通信部３１は、第１端末装置３と通信する第２通信部として機能する。第２通信部としての通信部３１は、Ｗｉ－Ｆｉ等で構築されたローカルネットワークに接続可能な通信インタフェースであってもよい。
　また、通信部３１は、制御装置６と通信する第３通信部として機能する。第３通信部としての通信部３１は、セルラー通信可能な通信インタフェースであってもよい。即ち、計測装置３０は、セルラー通信のためのＳＩＭ（Subscriber Identity Module）カードを有していてもよい。
　記憶部３２は、各種情報を記憶する。記憶部３２は、所定の記憶媒体に対してデータの記憶及び読み出しを行う。所定の記憶媒体の一例として、フラッシュメモリ等の不揮発性の記憶媒体が挙げられる。例えば、記憶部３２は、取得された計測データを記憶する。
　制御部３３は、演算処理装置及び制御装置として機能し、各種プログラムに従って計測装置３０内の動作全般を制御する。制御部３３は、例えばＣＰＵ（Central　Processing　Unit）、又はＤＳＰ（Digital　Signal　Processor）等の電子回路によって実現される。なお、制御部３３は、使用するプログラム及び演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。制御部３３は、計測データを取得するための各種処理を制御する。
　（３）収録システム４の構成
　図３は、本実施形態に係る収録システム４の構成の一例を示す図である。図３に示すように、収録システム４は、収録用マイク５０（５０Ａ及び５０Ｂ）、及び収録装置４０を含む。収録システム４は、収録用マイク５０を両耳用に２つ有している。
　－収録用マイク５０
　収録用マイク５０は、音響信号を取得する音声入力装置である。収録用マイク５０の構成は、計測用マイク２０と同様である。収録用マイク５０は、バイノーラル録音のために使用される。ここで、収録用マイク５０は、本実施形態における第１取得装置の一例である。
　－収録装置４０
　収録装置４０は、収録データの取得に関する処理を行う装置である。収録データは、収録用マイク５０によりバイノーラル録音されたコンテンツを含む。図３に示すように、収録装置４０は、通信部４１、入力部４２、記憶部４３、及び制御部４４を含む。
　通信部４１は、有線又は無線で他の装置と通信する通信インタフェースである。通信部４１は、任意の通信規格に準拠した通信を行う。通信規格の一例として、ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、４Ｇ若しくは５Ｇ等のセルラー通信規格、又はＵＳＢ（Universal Serial Bus）等が挙げられる。
　とりわけ、通信部４１は、収録用マイク５０と通信する第１通信部として機能する。第１通信部としての通信部４１は、有線又は無線のオーディオインタフェースである。第１通信部としての通信部４１は、収録用マイク５０との間で音響信号を送受信する。
　また、通信部４１は、第２端末装置５と通信する第２通信部として機能する。第２通信部としての通信部４１は、Ｗｉ－Ｆｉ等で構築されたローカルネットワークに接続可能な通信インタフェースであってもよい。
　また、通信部４１は、制御装置６と通信する第３通信部として機能する。第３通信部としての通信部４１は、セルラー通信可能な通信インタフェースであってもよい。即ち、収録装置４０は、セルラー通信のためのＳＩＭ（Subscriber Identity Module）カードを有していてもよい。
　入力部４２は、ユーザからの各種情報の入力を受け付ける。入力部４２は、ボタン、タッチパネル、キーボード又はスイッチ等の任意の入力装置により構成され得る。
　記憶部４３は、各種情報を記憶する。記憶部４３は、所定の記憶媒体に対してデータの記憶及び読み出しを行う。所定の記憶媒体の一例として、フラッシュメモリ等の不揮発性の記憶媒体が挙げられる。例えば、記憶部４３は、収録データを記憶する。
　制御部４４は、演算処理装置及び制御装置として機能し、各種プログラムに従って収録装置４０内の動作全般を制御する。制御部４４は、例えばＣＰＵ（Central　Processing　Unit）、又はＤＳＰ（Digital　Signal　Processor）等の電子回路によって実現される。なお、制御部４４は、使用するプログラム及び演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。制御部４４は、バイノーラル録音のための各種処理を制御する。
　（４）制御装置６の構成
　図４は、本実施形態に係る制御装置６の構成の一例を示す図である。図４に示すように、制御装置６は、通信部６１、記憶部６２、及び制御部６３を含む。
　通信部６１は、有線又は無線で他の装置と通信する通信インタフェースである。通信部６１は、任意の通信規格に準拠した通信を行う。通信規格の一例として、ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、４Ｇ若しくは５Ｇ等のセルラー通信規格、又はＵＳＢ（Universal Serial Bus）等が挙げられる。
　記憶部６２は、各種情報を記憶する。記憶部６２は、所定の記憶媒体に対してデータの記憶及び読み出しを行う。所定の記憶媒体の一例として、フラッシュメモリ等の不揮発性の記憶媒体が挙げられる。例えば、記憶部６２は、計測データ、収録データ、及び補正用係数、補正済みの収録データ等の各種情報を記憶する。
　制御部６３は、演算処理装置及び制御装置として機能し、各種プログラムに従って制御装置６内の動作全般を制御する。制御部６３は、例えばＣＰＵ（Central　Processing　Unit）、又はＤＳＰ（Digital　Signal　Processor）等の電子回路によって実現される。なお、制御部６３は、使用するプログラム及び演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。制御部６３は、計測データに基づく伝達特性の計算、及び計算した伝達特性に基づいて音響信号を補正する処理を制御する。
　＜２．技術的特徴＞
　（１）伝達特性の計測
　信号処理システム１は、伝達特性を計測する。伝達特性の計測は、典型的には、人間であるユーザに計測用イヤホン１０及び計測用マイク２０を装着した状態で行われる。計測対象の伝達特性は、音源からユーザの鼓膜までの伝達特性（即ち、伝達経路の音響特性）である。ただし、信号処理システム１は、計測用イヤホン１０から計測用マイク２０までの伝達特性を、音源からユーザの鼓膜までの伝達特性の近似値として計測する。音響特性とは、周波数特性であってよい。
　計測用マイク２０は、ユーザの鼓膜付近に配置される。他方、計測用イヤホン１０は、ユーザの耳介に配置される。かかる構成により、鼓膜への音の伝わり方に大きな影響を与える耳介の音響特性を、計測することが可能となる。一例として、計測用マイク２０は、外耳道に配置され、計測用イヤホン１０は、耳甲介腔に配置されてもよい。伝達特性の計測のために計測用イヤホン１０及び計測用マイク２０を装着するユーザを、以下ではユーザＡとする。
　計測装置３０は、第３音響信号を計測用イヤホン１０により再生させる。そして、計測装置３０は、計測用マイク２０により取得された、計測用イヤホン１０により再生された第３音響信号に対応する第４音響信号を、伝達特性に関する計測データとして制御装置６へ送信する。第３音響信号は、伝達特性の計測のために再生される音響信号である。第３音響信号は、例えば、低い周波数から高い周波数へ段階的に周波数が変化する、いわゆるスイープ信号であってよい。第４音響信号は、計測用イヤホン１０から計測用マイク２０までの伝達経路の影響を受けた第３音響信号である、とも言える。
　詳しくは、計測装置３０は、まず、記憶した第３音響信号を計測用イヤホン１０へ出力することで、計測用イヤホン１０により第３音響信号を再生させる。計測用マイク２０は、計測用イヤホン１０から再生された第３音響信号であって、計測用イヤホン１０から計測用マイク２０までの伝達経路を経由して到来した音に由来する音響信号である、第４音響信号を取得する。そして、計測装置３０は、計測用マイク２０により取得された第４音響信号を記憶する。その後、計測装置３０は、第４音響信号を、計測データとして制御装置６へ送信する。
　制御装置６は、計測装置３０から受信した計測データに基づいて、伝達特性を計算する。詳しくは、制御装置６は、第３音響信号と第４音響信号とに基づいて、伝達特性を計算する。計算される伝達特性は、第３音響信号と第４音響信号との差分に対応する。なお、第３音響信号は、制御装置６に既知であるものとする。
　第１端末装置３は、計測データの取得に関する情報を入出力してもよい。例えば、第１端末装置３は、計測システム２との間で制御情報を送受信し、計測システム２を操作するためのＵＩ画面を表示して、計測データの取得を開始するよう指示する情報の入力を受け付ける。計測装置３０は、計測データの取得を開始するよう指示する情報が第１端末装置３に入力されたことをトリガとして、計測データを取得してもよい。かかる構成によれば、第１端末装置３を、計測システム２のＵＩとして機能させることができる。
　伝達特性を計測する具体的な処理について、図５を参照しながら説明する。
　図５は、本実施形態に係る伝達特性の計測について説明するための図である。図５に示すように、計測用イヤホン１０から計測用マイク２０までの伝達経路には、計測用イヤホン１０と、計測用イヤホン１０及び計測用マイク２０を装着したユーザＡの耳介９０と、が存在する。そのため、計測される伝達特性は、次式により表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｇｍ（ω）は、伝達特性である。Ｈａ（ω）は、計測用イヤホン１０の音響特性である。なお、本明細書において、音響特性とは例えば振幅周波数特性であり、この他に位相周波数特性、位相遅延特性、又は群遅延特性等が採用され得る。ＧＡ（ω）は、ユーザＡの耳介９０の音響特性である。ωは、角周波数である。
　（２）バイノーラル録音
　収録システム４は、バイノーラル録音を行う。バイノーラル録音は、ユーザに収録用マイク５０を装着した状態で行われる。
　詳しくは、収録用マイク５０は、バイノーラル録音の対象となる音源から到来した音に由来する第１音響信号を取得する。そして、収録装置４０は、収録用マイク５０により取得された第１音響信号を記憶する。その後、収録装置４０は、記憶した第１音響信号を、収録データとして制御装置６へ送信する。
　制御装置６は、収録装置４０から受信した収録データを補正することで、補正済みの収録データを生成する。詳しくは、制御装置６は、計測装置３０により取得された計測データに基づいて第１音響信号を補正し、第２音響信号を生成する。例えば、制御装置６は、計測データに基づいて計算した伝達特性に基づく補正処理を第１音響信号に適用することで、第２音響信号を生成する。その後、制御装置６は、生成した第２音響信号を、補正済みの収録データとして記憶する。第２端末装置５は、補正済みの収録データである第２音響信号を、制御装置６から受信して再生用イヤホンによりバイノーラル再生させ得る。第２音響信号をバイノーラル再生することで、第１音響信号をバイノーラル再生する場合と比較して、バイノーラル再生の質を向上させることが可能となる。このように、本実施形態によれば、バイノーラル再生の質を向上させるための補正を、バイノーラル録音時に予め実施することができる。
　バイノーラル録音時に収録用マイク５０を装着するユーザと、伝達特性の計測時に計測用イヤホン１０及び計測用マイク２０を装着するユーザとは、同一であることが望ましい。さらに、バイノーラル録音時の収録用マイク５０の配置と伝達特性の計測時の計測用マイク２０の配置とは、同一であることが望ましい。さらに、計測用マイク２０の音響特性と収録用マイク５０の音響特性とは同一であることが望ましい。これらの条件が全て満たされる場合、補正の効果を最大化して、バイノーラル再生の質を向上させることが可能である。もちろん、これらの条件の少なくともいずれか１つが満たされずとも、バイノーラル再生の質を向上させることが可能である。以下では、ユーザＡが、伝達特性の計測時と同一の配置で、且つ計測用マイク２０と同一の音響特性を有する収録用マイク５０を装着した状態で、バイノーラル録音が行われるものとする。
　バイノーラル録音について、図６を参照しながら説明する。
　図６は、本実施形態に係るバイノーラル録音について説明するための図である。図６に示すように、バイノーラル録音の対象となる音源８０から計測用マイク２０と同一の音響特性を有する収録用マイク５０までの伝達経路には、収録用マイク５０を装着したユーザＡの耳介９０が存在する。そのため、収録用マイク５０により取得される第１音響信号は、次式により表される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｙｒｅｃ（ω）は、第１音響信号である。ｘ（ω）は、音源８０から発生する音に由来する音響信号（以下、音源信号とも称する）である。
　制御装置６は、第１音響信号に対し、事前に計測した伝達特性に基づく補正を行うことで、第２音響信号を生成する。具体的には、制御装置６は、事前に計測した伝達特性Ｇｍ（ω）の逆特性を、第１音響信号ｙｒｅｃ（ω）に畳み込むことで、第２音響信号を生成する。第２音響信号は、次式により表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｙ´（ω）は、第２音響信号である。Ｇｍ －１（ω）は、伝達特性Ｇｍ（ω）の逆特性である。Ｈａ －１（ω）は、計測用イヤホン１０の音響特性Ｈａ（ω）の逆特性である。伝達特性Ｇｍ（ω）の逆特性Ｇｍ －１（ω）を、以下では補正用係数とも称する。
　数式（３）に示すように、第２音響信号ｙ´（ω）は、ユーザＡの耳介９０の音響特性ＧＡ（ω）がキャンセルされ、且つ計測用イヤホン１０の音響特性Ｈａ（ω）の逆特性Ｈａ －１（ω）が予め畳み込まれた音源信号ｘ（ω）である。従って、バイノーラル再生の際に、ユーザＡの耳介９０の音響特性ＧＡ（ω）をキャンセルしたり、計測用イヤホン１０の音響特性Ｈａ（ω）をキャンセルしたりするための補正を実施せずとも、バイノーラル再生の質を向上させることが可能となる。
　バイノーラル再生時に補正が不要になるので、バイノーラル録音されたコンテンツを多数の第２端末装置５にリアルタイム配信するようなシステムにおいて、システム全体の処理負荷を著しく軽減することが可能となる。また、バイノーラル再生時に補正が実施される場合、補正のためのメタ情報をバイノーラル録音されたコンテンツと共に配信することが要され得る。この点、本実施形態によれば、補正のためのメタ情報の配信が不要になるので、通信負荷をも著しく軽減することが可能となる。なお、補正のためのメタ情報としては、ユーザＡの耳介９０の音響特性ＧＡ（ω）、及び計測用イヤホン１０の音響特性Ｈａ（ω）等が挙げられる。
　また、本実施形態によれば、人間であるユーザＡに収録用マイク５０を装着した状態で、バイノーラル録音が実施される。そのため、ダミーヘッドを用いてバイノーラル録音を実施する場合と比較して、様々なユースケースで簡易且つ高品質なバイノーラル録音を実施することが可能となる。例えば、カメラを手に持って移動しながら動画を撮影するユーザに収録用マイク５０を装着して、バイノーラル録音を実施することができる。また、ユーザは、バイノーラル録音とモニタ（即ち、録音される音の確認）とを、同時に実施することも可能である。
　（３）バイノーラル再生
　バイノーラル再生は、ユーザに再生用イヤホンを装着した状態で行われる。再生用イヤホンの構成は、計測用イヤホン１０と同様であってよい。再生用イヤホンは、ユーザの耳介に配置される。一例として、再生用イヤホンは、耳甲介腔に配置されてもよい。再生用イヤホンは、ユーザの耳介に配置された状態で、第２音響信号を再生する。これにより、再生用イヤホンを装着したユーザは、バイノーラル録音された音を聴取することが可能となる。
　バイノーラル録音の際に収録用マイク５０を装着するユーザと、バイノーラル再生の際に再生用イヤホンを装着するユーザとは、同一であってもよい。即ち、ユーザＡが再生用イヤホンを装着した状態で、バイノーラル再生が実施されてもよい。他方、バイノーラル録音の際に収録用マイク５０を装着するユーザと、バイノーラル再生の際に再生用イヤホンを装着するユーザとは、異なっていてもよい。即ち、ユーザＡとは異なるユーザＢが再生用イヤホンを装着した状態で、バイノーラル再生が実施されてもよい。
　また、計測用イヤホン１０の音響特性と再生用イヤホンとの音響特性とは、同一であってもよいし、異なっていてもよい。
　以下、バイノーラル録音されたコンテンツが、３種類の再生環境においてバイノーラル再生された際にユーザが聴取する音について説明する。
　－第１再生環境
　第１再生環境は、計測用イヤホン１０の音響特性と再生用イヤホンの音響特性とが同一であり、再生用イヤホンがユーザＡに装着される再生環境である。第１再生環境におけるバイノーラル再生について、図７を参照しながら説明する。
　図７は、本実施形態に係るバイノーラル再生について説明するための図である。図７に示すように、計測用イヤホン１０と同一の音響特性を有する再生用イヤホン７０からユーザＡの鼓膜までの伝達経路には、再生用イヤホン７０を装着したユーザＡの耳介９０が存在する。そのため、ユーザＡにより聴取される音を示す音響信号は、次式により表される。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｙｒｅｐ（ω）は、再生用イヤホン７０を装着したユーザ、即ちユーザＡにより聴取される音を示す音響信号である。Ｈａ（ω）は、計測用イヤホン１０の音響特性と同一である再生用イヤホン７０の音響特性である。
　数式（４）に示すように、ユーザＡは、第１音響信号ｙｒｅｃ（ω）を聴取することができる。即ち、ユーザＡは、バイノーラル録音時と同一の音を聴取することが可能となる。このようにして、バイノーラル再生の質を向上させることが可能となる。
　－第２再生環境
　第２再生環境は、計測用イヤホン１０の音響特性と再生用イヤホン７０の音響特性とが同一であり、再生用イヤホン７０がユーザＡとは異なるユーザＢに装着される再生環境である。
　本再生環境において、計測用イヤホン１０と同一の音響特性を有する再生用イヤホン７０からユーザＢの鼓膜までの伝達経路には、再生用イヤホン７０を装着したユーザＢの耳介９０が存在する。そのため、ユーザＢにより聴取される音を示す音響信号は、次式により表される。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｙｒｅｐ（ω）は、再生用イヤホン７０を装着したユーザ、即ちユーザＢにより聴取される音を示す音響信号である。Ｈａ（ω）は、計測用イヤホン１０の音響特性と同一である再生用イヤホン７０の音響特性である。ＧＢ（ω）は、ユーザＢの耳介９０の音響特性である。
　数式（２）を参照すると、ユーザＡがバイノーラル録音の際に聴取する音を示す音響信号ｙｒｅｃ（ω）は、音源信号ｘ（ω）にユーザＡの耳介９０の音響特性ＧＡ（ω）が畳み込まれたものである。これに対し、数式（５）を参照すると、ユーザＢがバイノーラル再生の際に聴取する音を示す音響信号ｙｒｅｐ（ω）は、音源信号ｘ（ω）にユーザＢの耳介９０の音響特性ＧＢ（ω）が畳み込まれたものである。即ち、ユーザＢは、ユーザＡの代わりにユーザＢが収録用マイク５０を装着した状態でバイノーラル録音が行われた場合にユーザＢが聴取したであろう音を示す音響信号を、バイノーラル再生の場で聴取することができる。このように、ユーザＢは、ユーザＡの代わりに、バイノーラル録音の場にあたかも居合わせたかのような音を聴取することが可能となる。このようにして、バイノーラル再生の質を向上させることが可能となる。
　ただし、バイノーラル録音される音源信号ｘ（ω）には、ユーザＡの耳介９０の音響特性以外にも、ユーザＡに特有の音響特性の影響が含まれ得る。そのような音響特性としては、ユーザＡの耳介９０以外の身体的特徴による音響特性が挙げられる。ユーザＢが聴取する音を示す音響信号ｙｒｅｐ（ω）に、他人であるユーザＡに特有の音響特性の影響が含まれることになるので、聴覚上の自然さが損なわれるおそれがある。
　しかしながら、バイノーラル録音が、収録用マイク５０を人間の耳に装着した状態で行われた場合、収録用マイク５０をダミーヘッドに装着した状態で行われた場合と比較して、バイノーラル再生の質を向上させることが可能である。バイノーラル録音が、収録用マイク５０をダミーヘッドに装着した状態で行われた場合、ユーザＢが聴取する音を示す音響信号ｙｒｅｐ（ω）に、ダミーヘッドの音響特性が含まれることになるためである。その場合、人間の肌とは異なる音の反射係数及び人間の身体とは異なる構造の影響で、聴覚上の自然さが著しく損なわれる。
　－第３再生環境
　第３再生環境は、計測用イヤホン１０の音響特性と再生用イヤホン７０の音響特性とが異なり、再生用イヤホン７０がユーザＡとは異なるユーザＢに装着される再生環境である。
　本再生環境において、計測用イヤホン１０と異なる音響特性を有する再生用イヤホン７０からユーザＢの鼓膜までの伝達経路には、再生用イヤホン７０を装着したユーザＢの耳介９０が存在する。そのため、ユーザＢにより聴取される音を示す音響信号は、次式により表される。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｙｒｅｐ（ω）は、再生用イヤホン７０を装着したユーザ、即ちユーザＢにより聴取される音を示す音響信号である。Ｈｎ（ω）は、計測用イヤホン１０の音響特性と異なる再生用イヤホン７０の音響特性である。ＧＢ（ω）は、ユーザＢの耳介９０の音響特性である。
　数式（６）を参照すると、ユーザＢは、上記第２再生環境においてユーザＢが聴取する音を示す音響信号に、計測用イヤホン１０と再生用イヤホン７０との相違に対応する音響特性Ｈｎ（ω）／Ｈａ（ω）が畳み込まれたものを、聴取することになる。即ち、ユーザＢは、ユーザＡの代わりにユーザＢが収録用マイク５０を装着した状態でバイノーラル録音が行われた場合にユーザＢが聴取したであろう音に類似する音を、バイノーラル再生の場で聴取することができる。そのため、バイノーラル再生の質が向上することが期待される。
　（４）処理の流れ
　以下、図８を参照しながら、伝達特性の計測及びバイノーラル録音に関する処理の流れの一例を説明する。図８は、本実施形態に係る信号処理システム１において実行される処理の流れの一例を示すシーケンス図である。本シーケンスには、計測システム２、第１端末装置３、収録システム４、第２端末装置５、及び制御装置６が関与する。
　図８に示すように、まず、第１端末装置３は、計測データの取得開始を要求する信号を計測システム２へ送信する（ステップＳ１０２）。例えば、第１端末装置３は、表示したＵＩ画面に対して所定のタッチ操作が入力された場合に、計測データの取得開始を要求する信号を送信する。
　次いで、計測システム２は、計測データを取得する（ステップＳ１０４）。例えば、計測装置３０は、計測用イヤホン１０により第３音響信号を再生させて、計測用マイク２０により第４音響信号を取得する。
　次に、計測システム２は、計測データを制御装置６へ送信する（ステップＳ１０６）。例えば、計測システム２は、セルラー通信により第４音響信号を制御装置６へ送信する。
　次いで、制御装置６は、補正用係数を計算する（ステップＳ１０８）。例えば、制御装置６は、既知な第３音響信号と計測システム２から受信した第４音響信号とに基づいて、伝達特性を計算する。そして、制御装置６は、伝達特性の逆特性を、補正用係数として計算する。その後、制御装置６は、計算した補正用係数を記憶する。
　次に、収録システム４は、第１音響信号を取得する（ステップＳ１１０）。例えば、収録装置４０は、ボタン押下等の所定のユーザ操作が入力された場合に、収録用マイク５０により第１音響信号を取得する。
　次いで、収録システム４は、第１音響信号を制御装置６へ送信する（ステップＳ１１２）。例えば、収録システム４は、セルラー通信により第１音響信号を制御装置６へ送信する。
　そして、制御装置６は、第１音響信号を補正することで第２音響信号を生成する（ステップＳ１１４）。例えば、制御装置６は、補正用係数（即ち、事前に計測した伝達特性の逆特性）を第１音響信号に畳み込むことで、第２音響信号を生成する。
　次に、制御装置６は、生成した第２音響信号を第２端末装置５へ送信する（ステップＳ１１６）。その後、第２端末装置５は、受信した第２音響信号を記憶したり、他の装置に配信したり、再生用イヤホン７０によりバイノーラル再生したりし得る。
　（５）効果
　以上説明した実施形態によれば、ユーザは、計測用イヤホン１０及び計測用マイク２０を装着して第３音響信号を再生させることで、伝達特性を簡単に計測することができる。また、ユーザは、収録用マイク５０を装着して収録を開始するだけで、簡単且つ高品質にバイノーラル録音を行うことができる。そのため、ユーザは、バイノーラル録音に関する専門知識を有さずとも、質の高いコンテンツを取得することが可能となる。このようにして、バイノーラル録音をより容易に実施することが可能となる。
　また、伝達特性の計算、補正用係数の計算、及び補正用係数の畳み込み等の、処理負荷の高い補正処理は、制御装置６により実行される。そのため、第２端末装置５において補正処理を実施する場合と比較して、第２端末装置５の処理負荷を軽減することができる。バイノーラル録音されたコンテンツを使用するユーザが複数いる場合、即ち第２端末装置５が複数ある場合には、処理負荷の軽減効果が顕著である。
　＜３．ハードウェア構成例＞
　計測用イヤホン１０及び計測用マイク２０は、多様なハードウェアで実現され得る。その一例を、図９を参照しながら説明する。
　図９は、計測用イヤホン１０及び計測用マイク２０のハードウェア構成の一例を模式的に示す図である。図９に示すように、ユーザの耳介９０に、計測用イヤホン１０としてのヘッドホン１００、及び計測用マイク２０を含む収音治具２００が装着されている。
　（１）ヘッドホン１００
　ヘッドホン１００は、音響信号を再生する音声出力装置である。ヘッドホン１００は、計測用イヤホン１０の一例である。ヘッドホン１００は、いわゆるイヤーカフ型として構成され、ユーザに装着された収音治具２００の一部を覆うようにしてユーザに装着される。ヘッドホン１００は、ドライバユニット１１０及びフレーム１２０を含む。
　ドライバユニット１１０は、入力された音響信号を音に変換して、周囲の空間に放出する装置である。
　フレーム１２０は、ドライバユニット１１０を耳介９０に保持する部材である。フレーム１２０は、ヘッドホン１００がユーザに装着された状態において、耳介９０の前面から耳介９０の背面にかけて耳輪９６又は耳垂９７の少なくともいずれかの外側を通過するように湾曲する。フレーム１２０の一端には、ドライバユニット１１０が接続される。そして、フレーム１２０は、フレーム１２０の一端に接続されたドライバユニット１１０とフレーム１２０の他端とで、耳介９０の前面と耳介９０の背面とから耳介９０を挟持する。
　（２）収音治具２００
　収音治具２００は、計測用マイク２０を含む挿入部２１０、第１フレーム２２０、第２フレーム２３０、及び第３フレーム２４０を有する。
　挿入部２１０は、ユーザの外耳道９８に挿入される部材である。挿入部２１０は、挿入方向に貫通する貫通孔を有する筒状体として構成される。そして、計測用マイク２０は、挿入部２１０の貫通孔の内壁との間に隙間を設けた状態で、貫通孔の内側に配置される。そのため、挿入部２１０がユーザの外耳道９８に挿入されると、計測用マイク２０は、ユーザの鼓膜付近に配置されることとなる。その上、外界から到来した音は、貫通孔を通過してユーザの鼓膜に到達する。従って、ユーザは、収音治具２００を装着した状態で、周囲の音を鮮明に聞くことが可能となる。
　第１フレーム２２０は、リング状に構成された部材である。第１フレーム２２０は、収音治具２００がユーザに装着された状態において、ユーザの耳甲介腔９２に当接する。第１フレーム２２０は、挿入部２１０に接続される。
　第２フレーム２３０は、肉抜きされたシャークフィン状に構成された部材である。第２フレーム２３０は、収音治具２００がユーザに装着された状態において、ユーザの耳甲介艇９１に当接する。第２フレーム２３０は、第１フレーム２２０に接続される。
　第３フレーム２４０は、収音治具２００がユーザに装着された状態において、ユーザの耳介９０の前面から耳介９０の背面にかけてユーザの耳輪脚９３の外側を通過するように湾曲する。第３フレーム２４０は、第１フレーム２２０に接続される。
　（３）計測装置３０との接続形態
　図１０は、計測用イヤホン１０及び計測用マイク２０と計測装置３０との接続形態の一例を説明するための図である。図１０に示すように、２つの計測用イヤホン１０及び２つの計測用マイク２０と計測装置３０とは、５つの端子（３５Ａ～３５Ｅ）から成る５極プラグ３５を介して有線接続されてもよい。５極プラグ３５の２つの端子（例えば、端子３５Ａ及び３５Ｂ）は、２つの計測用イヤホン１０に入力される第３音響信号を伝送する。５極プラグ３５の他の２つの端子（例えば、端子３５Ｃ及び３５Ｄ）は、２つの計測用マイク２０から出力される第４音響信号を伝送する。５極プラグ３５の残りの１つの端子（例えば、端子３５Ｅ）は、グランド端子である。かかる構成によれば、計測用イヤホン１０及び計測用マイク２０と計測装置３０とを、容易に接続したり接続解除したりすることが可能となる。
　もちろん、計測用イヤホン１０又は計測用マイク２０のうち少なくともいずれか一方は、計測装置３０と無線接続されてもよい。
　（４）補足
　以上、計測用イヤホン１０及び計測用マイク２０のハードウェア構成の一例を説明した。以上説明した例によれば、計測用マイク２０をユーザの外耳道９８に挿入して鼓膜の近くに配置しつつ、計測用イヤホン１０をユーザの耳介９０に配置することができる。また、ユーザの外耳道９８を開放したまま、伝達特性の計測を実施することが可能である。
　収録用マイク５０の構成は、計測用マイク２０と同様であってもよい。その場合、ユーザの外耳道９８を開放したまま、バイノーラル録音を実施することが可能である。
　再生用イヤホン７０の構成は、計測用イヤホン１０と同様であってもよい。
　なお、上記では、ヘッドホン１００と収音治具２００とが別々の装置として構成される例を説明したが、本開示はかかる例に限定されない。ヘッドホン１００と収音治具２００とは、同一の装置として実現されてもよい。一例として、第１フレーム２２０に、ドライバユニット１１０が設けられてもよい。換言すると、計測用イヤホン１０と計測用マイク２０とは、同一の装置に搭載されていてもよい。
　＜４．補足＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　（１）第１の変形例
　計測システム２は、第１端末装置３を経由して制御装置６と通信してもよい。例えば、計測システム２は、第３通信部としての機能を有していなくてもよい。同様に、収録システム４は、第２端末装置５を経由して制御装置６と通信してもよい。例えば、収録システム４は、第３通信部としての機能を有していなくてもよい。その場合の処理の流れの一例を、図１１を参照しながら説明する。
　図１１は、第１の変形例に係る信号処理システム１において実行される処理の流れの一例を示すシーケンス図である。本シーケンスには、計測システム２、第１端末装置３、収録システム４、第２端末装置５、及び制御装置６が関与する。
　図９に示すステップＳ２０２及びＳ２０４に係る処理は、図８を参照しながら上記説明したステップＳ１０２及びＳ１０４に係る処理と同様である。
　次いで、計測システム２は、計測データを第１端末装置３へ送信する（ステップＳ２０６－１）。次に、第１端末装置３は、受信した計測データを制御装置６へ送信する（ステップＳ２０６－２）。
　その後のステップＳ２０８及びＳ２１０に係る処理は、図８を参照しながら上記説明したステップＳ１０８及びＳ１１０に係る処理と同様である。
　次いで、収録システム４は、第１音響信号を第２端末装置５へ送信する（ステップＳ２１２－１）。次に、第２端末装置５は、受信した第１音響信号を制御装置６へ送信する（ステップＳ２１２－２）。
　その後のステップＳ２１４及びＳ２１６に係る処理は、図８を参照しながら上記説明したステップＳ１１４及びＳ１１６に係る処理と同様である。
　（２）第２の変形例
　収録システム４は、再生用イヤホン７０を有していてもよい。詳しくは、収録装置４０は、再生用イヤホン７０に接続されていてもよい。その場合、ユーザは、バイノーラル録音されたコンテンツを、再生用イヤホン７０により再生させてモニタしながら、バイノーラル録音を実施することができる。その際、収録装置４０は、バイノーラル録音されたコンテンツに補正処理を施した上で、コンテンツをバイノーラル再生してもよい。その場合の処理の流れの一例を、図１２を参照しながら説明する。
　図１２は、第２の変形例に係る信号処理システム１において実行される処理の流れの一例を示すシーケンス図である。本シーケンスには、計測システム２、第１端末装置３、収録システム４、第２端末装置５、及び制御装置６が関与する。
　図１２に示すステップＳ３０２～Ｓ３０８に係る処理は、図８を参照しながら上記説明したステップＳ１０２～Ｓ１０８に係る処理と同様である。
　次いで、制御装置６は、補正用係数を収録システム４へ送信する（ステップＳ３１０）。
　次に、収録システム４は、第１音響信号を取得する（ステップＳ３１２）。例えば、収録装置４０は、ボタン押下等の所定のユーザ操作が入力された場合に、収録用マイク５０を動作させて第１音響信号を取得する。
　次いで、収録システム４は、第１音響信号を制御装置６へ送信する（ステップＳ３１４）。制御装置６は、バックアップのために、受信した第１音響信号を記憶してもよい。
　他方、収録システム４は、第１音響信号を補正することで第２音響信号を生成する（ステップＳ３１６）。例えば、収録システム４は、制御装置６から受信した補正用係数（即ち、事前に計測した伝達特性の逆特性）を第１音響信号に畳み込むことで、第２音響信号を生成する。
　次に、収録システム４は、第２音響信号を再生する（ステップＳ３１８）。例えば、収録装置４０は、第２音響信号を再生用イヤホン７０により再生させる。
　次いで、収録システム４は、生成した第２音響信号を第２端末装置５へ送信する（ステップＳ３２０）。
　なお、ステップＳ３１２～Ｓ３２０に係る処理は、順番に実行されてもよいし、同時並行で実行されてもよい。
　（３）第３の変形例
　計測装置３０は、計測用イヤホン１０の特性を示す情報を、計測データとして制御装置６へ送信してもよい。計測用イヤホン１０の特性を示す情報の一例は、計測用イヤホン１０の音響特性を示す情報、及び再生音量の設定値等である。制御装置６は、計測用イヤホン１０の特性にさらに基づいて、伝達特性を計算する。その結果、補正の効果をより高めて、バイノーラル再生の質を向上させることが可能となる。
　制御装置６は、計測用イヤホン１０の識別情報と計測用イヤホン１０の音響特性との組み合わせを記憶していてもよい。その場合、計測装置３０は、計測用イヤホン１０の音響特性を示す情報として、計測用イヤホン１０の識別情報を送信してもよい。制御装置６は、計測装置３０から受信した識別情報を検索キーとして計測用イヤホン１０の音響特性を検索して、伝達特性の計算に使用することができる。かかる構成によれば、通信負荷を軽減することができる。
　（４）第４の変形例
　計測装置３０は、計測用マイク２０の特性を示す情報を、計測データとして制御装置６へ送信してもよい。計測用マイク２０の特性を示す情報の一例は、計測用マイク２０の音響特性を示す情報、及びマイク感度の設定値等である。制御装置６は、計測用マイク２０の特性にさらに基づいて補正処理を行う。一例として、制御装置６は、左右の計測用マイク２０のマイク感度に基づいて左右のバランスを調整した上で、伝達特性を計算する。その結果、補正の効果をより高めて、バイノーラル再生の質を向上させることが可能となる。
　制御装置６は、計測用マイク２０の識別情報と計測用マイク２０の音響特性との組み合わせを記憶していてもよい。その場合、計測装置３０は、計測用マイク２０の音響特性を示す情報として、計測用マイク２０の識別情報を送信してもよい。制御装置６は、計測装置３０から受信した識別情報を検索キーとして計測用マイク２０の音響特性を検索して、伝達特性の計算に使用することができる。かかる構成によれば、通信負荷を軽減することができる。
　（５）第５の変形例
　収録装置４０は、収録用マイク５０の特性を示す情報を、収録データとして制御装置６へ送信してもよい。収録用マイク５０の特性を示す情報の一例は、収録用マイク５０の音響特性を示す情報、及びマイク感度の設定値等である。制御装置６は、収録用マイク５０の特性にさらに基づいて、補正係数を調整する。その結果、補正の効果をより高めて、バイノーラル再生の質を向上させることが可能となる。
　制御装置６は、収録用マイク５０の識別情報と収録用マイク５０の音響特性との組み合わせを記憶していてもよい。その場合、収録装置４０は、収録用マイク５０の音響特性を示す情報として、収録用マイク５０の識別情報を送信してもよい。制御装置６は、収録装置４０から受信した識別情報を検索キーとして収録用マイク５０の音響特性を検索して、補正処理に使用することができる。かかる構成によれば、通信負荷を軽減することができる。
　（６）第６の変形例
　計測装置３０は、計測用マイク２０が第４音響信号を取得した方法を示す情報を、計測データとして制御装置６へ送信してもよい。制御装置６は、計測用マイク２０が第４音響信号を取得した方法を示す情報にさらに基づいて、伝達特性を計算する。その結果、補正の効果をより高めて、バイノーラル再生の質を向上させることが可能となる。
　一例として、計測装置３０は、計測データの取得のために使用した第３音響信号の識別情報を、計測用マイク２０が第４音響信号を取得した方法を示す情報として制御装置６へ送信してもよい。この場合、制御装置６は、第３音響信号の識別情報と第３音響信号との組み合わせを記憶しておき、計測装置３０から受信した識別情報を検索キーとして第３音響信号を検索して、伝達特性の計算に使用する。
　他の一例として、計測装置３０は、第４音響信号を１回取得して計測データとして制御装置６へ送信してもよいし、第４音響信号を複数回取得して同期加算した結果を計測データとして制御装置６へ送信してもよい。この場合、計測用マイク２０が第４音響信号を取得した方法を示す情報は、第４音響信号の同期加算の回数を含み得る。
　（７）第７の変形例
　計測装置３０は、計測用イヤホン１０による音響信号の再生が実行されていないタイミングで計測用マイク２０により取得された第５音響信号を、計測データとして制御装置６へ送信してもよい。そして、制御装置６は、第５音響信号にさらに基づいて補正処理を行ってもよい。詳しくは、計測装置３０は、計測用マイク２０により環境音を録音して、環境音に対応する第５音響信号を、計測データとして制御装置６へ送信する。そして、制御装置６は、第５音響信号により示される環境音に対応する成分を第４音響信号からキャンセルした上で、伝達特性を計算する。かかる構成によれば、伝達特性の計算精度を向上させることができる。その結果、補正の効果をより高めて、バイノーラル再生の質を向上させることが可能となる。
　（８）第８の変形例
　計測装置３０は、取得した計測データが所定の条件を満たすか否かを判定してもよい。計測装置３０は、取得した計測データにより伝達特性を適切に計算可能であると想定される場合に所定の条件を満たすと判定し、そうでない場合に満たさないと判定する。一例として、計測装置３０は、第４音響信号の周波数特性が適切な周波数特性の範囲内であるか否かを判定する。他の一例として、計測装置３０は、第４音響信号のノイズレベルが所定の閾値未満であるか否かを判定する。他の一例として、計測装置３０は、複数回取得された第４音響信号のばらつきが所定の閾値未満であるか否かを判定する。
　計測装置３０は、所定の条件を満たすと判定された計測データに限定して制御装置６へ送信してもよい。即ち、計測装置３０は、伝達特性を適切に計算可能であると想定される計測データに限定して、制御装置６へ送信する。もちろん、上記所定の条件に関する判定は、制御装置６により実施されてもよい。しかしながら、上記所定の条件に関する判定を計測装置３０が実施する場合、制御装置６が上記所定の条件に関する判定を行う場合と比較して、通信負荷を削減すると共に、計測データの再取得までの遅延を削減することが可能となる。
　第１端末装置３は、計測データが所定の条件を満たさないと計測装置３０により判定された場合に、計測データの再取得をユーザに促してもよい。その際、第１端末装置３は、計測データの取得の前にユーザが実行するべき行動を示す情報を出力してもよい。一例として、第４音響信号の周波数特性が適切な周波数特性の範囲外であると判定された場合、第１端末装置３は、５極プラグ３５を挿し直すようユーザに促す情報を表示してもよい。他の一例として、第４音響信号のノイズレベルが所定の閾値以上であると判定された場合、第１端末装置３は、静かな場所に移動するようユーザに促す情報を表示してもよい。他の一例として、複数回取得された第４音響信号のばらつきが所定の閾値以上であると判定された場合、第１端末装置３は、静止するようユーザに促す情報を表示してもよい。かかる構成によれば、伝達特性を適切に計算可能であると想定される計測データを、より容易に取得することが可能となる。
　第１端末装置３は、計測データの取得の前にユーザが実行するべき行動が実行されていない場合、計測データの取得を開始するよう指示する情報の入力を拒否してもよい。一例として、第１端末装置３は、計測用イヤホン１０が音響信号を再生していないタイミングで計測用マイク２０により取得された第５音響信号により、ノイズレベルの大きさを判定する。そして、第１端末装置３は、ノイズレベルが所定の閾値以上である場合に、計測データの取得を開始するよう指示する情報の入力を拒否する。例えば、第１端末装置３は、ＵＩ画面において、計測データの取得を開始するよう指示するためのボタンを無効化してもよい。かかる構成によれば、伝達特性を適切に計算可能であると想定される計測データを取得可能な場合に限定して、計測データの取得を開始することが可能となる。
　（９）その他
　上記実施形態では、計測用イヤホン１０及び計測用マイク２０が人間であるユーザに装着される例を説明したが、本開示はかかる例に限定されない。計測用イヤホン１０及び計測用マイク２０は、ダミーヘッドに装着されてもよい。
　上記実施形態では、収録用マイク５０が人間であるユーザに装着される例を説明したが、本開示はかかる例に限定されない。収録用マイク５０は、ダミーヘッドに装着されてもよい。
　上記実施形態では、計測用マイク２０の音響特性と収録用マイク５０の音響特性とが同一である例を説明したが、本開示はかかる例に限定されない。計測用マイク２０の音響特性と収録用マイク５０の音響特性とは異なっていてもよい。
　上記実施形態では、信号処理システム１が、計測用イヤホン１０、計測用マイク２０、及び収録用マイク５０を両耳用に２つずつ有する例が図示されているが、本開示はかかる例に限定されない。信号処理システム１は、計測用イヤホン１０、計測用マイク２０、及び収録用マイク５０を、片耳用に１つずつ有していてもよい。即ち、本開示は、両耳を対象にバイノーラル録音する場合だけでなく、片耳を対象にバイノーラル録音する場合にも適用可能である。
　上記実施形態では、計測データの一例として音響信号を挙げたが、本開示はかかる例に限定されない。計測データの他の一例として、画像が挙げられる。例えば、信号処理システム１は、ユーザの耳の画像に基づいて、伝達特性を推定してもよい。耳の画像としては、耳の外観を写した画像の他、レントゲン写真等の耳の内部構造を写した画像が挙げられる。また、信号処理システム１は、ユーザの耳以外の身体的特徴に基づいて補正処理を行ってもよい。即ち、信号処理システム１が計測データに基づいて推定する伝達特性は、音源からユーザの鼓膜までの空間の伝達特性に限定されず、ユーザの身体の伝達特性を含んでいてもよい。そして、計測データは、例えば、ユーザの耳以外の身体を写した画像を含んでいてもよい。
　本明細書において説明した各装置は、単独の装置として実現されてもよいし、一部または全部が別々の装置として実現されても良いし、１つの装置にまとめられてもよい。一例として、計測システム２、第１端末装置３、収録システム４又は第２端末装置５が有する機能の一部が、ネットワーク９等で接続されたサーバ等の装置に備えられていてもよい。他の一例として、制御装置６は、単独の装置として実現される他に、複数の装置により実現されてもよい。具体的には、制御装置６が有する機能の一部が、メッシュネットワーク上の複数の装置に分散して備えられていてもよい。他の一例として、計測装置３０と第１端末装置３とは、一体的に構成されていてもよい。また、収録装置４０と第２端末装置５とは、一体的に構成されていてもよい。また、収録装置４０と収録用マイク５０とは、一体的に構成されていてもよい。
　なお、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（詳しくは、コンピュータにより読み取り可能な非一時的な記憶媒体）に予め格納される。そして、各プログラムは、例えば、本明細書において説明した各装置を制御するコンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどの処理回路により実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、上記のコンピュータは、ASICのような特定用途向け集積回路、ソフトウエアプログラムを読み込むことで機能を実行する汎用プロセッサ、又はクラウドコンピューティングに使用されるサーバ上のコンピュータ等であってよい。また、本明細書において説明した各装置による一連の処理は、複数のコンピュータにより分散して処理されてもよい。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　１　　信号処理システム
　２　　計測システム
　３　　第１端末装置
　４　　収録システム
　５　　第２端末装置
　６　　制御装置
　９　　ネットワーク
　１０（１０Ａ、１０Ｂ）　　計測用イヤホン
　２０（２０Ａ、２０Ｂ）　　計測用マイク
　３０　　計測装置
　３１　　通信部
　３２　　記憶部
　３３　　制御部
　４０　　収録装置
　４１　　通信部
　４２　　入力部
　４３　　記憶部
　４４　　制御部
　５０（５０Ａ、５０Ｂ）　　収録用マイク
　６１　　通信部
　６２　　記憶部
　６３　　制御部
　７０　　再生用イヤホン
　８０　　音源
　９０　　耳介

Claims (14)

  1. 　伝達特性に関する計測データを取得する計測装置と、
    　第１音響信号を取得する第１取得装置と、
    　前記計測装置及び前記第１取得装置の各々とネットワークを介して接続される制御装置と、
    　を備え、
    　前記制御装置は、前記計測装置により取得された前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成する、
    　信号処理システム。
  2. 　前記信号処理システムは、
    　音響信号を再生する再生装置と、
    　音響信号を取得する第２取得装置と、
    　をさらに備え、
    　前記第２取得装置により取得された、前記再生装置により再生された第３音響信号に対応する第４音響信号を、前記計測装置は、前記計測データとして前記制御装置へ送信する、
    　請求項１に記載の信号処理システム。
  3. 　前記計測装置は、前記再生装置の特性を示す情報又は前記第２取得装置の特性を示す情報を、前記計測データとして前記制御装置へ送信する、
    　請求項２に記載の信号処理システム。
  4. 　前記計測装置は、前記第２取得装置が前記第４音響信号を取得した方法を示す情報を、前記計測データとして前記制御装置へ送信する、
    　請求項２に記載の信号処理システム。
  5. 　前記信号処理システムは、２つの前記再生装置と、２つの前記第２取得装置と、を備え、
    　２つの前記再生装置及び２つの前記第２取得装置と前記計測装置とは、２つの前記再生装置に入力される前記第３音響信号を伝送する２つの端子、２つの前記第２取得装置から出力される前記第４音響信号を伝送する２つの端子、及び１つのグランド端子から成る５極プラグを介して有線接続される、
    　請求項２に記載の信号処理システム。
  6. 　前記計測装置は、前記再生装置による音響信号の再生が実行されていないタイミングで前記第２取得装置により取得された第５音響信号を前記計測データとして前記制御装置へ送信し、
    　前記制御装置は、前記第５音響信号にさらに基づいて前記第１音響信号を補正する、
    　請求項２に記載の信号処理システム。
  7. 　前記計測装置は、セルラー通信可能な通信インタフェースを含み、前記計測データを前記通信インタフェースにより前記制御装置へ送信する、
    　請求項１に記載の信号処理システム。
  8. 　前記計測装置は、取得した前記計測データが所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定された前記計測データに限定して前記制御装置へ送信する、
    　請求項１に記載の信号処理システム。
  9. 　前記信号処理システムは、ユーザによる情報の入力の受け付け、及び前記ユーザへの情報の出力が可能な端末装置をさらに備え、
    　前記端末装置は、前記計測データの取得に関する情報を入出力し、
    　前記計測装置は、前記計測データを取得するよう指示する情報が前記端末装置に入力されたことをトリガとして前記計測データを取得する、
    　請求項１～８のいずれか一項に記載の信号処理システム。
  10. 　前記端末装置は、前記計測データの取得の前に前記ユーザが実行するべき行動を示す情報を出力する、
    　請求項９に記載の信号処理システム。
  11. 　前記端末装置は、前記計測データの取得の前に前記ユーザが実行するべき行動が実行されていない場合、前記計測データの取得を開始するよう指示する情報の入力を拒否する、
    　請求項９に記載の信号処理システム。
  12. 　前記制御装置は、前記計測データに基づいて前記伝達特性を計算し、計算した前記伝達特性の逆特性を前記第１音響信号に畳み込むことで前記第２音響信号を生成する、
    　請求項１に記載の信号処理システム。
  13. 　伝達特性に関する計測データを、ネットワークを介して取得することと、
    　第１取得装置により取得された第１音響信号を、前記ネットワークを介して取得することと、
    　前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成することと、
    　を含む、コンピュータにより実行される信号処理方法。
  14. 　コンピュータに、
    　伝達特性に関する計測データを、ネットワークを介して取得することと、
    　第１取得装置により取得された第１音響信号を、前記ネットワークを介して取得することと、
    　前記計測データに基づいて前記第１音響信号を補正し、第２音響信号を生成することと、
    　を実行させるためのプログラム。
     
PCT/JP2023/018937 2022-05-26 2023-05-22 信号処理システム、信号処理方法及びプログラム WO2023228900A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022085961 2022-05-26
JP2022-085961 2022-05-26

Publications (1)

Publication Number Publication Date
WO2023228900A1 true WO2023228900A1 (ja) 2023-11-30

Family

ID=88919269

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018937 WO2023228900A1 (ja) 2022-05-26 2023-05-22 信号処理システム、信号処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023228900A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03210896A (ja) * 1990-01-12 1991-09-13 Sony Corp バイノーラルマイクロホンヘッドホン装置
JP2008067147A (ja) * 2006-09-08 2008-03-21 Sony Corp プラグ、音声入出力装置及びノイズキャンセルシステム
JP2017135486A (ja) * 2016-01-26 2017-08-03 株式会社Ｊｖｃケンウッド 音像定位処理装置、及び音像定位処理方法
JP2020053915A (ja) * 2018-09-28 2020-04-02 株式会社Ｊｖｃケンウッド 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03210896A (ja) * 1990-01-12 1991-09-13 Sony Corp バイノーラルマイクロホンヘッドホン装置
JP2008067147A (ja) * 2006-09-08 2008-03-21 Sony Corp プラグ、音声入出力装置及びノイズキャンセルシステム
JP2017135486A (ja) * 2016-01-26 2017-08-03 株式会社Ｊｖｃケンウッド 音像定位処理装置、及び音像定位処理方法
JP2020053915A (ja) * 2018-09-28 2020-04-02 株式会社Ｊｖｃケンウッド 頭外定位処理システム、フィルタ生成装置、方法、及びプログラム

Similar Documents

Publication Publication Date Title
US9301057B2 (en) Hearing assistance system
US9577596B2 (en) System and method for personalization of an audio equalizer
US9426589B2 (en) Determination of individual HRTFs
CN106664498B (zh) 用于产生与音频传输功能相关的头的人造耳装置及其相关方法
US8081769B2 (en) Apparatus for rectifying resonance in the outer-ear canals and method of rectifying
JP5607136B2 (ja) 定位向上補聴器
US20200184947A1 (en) Sound output device, sound output method, and sound output system
US10924869B2 (en) Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus
Denk et al. An individualised acoustically transparent earpiece for hearing devices
US11438713B2 (en) Binaural hearing system with localization of sound sources
JP7176674B2 (ja) モジュール式インイヤ型デバイス
KR20130133790A (ko) 보청기를 가진 개인 통신 장치 및 이를 제공하기 위한 방법
CN104412618A (zh) 用于安装助听器、使用助听器训练个人听力和/或佩戴助听器的个人的诊断听力测试的方法和系统
US11064284B2 (en) Transparent sound device
JP2019041382A (ja) 音響デバイス
EP2822301B1 (en) Determination of individual HRTFs
WO2023228900A1 (ja) 信号処理システム、信号処理方法及びプログラム
CN113542966B (zh) 耳机及其控制方法
WO2023182300A1 (ja) 信号処理システム、信号処理方法、及びプログラム
Denk et al. The Hearpiece database of individual transfer functions of an openly available in-the-ear earpiece for hearing device research
US10979827B2 (en) Method of estimating a feedback path of a hearing aid and a hearing aid
CN115460526B (zh) 一种听力模型的确定方法、电子设备及系统
CN116744169B (zh) 耳机设备、声音信号的处理方法及佩戴贴合度测试方法
EP3955594B1 (en) Feedback control using a correlation measure
KR102613035B1 (ko) 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23811772

Country of ref document: EP

Kind code of ref document: A1