WO2017056781A1 - 信号処理装置、信号処理方法、及びプログラム - Google Patents

信号処理装置、信号処理方法、及びプログラム Download PDF

Info

Publication number
WO2017056781A1
WO2017056781A1 PCT/JP2016/074332 JP2016074332W WO2017056781A1 WO 2017056781 A1 WO2017056781 A1 WO 2017056781A1 JP 2016074332 W JP2016074332 W JP 2016074332W WO 2017056781 A1 WO2017056781 A1 WO 2017056781A1
Authority
WO
WIPO (PCT)
Prior art keywords
microphone
signal
unit
audio signal
processing
Prior art date
Application number
PCT/JP2016/074332
Other languages
English (en)
French (fr)
Inventor
堅一 牧野
宏平 浅田
慶一 大迫
繁利 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,275 priority Critical patent/US10440475B2/en
Priority to EP16850957.8A priority patent/EP3358856B1/en
Priority to CN201680053068.3A priority patent/CN108028980B/zh
Priority to JP2017543012A priority patent/JPWO2017056781A1/ja
Publication of WO2017056781A1 publication Critical patent/WO2017056781A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and a program.
  • Stereo recording is performed using a stereo microphone with two microphones on the left and right (hereinafter sometimes simply referred to as microphones). Recording with a stereo microphone has an effect that, for example, a sense of localization can be obtained. However, in a small apparatus such as an IC recorder, for example, the distance between microphones is small, and thus there is a case where a sufficient sense of localization cannot be obtained.
  • Patent Document 1 discloses a technique that can adjust the sense of localization by adjusting the angles of two directional microphones.
  • a new and improved signal processing device capable of obtaining an output signal having a higher localization feeling even if the input signal is an audio signal obtained based on an omnidirectional microphone, A signal processing method and program are proposed.
  • a first arithmetic processing unit that performs a first suppression process that suppresses a first audio signal based on a first microphone based on a second audio signal based on a second microphone;
  • a signal processing device including a second arithmetic processing unit that performs a second suppression process for suppressing the second audio signal based on the first audio signal.
  • the first suppression process of suppressing the first audio signal based on the first microphone based on the second audio signal based on the second microphone, and the second Performing a second suppression process for suppressing the audio signal based on the first audio signal, and a signal processing method executed by the signal processing device is provided.
  • the first suppression processing is performed in which the first audio signal based on the first microphone is suppressed on the computer based on the second audio signal based on the second microphone.
  • a program is provided for realizing an arithmetic processing function and a second arithmetic processing function for performing a second suppression process for suppressing the second audio signal based on the first audio signal.
  • the present disclosure it is possible to obtain an output signal with a higher sense of localization even if the input signal is an audio signal obtained based on an omnidirectional microphone.
  • FIG. 4 is an explanatory diagram illustrating an implementation example of a UI unit 245 according to the embodiment.
  • FIG. It is explanatory drawing which shows the outline
  • 4 is an explanatory diagram illustrating a configuration example of a non-compliant receiving device 36. FIG. It is explanatory drawing for demonstrating the outline
  • elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals.
  • elements having substantially the same functional configuration may be distinguished by adding different alphabets after the same reference numerals.
  • only the same reference numerals are given.
  • First embodiment >> ⁇ 1-1. Overview of First Embodiment> ⁇ 1-2. Configuration of First Embodiment> ⁇ 1-3. Operation of First Embodiment> ⁇ 1-4. Effect of First Embodiment> ⁇ 2. Second embodiment >> ⁇ 2-1. Outline of Second Embodiment> ⁇ 2-2. Configuration of Second Embodiment> ⁇ 2-3. Effect of Second Embodiment> ⁇ 2-4. Supplement to Second Embodiment> ⁇ 3. Third embodiment >> ⁇ 3-1. Overview of Third Embodiment> ⁇ 3-2. Configuration of Third Embodiment> ⁇ 3-3. Effect of Third Embodiment> ⁇ 4. Fourth embodiment >> ⁇ 4-1. Outline of Fourth Embodiment> ⁇ 4-2. Configuration of Fourth Embodiment> ⁇ 4-3. Effect of Fourth Embodiment> ⁇ 5. Modification >> ⁇ 6. Hardware configuration example >> ⁇ 7. Conclusion >>
  • FIG. 1 is an explanatory diagram illustrating an appearance of a recording / reproducing apparatus according to the first embodiment of the present disclosure.
  • the recording / reproducing apparatus 1 is a signal processing apparatus that performs recording and reproduction with the same apparatus, such as an IC recorder. As shown in FIG. 1, the recording / reproducing apparatus 1 includes two microphones, a left microphone 110L and a right microphone 110R, and can perform stereo recording.
  • the sense of localization can be enhanced.
  • a configuration including two directional microphones is conceivable, but the directional microphone is often more expensive than the omnidirectional microphone.
  • an adjustment mechanism for physically adjusting the angle of the directional microphone is required to adjust the sense of orientation, and the structure may be complicated.
  • the present embodiment has been created with the above circumstances in mind.
  • the left and right audio signals are suppressed based on the other audio signal, respectively, thereby enhancing the directivity of the audio signal, and the input signal is an audio signal obtained by an omnidirectional microphone.
  • the input signal is an audio signal obtained by an omnidirectional microphone.
  • FIG. 2 is a block diagram illustrating a configuration example of the recording / reproducing apparatus 1 according to the first embodiment. As shown in FIG.
  • the recording / playback apparatus includes a left microphone 110L, a right microphone 110R, A / D conversion units 120L and 120R, gain correction units 130L and 130R, a first calculation processing unit 140L,
  • the signal processing device includes a second arithmetic processing unit 140R, an encoding unit 150, a storage unit 160, a decoding unit 170, D / A conversion units 180L and 180R, and speakers 190L and 190R.
  • Left microphone 110L (first microphone) and right microphone 110R (second microphone) are, for example, omnidirectional microphones.
  • the left microphone 110L and the right microphone 110R convert surrounding sounds into analog sound signals (electrical signals), and supply the analog sound signals to the A / D conversion unit 120L and the A / D conversion unit 120R, respectively.
  • the A / D conversion unit 120L and the A / D conversion unit 120R convert analog audio signals supplied from the left microphone 110L and the right microphone 110R, respectively, into digital audio signals (hereinafter simply referred to as audio signals). To do.
  • the gain correction unit 130L and the gain correction unit 130R perform gain correction processing for correcting the gain difference (sensitivity difference) between the left microphone 110L and the right microphone 110R, respectively.
  • the gain correction unit 130L and the gain correction unit 130R according to the present embodiment correct the difference between the audio signals output from the A / D conversion unit 120L and the A / D conversion unit 120R, respectively.
  • the gain correction unit 130L and the gain correction unit 130R measure the gain difference between the left microphone 110L and the right microphone 110R in advance and multiply the audio signal by a predetermined value that suppresses the gain difference. Processing may be performed. With such a configuration, the influence of the gain difference between the left microphone 110L and the right microphone 110R is suppressed, and the directivity can be emphasized with higher accuracy by the processing described later.
  • gain correction processing is performed on a digital audio signal after A / D conversion.
  • gain correction processing is performed on an analog audio signal before A / D conversion is performed. May be.
  • the audio signal output from the gain correction unit 130L is referred to as a left input signal or a first audio signal
  • the audio signal output from the gain correction unit 130R is referred to as a right input signal or a second audio signal.
  • the first arithmetic processing unit 140L and the second arithmetic processing unit 140R perform arithmetic processing based on the left input signal and the right input signal.
  • the first arithmetic processing unit 140L performs a first suppression process that suppresses the left input signal based on the right input signal.
  • the second arithmetic processing unit 140R performs a second suppression process that suppresses the right input signal based on the left input signal.
  • the functions of the first arithmetic processing unit 140L and the second arithmetic processing unit 140R may be realized by different processors, for example.
  • One processor may have both functions of the first arithmetic processing unit 140L and the second arithmetic processing unit 140R.
  • DSP Digital Signal Processor
  • the first arithmetic processing unit 140L includes a delay filter 142L, a directivity correction unit 144L, a suppression unit 146L, and an equivalent filter 148L.
  • the second arithmetic processing unit 140R includes a delay filter 142R, a directivity correction unit 144R, a suppression unit 146R, and an equivalent filter 148R.
  • the delay filters 142L and 142R are filters that perform a delay process on the input signal. As shown in FIG. 2, the delay filter 142L performs a first delay process for delaying the right input signal. As shown in FIG. 2, the delay filter 142R performs a second delay process for delaying the left input signal.
  • the first delay process and the second delay process are performed based on the distance between the left microphone 110L and the right microphone 110R (inter-microphone distance). Since the timing at which sound is transmitted to each microphone depends on the distance between the microphones, according to such a configuration, for example, a directivity enhancement effect based on the distance between the microphones can be obtained in combination with a suppression process described later.
  • the first delay process and the second delay process by the delay filters 142L and 142R may be a process of delaying the distance between the microphones by the number of samples corresponding to the time taken for the sound to be transmitted.
  • the delay sample number D delayed by the delay filters 142L and 142R is calculated by the following equation, for example.
  • the number of delay samples D calculated by Equation (1) is not always an integer.
  • the delay filters 142L and 142R are non-integer delay filters. Strictly speaking, an infinite tap length filter is required to realize the non-integer delay filter, but in practice, a filter cut off by a finite tap length or a filter approximated by linear interpolation or the like is a delay filter 142L, 142R may be used.
  • a configuration example of the delay filter 142 when the delay filter 142 (delay filters 142L and 142R) is realized as a filter approximated by linear interpolation or the like will be described with reference to FIG.
  • an approximate value of a signal obtained by delaying the signal y (n) input to the delay filter 142 by the delay sample number D is as follows: Is obtained.
  • FIG. 3 is a block diagram illustrating a configuration example of the delay filter 142.
  • the delay filter 142 includes a delay filter 1421, a delay filter 1423, a linear filter 1425, a linear filter 1427, and an adder 1429.
  • the delay filter 1421 is an integer delay filter that delays by the number of delay samples M.
  • the delay filter 1423 is an integer delay filter that delays the number of delay samples by one.
  • the linear filter 1425 and the linear filter 1427 multiply the input signal by 1 ⁇ and ⁇ , respectively, and output the result.
  • the adder 1429 adds the input signals and outputs the result.
  • the first delay process and the second delay process performed by the delay filter 142L and the delay filter 142R described above are performed based on a predetermined filter coefficient.
  • the filter coefficient may be specified based on the distance between the microphones so as to be a delay filter as described above.
  • the filter coefficient is determined in advance based on the method of realizing the delay filter 142 described above. It may be.
  • the directivity correction unit 144L and the directivity correction unit 144R respectively give a predetermined value ⁇ to the signal obtained by the first delay processing and the signal obtained by the second delay processing. It is a linear filter that multiplies and outputs. ⁇ is a parameter for adjusting the directivity. The closer ⁇ is to 1, the stronger the directivity becomes, and the closer ⁇ is to 0, the weaker the directivity. Since the orientation can be adjusted by adjusting the directivity, the directivity and orientation can be adjusted by changing the parameter ⁇ without requiring a physical angle adjustment mechanism of the microphone. It is possible.
  • the suppression unit 146L performs the first suppression process by subtracting the signal based on the first delay process from the left input signal.
  • the suppression unit 146R performs the second suppression process by subtracting the signal based on the second delay process from the right input signal.
  • the suppression unit 146L performs the first suppression process by subtracting the output signal of the directivity correction unit 144L based on the first delay process from the left input signal.
  • the suppression unit 146R performs the second suppression process by subtracting the output signal of the directivity correction unit 144R based on the second delay process from the right input signal.
  • the equivalent filter 148L is a filter that corrects the frequency characteristic of the signal obtained by the first suppression processing by the suppression unit 146L.
  • the equivalent filter 148R is a filter that corrects the frequency characteristics of the signal obtained by the second suppression processing by the suppression unit 146R.
  • the equivalent filter 148L and the equivalent filter 148R may perform correction so as to compensate for suppression in a frequency band that is suppressed regardless of directivity by the suppression processing.
  • the above-described suppression processing suppresses a low-frequency signal having a long wavelength due to a small phase difference between the delayed signal and the non-delayed signal, so that the equivalent filter 148L and the equivalent filter 148R are low-frequency signals.
  • the frequency characteristics may be corrected so as to enhance the signal. According to such a configuration, it is possible to reduce changes in frequency characteristics due to suppression processing.
  • the filter coefficient for performing the correction as described above may be specified based on the microphone distance.
  • the output signal yl (n) of the first arithmetic processing unit 140L and the output signal yr of the second arithmetic processing unit 140R. (N) is represented by the following equation. In the following, it is assumed that the parameter ⁇ related to the directivity correction units 144L and 144R is 1.
  • Equations (3) and (4) * represents a convolution operation
  • p (n) represents delay filters 142L and 142R
  • q (n) represents equivalent filters 148L and 148R.
  • the equivalent filter q (n) is convolved with the operation result. Since the low frequency is amplified by the calculation, the low frequency S / N ratio (signal-to-noise ratio) may be reduced.
  • the parameter ⁇ related to the directivity correction units 144L and 144R has been described as 1. However, even if the parameter ⁇ is not 1, the same calculation process can be performed.
  • the output signal of the first arithmetic processing unit 140L obtained as described above is the left channel audio signal of the stereo audio signal
  • the output signal of the second arithmetic processing unit 140R is the stereo audio signal.
  • This is a right channel audio signal. That is, by the above processing, a stereo audio signal is obtained by combining a left channel audio signal having directivity in the left direction and a right channel audio signal having directivity in the right direction. With this configuration, the stereo audio signal has a higher sense of localization than, for example, a stereo audio signal based on a combination of a left input signal and a right input signal.
  • the encoding unit 150 performs encoding (encoding) by combining the left channel audio signal and the right channel audio signal.
  • the encoding method performed by the encoding unit 150 is not limited. For example, a non-compression method, a lossless compression method, or an irreversible compression method may be used.
  • the storage unit 160 stores data obtained by the encoding of the encoding unit 150.
  • the storage unit 160 may be realized by, for example, a flash memory, a magnetic disk, an optical disk, a magneto-optical disk, or the like.
  • the decoding unit 170 performs decoding (decoding) of data stored in the storage unit 160. Decoding by the decoding unit 170 may be performed according to the encoding method of the encoding unit 150.
  • the D / A converter 180L and the D / A converter 180R respectively convert the left channel audio signal and the right channel audio signal output from the decoder 170 into the left channel analog audio signal and the right channel audio signal. Convert to analog audio signal.
  • the speaker 190L and the speaker 190R perform reproduction (audio output) of the left channel analog audio signal and the right channel analog audio signal output from the D / A conversion unit 180L and the D / A conversion unit 180R, respectively.
  • the left channel analog audio signal and the right channel analog audio signal output from the D / A converter 180L and the D / A converter 180R may be output to an external speaker, an earphone, a headphone, or the like. .
  • FIG. 4 is a flowchart for explaining an operation example by the recording / reproducing apparatus 1 according to the present embodiment.
  • pre-processing for generating a left input signal and a right input signal to be input to the first arithmetic processing unit 140L and the second arithmetic processing unit 140R is performed (S102).
  • the pre-processing includes, for example, conversion processing from an analog audio signal to a digital audio signal by the A / D conversion unit 120L and the A / D conversion unit 120R, and gain correction processing by the gain correction unit 130L and the gain correction unit 130R. It is.
  • the delay filter 142L performs right input signal delay processing (first delay processing), and the delay filter 142R performs left input signal delay processing (second delay processing) (S104).
  • the signal obtained by the delay processing is corrected to adjust the directivity by the directivity correction unit 144L and the directivity correction unit 144R (S106).
  • the left input signal is suppressed by the suppression unit 146L (first suppression processing), and the right input signal is suppressed by the suppression unit 146R (second suppression processing).
  • the frequency characteristic of the signal obtained by the suppression is corrected by the equivalent filter 148L and the equivalent filter 148R (S110).
  • the left and right audio signals are suppressed based on the other audio signal, respectively, thereby enhancing the directivity of the audio signal, and the input signal is an audio signal obtained by an omnidirectional microphone.
  • the input signal is an audio signal obtained by an omnidirectional microphone.
  • Second embodiment >> ⁇ 2-1. Outline of Second Embodiment>
  • the recording device and the playback device are not necessarily the same.
  • the recording device that performs recording and the reproducing device that performs reproduction may each be, for example, an IC recorder.
  • IC recorder For example, when content recorded by a certain IC recorder (recording device) is played back by another IC recorder (playback device) via a network, or a file of the content is transferred to another IC recorder (playback device). It may be copied and played.
  • the reproduction device performs suppression processing based on the distance between the microphones of the recording device, thereby enhancing the directivity of the audio signal and obtaining an output signal with a higher sense of localization. Therefore, in the following, as a second embodiment, an example in which a recording apparatus that performs recording and a reproducing apparatus that performs reproduction are different will be described.
  • FIG. 5 is an explanatory diagram illustrating a configuration example of a recording / playback system according to the second embodiment of the present disclosure.
  • the recording / playback system 2 according to the present embodiment includes a recording device 22 and a playback device 24.
  • the recording device 22 and the playback device 24 according to the present embodiment have the same configuration in part as the recording / playback device 1 described with reference to FIG.
  • the recording device 22 has at least a recording function. As shown in FIG. 5, the recording device 22 includes a left microphone 221L, a right microphone 221R, A / D conversion units 223L and 223R, gain correction units 225L and 225R, an encoding unit 227, a metadata storage unit 229, a multiplexer 231, and A storage unit 233 is provided.
  • the configurations of the left microphone 221L, right microphone 221R, A / D conversion units 223L and 223R, gain correction units 225L and 225R, encoding unit 227, and storage unit 233 are the left microphone 110L and the right described with reference to FIG. Since this is the same as the microphone 110R, the A / D conversion units 120L and 120R, the gain correction units 130L and 130R, the encoding unit 150, and the storage unit 160, description thereof is omitted.
  • the recording apparatus 22 performs a process corresponding to step S102 described with reference to FIG. 4 as a process related to directivity enhancement.
  • the metadata storage unit 229 stores metadata used when the playback device 24 described later performs suppression processing (directivity enhancement processing).
  • the metadata stored in the metadata storage unit 229 may include distance information related to the distance between the microphones of the left microphone 221L and the right microphone 221R, for example, and may include information on the filter coefficient calculated based on the distance between the microphones. But you can.
  • the metadata stored in the metadata storage unit 229 may include a model code for identifying the model of the recording device 22.
  • the metadata stored in the metadata storage unit 229 may include information on the gain difference between the left microphone 221L and the right microphone 221R.
  • the format of metadata stored in the metadata storage unit 229 may be a chunk format used in Waveform, Audio Format, or the like, or a format using a structure such as XML (eXtensible Markup Language). There may be.
  • the metadata stored in the metadata storage unit 229 includes at least filter coefficient information used when performing the suppression process will be described, and other examples will be described later as supplements.
  • the multiplexer 231 outputs a plurality of input signals as one output signal.
  • the multiplexer 231 according to the present embodiment outputs the audio signal encoded by the encoding unit 227 and the metadata stored in the metadata storage unit 229 as one output signal.
  • the output signal output from the multiplexer 231 is stored in the storage unit 233 as a data file including audio data and metadata.
  • FIG. 6 is an explanatory diagram showing an example of the file format of the data file stored in the storage unit 233.
  • the data file stored in the storage unit 233 includes a header part F12 including information such as a file type, a recorded content part F14 including recorded audio data, and metadata including metadata. Part F16.
  • the playback device 24 includes a demultiplexer 241, a decoding unit 243, a UI unit 245, switch units 247A to D, a first arithmetic processing unit 249L, a second arithmetic processing unit 249R, and a D / A conversion.
  • This is a signal processing device including units 251L and 251R and speakers 253L and 253R.
  • the configurations of the decoding unit 243, the D / A conversion units 251L and 251R, and the speakers 253L and 253R are the same as the decoding unit 170, the D / A conversion units 180L and 180R, and the speakers 190L and 190R described with reference to FIG. Since it is the same, description is abbreviate
  • the playback device 24 performs processing corresponding to steps S104 to S110 described with reference to FIG. 4 as processing related to directivity enhancement.
  • the demultiplexer 241 receives from the recording device 22 a signal in which the audio signal and metadata stored in the storage unit 233 of the recording device 22 are combined, and distributes and outputs the audio signal and metadata.
  • the demultiplexer 241 provides the audio signal to the decoding unit 243 and the metadata to the first arithmetic processing unit 249L and the second arithmetic processing unit 249R.
  • the metadata includes at least filter coefficient information used when performing the suppression process, and the demultiplexer 241 serves as a filter coefficient acquisition unit that acquires filter coefficient information. Function.
  • the recording device 22 and the playback device 24 are directly connected, and the signal is provided from the storage unit 233 of the recording device 22 to the demultiplexer 241 of the playback device 24.
  • the playback device 24 may include a storage unit, and after the data is temporarily copied to the storage unit, the demultiplexer 241 may receive a signal from the storage unit.
  • information stored in the storage unit 233 of the recording device 22 may be provided to the playback device 24 via a storage device other than the recording device 22 and the playback device 24 or a network.
  • the UI unit 245 receives input from the user for selecting whether or not to perform directivity enhancement processing by the first arithmetic processing unit 249L and the second arithmetic processing unit 249R.
  • the sound output by the directivity emphasis process has the effect of making it easier to hear the sound due to spatial separation of the sound, but some users may prefer the recorded content as it is. Therefore, the playback device 24 may include a UI unit 245.
  • the UI unit 245 may be realized by various input means.
  • FIG. 7 is an explanatory diagram illustrating an implementation example of the UI unit 245.
  • the playback device 24A may include a UI unit 245A that is a physical switch.
  • the UI unit 245A may turn on and prompt a selection input by the user.
  • the playback device 24B may include a UI unit 245B that can display and input a touch panel or the like.
  • the UI unit 245B detects that the reproduction device 24B has acquired the metadata necessary for performing the directivity enhancement process such as the filter coefficient, the UI unit 245B performs the directivity enhancement process on the user as illustrated in FIG. You may notify that it is possible and perform the display which prompts selection input.
  • the user may perform a selection input by operating a physical switch or a touch panel without an explicit notification for prompting a selection input by the user as described above.
  • the switch units 247A to 247D switch on / off the directivity enhancement processing by the first arithmetic processing unit 249L and the second arithmetic processing unit 249R in accordance with the user input to the UI unit 245.
  • the state shown in FIG. 5 is a state in which directivity enhancement processing by the first arithmetic processing unit 249L and the second arithmetic processing unit 249R is on.
  • the first arithmetic processing unit 249L includes a delay filter 2491L, a directivity correction unit 2493L, a suppression unit 2495L, and an equivalent filter 2497L.
  • the second arithmetic processing unit 249R includes a delay filter 2491R, a directivity correction unit 2493R, a suppression unit 2495R, and an equivalent filter 2497R as shown in FIG.
  • the configurations of the directivity correction units 2493L and 2493R and the suppression units 2495L and 2495R are the same as those of the directivity correction units 144L and 144R and the suppression units 146L and 146R described with reference to FIG. To do.
  • the delay filters 2491L and 2491R are filters that perform a delay process on the input signal, similarly to the delay filters 142L and 142R described with reference to FIG.
  • the distance between the microphones when recording the data played back by the playback device 24 is not always constant.
  • the appropriate filter coefficients (or the number of delay samples) of the delay filters 2491L and 2491R differ depending on the distance between the microphones. Therefore, the delay filters 2491L and 2491R according to the present embodiment receive the filter coefficient corresponding to the recording device 22 from the demultiplexer 241 and perform delay processing based on the filter coefficient.
  • the equivalent filters 2497L and 2497R are filters that correct the frequency characteristics of the signal obtained by the suppression process, similarly to the equivalent filters 148L and 142R described with reference to FIG. Similar to the equivalent filters 148L and 142R described with reference to FIG. 2, appropriate filter coefficients of the equivalent filters 2497L and 2497R differ depending on the distance between microphones. Therefore, the equivalent filters 2497L and 2497R according to the present embodiment receive the filter coefficient corresponding to the recording device 22 from the demultiplexer 241 and perform correction processing based on the filter coefficient.
  • the metadata may be a model code for identifying the model of the recording device 22.
  • the playback device 24 determines whether or not the recording device 22 and the playback device 24 are the same model using the model code, and performs directivity enhancement processing only when the playback device 24 is the same model. You may go.
  • the metadata may be distance information related to the distance between microphones.
  • the demultiplexer 241 of the playback device 24 functions as a distance information acquisition unit that acquires distance information.
  • the reproducing device 24 selects a storage unit that stores a plurality of filter coefficients and a filter coefficient corresponding to the distance information acquired by the demultiplexer 241 from among the plurality of filter coefficients stored in the storage unit. And a filter coefficient selection unit.
  • the reproducing device 24 may further include a filter coefficient identifying unit that identifies a filter coefficient based on the distance information acquired by the demultiplexer 241, and may dynamically generate a filter during reproduction.
  • the metadata may include information on the gain difference between the left microphone 221L and the right microphone 221R.
  • the playback device 24 instead of the recording device 22 including the gain correction units 225L and 225R, the playback device 24 includes a gain correction unit, and the gain correction unit of the playback device 24 performs gain correction based on the gain difference information. You may go.
  • FIG. 8 is an explanatory diagram illustrating an overview of a broadcasting system according to the third embodiment of the present disclosure.
  • the broadcasting system 3 includes a transmission system 32 (broadcast station), corresponding receiving devices 34A and 34B, and non-compatible receiving devices 36A and 36B.
  • the transmission system 32 is a system that transmits voice and other data simultaneously, such as teletext broadcasting.
  • the transmission system 32 acquires a first audio signal and a second audio signal with a stereo microphone, and sends information including the first audio signal, the second audio signal, and metadata to the corresponding receiving devices 34A and 34B.
  • the non-compliant receiving devices 36A and 36B (broadcast).
  • the metadata according to the present embodiment may include information similar to the metadata described with some examples in the second embodiment, or may further include metadata (character information, etc.) related to broadcasting. .
  • Corresponding receivers 34A and 34B are signal processing devices corresponding to suppression processing (directivity enhancement processing) using metadata, and can perform suppression processing when receiving metadata for directivity enhancement processing. Is possible.
  • the non-compliant receiving devices 36A and 36B are devices that do not support the suppression processing using metadata, and ignore only the metadata for directivity enhancement processing and process only the audio signal.
  • FIG. 9 is an explanatory diagram illustrating a configuration example of the transmission system 32 according to the present embodiment.
  • the transmission system 32 includes a left microphone 321L, a right microphone 321R, A / D conversion units 323L and 323R, gain correction units 325L and 325R, an encoding unit 327, an acquisition unit 329, and a transmission unit 331.
  • the configurations of the left microphone 321L, the right microphone 321R, the A / D conversion units 323L and 323R, the gain correction units 325L and 325R, and the encoding unit 327 are the left microphone 110L, the right microphone 110R, and A described with reference to FIG. Since this is the same as the / D conversion units 120L and 120R, the gain correction units 130L and 130R, and the encoding unit 150, description thereof is omitted.
  • the transmission system 32 performs a process corresponding to step S102 described with reference to FIG. 4 as a process related to directivity enhancement.
  • the obtaining unit 329 obtains metadata such as a distance between microphones between the left microphone 321L and the right microphone 321R or a filter coefficient based on the distance between the microphones.
  • the acquisition unit 329 can acquire metadata by various methods.
  • FIG. 10 is an explanatory diagram illustrating a configuration example of the acquisition unit 329.
  • the acquisition unit 329 is a jig that connects the left microphone 321L and the right microphone 321R and fixes the distance between the microphones.
  • the acquisition unit 329 may specify the inter-microphone distance and output the inter-microphone distance as metadata. Note that the acquisition unit 329 shown in FIG. 10 may keep the distance between microphones constant, and may output a constant distance between microphones stored in the acquisition unit 329, or extend and contract (the distance between microphones can be changed). May be provided, and the current distance between microphones may be output.
  • the acquisition unit 329 may be a sensor that is attached to the left microphone 321L and the right microphone 321R and measures and outputs the distance between the microphones.
  • the distance between microphones is not uniform due to the effects of camera size, etc. even if a stereo microphone is set for each camera. May change. Moreover, even if it is the same microphone, the case where it is desired to change the distance between microphones in real time can be considered.
  • the acquisition unit 329 described above for example, even when switching to a stereo microphone with a different distance between microphones is performed or the distance between microphones is changed in real time, the distance between microphones acquired in real time Etc. can be transmitted.
  • the process of said acquisition part 329 may be contained in the process of step S102 demonstrated with reference to FIG.
  • the distance between the microphones may be specified by the user who performs recording confirming the distance between the microphones every time the distance between the microphones is changed and manually inputting and setting information on the distance between the microphones.
  • the transmission unit 331 illustrated in FIG. 9 transmits the audio signal provided from the encoding unit 327 and the metadata provided from the acquisition unit 329 together (for example, multiplexed).
  • FIG. 11 is an explanatory diagram illustrating a configuration example of the correspondence receiving device 34.
  • the corresponding receiving device 34 includes a receiving unit 341, a decoding unit 343, a metadata parser 345, switch units 347A to 347D, a first arithmetic processing unit 349L, a second arithmetic processing unit 349R, D / A signal processing apparatus including A conversion units 351L and 351R.
  • the configurations of the D / A conversion units 351L and 351R are the same as those of the D / A conversion units 180L and 180R described with reference to FIG.
  • the configuration of the switch units 347A to 347D is the same as that of the switch units 247A to 247D described with reference to FIG.
  • the corresponding receiving device 34 performs processing corresponding to steps S104 to S110 described with reference to FIG. 4 as processing related to directivity enhancement.
  • the receiving unit 341 receives from the transmission system 32 information including the first audio signal based on the left microphone 321L of the transmission system 32, the second audio signal based on the right microphone 321R of the transmission system 32, metadata, and metadata. .
  • the decoding unit 343 decodes the first audio signal and the second audio signal from the information received by the receiving unit 341. In addition, the decoding unit 343 extracts metadata from the information received by the receiving unit 341 and provides the metadata to the metadata parser 345.
  • the metadata parser 345 analyzes the metadata received from the decoding unit 343, and switches the switch units 347A to 347D according to the metadata.
  • the metadata parser 345 includes directivity enhancement including the first suppression process and the second suppression process when the distance information related to the distance between microphones or the information of the filter coefficient is included in the metadata.
  • the switch units 347A to 347D may be switched so that processing is performed.
  • the directivity enhancement process when the directivity enhancement process is possible, the directivity enhancement process is automatically performed, and a higher localization feeling can be obtained.
  • the metadata parser 345 converts the information into the first arithmetic processing unit 349L and the second arithmetic processing. Part 349R.
  • the first arithmetic processing unit 349L includes a delay filter 3491L, a directivity correction unit 3493L, a suppression unit 3495L, and an equivalent filter 3497L.
  • the second arithmetic processing unit 349R includes a delay filter 3491R, a directivity correction unit 3493R, a suppression unit 3495R, and an equivalent filter 3497R as shown in FIG.
  • the configurations of the first arithmetic processing unit 349L and the second arithmetic processing unit 349R are the same as those of the first arithmetic processing unit 249L and the second arithmetic processing unit 249R described with reference to FIG. Therefore, the description is omitted.
  • Stereo audio signals (left output and right output) output from the D / A conversion units 351L and 351R may be reproduced by an external speaker, headphones, or the like.
  • FIG. 12 is an explanatory diagram illustrating a configuration example of the non-compliant receiving device 36.
  • the non-compliant receiving device 36 is a signal processing device including a receiving unit 361, a decoding unit 363, and D / A conversion units 365L and 365R.
  • the configurations of the reception unit 361 and the D / A conversion units 365L and 365R are the same as those of the reception unit 341 and the D / A conversion units 351L and 351R described with reference to FIG.
  • the decoding unit 363 decodes the first audio signal and the second audio signal from the information received by the receiving unit 361. Note that the decoding unit 343 may discard the metadata when the information received by the receiving unit 341 includes metadata.
  • directivity enhancement processing is not performed, but normal stereo reproduction can be performed, so that the user does not feel uncomfortable.
  • the third embodiment has been described above. According to the third embodiment, even if the sound acquired by the microphone is played back in real time, an output signal with a higher localization feeling can be obtained if the device is compatible with directivity enhancement processing. It is possible.
  • the microphone and the signal processing device are integrated or completely separated (the microphone is included in a device other than the signal processing device).
  • the microphone is included in a device other than the signal processing device.
  • a fourth embodiment an example in which a microphone and a signal processing device can be connected and separated and a microphone part can be exchanged as an accessory of the signal processing device will be described.
  • FIG. 13 is an explanatory diagram for describing an overview of the fourth embodiment of the present disclosure.
  • the signal processing system 4 includes stereo microphone devices 42A to 42C, a smartphone 44, a server 8, and a communication network 9.
  • the stereo microphone devices 42A to 42C have different microphone distances d1, d2, and d3, respectively, and the user can connect any of the stereo microphone devices 42A to 42C to the connector portion 441 of the smartphone 44.
  • the smartphone 44 can receive stereo audio signals and metadata from the stereo microphone devices 42A to 42C.
  • the metadata according to this embodiment may include the same information as the metadata described with some examples in the second embodiment.
  • the smartphone 44 may acquire metadata of the stereo microphone devices 42A to 42C, other contents (stereo audio signals), and metadata corresponding thereto from the external server 8 via the communication network 9.
  • Step microphone device Hereinafter, the configuration of the stereo microphone devices 42A to 42C will be described. Since the stereo microphone devices 42A to 42C have no difference in configuration except for the distance between the microphones, the stereo microphone device 42A will be described as an example. Description of the devices 42B and C will be omitted.
  • the stereo microphone device 42A includes a left microphone 421AL, a right microphone 421AR, A / D conversion units 423AL and 423AR, a metadata storage unit 425A, and a connector unit 427A.
  • the configurations of the left microphone 421AL, the right microphone 421AR, and the A / D converters 423AL, 423AR are the same as those of the left microphone 110L, the right microphone 110R, and the A / D converters 120L, 120R described with reference to FIG. Therefore, the description is omitted.
  • the configuration of the metadata storage unit 425A is the same as that of the metadata storage unit 229 described with reference to FIG.
  • stereo microphone devices 42A to 42C perform processing corresponding to step S102 described with reference to FIG. 4 as processing related to directivity enhancement.
  • the connector unit 427A is a communication interface that connects to the connector unit 441 of the smartphone 44, and provides the smartphone 44 with the stereo audio signal received from the A / D converters 423AL and 423AR and the metadata received from the metadata storage unit 425A. is there.
  • the connector unit 427A may be, for example, a 3.5 mm phone plug that can multiplex and transmit a stereo audio signal and metadata.
  • the connector unit 441 of the smartphone 44 is a 3.5 mm phone jack corresponding to the plug. It may be.
  • the communication connection between the stereo microphone device 42A and the smartphone 44 may be another connection method, for example, a physical connection method such as USB, or NFC or Bluetooth (registered trademark). Such a non-contact connection method may be used.
  • FIG. 14 is an explanatory diagram illustrating a configuration example of the smartphone 44 according to the present embodiment.
  • the smartphone 44 includes a connector unit 441, a data buffer 443, a content parser 445, a metadata parser 447, a communication unit 449, a UI unit 451, switch units 453A to D, a first arithmetic processing unit 455L,
  • This is a signal processing apparatus including a second arithmetic processing unit 455R and D / A conversion units 457L and 457R.
  • the configurations of the D / A conversion units 457L and 457R are the same as those of the D / A conversion units 180L and 180R described with reference to FIG.
  • the UI unit 451, the switch units 453A to 453D, the first arithmetic processing unit 455L, and the second arithmetic processing unit 455R have the same configuration as the UI unit 245 and the switch units 247A to 247D described with reference to FIG. Since it is the same as that of the 1st arithmetic processing part 249L and the 2nd arithmetic processing part 249R, description is abbreviate
  • the configuration of the metadata parser 447 is the same as that of the metadata parser 345 described with reference to FIG.
  • the smartphone 44 performs processing corresponding to steps S104 to S110 described with reference to FIG. 4 as processing related to directivity enhancement.
  • the connector unit 441 is connected to the stereo microphone devices 42A to 42C, and acquires metadata such as distance information related to the distance between the microphones or filter coefficient information from the stereo microphone devices 42A to 42C.
  • the smartphone 44 can receive stereo and metadata from the stereo microphone devices 42A to 42C, and directivity enhancement processing is possible even when the microphone part can be replaced as an accessory of the smartphone 44. It becomes.
  • the data buffer 443 temporarily stores the data acquired from the connector unit 441 and provides it to the content parser 445 and the metadata parser 447.
  • the content parser 445 receives the stereo audio signal from the data buffer 443 and distributes it to the left input signal and the right input signal.
  • the content parser 445 may acquire a stereo audio signal from the server 8 illustrated in FIG. 13 via the communication unit 449.
  • the metadata parser 447 may acquire metadata from the server 8 illustrated in FIG. 13 via the communication unit 449.
  • the metadata acquired by the metadata parser 447 from the server 8 may be metadata related to the stereo microphone devices 42A to 42C, or is metadata corresponding to the stereo audio signal acquired from the server 8 by the content parser 445. Also good.
  • the communication unit 449 connects to the server 8 via the communication network 9 and receives a stereo audio signal and metadata.
  • the smartphone 44 can receive metadata necessary for directivity enhancement processing from the stereo microphone devices 42A to 42C.
  • the microphone and the signal processing device can be connected and separated, and an output signal with a higher sense of localization can be obtained even when the microphone portion can be replaced as an accessory of the signal processing device. .
  • an apparatus according to the present disclosure may include three or more microphones.
  • the signal processing device according to the present disclosure includes three or more microphones will be described with reference to FIGS. 15 and 16. 15 and 16 are explanatory diagrams for explaining this modification.
  • the signal processing device 6 shown in FIG. 15 is a signal processing device such as a smartphone or a digital camera, and includes microphones 61A to 61C and a camera 62.
  • a smartphone a digital camera, or the like
  • the user may use the signal processing device 6 in a portrait orientation as shown in FIG. 15 or in a landscape orientation as shown in FIG.
  • the signal processing device 6 selects two effective (horizontally arranged) microphones according to the orientation, selects the distance between the two microphones, and performs processing such as storage or transmission. Also good.
  • the signal processing device 6 may include a sensor capable of sensing information related to the orientation of the signal processing device 6 such as an acceleration sensor or a gyro sensor, and the orientation may be determined based on information obtained by the sensor.
  • the effective microphones are the microphone 61A and the microphone 61B, and the distance between the microphones for storing, transmitting, etc. is d4 as shown in FIG.
  • the effective microphones are the microphone 61B and the microphone 61C, and the distance between the microphones for storing and transmitting is d5 as shown in FIG.
  • an appropriate microphone is selected according to the orientation used by the user, and the distance between the microphones according to the selected microphone is selected and used for the directivity enhancement process.
  • the other device When the distance between microphones selected as described above is transmitted as metadata from the signal processing device 6 to another device, the other device performs directivity enhancement processing and reproduction processing. Also good.
  • FIG. 17 is a block diagram illustrating an example of a hardware configuration of a signal processing device according to the present disclosure. Note that the signal processing apparatus 1000 illustrated in FIG.
  • the 17 includes, for example, the recording / playback apparatus 1, the recording apparatus 22, the playback apparatus 24, the corresponding reception apparatus 34, or the smartphone 44 illustrated in FIGS. 2, 5, 11, and 14.
  • Signal processing by the recording / reproducing apparatus 1, the recording apparatus 22, the reproducing apparatus 24, the corresponding receiving apparatus 34, or the smartphone 44 according to the present embodiment is realized by cooperation between software and hardware described below.
  • FIG. 17 is an explanatory diagram showing a hardware configuration of the signal processing apparatus 1000 according to the present embodiment.
  • the signal processing device 1000 includes a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, an input device 1004, and an output device 1005.
  • the CPU 1001 functions as an arithmetic processing device and a control device, and controls the overall operation in the signal processing device 1000 according to various programs. Further, the CPU 1001 may be a microprocessor.
  • the ROM 1002 stores programs used by the CPU 1001 and calculation parameters.
  • the RAM 1003 temporarily stores programs used in the execution of the CPU 1001, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus including a CPU bus. Mainly, the functions of the first arithmetic processing units 140L, 249L, 349L, and 455L and the second arithmetic processing units 140R, 249R, 349R, and 455R are realized by the cooperation of the CPU 1001, the ROM 1002, the RAM 1003, and the software. .
  • the input device 1004 includes an input means for a user to input information such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 1001 Etc.
  • a user of the signal processing apparatus 1000 can input various data and instruct a processing operation to the signal processing apparatus 1000 by operating the input apparatus 1004.
  • the output device 1005 includes a display device such as a liquid crystal display (LCD) device, an OLED device, and a lamp. Furthermore, the output device 1005 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image or a generated image. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • the output device 1005 corresponds to, for example, the speakers 190L and 190R described with reference to FIG.
  • the storage device 1006 is a device for storing data.
  • the storage device 1006 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 1006 stores programs executed by the CPU 1001 and various data.
  • the storage device 1006 corresponds to, for example, the storage unit 160 described with reference to FIG. 2 and the storage unit 233 described with reference to FIG.
  • the communication device 1007 is a communication interface composed of a communication device for connecting to the communication network 9, for example.
  • the communication device 1007 may include a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, a wire communication device that performs wired communication, or a Bluetooth (registered trademark) communication device.
  • the communication device 1007 corresponds to, for example, the reception unit 341 described with reference to FIG. 11 and the communication unit 449 described with reference to FIG.
  • each of the above components may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the technical level at the time of carrying out this embodiment.
  • a computer program for realizing each function of the signal processing apparatus 1000 according to the present embodiment as described above can be created and mounted on a PC or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • each step in the above-described embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • a first arithmetic processing unit that performs a first suppression process for suppressing a first audio signal based on the first microphone based on a second audio signal based on the second microphone;
  • a second arithmetic processing unit for performing a second suppression process for suppressing the second audio signal based on the first audio signal;
  • a signal processing apparatus comprising: (2) The output signal of the first arithmetic processing unit is an audio signal of one channel of the stereo audio signal, and the output signal of the second arithmetic processing unit is an audio signal of the other channel of the stereo audio signal.
  • the signal processing apparatus wherein (3) The first arithmetic processing unit performs first delay processing for delaying the second audio signal, and subtracts a signal based on the first delay processing from the first audio signal. Suppression processing, The second arithmetic processing unit performs a second delay process for delaying the first audio signal, and subtracts a signal based on the second delay process from the second audio signal.
  • the signal processing device according to (1) or (2), wherein the suppression processing is performed.
  • each of the first delay process and the second delay process is a process of delaying the distance by a number of samples corresponding to a time required for sound to travel.
  • (6) The signal processing device according to (4) or (5), wherein the first delay processing and the second delay processing are performed based on a filter coefficient specified based on the distance.
  • (7) The signal processing device according to (6), further including a filter coefficient acquisition unit that acquires information on the filter coefficient.
  • a distance information acquisition unit that acquires distance information related to the distance; A storage unit that stores a plurality of filter coefficients according to the distance information; A filter coefficient selection unit that selects the filter coefficient corresponding to the distance information acquired by the distance information acquisition unit from the plurality of filter coefficients stored in the storage unit;
  • the signal processing apparatus further including: (9) A distance information acquisition unit that acquires distance information related to the distance; A filter coefficient specifying unit for specifying the filter coefficient based on the distance information;
  • the signal processing apparatus according to (6) further including: (10) A receiver for receiving information including at least the first audio signal and the second audio signal; The signal according to any one of (4) to (9), wherein the first suppression process and the second suppression process are performed when the reception unit further receives distance information related to the distance.
  • the first arithmetic processing unit performs the first suppression process by subtracting a signal obtained by multiplying a signal obtained by the first delay process by a predetermined value from the first audio signal.
  • the second arithmetic processing unit performs the second suppression processing by subtracting a signal obtained by multiplying a signal obtained by the second delay processing by a predetermined value from the second audio signal.
  • the signal processing device according to any one of (3) to (14), wherein the signal processing device is performed.
  • the first arithmetic processing unit corrects the frequency characteristics of the signal obtained by the first suppression processing
  • the signal processing device according to any one of (1) to (15)
  • the second arithmetic processing unit corrects a frequency characteristic of a signal obtained by the second suppression processing.
  • the signal processing apparatus according to any one of (1) to (16), further including a gain correction unit configured to correct a gain difference between the first microphone and the second microphone.
  • the signal processing apparatus according to any one of (1) to (17), wherein the first microphone and the second microphone are omnidirectional microphones.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)

Abstract

【課題】信号処理装置、信号処理方法、及びプログラムを提供する。 【解決手段】第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理部と、前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理部と、を備える信号処理装置。

Description

信号処理装置、信号処理方法、及びプログラム
　本開示は、信号処理装置、信号処理方法、及びプログラムに関する。
　左右に二つのマイクロフォン（以下、単にマイクと呼ぶ場合もある）を配したステレオマイクを用いたステレオ録音が行われている。ステレオマイクで録音することで、例えば、定位感を得ることが出来るという効果がある。ただし、例えばＩＣレコーダのような小型の装置ではマイク間距離が小さいため、十分な定位感が得られない場合があった。
　そこで、指向性を有するマイクを利用することで、定位感を高めることが行われている。例えば、下記特許文献１では、二つの指向性マイクの角度を調整することで、定位感を調整することが可能な技術が開示されている。
特開２００８－３１１８０２号公報
　しかし、指向性マイクを利用するとコストが高くなる場合があるため、指向性マイクよりも比較的安価な無指向性マイクを用いた場合でも、より定位感のある出力を得ることが望ましい。
　そこで、本開示では、入力信号が無指向性マイクに基づいて得られた音声信号であっても、より高い定位感のある出力信号を得ることが可能な、新規かつ改良された信号処理装置、信号処理方法、及びプログラムを提案する。
　本開示によれば、第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理部と、前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理部と、を備える信号処理装置が提供される。
　また、本開示によれば、第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行うことと、前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行うことと、を含み、信号処理装置により実行される信号処理方法が提供される。
　また、本開示によれば、コンピュータに、第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理機能と、前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理機能と、を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、入力信号が無指向性マイクに基づいて得られた音声信号であっても、より高い定位感のある出力信号を得ることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第一の実施形態に係る録音再生装置の外観を示す説明図である。 同実施形態に係る録音再生装置１の構成例を示すブロック図である。 同実施形態に係る遅延フィルタ１４２の構成例を示すブロック図である。 同実施形態に係る録音再生装置１による動作例を説明するためのフローチャート図である。 本開示の第二の実施形態に係る録音再生システムの構成例を示す説明図である。 同実施形態に係る記憶部２３３に記憶されるデータファイルのファイルフォーマットの例を示す説明図である。 同実施形態に係るＵＩ部２４５の実現例を示す説明図である。 本開示の第三の実施形態に係る放送システムの概要を示す説明図である。 同実施形態に係る送信システム３２の構成例を示す説明図である。 同実施形態に係る取得部３２９の構成例を示す説明図である。 同実施形態に係る対応受信装置３４の構成例を示す説明図である。 非対応受信装置３６の構成例を示す説明図である。 本開示の第四の実施形態の概要を説明するための説明図である。 同実施形態に係るスマートフォン４４の構成例を示す説明図である。 本開示に係る変形例を説明するための説明図である 本開示に係る変形例を説明するための説明図である 本開示に係る信号処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．第一の実施形態＞＞
　　＜１－１．第一の実施形態の概要＞
　　＜１－２．第一の実施形態の構成＞
　　＜１－３．第一の実施形態の動作＞
　　＜１－４．第一の実施形態の効果＞
　＜＜２．第二の実施形態＞＞
　　＜２－１．第二の実施形態の概要＞
　　＜２－２．第二の実施形態の構成＞
　　＜２－３．第二の実施形態の効果＞
　　＜２－４．第二の実施形態の補足＞
　＜＜３．第三の実施形態＞＞
　　＜３－１．第三の実施形態の概要＞
　　＜３－２．第三の実施形態の構成＞
　　＜３－３．第三の実施形態の効果＞
　＜＜４．第四の実施形態＞＞
　　＜４－１．第四の実施形態の概要＞
　　＜４－２．第四の実施形態の構成＞
　　＜４－３．第四の実施形態の効果＞
　＜＜５．変形例＞＞
　＜＜６．ハードウェア構成例＞＞
　＜＜７．むすび＞＞
　＜＜１．第一の実施形態＞＞
　　＜１－１．第一の実施形態の概要＞
　まず、図１を参照しながら本開示の第一の実施形態に係る信号処理装置の概要と、本実施形態に係る録音再生装置の創作に至った背景を説明する。図１は、本開示の第一の実施形態に係る録音再生装置の外観を示す説明図である。
　図１に示す第一の実施形態に係る録音再生装置１は、例えばＩＣレコーダのような、録音と再生を同一の装置で行う信号処理装置である。図１に示すように録音再生装置１は、左マイク１１０Ｌと右マイク１１０Ｒの二つのマイクを備え、ステレオ録音を行うことが可能である。
　ＩＣレコーダのような小型の装置では、２つのマイク間の距離（例えば、図１に示す左マイク１１０Ｌと右マイク１１０Ｒとの距離ｄ）を大きくすることは困難である。例えばマイク間距離が数センチしか離れていない場合には、左右の音圧差を十分に得られないために、再生時に十分な定位感が得られない恐れがあった。
　左右のマイクがそれぞれ左方向、右方向に指向性を有する場合には定位感を高めることが可能である。そこで、マイク間距離が小さい場合でも十分な定位感を得るために、例えば２つの指向性マイクを備える構成も考えられるが、指向性マイクは無指向性マイクと比較して高価な場合も多い。また、指向性マイクを用いた構成の場合、定位感を調整するためには、指向性マイクの角度を物理的に調整するための角度調整機構が必要となり、構造が複雑化する恐れがある。
　そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、左右の音声信号をそれぞれ他方の音声信号に基づいて抑圧することで、音声信号の指向性を強調し、入力信号が無指向性マイクにより得られた音声信号であっても、より高い定位感のある出力信号を得ることが可能である。また、本実施形態によれば、マイクの物理的な角度調整機構を要することなく、パラメータの変更を行うことで、定位感の調整を行うことが可能である。以下、このような効果を奏する本実施形態に係る録音再生装置の構成、及び動作について順次詳細に説明する。
　　＜１－２．第一の実施形態の構成＞
　以上、本実施形態による録音再生装置の創作に至った背景を説明した。続いて、図２、３を参照して、本実施形態による録音再生装置の構成について説明する。図２は、第一の実施形態に係る録音再生装置１の構成例を示すブロック図である。図２に示すように、本実施形態に係る録音再生装置は、左マイク１１０Ｌ，右マイク１１０Ｒ、Ａ／Ｄ変換部１２０Ｌ，１２０Ｒ、ゲイン補正部１３０Ｌ，１３０Ｒ、第一の演算処理部１４０Ｌ、第二の演算処理部１４０Ｒ、エンコード部１５０、記憶部１６０、デコード部１７０、Ｄ／Ａ変換部１８０Ｌ，１８０Ｒ、及びスピーカ１９０Ｌ，１９０Ｒを備える信号処理装置である。
　左マイク１１０Ｌ（第一のマイクロフォン），及び右マイク１１０Ｒ（第二のマイクロフォン）は、例えば無指向性マイクである。左マイク１１０Ｌ，及び右マイク１１０Ｒは、周囲の音声をアナログ音声信号（電気信号）に変換し、当該アナログ音声信号をそれぞれＡ／Ｄ変換部１２０Ｌ，及びＡ／Ｄ変換部１２０Ｒに供給する。
　Ａ／Ｄ変換部１２０Ｌ，及びＡ／Ｄ変換部１２０Ｒは、それぞれ左マイク１１０Ｌ，及び右マイク１１０Ｒから供給されたアナログ音声信号をデジタル音声信号（以下、単に音声信号と呼ぶ場合がある）に変換する。
　ゲイン補正部１３０Ｌ，及びゲイン補正部１３０Ｒは、それぞれ左マイク１１０Ｌ，及び右マイク１１０Ｒのゲイン差（感度差）を補正するゲイン補正処理を行う。本実施形態に係るゲイン補正部１３０Ｌ，及びゲイン補正部１３０Ｒは、それぞれＡ／Ｄ変換部１２０Ｌ，及びＡ／Ｄ変換部１２０Ｒから出力された音声信号の差を補正する。
　例えば、ゲイン補正部１３０Ｌ，及びゲイン補正部１３０Ｒは、左マイク１１０Ｌ，及び右マイク１１０Ｒのゲイン差について予め測定し、当該ゲイン差を抑制するような所定の値を音声信号に掛けることでゲイン補正処理を行ってもよい。係る構成により、左マイク１１０Ｌ、及び右マイク１１０Ｒのゲイン差の影響が抑制され、後述の処理により、より高精度に指向性を強調することが可能となる。
　なお、上記ではＡ／Ｄ変換後のデジタル音声信号に対してゲイン補正処理が行われる例を説明したが、ゲイン補正処理は、Ａ／Ｄ変換が行われる前のアナログ音声信号に対して行われてもよい。
　また、以下ではゲイン補正部１３０Ｌから出力される音声信号を左入力信号、または第一の音声信号と呼び、ゲイン補正部１３０Ｒから出力される音声信号を右入力信号、または第二の音声信号と呼ぶ場合がある。
　第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒは、左入力信号と右入力信号に基づいて演算処理を行う。例えば、第一の演算処理部１４０Ｌは、左入力信号を右入力信号に基づいて抑圧する第一の抑圧処理を行う。また、第二の演算処理部１４０Ｒは、右入力信号を左入力信号に基づいて抑圧する第二の抑圧処理を行う。
　第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒの機能は、例えばそれぞれ異なるプロセッサにより実現されてもよい。また、一のプロセッサが第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒの両方の機能を有してもよい。なお、以下では、第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒの機能がＤＳＰ（Digital Signal Processor）により実現される例を説明する。
　第一の演算処理部１４０Ｌは、図２に示すように、遅延フィルタ１４２Ｌ、指向性補正部１４４Ｌ、抑圧部１４６Ｌ、及び等価フィルタ１４８Ｌを備える。また、同様に、第二の演算処理部１４０Ｒは、図２に示すように、遅延フィルタ１４２Ｒ、指向性補正部１４４Ｒ、抑圧部１４６Ｒ、及び等価フィルタ１４８Ｒを備える。
　遅延フィルタ１４２Ｌ、１４２Ｒは、入力信号に対する遅延処理を行うフィルタである。図２に示すように、遅延フィルタ１４２Ｌは、右入力信号を遅延させる第一の遅延処理を行う。また、図２に示すように、遅延フィルタ１４２Ｒは、左入力信号を遅延させる第二の遅延処理を行う。
　上記第一の遅延処理、及び第二の遅延処理は、左マイク１１０Ｌと右マイク１１０Ｒとの間の距離（マイク間距離）に基づいて行われる。各マイクに音が伝達されるタイミングはマイク間の距離に依存するため、係る構成によれば、例えば、後述する抑圧処理と組み合わせて、マイク間距離に基づいた指向性強調効果が得られる。
　例えば、遅延フィルタ１４２Ｌ、１４２Ｒによる第一の遅延処理、及び第二の遅延処理はマイク間距離を音が伝わるのにかかる時間に相当するサンプル数だけ遅延させる処理であってもよい。マイク間距離をｄ［ｃｍ］、サンプリング周波数をｆ［Ｈｚ］、音速をｃ［ｍ／ｓ］とすると、遅延フィルタ１４２Ｌ、１４２Ｒが遅延させる遅延サンプル数Ｄは、例えば次式により算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、数式（１）により算出される遅延サンプル数Ｄは一般に整数とは限らない。遅延サンプル数Ｄが非整数の場合、遅延フィルタ１４２Ｌ、１４２Ｒは、非整数遅延フィルタとなる。非整数遅延フィルタを実現するためには、厳密には無限タップ長さのフィルタを要するが、実用的には有限タップ長さで打ち切ったフィルタか、線形補間等により近似したフィルタが遅延フィルタ１４２Ｌ、１４２Ｒとして用いられてもよい。以下、図３を参照して遅延フィルタ１４２（遅延フィルタ１４２Ｌ、１４２Ｒ）を線形補間等により近似したフィルタとして実現する場合の、遅延フィルタ１４２の構成例について説明する。
　遅延サンプル数Ｄの整数部、及び小数部をそれぞれＭ、及びηとすると、遅延フィルタ１４２に入力される信号ｙ（ｎ）を遅延サンプル数Ｄだけ遅延させた信号の近似値は次式のように得られる。
Figure JPOXMLDOC01-appb-M000002
　上記の数式（２）をブロック図で表現すると図３のブロック図が得られる。図３は遅延フィルタ１４２の構成例を示すブロック図である。図３に示すように、遅延フィルタ１４２は、遅延フィルタ１４２１、遅延フィルタ１４２３、線形フィルタ１４２５、線形フィルタ１４２７、及び加算器１４２９を備える。
　遅延フィルタ１４２１は、遅延サンプル数Ｍだけ遅延させる整数遅延フィルタである。また、遅延フィルタ１４２３は、遅延サンプル数１だけ遅延させる整数遅延フィルタである。また、線形フィルタ１４２５、及び線形フィルタ１４２７は、それぞれ、入力された信号に１－η、及びηを乗じて出力する。また、加算器１４２９は、入力された信号を加算して出力する。
　上述した、遅延フィルタ１４２Ｌ、及び遅延フィルタ１４２Ｒによる第一の遅延処理、及び第二の遅延処理は、所定のフィルタ係数に基づいて行われる。当該フィルタ係数は上述のような遅延フィルタとなるように、マイク間距離に基づいて特定されてもよい。なお、本実施形態においては、左マイク１１０Ｌと右マイク１１０Ｒは録音再生装置１に固定的に備えられているため、例えば、上記フィルタ係数は上述した遅延フィルタ１４２の実現方法に基づいて予め決定されていてもよい。
　図２に戻って、指向性補正部１４４Ｌ、及び指向性補正部１４４Ｒは、それぞれ、第一の遅延処理により得られた信号、及び第二の遅延処理により得られた信号に所定の値αを乗じて出力する線形フィルタである。αは、指向性の調整を行うためのパラメータであり、αが１に近い程、指向性が強まり、αが０に近い程、指向性が弱まる。指向性の調整により、定位感を調整することが可能であるため、係る構成により、マイクの物理的な角度調整機構を要することなく、パラメータαの変更により指向性、及び定位感の調整を行うことが可能である。
　抑圧部１４６Ｌは、第一の遅延処理に基づく信号を左入力信号から減算することで第一の抑圧処理を行う。また、抑圧部１４６Ｒは、第二の遅延処理に基づく信号を右入力信号から減算することで第二の抑圧処理を行う。係る構成により、抑圧部１４６Ｌの出力信号は、右方向の信号が抑圧されて左方向への指向性を得ることが可能である。また、抑圧部１４６Ｒ出力信号は、左方向の信号が抑圧されて右方向への指向性を得ることが可能である。
　例えば、図２に示すように、抑圧部１４６Ｌは、第一の遅延処理に基づく指向性補正部１４４Ｌの出力信号を左入力信号から減算することで第一の抑圧処理を行う。また、抑圧部１４６Ｒは、第二の遅延処理に基づく指向性補正部１４４Ｒの出力信号を右入力信号から減算することで第二の抑圧処理を行う。
　等価フィルタ１４８Ｌは、抑圧部１４６Ｌによる第一の抑圧処理により得られた信号の周波数特性を補正するフィルタである。また、等価フィルタ１４８Ｒは、抑圧部１４６Ｒによる第二の抑圧処理により得られた信号の周波数特性を補正するフィルタである。等価フィルタ１４８Ｌ、及び等価フィルタ１４８Ｒは、上記抑圧処理により、指向性に関わらず抑圧されてしまう周波数帯域における抑圧を補償するような補正を行ってもよい。例えば、上記の抑圧処理により、波長が長い低域の信号は遅延させた信号と遅延させない信号とで位相差が小さいために抑圧されてしまうので、等価フィルタ１４８Ｌ、及び等価フィルタ１４８Ｒは低域の信号を強調するように周波数特性の補正を行ってもよい。係る構成によれば、抑圧処理による周波数特性の変化を減殺することが可能である。なお、上記のような補正を行うためのフィルタ係数は、マイク距離に基づいて特定されてもよい。
　ここで、左入力信号をｘｌ（ｎ）、右入力信号をｘｒ（ｎ）とすると、第一の演算処理部１４０Ｌの出力信号ｙｌ（ｎ）、及び第二の演算処理部１４０Ｒの出力信号ｙｒ（ｎ）は、次式で表される。なお、以下では、指向性補正部１４４Ｌ、１４４Ｒに係るパラメータαは１であるものとする。
Figure JPOXMLDOC01-appb-M000003
　なお、数式（３）、（４）において、＊は畳み込み演算を表し、また、ｐ（ｎ）は遅延フィルタ１４２Ｌ，１４２Ｒを、ｑ（ｎ）は等価フィルタ１４８Ｌ，１４８Ｒを表している。
　数式（３）、（４）の演算を固定小数点演算で実現する場合、例えば、｛｝内の演算結果を短い語長に丸めてしまうと、当該演算結果にかかる等価フィルタｑ（ｎ）の畳み込み演算により低域が増幅されるため、低域のＳ／Ｎ比（信号雑音比）が低下する恐れがある。
　また、数式（３）、（４）において｛｝内の演算結果を長い語長のまま保存し、等価フィルタｑ（ｎ）の畳み込み演算を倍精度で行う方法も考えられるが、当該演算結果を保存するバッファ領域のメモリが大きくなり、倍精度演算を行う演算コストも大きい。
　ここで、遅延フィルタｐ（ｎ）と等価フィルタｑ（ｎ）の合成フィルタｕ（ｎ）＝ｐ（ｎ）＊ｑ（ｎ）を用いると、第一の演算処理部１４０Ｌの出力信号ｙｌ（ｎ）、及び第二の演算処理部１４０Ｒの出力信号ｙｒ（ｎ）は、次式で表される。
Figure JPOXMLDOC01-appb-M000004
　上記の数式（５）、（６）を例えば固定小数点演算処理可能なＤＳＰで演算すると、積和演算の総数は数式（３）、（４）と比較して増加するものの、畳み込み演算の合成が不要となる。ＤＳＰのアキュムレータに長い語長で保存されている二つの畳み込み演算結果の減算により、数式（５）、（６）の演算結果が得られる。したがって、数式（５）、（６）を用いて演算することで、Ｓ／Ｎ比が低下せず、倍精度での演算結果の保存や、倍精度の畳み込み演算処理が不要となる。
　なお、上記では指向性補正部１４４Ｌ、１４４Ｒに係るパラメータαが１として説明したが、パラメータαが１でない場合であっても、同様の演算処理を行うことが可能である。
　上述したようにして得られる第一の演算処理部１４０Ｌの出力信号は、ステレオ音声信号のうち左チャネルの音声信号であり、第二の演算処理部１４０Ｒの出力信号は、当該ステレオ音声信号のうち右チャネルの音声信号である。すなわち、上記処理により、左方向へ指向性を有する左チャネルの音声信号と右方向へ指向性を有する右チャネルの音声信号が組み合わせられたステレオ音声信号が得られる。係る構成により、当該ステレオ音声信号は、例えば左入力信号と右入力信号の組み合わせによるステレオ音声信号と比べて、高い定位感を有する。
　エンコード部１５０は、上記左チャネルの音声信号と右チャネルの音声信号を組み合わせて符号化（エンコード）を行う。エンコード部１５０が行う符号化の方式は限定されず、例えば、非圧縮方式でも、可逆圧縮方式でも、非可逆圧縮方式でもよい。
　記憶部１６０は、エンコード部１５０の符号化により得られたデータを記憶する。記憶部１６０は、例えばフラッシュメモリ、磁気ディスク、光ディスク、光磁気ディスク等により実現されてもよい。
　デコード部１７０は、記憶部１６０に記憶されたデータの復号化（デコード）を行う。デコード部１７０による復号化は、エンコード部１５０の符号化方式に応じて行われてもよい。
　Ｄ／Ａ変換部１８０Ｌ，及びＤ／Ａ変換部１８０Ｒは、デコード部１７０から出力された左チャネルの音声信号、及び右チャネルの音声信号をそれぞれ、左チャネルのアナログ音声信号と、及び右チャネルのアナログ音声信号に変換する。
　スピーカ１９０Ｌ、及びスピーカ１９０Ｒは、それぞれ、Ｄ／Ａ変換部１８０Ｌ，及びＤ／Ａ変換部１８０Ｒから出力される左チャネルのアナログ音声信号、及び右チャネルのアナログ音声信号の再生（音声出力）を行う。なお、Ｄ／Ａ変換部１８０Ｌ，及びＤ／Ａ変換部１８０Ｒから出力される左チャネルのアナログ音声信号、及び右チャネルのアナログ音声信号は、外部スピーカ、イヤホン、またはヘッドホン等に出力されてもよい。
　　＜１－３．第一の実施形態の動作＞
　以上、本開示の第一の実施形態に係る録音再生装置１の構成例について説明した。続いて、図４を参照して、本実施形態に係る録音再生装置１の動作例について、特に第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒの動作に着目して説明する。図４は、本実施形態に係る録音再生装置１による動作例を説明するためのフローチャート図である。
　図４に示すように、まず、第一の演算処理部１４０Ｌ、及び第二の演算処理部１４０Ｒに入力される左入力信号と右入力信号を生成するための事前処理が行われる（Ｓ１０２）。当該事前処理には、例えばＡ／Ｄ変換部１２０Ｌ，及びＡ／Ｄ変換部１２０Ｒによるアナログ音声信号からデジタル音声信号への変換処理やゲイン補正部１３０Ｌ，及びゲイン補正部１３０Ｒによるゲイン補正処理が含まれる。
　続いて、遅延フィルタ１４２Ｌにより右入力信号の遅延処理（第一の遅延処理）が行われ、遅延フィルタ１４２Ｒにより左入力信号の遅延処理（第二の遅延処理）が行われる（Ｓ１０４）。上記遅延処理により得られた信号は、指向性補正部１４４Ｌ、及び指向性補正部１４４Ｒにより、指向性を調整するために補正される（Ｓ１０６）。
　続いて、抑圧部１４６Ｌにより左入力信号が抑圧され（第一の抑圧処理）、抑圧部１４６Ｒにより右入力信号が抑圧される（第二の抑圧処理）。抑圧されて得られた信号は、等価フィルタ１４８Ｌ、及び等価フィルタ１４８Ｒにより、周波数特性を補正される（Ｓ１１０）。
　　＜１－４．第一の実施形態の効果＞
　以上、第一の実施形態について説明した。本実施形態によれば、左右の音声信号をそれぞれ他方の音声信号に基づいて抑圧することで、音声信号の指向性を強調し、入力信号が無指向性マイクにより得られた音声信号であっても、より高い定位感のある出力信号を得ることが可能である。また、本実施形態によれば、マイクの物理的な角度調整機構を要することなく、指向性調整用パラメータαの変更を行うことで、定位感の調整を行うことが可能である。
　＜＜２．第二の実施形態＞＞
　　＜２－１．第二の実施形態の概要＞
　上述した第一の実施形態では、録音と再生を同一の装置で行う例を説明した。しかし、録音を行う装置と再生を行う装置は同一であるとは限られない。録音を行う録音装置と、再生を行う再生装置は、例えばそれぞれＩＣレコーダであってもよい。
　例えば、あるＩＣレコーダ（録音装置）で録音されたコンテンツが、ネットワークを経由して他のＩＣレコーダ（再生装置）で再生される場合や、当該コンテンツのファイルが他のＩＣレコーダ（再生装置）にコピーされて再生される場合がある。
　係る場合、例えば、録音装置のマイク間距離に基づいて、再生装置が抑圧処理を行うことで、音声信号の指向性を強調し、より高い定位感のある出力信号を得ることが可能である。そこで以下では、第二の実施形態として、録音を行う録音装置と、再生を行う再生装置が異なる場合の例について説明する。
　　＜２－２．第二の実施形態の構成＞
　本開示の第二の実施形態に係る録音再生システムについて、図５を参照して説明する。図５は、本開示の第二の実施形態に係る録音再生システムの構成例を示す説明図である。図５に示すように、本実施形態に係る録音再生システム２は、録音装置２２、及び再生装置２４を有する。本実施形態に係る録音装置２２、及び再生装置２４は、図２を参照して説明した録音再生装置１と一部において同様の構成を有するため、適宜省略しながら説明を行う。
　（録音装置）
　録音装置２２は、少なくとも録音機能を有する。図５に示すように、録音装置２２は、左マイク２２１Ｌ，右マイク２２１Ｒ、Ａ／Ｄ変換部２２３Ｌ，２２３Ｒ、ゲイン補正部２２５Ｌ，２２５Ｒ、エンコード部２２７、メタデータ記憶部２２９、マルチプレクサ２３１、及び記憶部２３３を備える。左マイク２２１Ｌ，右マイク２２１Ｒ、Ａ／Ｄ変換部２２３Ｌ，２２３Ｒ、ゲイン補正部２２５Ｌ，２２５Ｒ、エンコード部２２７、及び記憶部２３３の構成は、それぞれ図２を参照して説明した左マイク１１０Ｌ，右マイク１１０Ｒ、Ａ／Ｄ変換部１２０Ｌ，１２０Ｒ、ゲイン補正部１３０Ｌ，１３０Ｒ、エンコード部１５０、及び記憶部１６０と同様であるため、説明を省略する。
　なお、本実施形態に係る録音装置２２は、指向性強調に係る処理として、図４を参照して説明したステップＳ１０２に相当する処理を行う
 
　メタデータ記憶部２２９は、後述する再生装置２４が抑圧処理（指向性強調処理）を行う際に用いられる、メタデータを記憶する。メタデータ記憶部２２９が記憶するメタデータは、例えば左マイク２２１Ｌと右マイク２２１Ｒのマイク間距離に係る距離情報を含んでもよいし、当該マイク間距離に基づいて算出されたフィルタ係数の情報を含んでもよい。また、メタデータ記憶部２２９が記憶するメタデータは、録音装置２２の機種を識別するための機種コード等を含んでもよい。さらに、メタデータ記憶部２２９が記憶するメタデータは、左マイク２２１Ｌと右マイク２２１Ｒのゲイン差の情報を含んでもよい。
　なお、メタデータ記憶部２２９に記憶されるメタデータのフォーマットは、Ｗａｖｅｆｏｒｍ　Ａｕｄｉｏ　Ｆｏｒｍａｔ等で用いられているチャンク形式であってもよいし、ＸＭＬ（eXtensible Markup Language）等の構造が用いられた形式であってもよい。
　以下では、メタデータ記憶部２２９が記憶するメタデータは、少なくとも抑圧処理を行う際に用いられるフィルタ係数の情報を含んでいる例について説明し、他の例については補足として後述する。
　マルチプレクサ２３１は、複数の入力信号を一つの出力信号として出力する。本実施形態に係るマルチプレクサ２３１は、エンコード部２２７により符号化された音声信号と、メタデータ記憶部２２９が記憶するメタデータとを一つの出力信号として出力する。
　マルチプレクサ２３１から出力された出力信号は、音声データとメタデータを含むデータファイルとして記憶部２３３に記憶される。図６は記憶部２３３に記憶されるデータファイルのファイルフォーマットの例を示す説明図である。図６に示すように、記憶部２３３に記憶されるデータファイルは、ファイルの種類等の情報を含むヘッダ部Ｆ１２と、録音された音声データを含む録音コンテンツ部Ｆ１４と、メタデータを含むメタデータ部Ｆ１６と、から構成される。
　（再生装置）
　図５に示すように、再生装置２４は、デマルチプレクサ２４１、デコード部２４３、ＵＩ部２４５、スイッチ部２４７Ａ～Ｄ、第一の演算処理部２４９Ｌ、第二の演算処理部２４９Ｒ、Ｄ／Ａ変換部２５１Ｌ，２５１Ｒ、及びスピーカ２５３Ｌ，２５３Ｒを備える信号処理装置である。デコード部２４３、Ｄ／Ａ変換部２５１Ｌ，２５１Ｒ、及びスピーカ２５３Ｌ，２５３Ｒの構成は、それぞれ図２を参照して説明したデコード部１７０、Ｄ／Ａ変換部１８０Ｌ，１８０Ｒ、及びスピーカ１９０Ｌ，１９０Ｒと同様であるため、説明を省略する。
　なお、本実施形態に係る再生装置２４は、指向性強調に係る処理として、図４を参照して説明したステップＳ１０４～Ｓ１１０に相当する処理を行う
　デマルチプレクサ２４１は、録音装置２２の記憶部２３３に記憶された音声信号とメタデータとを一つにまとめた信号を録音装置２２から受け取り、音声信号とメタデータとに分配して出力する。デマルチプレクサ２４１は、音声信号をデコード部２４３に、メタデータを第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒに提供する。上述したように、図５に示す例において、メタデータは少なくとも抑圧処理を行う際に用いられるフィルタ係数の情報を含んでおり、デマルチプレクサ２４１は、フィルタ係数の情報を取得するフィルタ係数取得部として機能する。
　なお、図５に示す例では、録音装置２２と再生装置２４が直接接続され、録音装置２２の記憶部２３３から再生装置２４のデマルチプレクサ２４１に信号が提供されている例を示したが、本実施形態は係る例に限定されない。例えば、再生装置２４が記憶部を有し、当該記憶部に一旦データがコピーされてから、デマルチプレクサ２４１が当該記憶部から信号を受け取ってもよい。また、録音装置２２、及び再生装置２４以外の記憶装置やネットワークを介して、録音装置２２の記憶部２３３に記憶された情報が再生装置２４に提供されてもよい。
　ＵＩ部２４５は、第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒによる指向性の強調処理を行うか否かを選択するためのユーザによる入力を受け付ける。指向性強調処理により、出力される音声には、音の空間的な分離が生じて音を聞きやすくなる効果があるが、ユーザによっては録音されたそのままのコンテンツの方が好ましいと考える場合があるため、再生装置２４はＵＩ部２４５を備えてもよい。
　ＵＩ部２４５は様々な入力手段により実現されてよい。図７は、ＵＩ部２４５の実現例を示す説明図である。図７左に示すように、再生装置２４Ａは、物理的なスイッチであるＵＩ部２４５Ａを備えてもよい。係る例において、ＵＩ部２４５Ａは、再生装置２４Ａがフィルタ係数等の指向性強調処理を行うために必要なメタデータを取得したことを検知すると、点灯してユーザによる選択入力を促してもよい。
　また、図７右に示すように、再生装置２４Ｂは、タッチパネル等の表示と入力が可能なＵＩ部２４５Ｂを備えてもよい。係る例において、ＵＩ部２４５Ｂは、再生装置２４Ｂがフィルタ係数等の指向性強調処理を行うために必要なメタデータを取得したことを検知すると図７に示すように、ユーザに指向性強調処理が可能であること通知し、選択入力を促す表示を行ってもよい。
　なお、上記のような自動的にユーザによる選択入力を促す明示的な通知なしに、ユーザが物理的なスイッチやタッチパネルを操作して選択入力を行ってもよいことは言うまでもない。
　図５に戻って、スイッチ部２４７Ａ～Ｄは、ＵＩ部２４５へのユーザの入力に従って第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒによる指向性強調処理のオン／オフを切り替える。なお、図５に示す状態は、第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒによる指向性強調処理がオンの状態である。
　第一の演算処理部２４９Ｌは、図５に示すように、遅延フィルタ２４９１Ｌ、指向性補正部２４９３Ｌ、抑圧部２４９５Ｌ、及び等価フィルタ２４９７Ｌを備える。また、同様に、第二の演算処理部２４９Ｒは、図５に示すように、遅延フィルタ２４９１Ｒ、指向性補正部２４９３Ｒ、抑圧部２４９５Ｒ、及び等価フィルタ２４９７Ｒを備える。指向性補正部２４９３Ｌ、２４９３Ｒ、及び抑圧部２４９５Ｌ、２４９５Ｒの構成は、それぞれ図２を参照して説明した指向性補正部１４４Ｌ、１４４Ｒ、及び抑圧部１４６Ｌ、１４６Ｒと同様であるため、説明を省略する。
　遅延フィルタ２４９１Ｌ、２４９１Ｒは、図２を参照して説明した遅延フィルタ１４２Ｌ、１４２Ｒと同様に、入力信号に対する遅延処理を行うフィルタである。本実施形態においては、録音を行う装置と再生を行う装置が同一でないため、再生装置２４で再生されるデータの録音時のマイク間距離が一定とは限らない。図２を参照して説明した遅延フィルタ１４２Ｌ、１４２Ｒと同様、遅延フィルタ２４９１Ｌ、２４９１Ｒの適切なフィルタ係数（または遅延サンプル数）は、マイク間距離によって異なる。そこで、本実施形態に係る遅延フィルタ２４９１Ｌ、２４９１Ｒは、録音装置２２に対応したフィルタ係数をデマルチプレクサ２４１から受け取り、当該フィルタ係数に基づいた遅延処理を行う。
　等価フィルタ２４９７Ｌ、２４９７Ｒは、図２を参照して説明した等価フィルタ１４８Ｌ、１４２Ｒと同様に、抑圧処理により得られた信号の周波数特性を補正するフィルタである。図２を参照して説明した等価フィルタ１４８Ｌ、１４２Ｒと同様、等価フィルタ２４９７Ｌ、２４９７Ｒの適切なフィルタ係数は、マイク間距離によって異なる。そこで、本実施形態に係る等価フィルタ２４９７Ｌ、２４９７Ｒは、録音装置２２に対応したフィルタ係数をデマルチプレクサ２４１から受け取り、当該フィルタ係数に基づいた補正処理を行う。
　　＜２－３．第二の実施形態の効果＞
　以上、第二の実施形態について説明した。本実施形態によれば、録音時のマイク間距離に基づくメタデータが再生を行う装置に提供されることで、録音を行う装置と再生を行う装置が異なる装置である場合にも、より高い定位感のある出力信号を得ることが可能である。
　　＜２－４．第二の実施形態の補足＞
　上記では、録音装置２２のメタデータ記憶部２２９に記憶されるメタデータが少なくとも抑圧処理を行う際に用いられるフィルタ係数の情報を含んでいる例について説明したが、本実施形態は係る例に限定されない。
　例えば、メタデータは、録音装置２２の機種を識別するための機種コードであってもよい。係る場合、例えば、再生装置２４は、当該機種コードを用いて録音装置２２と再生装置２４が同一の機種であるか否かを判定し、同一の機種であった場合のみ、指向性強調処理を行ってもよい。
　また、メタデータはマイク間距離に係る距離情報であってもよい。係る場合、再生装置２４のデマルチプレクサ２４１は、距離情報を取得する距離情報取得部として機能する。
　係る場合、例えば再生装置２４は、複数のフィルタ係数を記憶する記憶部と、デマルチプレクサ２４１が取得した距離情報に応じたフィルタ係数を当該記憶部に記憶された複数のフィルタ係数の中から選択するフィルタ係数選択部と、をさらに備えてもよい。また、係る場合、再生装置２４は、デマルチプレクサ２４１が取得した距離情報に基づいてフィルタ係数を特定するフィルタ係数特定部と、をさらに備え、再生時に動的にフィルタを生成してもよい。
　また、メタデータは、左マイク２２１Ｌと右マイク２２１Ｒのゲイン差の情報を含んでもよい。係る場合、例えば、録音装置２２がゲイン補正部２２５Ｌ、２２５Ｒを備える代わりに、再生装置２４がゲイン補正部を備え、再生装置２４の当該ゲイン補正部が上記ゲイン差の情報に基づいてゲイン補正を行ってもよい。
　＜＜３．第三の実施形態＞＞
　上述した第一の実施形態、及び第二の実施形態では、マイクにより取得された音声が、記憶部に記憶された後に、再生される例を説明した。これに対し、以下では、第三の実施形態として、マイクにより取得された音声が、リアルタイムに再生される例を説明する。
　　＜３－１．第三の実施形態の概要＞
　本開示の第三の実施形態の概要について、図８を参照して説明を行う。図８は、本開示の第三の実施形態に係る放送システムの概要を示す説明図である。図８に示すように、本実施形態に係る放送システム３は、送信システム３２（放送局）、対応受信装置３４Ａ，３４Ｂ、及び非対応受信装置３６Ａ，３６Ｂ、を有する。
　送信システム３２は、文字多重放送のような、音声と他のデータを同時に送信するシステムである。例えば、送信システム３２は、ステレオマイクにより第一の音声信号、第二の音声信号を取得し、第一の音声信号、第二の音声信号、及びメタデータを含む情報を対応受信装置３４Ａ，３４Ｂ、及び非対応受信装置３６Ａ，３６Ｂに送信する（放送する）。本実施形態に係るメタデータは、第二の実施形態でいくつかの例を挙げて説明したメタデータと同様の情報を含んでもよいし、更に放送に関するメタデータ（文字情報等）を含んでもよい。
　対応受信装置３４Ａ，３４Ｂは、メタデータを用いた抑圧処理（指向性強調処理）に対応した信号処理装置であり、指向性強調処理用のメタデータを受信した場合に、抑圧処理を行うことが可能である。また、非対応受信装置３６Ａ，３６Ｂは、メタデータを用いた抑圧処理に対応していない装置であり、指向性強調処理用のメタデータを無視して、音声信号のみを処理する。
　係る構成により、マイクにより取得された音声が、リアルタイムに再生される場合であっても、指向性強調処理に対応した装置であれば、より高い定位感のある出力信号を得ることが可能である。
　　＜３－２．第三の実施形態の構成＞
　以上、本実施形態に係る放送システム３の概要を説明した。続いて、本実施形態に係る放送システム３が有する送信システム３２、対応受信装置３４、及び非対応受信装置３６の構成例について、図９～１２を参照して、順次詳細に説明する。
　（送信システム）
　図９は、本実施形態に係る送信システム３２の構成例を示す説明図である。図９に示すように送信システム３２は、左マイク３２１Ｌ，右マイク３２１Ｒ、Ａ／Ｄ変換部３２３Ｌ，３２３Ｒ、ゲイン補正部３２５Ｌ，３２５Ｒ、エンコード部３２７、取得部３２９、及び送信部３３１を備える。左マイク３２１Ｌ，右マイク３２１Ｒ、Ａ／Ｄ変換部３２３Ｌ，３２３Ｒ、ゲイン補正部３２５Ｌ，３２５Ｒ、及びエンコード部３２７の構成は、それぞれ図２を参照して説明した左マイク１１０Ｌ，右マイク１１０Ｒ、Ａ／Ｄ変換部１２０Ｌ，１２０Ｒ、ゲイン補正部１３０Ｌ，１３０Ｒ、及びエンコード部１５０と同様であるため、説明を省略する。
　なお、本実施形態に係る送信システム３２は、指向性強調に係る処理として、図４を参照して説明したステップＳ１０２に相当する処理を行う
　取得部３２９は、左マイク３２１Ｌと右マイク３２１Ｒの間のマイク間距離、または当該マイク間距離に基づくフィルタ係数等のメタデータを取得する。取得部３２９は、様々な方法でメタデータを取得することが可能である。
　図１０は、取得部３２９の構成例を示す説明図である。図１０に示すように、取得部３２９は、左マイク３２１Ｌと右マイク３２１Ｒを接続し、マイク間距離を固定する治具である。また、図１０に示すように、取得部３２９は、当該マイク間距離を特定し、メタデータとして当該マイク間距離を出力してもよい。なお、図１０に示す取得部３２９は、マイク間距離を一定に保ち、取得部３２９内に記憶された一定のマイク間距離を出力してもよいし、伸縮可能（マイク間距離を変更可能）な機構を有し、現在のマイク間距離を出力してもよい。
　また、取得部３２９は、左マイク３２１Ｌ、及び右マイク３２１Ｒに取り付けられて、マイク間距離を測定し、出力するセンサであってもよい。
　例えば、テレビの生放送等の音声収録では、各カメラにステレオマイクがセットされていたとして、マイク間距離はカメラサイズ等の影響で統一されておらず、カメラの切り替えが行われる度にマイク間距離が変更される恐れがある。また、同一のマイクであっても、マイク間距離をリアルタイムに変更したい場合も考えられる。上述した取得部３２９の構成により、例えば、マイク間距離の異なるステレオマイクへの切り替えが行われたり、リアルタイムにマイク間距離が変更されたりした場合であっても、リアルタイムに取得されるマイク間距離等のメタデータを送信することが可能となる。
　なお、上記の取得部３２９の処理は、図４を参照して説明したステップＳ１０２の処理に含まれてもよい。また、もちろん、録音を行うユーザが、マイク間距離が変更される都度マイク間の距離を確認し、手動でマイク間距離の情報を入力設定することで、マイク間距離が特定されてもよい。
　図９に示す送信部３３１は、エンコード部３２７から提供される音声信号と、取得部３２９から提供されるメタデータをまとめて（例えば多重化して）送信する。
　（対応受信装置）
　図１１は対応受信装置３４の構成例を示す説明図である。図１１に示すように、対応受信装置３４は、受信部３４１、デコード部３４３、メタデータパーサ３４５、スイッチ部３４７Ａ～Ｄ、第一の演算処理部３４９Ｌ、第二の演算処理部３４９Ｒ、Ｄ／Ａ変換部３５１Ｌ，３５１Ｒを備える信号処理装置である。Ｄ／Ａ変換部３５１Ｌ，３５１Ｒの構成は、図２を参照して説明したＤ／Ａ変換部１８０Ｌ，１８０Ｒと同様であるため、説明を省略する。また、スイッチ部３４７Ａ～Ｄの構成は、図５を参照して説明したスイッチ部２４７Ａ～Ｄと同様であるため、説明を省略する。
　なお、本実施形態に係る対応受信装置３４は、指向性強調に係る処理として、図４を参照して説明したステップＳ１０４～Ｓ１１０に相当する処理を行う
　受信部３４１は、送信システム３２の左マイク３２１Ｌに基づく第一の音声信号と、送信システム３２の右マイク３２１Ｒに基づく第二の音声信号と、メタデータと、含む情報を送信システム３２から受信する。
　デコード部３４３は、受信部３４１が受信した情報から、第一の音声信号と第二の音声信号を復号化する。また、デコード部３４３は、受信部３４１が受信した情報から、メタデータを取出し、メタデータパーサ３４５に提供する。
　メタデータパーサ３４５は、デコード部３４３から受け取ったメタデータを解析し、当該メタデータに応じてスイッチ部３４７Ａ～Ｄの切り替えを行う。例えば、メタデータパーサ３４５は、メタデータにマイク間距離に係る距離情報、またはフィルタ係数の情報が含まれていた場合には、第一の抑圧処理、及び第二の抑圧処理を含む指向性強調処理が行われるようにスイッチ部３４７Ａ～Ｄを切り替えてもよい。
　係る構成によれば、指向性強調処理が可能な場合には自動的に指向性強調処理が行われ、より高い定位感を得ることが可能となる。
　また、メタデータパーサ３４５は、メタデータにマイク間距離に係る距離情報、またはフィルタ係数の情報が含まれていた場合には、当該情報を第一の演算処理部３４９Ｌ、及び第二の演算処理部３４９Ｒに提供する。
　第一の演算処理部３４９Ｌは、図１１に示すように、遅延フィルタ３４９１Ｌ、指向性補正部３４９３Ｌ、抑圧部３４９５Ｌ、及び等価フィルタ３４９７Ｌを備える。また、同様に、第二の演算処理部３４９Ｒは、図１１に示すように、遅延フィルタ３４９１Ｒ、指向性補正部３４９３Ｒ、抑圧部３４９５Ｒ、及び等価フィルタ３４９７Ｒを備える。上記第一の演算処理部３４９Ｌ、及び第二の演算処理部３４９Ｒの各構成は、図５を参照して説明した第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒと同様であるため、説明を省略する。
　Ｄ／Ａ変換部３５１Ｌ，３５１Ｒから出力されたステレオ音声信号（左出力、及び右出力）は、外部スピーカやヘッドホン等により再生されてもよい。
　（非対応受信装置）
　図１２は非対応受信装置３６の構成例を示す説明図である。図１２に示すように、非対応受信装置３６は、受信部３６１、デコード部３６３、Ｄ／Ａ変換部３６５Ｌ，３６５Ｒを備える信号処理装置である。受信部３６１、及びＤ／Ａ変換部３６５Ｌ，３６５Ｒの構成は、図１１を参照して説明した受信部３４１、及びＤ／Ａ変換部３５１Ｌ，３５１Ｒと同様であるため、説明を省略する。
　デコード部３６３は、受信部３６１が受信した情報から、第一の音声信号と第二の音声信号を復号化する。なお、デコード部３４３は、受信部３４１が受信した情報にメタデータが含まれていた場合に、メタデータを破棄してもよい。
　係る構成によれば、指向性強調処理に非対応の受信装置では、指向性強調処理は行われないが、通常のステレオ再生を行うことが可能であるため、ユーザにとって違和感は発生しない。
　　＜３－３．第三の実施形態の効果＞
　以上、第三の実施形態について説明した。第三の実施形態によれば、マイクにより取得された音声が、リアルタイムに再生される場合であっても、指向性強調処理に対応した装置であれば、より高い定位感のある出力信号を得ることが可能である。
　＜＜４．第四の実施形態＞＞
　上記第一の実施形態、第二の実施形態、及び第三の実施形態では、マイクと信号処理装置が一体化、または完全に分離された（マイクが信号処理装置以外の装置に含まれる）例を説明した。これに対し、以下では、第四の実施形態として、マイクと信号処理装置が接続、及び分離可能で、マイク部分が信号処理装置のアクセサリとして交換可能な例を説明する。
　　＜４－１．第四の実施形態の概要＞
　図１３は本開示の第四の実施形態の概要を説明するための説明図である。図１３に示すように、本実施形態に係る信号処理システム４は、ステレオマイクロフォン装置４２Ａ～Ｃ、スマートフォン４４、サーバ８、通信網９を備える。
　ステレオマイクロフォン装置４２Ａ～Ｃは、それぞれ異なるマイク間距離ｄ１、ｄ２、及びｄ３を有し、ユーザはステレオマイクロフォン装置４２Ａ～Ｃのいずれかをスマートフォン４４のコネクタ部４４１に接続することが可能である。
　上記の接続により、スマートフォン４４は、ステレオマイクロフォン装置４２Ａ～Ｃからステレオ音声信号とメタデータを受け取ることが可能となる。なお、本実施形態に係るメタデータは、第二の実施形態でいくつかの例を挙げて説明したメタデータと同様の情報を含んでもよい。
　係る構成により、マイク部分がスマートフォン４４のアクセサリとして交換可能な場合であっても、指向性の強調処理が可能となる。なお、スマートフォン４４は、ステレオマイクロフォン装置４２Ａ～Ｃのメタデータや、他のコンテンツ（ステレオ音声信号）、及びそれに対応したメタデータを外部のサーバ８から通信網９を介して取得してもよい。
　　＜４－２．第四の実施形態の構成＞
　以上、本実施形態の概要を説明した。続いて、本実施形態に係るステレオマイクロフォン装置４２Ａ～Ｃ、及びスマートフォン４４の構成について図１３、及び図１４を参照して説明を行う。
　（ステレオマイクロフォン装置）
　以下、ステレオマイクロフォン装置４２Ａ～Ｃの構成の説明を行うが、ステレオマイクロフォン装置４２Ａ～Ｃはマイク間距離が異なる以外、構成に差はないため、ステレオマイクロフォン装置４２Ａを例に説明を行い、ステレオマイクロフォン装置４２Ｂ，Ｃについての説明を省略する。
　図１３に示すように、ステレオマイクロフォン装置４２Ａは、左マイク４２１ＡＬ，右マイク４２１ＡＲ、Ａ／Ｄ変換部４２３ＡＬ，４２３ＡＲ、メタデータ記憶部４２５Ａ、コネクタ部４２７Ａを備える。
　左マイク４２１ＡＬ，右マイク４２１ＡＲ、及びＡ／Ｄ変換部４２３ＡＬ，４２３ＡＲの構成は、それぞれ図２を参照して説明した左マイク１１０Ｌ，右マイク１１０Ｒ、及びＡ／Ｄ変換部１２０Ｌ，１２０Ｒと同様であるため、説明を省略する。また、メタデータ記憶部４２５Ａの構成は、図５を参照して説明したメタデータ記憶部２２９と同様のため、説明を省略する。
　なお、本実施形態に係るステレオマイクロフォン装置４２Ａ～Ｃは、指向性強調に係る処理として、図４を参照して説明したステップＳ１０２に相当する処理を行う
　コネクタ部４２７Ａは、スマートフォン４４のコネクタ部４４１と接続し、Ａ／Ｄ変換部４２３ＡＬ，４２３ＡＲから受け取ったステレオ音声信号と、メタデータ記憶部４２５Ａから受け取ったメタデータをスマートフォン４４に提供する通信インタフェースである。コネクタ部４２７Ａは、例えばステレオ音声信号とメタデータを多重化して送信可能な３．５ｍｍフォーンプラグであってもよく、係る場合、スマートフォン４４のコネクタ部４４１は当該プラグに対応した３．５ｍｍフォーンジャックであってもよい。なお、ステレオマイクロフォン装置４２Ａとスマートフォン４４の通信接続は他の接続方式であってもよく、例えば、ＵＳＢのような物理的に接続する方式であってもよいし、ＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）のような非接触で接続する方式であってもよい。
　（スマートフォン）
　図１４は、本実施形態に係るスマートフォン４４の構成例を示す説明図である。図１４に示すように、スマートフォン４４は、コネクタ部４４１、データバッファ４４３、コンテンツパーサ４４５、メタデータパーサ４４７、通信部４４９、ＵＩ部４５１、スイッチ部４５３Ａ～Ｄ、第一の演算処理部４５５Ｌ、第二の演算処理部４５５Ｒ、Ｄ／Ａ変換部４５７Ｌ，４５７Ｒを備える信号処理装置である。
　Ｄ／Ａ変換部４５７Ｌ，４５７Ｒの構成は、それぞれ図２を参照して説明したＤ／Ａ変換部１８０Ｌ，１８０Ｒと同様であるため説明を省略する。また、ＵＩ部４５１、スイッチ部４５３Ａ～Ｄ、第一の演算処理部４５５Ｌ、及び第二の演算処理部４５５Ｒの構成は、それぞれ図５を参照して説明したＵＩ部２４５、スイッチ部２４７Ａ～Ｄ、第一の演算処理部２４９Ｌ、及び第二の演算処理部２４９Ｒと同様であるため、説明を省略する。また、メタデータパーサ４４７の構成は、図１１を参照して説明したメタデータパーサ３４５と同様であるため、説明を省略する。
　なお、本実施形態に係るスマートフォン４４は、指向性強調に係る処理として、図４を参照して説明したステップＳ１０４～Ｓ１１０に相当する処理を行う
　コネクタ部４４１は、ステレオマイクロフォン装置４２Ａ～Ｃと接続され、マイク間距離に係る距離情報、またはフィルタ係数の情報等のメタデータをステレオマイクロフォン装置４２Ａ～Ｃから取得する。
　係る構成により、スマートフォン４４は、ステレオマイクロフォン装置４２Ａ～Ｃからステレオとメタデータを受け取ることが可能となり、マイク部分がスマートフォン４４のアクセサリとして交換可能な場合であっても、指向性の強調処理が可能となる。
　データバッファ４４３は、コネクタ部４４１から取得したデータを一時的に記憶し、コンテンツパーサ４４５、及びメタデータパーサ４４７に提供する。コンテンツパーサ４４５は、データバッファ４４３からステレオ音声信号を受け取り、左入力信号、及び右入力信号に分配する。
　なお、コンテンツパーサ４４５は、ステレオ音声信号を図１３に示すサーバ８から通信部４４９を介して取得してもよい。また、同様にメタデータパーサ４４７も、メタデータを図１３に示すサーバ８から通信部４４９を介して取得してもよい。メタデータパーサ４４７がサーバ８から取得するメタデータは、ステレオマイクロフォン装置４２Ａ～Ｃに関するメタデータであってもよいし、コンテンツパーサ４４５がサーバ８から取得したステレオ音声信号に対応するメタデータであってもよい。通信部４４９は、通信網９を介してサーバ８に接続し、ステレオ音声信号やメタデータを受信する。
　　＜４－３．第四の実施形態の効果＞
　以上、第四の実施形態について説明した。本実施形態によれば、スマートフォン４４は、ステレオマイクロフォン装置４２Ａ～Ｃから指向性強調処理に必要となるメタデータを受け取ることが可能である。係る構成により、マイクと信号処理装置が接続、及び分離可能で、マイク部分が信号処理装置のアクセサリとして交換可能な構成であっても、より高い定位感のある出力信号を得ることが可能である。
　＜＜５．変形例＞＞
　以上、本開示の第一の実施形態、第二の実施形態、第三の実施形態、及び第四の実施形態について説明した。以下では、上記各実施形態の変形例を説明する。なお、以下に説明する変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。
　上記実施形態では、１の装置に２のマイクが備えられている例を説明したが、本開示は係る例に限定されない。例えば、本開示に係る装置は、３以上のマイクを備えてもよい。以下、図１５、及び図１６を参照して本開示に係る信号処理装置が３以上のマイクを備える例を説明する。図１５、及び図１６は本変形例を説明するための説明図である。
　図１５に示す信号処理装置６は、例えばスマートフォンやデジタルカメラのような信号処理装置であり、マイク６１Ａ～Ｃとカメラ６２を有する。スマートフォンやデジタルカメラ等を利用する場合、ユーザは信号処理装置６を図１５に示すように縦向きで利用する場合もあるし、図１６のように横向きで利用する場合もある。
　係る場合、信号処理装置６は、向きに応じて有効な（水平に並んだ）二つのマイクを選択し、当該二つのマイクのマイク間距離を選択して記憶、または送信等の処理を行ってもよい。例えば、信号処理装置６は加速度センサやジャイロセンサ等の信号処理装置６の向きに関する情報をセンシング可能なセンサを備え、当該センサにより得られた情報により、向きを判定してもよい。
　例えば、図１５に示す縦向き利用の例では、有効なマイクはマイク６１Ａ、及びマイク６１Ｂとなり、記憶、送信等が行われるマイク間距離は図１５に示すようにｄ４となる。例えば、図１６に示す横向き利用の例では、有効なマイクはマイク６１Ｂ、及びマイク６１Ｃとなり、記憶、送信等が行われるマイク間距離は図１６に示すようにｄ５となる。
　係る構成によれば、ユーザが利用する向きに応じて、適切なマイクが選択されると共に、選択されたマイクに応じたマイク間距離が選択されて指向性強調処理に用いられる。
　なお、上記のようにして選択されたマイク間距離が、信号処理装置６から他の装置にメタデータとして送信される場合には、当該他の装置が指向性強調処理や、再生処理を行ってもよい。
　＜＜６．ハードウェア構成例＞＞
　以上、本開示の各実施形態と変形例を説明した。上述した信号遅延処理、指向性補正処理、信号抑圧処理、周波数特性補正処理等の信号処理は、演算器の組み合わせ等によるハードウェアにより実現されてもよいし、ソフトウェアと以下に説明する信号処理装置のハードウェアとの協働により実現されてもよい。以下、図１７を参照して、本開示に係る信号処理装置のハードウェア構成について説明する。図１７は、本開示に係る信号処理装置のハードウェア構成の一例を示すブロック図である。なお、図１７に示す信号処理装置１０００は、例えば、図２、図５、図１１、図１４にそれぞれ示した録音再生装置１、録音装置２２、再生装置２４、対応受信装置３４、又はスマートフォン４４を実現する。本実施形態に係る録音再生装置１、録音装置２２、再生装置２４、対応受信装置３４、又はスマートフォン４４による信号処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１７は、本実施形態に係る信号処理装置１０００のハードウェア構成を示す説明図である。図１７に示したように、信号処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、通信装置１００７とを備える。
　ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って信号処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、第一の演算処理部１４０Ｌ、２４９Ｌ、３４９Ｌ、４５５Ｌ、及び第二の演算処理部１４０Ｒ、２４９Ｒ、３４９Ｒ、４５５Ｒの機能が実現される。
　入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。信号処理装置１０００のユーザは、該入力装置１００４を操作することにより、信号処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。出力装置１００５は、例えば図２を参照して説明したスピーカ１９０Ｌ，１９０Ｒに対応する。
　ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。ストレージ装置１００６は、例えば図２を参照して説明した記憶部１６０、図５を参照して説明した記憶部２３３に対応する。
　通信装置１００７は、例えば、通信網９に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置１００７は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。通信装置１００７は、例えば図１１を参照して説明した受信部３４１、図１４を参照して説明した通信部４４９に対応する。
　以上、本実施形態に係る信号処理装置１０００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る信号処理装置１０００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．むすび＞＞
　以上、説明したように、本開示の実施形態によれば、入力信号が無指向性マイクに基づいて得られた音声信号であっても、指向性が強調され、より高い定位感のある出力信号を得ることが可能である。例えば、本開示の実施形態によれば、ＩＣレコーダ等の小型デバイスを用いて録音を行った場合であっても、バイノーラル録音を行ったかのような、音像定位が得られる。
　特に、会議を録音し、後で再生を行って議事録に起こすような場合、話者の特定は重要であるが、本開示によれば、話者の音像位置が知覚できるようになるため、所謂カクテルパーティー効果により、発言者の特定や発言内容の聞き取りが容易になる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理部と、
　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理部と、
　を備える信号処理装置。
（２）
　前記第一の演算処理部の出力信号は、ステレオ音声信号のうち一方のチャネルの音声信号であり、前記第二の演算処理部の出力信号は、前記ステレオ音声信号のうち他方のチャネルの音声信号である前記（１）に記載の信号処理装置。
（３）
　前記第一の演算処理部は、前記第二の音声信号を遅延させる第一の遅延処理を行い、前記第一の遅延処理に基づく信号を前記第一の音声信号から減算することで前記第一の抑圧処理を行い、
　前記第二の演算処理部は、前記第一の音声信号を遅延させる第二の遅延処理を行い、前記第二の遅延処理に基づく信号を前記第二の音声信号から減算することで前記第二の抑圧処理を行う、前記（１）または（２）に記載の信号処理装置。
（４）
　前記第一の遅延処理、及び前記第二の遅延処理は、前記第一のマイクロフォンと前記第二のマイクロフォンとの間の距離に基づいて行われる、前記（３）に記載の信号処理装置。
（５）
　前記第一の遅延処理、及び前記第二の遅延処理は、前記距離を音が伝わるのにかかる時間に相当するサンプル数だけ遅延させる処理である、前記（４）に記載の信号処理装置。
（６）
　前記第一の遅延処理、及び前記第二の遅延処理は、前記距離に基づいて特定されるフィルタ係数に基づいて行われる、前記（４）または（５）に記載の信号処理装置。
（７）
　前記フィルタ係数の情報を取得するフィルタ係数取得部をさらに備える、前記（６）に記載の信号処理装置。
（８）
　前記距離に係る距離情報を取得する距離情報取得部と、
　距離情報に応じた複数のフィルタ係数を記憶する記憶部と、
　前記距離情報取得部が取得した前記距離情報に応じた前記フィルタ係数を前記記憶部に記憶された前記複数のフィルタ係数の中から選択するフィルタ係数選択部と、
　をさらに備える前記（６）に記載の信号処理装置。
（９）
　前記距離に係る距離情報を取得する距離情報取得部と、
　前記距離情報に基づいて前記フィルタ係数を特定するフィルタ係数特定部と、
　をさらに備える前記（６）に記載の信号処理装置。
（１０）
　少なくとも前記第一の音声信号と前記第二の音声信号を含む情報を受信する受信部をさらに備え、
　第一の抑圧処理、及び第二の抑圧処理は、前記受信部がさらに前記距離に係る距離情報を受信した場合に行われる、前記（４）～（９）のいずれか一項に記載の信号処理装置。
（１１）
　少なくとも前記第一の音声信号と前記第二の音声信号を受信する受信部をさらに備え、
　第一の抑圧処理、及び第二の抑圧処理は、前記受信部が前記フィルタ係数の情報を受信した場合に行われる、前記（６）または（７）のいずれか一項に記載の信号処理装置。
（１２）
　前記距離は、前記第一のマイクロフォンと前記第二のマイクロフォンを接続し、前記距離を固定する治具により特定される、前記（４）～（１１）のいずれか一項に記載の信号処理装置。
（１３）
　前記第一のマイクロフォン、及び前記第二のマイクロフォンを有するステレオマイクロフォン装置と接続されるコネクタ部をさらに備え、
　前記コネクタ部は、前記距離に係る距離情報を前記ステレオマイクロフォン装置から取得する、前記（４）～（１２）のいずれか一項に記載の信号処理装置。
（１４）
　前記第一のマイクロフォン、及び前記第二のマイクロフォンを有するステレオマイクロフォン装置と接続されるコネクタ部をさらに備え、
　前記コネクタ部は、前記フィルタ係数の情報を前記ステレオマイクロフォン装置から取得する、前記（６）または（７）に記載の信号処理装置。
（１５）
　前記第一の演算処理部は、前記第一の遅延処理により得られた信号に所定の値を乗じて得られた信号を前記第一の音声信号から減算することで前記第一の抑圧処理を行い、
　前記第二の演算処理部は、前記第二の遅延処理により得られた信号に所定の値を乗じて得られた信号を前記第二の音声信号から減算することで前記第二の抑圧処理を行う、前記（３）～（１４）のいずれか一項に記載の信号処理装置。
（１６）
　前記第一の演算処理部は、前記第一の抑圧処理により得られた信号の周波数特性を補正し、
　前記第二の演算処理部は、前記第二の抑圧処理により得られた信号の周波数特性を補正する、前記（１）～（１５）のいずれか一項に記載の信号処理装置。
（１７）
　前記第一のマイクロフォンと前記第二のマイクロフォンのゲイン差を補正するためのゲイン補正部をさらに備える、前記（１）～（１６）のいずれか一項に記載の信号処理装置。
（１８）
　前記第一のマイクロフォン、及び前記第二のマイクロフォンは、無指向性のマイクロフォンである、前記（１）～（１７）のいずれか一項に記載の信号処理装置。
（１９）
　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行うことと、
　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行うことと、
　を含み、信号処理装置により実行される信号処理方法。
（２０）
　コンピュータに、
　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理機能と、
　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理機能と、
　を実現させるための、プログラム。
　１　録音再生装置
　２　録音再生システム
　３　放送システム
　４　信号処理システム
　２２　録音装置
　２４　再生装置
　３２　送信システム
　３４　対応受信装置
　３６　非対応受信装置
　４２Ａ　ステレオマイクロフォン装置
　４４　スマートフォン
　１１０Ｌ　左マイク
　１１０Ｒ　右マイク
　１３０Ｌ　ゲイン補正部
　１３０Ｒ　ゲイン補正部
　１４０Ｌ　第一の演算処理部
　１４０Ｒ　第二の演算処理部
　１４２　遅延フィルタ
　１４６Ｌ、１４６Ｒ　抑圧部
　１４８Ｌ、１４８Ｒ　等価フィルタ
　２２９　メタデータ記憶部
　２４５　ＵＩ部
　３２９　取得部
　３３１　送信部
　３４１　受信部
　４２１ＡＬ　左マイク
　４２１ＡＲ　右マイク
　４４１　コネクタ部
　１０００　信号処理装置

Claims (20)

  1. 　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理部と、
    　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理部と、
    　を備える信号処理装置。
  2. 　前記第一の演算処理部の出力信号は、ステレオ音声信号のうち一方のチャネルの音声信号であり、前記第二の演算処理部の出力信号は、前記ステレオ音声信号のうち他方のチャネルの音声信号である請求項１に記載の信号処理装置。
  3. 　前記第一の演算処理部は、前記第二の音声信号を遅延させる第一の遅延処理を行い、前記第一の遅延処理に基づく信号を前記第一の音声信号から減算することで前記第一の抑圧処理を行い、
    　前記第二の演算処理部は、前記第一の音声信号を遅延させる第二の遅延処理を行い、前記第二の遅延処理に基づく信号を前記第二の音声信号から減算することで前記第二の抑圧処理を行う、請求項１に記載の信号処理装置。
  4. 　前記第一の遅延処理、及び前記第二の遅延処理は、前記第一のマイクロフォンと前記第二のマイクロフォンとの間の距離に基づいて行われる、請求項３に記載の信号処理装置。
  5. 　前記第一の遅延処理、及び前記第二の遅延処理は、前記距離を音が伝わるのにかかる時間に相当するサンプル数だけ遅延させる処理である、請求項４に記載の信号処理装置。
  6. 　前記第一の遅延処理、及び前記第二の遅延処理は、前記距離に基づいて特定されるフィルタ係数に基づいて行われる、請求項４に記載の信号処理装置。
  7. 　前記フィルタ係数の情報を取得するフィルタ係数取得部をさらに備える、請求項６に記載の信号処理装置。
  8. 　前記距離に係る距離情報を取得する距離情報取得部と、
    　距離情報に応じた複数のフィルタ係数を記憶する記憶部と、
    　前記距離情報取得部が取得した前記距離情報に応じた前記フィルタ係数を前記記憶部に記憶された前記複数のフィルタ係数の中から選択するフィルタ係数選択部と、
    　をさらに備える請求項６に記載の信号処理装置。
  9. 　前記距離に係る距離情報を取得する距離情報取得部と、
    　前記距離情報に基づいて前記フィルタ係数を特定するフィルタ係数特定部と、
    　をさらに備える請求項６に記載の信号処理装置。
  10. 　少なくとも前記第一の音声信号と前記第二の音声信号を含む情報を受信する受信部をさらに備え、
    　第一の抑圧処理、及び第二の抑圧処理は、前記受信部がさらに前記距離に係る距離情報を受信した場合に行われる、請求項４に記載の信号処理装置。
  11. 　少なくとも前記第一の音声信号と前記第二の音声信号を受信する受信部をさらに備え、
    　第一の抑圧処理、及び第二の抑圧処理は、前記受信部が前記フィルタ係数の情報を受信した場合に行われる、請求項６に記載の信号処理装置。
  12. 　前記距離は、前記第一のマイクロフォンと前記第二のマイクロフォンを接続し、前記距離を固定する治具により特定される、請求項４に記載の信号処理装置。
  13. 　前記第一のマイクロフォン、及び前記第二のマイクロフォンを有するステレオマイクロフォン装置と接続されるコネクタ部をさらに備え、
    　前記コネクタ部は、前記距離に係る距離情報を前記ステレオマイクロフォン装置から取得する、請求項４に記載の信号処理装置。
  14. 　前記第一のマイクロフォン、及び前記第二のマイクロフォンを有するステレオマイクロフォン装置と接続されるコネクタ部をさらに備え、
    　前記コネクタ部は、前記フィルタ係数の情報を前記ステレオマイクロフォン装置から取得する、請求項６に記載の信号処理装置。
  15. 　前記第一の演算処理部は、前記第一の遅延処理により得られた信号に所定の値を乗じて得られた信号を前記第一の音声信号から減算することで前記第一の抑圧処理を行い、
    　前記第二の演算処理部は、前記第二の遅延処理により得られた信号に所定の値を乗じて得られた信号を前記第二の音声信号から減算することで前記第二の抑圧処理を行う、請求項３に記載の信号処理装置。
  16. 　前記第一の演算処理部は、前記第一の抑圧処理により得られた信号の周波数特性を補正し、
    　前記第二の演算処理部は、前記第二の抑圧処理により得られた信号の周波数特性を補正する、請求項１に記載の信号処理装置。
  17. 　前記第一のマイクロフォンと前記第二のマイクロフォンのゲイン差を補正するためのゲイン補正部をさらに備える、請求項１に記載の信号処理装置。
  18. 　前記第一のマイクロフォン、及び前記第二のマイクロフォンは、無指向性のマイクロフォンである、請求項１に記載の信号処理装置。
  19. 　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行うことと、
    　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行うことと、
    　を含み、信号処理装置により実行される信号処理方法。
  20. 　コンピュータに、
    　第一のマイクロフォンに基づく第一の音声信号を、第二のマイクロフォンに基づく第二の音声信号に基づいて抑圧する第一の抑圧処理を行う第一の演算処理機能と、
    　前記第二の音声信号を前記第一の音声信号に基づいて抑圧する第二の抑圧処理を行う第二の演算処理機能と、
    　を実現させるための、プログラム。
PCT/JP2016/074332 2015-09-30 2016-08-22 信号処理装置、信号処理方法、及びプログラム WO2017056781A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/761,275 US10440475B2 (en) 2015-09-30 2016-08-22 Signal processing device, signal processing method, and program
EP16850957.8A EP3358856B1 (en) 2015-09-30 2016-08-22 Signal processing device, signal processing method and program
CN201680053068.3A CN108028980B (zh) 2015-09-30 2016-08-22 信号处理装置、信号处理方法及计算机可读存储介质
JP2017543012A JPWO2017056781A1 (ja) 2015-09-30 2016-08-22 信号処理装置、信号処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-192866 2015-09-30
JP2015192866 2015-09-30

Publications (1)

Publication Number Publication Date
WO2017056781A1 true WO2017056781A1 (ja) 2017-04-06

Family

ID=58427544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074332 WO2017056781A1 (ja) 2015-09-30 2016-08-22 信号処理装置、信号処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US10440475B2 (ja)
EP (1) EP3358856B1 (ja)
JP (1) JPWO2017056781A1 (ja)
CN (1) CN108028980B (ja)
WO (1) WO2017056781A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161733A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮影装置、撮影システム、撮影処理方法
JP7443952B2 (ja) 2020-06-19 2024-03-06 沖電気工業株式会社 信号処理装置、信号処理プログラム及び信号処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6874430B2 (ja) * 2017-03-09 2021-05-19 ティアック株式会社 音声レコーダ
KR102559685B1 (ko) * 2018-12-19 2023-07-27 현대자동차주식회사 차량 및 그 제어방법
CN110753296B (zh) * 2019-10-31 2021-02-02 歌尔科技有限公司 无线耳机左右扬声器的灵敏度校准方法、装置及耳机盒
JP7447533B2 (ja) * 2020-02-19 2024-03-12 ヤマハ株式会社 音信号処理方法および音信号処理装置
CN115392310B (zh) * 2022-08-26 2023-06-13 东土科技(宜昌)有限公司 蓝牙信标信号的过滤方法及装置、计算设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0427298A (ja) * 1990-05-22 1992-01-30 Sony Corp 内蔵型ステレオマイクロホン
JP2009239500A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd マイクロホン装置
JP2012204900A (ja) * 2011-03-24 2012-10-22 Olympus Imaging Corp 記録装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002776A (en) * 1995-09-18 1999-12-14 Interval Research Corporation Directional acoustic signal processor and method therefor
JPH11205900A (ja) * 1998-01-14 1999-07-30 Sony Corp ステレオ演算処理装置及びステレオ録音装置
DE10195945T1 (de) * 2000-03-20 2003-04-30 Audia Technology Inc Richtverarbeitung für ein System mit mehreren Mikrophonen
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
JP4300194B2 (ja) * 2005-03-23 2009-07-22 株式会社東芝 音響再生装置、音響再生方法および音響再生プログラム
KR100636248B1 (ko) * 2005-09-26 2006-10-19 삼성전자주식회사 보컬 제거 장치 및 방법
JP4835151B2 (ja) * 2005-12-21 2011-12-14 ヤマハ株式会社 オーディオシステム
WO2008062606A1 (en) * 2006-11-22 2008-05-29 Panasonic Electric Works Co., Ltd. Intercom device
JP4332753B2 (ja) 2007-06-13 2009-09-16 ソニー株式会社 音声レコーダ
US8340316B2 (en) * 2007-08-22 2012-12-25 Panasonic Corporation Directional microphone device
CN101203063B (zh) * 2007-12-19 2012-11-28 北京中星微电子有限公司 麦克风阵列的噪声消除方法及装置
US8295498B2 (en) * 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
JP4753978B2 (ja) 2008-07-08 2011-08-24 株式会社ズーム ステレオ収録用マイクロホンユニット
JP5338259B2 (ja) * 2008-10-31 2013-11-13 富士通株式会社 信号処理装置、信号処理方法、および信号処理プログラム
JP2011191383A (ja) * 2010-03-12 2011-09-29 Panasonic Corp 騒音低減装置
US9094496B2 (en) 2010-06-18 2015-07-28 Avaya Inc. System and method for stereophonic acoustic echo cancellation
US20120106751A1 (en) 2010-08-25 2012-05-03 Qualcomm Incorporated Methods and apparatus for wireless microphone synchronization
JP5786654B2 (ja) 2011-11-02 2015-09-30 ティアック株式会社 ステレオマイク装置
US10606546B2 (en) 2012-12-05 2020-03-31 Nokia Technologies Oy Orientation based microphone selection apparatus
US9210499B2 (en) * 2012-12-13 2015-12-08 Cisco Technology, Inc. Spatial interference suppression using dual-microphone arrays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0427298A (ja) * 1990-05-22 1992-01-30 Sony Corp 内蔵型ステレオマイクロホン
JP2009239500A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd マイクロホン装置
JP2012204900A (ja) * 2011-03-24 2012-10-22 Olympus Imaging Corp 記録装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3358856A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021161733A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 撮影装置、撮影システム、撮影処理方法
JP7443952B2 (ja) 2020-06-19 2024-03-06 沖電気工業株式会社 信号処理装置、信号処理プログラム及び信号処理方法

Also Published As

Publication number Publication date
US10440475B2 (en) 2019-10-08
US20180262837A1 (en) 2018-09-13
JPWO2017056781A1 (ja) 2018-07-19
CN108028980A (zh) 2018-05-11
EP3358856B1 (en) 2022-04-06
EP3358856A4 (en) 2019-05-29
CN108028980B (zh) 2021-05-04
EP3358856A1 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
WO2017056781A1 (ja) 信号処理装置、信号処理方法、及びプログラム
RU2661775C2 (ru) Передача сигнальной информации рендеринга аудио в битовом потоке
US9071900B2 (en) Multi-channel recording
AU2008362920B2 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
JP5499513B2 (ja) 音響処理装置、音像定位処理方法および音像定位処理プログラム
CN108616800B (zh) 音频的播放方法和装置、存储介质、电子装置
US20140169601A1 (en) Hearing instrument
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
CN108174341A (zh) 测量高阶高保真度立体声响复制响度级的方法及设备
EP3107309A1 (en) Dual-microphone earphone and noise reduction processing method for audio signal in call
CN114067810A (zh) 音频信号渲染方法和装置
CN114270877A (zh) 非重合视听捕获系统
JP7004727B2 (ja) 音声連携システム
WO2020153027A1 (ja) オーディオシステム、オーディオ再生装置、サーバー装置、オーディオ再生方法及びオーディオ再生プログラム
CN115696172B (zh) 声像校准方法和装置
JP6933253B2 (ja) 音響処理装置及び音響出力装置
JP2010118978A (ja) 音像定位制御装置および音像定位制御方法
JP3190877U (ja) 増設アクセサリ
US20230421981A1 (en) Reproducing device, reproducing method, information processing device, information processing method, and program
US11544032B2 (en) Audio connection and transmission device
CN220475928U (zh) 一种直播声音控制处理系统
KR20100027713A (ko) 홈시어터 시스템의 사운드 셋팅 장치 및 방법
JP2010118977A (ja) 音像定位制御装置および音像定位制御方法
JP2015065551A (ja) 音声再生システム
JP2022161881A (ja) 音声処理方法及び音声処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16850957

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017543012

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15761275

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE