WO2016167040A1 - 信号処理装置、信号処理方法、及びプログラム - Google Patents

信号処理装置、信号処理方法、及びプログラム Download PDF

Info

Publication number
WO2016167040A1
WO2016167040A1 PCT/JP2016/056504 JP2016056504W WO2016167040A1 WO 2016167040 A1 WO2016167040 A1 WO 2016167040A1 JP 2016056504 W JP2016056504 W JP 2016056504W WO 2016167040 A1 WO2016167040 A1 WO 2016167040A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
sound
acoustic
unit
signal processing
Prior art date
Application number
PCT/JP2016/056504
Other languages
English (en)
French (fr)
Inventor
宏平 浅田
祐史 山邉
繁利 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/565,524 priority Critical patent/US10349163B2/en
Priority to JP2017512224A priority patent/JP6604376B2/ja
Priority to EP19196604.3A priority patent/EP3614690A1/en
Priority to CN201680021159.9A priority patent/CN107431852B/zh
Priority to EP16779832.1A priority patent/EP3285497B1/en
Publication of WO2016167040A1 publication Critical patent/WO2016167040A1/ja
Priority to US16/354,710 priority patent/US10667034B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3014—Adaptive noise equalizers [ANE], i.e. where part of the unwanted sound is retained

Definitions

  • the present disclosure relates to a signal processing device, a signal processing method, and a program.
  • acoustic devices that simply output acoustic information, such as earphones and headphones, are used as acoustic devices worn by users on their heads (hereinafter sometimes referred to as “head-mounted acoustic devices”). Not only that, but those with functions added to the usage scene are becoming popular.
  • head-mounted acoustic devices that can suppress the environmental sound (so-called noise) from the external environment and enhance the sound insulation effect by using so-called noise canceling technology.
  • Patent Document 1 discloses an example of an acoustic device using such a noise canceling technique.
  • a signal processing device a signal processing method, and a program that allow a listener to listen to environmental sounds in an external environment in a preferable manner even when the head-mounted acoustic device is mounted. suggest.
  • the first acquisition unit that acquires the sound collection result of the first sound that propagates in the external space outside the mounting unit that is mounted on the ear of the listener, and the inside of the mounting unit
  • a second acquisition unit that acquires a sound collection result of a second sound that propagates through an internal space that is connected to the ear canal; and based on the sound collection result of the first sound, directly from the external space into the ear canal
  • a first filter processing unit that generates a difference signal substantially equal to a difference between the first sound propagating and the first sound propagating from the external space to the internal space via the mounting unit; Based on the sound collection result of the second sound, based on the first signal component based on the sound collection result of the first sound and the input sound signal output from the sound device from the inside of the mounting portion toward the internal space.
  • a signal processing apparatus Generates a subtracted signal by subtracting the second signal component Subtracting unit, a second filter processing unit that generates a noise reduction signal for reducing the subtraction signal based on the subtraction signal, the difference signal, and the noise reduction signal with respect to the input acoustic signal Is added to generate a drive signal for driving the acoustic device, and a signal processing apparatus is provided.
  • the processor acquires the sound collection result of the first sound propagating in the external space outside the mounting unit that is mounted on the listener's ear, and the inside of the mounting unit. Obtaining a sound collection result of the second sound propagating through the internal space connected to the external auditory canal, and based on the sound collection result of the first sound, directly propagating from the external space into the ear canal Generating a difference signal substantially equal to a difference between the first sound and the first sound propagating from the external space to the internal space via the mounting portion; and a sound collection result of the second sound The first signal component based on the sound collection result of the first sound is subtracted from the second signal component based on the input acoustic signal output from the acoustic device from the inside of the mounting portion toward the internal space.
  • Generating a subtracted signal and The acoustic device is driven by generating a noise reduction signal for reducing the subtracted signal based on the signal and adding the difference signal and the noise reduction signal to the input acoustic signal. Generating a drive signal for performing a signal processing method.
  • the computer acquires the sound collection result of the first sound propagating in the external space outside the mounting unit that is mounted on the listener's ear, and the inner side of the mounting unit. Obtaining a sound collection result of the second sound propagating through the internal space connected to the external auditory canal, and based on the sound collection result of the first sound, directly propagating from the external space into the ear canal Generating a difference signal substantially equal to a difference between the first sound and the first sound propagating from the external space to the internal space via the mounting portion; and a sound collection result of the second sound
  • the first signal component based on the sound collection result of the first sound is subtracted from the second signal component based on the input acoustic signal output from the acoustic device from the inside of the mounting portion toward the internal space.
  • Generating a subtracted signal Generating the noise reduction signal for reducing the subtraction signal based on the arithmetic signal, and adding the difference signal and the noise reduction signal to the input acoustic signal to A program for generating a driving signal for driving is provided.
  • the signal processing apparatus and the signal processing that allow the listener to hear the environmental sound of the external environment in a preferable manner. Methods and programs are provided.
  • FIG. 4 is a block diagram illustrating an example of a basic functional configuration of a signal processing device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating an example of a functional configuration of a signal processing device according to a first embodiment of the present disclosure. It is explanatory drawing for demonstrating an example of a structure of the signal processing apparatus which concerns on the same embodiment. It is the block diagram shown about the example of the function structure of the signal processing apparatus which concerns on 2nd Embodiment of this indication. 4 is an explanatory diagram for describing an example of a configuration for further reducing a delay amount in the signal processing device according to the embodiment; FIG. It is the figure which showed an example of the functional structure of the monitor canceller.
  • UI User :
  • UI User :
  • voice synthesis technology by voice.
  • an interactive UI based on voice input that enables a user to operate the device by performing voice dialogue with an information processing apparatus by applying voice recognition technology has become widespread. ing.
  • FIG. 1 is an explanatory diagram for describing an application example of a head-mounted acoustic device to which a signal processing device according to an embodiment of the present disclosure is applied. That is, in the example shown in FIG. 1, the user uses a portable information processing device such as a smartphone while wearing the head-mounted acoustic device 51 in a so-called public place such as when going out. An example of a scene is shown.
  • acoustic information for example, audio content
  • the so-called environmental sound it may be desirable for the so-called environmental sound to be audible. In this case, it is more desirable that the user can listen to the environmental sound from the external environment in the same manner as when the head-mounted acoustic device 51 is not worn.
  • the so-called environmental sound from the external environment is not worn by the head-mounted acoustic device 51.
  • a state in which listening is possible in a similar manner may be referred to as a “hear-through state”.
  • the user can listen to the so-called environmental sound from the external environment in the same manner as when the head-mounted acoustic device 51 is not worn.
  • the effect that is made possible is sometimes referred to as a “hear-through effect”.
  • the user can send notifications of e-mails and news while checking the surrounding situation while wearing the head-mounted acoustic device. It is possible to confirm the audio output indicating the contents.
  • the user can make a call with another user by using a so-called call function while checking the surrounding situation while moving.
  • the head-mounted acoustic device has a high sealing property (in other words, a high shielding property with respect to the external environment) like a so-called canal type earphone.
  • a high sealing property in other words, a high shielding property with respect to the external environment
  • the use of is important. This is because, in the situation where a head-mounted acoustic device having a relatively low sealing property such as a so-called open air headphone is used, the effect of so-called sound leakage is great, and the use in a public place is not necessarily suitable. Due to being.
  • the outside leaks into the user's ear (so-called ear canal) through the head-mounted acoustic device. At least a part of the environmental sound from the environment is also shielded. Therefore, the user may listen to the environmental sound from the external environment in a mode different from the state in which the head-mounted acoustic device is not worn, or it may be difficult to listen to the environmental sound. is there.
  • FIG. 2 is an explanatory diagram for explaining an example of a principle for realizing the hear-through effect, and in the case where the head-mounted acoustic device 51 is configured as a so-called FF type NC earphone, An example of a schematic functional configuration of the wearable acoustic device 51 is shown.
  • FF Field-Forward
  • NC Noise Canceling
  • the head-mounted acoustic device 51 includes, for example, a microphone 71, a filter circuit 72, a power amplifier 73, and a speaker 74.
  • reference symbol F indicates that the sound N from the sound source S reaches the inside of the user's ear (that is, in the ear canal) via the housing of the head-mounted acoustic device 51 (that is, the ear canal).
  • the transfer function of the propagation environment up to (leakage) is schematically shown.
  • Reference symbol F ′ schematically shows a transfer function of the propagation environment until the sound N from the sound source S reaches the microphone 71.
  • FIG. 3 schematically illustrates an example of a propagation environment until the user U listens to the sound N from the sound source S when the user U wears a so-called canal-type earphone as the head-mounted acoustic device 51.
  • the reference symbol UA schematically shows a space in the user's U ear canal (hereinafter, simply referred to as “ear canal”).
  • reference symbols F and F ′ in FIG. 3 correspond to the propagation environments F and F ′ shown in FIG. 2.
  • the external auditory canal UA inside the head-mounted acoustic device 51.
  • the connected space may be referred to as “internal space”.
  • the space outside the head-mounted acoustic device 51 may be referred to as “external space”.
  • the sound N from the sound source S propagated through the propagation environment F leaks into the user's ear U ′ (specifically, the internal space connected to the ear canal UA). There is a case. Therefore, in the NC earphone, the influence of the sound N is mitigated by adding a signal (noise reduction signal) having a reverse phase to the sound N propagated through the propagation environment F.
  • a signal noise reduction signal
  • the sound N from the sound source S in the external environment reaches, for example, the microphone 71 via the propagation environment F ′ and is collected by the microphone 71.
  • the filter circuit 72 Based on the sound N collected by the microphone 71, the filter circuit 72 generates a signal (noise reduction signal) having a phase opposite to that of the sound N propagating through the propagation environment F.
  • the gain of the noise reduction signal generated by the filter circuit 72 is adjusted by the power amplifier 73 and output to the user's ear U ′ via the speaker 74.
  • the component of the sound N that propagates through the propagation environment F and propagates to the user's ear U ' is canceled out by the component of the noise reduction signal output from the speaker 74, and the sound N is suppressed. It becomes.
  • transfer functions based on device characteristics of the microphone 71, the power amplifier 73, and the speaker 74 are M, A, and H, respectively.
  • a filter coefficient when the filter circuit 72 generates a noise reduction signal based on the acoustic signal collected by the microphone 71 is ⁇ .
  • so-called noise canceling is realized by designing the filter coefficient ⁇ of the filter circuit 72 so as to satisfy the relational expression shown below (Formula 1).
  • the user U transmits the sound N from the sound source S in the external environment to the head-mounted type.
  • the user listens in a manner substantially equivalent to the case where the acoustic device 51 is not attached.
  • FIG. 4 schematically illustrates an example of a propagation environment until the user U listens to the sound N from the sound source S when the user U does not wear the head-mounted acoustic device 51. It is a figure.
  • reference symbol G schematically shows a transfer function of the propagation environment until the sound N from the sound source S directly reaches the user's U ear canal UA.
  • the filter coefficient of the filter circuit 72 in realizing the hear-through effect is ⁇
  • the filter coefficient ⁇ is designed so as to satisfy the relational expressions shown in (Expression 2) and (Expression 3) below.
  • both the noise canceling and the hear-through effect are the sound N that propagates into the ear canal UA via the head-mounted acoustic device 51 and the sound that is output from the speaker 74, as shown in FIG.
  • Each effect is realized by adding sound waves in the air. Therefore, the delay amount until the sound N from the sound source S is collected by the microphone 71 and output from the speaker 74 via the filter circuit 72 and the power amplifier 73 is ADC (AD converter) or DAC (DA converter). It has been found that it is desirable to suppress the time to about 100 ⁇ s or less, including the conversion processing by.
  • the reason why the delay amount is set to 100 ⁇ s or less as described above will be described in more detail.
  • the filter circuit 72 having the filter coefficient ⁇ as a digital filter by providing a DAC. This is because by constructing the filter circuit 72 as a digital filter, it is possible to easily realize filter processing that is less varied than an analog filter and difficult to achieve with an analog filter.
  • the sound output from the speaker 74 and the sound N from the sound source S propagating through the propagation environment F are in the space in the ear canal UA (in other words, the space near the eardrum).
  • the sounds are added and the added sound is recognized by the user as one sound.
  • the delay amount exceeds 10 ms, a phenomenon occurs such that an echo is recognized or a sound is recognized to be heard twice.
  • the delay amount is less than 10 ms, the frequency characteristics may be affected by the mutual interference of sound, and it may be difficult to realize a hear-through effect and noise canceling.
  • the human ear canal has a resonance point in the vicinity of 3 kHz to 4 kHz, although there are individual differences. Therefore, since the frequency band exceeding 4 kHz corresponds to a so-called individual difference portion, the frequency band in which the dip occurs is adjusted to be close to 5 kHz by suppressing the delay amount to 100 ⁇ s or less, thereby achieving a suitable hearing through. It is thought that an effect can be obtained.
  • FIG. 5 is a block diagram illustrating an example of a basic functional configuration of the signal processing device 80 according to an embodiment of the present disclosure.
  • the signal processing device 80 converts each acoustic signal into a digital signal and performs various filter processes, it actually includes a DAC and an ADC.
  • the description of DAC and ADC is omitted.
  • reference numerals 51a and 51b indicate the head-mounted acoustic device 51 described above. That is, reference numeral 51a indicates a head-mounted acoustic device 51 attached to the right ear, and reference numeral 51b indicates a head-mounted acoustic device 51 attached to the left ear. If the head-mounted acoustic devices 51a and 51b are not particularly distinguished, they may be referred to as “head-mounted acoustic devices 51” as described above. Further, in the example shown in FIG. 5, the head-mounted acoustic devices 51a and 51b have the same configuration, and therefore, only the head-mounted acoustic device 51a is shown and shown. Is not shown.
  • the head-mounted acoustic device 51 includes a mounting unit 510, a driver 511, and an external microphone 513.
  • the mounting unit 510 indicates a portion mounted on the user U in the housing of the head mounted acoustic device 51.
  • the mounting unit 510 has at least a part thereof as an outer shape with respect to the ear hole portion of the user U who is the wearer. Is configured to be insertable so that it can be worn on the ear of the user U.
  • the mounting portion 510 in this case is formed with an ear hole insertion portion that is shaped to be inserted into the ear hole portion of the user U, and the ear hole insertion portion is inserted into the ear hole portion.
  • the wearing unit 510 is put on the user U's ear.
  • FIG. 3 shows a state in which the mounting portion 510 of the head-mounted acoustic device 51 is mounted on the ear portion of the user U.
  • a space inside the mounting unit 510 corresponds to the above-described internal space.
  • the driver 511 is configured to drive an acoustic device such as a speaker to cause the acoustic device to output sound based on the acoustic signal.
  • the driver 511 causes the speaker to output sound based on the acoustic signal by vibrating the diaphragm of the speaker based on the input analog acoustic signal (in other words, the drive signal).
  • the external microphone 513 collects sound for directly collecting sound (so-called environmental sound) propagating in an external space outside the mounting unit 510 for mounting the head-mounted acoustic device 51 to the user U. It is a device.
  • the external microphone 513 can be configured as a so-called MEMS microphone formed based on, for example, MEMS (Micro Electro Mechanical Systems) technology. Note that the installation location of the external microphone 513 is not particularly limited as long as the sound propagating through the external space can be collected.
  • the external microphone 513 may be provided in a mounting part of the head-mounted acoustic device 51 or may be provided in a position different from the mounting part. Note that the sound collected by the external microphone 513 (that is, the environmental sound) corresponds to an example of “first sound”.
  • the signal processing device 80 shown in FIG. 5 is configured to execute various signal processing (for example, the filter processing described with reference to FIGS. 2 to 4) in order to realize the hear-through effect.
  • the signal processing device 80 includes a microphone amplifier 111, an HT filter 121, an adder 123, a power amplifier 141, and an EQ (equalizer) 131.
  • the microphone amplifier 111 is a so-called amplifier for adjusting the gain of the acoustic signal.
  • the environmental sound collected by the external microphone 513 is adjusted in gain (for example, amplified) by the microphone amplifier 111 and input to the HT filter 121.
  • the HT filter 121 corresponds to the filter circuit 72 (see FIG. 2) in the case where the hear-through effect described with reference to FIGS. 2 to 4 is realized. That is, the HT filter 121 applies the above-described (Equation 2) and the acoustic signal output from the microphone amplifier 111 (that is, the acoustic signal collected by the external microphone 513 and adjusted in gain by the microphone amplifier 111). Signal processing based on the filter coefficient ⁇ described based on (Expression 3) is performed. At this time, the acoustic signal output as a result of signal processing from the HT filter 121 may be referred to as a “difference signal” hereinafter.
  • the HT filter 121 corresponds to an example of a “first filter processing unit”.
  • the HT filter 121 outputs a difference signal generated as a result of signal processing on the acoustic signal output from the microphone amplifier 111 to the adding unit 123.
  • the EQ 131 performs so-called equalizing processing on an acoustic signal (hereinafter sometimes referred to as “acoustic input”) input to the signal processing device 80, such as an audio content or a reception signal in a voice call.
  • acoustic input an acoustic signal
  • the signal processing device 80 such as an audio content or a reception signal in a voice call.
  • the EQ 131 corrects the acoustic characteristics (for example, frequency characteristics) of the acoustic input so that the low-frequency acoustic component superimposed based on the feedback is suppressed in advance from the acoustic input.
  • the sound input corresponds to an example of an “input sound signal”.
  • the adder 123 adds the difference signal output from the HT filter 121 to the sound input output from the EQ 131 (ie, the sound input after the equalizing process), and the sound signal generated as the addition result is a power amplifier. 141 is output.
  • the power amplifier 141 is a so-called amplifier for adjusting the gain of the acoustic signal.
  • the gain of the acoustic signal output from the adding unit 123 (that is, the addition result of the acoustic input and the difference signal) is adjusted (for example, amplified) by the power amplifier 141 and output to the driver 511.
  • the driver 511 drives the speaker based on the acoustic signal output from the power amplifier 141, so that the acoustic based on the acoustic signal is connected to the internal space inside the wearing unit 510 (that is, the external ear canal UA of the user U). Radiated to the space where
  • the sound radiated to the internal space when the driver 511 drives the speaker propagates to the internal space via the mounting portion 510 of the head-mounted acoustic device 51 (that is, as illustrated in FIG. 2 and FIG. 3, it is added to the sound propagated through the propagation environment F) and listened to by the user U.
  • the component of the differential signal included in the sound radiated from the driver 511 to the internal space is added to the environmental sound that propagates to the internal space via the mounting portion 510 and is heard by the user U. That is, the user U can listen to the environmental sound in the same manner as when the head-mounted acoustic device 51 is not worn, as shown in FIG. It becomes.
  • the operation of the signal processing device 80 described above is merely an example. If the user U can listen to the environmental sound while wearing the head-mounted acoustic device 51, the signal processing device 80. May not necessarily faithfully reproduce the hear-through effect.
  • the HT filter 121 controls the characteristics and gain of the differential signal so that the user U feels the volume of the environmental sound higher than when the head-mounted acoustic device 51 is not worn. May be.
  • the HT filter 121 may control the characteristics and gain of the differential signal so that the user U feels the volume of the environmental sound lower than in the state where the head-mounted acoustic device 51 is not worn. Good.
  • the signal processing device 80 is listened to by the user U according to, for example, the input state of the sound input and the type of the sound input (for example, an audio content or a voice call reception signal).
  • the volume of the environmental sound may be controlled.
  • FIG. 6 is an explanatory diagram for explaining a mechanism in which a phenomenon in which vibration of a voice uttered by the user himself / herself propagates in the internal space occurs.
  • the vibration of the voice uttered by the user U propagates to the external auditory canal UA through bones and meat in the head of the user U, and vibrates the external auditory canal wall like a secondary speaker.
  • a head-mounted acoustic device 51 having a high sealing property such as a canal-type earphone is mounted
  • the degree of sealing of the space in the ear canal UA is increased by the head-mounted acoustic device 51. Since the air escape path is limited, the vibration in the space is directly transmitted to the eardrum.
  • the vibration of the voice uttered by the user U propagating in the internal space is transmitted to the eardrum as if the low frequency range was amplified, so that the user U can hear his / her voice muffled. The user U will feel uncomfortable.
  • the signal processing device has been made in view of the above-described problems, and has a more favorable aspect (that is, an aspect in which the user does not feel more uncomfortable) with a hear-through effect. It is intended to be realized.
  • FIG. 7 is a block diagram illustrating an example of a functional configuration of the signal processing device according to the present embodiment.
  • the signal processing apparatus according to the present embodiment may be referred to as “signal processing apparatus 11” in order to distinguish it from the signal processing apparatus 80 (see FIG. 5) described above.
  • the description of the DAC and the ADC is omitted for easier understanding.
  • the signal processing device 11 includes the above-described signal processing device 80 (see FIG. 7) in that it includes a microphone amplifier 151, a subtraction unit 171, an occlusion canceller 161, and an EQ 132. 5).
  • the head-mounted acoustic device 51 to which the signal processing apparatus 11 according to the present embodiment can be applied includes a head to which the signal processing apparatus 80 described above can be applied in that it includes an internal microphone 515.
  • the functional configuration of the signal processing device 11 according to the present embodiment and the head-mounted acoustic device 51 to which the signal processing device 11 can be applied is particularly different from the example shown in FIG. This will be explained with a focus on.
  • the internal microphone 515 collects sound propagating to an internal space inside the mounting portion 510 for mounting the head-mounted acoustic device 51 to the user U (that is, a space connected to the external ear canal UA of the user U). It is a sound collection device.
  • the internal microphone 515 can be configured as a so-called MEMS microphone formed based on the MEMS technology, for example.
  • the internal microphone 515 is installed, for example, inside the wearing portion 510 so as to face the ear canal UA. Needless to say, the installation location of the internal microphone 515 is not particularly limited as long as the sound propagating to the internal space can be collected.
  • the acoustic signal collected by the internal microphone 515 includes an acoustic component output from the speaker based on control by the driver 511 and an environmental sound component that propagates to the internal space via the mounting portion 510 (see FIG. 2 and FIG. 2).
  • the sound propagated through the propagation environment F) and the user's voice component (voice component shown in FIG. 6) propagating to the ear canal UA are included.
  • the sound collected by the internal microphone 515 (that is, the sound propagated to the internal space) corresponds to an example of “second sound”.
  • the microphone amplifier 151 is a so-called amplifier for adjusting the gain of the acoustic signal.
  • the sound signal based on the sound collection result by the internal microphone 515 (that is, the sound collection result of the sound propagating to the internal space) is adjusted in gain (for example, amplified) by the microphone amplifier 151 and input to the subtraction unit 171.
  • the EQ 132 is a configuration for performing equalizing processing on the sound input according to the device characteristics of the internal microphone 515 and the microphone amplifier 151. Specifically, when the transfer function based on the device characteristics of the internal microphone 515 and the microphone amplifier 151 is M, the EQ 132 gives a frequency characteristic as the target characteristic ⁇ M to the sound input. Note that the transfer function M corresponding to the device characteristics of the internal microphone 515 and the microphone amplifier 151 may be calculated in advance based on the result of a prior experiment or the like. Then, the EQ 132 outputs the acoustic input subjected to the equalizing process to the subtracting unit 171. Note that the acoustic input that has been equalized by the EQ 132 corresponds to an example of a “second signal component”.
  • the subtraction unit 171 subtracts the acoustic input output from the EQ 132 (that is, the acoustic input given the frequency characteristic as the target characteristic ⁇ M) from the acoustic signal output from the microphone amplifier 151, and is generated as a subtraction result.
  • the obtained acoustic signal is output to the occlusion canceller 161.
  • the acoustic signal output as a subtraction result by the subtracting unit 171 corresponds to an acoustic signal in which the component of the acoustic input is suppressed among the components of the acoustic signal collected by the internal microphone 515.
  • the acoustic signal is a component obtained by adding the above-described difference signal and the environmental sound propagated to the internal space via the mounting portion 510 (hereinafter, referred to as “environmental sound component”). ) And a component of the voice of the user U propagating to the ear canal UA via the bone and meat of the user U's head (hereinafter, simply referred to as “voice component”). .
  • the occlusion canceller 161 corresponds to a so-called filter processing unit that operates on the same principle as a so-called FB (Feed-Back) NC filter.
  • the occlusion canceller 161 is an acoustic signal for suppressing the component of the acoustic signal to a predetermined volume based on the acoustic signal output from the subtracting unit 171 (hereinafter referred to as “noise reduction signal”). Is generated).
  • the acoustic signal output from the subtracting unit 171 includes an environmental sound component and a voice component.
  • the voice component is amplified on the low frequency side by the characteristics of the propagation path. Has been. Therefore, the occlusion canceller 161 is, for example, in a manner similar to the case where the user U does not wear the head-mounted acoustic device 51, so that the user U can hear the component of the voice.
  • a noise reduction signal for suppressing the low frequency side of the voice component in the acoustic signal acquired from the above may be generated.
  • the occlusion canceller 161 corresponds to an example of a “second signal processing unit”.
  • the occlusion canceller 161 generates a noise reduction signal based on the acoustic signal output from the subtraction unit 171. Then, the occlusion canceller 161 outputs the generated noise reduction signal to the adding unit 123.
  • the EQ 131 performs equalizing processing on the sound input in the same manner as the EQ 131 described above with reference to FIG.
  • the EQ 131 is adapted to the acoustic input according to the characteristics given to the output sound by the structure of the speaker driven by the driver 511 and the transfer function of the space from the speaker to the internal microphone 515. Further, an equalizing process is performed. For example, H is obtained by multiplying the transfer function corresponding to the characteristic given to the output sound by the structure of the speaker driven by the driver 511 and the transfer function of the space from the speaker to the internal microphone 515. In this case, the EQ 131 gives a frequency characteristic as the target characteristic 1 / H to the sound input.
  • the transfer function corresponding to the characteristic given to the output sound by the structure of the speaker driven by the driver 511 and the transfer function of the space from the speaker to the internal microphone 515 are based on the results of prior experiments and the like. What is necessary is just to calculate in advance. Then, the EQ 131 outputs the sound input subjected to the equalizing process to the adding unit 123.
  • the adder 123 outputs a difference signal output from the HT filter 121 and a noise reduction signal output from the occlusion canceller 161 with respect to the sound input output from the EQ 131 (that is, the sound input after the equalizing process). Is added. Then, the adding unit 123 outputs the acoustic signal generated as the addition result to the power amplifier 141.
  • the gain of the acoustic signal output from the adding unit 123 (that is, the addition result of the acoustic input, the difference signal, and the noise reduction signal) is adjusted (for example, amplified) by the power amplifier 141 and output to the driver 511. Then, the driver 511 drives the speaker based on the acoustic signal output from the power amplifier 141, so that the acoustic based on the acoustic signal is connected to the internal space inside the wearing unit 510 (that is, the external ear canal UA of the user U). Radiated to the space where
  • FIG. 8 is an explanatory diagram for explaining an example of the configuration of the signal processing apparatus 11 according to the present embodiment.
  • the head-mounted acoustic device 51 and the signal processing device 11 are configured as separate devices.
  • an example of a configuration in the case where the head-mounted acoustic device 51 and the signal processing device 11 are provided in the same housing is illustrated.
  • a configuration for example, a signal processing unit
  • corresponding to the signal processing device 11 is incorporated in the mounting unit 510 of the head-mounted acoustic device 51.
  • the signal processing device 11 may be configured as an independent device, or may be configured as a part of an information processing device such as a so-called smartphone. Further, at least a part of the configuration of the signal processing device 11 may be provided in an external device (for example, a server) different from the signal processing device 11. Even in such a case, the environmental sound propagating in the external environment is collected by the external microphone 513 and output from the speaker of the head-mounted acoustic device 51 via the HT filter 121 and the power amplifier 141. Needless to say, it is desirable that the delay amount of the signal is suppressed to about 100 ⁇ s or less, including conversion processing by ADC or DAC.
  • the signal processing apparatus 11 based on the sound collection result by the internal microphone 515 (that is, the sound collection result of the sound propagating to the internal space), at least of the components of the voice of the user U. A noise reduction signal that suppresses some components is generated. And the signal processing apparatus 11 adds the produced
  • the sound radiated to the internal space when the driver 511 drives the speaker includes a component based on the noise reduction signal generated by the occupancy canceller 161.
  • the component based on the noise reduction signal is added to the component of the voice of the user U propagating to the ear canal UA based on the utterance of the user U in the internal space.
  • at least a part of the voice component (for example, a low-frequency component of the voice component) is suppressed, and the voice component after the suppression reaches the eardrum of the user U, The user U will listen. That is, according to the signal processing device 11 according to the present embodiment, the hear-through effect can be realized in such a manner that the user U does not feel uncomfortable with his / her voice.
  • Second Embodiment> Next, a signal processing device according to the second embodiment of the present disclosure will be described.
  • the hear-through effect is realized in such a manner that the user U does not feel uncomfortable with his / her voice.
  • the component of the differential signal output from the speaker of the head-mounted acoustic device 51 is included in the acoustic signal to be processed by the occupancy canceller 161. It is included.
  • the noise reduction signal generated based on the acoustic signal by the occlusion canceller 161 suppresses the component of the differential signal, and a sufficient hear-through effect cannot be obtained (or the user U can hear environmental sounds having different characteristics). May be).
  • the signal processing device according to the present embodiment is made in view of the above-described problems, and is more natural than the signal processing device 11 according to the first embodiment.
  • the purpose is to realize a hear-through effect in a manner that does not give a sense of incongruity.
  • the signal processing device according to the present embodiment may be referred to as “signal processing device 12” in order to be distinguished from the signal processing device 11 according to the first embodiment described above.
  • FIG. 9 is a block diagram illustrating an example of a functional configuration of the signal processing device according to the present embodiment.
  • the description of DAC and ADC is omitted for easier understanding.
  • the signal processing device 12 according to the present embodiment includes a monitor canceller 181 and a subtracting unit 191, and the signal processing device 11 according to the first embodiment described above (see FIG. 7). And different. Therefore, in the following description, the functional configuration of the signal processing device 12 according to the present embodiment will be described, particularly focusing on differences from the signal processing device 11 (see FIG. 7) according to the first embodiment described above. .
  • the monitor canceller 181 and the subtractor 191 suppress a component corresponding to the differential signal among the components in the acoustic signal output from the microphone amplifier 151 (in other words, the acoustic signal based on the sound collection result of the internal microphone 515). It is the structure for.
  • the environmental sound collected by the external microphone 513 is adjusted in gain (for example, amplified) by the microphone amplifier 111 and input to the HT filter 121 and the monitor canceller 181.
  • the monitor canceller 181 performs signal processing based on the filter coefficient ⁇ described based on the above-described (Expression 2) and (Expression 3) on the acoustic signal output from the microphone amplifier 111. To generate a differential signal.
  • the monitor canceller 181 reflects each characteristic of the generated differential signal so that the influence of the device characteristics of the power amplifier 141, the driver 511, and the microphone amplifier 151 and the spatial characteristics in the internal space are reflected. Filter processing is performed based on the transfer function corresponding to This is because the characteristics of the system from the occlusion canceller 161 through the power amplifier 141, the driver 511, and the microphone amplifier 151 to the occlusion canceller 161 are converted into the acoustic signal output from the microphone amplifier 111. Is caused by not being reflected.
  • an infinite impulse response filter (IIR filter) and a finite impulse response filter (FIR filter) may be provided as a configuration for executing the filter processing described above.
  • the process for the simple delay component may be mainly assigned to the FIR filter
  • the process related to the frequency characteristic may be mainly assigned to the IIR filter.
  • the configuration in which the IIR filter and the FIR filter are provided is merely an example, and the configuration of the monitor canceller 181 is not necessarily limited.
  • the monitor canceller 181 may be provided with an FIR filter, and the FIR filter may execute both processing for a simple delay component and processing for frequency characteristics.
  • the filter processing described above may be reproduced using only the IIR filter.
  • a method for reducing the influence of the delay component for example, a method of adopting a low-delay device as an ADC and DAC or a filter (for example, a decimation filter) used for bit rate conversion can be given. It is done.
  • the acoustic system such as the driver 511 (and speaker), the external microphone 513, and the internal microphone 515
  • a device with a shorter delay during driving that is, a device with better response
  • the sound velocity delay between the speaker and the internal microphone 515 may be reduced by bringing the speaker driven by the driver 511 and the internal microphone 515 closer to each other in the internal space.
  • the device characteristics of the power amplifier 141, the driver 511, and the microphone amplifier 151 and the spatial characteristics in the internal space should be derived in advance using, for example, a time stretched pulse (TSP). Is possible. In this case, for example, if each characteristic is calculated based on the measurement result of the acoustic signal (TSP) input from the power amplifier 141 (specifically, DAC) and the acoustic signal output from the microphone amplifier 151, Good.
  • TSP time stretched pulse
  • the device characteristics of the power amplifier 141, the driver 511, and the microphone amplifier 151 and the space characteristics in the internal space may be individually measured, and each measurement result may be convoluted.
  • the filter characteristics of the monitor canceller 181 may be adjusted in advance based on the previous measurement results of the characteristics described above.
  • the monitor canceller 181 corresponds to an example of a “third filter processing unit”. Further, the acoustic signal that has been filtered by the monitor canceller 181 corresponds to a “first signal component”.
  • the monitor canceller 181 outputs the differential signal subjected to various filter processes to the subtracting unit 191.
  • the subtracting unit 191 subtracts the difference signal output from the monitor canceller 181 from the acoustic signal output from the microphone amplifier 151, and outputs the acoustic signal generated as the subtraction result to the subtracting unit 171 located at the subsequent stage.
  • the acoustic signal output as the subtraction result by the subtracting unit 171 corresponds to the acoustic signal in which the component corresponding to the differential signal is suppressed among the components of the acoustic signal collected by the internal microphone 515. .
  • the subsequent processing is the same as that of the signal processing apparatus 11 according to the first embodiment described above. That is, the acoustic signal output from the subtracting unit 191 is subtracted by the subtracting unit 171 from the acoustic input component output from the EQ 132 and input to the occupancy canceller 161. At this time, the acoustic signal input to the occlusion canceller 161 is suppressed by the component corresponding to the differential signal and the component corresponding to the acoustic input among the components of the acoustic signal collected by the internal microphone 515. Correspond to the generated acoustic signal (ie, the voice component).
  • the occupancy canceller 161 can exclude the component of the differential signal from the processing target for generating the noise reduction signal. That is, in the signal processing device 12 according to the present embodiment, it is possible to prevent a situation in which the component of the differential signal is suppressed by the noise reduction signal. Therefore, the signal processing device 12 according to the present embodiment has a more natural aspect (that is, an aspect in which the user U does not feel more uncomfortable) than the signal processing apparatus 11 according to the first embodiment described above. An effect can be realized.
  • the difference signal based on the sound collection result by the external microphone 513 and the noise reduction signal based on the sound collection result by the internal microphone 515 are added to the sound input and output from the speaker.
  • An example of a mechanism for reducing the delay amount until it is performed will be described.
  • the delay amount can be suppressed to 100 ⁇ s or less in order to achieve the hear-through effect in a suitable manner (specifically, the frequency band in which dip occurs is adjusted to be close to 5 kHz). It is desirable.
  • the delay amount in the system R11 may be referred to as “delay amount D_HTF”.
  • the monitor canceller 181 generates a differential signal in the same manner as the HT filter 121.
  • the driver 511 drives the speaker based on the differential signal, so that the acoustic signal based on the sound including the component of the differential signal radiated into the internal space is spatially propagated in the internal space and collected in the internal microphone 515.
  • a propagation delay occurs until sound is heard (that is, during propagation between the speaker and the internal microphone 515).
  • the delay amount of the propagation delay in the internal space may be referred to as “delay amount D_ACO”.
  • the delay amount in the system R13 is set to the delay amount D_HTF (100 ⁇ s) and the delay amount D_ACO. Must be less than or equal to
  • the distance between the speaker driven by the driver 511 and the internal microphone 515 is about 3 to 4 cm even when the distance is relatively long like a so-called overhead headphone.
  • FIG. 10 is an explanatory diagram for explaining an example of a configuration for further reducing the delay amount (that is, satisfying the delay condition described above) in the signal processing device 12 according to the present embodiment.
  • the ADC and the DAC for performing conversion processing between the analog signal and the digital signal and the sampling rate of the digital signal are converted with respect to the signal processing device 12 illustrated in FIG. 9. Filters are explicitly shown.
  • FIG. 10 shows ADCs 112 and 152, DAC 142, decimation filters 113 and 153, interpolation filters 133 and 134, and a functional configuration of the signal processing device 12 shown in FIG. 143 is explicitly shown.
  • the ADCs 112 and 152 are configured to convert analog acoustic signals into digital signals.
  • the ADCs 112 and 152 perform delta-sigma modulation on an analog acoustic signal to convert it into a digital signal.
  • the DAC 142 is configured to convert a digital signal into an analog acoustic signal.
  • the decimation filters 113 and 153 are configured to downsample the sampling rate of the input digital signal to a predetermined sampling rate lower than the sampling rate.
  • the interpolation filters 133, 134, and 143 are configured to upsample the sampling rate of the input digital signal to a predetermined sampling rate that is higher than the sampling rate.
  • the analog acoustic signal output based on the sound collection result of the external microphone 513 is adjusted in gain by the microphone amplifier 111 and converted into a digital signal by the ADC 112.
  • the ADC 112 samples the input analog signal at a sampling rate of 64 Fs and converts it into a digital signal.
  • the ADC 112 outputs the converted digital signal to the decimation filter 113.
  • the decimation filter 113 downsamples the sampling rate of the digital signal output from the ADC 112 from 64 Fs to 8 Fs. That is, the configuration (for example, the HT filter 121 and the monitor canceller 181) located in the subsequent stage of the decimation filter 113 performs various processes on a digital signal whose sampling rate is down-sampled to 8 Fs.
  • the gain of the analog acoustic signal output based on the sound collection result of the internal microphone 515 is adjusted by the microphone amplifier 151 and converted into a digital signal by the ADC 152.
  • the ADC 152 samples the input analog signal at a sampling rate of 64 Fs and converts it into a digital signal.
  • the ADC 152 outputs the converted digital signal to the decimation filter 153.
  • the decimation filter 153 downsamples the sampling rate of the digital signal output from the ADC 152 from 64 Fs to 8 Fs. That is, the configuration (for example, the occlusion canceller 161) located at the subsequent stage of the decimation filter 153 performs various processes on a digital signal down-sampled to a sampling rate of 8 Fs.
  • the sound input (1 Fs digital signal) that has been equalized by the EQ 132 is up-sampled to 8 Fs by the interpolation filter 134 and input to the subtractor 171.
  • the sound input (1 Fs digital signal) that has been equalized by the EQ 131 is up-sampled to 8 Fs by the interpolation filter 133 and input to the adder 123.
  • the adder 123 adds the differential signal output from the HT filter 121, the acoustic input output from the interpolation filter 133, and the noise reduction signal output from the occlusion canceller 161.
  • the difference signal, the sound input, and the noise reduction signal added by the adding unit 123 are all 8Fs digital signals.
  • the 8Fs digital signal output as the addition result of the adder 123 is upsampled to a 64Fs digital signal by the interpolation filter 143, converted to an analog acoustic signal by the DAC 142, and then sent to the power amplifier 141. Entered.
  • the analog acoustic signal is input to the driver 511 after the gain is adjusted by the power amplifier 141. Accordingly, the driver 511 drives the speaker based on the input analog acoustic signal, thereby causing the speaker to radiate sound based on the analog acoustic signal to the internal space.
  • the signal processing device 12 converts the collected analog acoustic signal into a 64 Fs digital signal that is higher than the sampling rate (1 Fs) of the acoustic input by 8 Fs. Downsampling to the extent.
  • the HT filter 121, the monitor canceller 181 and the occlusion canceller 161 execute each calculation (that is, filter processing) on the 8Fs digital signal. It is possible to reduce the delay of one sample unit.
  • the processing related to the down-sampling that is, compared to the case of down-sampling to the 1 Fs digital signal (that is, The amount of delay of the processing of the ADC 112 and the ADC 152 can be kept low.
  • the operations of the HT filter 121, the monitor canceller 181 and the occlusion canceller 161 are further down-sampled to a digital signal having a lower sampling rate (for example, 1 Fs), The digital signal may be processed.
  • FIG. 11 is a diagram illustrating an example of a functional configuration of the monitor canceller 181.
  • the monitor canceller 181 illustrated in FIG. 11 is configured to down-sample an 8Fs digital signal into a 1Fs digital signal and then perform various filter processes on the 1Fs digital signal.
  • the monitor canceller 181 shown in FIG. 11 includes a decimation filter 183, an IIR filter 184, an FIR filter 185, and an interpolation filter 186.
  • the decimation filter 183 downsamples the 8Fs digital signal input to the monitor canceller 181 to a 1Fs digital signal, and outputs the digital signal downsampled to 1Fs to the IIR filter 184 located at the subsequent stage.
  • the IIR filter 184 and the FIR filter 185 are configured to execute the filter processing by the monitor canceller 181 described above with reference to FIG. As described above, of the filter processing by the monitor canceller 181, processing relating to frequency characteristics is mainly assigned to the IIR filter 184, and processing for simple delay components is assigned to the FIR filter 185. In the example illustrated in FIG. 11, the IIR filter 184 and the FIR filter 185 perform various filter processes on a 1 Fs digital signal.
  • the digital signal that has been subjected to various types of filter processing by the IIR filter 184 and the FIR filter 185 (that is, a 1 Fs digital signal) is up-sampled to an 8 Fs digital signal by the interpolation filter 186. Then, the digital signal up-sampled to 8Fs is output to the subtracting unit 191 (see FIG. 10) located at the subsequent stage of the monitor canceller 181.
  • the various calculations for example, each calculation in the HT filter 121, the monitor canceller 181, and the occlusion canceller 161
  • Resources for the calculation may be reduced by lowering the sampling rate locally.
  • the sampling rate is locally reduced, the efficiency of resource reduction accompanying downsampling is confirmed by a prior experiment or the like, and the confirmation result What is necessary is just to determine suitably based on.
  • the delay amount in each system for example, the systems R11 and R13 shown in FIG. 9 and FIG. 10 in the signal processing apparatus 12 according to the present embodiment is reduced, which is a more preferable aspect.
  • a mechanism for realizing the hear-through effect In the above description, an example of a mechanism for reducing the delay amount based on the signal processing device 12 illustrated in FIG. 9 has been described.
  • the signal processing device 80 illustrated in FIG. 5 and the signal processing device 11 illustrated in FIG. Needless to say, the delay amount can be reduced based on the same mechanism.
  • FIG. 12 is a block diagram illustrating an example of a functional configuration of a signal processing device according to a modification of the present embodiment.
  • the signal processing device according to the modification may be referred to as a “signal processing device 13” in order to be distinguished from the signal processing device 12 according to the present embodiment described with reference to FIGS. 9 and 10.
  • the ADC and DAC for performing the conversion process between the analog signal and the digital signal and the filter for converting the sampling rate of the digital signal are explicitly shown. Has been.
  • the signal processing device 13 includes a monitor canceller 181 ′ instead of the monitor canceller 181 shown in FIG. Different from reference). Therefore, in this description, the description will be given with particular attention to the configuration of the monitor canceller 181 ′, and the other configuration is the same as that of the signal processing device 12 according to the above-described embodiment, and thus detailed description thereof is omitted.
  • the monitor canceller 181 ′ is positioned after the HT filter 121, and uses the differential signal output from the HT filter 121 as a processing target.
  • the monitor canceller 181 ′ differs from the monitor canceller 181 described with reference to FIG. 9 in the processing related to the generation of the differential signal (that is, the processing based on the above-described (Formula 2) and (Formula 3). ) Is not necessary.
  • the monitor canceller 181 ′ reflects the influence of the device characteristics of the power amplifier 141, the driver 511, and the microphone amplifier 151 and the spatial characteristics in the internal space on the input differential signal. Filter processing based on a transfer function corresponding to each characteristic is performed.
  • the monitor canceller 181 ′ outputs the difference signal that has been subjected to the filter processing to the subtraction unit 191 located at the subsequent stage.
  • the subsequent processing is the same as that of the signal processing device 12 according to the above-described embodiment (see FIGS. 9 and 10).
  • the signal processing device 13 according to the modified example performs processing related to generation of the difference signal in the HT filter 121 and the monitor canceller 181 of the signal processing device 12 illustrated in FIGS. It is possible to share the processing. Therefore, the signal processing device 13 according to the modified example can reduce resources for calculation related to the generation of the difference signal, and thus reduce the circuit scale, as compared with the signal processing device 12 according to the above-described embodiment. It becomes possible.
  • the signal processing device 13 according to the modification of the present embodiment has been described above with reference to FIG.
  • the signal processing device 12 subtracts the component corresponding to the difference signal in addition to the component of the acoustic input from the acoustic signal based on the sound collection result of the internal microphone 515.
  • the signal processing device 12 according to the present embodiment it is possible to exclude the component of the difference signal from the processing target for the occupancy canceller 161 to generate the noise reduction signal. That is, in the signal processing device 12 according to the present embodiment, it is possible to prevent a situation in which the component of the differential signal is suppressed by the noise reduction signal. Therefore, the signal processing device 12 according to the present embodiment has a more natural aspect (that is, an aspect in which the user U does not feel more uncomfortable) than the signal processing apparatus 11 according to the first embodiment described above. An effect can be realized.
  • the voice component of the user propagating to the ear canal UA is suppressed using the sound collection result of the acoustic propagating through the internal space by the internal microphone 515.
  • a noise reduction signal is generated. Due to such a configuration, as described above, the sound signal based on the sound collection result of the internal microphone 515 (that is, the sound that propagates through the internal space) includes the voice component (that is, the bone and meat of the head of the user U).
  • the voice component of the user U propagating to the external auditory canal UA via the.
  • an example of a signal processing apparatus that can use a voice component included in an acoustic signal based on a sound collection result by the internal microphone 515 as a voice input (for example, a transmission signal in a voice call).
  • a voice input for example, a transmission signal in a voice call.
  • FIG. 13 is a block diagram illustrating an example of a functional configuration of the signal processing device according to the present embodiment.
  • the signal processing device shown in FIG. 13 may be referred to as a “signal processing device 14a” in order to distinguish it from the signal processing devices according to the above-described embodiments.
  • the description of the DAC and the ADC is omitted for easier understanding of the description.
  • the signal processing device 14a according to the present embodiment includes a noise gate 411, an EQ 412, and a compressor 413, and thus the signal processing device 13 according to the second embodiment described above (FIG. 9). Different from reference). Therefore, in this description, the functional configuration of the signal processing device 14a according to the present embodiment will be described, particularly focusing on differences from the signal processing device 13 according to the second embodiment described above, and the other portions will be described. Detailed description is omitted.
  • the node indicated by the reference sign n11 is located at the subsequent stage of the subtracting unit 191 (that is, located between the subtracting unit 191 and the subtracting unit 171).
  • the acoustic signal passing through the node n11 is demultiplexed, and a part of the demultiplexed acoustic signal is input to the noise gate 411.
  • the noise gate 411 is a configuration for performing so-called noise gate processing on an input acoustic signal. Specifically, the noise gate 411 lowers the level of the output signal where the level of the input acoustic signal is equal to or lower than a certain level as noise gate processing (that is, closes the gate). The process of returning to the original level (that is, opening the gate) is performed. As is generally done, parameters such as the rate of attenuation of the output level in noise gate processing, the opening / closing envelope of the gate, and the frequency band to which the gate reacts are set to the speech sound (i.e., to the input acoustic signal). Appropriately set so as to improve the clarity of the included voice component.
  • the noise gate 411 outputs the acoustic signal subjected to the noise gate process to the EQ 412 located at the subsequent stage.
  • the EQ 412 is a configuration for performing an equalizing process on the acoustic signal output from the noise gate 411.
  • the low frequency component of the voice component included in the acoustic signal demultiplexed from the node n11 (that is, the acoustic signal based on the sound collection result of the internal microphone 515) is amplified and the acoustic signal (that is, , The sound based on the voice component) sounds muffled to the listener. Therefore, the EQ 412 is listened to by correcting the frequency characteristics of the sound signal so that sound based on the sound signal can be heard naturally by the listener (that is, a more natural frequency characteristic balance). Improve the clarity of sound.
  • EQ412 outputs the acoustic signal (namely, acoustic signal containing a voice component) to which the equalizing process was performed to the compressor 413 located in a back
  • the compressor 413 is configured to perform a process for adjusting the time amplitude as a so-called compressor process on the input acoustic signal.
  • the voice component included in the input acoustic signal propagates to the external auditory canal UA via the bone and meat of the user U's head, and vibrates the external auditory canal wall like a secondary speaker.
  • the vibration reaches the internal microphone 515 via the ear canal UA.
  • the propagation path until the voice component reaches the internal microphone 515 has a certain degree of non-linearity as compared with air propagation in the case of propagating in the external environment.
  • the difference in the magnitude of the utterance voice that changes depending on the volume of the voice at the time of occurrence is larger than when collecting sounds via normal air propagation, and if the listener keeps the collected sound as it is, It may be difficult to hear.
  • the compressor 413 adjusts the time axis amplitude of the acoustic signal (specifically, the acoustic signal output from the EQ 412) based on the sound collection result by the internal microphone 515 so that the difference in the size of the uttered speech is suppressed. .
  • the compressor 413 performs compressor processing on the input acoustic signal, and outputs the acoustic signal subjected to the compressor processing (that is, an acoustic signal including a voice component) as an audio signal. .
  • the configuration of the signal processing device 14a shown in FIG. 13 is merely an example, and if an acoustic signal including a voice component collected by the internal microphone 515 can be output as an audio signal, the configuration Is not particularly limited.
  • FIG. 14 is a block diagram showing another example of the functional configuration of the signal processing apparatus according to the present embodiment.
  • the signal processing device shown in FIG. 14 may be referred to as a “signal processing device 14b” when distinguished from the signal processing device described above with reference to FIG. Further, when the signal processing device shown in FIG. 14 is not distinguished from the signal processing device described above with reference to FIG.
  • the node indicated by the reference sign n12 is located at the subsequent stage of the subtraction unit 171 (that is, located between the subtraction unit 171 and the occlusion canceller 161). , The acoustic signal passing through the node n12 is demultiplexed, and a part of the demultiplexed acoustic signal is input to the noise gate 411.
  • the acoustic signal passing through the node n12 corresponds to an acoustic signal obtained by further subtracting the acoustic input component from the acoustic signal passing through the node n11. Therefore, in the signal processing device 14b shown in FIG. 14, other components other than the voice component are more suppressed in the acoustic signal based on the sound collection result of the internal microphone 515, compared to the signal processing device 14a shown in FIG. The acoustic signal thus made can be output as an audio signal.
  • the sound signal after the difference signal is subtracted by the subtracting unit 191 from the sound signal based on the sound collection result of the internal microphone 515 is used as a target. Output as a signal.
  • an acoustic signal in which a component corresponding to the environmental sound among components included in the acoustic signal based on the sound collection result of the internal microphone 515 is suppressed is output as an audio signal. That is, according to the signal processing device 14 according to the present embodiment, the S / N ratio is higher (that is, the noise level is higher) than when the user U's voice is collected using a microphone or the like in the external environment. (Low) voice input can be acquired.
  • FIG. 15 is an explanatory diagram for describing an application example of the signal processing device 14 according to the present embodiment. Specifically, FIG. 15 shows information processing that can execute various processes based on the instruction content indicated by the voice input by using the voice signal output from the signal processing device 14 as the voice input. 1 shows an example of a functional configuration of a system.
  • the information processing system shown in FIG. 15 includes a head-mounted acoustic device 51, a signal processing device 14, an analysis unit 61, a control unit 63, and a process execution unit 65.
  • the head-mounted acoustic device 51 and the signal processing device 14 are the same as the example shown in FIG. 13 or FIG.
  • the analysis unit 61 acquires a voice signal (that is, a voice output) output from the signal processing device 14 as a voice input, and a control unit that describes the contents indicated by the voice input (that is, the instruction contents from the user U), which will be described later. This is a configuration for performing various types of analysis on the voice input so that 63 can be recognized.
  • the analysis unit 61 includes a voice recognition unit 611 and a natural language processing unit 613.
  • the voice recognition unit 611 converts the voice input acquired from the signal processing device 14 into character information by analyzing it based on so-called voice recognition technology. Then, the speech recognition unit 611 outputs the result of the analysis based on the speech recognition technology, that is, the character information obtained by converting the speech input to the natural language processing unit 613.
  • the natural language processing unit 613 acquires character information obtained by converting the voice input from the voice recognition unit 611 as a result of the analysis based on the voice recognition technology for the voice input acquired from the signal processing device 14.
  • the natural language processing unit 613 performs analysis (for example, lexical analysis (morpheme analysis), syntax analysis, and semantic analysis) on the acquired character information based on so-called natural language processing technology.
  • the natural language processing unit 613 outputs information indicating the result of the natural language processing on the character information obtained by converting the speech input acquired from the signal processing device 14 to the control unit 63.
  • the control unit 63 acquires, from the analysis unit 61, information indicating an analysis result for the voice input acquired from the signal processing device 14 (that is, a result of natural language processing for character information obtained by converting the voice input). Based on the acquired analysis result, the control unit 63 recognizes the instruction content from the user U based on the voice input.
  • the control unit 63 specifies a target function (for example, an application) based on the recognized content from the user U, and instructs the process execution unit 65 to execute the specified function.
  • a target function for example, an application
  • the process execution unit 65 is configured to execute various functions.
  • the process execution unit 65 reads various data (for example, a library for executing an application or content data) for executing a target function based on an instruction from the control unit 63, and based on the read data, Perform the function.
  • data for example, a library for executing an application or content data
  • the storage destination is not particularly limited as long as the process execution unit 65 stores the data in a position where the process execution unit 65 can read the data.
  • the processing execution unit 65 may input acoustic information (for example, audio content reproduced based on the instruction) based on the execution result of the function instructed from the control unit 63 to the signal processing device 14.
  • acoustic information for example, audio content reproduced based on the instruction
  • the process execution unit 65 generates speech information indicating the content to be presented to the user U based on the execution result of the function instructed from the control unit 63 based on a so-called speech synthesis technique.
  • the generated voice information may be input to the signal processing device 14.
  • the user U can recognize various function execution results based on his / her instruction content as acoustic information (voice information) output via the head-mounted acoustic device 51.
  • the user U instructs the information processing system to execute various functions by voice while wearing the head-mounted acoustic device 51. It is possible to listen to the acoustic information based on the execution result of through the head-mounted acoustic device 51.
  • the user U can listen to the playback result of the audio content via the head-mounted acoustic device 51 by instructing playback of the desired audio content by voice. .
  • the user instructs the information processing system to read out desired text information (for example, distributed mail, news, information uploaded on the network, etc.)
  • desired text information for example, distributed mail, news, information uploaded on the network, etc.
  • the reading result of the character information can be heard via the head-mounted acoustic device 51.
  • the information processing system shown in FIG. 15 may be used for so-called voice calls.
  • the audio signal output from the signal processing device 14 may be used as a sum signal, and the received received signal may be input as an acoustic input to the signal processing device 14.
  • the configuration of the information processing system shown in FIG. 15 is merely an example, and the configuration of the information processing system described above is not necessarily limited to the configuration shown in FIG. 15 as long as the processing of each configuration of the information processing system can be realized.
  • at least a part of the analysis unit 61, the control unit 63, and the processing execution unit 65 may be provided in an external device (for example, a server) connected via a network.
  • FIG. 16 is a diagram illustrating an example of a hardware configuration of the signal processing device 10 according to each embodiment of the present disclosure.
  • the signal processing apparatus 10 includes a processor 901, a memory 903, a storage 905, an operation device 907, a notification device 909, an acoustic device 911, and a sound collection device 913. And bus 917. Further, the signal processing apparatus 10 may include a communication device 915.
  • the processor 901 may be, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on Chip), and executes various processes of the signal processing device 10.
  • the processor 901 can be configured by, for example, an electronic circuit for executing various arithmetic processes. Note that the components (particularly, the HT filter 121, the occlusion canceller 161, the monitor canceller 181 and the like) of the signal processing apparatuses 11 to 14 described above can be realized by the processor 901.
  • the memory 903 includes RAM (Random Access Memory) and ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 905 can include a storage medium such as a semiconductor memory or a hard disk.
  • the operation device 907 has a function of generating an input signal for a user to perform a desired operation.
  • the operation device 907 can be configured as a touch panel, for example.
  • the operation device 907 generates an input signal based on an input by the user, such as buttons, switches, and a keyboard, and an input for the user to input information, and supplies the input signal to the processor 901. It may be composed of a control circuit or the like.
  • the notification device 909 is an example of an output device, and may be a device such as a liquid crystal display (LCD) device or an organic EL (OLED: Organic Light Emitting Diode) display, for example. In this case, the notification device 909 can notify the user of predetermined information by displaying the screen.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the notification device 909 described above is merely an example, and the aspect of the notification device 909 is not particularly limited as long as predetermined information can be notified to the user.
  • the notification device 909 may be a device that notifies the user of predetermined information using a lighting or blinking pattern, such as an LED (Light Emitting Diode).
  • the notification device 909 may be a device that notifies a user of predetermined information by vibrating like a so-called vibrator.
  • the acoustic device 911 is a device that notifies a user of predetermined information by outputting a predetermined acoustic signal, such as a speaker. Note that, among the head-mounted acoustic devices 51 described above, in particular, a speaker driven by the driver 511 can be configured by the acoustic device 911.
  • the sound collection device 913 is a device such as a microphone that collects sound emitted from the user and the sound of the surrounding environment and acquires it as acoustic information (acoustic signal).
  • the sound collection device 913 may acquire data indicating an analog sound signal indicating collected sound or sound as sound information, or convert the analog sound signal into a digital sound signal, Data indicating a later digital acoustic signal may be acquired as acoustic information.
  • the external microphone 513 and the internal microphone 515 in the head-mounted acoustic device 51 described above can be realized by the sound collection device 913.
  • the communication device 915 is a communication unit included in the signal processing apparatus 10 and communicates with an external device via a network.
  • the communication device 915 is a wired or wireless communication interface.
  • the communication device 915 may include a communication antenna, an RF (Radio Frequency) circuit, a baseband processor, and the like.
  • the communication device 915 has a function of performing various kinds of signal processing on a signal received from an external device, and can supply a digital signal generated from the received analog signal to the processor 901.
  • the bus 917 connects the processor 901, the memory 903, the storage 905, the operation device 907, the notification device 909, the acoustic device 911, the sound collection device 913, and the communication device 915 to each other.
  • the bus 917 may include a plurality of types of buses.
  • the signal processing device 10 (that is, the signal processing devices 11 to 14 described above) according to each embodiment of the present disclosure has an external space outside the mounting portion 510 of the head-mounted acoustic device 51.
  • a difference signal is generated based on the sound collection result of the environmental sound that propagates.
  • the signal processing device 10 generates a noise reduction signal for suppressing a voice component propagating to the internal space based on a sound collection result of the acoustic propagating to the internal space inside the wearing unit 510.
  • the signal processing device 10 adds the generated difference signal and the noise reduction signal to the input acoustic input, and the acoustic signal generated based on the addition result is the driver of the head-mounted acoustic device 51. Output to 511. Accordingly, the driver 511 is driven by the acoustic signal, and sound based on the acoustic signal is radiated to the internal space.
  • the differential signal component included in the sound radiated into the internal space and the environmental sound that propagates to the internal space via the mounting portion 510 (that is, the propagation environment F in FIGS. 2 and 3) Sound propagated through) is added in the internal space, and the result of the addition is heard by the user U, so that a hear-through effect can be realized.
  • the noise reduction signal included in the sound radiated in the internal space and the voice component propagating to the ear canal UA via the meat and bones of the user U's head are added, and the addition result is given to the user U. Since the user U is listened to, the user U can listen to his / her voice in a more natural (that is, uncomfortable) manner.
  • a first acquisition unit that acquires a sound collection result of a first sound that propagates in an external space outside the mounting unit that is mounted on the ear of the listener;
  • a second acquisition unit for acquiring a sound collection result of a second sound propagating in an internal space connected to the ear canal inside the mounting unit; Based on the sound collection result of the first sound, the first sound that propagates directly from the external space into the external auditory canal and the first sound that propagates from the external space to the internal space via the mounting portion.
  • a first filter processing unit that generates a difference signal substantially equal to the difference from the sound of 1; From the sound collection result of the second sound, a first signal component based on the sound collection result of the first sound and an input sound signal output from the sound device from the inside of the mounting portion toward the internal space.
  • a second filter processing unit that generates a noise reduction signal for reducing the subtraction signal based on the subtraction signal;
  • An addition unit that generates a drive signal for driving the acoustic device by adding the difference signal and the noise reduction signal to the input acoustic signal;
  • a signal processing apparatus comprising: (2) A system in which at least an acoustic signal output from the acoustic device is collected as the second sound via the internal space with respect to the acoustic signal based on the sound collection result of the first sound.
  • the signal processing device according to (1), further including a third filter processing unit that gives a characteristic according to a transfer function and outputs the first signal component.
  • the signal processing apparatus wherein the third filter processing unit generates the first signal component using the sound collection result of the first sound as an input signal.
  • the third filter processing unit generates the first signal component by using the difference signal output from the first filter processing unit as an input signal.
  • the third filter processing unit is configured to process a frequency component and a fourth filter processing unit for processing a delay component in the acoustic signal based on the input sound collection result of the first sound.
  • the signal processing apparatus according to (5), wherein the fourth filter processing unit includes an infinite impulse response filter.
  • the signal processing apparatus includes a finite impulse response filter.
  • a first equalization processing unit that equalizes the input acoustic signal to a first target characteristic and outputs the first target characteristic to the addition unit;
  • a second equalization processing unit that equalizes the input acoustic signal to a second target characteristic and outputs the second acoustic signal to the subtraction unit as the second signal component;
  • the signal processing apparatus according to any one of (1) to (7), comprising: (9) Any one of (1) to (8), further including an audio signal output unit that outputs a signal component based on a subtraction result of the first signal component from the sound collection result of the second sound as an audio signal.
  • the audio signal output unit according to (9), wherein the audio signal output unit outputs the subtraction signal as the audio signal.
  • the signal processing device according to any one of the above.
  • (12) The signal processing apparatus according to any one of (1) to (11), including the acoustic device.
  • An acquisition unit that acquires a sound collection result of an acoustic wave propagating in an external space outside the mounting unit that is mounted on the ear of the listener; A difference that is substantially equal to the difference between the sound that propagates directly from the external space into the external auditory canal and the sound that propagates from the external space to the external auditory canal via the mounting portion based on the sound collection result of the sound.
  • a filter processing unit for generating a signal An addition unit that generates a drive signal for driving the acoustic device by adding the difference signal to an input acoustic signal that is output from the acoustic device toward the inside of the ear canal from the inside of the wearing unit; With The delay amount from when the sound propagating in the external space is collected to when the sound based on the drive signal added with the difference signal based on the sound is output from the acoustic device is 100 ⁇ sec or less. , Signal processing device.
  • An AD conversion unit that AD-converts a sound collection result of the acoustic wave propagating in the external space into a first digital signal at a first sampling rate;
  • the second digital signal is downsampled to a third sampling rate that is lower than the first sampling rate and higher than a second sampling rate for sampling the input acoustic signal.
  • a decimation filter that generates a digital signal of An interpolation filter for up-sampling the digital signal sampled at the third sampling rate to the first sampling rate;
  • a DA converter that DA converts the output result of the interpolation filter into an analog acoustic signal; With The filter processing unit generates the differential signal using the second digital signal as an input signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Headphones And Earphones (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】頭部装着型音響デバイスの装着時においても、外部環境の環境音を、聴取者により好適な態様で聴取させる。 【解決手段】外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、第１の音響の集音結果に基づき、外部空間から外耳道内に向けて直接伝搬する第１の音響と、外部空間から装着部を介して内部空間に伝搬する第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、第２の音響の集音結果から、第１の音響の集音結果に基づく第１の信号成分と、入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、減算信号に基づきノイズ低減信号を生成する第２のフィルタ処理部と、入力音響信号に対して、差分信号と、ノイズ低減信号とを加算することで駆動信号を生成する加算部と、を備える、信号処理装置。

Description

信号処理装置、信号処理方法、及びプログラム
　本開示は、信号処理装置、信号処理方法、及びプログラムに関する。
　近年では、イヤフォンやヘッドフォンのようにユーザが頭部に装着して使用する音響デバイス（以降では、「頭部装着型音響デバイス」と称する場合がある）として、単に音響情報を出力するのみのものに限らず、利用シーンを想定した機能が付加されたものも普及してきている。具体的な一例として、所謂ノイズキャンセリング技術を利用することで、外部環境からの環境音（所謂、ノイズ）を抑制し遮音効果を高めることが可能な頭部装着型音響デバイスが挙げられる。特許文献１には、このようなノイズキャンセリング技術を利用した音響デバイスの一例が開示されている。
特許第４８８２７７３号
　一方で、所謂スマートフォン、タブレット端末、及びウェアラブル端末のように、ユーザが携行可能に構成された情報処理装置の普及に伴い、頭部装着型音響デバイスの利用シーンも、所謂オーディオコンテンツの聴取に限らず、さらに多様化してきている。
　このような利用シーンの多様化に伴い、頭部装着型音響デバイスを装着しているような状況下においても、外部環境からの環境音を、聴取者（ユーザ）が聴取できることが望ましい利用シーンも想定され得る。
　そこで、本開示では、頭部装着型音響デバイスの装着時においても、外部環境の環境音を、聴取者により好適な態様で聴取させることが可能な、信号処理装置、信号処理方法、及びプログラムを提案する。
　本開示によれば、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、を備える、信号処理装置が提供される。
　また、本開示によれば、プロセッサが、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、を含む、信号処理方法が提供される。
　また、本開示によれば、コンピュータに、聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、を実行させる、プログラムが提供される。
　以上説明したように本開示によれば、頭部装着型音響デバイスの装着時においても、外部環境の環境音を、聴取者により好適な態様で聴取させることが可能な、信号処理装置、信号処理方法、及びプログラムが提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る信号処理装置を適用した頭部装着型音響デバイスの適用例について説明するための説明図である。 ヒアスルー効果を実現するための原理の一例について説明するための説明図である。 ユーザが、カナル型のイヤフォンを装着した場合に、環境音が当該ユーザに聴取されるまでの伝搬環境の一例を模式的に示した図である。 ユーザが、頭部装着型音響デバイスを装着していない場合に、環境音が当該ユーザに聴取されるまでの伝搬環境の一例を模式的に示した図である。 本開示の一実施形態に係る信号処理装置の基本的な機能構成の一例を示したブロック図である。 ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明するための説明図である。 本開示の第１の実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。 同実施形態に係る信号処理装置の構成の一例について説明するための説明図である。 本開示の第２の実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。 同実施形態に係る信号処理装置において、遅延量をより低減するための構成の一例について説明するための説明図である。 モニターキャンセラの機能構成の一例を示した図である。 同実施形態の変形例に係る信号処理装置の機能構成の一例について示したブロック図である。 本開示の第３の実施形態に係る信号処理装置の機能構成の一例を示した図である。 同実施形態に係る信号処理装置の機能構成の他の一例について示したブロック図である。 同実施形態に係る信号処理装置の適用例について説明するための説明図である。 本開示の各実施形態に係る信号処理装置のハードウェア構成の一例を示した図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．ヒアスルー効果を実現するための原理
　　２．１．概要
　　２．２．基本的な機能構成
　３．第１の実施形態
　４．第２の実施形態
　　４．１．概略的な機能構成
　　４．２．遅延量を低減するための構成例
　　４．３．変形例
　　４．４．まとめ
　５．第３の実施形態
　６．ハードウェア構成
　７．まとめ
　＜１．概要＞
　まず、本開示に係る信号処理装置の特徴をよりわかりやすくするために、当該信号処理装置を適用し得る、イヤフォンやヘッドフォンのような頭部装着型音響デバイスの適用例について説明したうえで、本開示に係る信号処理装置の課題について整理する。
　イヤフォンやヘッドフォンのようにユーザが頭部に装着して使用する頭部装着型音響デバイスの中には、単に音響情報を出力するのみのものに限らず、利用シーンを想定した機能が付加されたものも普及してきている。具体的な一例として、所謂ノイズキャンセリング技術を利用することで、外部環境からの環境音（所謂、ノイズ）を抑制し遮音効果を高めることが可能な頭部装着型音響デバイスが挙げられる。
　一方で、所謂スマートフォン、タブレット端末、及びウェアラブル端末のように、ユーザが携行可能に構成された情報処理装置の普及に伴い、頭部装着型音響デバイスの利用シーンも、所謂オーディオコンテンツの聴取に限らず、さらに多様化してきている。
　例えば、近年では、情報処理装置が、音声合成技術により通知対象となる情報を音声により読み上げることで、ユーザが、画面等を確認することなく、当該情報を認識可能としたユーザインタフェース（ＵＩ：User　Interface）が普及してきている。また、他の一例として、音声認識技術を応用することで、ユーザが、情報処理装置と音声により対話を行うことで、当該機器を操作可能とした、音声入力に基づく対話型のＵＩも普及してきている。
　このようなＵＩを所謂公共の場でも使用可能とするために、頭部装着型音響デバイスを、ユーザが常時装着している状況下も想定されるようになってきている。例えば、図１は、本開示の一実施形態に係る信号処理装置を適用した頭部装着型音響デバイスの適用例について説明するための説明図である。即ち、図１に示す例では、ユーザは、外出時等のように所謂公共の場において、頭部装着型音響デバイス５１を装着しながら、スマートフォン等のような携行可能な情報処理装置を利用しているシーンの一例を示している。
　このように、ユーザが頭部装着型音響デバイス５１を常時装着している状況下においては、情報処理装置から出力される音響情報（例えば、オーディオコンテンツ）を聴取可能であり、かつ、外部環境からの所謂環境音についても聴取可能な状態であることが望ましい場合がある。また、この場合には、ユーザが、外部環境からの環境音を、頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能であることがより望ましい。
　なお、以降の説明では、ユーザが、頭部装着型音響デバイス５１を装着している場合においても、外部環境からの所謂環境音を、当該頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能な状態を、「ヒアスルー状態」と称する場合がある。同様に、ユーザが、頭部装着型音響デバイスを装着している場合においても、外部環境からの所謂環境音を、当該頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取可能とする効果を、「ヒアスルー効果」と称する場合がある。
　上記に説明したようなヒアスルー状態が実現されると、例えば、ユーザは、公共の場においても、頭部装着型音響デバイスを装着した状態で周囲の状況を確認しながら、メールやニュースの通知の内容を示す音声出力を確認することが可能となる。また、他の一例として、ユーザは、移動中に周囲の状況を確認しながら、所謂通話機能により、他のユーザとの通話を行うことも可能となる。
　一方で、より自然なヒアスルー効果をユーザに体験させるためには、所謂カナル型のイヤフォンのように密閉性が高い（換言すると、外部環境との間の遮蔽性が高い）頭部装着型音響デバイスの使用を前提とした技術が重要となる。これは、所謂オープンエアヘッドフォンのような密閉性が比較的低い頭部装着型音響デバイスが使用される状況下では、所謂音漏れの影響が大きく、公共の場での使用が必ずしも好適ではない場合があることに起因する。
　他方で、カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイスが使用される状況下では、頭部装着型音響デバイスを介してユーザの耳の中（所謂外耳道）に漏れ込む外部環境からの環境音についても、少なくとも一部が遮蔽されることとなる。そのため、ユーザは、外部環境からの環境音を、頭部装着型音響デバイスを装着していない状態とは異なる態様で聴取するか、もしくは、当該環境音を聴取留守ことが困難となる可能性がある。
　そこで、本開示では、所謂カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイスが使用される状況下において、上記に説明したようなヒアスルー状態を実現するための技術の一例について説明する。
　＜２．ヒアスルー効果を実現するための原理＞
　［２．１．概要］
　まず、ヒアスルー効果を実現するための原理の一例について、所謂、ＦＦ（Feed-Forward）型のＮＣ（Noise　Canceling）イヤフォン（もしくは、ヘッドフォン）の例と比較して説明する。例えば、図２は、ヒアスルー効果を実現するための原理の一例について説明するための説明図であり、頭部装着型音響デバイス５１を、所謂ＦＦ型のＮＣイヤフォンとして構成する場合における、当該頭部装着型音響デバイス５１の概略的な機能構成の一例を示している。
　図２に示すように、頭部装着型音響デバイス５１は、例えば、マイクロフォン７１と、フィルタ回路７２と、パワーアンプ７３と、スピーカ７４とを含む。なお、図２において、参照符号Ｆは、音源Ｓからの音響Ｎが、頭部装着型音響デバイス５１の筐体を介して、ユーザの耳の中（即ち、外耳道内）に到達する（即ち、漏れ込む）までの伝搬環境の伝達関数を模式的に示している。また、参照符号Ｆ’は、音源Ｓからの音響Ｎが、マイクロフォン７１に到達するまでの伝搬環境の伝達関数を模式的に示している。
　ここで、図３を参照する。図３は、ユーザＵが、頭部装着型音響デバイス５１として、所謂カナル型のイヤフォンを装着した場合に、音源Ｓからの音響Ｎが当該ユーザＵに聴取されるまでの伝搬環境の一例を模式的に示した図である。図３において、参照符号ＵＡは、ユーザＵの外耳道内の空間（以降では、単に「外耳道」と称する場合がある）を模式的に示している。また、図３における参照符号Ｆ及びＦ’は、図２に示す伝搬環境Ｆ及びＦ’に対応している。なお、以降の説明では、図３に示すように、ユーザＵの耳部に対して頭部装着型音響デバイス５１が装着された場合における、当該頭部装着型音響デバイス５１の内側において外耳道ＵＡと連接する空間を「内部空間」と称する場合がある。また、ユーザＵの耳部に対して頭部装着型音響デバイス５１が装着された場合における、当該頭部装着型音響デバイス５１の外側の空間を「外部空間」と称する場合がある。
　図２及び図３に示すように、ユーザの耳部Ｕ’（具体的には、外耳道ＵＡに連接する内部空間）には、伝搬環境Ｆを介して伝搬した音源Ｓからの音響Ｎが漏れ込む場合がある。そのため、ＮＣイヤフォンでは、伝搬環境Ｆを介して伝搬した音響Ｎに対して、逆相の信号（ノイズ低減信号）を加算することで、当該音響Ｎの影響を緩和している。
　具体的には、外部環境の音源Ｓからの音響Ｎは、例えば、伝搬環境Ｆ’を介してマイクロフォン７１に到達し、当該マイクロフォン７１に集音される。フィルタ回路７２は、マイクロフォン７１に集音された音響Ｎに基づき、伝搬環境Ｆを介して伝搬する当該音響Ｎの逆相の信号（ノイズ低減信号）を生成する。フィルタ回路７２により生成されたノイズ低減信号は、パワーアンプ７３によりゲインが調整され、スピーカ７４を介して、ユーザの耳部Ｕ’に向けて出力される。これにより、伝搬環境Ｆを介して伝搬してユーザの耳部Ｕ’に伝搬する音響Ｎの成分が、スピーカ７４から出力されるノイズ低減信号の成分により打ち消され、当該音響Ｎが抑制されることとなる。
　ここで、マイクロフォン７１、パワーアンプ７３、及びスピーカ７４それぞれのデバイス特性に基づく伝達関数を、Ｍ、Ａ、及びＨとする。また、フィルタ回路７２が、マイクロフォン７１により集音された音響信号に基づきノイズ低減信号を生成する際のフィルタ係数をαとする。このとき、ＮＣイヤフォンでは、以下に（式１）で示す関係式を満たすように、フィルタ回路７２のフィルタ係数αを設計することで、所謂ノイズキャンセリングを実現している。
Figure JPOXMLDOC01-appb-M000001
　これに対して、ヒアスルー状態では、図３に示すように、頭部装着型音響デバイス５１が装着されている状態で、ユーザＵが、外部環境の音源Ｓからの音響Ｎを、頭部装着型音響デバイス５１を装着していない場合と略等しい態様で聴取することとなる。
　例えば、図４は、ユーザＵが、頭部装着型音響デバイス５１を装着していない場合に、音源Ｓからの音響Ｎが当該ユーザＵに聴取されるまでの伝搬環境の一例を模式的に示した図である。図４において、参照符号Ｇは、音源Ｓからの音響Ｎが、ユーザＵの外耳道ＵＡ内に直接到達するまでの伝搬環境の伝達関数を模式的に示している。
　即ち、図２に示した頭部装着型音響デバイス５１に基づき、ヒアスルー効果を実現する場合には、図３に示した状況（頭部装着型音響デバイス５１が装着された状況）と、図４に示した状況（頭部装着型音響デバイス５１が装着されていない状況）とが等化となるように、スピーカ７４から出力される音響を生成できればよいこととなる。
　具体的には、ヒアスルー効果を実現する場合におけるフィルタ回路７２のフィルタ係数をγとすると、以下に（式２）及び（式３）で示す関係式を満たすように、当該フィルタ係数γを設計することで、理想的には、ヒアスルー効果を実現することが可能となる。
Figure JPOXMLDOC01-appb-M000002
　なお、ノイズキャンセリングとヒアスルー効果とのそれぞれは、双方ともに、図２に示すように、頭部装着型音響デバイス５１を介して外耳道ＵＡ内に伝搬する音響Ｎと、スピーカ７４から出力される音響との、空中での音波加算により各効果が実現される。そのため、音源Ｓからの音響Ｎが、マイクロフォン７１により集音され、フィルタ回路７２及びパワーアンプ７３を介してスピーカ７４から出力されるまでの遅延量が、ＡＤＣ（ＡＤコンバータ）やＤＡＣ（ＤＡコンバータ）による変換処理も含めて、約１００μｓ以下に抑えられることが望ましいことがわかっている。
　ここで、上記に説明した、遅延量を１００μｓ以下とする理由についてさらに詳しく説明する。密閉性の高い頭部装着型音響デバイス５１（例えば、カナル型のイヤフォンやオーバーヘッド型のヘッドフォン）において、筐体に設置されたマイクロフォン７１の集音結果に基づきヒアスルー効果を実現する場合には、ＡＤＣ及びＤＡＣを設けることで、フィルタ係数γのフィルタ回路７２をデジタルフィルタとして構築することが望ましい。これは、フィルタ回路７２をデジタルフィルタとして構築することで、アナログフィルタに比べてばらつきが少なく、かつ、アナログフィルタでは実現が困難なフィルタ処理を容易に実現することが可能であることに起因する
　一方で、ＡＤＣ及びＤＡＣを設ける場合には、デシメーション及びインターポレーション等のフィルタリング処理により処理負荷が増大し、その分だけ遅延が生じることとなる。
　前述したように、図２において、スピーカ７４から出力される音響と、伝搬環境Ｆを介して伝搬する音源Ｓからの音響Ｎとは、外耳道ＵＡ内の空間（換言すると、鼓膜付近の空間）で加算され、加算後の音が１つの音としてユーザに認識されることとなる。そのため、一般的には、遅延量が１０ｍｓを超えるとエコーが発生しているように認識されたり、音が二重に聞こえるように認識されるといった現象が生じることが知られている。また、遅延量が１０ｍｓに満たない場合においても、音の相互干渉により周波数特性に影響を与える場合があり、ヒアスルー効果やノイズキャンセリングを実現することが困難となる場合がある。
　具体的な一例として、図２において、スピーカ７４から出力される音響と、伝搬環境Ｆを介して伝搬する音源Ｓからの音響Ｎとの間に、１ｍｓの遅延が生じたものとする。この場合には、１ｋＨｚ近傍の帯域の音響信号については、位相が１周期分（即ち、３６０ｄｅｇ）ずれて加算される。これに対して、５００Ｈｚ近傍の帯域の音響信号については、位相が逆相となり、打ち消しあうこととなる。即ち、１ｍｓの遅延が生じた信号どうしが単純加算された場合には、所謂ディップが生じることとなる。一方で、遅延量を１００μｓに抑えた場合には、逆相の関係によりディップが生じる周波数帯を、５ｋＨｚまで上げることが可能となる。
　一般的には、人間の外耳道は、個人差はあるものの、概ね３ｋＨｚ～４ｋＨｚ近傍に共振点があることが知られている。そのため、４ｋＨｚを超える周波数帯においては、所謂個人差の部分に相当するため、遅延量を１００μｓ以下に抑えることで、ディップが生じる周波数帯が５ｋＨｚ近傍となるように調整することで、好適なヒアスルー効果を得られるものと考えられる。
　［２．２．基本的な機能構成］
　次に、図５を参照して、ヒアスルー効果を実現するための信号処理装置の基本的な機能構成の一例について説明する。図５は、本開示の一実施形態に係る信号処理装置８０の基本的な機能構成の一例を示したブロック図である。なお、前述の通り、信号処理装置８０は、各音響信号をデジタル信号に変換して各種フィルタ処理を施すため、実際にはＤＡＣ及びＡＤＣを含むが、図５に示す例では、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。
　図５において、参照符号５１ａ及び５１ｂは、前述した頭部装着型音響デバイス５１を示している。即ち、参照符号５１ａは、右耳に装着された頭部装着型音響デバイス５１を示しており、参照符号５１ｂは、左耳に装着された頭部装着型音響デバイス５１を示している。なお、頭部装着型音響デバイス５１ａ及び５１ｂを特に区別しない場合には、前述の通り、「頭部装着型音響デバイス５１」と称する場合がある。また、図５に示す例では、頭部装着型音響デバイス５１ａ及び５１ｂは、同様の構成を有するため、頭部装着型音響デバイス５１ａ側にのみ着目して示し、頭部装着型音響デバイス５１ｂについては図示を省略している。
　図５に示すように、頭部装着型音響デバイス５１は、装着部５１０と、ドライバ５１１と、外部マイクロフォン５１３とを含む。
　装着部５１０は、頭部装着型音響デバイス５１の筐体のうち、ユーザＵに対して装着される部分を示している。
　例えば、頭部装着型音響デバイス５１が、所謂カナル型のイヤフォンとして構成されている場合には、装着部５１０は、その外形として、装着者であるユーザＵの耳孔部に対して少なくともその一部が挿入可能に構成され、それにより該ユーザＵの耳部に対して装着できるようにされている。具体的には、この場合の装着部５１０にはユーザＵの耳孔部に対して挿入可能な形状とされた耳孔挿入部が形成され、該耳孔挿入部が耳孔部に対して挿入されることで、装着部５１０がユーザＵの耳部に対して装着状態となる。例えば、図３に示す例は、頭部装着型音響デバイス５１の装着部５１０がユーザＵの耳部に対して装着されている状態を示していることとなる。
　なお、装着部５１０がユーザＵに対して装着された場合に、当該装着部５１０の内側の空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）が、前述した内部空間に相当する。
　ドライバ５１１は、スピーカ等の音響デバイスを駆動することで、当該音響デバイスに当該音響信号に基づく音響を出力させるための構成である。具体的な一例として、ドライバ５１１は、入力されたアナログの音響信号（換言すると、駆動信号）に基づき、スピーカの振動板を振動させることで、当該スピーカに当該音響信号に基づく音響を出力させる。
　外部マイクロフォン５１３は、頭部装着型音響デバイス５１をユーザＵに装着するための装着部５１０の外側の外部空間を伝搬する音響（所謂、環境音）を、直接的に集音するための集音デバイスである。外部マイクロフォン５１３は、例えば、ＭＥＭＳ（Micro　Electro　Mechanical　Systems）技術に基づき形成された、所謂ＭＥＭＳマイクロフォンとして構成され得る。なお、外部マイクロフォン５１３は、当該外部空間を伝搬する音響を集音可能であれば、その設置場所は特に限定されない。具体的な一例として、外部マイクロフォン５１３は、頭部装着型音響デバイス５１の装着部に設けられていてもよいし、当該装着部とは異なる位置に設けられていてもよい。なお、外部マイクロフォン５１３により集音される音響（即ち、環境音）が、「第１の音響」の一例に相当する。
　図５に示す信号処理装置８０は、ヒアスルー効果を実現するために、各種信号処理（例えば、図２～図４を参照して説明したフィルタ処理）を実行するための構成である。図５に示すように、信号処理装置８０は、マイクアンプ１１１と、ＨＴフィルタ１２１と、加算部１２３と、パワーアンプ１４１と、ＥＱ（イコライザ）１３１とを含む。
　マイクアンプ１１１は、音響信号のゲインを調整するための所謂増幅器である。外部マイクロフォン５１３により集音された環境音は、マイクアンプ１１１によりゲインが調整され（例えば、増幅され）、ＨＴフィルタ１２１に入力される。
　ＨＴフィルタ１２１は、図２～図４を参照して説明した、ヒアスルー効果を実現する場合におけるフィルタ回路７２（図２参照）に相当する。即ち、ＨＴフィルタ１２１は、マイクアンプ１１１から出力される音響信号（即ち、外部マイクロフォン５１３に集音され、マイクアンプ１１１によりゲインが調整された音響信号）に対して、前述した（式２）及び（式３）に基づき説明したフィルタ係数γに基づく信号処理を施す。なお、このときＨＴフィルタ１２１より信号処理の結果として出力される音響信号を、以降では「差分信号」と称する場合がある。即ち、差分信号と、頭部装着型音響デバイス５１の装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）とが加算されることで、ユーザが直接聴取した場合の環境音が模擬されることとなる（即ち、ヒアスルー効果が実現されることとなる）。なお、ＨＴフィルタ１２１が、「第１のフィルタ処理部」の一例に相当する。
　ＨＴフィルタ１２１は、マイクアンプ１１１から出力される音響信号に対する信号処理の結果として生成した差分信号を、加算部１２３に出力する。
　ＥＱ１３１は、オーディオコンテンツや音声電話における受話信号のように、信号処理装置８０に入力される音響信号（以降では、「音響入力」と称する場合がある）に対して、所謂イコライジング処理を施す。具体的な一例として、ノイズキャンセリングやヒアスルー効果を実現する場合のように、環境音の集音結果をフィードバックする場合には、当該環境音の音響特性により低域側の成分のゲインが増大する傾向にある。そのため、ＥＱ１３１は、音響入力から、当該フィードバックに基づき重畳される低域側の音響成分を事前に抑制するように、当該音響入力の音響特性（例えば、周波数特性）を補正する。なお、当該音響入力が、「入力音響信号」の一例に相当する。
　そして、ＥＱ１３１は、イコライジング処理を施した音響入力を加算部１２３に出力する。
　加算部１２３は、ＥＱ１３１から出力される音響入力（即ち、イコライジング処理後の音響入力）に対して、ＨＴフィルタ１２１から出力される差分信号を加算し、加算結果として生成された音響信号をパワーアンプ１４１に出力する。
　パワーアンプ１４１は、音響信号のゲインを調整するための所謂増幅器である。加算部１２３から出力された音響信号（即ち、音響入力と差分信号との加算結果）は、パワーアンプ１４１によりゲインが調整され（例えば、増幅され）、ドライバ５１１に出力される。そして、パワーアンプ１４１から出力される音響信号に基づき、ドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が、装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に放射される。
　なお、ドライバ５１１がスピーカを駆動することで内部空間に放射された音響は、前述したように、頭部装着型音響デバイス５１の装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）と加算されて、ユーザＵに聴取される。このとき、ドライバ５１１から内部空間に放射された音響に含まれる差分信号の成分が、装着部５１０を介して内部空間に伝搬する環境音と加算されて、ユーザＵに聴取されることとなる。即ち、ユーザＵは、オーディオコンテンツ等の音響入力に加えて、環境音を、図４に示すように、頭部装着型音響デバイス５１を装着していない場合と同様の態様で聴取することが可能となる。
　なお、上記に説明した信号処理装置８０の動作はあくまで一例であり、ユーザＵが、頭部装着型音響デバイス５１を装着している状態で、環境音を聴取可能であれば、信号処理装置８０は、必ずしもヒアスルー効果を忠実に再現しなくてもよい。具体的な一例として、ＨＴフィルタ１２１は、ユーザＵが、頭部装着型音響デバイス５１を装着していない状態よりも、環境音の音量がより高く感じるように、差分信号の特性やゲインを制御してもよい。同様に、ＨＴフィルタ１２１は、ユーザＵが、頭部装着型音響デバイス５１を装着していない状態よりも、環境音の音量がより低く感じるように、差分信号の特性やゲインを制御してもよい。このような構成に基づき、信号処理装置８０は、例えば、音響入力の入力状況や、当該音響入力の種別（例えば、オーディオコンテンツや音声通話の受話信号等）に応じて、ユーザＵに聴取される環境音の音量を制御してもよい。
　以上、図５を参照して、ヒアスルー効果を実現するための信号処理装置の基本的な機能構成の一例について説明した。
　一方で、所謂カナル型のイヤフォン等のように密閉性の高い頭部装着型音響デバイス５１を装着している場合には、ユーザＵは、自身が発声する声の聞こえ方に違和感を覚える場合があり、この点については、図５に示す例についても同様である。これは、ユーザ自身が発声した声の振動が、内部空間内に伝搬することに起因する。そこで、図６を参照して、ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明する。図６は、ユーザ自身が発声した声の振動が内部空間内に伝搬する現象が発生する仕組みについて説明するための説明図である。
　図６に示すように、ユーザＵが発声した声の振動は、当該ユーザＵの頭部内で骨や肉を介して外耳道ＵＡに伝搬し、外耳道壁を２次スピーカのように振動させる。ここで、カナル型のイヤフォンのように密閉性の高い頭部装着型音響デバイス５１が装着されている場合には、当該頭部装着型音響デバイス５１により外耳道ＵＡ内の空間の密閉度が高くなっており、空気の逃げ道が限られているため、当該空間内での振動が直接鼓膜に伝わることとなる。なお、このとき、内部空間内に伝搬したユーザＵが発声した声の振動は、低域が増幅されたかのように鼓膜に伝わるため、ユーザＵには、自身の声がくぐもったように聞こえることとなり、当該ユーザＵは、違和感を覚えることとなる。
　本開示の各実施形態に係る信号処理装置は、上記に説明したような課題を鑑みてなされたものであり、より好適な態様で（即ち、ユーザがより違和感を覚えない態様で）ヒアスルー効果を実現することを目的としている。
　＜３．第１の実施形態＞
　まず、図７を参照して、本開示の第１の実施形態に係る信号処理装置の機能構成の一例について説明する。図７は、本実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。なお、以降の説明では、本実施形態に係る信号処理装置を、前述した信号処理装置８０（図５参照）と区別するために、「信号処理装置１１」と称する場合がある。また、図７に示す機能構成は、図５に示した例と同様に、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。
　図７に示すように、本実施形態に係る信号処理装置１１は、マイクアンプ１５１と、減算部１７１と、オキュリュージョンキャンセラ１６１と、ＥＱ１３２とを含む点で、前述した信号処理装置８０（図５参照）と異なる。また、図７に示すように、本実施形態に係る信号処理装置１１を適用可能な頭部装着型音響デバイス５１は、内部マイクロフォン５１５を含む点で、前述した信号処理装置８０を適用可能な頭部装着型音響デバイス５１（図５参照）と異なる。そこで、以降の説明では、本実施形態に係る信号処理装置１１と、当該信号処理装置１１を適用可能な頭部装着型音響デバイス５１との機能構成について、特に、図５に示す例と異なる部分に着目して説明する。
　内部マイクロフォン５１５は、頭部装着型音響デバイス５１をユーザＵに装着するための装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に伝搬する音響を集音するための集音デバイスである。内部マイクロフォン５１５は、外部マイクロフォン５１３と同様に、例えば、ＭＥＭＳ技術に基づき形成された、所謂ＭＥＭＳマイクロフォンとして構成され得る。
　内部マイクロフォン５１５は、例えば、装着部５１０の内側に、外耳道ＵＡの方向を向くように設置される。もちろん、内部マイクロフォン５１５は、当該内部空間に伝搬する音響を集音可能であれば、その設置場所は特に限定されないことは言うまでもない。
　なお、内部マイクロフォン５１５により集音される音響信号には、ドライバ５１１による制御に基づきスピーカから出力された音響の成分と、装着部５１０を介して内部空間に伝搬する環境音の成分（図２及び図３において、伝搬環境Ｆを介して伝搬する音響）と、外耳道ＵＡに伝搬するユーザの声の成分（図６に示す、声の成分）とが含まれる。また、内部マイクロフォン５１５により集音される音響（即ち、内部空間に伝搬する音響）が、「第２の音響」の一例に相当する。
　マイクアンプ１５１は、音響信号のゲインを調整するための所謂増幅器である。内部マイクロフォン５１５による集音結果（即ち、内部空間に伝搬する音響の集音結果）に基づく音響信号は、マイクアンプ１５１によりゲインが調整され（例えば、増幅され）、減算部１７１に入力される。
　ＥＱ１３２は、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に応じて、音響入力に対してイコライジング処理を施すための構成である。具体的には、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に基づく伝達関数をＭとした場合に、ＥＱ１３２は、当該音響入力に対して、目標特性－Ｍとしての周波数特性を与える。なお、内部マイクロフォン５１５及びマイクアンプ１５１のデバイス特性に応じた伝達関数Ｍについては、事前の実験等の結果に基づき、あらかじめ算出しておけばよい。そして、ＥＱ１３２は、イコライジング処理が施された音響入力を減算部１７１に出力する。なお、ＥＱ１３２によりイコライジング処理が施された音響入力が、「第２の信号成分」の一例に相当する。
　減算部１７１は、マイクアンプ１５１から出力される音響信号から、ＥＱ１３２から出力される音響入力（即ち、目標特性－Ｍとしての周波数特性が与えられた音響入力）を減算し、減算結果として生成された音響信号をオキュリュージョンキャンセラ１６１に出力する。なお、減算部１７１による減算結果として出力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、音響入力の成分が抑制された音響信号に相当する。具体的には、当該音響信号には、前述した差分信号と装着部５１０を介して内部空間に伝搬する環境音とが加算された成分（以降では、「環境音の成分」と称する場合がある）と、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬する当該ユーザＵの声の成分（以降では、単に「声の成分」と称する場合がある）とが含まれることとなる。
　オキュリュージョンキャンセラ１６１は、所謂、ＦＢ（Feed-Back）型のＮＣフィルタと同様の原理で動作する、所謂フィルタ処理部に相当する。オキュリュージョンキャンセラ１６１は、減算部１７１から出力される音響信号に基づき、当該音響信号の成分を、あらかじめ決められた音量に抑制するための音響信号（以降では、「ノイズ低減信号」と称する場合がある）を生成する。
　なお、前述したように、減算部１７１から出力される音響信号には、環境音の成分と、声の成分とが含まれており、当該声の成分は、伝搬経路の特性により低域側が増幅されている。そのため、オキュリュージョンキャンセラ１６１は、例えば、ユーザＵが頭部装着型音響デバイス５１を装着していない場合と同様の態様で、当該ユーザＵに当該声の成分を聴取させるために、減算部１７１から取得した音響信号のうち声の成分の低域側を抑制させるための、ノイズ低減信号を生成してもよい。なお、オキュリュージョンキャンセラ１６１が、「第２の信号処理部」の一例に相当する。
　以上のようにして、オキュリュージョンキャンセラ１６１は、減算部１７１から出力される音響信号に基づき、ノイズ低減信号を生成する。そして、オキュリュージョンキャンセラ１６１は、生成したノイズ低減信号を加算部１２３に出力する。
　ＥＱ１３１は、図５を参照して前述したＥＱ１３１と同様に、音響入力に対してイコライジング処理を施す。
　また、本実施形態に係るＥＱ１３１は、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とに応じて、音響入力に対してさらにイコライジング処理を施す。例えば、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性に相当する伝達関数と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とを掛けあわせたものをＨとする。この場合には、ＥＱ１３１は、音響入力に対して、目標特性１／Ｈとしての周波数特性を与える。なお、ドライバ５１１が駆動するスピーカの構造等によって出力音に与えられる特性に相当する伝達関数と、当該スピーカから内部マイクロフォン５１５までの空間の伝達関数とについては、事前の実験等の結果に基づき、あらかじめ算出しておけばよい。そして、ＥＱ１３１は、イコライジング処理が施された音響入力を加算部１２３に出力する。
　加算部１２３は、ＥＱ１３１から出力される音響入力（即ち、イコライジング処理後の音響入力）に対して、ＨＴフィルタ１２１から出力される差分信号と、オキュリュージョンキャンセラ１６１から出力されるノイズ低減信号とを加算する。そして、加算部１２３は、加算結果として生成された音響信号をパワーアンプ１４１に出力する。
　加算部１２３から出力された音響信号（即ち、音響入力、差分信号、及びノイズ低減信号の加算結果）は、パワーアンプ１４１によりゲインが調整され（例えば、増幅され）、ドライバ５１１に出力される。そして、パワーアンプ１４１から出力される音響信号に基づき、ドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が、装着部５１０の内側の内部空間（即ち、ユーザＵの外耳道ＵＡに連接する空間）に放射される。
　以上、図７を参照して本実施形態に係る信号処理装置１１の機能構成の一例について説明した。なお、上記に説明した信号処理装置１１の各構成の動作が実現可能であれば、信号処理装置１１の構成は、必ずしも図７に示す例には限定されない。
　例えば、図８は、本実施形態に係る信号処理装置１１の構成の一例について説明するための説明図である。図７に示す例では、頭部装着型音響デバイス５１と信号処理装置１１とが、別装置として構成されていた。これに対して、図８に示す例では、頭部装着型音響デバイス５１と信号処理装置１１とが同一筐体に設けられている場合の構成の一例について示している。具体的には、図８に示す例では、頭部装着型音響デバイス５１の装着部５１０内に、信号処理装置１１に相当する構成（例えば、信号処理部）を内蔵している。
　もちろん、信号処理装置１１は、独立した装置として構成されていてもよいし、所謂スマートフォン等のような情報処理装置の一部として構成されていてもよい。また、信号処理装置１１のうち、少なくとも一部の構成が、当該信号処理装置１１とは異なる外部装置（例えば、サーバ等）に設けられていてもよい。なお、このような場合においても、外部環境を伝搬する環境音が、外部マイクロフォン５１３により集音され、ＨＴフィルタ１２１及びパワーアンプ１４１を介して頭部装着型音響デバイス５１のスピーカから出力されるまでの遅延量が、ＡＤＣやＤＡＣによる変換処理も含めて、約１００μｓ以下に抑えられることが望ましいことは言うまでもない。
　以上説明したように、本実施形態に係る信号処理装置１１は、内部マイクロフォン５１５による集音結果（即ち、内部空間に伝搬する音響の集音結果）に基づき、ユーザＵの声の成分のうち少なくとも一部の成分を抑制するノイズ低減信号を生成する。そして、信号処理装置１１は、入力された音響入力に対して、生成した差分信号と、当該ノイズ低減信号とを加算し、加算後の音響信号を出力する。これにより、信号処理装置１１から出力される音響信号に基づき、頭部装着型音響デバイス５１のドライバ５１１がスピーカを駆動することで、当該音響信号に基づく音響が内部空間内に放射される。
　なお、ドライバ５１１がスピーカを駆動することで内部空間に放射される音響には、オキュリュージョンキャンセラ１６１により生成されたノイズ低減信号に基づく成分が含まれる。このノイズ低減信号に基づく成分は、内部空間内で、ユーザＵの発話に基づき、外耳道ＵＡに伝搬する当該ユーザＵの声の成分と加算される。これにより、当該声の成分のうち、少なくとも一部の成分（例えば、声の成分のうち低域側の成分）が抑制され、当該抑制後の声の成分が、ユーザＵの鼓膜に達し、当該ユーザＵに聴取されることとなる。即ち、本実施形態に係る信号処理装置１１に依れば、ユーザＵが聴取される自身の声に違和感を覚えない態様で、ヒアスルー効果を実現することが可能となる。
　＜４．第２の実施形態＞
　次に、本開示の第２の実施形態に係る信号処理装置について説明する。前述した第１の実施形態では、オキュリュージョンキャンセラ１６１を設けることにより、ユーザＵが聴取される自身の声に違和感を覚えない態様で、ヒアスルー効果を実現していた。一方で、前述した第１の実施形態に係る信号処理装置１１では、オキュリュージョンキャンセラ１６１が処理対象とする音響信号には、頭部装着型音響デバイス５１のスピーカから出力された差分信号の成分が含まれている。そのため、オキュリュージョンキャンセラ１６１によって当該音響信号に基づき生成されるノイズ低減信号により、差分信号の成分が抑制され、ヒアスルー効果が十分に得られない（もしくは、ユーザＵに特性の異なる環境音が聴取される）場合がある。
　即ち、本実施形態に係る信号処理装置は、上記に説明した課題を鑑みてなされており、第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することを目的としている。なお、以降の説明では、本実施形態に係る信号処理装置を、前述した第１の実施形態に係る信号処理装置１１と区別するために、「信号処理装置１２」と称する場合がある。
　［４．１．概略的な機能構成］
　まず、図９を参照して、本実施形態に係る信号処理装置１２の機能構成の一例について説明する。図９は、本実施形態に係る信号処理装置の機能構成の一例について示したブロック図である。なお、図９に示す機能構成は、図５及び図７に示した例と同様に、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。
　図９に示すように、本実施形態に係る信号処理装置１２は、モニターキャンセラ１８１と、減算部１９１とを含む点で、前述した第１の実施形態に係る信号処理装置１１（図７参照）と異なる。そこで、以降の説明では、本実施形態に係る信号処理装置１２の機能構成について、特に、前述した第１の実施形態に係る信号処理装置１１（図７参照）と異なる部分に着目して説明する。
　モニターキャンセラ１８１及び減算部１９１は、マイクアンプ１５１から出力される音響信号（換言すると、内部マイクロフォン５１５の集音結果に基づく音響信号）中の各成分のうち、差分信号に相当する成分を抑制するための構成である。
　図９に示す信号処理装置１２では、外部マイクロフォン５１３により集音された環境音は、マイクアンプ１１１によりゲインが調整され（例えば、増幅され）、ＨＴフィルタ１２１とモニターキャンセラ１８１とに入力される。
　モニターキャンセラ１８１は、ＨＴフィルタ１２１と同様に、マイクアンプ１１１から出力される音響信号に対して、前述した（式２）及び（式３）に基づき説明したフィルタ係数γに基づく信号処理を施すことで差分信号を生成する。
　また、モニターキャンセラ１８１は、生成した差分信号に対して、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性との影響が反映されるように、各特性に応じた伝達関数に基づき、フィルタ処理を施す。これは、オキュリュージョンキャンセラ１６１から、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１を介して、当該オキュリュージョンキャンセラ１６１に至るまでの系の特性が、マイクアンプ１１１から出力される音響信号には反映されていないことに起因する。
　なお、モニターキャンセラ１８１において、上記に説明したフィルタ処理を実行するための構成として、無限インパルス応答フィルタ（ＩＩＲフィルタ）と有限インパルス応答フィルタ（ＦＩＲフィルタ）とを設けてもよい。この場合には、例えば、上記に説明したフィルタ処理のうち、単純遅延成分に対する処理を主にＦＩＲフィルタに割り当て、周波数特性に関する処理を主にＩＩＲフィルタに割り当てるとよい。
　もちろん、ＩＩＲフィルタ及びＦＩＲフィルタを設ける構成は、あくまで一例であり、必ずしもモニターキャンセラ１８１の構成を限定するものではない。具体的な一例として、モニターキャンセラ１８１にＦＩＲフィルタを設け、当該ＦＩＲフィルタに、単純遅延成分に対する処理と、周波数特性に関する処理との双方を実行させてもよい。
　また、他の一例として、遅延成分の影響が十分に小さい場合には、上記に説明したフィルタ処理を、ＩＩＲフィルタのみで再現してもよい。なお、遅延成分の影響を小さくするための方法の一例としては、例えば、ＡＤＣ及びＤＡＣや、ビットレートの変換に使用するフィルタ（例えば、デシメーションフィルタ）として、低遅延のデバイスを採用する方法が挙げられる。また、ドライバ５１１（及びスピーカ）や、外部マイクロフォン５１３及び内部マイクロフォン５１５等の音響系として、駆動時の遅延がより短いデバイス（即ち、よりレスポンスの良いデバイス）を採用してもよい。また、内部空間内において、ドライバ５１１が駆動するスピーカと、内部マイクロフォン５１５とをより近接させることで、当該スピーカと内部マイクロフォン５１５との間の音速の遅延を低減させてもよい。
　なお、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性とについては、例えば、時間引き伸ばしパルス（ＴＳＰ：Time　Stretched　Pulse）等を用いて事前に導出することが可能である。この場合には、例えば、パワーアンプ１４１（具体的には、ＤＡＣ）入力される音響信号（ＴＳＰ）と、マイクアンプ１５１から出力される音響信号との測定結果に基づき、各特性を算出すればよい。また、他の一例として、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性とを個別に測定し、各測定結果を畳み込んでもよい。即ち、モニターキャンセラ１８１のフィルタ特性については、上記に説明した、各特性の事前の測定結果に基づき、あらかじめ調整しておけばよい。なお、モニターキャンセラ１８１が、「第３のフィルタ処理部」の一例に相当する。また、モニターキャンセラ１８１によりフィルタ処理が施された音響信号が、「第１の信号成分」に相当する。
　そして、モニターキャンセラ１８１は、各種フィルタ処理が施された差分信号を、減算部１９１に出力する。
　減算部１９１は、マイクアンプ１５１から出力される音響信号から、モニターキャンセラ１８１から出力される差分信号を減算し、減算結果として生成された音響信号を、後段に位置する減算部１７１に出力する。なお、このとき、減算部１７１による減算結果として出力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、差分信号に相当する成分が抑制された音響信号に相当する。
　なお、以降の処理は、前述した第１の実施形態に係る信号処理装置１１と同様である。即ち、減算部１９１から出力された音響信号は、減算部１７１により、ＥＱ１３２から出力される音響入力の成分が減算され、オキュリュージョンキャンセラ１６１に入力される。なお、このときオキュリュージョンキャンセラ１６１に入力される音響信号は、内部マイクロフォン５１５により集音される音響信号の各成分のうち、差分信号に相当する成分と、音響入力に相当する成分とが抑制された音響信号（即ち、声の成分）に相当する。
　このような構成により、本実施位形態に係る信号処理装置１２では、オキュリュージョンキャンセラ１６１がノイズ低減信号を生成するための処理対象から、差分信号の成分を除外することが可能となる。即ち、本実施位形態に係る信号処理装置１２では、ノイズ低減信号により、差分信号の成分が抑制されるといった事態を防止することが可能となる。そのため、本実施形態に係る信号処理装置１２は、前述した第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することが可能となる。
　以上、図９を参照して、本実施形態に係る信号処理装置１２の機能構成の一例について説明した。
　［４．２．遅延量を低減するための構成例］
　次に、本実施形態に係る信号処理装置１２において、外部マイクロフォン５１３による集音結果に基づく差分信号や、内部マイクロフォン５１５による集音結果に基づくノイズ低減信号が、音響入力に加算され、スピーカから出力されるまでの遅延量を低減する仕組みの一例について説明する。
　まず、図９において、参照符号Ｒ１１で示された系、即ち、外部マイクロフォン５１３の集音結果に基づく音響信号が、マイクアンプ１１１、ＨＴフィルタ１２１、パワーアンプ１４１、及びドライバ５１１を介して内部空間に放射されるまでの系に着目する。系Ｒ１１では、前述した通り、好適な態様でヒアスルー効果を実現する（具体的には、ディップが生じる周波数帯が５ｋＨｚ近傍となるように調整する）ためには、遅延量を１００μｓ以下に抑えられることが望ましい。なお、以降の説明では、系Ｒ１１における遅延量を、「遅延量Ｄ＿ＨＴＦ」と称する場合がある。
　次いで、参照符号Ｒ１３で示された系、即ち、外部マイクロフォン５１３の集音結果に基づく音響信号が、モニターキャンセラ１８１を介して、減算部１９１に至る系に着目する。図９に示す構成において、モニターキャンセラ１８１は、ＨＴフィルタ１２１と同様に差分信号を生成している。
　また、ドライバ５１１が差分信号に基づきスピーカを駆動することで、内部空間に放射された当該差分信号の成分を含む音響に基づく音響信号が、当該内部空間内を空間伝搬し、内部マイクロフォン５１５に集音されるまで（即ち、スピーカと内部マイクロフォン５１５との間の伝搬時）に伝搬遅延が生じる。なお、以降の説明では、当該内部空間内における伝搬遅延の遅延量を、「遅延量Ｄ＿ＡＣＯ」と称する場合がある。
　即ち、減算部１９１において、内部マイクロフォン５１５により集音された音響信号から、差分信号の成分を好適に減算するためには、系Ｒ１３における遅延量を、遅延量Ｄ＿ＨＴＦ（１００μｓ）と、遅延量Ｄ＿ＡＣＯとの加算分以下とする必要がある。
　なお、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離は、所謂オーバーヘッド型のヘッドフォンのように比較的長い場合においても、３～４ｃｍ程度となる。
　ここで、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離を、仮に３．４ｃｍとした場合には、内部空間内における伝搬遅延の遅延量Ｄ＿ＡＣＯは、（０．０３４ｍ）／（音速＝３４０ｍ／ｓ）＝１００μｓとなる。なお、ドライバ５１１が駆動するスピーカと内部マイクロフォン５１５との間の距離が近いほど、遅延量Ｄ＿ＡＣＯがより短くなることは言うまでもない。
　以上の点から、系Ｒ１３における遅延量をＤ＿ＨＴＣとした場合に、遅延量Ｄ＿ＨＴＣ≦Ｄ＿ＨＴＦ＋Ｄ＿ＡＣＯの関係を満たし、かつ、Ｄ＿ＨＴＦ≦１００μｓ、Ｄ＿ＡＣＯ≦１００μｓの関係を満たす必要があることとなる。
　そこで、以降では、上記に説明したような遅延の条件を満たすための、信号処理装置１２の構成の一例について、図１０を参照して説明する。図１０は、本実施形態に係る信号処理装置１２において、遅延量をより低減する（即ち、上記に示した遅延の条件を満たす）ための構成の一例について説明するための説明図である。なお、図１０に示す例では、図９に示した信号処理装置１２に対して、アナログ信号とデジタル信号との間の変換処理を行うためのＡＤＣ及びＤＡＣと、デジタル信号のサンプリングレートを変換するフィルタとが明示的に示されている。
　具体的には、図１０には、図９に示した信号処理装置１２の機能構成に対して、ＡＤＣ１１２及び１５２と、ＤＡＣ１４２と、デシメーションフィルタ１１３及び１５３と、インターポレーションフィルタ１３３、１３４、及び１４３とが明示的に示されている。なお、図１０に示す例では、信号処理装置１２に入力される音響入力のサンプリングレートが１Ｆｓ（１Ｆｓ＝４８ｋＨｚ）であるものとする。
　ＡＤＣ１１２及び１５２は、アナログの音響信号をデジタル信号に変換するための構成である。ＡＤＣ１１２及び１５２は、例えば、アナログの音響信号に対してデルタシグマ変調を施すことでデジタル信号に変換する。また、ＤＡＣ１４２は、デジタル信号をアナログの音響信号に変換するための構成である。
　また、デシメーションフィルタ１１３及び１５３は、入力されたデジタル信号のサンプリングレートを、当該サンプリングレートよりも低い所定のサンプリングレートにダウンサンプリングするための構成である。また、インターポレーションフィルタ１３３、１３４、及び１４３は、入力されたデジタル信号のサンプリングレートを、当該サンプリングレートよりも高い所定のサンプリングレートにアップサンプリングするための構成である。
　外部マイクロフォン５１３の集音結果に基づき出力されるアナログの音響信号は、マイクアンプ１１１によりゲインが調整され、ＡＤＣ１１２によりデジタル信号に変換される。なお、図１０に示す例では、ＡＤＣ１１２は、入力されたアナログ信号を、６４Ｆｓのサンプリングレートで標本化して、デジタル信号に変換する。ＡＤＣ１１２は変換後のデジタル信号をデシメーションフィルタ１１３に出力する。
　デシメーションフィルタ１１３は、ＡＤＣ１１２から出力されるデジタル信号のサンプリングレートを、６４Ｆｓから８Ｆｓにダウンサンプリングする。即ち、デシメーションフィルタ１１３の後段に位置する構成（例えば、ＨＴフィルタ１２１やモニターキャンセラ１８１）は、サンプリングレートが８Ｆｓにダウンサンプリングされたデジタル信号を対象として、各種処理を実行することとなる。
　また、内部マイクロフォン５１５の集音結果に基づき出力されるアナログの音響信号は、マイクアンプ１５１によりゲインが調整され、ＡＤＣ１５２によりデジタル信号に変換される。なお、図１０に示す例では、ＡＤＣ１５２は、入力されたアナログ信号を、６４Ｆｓのサンプリングレートで標本化して、デジタル信号に変換する。ＡＤＣ１５２は変換後のデジタル信号をデシメーションフィルタ１５３に出力する。
　デシメーションフィルタ１５３は、ＡＤＣ１５２から出力されるデジタル信号のサンプリングレートを、６４Ｆｓから８Ｆｓにダウンサンプリングする。即ち、デシメーションフィルタ１５３の後段に位置する構成（例えば、オキュリュージョンキャンセラ１６１）は、サンプリングレートが８Ｆｓにダウンサンプリングされたデジタル信号を対象として、各種処理を実行することとなる。
　また、ＥＱ１３２によりイコライジング処理が施された音響入力（１Ｆｓのデジタル信号）は、インターポレーションフィルタ１３４によりサンプリングレートが８Ｆｓにアップサンプリングされ、減算部１７１に入力される。同様に、ＥＱ１３１によりイコライジング処理が施された音響入力（１Ｆｓのデジタル信号）は、インターポレーションフィルタ１３３によりサンプリングレートが８Ｆｓにアップサンプリングされ、加算部１２３に入力される。
　そして、加算部１２３により、ＨＴフィルタ１２１から出力される差分信号と、インターポレーションフィルタ１３３から出力される音響入力と、オキュリュージョンキャンセラ１６１から出力されるノイズ低減信号とが加算される。なお、このとき加算部１２３により加算される、差分信号、音響入力、及びノイズ低減信号は、いずれも８Ｆｓのデジタル信号となる。
　そして、加算部１２３の加算結果として出力される８Ｆｓのデジタル信号は、インターポレーションフィルタ１４３により、６４Ｆｓのデジタル信号にアップサンプリングされ、ＤＡＣ１４２によりアナログの音響信号に変換されたうえでパワーアンプ１４１に入力される。そして、当該アナログの音響信号は、パワーアンプ１４１によりゲインが調整されたうえで、ドライバ５１１に入力される。これにより、ドライバ５１１は、入力されたアナログの音響信号に基づきスピーカを駆動することで、当該スピーカに、当該アナログの音響信号に基づく音響を内部空間に放射させる。
　以上、説明したように、図１０に示す例では、信号処理装置１２は、集音されたアナログの音響信号が変換された６４Ｆｓのデジタル信号を、音響入力のサンプリングレート（１Ｆｓ）よりも高い８Ｆｓ程度にダウンサンプリングしている。
　即ち、図１０に示す信号処理装置１２では、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１は、８Ｆｓのデジタル信号を対象として各演算（即ち、フィルタ処理）を実行することとなるため、１サンプル単位の遅延を低減することが可能となる。
　また、図１０に示す信号処理装置１２では、６４Ｆｓのデジタル信号を、８Ｆｓのデジタル信号にダウンサンプリングするため、１Ｆｓのデジタル信号にダウンサンプリングする場合に比べて、当該ダウンサンプリングに係る処理（即ち、ＡＤＣ１１２及びＡＤＣ１５２の処理）の遅延量を低く抑えることが可能となる。なお、このことは、アップサンプリングに係る処理についても同様である。即ち、図１０に示す信号処理装置１２では、８Ｆｓのデジタル信号を、６４Ｆｓのデジタル信号にアップサンプリングするため、１Ｆｓのデジタル信号からアップサンプリングする場合に比べて、当該アップサンプリングに係る処理（即ち、ＤＡＣ１４２の処理）の遅延量を低く抑えることが可能となる。
　なお、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１の各演算のうち、少なくとも一部の演算については、さらにサンプリンレートの低い（例えば、１Ｆｓ）のデジタル信号にダウンサンプリングしたうえで、当該デジタル信号を処理対象としてもよい。
　例えば、図１１は、モニターキャンセラ１８１の機能構成の一例を示した図である。図１１に示すモニターキャンセラ１８１は、８Ｆｓのデジタル信号を１Ｆｓのデジタル信号にダウンサンプリングしたうえで、当該１Ｆｓのデジタル信号を対象として各種フィルタ処理が実行されるように構成されている。
　具体的には、図１１に示すモニターキャンセラ１８１は、デシメーションフィルタ１８３と、ＩＩＲフィルタ１８４と、ＦＩＲフィルタ１８５と、インターポレーションフィルタ１８６とを含む。
　デシメーションフィルタ１８３は、モニターキャンセラ１８１に入力される８Ｆｓのデジタル信号を、１Ｆｓのデジタル信号にダウンサンプリングし、１Ｆｓにダウンサンプリングされた当該デジタル信号を、後段に位置するＩＩＲフィルタ１８４に出力する。
　ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５は、図９を参照して前述したモニターキャンセラ１８１によるフィルタ処理を実行するための構成である。なお、前述した通り、モニターキャンセラ１８１によるフィルタ処理のうち、主に、周波数特性に関する処理がＩＩＲフィルタ１８４に割り当てられ、単純遅延成分に対する処理がＦＩＲフィルタ１８５に割り当てられる。なお、図１１に示す例では、ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５は、１Ｆｓのデジタル信号を対象として各種フィルタ処理を実行することとなる。
　そして、ＩＩＲフィルタ１８４及びＦＩＲフィルタ１８５により各種フィルタ処理が施されたデジタル信号（即ち、１Ｆｓのデジタル信号）は、インターポレーションフィルタ１８６により、８Ｆｓのデジタル信号にアップサンプリングされる。そして、８Ｆｓにアップサンプリングされたデジタル信号は、モニターキャンセラ１８１の後段に位置する減算部１９１（図１０参照）に出力されることとなる。
　以上のように、本実施形態に係る信号処理装置１２においては、各種演算（例えば、ＨＴフィルタ１２１、モニターキャンセラ１８１、及びオキュリュージョンキャンセラ１６１における各演算）のうち、少なくとも一部の演算について、局所的にサンプリングレートを下げることにより、当該演算のためのリソースを削減してもよい。なお、信号処理装置１２における各種演算のうち、いずれの演算を対象として局所的にサンプリングレートを下げるかについては、事前の実験等により、ダウンサンプリングに伴うリソース削減の効率を確認し、当該確認結果に基づき適宜決定すればよい。
　以上、図９及び図１０を参照して、本実施形態に係る信号処理装置１２における各系（例えば、図９及び図１０に示す系Ｒ１１及びＲ１３）における遅延量を低減し、より好適な態様でヒアスルー効果を実現するための仕組みの一例について説明した。なお、上記では、図９に示した信号処理装置１２を基に遅延量を低減する仕組みの一例について説明したが、図５に示す信号処理装置８０や、図７に示す信号処理装置１１についても、同様の仕組みに基づき遅延量を低減可能であることは言うまでもない。
　［４．３．変形例］
　次に、図１２を参照して、本実施形態に係る信号処理装置１２の変形例について説明する。図１２は、本実施形態の変形例に係る信号処理装置の機能構成の一例について示したブロック図である。なお、変形例に係る信号処理装置を、図９及び図１０を参照して説明した本実施形態に係る信号処理装置１２と区別するために、「信号処理装置１３」と称する場合がある。なお、図１２に示す例では、図１０と同様に、アナログ信号とデジタル信号との間の変換処理を行うためのＡＤＣ及びＤＡＣと、デジタル信号のサンプリングレートを変換するフィルタとが明示的に示されている。
　図１２に示すように、変形例に係る信号処理装置１３は、図１２に示すモニターキャンセラ１８１に替えて、モニターキャンセラ１８１’を含む点で、前述した実施形態に係る信号処理装置１２（図１０参照）と異なる。そのため、本説明では、特に、モニターキャンセラ１８１’の構成に着目して説明し、その他の構成については、前述した実施形態に係る信号処理装置１２と同様のため、詳細な説明は省略する。
　図１２に示すように、モニターキャンセラ１８１’は、ＨＴフィルタ１２１の後段に位置し、当該ＨＴフィルタ１２１から出力される差分信号を処理の対象とする。このような構成により、モニターキャンセラ１８１’は、図９を参照して説明したモニターキャンセラ１８１と異なり、差分信号の生成に係る処理（即ち、前述した（式２）及び（式３）に基づく処理）を実行する必要はない。
　即ち、モニターキャンセラ１８１’は、入力された差分信号に対して、パワーアンプ１４１、ドライバ５１１、及びマイクアンプ１５１それぞれのデバイス特性と、内部空間内の空間特性との影響が反映されるように、各特性に応じた伝達関数に基づくフィルタ処理を施す。
　そして、モニターキャンセラ１８１’は、フィルタ処理が施された差分信号を、後段に位置する減算部１９１に出力する。なお、以降の処理については、前述した実施形態に係る信号処理装置１２（図９及び図１０参照）と同様である。
　このような構成により、変形例に係る信号処理装置１３は、図９及び図１０に示した信号処理装置１２のＨＴフィルタ１２１及びモニターキャンセラ１８１における差分信号の生成に係る処理を、ＨＴフィルタ１２１の処理として共通化することが可能となる。そのため、変形例に係る信号処理装置１３は、前述した実施形態に係る信号処理装置１２に比べて、差分信号の生成に係る演算のためのリソースを低減し、ひいては、回路規模を削減することも可能となる。
　以上、図１２を参照して、本実施形態の変形例に係る信号処理装置１３について説明した。
　［４．４．まとめ］
　以上、説明したように、本実施形態に係る信号処理装置１２は、内部マイクロフォン５１５の集音結果に基づく音響信号から、音響入力の成分に加えて差分信号に相当する成分を減算している。このような構成により、本実施位形態に係る信号処理装置１２では、オキュリュージョンキャンセラ１６１がノイズ低減信号を生成するための処理対象から、差分信号の成分を除外することが可能となる。即ち、本実施位形態に係る信号処理装置１２では、ノイズ低減信号により、差分信号の成分が抑制されるといった事態を防止することが可能となる。そのため、本実施形態に係る信号処理装置１２は、前述した第１の実施形態に係る信号処理装置１１に比べて、より自然な態様（即ち、ユーザＵがより違和感を覚えない態様）で、ヒアスルー効果を実現することが可能となる。
　＜５．第３の実施形態＞
　次に、本開示の第３の実施形態に係る信号処理装置について説明する。前述したように、本開示の各実施形態に係る信号処理装置では、内部マイクロフォン５１５による内部空間を伝搬する音響の集音結果を利用して、外耳道ＵＡに伝搬するユーザの声の成分を抑制するためのノイズ低減信号を生成している。このような構成のため、内部マイクロフォン５１５の集音結果に基づく音響信号（即ち、内部空間を伝搬する音響）には、前述したように声の成分（即ち、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬する当該ユーザＵの声の成分）が含まれていることは前述した通りである。
　そこで、本実施形態では、内部マイクロフォン５１５による集音結果に基づく音響信号に含まれる声の成分を、音声入力（例えば、音声通話における送話信号）として利用することが可能な信号処理装置の一例について説明する。
　例えば、図１３は、本実施形態に係る信号処理装置の機能構成の一例を示したブロック図である。なお、以降では、図１３に示す信号処理装置を、前述した各実施形態に係る信号処理装置と区別するために、「信号処理装置１４ａ」と称する場合がある。また、図１３に示す機能構成は、説明をよりわかりやすくするために、ＤＡＣ及びＡＤＣの記載を省略している。
　図１３に示すように、本実施形態に係る信号処理装置１４ａは、ノイズゲート４１１と、ＥＱ４１２と、コンプレッサ４１３とを含む点で、前述した第２の実施形態に係る信号処理装置１３（図９参照）と異なる。そこで、本説明では、本実施形態に係る信号処理装置１４ａの機能構成について、特に、前述した第２の実施形態に係る信号処理装置１３と異なる部分に着目して説明し、その他の部分については詳細な説明は省略する。
　図１３に示すように、信号処理装置１４ａでは、参照符号ｎ１１で示された、減算部１９１の後段に位置する（即ち、減算部１９１と減算部１７１との間に位置する）ノードにおいて、当該ノードｎ１１を通過する音響信号が分波され、分波された一部の音響信号がノイズゲート４１１に入力される。
　ノイズゲート４１１は、入力される音響信号に対して所謂ノイズゲート処理を施すための構成である。具体的には、ノイズゲート４１１は、ノイズゲート処理として、入力される音響信号のレベルが一定レベル以下となる出力信号のレベルを下げ（つまり、ゲートを閉じ）、当該一定レベルを超えると出力信号のレベルを基に戻す（つまり、ゲートを開く）処理を行う。なお、一般に行われているように、ノイズゲート処理における出力レベルの減衰の割合、ゲートの開閉エンベロープ、及び、ゲートが反応する周波数帯域等のパラメータは、発話音（即ち、入力される音響信号に含まれる声の成分）の明瞭度の向上が図られるよう適切に設定する。
　そして、ノイズゲート４１１は、ノイズゲート処理を施した音響信号を、後段に位置するＥＱ４１２に出力する。
　ＥＱ４１２は、ノイズゲート４１１から出力される音響信号に対して、イコライジング処理を施すための構成である。前述したように、ノードｎ１１から分波される音響信号（即ち、内部マイクロフォン５１５の集音結果に基づく音響信号）に含まれる声の成分は、低域が増幅されており、当該音響信号（即ち、声の成分）に基づく音響は聴取者にくぐもったように聞こえる。そのため、ＥＱ４１２は、当該音響信号に基づく音響が、聴取者により自然に聞こえるように（即ち、より自然な周波数特性バランスとなるように）、当該音響信号の周波数特性を補正することで、聴取される音響の明瞭度を向上させる。
　なお、ＥＱ４１２が入力された音響信号に対してイコライジング処理を施すための目標特性については、例えば、事前の実験等の結果に基づきあらかじめ決定しておけばよい。
　そして、ＥＱ４１２は、イコライジング処理が施された音響信号（即ち、声の成分を含む音響信号）を、後段に位置するコンプレッサ４１３に出力する。
　コンプレッサ４１３は、入力される音響信号に対して、所謂コンプレッサ処理として、時間振幅を整える処理を施すための構成である。
　具体的には、入力される音響信号に含まれる声の成分は、前述した通り、ユーザＵの頭部の骨や肉を介して外耳道ＵＡに伝搬し、外耳道壁を２次スピーカのように振動させ、当該振動が外耳道ＵＡを介して内部マイクロフォン５１５に到達する。このように、声の成分が内部マイクロフォン５１５に到達するまでの伝搬経路は、外部環境を伝搬する場合のような空気伝搬に比べて、ある程度の非線形性を有する。
　そのため、発生時の声の大きさによって変わる発話音声の大小の差が、通常の空気伝搬を介した集音を行う場合に比べて大きくなり、そのままであると集音された音声を聴取者が聞き取り難くなる場合がある。
　そこで、コンプレッサ４１３は、内部マイクロフォン５１５による集音結果に基づく音響信号（具体的には、ＥＱ４１２から出力される音響信号）の時間軸振幅を、発話音声の大小の差が抑制されるように整える。
　以上のようにして、コンプレッサ４１３は、入力される音響信号に対してコンプレッサ処理を施し、当該コンプレッサ処理が施された音響信号（即ち、声の成分を含む音響信号）を、音声信号として出力する。
　なお、図１３に示した信号処理装置１４ａの構成はあくまで一例であり、内部マイクロフォン５１５により集音された声の成分を含む音響信号を、音声信号として出力することが可能であれば、その構成は特に限定されない。
　例えば、図１４は、本実施形態に係る信号処理装置の機能構成の他の一例について示したブロック図である。なお、以降の説明では、図１４に示す信号処理装置を、図１３を参照して前述した信号処理装置と区別する場合には、「信号処理装置１４ｂ」と称する場合がある。また、図１４に示す信号処理装置を、図１３を参照して前述した信号処理装置と区別しない場合には、単に「信号処理装置１４」と称する場合がある。
　図１４に示すように、信号処理装置１４ｂにおいては、参照符号ｎ１２で示された、減算部１７１の後段に位置する（即ち、減算部１７１とオキュリュージョンキャンセラ１６１との間に位置する）ノードにおいて、当該ノードｎ１２を通過する音響信号が分波され、分波された一部の音響信号がノイズゲート４１１に入力される。
　ここで、ノードｎ１２を通過する音響信号は、ノードｎ１１を通過する音響信号から、さらに、音響入力の成分が減算された音響信号に相当する。そのため、図１４に示す信号処理装置１４ｂでは、図１３に示した信号処理装置１４ａに比べて、内部マイクロフォン５１５の集音結果に基づく音響信号のうち、声の成分以外の他の成分がより抑制された音響信号を、音声信号として出力することが可能となる。
　以上、図１３及び図１４を参照して、本実施形態に係る信号処理装置１４の機能構成の一例について説明した。
　なお、前述したように、本実施形態に係る信号処理装置１４では、内部マイクロフォン５１５の集音結果に基づく音響信号から、減算部１９１により差分信号が減算された後の音響信号を対象として、音声信号として出力している。このような構成により、内部マイクロフォン５１５の集音結果に基づく音響信号に含まれる各成分のうち、環境音に相当する成分が抑制された音響信号が、音声信号として出力されることとなる。即ち、本実施形態に係る信号処理装置１４に依れば、外部環境においてマイクロフォン等を使用してユーザＵの音声を集音する場合に比べて、よりＳ／Ｎ比の高い（即ち、ノイズの少ない）音声入力を取得することが可能となる。
　次に、図１５を参照して、本実施形態に係る信号処理装置１４の適用例について説明する。図１５は、本実施形態に係る信号処理装置１４の適用例について説明するための説明図である。具体的には、図１５は、信号処理装置１４から出力される音声信号を、音声入力として利用することで、当該音声入力が示す指示内容に基づき、各種処理を実行することが可能な情報処理システムの機能構成の一例を示している。
　図１５に示す情報処理システムは、頭部装着型音響デバイス５１と、信号処理装置１４と、解析部６１と、制御部６３と、処理実行部６５とを含む。なお、頭部装着型音響デバイス５１と、信号処理装置１４とについては、図１３または図１４に示す例と同様のため詳細な説明は省略する。
　解析部６１は、信号処理装置１４から出力される音声信号（即ち、音声出力）を、音声入力として取得し、当該音声入力が示す内容（即ち、ユーザＵからの指示内容）を後述する制御部６３が認識できるように、当該音声入力に対して各種解析を施すための構成である。解析部６１は、音声認識部６１１と、自然言語処理部６１３とを含む。
　音声認識部６１１は、信号処理装置１４から取得した音声入力を、所謂音声認識技術に基づき解析することで、文字情報に変換する。そして、音声認識部６１１は、音声認識技術に基づく解析の結果、即ち、音声入力が変換された文字情報を、自然言語処理部６１３に出力する。
　自然言語処理部６１３は、信号処理装置１４から取得された音声入力に対する音声認識技術に基づく解析の結果として、当該音声入力が変換された文字情報を、音声認識部６１１から取得する。自然言語処理部６１３は、取得した当該文字情報に対して、所謂自然言語処理技術に基づく解析（例えば、字句解析（形態素解析）、構文解析、及び意味解析等）を施す。
　そして、自然言語処理部６１３は、信号処理装置１４から取得された音声入力が変換された文字情報に対する自然言語処理の結果を示す情報を、制御部６３に出力する。
　制御部６３は、信号処理装置１４から取得された音声入力に対する解析結果（即ち、当該音声入力が変換された文字情報に対する自然言語処理の結果）を示す情報を、解析部６１から取得する。制御部６３は、取得した解析結果に基づき、当該音声入力に基づくユーザＵからの指示内容を認識する。
　制御部６３は、認識したユーザＵからの指示内容に基づき、対象となる機能（例えば、アプリケーション）を特定し、特定した機能の実行を処理実行部６５に指示する。
　処理実行部６５は、各種機能を実行するための構成である。処理実行部６５は、制御部６３から指示に基づき、対象となる機能を実行するための各種データ（例えば、アプリケーションを実行するためのライブラリや、コンテンツのデータ）を読み出し、読み出したデータに基づき、当該機能を実行する。なお、処理実行部６５が、各種機能を実行するためのデータについては、当該処理実行部６５が読み出し可能な位置に記憶されていれば、その記憶先は特に限定されない。
　また、このとき処理実行部６５は、制御部６３から指示された機能の実行結果に基づく音響情報（例えば、指示に基づき再生されたオーディオコンテンツ）を、信号処理装置１４に入力してもよい。また、他の一例として、処理実行部６５は、制御部６３から指示された機能の実行結果に基づき、ユーザＵに対して提示する内容を示した音声情報を、所謂音声合成技術に基づき生成し、生成した音声情報を信号処理装置１４に入力してもよい。このような構成により、ユーザＵは、自身の指示内容に基づく各種機能実行結果を、頭部装着型音響デバイス５１を介して出力される音響情報（音声情報）として認識することが可能となる。
　即ち、図１５に示した情報処理システムに依れば、ユーザＵは、頭部装着型音響デバイス５１を装着した状態で、音声により各種機能の実行を情報処理システムに指示することで、当該機能の実行結果に基づく音響情報を、当該頭部装着型音響デバイス５１を介して聴取することが可能となる。
　具体的な一例として、ユーザＵは、音声により所望のオーディコンテンツの再生を指示することで、当該オーディオコンテンツの再生結果を、当該頭部装着型音響デバイス５１を介して聴取することが可能となる。
　また、他の一例として、ユーザは、情報処理システムに対して、所望の文字情報（例えば、配信されたメールやニュース、ネットワーク上にアップロードされている情報等）の読み上げを指示することで、当該文字情報の読み上げ結果を、頭部装着型音響デバイス５１を介して聴取することが可能となる。
　また、他の一例として、図１５に示す情報処理システムを、所謂音声通話に利用してもよい。この場合には、信号処理装置１４から出力される音声信号を総和信号として利用し、受信した受話信号については、信号処理装置１４に対して音響入力として入力すればよい。
　なお、図１５に示した情報処理システムの構成はあくまで一例であり、上記に説明した情報処理システムの各構成の処理が実現できれば、必ずしも、図１５に示す構成には限定されない。具体的な一例として、解析部６１、制御部６３、及び処理実行部６５のうち、少なくとも一部の構成を、ネットワークを介して接続された外部装置（例えば、サーバ）に設けてもよい。
　以上、本実施形態に係る信号処理装置１４の適用例として、図１５を参照して、信号処理装置１４から出力される音声信号を、音声入力として利用した情報処理システムの機能構成の一例について説明した。
　＜６．ハードウェア構成＞
　次に、図１６を参照して、本開示の各実施形態に係る信号処理装置１０（即ち、上述した信号処理装置１１～１４）のハードウェア構成の一例について説明する。図１６は、本開示の各実施形態に係る信号処理装置１０のハードウェア構成の一例を示した図である。
　図１６に示すように、本実施形態に係る信号処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、報知デバイス９０９と、音響デバイス９１１と、集音デバイス９１３と、バス９１７とを含む。また、信号処理装置１０は、通信デバイス９１５を含んでもよい。
　プロセッサ９０１は、例えばＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）又はＳｏＣ（System　on　Chip）であってよく、信号処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した信号処理装置１１～１４の各構成（特に、ＨＴフィルタ１２１、オキュリュージョンキャンセラ１６１、モニターキャンセラ１８１等）は、プロセッサ９０１により実現され得る。
　メモリ９０３は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。
　操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス９０７は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。
　報知デバイス９０９は、出力デバイスの一例であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）装置、有機ＥＬ（ＯＬＥＤ：Organic　Light　Emitting　Diode）ディスプレイなどのデバイスであってよい。この場合には、報知デバイス９０９は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。
　なお、上記に示した報知デバイス９０９の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス９０９の態様は特に限定されない。具体的な一例として、報知デバイス９０９は、ＬＥＤ（Light　Emitting　Diode）のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知デバイス９０９は、所謂バイブレータのように、振動することで、所定の情報をユーザに報知するデバイスであってもよい。
　音響デバイス９１１は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスである。なお、前述した、頭部装着型音響デバイス５１のうち、特に、ドライバ５１１により駆動されるスピーカは、音響デバイス９１１により構成され得る。
　集音デバイス９１３は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報（音響信号）として取得するためのデバイスである。また、集音デバイス９１３は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、前述した、頭部装着型音響デバイス５１における、外部マイクロフォン５１３及び内部マイクロフォン５１５は、集音デバイス９１３により実現され得る。
　通信デバイス９１５は、信号処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１５は、有線または無線用の通信インタフェースである。通信デバイス９１５を、無線通信インタフェースとして構成する場合には、当該通信デバイス９１５は、通信アンテナ、ＲＦ（Radio　Frequency）回路、ベースバンドプロセッサなどを含んでもよい。
　通信デバイス９１５は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
　バス９１７は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、報知デバイス９０９、音響デバイス９１１、集音デバイス９１３、及び通信デバイス９１５を相互に接続する。バス９１７は、複数の種類のバスを含んでもよい。
　また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した信号処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
　＜７．まとめ＞
　以上、説明したように、本開示の各実施形態に係る信号処理装置１０（即ち、上述した信号処理装置１１～１４）は、頭部装着型音響デバイス５１の装着部５１０の外側の外部空間を伝搬する環境音の集音結果に基づき、差分信号を生成する。また、信号処理装置１０は、装着部５１０の内側の内部空間に伝搬する音響の集音結果に基づき、当該内部空間に伝搬する声の成分を抑制するためのノイズ低減信号を生成する。そして、信号処理装置１０は、入力される音響入力に対して、生成した差分信号とノイズ低減信号とを加算し、当該加算結果に基づき生成される音響信号を頭部装着型音響デバイス５１のドライバ５１１に出力する。これにより、当該音響信号によりドライバ５１１が駆動され、当該音響信号に基づく音響が内部空間に放射される。
　このような構成により、内部空間内に放射された音響に含まれる差分信号の成分と、装着部５１０を介して内部空間に伝搬する環境音（即ち、図２及び図３において、伝搬環境Ｆを介して伝搬する音響）とが、内部空間内で加算され、当該加算結果がユーザＵに聴取されるため、ヒアスルー効果を実現することが可能となる。また、内部空間内に放射された音響に含まれるノイズ低減信号と、ユーザＵの頭部の肉や骨を介して外耳道ＵＡに伝搬する声の成分とが加算され、当該加算結果がユーザＵに聴取されるため、ユーザＵは、自身の声をより自然な（即ち、違和感を覚えない）態様で聴取することが可能となる。
　なお、上記に説明した、本開示の各実施形態に係る信号処理装置１０により実行される一連の処理（即ち、各種フィルタ処理等の信号処理）が、「信号処理方法」の一例に相当する。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、
　前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、
　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、
　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、
　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、
　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
　を備える、信号処理装置。
（２）
　前記第１の音響の集音結果に基づく音響信号に対して、少なくとも、前記音響デバイスから出力される音響信号が、前記内部空間を介して前記第２の音響として集音されるまでの系の伝達関数に応じた特性を付与し、前記第１の信号成分として出力する第３のフィルタ処理部を備える、前記（１）に記載の信号処理装置。
（３）
　前記第３のフィルタ処理部は、前記第１の音響の集音結果を入力信号として、前記第１の信号成分を生成する、前記（２）に記載の信号処理装置。
（４）
　前記第３のフィルタ処理部は、前記第１のフィルタ処理部から出力される前記差分信号を入力信号として、前記第１の信号成分を生成する、前記（２）に記載の信号処理装置。
（５）
　前記第３のフィルタ処理部は、入力された前記前記第１の音響の集音結果に基づく音響信号のうち、遅延成分を処理するための第４のフィルタ処理部と、周波数成分を処理するための第５のフィルタ処理部とを備える、前記（２）～（４）のいずれか一項に記載の信号処理装置。
（６）
　前記第４のフィルタ処理部は、無限インパルス応答フィルタを含む、前記（５）に記載の信号処理装置。
（７）
　前記第５のフィルタ処理部は、有限インパルス応答フィルタを含む、前記（５）または（６）に記載の信号処理装置。
（８）
　前記入力音響信号を第１の目標特性に等化して前記加算部に出力する第１の等化処理部と、
　当該入力音響信号を第２の目標特性に等化して、前記第２の信号成分として前記減算部に出力する第２の等化処理部と、
　を備える、前記（１）～（７）のいずれか一項に記載の信号処理装置。
（９）
　前記第２の音響の集音結果からの前記第１の信号成分の減算結果に基づく信号成分を、音声信号として出力する音声信号出力部を備える、前記（１）～（８）のいずれか一項に記載の信号処理装置。
（１０）
　音声信号出力部は、前記減算信号を前記音声信号として出力する、前記（９）に記載の信号処理装置。
（１１）
　前記第１の音響を集音する第１の集音部と、前記第２の音響を集音する第２の集音部とのうち、少なくともいずれかを含む、前記（１）～（１０）のいずれか一項に記載の信号処理装置。
（１２）
　前記音響デバイスを含む、前記（１）～（１１）のいずれか一項に記載の信号処理装置。
（１３）
　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する音響の集音結果を取得する取得部と、
　前記音響の集音結果に基づき、前記外部空間から外耳道内に向けて直接伝搬する前記音響と、前記外部空間から前記装着部を介して前記外耳道内に伝搬する前記音響との差分に略等しい差分信号を生成するフィルタ処理部と、
　前記装着部の内側から前記外耳道内に向けて音響デバイスから出力させる入力音響信号に対して、前記差分信号を加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
　を備え、
　前記外部空間を伝搬する音響が集音されてから、当該音響に基づく前記差分信号が加算された前記駆動信号に基づく音響が、前記音響デバイスから出力されるまでの遅延量が１００μ秒以下である、
　信号処理装置。
（１４）
　前前記外部空間を伝搬する音響の集音結果を、第１のサンプリングレートで第１のデジタル信号にＡＤ変換するＡＤ変換部と、
　前記第１のデジタル信号を、前記第１のサンプリングレートよりも低く、前記入力音響信号を標本化するための第２のサンプリングレートよりも高い、第３のサンプリングレートにダウンサンプリングすることで第２のデジタル信号を生成する、デシメーションフィルタと、
　前記第３のサンプリングレートで標本化されたデジタル信号を、第１のサンプリングレートにアップサンプリングするインターポレーションフィルタと、
　前記インターポレーションフィルタの出力結果をアナログの音響信号にＤＡ変換するＤＡ変換部と、
　を備え、
　前記フィルタ処理部は、前記第２のデジタル信号を入力信号として、前記差分信号を生成する、
　前記（１３）に記載の信号処理装置。
（１５）
　プロセッサが、
　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
　前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
　を含む、信号処理方法。
（１６）
　コンピュータに、
　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
　前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
　を実行させる、プログラム。
　１１～１４　　信号処理装置
　１１１　マイクアンプ
　１１３　デシメーションフィルタ
　１２１　ＨＴフィルタ
　１２３　加算部
　１３３　インターポレーションフィルタ
　１３４　インターポレーションフィルタ
　１４１　パワーアンプ
　１４３　インターポレーションフィルタ
　１５１　マイクアンプ
　１５３　デシメーションフィルタ
　１６１　オキュリュージョンキャンセラ
　１７１　減算部
　１８１　モニターキャンセラ
　１８３　デシメーションフィルタ
　１８４　ＩＩＲフィルタ
　１８５　ＦＩＲフィルタ
　１８６　インターポレーションフィルタ
　１９１　減算部
　４１１　ノイズゲート
　４１２　ＥＱ
　４１３　コンプレッサ
　５１　　頭部装着型音響デバイス
　５１０　装着部
　５１１　ドライバ
　５１３　外部マイクロフォン
　５１５　内部マイクロフォン
　６１　　解析部
　６１１　音声認識部
　６１３　自然言語処理部
　６３　　制御部
　６５　　処理実行部

Claims (16)

  1. 　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得する第１の取得部と、
    　前記装着部の内側において外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得する第２の取得部と、
    　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成する第１のフィルタ処理部と、
    　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成する減算部と、
    　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成する第２のフィルタ処理部と、
    　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
    　を備える、信号処理装置。
  2. 　前記第１の音響の集音結果に基づく音響信号に対して、少なくとも、前記音響デバイスから出力される音響信号が、前記内部空間を介して前記第２の音響として集音されるまでの系の伝達関数に応じた特性を付与し、前記第１の信号成分として出力する第３のフィルタ処理部を備える、請求項１に記載の信号処理装置。
  3. 　前記第３のフィルタ処理部は、前記第１の音響の集音結果を入力信号として、前記第１の信号成分を生成する、請求項２に記載の信号処理装置。
  4. 　前記第３のフィルタ処理部は、前記第１のフィルタ処理部から出力される前記差分信号を入力信号として、前記第１の信号成分を生成する、請求項２に記載の信号処理装置。
  5. 　前記第３のフィルタ処理部は、入力された前記前記第１の音響の集音結果に基づく音響信号のうち、遅延成分を処理するための第４のフィルタ処理部と、周波数成分を処理するための第５のフィルタ処理部とを備える、請求項２に記載の信号処理装置。
  6. 　前記第４のフィルタ処理部は、無限インパルス応答フィルタを含む、請求項５に記載の信号処理装置。
  7. 　前記第５のフィルタ処理部は、有限インパルス応答フィルタを含む、請求項５に記載の信号処理装置。
  8. 　前記入力音響信号を第１の目標特性に等化して前記加算部に出力する第１の等化処理部と、
    　当該入力音響信号を第２の目標特性に等化して、前記第２の信号成分として前記減算部に出力する第２の等化処理部と、
    　を備える、請求項１に記載の信号処理装置。
  9. 　前記第２の音響の集音結果からの前記第１の信号成分の減算結果に基づく信号成分を、音声信号として出力する音声信号出力部を備える、請求項１に記載の信号処理装置。
  10. 　音声信号出力部は、前記減算信号を前記音声信号として出力する、請求項９に記載の信号処理装置。
  11. 　前記第１の音響を集音する第１の集音部と、前記第２の音響を集音する第２の集音部とのうち、少なくともいずれかを含む、請求項１に記載の信号処理装置。
  12. 　前記音響デバイスを含む、請求項１に記載の信号処理装置。
  13. 　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する音響の集音結果を取得する取得部と、
    　前記音響の集音結果に基づき、前記外部空間から外耳道内に向けて直接伝搬する前記音響と、前記外部空間から前記装着部を介して前記外耳道内に伝搬する前記音響との差分に略等しい差分信号を生成するフィルタ処理部と、
    　前記装着部の内側から前記外耳道内に向けて音響デバイスから出力させる入力音響信号に対して、前記差分信号を加算することで、前記音響デバイスを駆動するための駆動信号を生成する加算部と、
    　を備え、
    　前記外部空間を伝搬する音響が集音されてから、当該音響に基づく前記差分信号が加算された前記駆動信号に基づく音響が、前記音響デバイスから出力されるまでの遅延量が１００μ秒以下である、
    　信号処理装置。
  14. 　前前記外部空間を伝搬する音響の集音結果を、第１のサンプリングレートで第１のデジタル信号にＡＤ変換するＡＤ変換部と、
    　前記第１のデジタル信号を、前記第１のサンプリングレートよりも低く、前記入力音響信号を標本化するための第２のサンプリングレートよりも高い、第３のサンプリングレートにダウンサンプリングすることで第２のデジタル信号を生成する、デシメーションフィルタと、
    　前記第３のサンプリングレートで標本化されたデジタル信号を、第１のサンプリングレートにアップサンプリングするインターポレーションフィルタと、
    　前記インターポレーションフィルタの出力結果をアナログの音響信号にＤＡ変換するＤＡ変換部と、
    　を備え、
    　前記フィルタ処理部は、前記第２のデジタル信号を入力信号として、前記差分信号を生成する、
    　請求項１３に記載の信号処理装置。
  15. 　プロセッサが、
    　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
    　前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
    　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
    　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
    　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
    　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
    　を含む、信号処理方法。
  16. 　コンピュータに、
    　聴取者の耳に対して装着される装着部の外側の外部空間を伝搬する第１の音響の集音結果を取得することと、
    　前記装着部の内側の外耳道と連接する内部空間を伝搬する第２の音響の集音結果を取得することと、
    　前記第１の音響の集音結果に基づき、前記外部空間から前記外耳道内に向けて直接伝搬する前記第１の音響と、前記外部空間から前記装着部を介して前記内部空間に伝搬する前記第１の音響との差分に略等しい差分信号を生成することと、
    　前記第２の音響の集音結果から、前記第１の音響の集音結果に基づく第１の信号成分と、前記装着部の内側から前記内部空間に向けて音響デバイスから出力させる入力音響信号に基づく第２の信号成分とが減算された減算信号を生成することと、
    　前記減算信号に基づき、当該減算信号を低減するためのノイズ低減信号を生成することと、
    　前記入力音響信号に対して、前記差分信号と、前記ノイズ低減信号とを加算することで、前記音響デバイスを駆動するための駆動信号を生成することと、
    　を実行させる、プログラム。
PCT/JP2016/056504 2015-04-17 2016-03-02 信号処理装置、信号処理方法、及びプログラム WO2016167040A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/565,524 US10349163B2 (en) 2015-04-17 2016-03-02 Signal processing device, signal processing method, and program
JP2017512224A JP6604376B2 (ja) 2015-04-17 2016-03-02 信号処理装置、信号処理方法、及びプログラム
EP19196604.3A EP3614690A1 (en) 2015-04-17 2016-03-02 Ambient sound hearing device
CN201680021159.9A CN107431852B (zh) 2015-04-17 2016-03-02 信号处理装置、信号处理方法及计算机可读存储介质
EP16779832.1A EP3285497B1 (en) 2015-04-17 2016-03-02 Signal processing device and signal processing method
US16/354,710 US10667034B2 (en) 2015-04-17 2019-03-15 Signal processing device, signal processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015084817 2015-04-17
JP2015-084817 2015-04-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/565,524 A-371-Of-International US10349163B2 (en) 2015-04-17 2016-03-02 Signal processing device, signal processing method, and program
US16/354,710 Continuation US10667034B2 (en) 2015-04-17 2019-03-15 Signal processing device, signal processing method, and program

Publications (1)

Publication Number Publication Date
WO2016167040A1 true WO2016167040A1 (ja) 2016-10-20

Family

ID=57126748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056504 WO2016167040A1 (ja) 2015-04-17 2016-03-02 信号処理装置、信号処理方法、及びプログラム

Country Status (5)

Country Link
US (2) US10349163B2 (ja)
EP (2) EP3285497B1 (ja)
JP (1) JP6604376B2 (ja)
CN (1) CN107431852B (ja)
WO (1) WO2016167040A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163423A1 (ja) * 2017-03-10 2018-09-13 ヤマハ株式会社 ヘッドフォン
CN110603582A (zh) * 2017-03-09 2019-12-20 爱浮诺亚股份有限公司 实时声学处理器
KR20200112863A (ko) * 2018-02-01 2020-10-05 시러스 로직 인터내셔널 세미컨덕터 리미티드 선택가능한 샘플 레이트들을 갖는 능동 잡음 소거(anc) 시스템
JP2022528713A (ja) * 2019-04-16 2022-06-15 華為技術有限公司 ノイズキャンセル装置及び方法
WO2022264535A1 (ja) 2021-06-18 2022-12-22 ソニーグループ株式会社 情報処理方法および情報処理システム
WO2022264540A1 (ja) 2021-06-18 2022-12-22 ソニーグループ株式会社 情報処理方法、情報処理システム、およびデータ収集方法、およびデータ収集システム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6604376B2 (ja) 2015-04-17 2019-11-13 ソニー株式会社 信号処理装置、信号処理方法、及びプログラム
US10483931B2 (en) * 2017-03-23 2019-11-19 Yamaha Corporation Audio device, speaker device, and audio signal processing method
TWI648731B (zh) * 2017-07-24 2019-01-21 驊訊電子企業股份有限公司 主動式降噪系統
CN108206023A (zh) * 2018-04-10 2018-06-26 南京地平线机器人技术有限公司 声音处理设备和声音处理方法
WO2019236110A1 (en) * 2018-06-08 2019-12-12 Halfaker Alvin J Noise reduction earmuffs system and method
BR112021013445A2 (pt) * 2019-01-15 2021-10-19 Nec Corporation Dispositivo de processamento de informações, dispositivo usável, método de processamento de informações, e meio de armazenamento
EP3960259A4 (en) * 2019-04-26 2023-05-17 Sony Interactive Entertainment Inc. INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING DEVICE CONTROL METHOD, AND PROGRAM
US11223891B2 (en) * 2020-02-19 2022-01-11 xMEMS Labs, Inc. System and method thereof
CN116940980A (zh) 2021-04-22 2023-10-24 谷歌有限责任公司 声学噪声消除的复杂度降低的实现
WO2023107426A2 (en) * 2021-12-07 2023-06-15 Bose Corporation Audio device having aware mode auto-leveler

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193421A (ja) * 2007-02-05 2008-08-21 Sony Corp 信号処理装置、信号処理方法
US20140126756A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. Binaural Telepresence

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072476B2 (en) * 1997-02-18 2006-07-04 Matech, Inc. Audio headset
US8761385B2 (en) * 2004-11-08 2014-06-24 Nec Corporation Signal processing method, signal processing device, and signal processing program
GB2434708B (en) * 2006-01-26 2008-02-27 Sonaptic Ltd Ambient noise reduction arrangements
GB2446966B (en) * 2006-04-12 2010-07-07 Wolfson Microelectronics Plc Digital circuit arrangements for ambient noise-reduction
US8208644B2 (en) * 2006-06-01 2012-06-26 Personics Holdings Inc. Earhealth monitoring system and method III
JP5194434B2 (ja) * 2006-11-07 2013-05-08 ソニー株式会社 ノイズキャンセリングシステムおよびノイズキャンセル方法
US8718305B2 (en) * 2007-06-28 2014-05-06 Personics Holdings, LLC. Method and device for background mitigation
WO2008091874A2 (en) * 2007-01-22 2008-07-31 Personics Holdings Inc. Method and device for acute sound detection and reproduction
JP2008258878A (ja) * 2007-04-04 2008-10-23 Matsushita Electric Ind Co Ltd マイクを有する音声出力装置
US9191740B2 (en) * 2007-05-04 2015-11-17 Personics Holdings, Llc Method and apparatus for in-ear canal sound suppression
JP4631939B2 (ja) * 2008-06-27 2011-02-16 ソニー株式会社 ノイズ低減音声再生装置およびノイズ低減音声再生方法
CN201303410Y (zh) * 2008-11-12 2009-09-02 中北大学 新型耳机
US8526628B1 (en) * 2009-12-14 2013-09-03 Audience, Inc. Low latency active noise cancellation system
US9275621B2 (en) * 2010-06-21 2016-03-01 Nokia Technologies Oy Apparatus, method and computer program for adjustable noise cancellation
GB2492983B (en) * 2011-07-18 2013-09-18 Incus Lab Ltd Digital noise-cancellation
US20140126733A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. User Interface for ANR Headphones with Active Hear-Through
US8798283B2 (en) * 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
US20140126736A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. Providing Audio and Ambient Sound simultaneously in ANR Headphones
KR101382553B1 (ko) * 2013-02-27 2014-04-07 한밭대학교 산학협력단 외부상황 인지 리시버
CN103200480A (zh) * 2013-03-27 2013-07-10 北京昆腾微电子有限公司 耳麦及其工作方法
CN103269465B (zh) * 2013-05-22 2016-09-07 歌尔股份有限公司 一种强噪声环境下的耳机通讯方法和一种耳机
JP6604376B2 (ja) 2015-04-17 2019-11-13 ソニー株式会社 信号処理装置、信号処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193421A (ja) * 2007-02-05 2008-08-21 Sony Corp 信号処理装置、信号処理方法
US20140126756A1 (en) * 2012-11-02 2014-05-08 Daniel M. Gauger, Jr. Binaural Telepresence

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3285497A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163300B2 (ja) 2017-03-09 2022-10-31 アバネラ コーポレイション リアルタイム音響プロセッサ
JP2020510240A (ja) * 2017-03-09 2020-04-02 アバネラ コーポレイションＡｖｎｅｒａ Ｃｏｒｐｏｒａｔｉｏｎ リアルタイム音響プロセッサ
CN110603582A (zh) * 2017-03-09 2019-12-20 爱浮诺亚股份有限公司 实时声学处理器
US10932030B2 (en) 2017-03-10 2021-02-23 Yamaha Corporation Headphones
US10735849B2 (en) 2017-03-10 2020-08-04 Yamaha Corporation Headphones
JPWO2018163423A1 (ja) * 2017-03-10 2019-12-26 ヤマハ株式会社 ヘッドフォン
WO2018163423A1 (ja) * 2017-03-10 2018-09-13 ヤマハ株式会社 ヘッドフォン
KR20200112863A (ko) * 2018-02-01 2020-10-05 시러스 로직 인터내셔널 세미컨덕터 리미티드 선택가능한 샘플 레이트들을 갖는 능동 잡음 소거(anc) 시스템
KR102403305B1 (ko) 2018-02-01 2022-06-02 시러스 로직 인터내셔널 세미컨덕터 리미티드 선택가능한 샘플 레이트들을 갖는 능동 잡음 소거(anc) 시스템
JP2022528713A (ja) * 2019-04-16 2022-06-15 華為技術有限公司 ノイズキャンセル装置及び方法
JP7410173B2 (ja) 2019-04-16 2024-01-09 華為技術有限公司 ノイズキャンセル装置及び方法
US11962968B2 (en) 2019-04-16 2024-04-16 Huawei Technologies Co., Ltd. Noise cancellation apparatus and method
WO2022264535A1 (ja) 2021-06-18 2022-12-22 ソニーグループ株式会社 情報処理方法および情報処理システム
WO2022264540A1 (ja) 2021-06-18 2022-12-22 ソニーグループ株式会社 情報処理方法、情報処理システム、およびデータ収集方法、およびデータ収集システム

Also Published As

Publication number Publication date
EP3285497A1 (en) 2018-02-21
EP3285497B1 (en) 2021-10-27
CN107431852B (zh) 2019-10-01
US20190215598A1 (en) 2019-07-11
JP6604376B2 (ja) 2019-11-13
JPWO2016167040A1 (ja) 2018-02-08
US10667034B2 (en) 2020-05-26
US20180115818A1 (en) 2018-04-26
CN107431852A (zh) 2017-12-01
US10349163B2 (en) 2019-07-09
EP3285497A4 (en) 2019-03-27
EP3614690A1 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
JP6604376B2 (ja) 信号処理装置、信号処理方法、及びプログラム
CN103959813B (zh) 耳孔可佩戴式声音收集设备，信号处理设备和声音收集方法
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
WO2013084811A1 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP2015204627A (ja) 電気的ヒスを低減するａｎｃ能動雑音制御オーディオヘッドセット
JP2008118498A (ja) デジタルフィルタ回路、デジタルフィルタプログラムおよびノイズキャンセリングシステム
WO2009136953A1 (en) Method and device for acoustic management control of multiple microphones
CN112399301B (zh) 耳机及降噪方法
CN107889007B (zh) 消除降噪通路对播放声音影响的主动降噪方法及系统
US10034087B2 (en) Audio signal processing for listening devices
JP2008197438A (ja) 信号処理装置、信号処理方法
JP6197930B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
CN115706909A (zh) 包括反馈控制系统的听力装置
JP2010091897A (ja) 音声信号強調装置
JP2019532355A (ja) ヘッドホンのためのアクティブノイズ消去システム
EP4300992A1 (en) A hearing aid comprising a combined feedback and active noise cancellation system
JPWO2016059878A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
Zhuang et al. A constrained optimal hear-through filter design approach for earphones
CN114501211A (zh) 具有丽音通透性的主动降噪电路、方法、设备及存储介质
US11812224B2 (en) Hearing device comprising a delayless adaptive filter
JP2015187694A (ja) ボイスキャンセリング装置
US11950057B2 (en) Hearing device comprising a speech intelligibility estimator
US20220406328A1 (en) Hearing device comprising an adaptive filter bank
EP4297435A1 (en) A hearing aid comprising an active noise cancellation system
JP2009232204A (ja) 信号処理装置、信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16779832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512224

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016779832

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15565524

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE