WO2021039004A1 - 音響処理装置、音響処理方法及びプログラム - Google Patents

音響処理装置、音響処理方法及びプログラム Download PDF

Info

Publication number
WO2021039004A1
WO2021039004A1 PCT/JP2020/021755 JP2020021755W WO2021039004A1 WO 2021039004 A1 WO2021039004 A1 WO 2021039004A1 JP 2020021755 W JP2020021755 W JP 2020021755W WO 2021039004 A1 WO2021039004 A1 WO 2021039004A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
processing
signal
filter
deformation
Prior art date
Application number
PCT/JP2020/021755
Other languages
English (en)
French (fr)
Inventor
祐史 山邉
マヘンドラ コーダヴァティ
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/635,057 priority Critical patent/US20220293082A1/en
Publication of WO2021039004A1 publication Critical patent/WO2021039004A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17813Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
    • G10K11/17817Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17833Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by using a self-diagnostic function or a malfunction prevention function, e.g. detecting abnormal output levels
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10Applications
    • G10K2210/108Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081Earphones, e.g. for telephones, ear protectors or headsets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3014Adaptive noise equalizers [ANE], i.e. where part of the unwanted sound is retained
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3023Estimation of noise, e.g. on error signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/50Miscellaneous
    • G10K2210/506Feedback, e.g. howling

Definitions

  • This disclosure relates to an audio processing device, an audio processing method and a program.
  • a noise canceling system that reduces (cancels) noise in the external environment when listening to music through earphones, headphones, etc., and provides a good music playback environment for listeners (users).
  • a feedback type noise canceling method using a microphone installed inside the housing and a feedforward type noise canceling method using a microphone installed outside the housing are known.
  • Patent Document 1 below describes a feedback type noise canceling method using an internal model control method (IMC (Internal Model Control) method).
  • Earphones and headphones worn on the user's ear may cause howling if the wearing state is different from the normal state. Such howling causes discomfort to the user who listens to the music. Therefore, it is desired that control is performed so that howling does not occur while the noise canceling performance is appropriately maintained.
  • One of the purposes of the present disclosure is to provide an acoustic processing device, an acoustic processing method, and a program in which howling does not occur while appropriately maintaining the noise canceling performance.
  • the present disclosure is, for example, A sensor that detects deformation of the wearing part that is attached to the user's ear, It is an acoustic processing device having a control unit that switches a mode for canceling noise according to a detection result of deformation of the mounting unit.
  • the present disclosure is, for example, It has a control unit that switches the noise cancellation mode by switching the characteristics of the filter to be used according to the change in the transfer function that occurs according to the deformation of the mounting unit.
  • the control unit is an audio processing device that switches a detection signal for detecting a change in the transfer function according to the power of the voice signal reproduced via the mounting unit and the magnitude of noise.
  • the present disclosure is, for example, The sensor detects the deformation of the wearing part that is worn on the user's ear.
  • This is an acoustic processing method in which the control unit switches the mode for canceling noise according to the detection result of deformation of the mounting unit.
  • the present disclosure is, for example, The sensor detects the deformation of the wearing part that is worn on the user's ear.
  • This is a program in which the control unit causes a computer to execute an acoustic processing method for switching a mode for canceling noise according to a detection result of deformation of the mounting unit.
  • FIG. 1A and 1B are diagrams that are referenced when discussing issues to be considered in embodiments.
  • FIG. 2 is a diagram that is referred to when a problem to be considered in the embodiment is explained.
  • 3A and 3B are diagrams that are referenced when discussing issues to be considered in embodiments.
  • FIG. 4 is a diagram that is referred to when a problem to be considered in the embodiment is explained.
  • FIG. 5 is a diagram showing an example of the appearance of the headphones according to the present embodiment.
  • FIG. 6 is a diagram referred to when explaining a configuration example of headphones according to the present embodiment.
  • FIG. 7 is a diagram referred to when explaining a configuration example of headphones according to the present embodiment.
  • FIG. 8 is a diagram referred to when explaining a configuration example of headphones according to the present embodiment.
  • FIG. 1A and 1B are diagrams that are referenced when discussing issues to be considered in embodiments.
  • FIG. 2 is a diagram that is referred to when a problem to be considered in the embodiment
  • FIG. 9 is a diagram showing an example of internal configuration of headphones according to the present embodiment.
  • FIG. 10 is a diagram showing another internal configuration example of the headphones according to the present embodiment.
  • FIG. 11 is a diagram referred to when explaining a configuration example of the noise canceling processing unit according to the present embodiment.
  • FIG. 12 is a diagram referred to when explaining a configuration example of the noise canceling processing unit according to the present embodiment.
  • FIG. 13 is a diagram showing an equation showing a signal in Px.
  • FIG. 14 is a diagram showing the results of solving simultaneous equations for each point of Px.
  • FIG. 15 is a diagram showing the results of solving simultaneous equations for each point of Px.
  • FIG. 16 is a diagram in which the results shown in FIGS. 14 and 15 are sorted by item.
  • FIG. 17 is a diagram referred to when explaining a setting example of the detection signal.
  • FIG. 18 is a diagram referred to when explaining an operation example of the headphones according to the present embodiment.
  • FIG. 19 is a flowchart referred to when explaining a first processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 20 is a flowchart referred to when explaining a second processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 21 is a flowchart referred to when explaining a third processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 22 is a flowchart referred to when explaining a fourth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 23 is a flowchart referred to when explaining a fourth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 24 is a flowchart referred to when explaining a fifth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 25 is a flowchart referred to when explaining a fifth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 26 is a flowchart referred to when explaining a sixth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 27 is a flowchart referred to when explaining a sixth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 28 is a diagram referred to when explaining a sixth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 24 is a flowchart referred to when explaining a fifth processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 25 is a flowchart referred to when explaining a fifth processing
  • FIG. 29 is a flowchart referred to when explaining a seventh processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 30 is a flowchart referred to when explaining a seventh processing example that can be executed by the headphones according to the present embodiment.
  • FIG. 31 is a diagram for explaining a modified example.
  • FIG. 32 is a diagram for explaining a modified example.
  • FIG. 33 is a diagram for explaining a modified example.
  • FIG. 34 is a diagram for explaining a modified example.
  • FIG. 35 is a diagram for explaining a modified example.
  • the noise canceling method is roughly divided into a feedback method and a feedforward method.
  • the feedback method is appropriately referred to as the FB method
  • the feedforward method is appropriately referred to as the FF method.
  • the FB method As shown in FIG. 1A, there is a microphone 1B inside the headphone housing 1A, and the reverse phase component of the signal picked up by the microphone 1B is returned to the input side and servo-controlled from the outside.
  • This is a method of attenuating the noise that has entered the housing.
  • the microphone 1B since the sound at the microphone position serves as the control point, the microphone 1B is often provided at a position close to the ear, that is, in front of the diaphragm of the speaker 1C (driver) in consideration of the noise attenuation effect.
  • FIG. 1B is a block diagram showing a configuration example for realizing the FB method.
  • A, D, M, and - ⁇ indicate transfer functions of a power amplifier, a driver, a microphone and a microphone amplifier, and a filter designed for feedback.
  • H is a transfer function of the space from the driver to the microphone (microphone 1B), and each transfer function is assumed to be expressed in a complex number.
  • N is noise that has entered the vicinity of the microphone 1B in the headphones from an external noise source
  • P is the sound pressure that reaches the listener's (user's) ear.
  • E in the following description is a transfer function of the equalizer applied to the signal S which is the purpose of listening.
  • the cause of noise being transmitted to the inside of the headphones is, for example, when the sound pressure leaks from the gap between the ear pads or earpieces, the holes provided so as to connect to the outside world from the front of the headphones, and the headphone housing receives the sound pressure. As a result of vibration, sound is transmitted to the inside of the housing.
  • Equation 1 the sound pressure P in the block diagram shown in FIG. 1B can be expressed by the following equation 1. (Equation 1)
  • Equation 2 Equation 2
  • Equation 3 Equation 3
  • Equation 4 in which the loop portion related to noise N is cut at one place (Equation 4) Is referred to as an "open loop", which has characteristics represented by a Bode diagram as shown in FIG. 2, for example.
  • the above conditions are -When passing through the point of phase 0 deg., The gain must be less than 0 dB. -When the gain is 0 dB or more, the point of phase 0 deg. Must not be included. It is necessary to satisfy the two conditions. If the above conditions are not satisfied, the loop will receive positive feedback and cause howling (oscillation).
  • Pa and Pb represent the phase margin
  • Ga and Gb represent the gain margin. If these margins are small, the risk of howling increases due to individual differences and variations in mounting.
  • S is originally played by the headphone driver, such as the sound of the microphone outside the housing (used as a hearing aid function) and the audio signal via communication (used as a headset). It is a sound corresponding to the signal generic name of what should be.
  • Equation 5 Equation 5
  • Equation 6 Equation 6
  • H is the transfer function from the driver to the microphone (ear)
  • a and D are the transfer functions of the power amplifier and driver characteristics, respectively, so the normal noise reduction function can be used. It can be seen that the same characteristics as the headphones that do not have can be obtained.
  • the microphone 1B is basically installed outside the headphone housing 1A, and the noise picked up by the microphone 1B is appropriately filtered to be applied to the housing. This is a method intended to reproduce this with an internal driver and cancel this noise near the ear.
  • Equation 7 represents a transfer function from the noise source to the microphone position.
  • Equation 8 the following equation 8 is used (Equation 8).
  • Equation 7 can be expressed by the following equation 9, and it can be seen that the noise N is canceled, only the music signal (or the audio signal to be listened to, etc.) remains, and the sound similar to the normal headphone operation can be heard. .. (Equation 9)
  • Equation 8 it is difficult to construct a complete filter having a transfer function such that Equation 8 is completely satisfied.
  • this active noise reduction processing is usually performed for the mid-high range because there are large individual differences depending on the person wearing and ear shape, and the characteristics change depending on the noise position and microphone position.
  • passive sound insulation is provided in the headphone housing instead.
  • Equation 8 means that the transfer function from the noise source to the ear position is imitated by an electric circuit including ⁇ .
  • the cancellation point here can be set at any ear position of the listener, unlike the feedback type shown in FIG. 1A.
  • is fixed, and at the design stage, it is decided to target some target characteristics, and depending on the person, the shape of the ear is different, so a sufficient noise canceling effect can be obtained.
  • Phenomena such as abnormal noise may occur due to the fact that noise components are added in a non-reverse phase.
  • the FF method has a low possibility of oscillation and high stability, but it is difficult to obtain a sufficient amount of attenuation, whereas the FB method can expect a large amount of attenuation. In addition, it is necessary to pay attention to the stability of the system.
  • the FB method used in FIG. 1 is appropriately referred to as BCC (Basic Closed Loop Control) in the following description.
  • BCC Basic Closed Loop Control
  • FIG. 4 shows a block diagram showing a circuit configuration example to which the method using the IMC model is applied. According to such a method, the sound pressure P can be expressed by the following equation 10. (Equation 10)
  • the FB method, the FF method, and the like can be combined with each other. Further, various methods related to noise cancellation described in Patent Document 1 described above can be applied to the present disclosure.
  • the H term which is a transfer function of the space from the headphone driver to the microphone (for example, the microphone 1C described above), depends on the acoustic impedance of the space created by the head, ear pads, and housing. Change. Therefore, the H term changes when the mounting state is different from the normal mounting state (normal mounting state). For example, if the earpads of the headphones are pressed against the seat by sleeping with the headphones on an airplane or a train, the earpads are greatly deformed and the H term changes. As a result, even if a stable feedback loop characteristic is ensured in the normal wearing state, howling may occur depending on the usage situation of the user.
  • the present disclosure maintains noise canceling performance in the normal mounting state, and cancels noise to the extent that howling does not occur in a mounting state different from the normal mounting state (hereinafter, appropriately referred to as an abnormal mounting state). Suppress performance.
  • an abnormal mounting state a mounting state different from the normal mounting state
  • an overhead type headphone is given as an example of the sound processing device.
  • the present disclosure can also be applied to in-ear type earphones and the like other than overhead type headphones.
  • FIG. 5 is a diagram showing an external example of the headphones (headphones 10) according to the present embodiment.
  • the headband 10 is composed of, for example, a headband 11, a slider 12, a hanger 13, a housing 14, and an ear pad 15.
  • the headband 11 is formed in a curved shape along the wearer's head, and supports the entire headband 10 by contacting the wearer's crown in the wearing state.
  • the headband 11 is made of synthetic resin such as plastic, metal, or the like, and has flexibility by having predetermined rigidity and elasticity.
  • the housing 14 and the ear pads 15 can be pressed toward the wearer's temporal region at the time of wearing to maintain the wearing state of the headphones 10.
  • rubber or the like may be provided as a cushioning material on the inner surface of the headband 11 in contact with the crown of the wearer.
  • a hinge may be provided so that the headphones 10 can be folded in the center when being carried.
  • a slider 12 is provided at a predetermined position in the extending direction of the headband 11.
  • a hanger 13 is attached to the end of the slider 12. By sliding the slider 12 along the guide member, the hanger 13 can be moved so as to move away from or closer to the headband 11.
  • the hanger 13 rotatably supports the housing 14.
  • the hanger 13 rotatably supports the housing 14 by, for example, axially supporting the housing 14 with support pins (not shown) protruding inward from a pair of tips.
  • the housing 14 as a housing has a storage space inside, and houses a driver unit or the like as an audio output unit that converts an electric signal into sound waves and outputs the sound wave.
  • the housing 14 is formed of, for example, a synthetic resin such as plastic.
  • the ear pad 15 which is an example of the mounting portion, is provided on the surface of the housing 14 on the side facing the temporal region of the wearer (see FIG. 6).
  • the ear pad 15 functions as a cushioning member between the housing 14 and the wearer's temporal region by interposing between the housing 14 and the wearer's temporal region.
  • the ear pad 15 prevents the housing 14 made of a hard material that is not easily deformed from directly contacting the wearer's ears and temporal region and causing discomfort or pain to the wearer when the headphones 10 are worn. is there.
  • the housing 14 and the ear pads 15 may be mounting portions.
  • the headphone 10 has a sensor 16 that detects deformation of the ear pad 15.
  • the sensor 16 is, for example, two pressure sensors provided inside the ear pad 15 or in a support portion that supports the ear pad 15.
  • the sensor 16 is, for example, a film that is deformed by pressure, and a sensor whose resistance value changes by deformation. Based on the voltage output from the sensor 16, it is determined whether the headphones 10 are in the normal wearing state or in the abnormal wearing state. Specifically, if the voltage output from the sensor 16 is within the threshold value, it is determined to be in the normal mounting state, and if the voltage output from the sensor 16 is larger than the threshold value, it is determined to be in the abnormal mounting state.
  • the sensor 16 may be a distance sensor provided in the housing 14. For example, as shown in FIG. 7, when the distance to the ear pad 15 detected by the sensor 16 is larger than the threshold value, it is determined to be in the normal wearing state. Further, as shown in FIG. 8, when the distance to the ear pad 15 detected by the sensor 16 is equal to or less than the threshold value, it is determined that the ear pad 15 is pushed more strongly than the normal wearing state. To.
  • the sensor 16 may be a sensor that combines the pressure sensor and the distance sensor described above, or other sensors may be applied. Although only a part of the configuration of the headphone 10 (only one side) is shown in FIGS. 7 and 8, the headphone 10 has a distance sensor or the like for the ear pad 15 on the other side of the headphone 10. You may.
  • FIG. 9 is a block diagram showing an example of internal configuration of the headphones 10 according to the present embodiment.
  • the headphones 10 include, for example, a control unit 20, a communication unit 21, a noise canceling processing unit 22, a speaker 23, an FF microphone 24 which is a microphone for canceling noise based on the FF method, and noise based on the FB method. It has an FB microphone 25, which is a microphone for canceling, and a microphone 30 for transmitting.
  • the control unit 20 includes a noise / music analysis unit 20A, an analysis method switching determination unit 20B, an acoustic system change analysis unit 20C, and a filter switching determination unit 20D. Although these configurations are basically provided corresponding to the left and right channels of the headphone 10, some configurations may be shared between the left and right channels.
  • the communication unit 21 acquires a music signal as a playback source by communicating with a smartphone, a personal computer, or the like.
  • the communication may be wireless communication or wired communication.
  • the music signal acquired by the communication unit 21 is supplied to the noise / music analysis unit 20A.
  • the control unit 20 switches the mode for canceling noise according to the detection result of the deformation of the ear pad 15. More specifically, the control unit 20 switches the mode for canceling noise according to the transfer function until the sound radiated from the speaker reaches the microphone for feedback.
  • the modes for canceling noise are, for example, a mode in which the noise canceling performance is above a certain level (a mode in which the loop gain in feedback is increased) and a mode in which the noise canceling performance is below a certain level (a mode in which the loop gain in feedback is lowered). including.
  • the noise / music analysis unit 20A analyzes a plurality of signals (hereinafter, appropriately referred to as signal groups) input to itself. Then, the noise / music analysis unit 20A supplies the analysis result to the analysis method switching determination unit 20B.
  • the signal group includes a signal acquired by the FF microphone 24, a signal acquired by the FB microphone 25, a signal in the middle of processing by the noise canceling processing unit 22 (may be a part or all), and a noise canceling processing unit. Examples thereof include signals processed by 22.
  • the analysis method switching determination unit 20B selects a detection signal for detecting a change in the H term (more specifically, the HM term) in the above-mentioned open loop according to the analysis result, and uses the selected detection signal as the detection signal. Based on this, the algorithm for determining the change in HM is specified.
  • the acoustic system change analysis unit 20C detects the change in HM by the detection signal and algorithm selected by the analysis method switching determination unit 20B.
  • the change in HM detected by the acoustic system change analysis unit 20C is supplied to the filter switching determination unit 20D.
  • the filter switching determination unit 20D generates a control signal for switching the characteristics of the filter based on the change in HM supplied from the acoustic system change analysis unit 20C.
  • the control signal generated by the filter switching determination unit 20D is supplied to the noise canceling processing unit 22, and the characteristics of the filter possessed by the noise canceling processing unit 22 are switched.
  • the filter whose characteristics can be switched includes at least a filter (feedback filter) for canceling noise by the FB method.
  • the filter whose characteristics can be switched may include a filter (feedforward filter) for canceling noise by the FF method. Further, the characteristics of the equalizer that performs the equalizing process on the music signal may be switched.
  • Switching the characteristics of the filter includes switching the filter to be used, changing the parameter (specifically, gain) of the filter, and the like. Further, when switching the characteristics of the filter, known processing (fade-in, out processing, etc.) may be performed in order to prevent a sudden change in the reproduced music signal.
  • control unit 20 may perform known control related to processing other than the above-mentioned processing.
  • the noise canceling processing unit 22 performs noise canceling processing by a method described later.
  • the signal that has been subjected to noise canceling processing by the noise canceling processing unit 22 is reproduced from the speaker 23.
  • the source supplied from the external device to the headphones 10 may be a signal other than the music signal.
  • the communication unit 21 communicates with another communication device by wireless communication as shown in FIG. Examples of wireless communication include LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (registered trademark), WUSB (WirelessUSB), mobile phone network, and the Internet.
  • wireless communication include LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi (registered trademark), WUSB (WirelessUSB), mobile phone network, and the Internet.
  • noise cancellation processing may be performed on a call signal other than the music signal transmitted from the external device and acquired by the communication unit 21.
  • the noise canceling processing unit 22 performs noise canceling processing on the user's voice signal input to the transmission microphone 30, and the noise canceling processed voice signal is transmitted to the outside of the smartphone or the like via the communication unit 21. It may be sent to the device.
  • the FF microphone 24 is provided on the outside of the housing 14. Further, the FB microphone 25 and the speaker 23 are provided inside the housing 14.
  • the noise canceling processing unit 22 includes, for example, a filter circuit 221, an adder 222, a subtractor 223, a filter circuit 224, an adder 225, an adder 226, and a characteristic imparting unit 227.
  • the filter circuit 224 has a filter circuit 224A and a filter circuit 224B. Switching between the filter circuit 224A and the filter circuit 224B is performed under the control of the control unit 20 as described above.
  • the parameter gains of the filter circuit 221 and the filter circuit 224A and the filter circuit 224B are indicated by ⁇ , ⁇ 1 , and ⁇ 2 , respectively. These parameter gains are stored in, for example, a memory (not shown) included in the control unit 20.
  • ⁇ 1 ⁇ 2 is established between the parameter gain ⁇ 1 of the filter circuit 224A and the parameter gain ⁇ 2 of the filter circuit 224B. The higher (larger) the open loop (- ⁇ HM), the higher the noise canceling performance.
  • the filter circuit 224B when the filter circuit 224B is used, the noise canceling performance is higher than when the filter circuit 224A is used.
  • ⁇ HM becomes larger than a certain level, the feedback loop system becomes unstable and howling becomes easy. Therefore, it is necessary to use the filter circuit 224A in a situation where howling is likely to occur.
  • N is noise emitted from the noise source and reaches the FF microphone 24
  • d1 disurburance1
  • d1 disurburance1
  • F The transfer function from the FF microphone 24 to the FB microphone 25.
  • F represents a transfer function in which noise leaks into the inside (ear side) of the headphones.
  • sound transmitted through the ear pad 15 (earpiece depending on the configuration) and other acoustic transmission in the housing. Includes path characteristics.
  • the HM shows the transfer function until the sound emitted by the driver is picked up by the FB microphone 25.
  • d2 is, for example, an impact sound during walking, a sound of hitting headphones, or the like.
  • m is a sound to be heard by the wearer, which is reproduced from headphones, such as music or call voice, and corresponds to a music signal in the present embodiment.
  • the music signal is equalized by an equalizer (EQ) 28.
  • EQ equalizer
  • the signal subjected to the equalizing process is represented as a music signal m.
  • the noise due to the noise N from the noise source is collected by the FF microphone 24 and output to the filter circuit 221 as a noise signal.
  • the filter circuit 221 performs noise canceling processing by a feedforward method based on the noise signal, and outputs the noise canceling signal to the adder 222.
  • the adder 222 adds the outputs (noise cancel signals) of the filter circuit 221 and the adder 226 and outputs them to the speaker 23.
  • the sound reproduced from the speaker 23 is collected by the FB microphone 25 via the transfer function H.
  • the output of the FB microphone 25 is supplied to the subtractor 223.
  • the subtractor 223 subtracts the output of the characteristic imparting unit 227 from the output of the FB microphone 25.
  • the subtractor 223 outputs the subtracted signal to the filter circuit 224.
  • the filter circuit 224 performs a predetermined filter process on the signal output from the subtractor 223 to generate a noise canceling signal for canceling the external noise reaching the user's ear.
  • the filter circuit 224 manipulates the gain, phase, and amplitude characteristics of the signal output from the subtractor 223 by the parameter gain ⁇ 1 or ⁇ 2.
  • the filter circuit 224 may be composed of, for example, an FIR filter or an IIR filter.
  • the adder 225 adds the outputs of the filter circuit 224A and the filter circuit 224B. When any one filter circuit is used, the output of the one filter circuit becomes the output of the adder 225.
  • the adder 226 adds the music signal m and the output of the adder 225 including the noise canceling signal. The output of adder 226 is supplied to adder 222.
  • the characteristic imparting unit 227 imparts HM', which is a predetermined characteristic, to the music signal m.
  • HM' which is a predetermined characteristic, is an HM corresponding to a normal wearing state, and is preset (modeled).
  • the output of the characteristic imparting unit 227 is supplied to the subtractor 223. Therefore, when the headphones 10 are normally worn, the output of the subtractor 223 is ideally 0.
  • ⁇ HM a deviation of the HM
  • the configuration of the noise canceling processing unit 22 may be the configuration shown in FIG. Specifically, the configuration of the characteristic imparting unit 227 is replaced with the ⁇ HM detection unit 228 shown in FIG. Incidentally, when the sound coming into the FB microphone 25 in FIG. 12 and P 0, the signal of P 0 is, to that F is convolved in N, we can consider the sum of d2 (disturburance2).
  • the signal of P 1 in FIG. 12 is a sound finally input to the headphone driver via a DAC (Digital Analog Converter) or a headphone amplifier. Further, Px (in this example, P 2 ⁇ P 8) is calculated in the noise canceling process, a sound of intermediate results.
  • FIG. 16 shows a table in which the results shown in FIGS. 14 and 15 are sorted by item.
  • a change in HM is detected by using one or a plurality of P x , which is an external noise due to a change in HM ( ⁇ HM), and a change in music signal m, which is easy to detect.
  • the characteristics of the filter and the like used for the noise canceling process are switched according to the change in the HM.
  • the detection signal for detecting ⁇ HM is switched according to the magnitude of the power of the music signal m and the magnitude of the noise.
  • four quadrants are set according to the magnitude of the power of the music signal m and the magnitude of the noise.
  • Pattern 1 is a pattern in which the power of the music signal m is large and the noise is also large.
  • Pattern 2 is a pattern in which the power of the music signal m is small and the noise is large.
  • Pattern 3 is a pattern in which the power of the music signal m is large and the noise is small.
  • Pattern 4 is a pattern in which the power of the music signal m is small and the noise is also small.
  • the transfer function related to the music signal m-Nf + d2 that is, the transfer function related to the noise leaking into the headphones 10-N + d1
  • the transfer function related to the input of the FF microphone 24 can be expressed as the sum of the transfer functions (Fig.). 16). From this, the degree to which the signal appearing in P x is affected by the change in HM changes depending on the frequency amplitude phase characteristics of the music signal m and the noise N, for example, the power (volume or energy) in the frequency band used for detecting ⁇ HM. It can be said that.
  • the pattern 2 for example, when the wearer of the headphone 10 wants to suppress only the noise without listening to music under the noise of an airplane or the like, specifically, an example of using the headphone 10 as earplugs or earmuffs is assumed.
  • the term on which the music signal m is applied is negligibly small
  • P x which is a term related to noise M and is subject to a change in HM
  • dividing P 0 by N gives a transfer function that represents the amount of noise reduction.
  • a predetermined noise reduction amount as a threshold value and detect the change in the HM by the deviation from the threshold value.
  • the power observed at P 10 / P 0 depends on the music signal m, and therefore may be normalized by the music signal m. That is, in the case of pattern 3, for example, P 0 , P 10 (or P 0 , P 10 and the music signal m) are used as the detection signal.
  • ⁇ HM change in transfer function
  • the filter circuit 224A is used when the ⁇ HM is equal to or higher than a certain level and the HM is out of the predetermined range, in other words, when the wearing state of the headphones 10 is an abnormal wearing state. This prevents howling from occurring.
  • ⁇ HM is within a certain range and HM is within a predetermined range, in other words, when the headphone 10 is in the normal wearing state, the noise canceling process is performed by using the filter circuit 224B. Performance is ensured above a certain level.
  • FIG. 18 is a diagram summarizing the above operation examples.
  • the wearing state of the headphones 10 is assumed to be a normal wearing state and an abnormal wearing state.
  • ⁇ HM becomes small, so that the HM has a lower value than the HM in the abnormally wearing state.
  • a filter circuit having a large parameter gain specifically, a filter circuit 224B having a parameter gain ⁇ 2 is used.
  • the open loop (- ⁇ HM) is obtained by multiplying the low HM and the high parameter gain, and can be kept below a certain level. Therefore, howling can be prevented while ensuring noise canceling performance.
  • "0" is set as a flag (Howling_Predict) indicating the risk of howling.
  • ⁇ HM becomes large, so that the HM becomes a high value.
  • a filter circuit having a small parameter gain specifically, a filter circuit 224A having a parameter gain ⁇ 1 is used.
  • the open loop (- ⁇ HM) is obtained by multiplying the high HM and the low parameter gain, and can be kept below a certain level. Therefore, howling can be prevented even if the noise canceling performance is restricted to a certain level or less. Therefore, it is possible to prevent the user from being uncomfortable due to the occurrence of howling.
  • "1" is set as a flag (Howling_Predict) indicating the risk of howling.
  • ⁇ HM is detected by signal processing, but ⁇ HM may be detected based on the detection result of the sensor 16.
  • a table is prepared in which the sensing data of the sensor 16 and ⁇ HM are described in association with each other. The table may be used to obtain the ⁇ HM corresponding to the sensing data of the sensor 16.
  • the mode in which the filter circuit 224A is used is appropriately referred to as a safe mode.
  • the mode in which the filter circuit 224B is used is appropriately referred to as a turbo mode.
  • (Howling_Predict) is a status indicating whether or not there is a risk of howling. When (Howling_Predict) is "0", the turbo mode is set, and when (Howling_Predict) is "1", the safe mode is set.
  • (Howling_Predict) is not limited to two values, but may be a continuous value or the like.
  • (Howling_Predict) does not necessarily reflect only the change in HM, but may also reflect that the power of noise and music is low and the reliability of the detection process is low.
  • the first processing example is an example in which the turbo mode is set only when howling is likely to occur in the case of the pattern 2, and the safe mode is set in the other patterns. Unless otherwise specified, the processing described below is performed under the control of the control unit 20.
  • the first processing example is started, for example, when the power of the headphones 10 is turned on.
  • the first processing example when the setting is not made, in other words, the noise canceling function is turned on. If done.
  • the period in which the first processing example is repeated may be sample processing for each sampling frequency, or frame processing may be performed after buffering for about several tens of msec.
  • step S101 the analysis signal is input to the control unit 20.
  • the analysis signal means a signal (N + d1) collected by the FF microphone 24, a signal (P 0 ) collected by the FB microphone 25, a music signal m, and a signal at each P x .
  • a detection signal for detecting ⁇ HM is set from the analysis signals.
  • only the detection signal may be input to the control unit 20.
  • the band limiting process may be performed by the band limiting filter. You may use the energy of the entire signal range, but if you put a band limit, you can narrow down the signal to be processed to the band that is easily affected by the change of HM, and improve the accuracy of detecting the change of HM. Can be done. Then, the process proceeds to step ST102.
  • step ST102 the power of the music signal m is analyzed. Then, it is determined whether or not the power of the music signal m is smaller than a predetermined threshold value. The determination process is performed by the noise / music analysis unit 20A. If the result of the determination process is Yes, the process proceeds to step ST103, and if No, the process proceeds to step ST108.
  • step ST103 the power of the signal collected by the left and right FF microphones 24 of the headphone 10 and the power of the signal (P 0 of each of the left and right) collected by the left and right FB microphones 25 of the headphone 10 are calculated. Will be done. Such calculation processing is performed by the noise / music analysis unit 20A. Then, the process proceeds to step ST104.
  • step ST104 it is determined whether or not the power of the signal collected by the FF microphone 24 is smaller than a predetermined threshold value.
  • the determination process is performed by the noise / music analysis unit 20A. If the result of the determination process is No, the process proceeds to step ST105, and if Yes, the process proceeds to step ST108.
  • the power of the signal collected by the FB microphone 25 may be used instead of the power of the signal collected by the FF microphone 24. If the determination result in step ST104 is Yes, the process proceeds to step ST108 in consideration of erroneous detection and detection omission, and "1" is set as (Howling_Predict).
  • the pattern in which the processing proceeds to step ST105 corresponds to pattern 2 of the four patterns in which the power of the music signal m is small and the power of noise is large (see FIG. 17). Therefore, the analysis method switching determination unit 20B sets, for example, a signal collected by the FF microphone 24 and a signal (P 0 ) collected by the FB microphone 25 as detection signals.
  • step ST105 in the case of a signal caused by noise, the power changes too much from moment to moment, so smoothing is performed in the time direction.
  • the smoothing means is performed by a moving average, a low-pass filter, or the like. This process may be performed by the control unit 20 or may be performed by another functional block. Then, the process proceeds to step ST106.
  • step 106 the power ratio between the signal collected by the FB microphone 25 on the L (Left) side and the signal collected by the FF microphone 24 on the L side, or the signal collected by the FB microphone 25 on the R (Right) side.
  • the power ratio between the sounded signal and the signal collected by the FF microphone 24 on the R side is calculated by the acoustic system change analysis unit 20C, thereby calculating ⁇ HM, which is a change in the transmission function.
  • the calculation result of ⁇ HM is supplied to the filter switching determination unit 20D, and the risk of howling is determined by comparing ⁇ HM with a predetermined threshold value. If the determination result in step ST106 is Yes, the process proceeds to step ST108. If the determination result in step ST106 is No, the process proceeds to step ST107.
  • step ST107 "0" is set as "Howling_Predict” because howling is unlikely to occur. Then, the time spent in turbo mode is counted (timer ++).
  • the safe mode is set for patterns other than pattern 2. Therefore, when it corresponds to a pattern other than pattern 2 (when the judgment result of step ST102 is No (when it corresponds to patterns 1 and 3), or when the judgment result of step ST104 corresponds to Yes (when it corresponds to pattern 4). ), The process proceeds to step ST108, and "1" is set as "Howling_Predict” in order to set the safe mode. Then the timer is reset. If the determination result in step ST106 is Yes, it is determined that there is a high risk of howling based on the detection result of ⁇ HM. Therefore, the process proceeds to step ST108, and “Howling_Predict” is used to set the safe mode. Is set as "1". Then the timer is reset.
  • step ST109 If the current setting is turbo mode, you need to quickly switch to safe mode to avoid howling, while switching from safe mode to turbo mode can be slow. Therefore, in the present embodiment, for example, switching from the turbo mode to the safe mode speeds up the crossfade time constant, and switching from the safe mode to the turbo mode slows down the time constant. This is because there is a possibility of abnormal noise if switching is always performed with a fast time constant. Further, if the mode is switched frequently, the change in the strength of noise cancellation and the change in the sound quality may be perceived by the user and give a sense of discomfort. Therefore, it is not preferable that the mode is changed frequently. From this point of view, the noise cancellation mode to be set next is determined in consideration of the previous determination result (currently set mode) and the time from switching. The processing after step ST109 will be described below.
  • step ST110 the mode can be switched from safe mode to turbo mode because the risk of howling occurs is small.
  • the filter used for the noise canceling process is switched from the filter circuit 224A to the filter circuit 224B.
  • the mode transition from the safe mode to the turbo mode has a relatively large degree of freedom. Therefore, timer and State are not always necessary, and it is possible to switch the filter only by the judgment result of the current mode.
  • step ST112 there is a risk of howling, and since the current mode is turbo mode, it is necessary to promptly switch the mode to safe mode. Therefore, the filter circuit used for the noise canceling process is switched from the filter circuit 224B to the filter circuit 224A. After the processing in step ST112, the processing loop returns to the beginning.
  • step ST113 in other cases, it is not necessary to switch the filter, so the processing loop returns to the beginning. Then, the process of predicting the risk of howling occurs is repeated.
  • the magnitude relationship and threshold value in each of the above-mentioned processes are appropriately set according to the physical and acoustic structure of the headphones 10. It is also possible to switch the filter independently for the left and right channels, but it is possible that noise and the timbre of music differ between the left and right because the degree of noise cancellation is strong or weak in only one ear. Therefore, in the present embodiment, when howling is predicted in either one channel, the filter is switched for both channels.
  • the second processing example differs from the first processing example in that the processing of step ST201 is added between the processing of step ST101 and the processing of step ST102.
  • the FF microphone 24 may collect noise (d1) that is uncorrelated with the noise N to be canceled. Specific examples of d1 include wind noise and the sound of rubbing a microphone with a finger. Since these sounds have randomness, the correlation between the left and right FF microphones is lost. On the other hand, in the absence of these noises, the left and right signals are collected from the same noise source, so that a high correlation is detected between the collected signals.
  • the processing performed in the third processing example that can be executed by the headphones 10 will be specifically described.
  • the same processing as in the first processing example is designated by the same reference numerals, and duplicate explanations regarding the processing contents are appropriately omitted.
  • the sensing data detected by the sensor 16 is input to the control unit 20. Then, this is an example in which the wearing state of the headphones 10 is determined by using the sensing data as well.
  • the third processing example differs from the first processing example in that the processing of step ST301 is added between the processing of step ST101 and the processing of step ST102.
  • the HM term in the open loop changes depending on whether the ear pad 15 is mounted halfway or completely removed. For example, when the ear pad 15 is pushed with a certain force or more, the ear pad 15 is crushed and the distance between the inside of the housing and the head is shortened. As described above, such a phenomenon can be detected by a distance sensor, a pressure sensor, an optical sensor, or the like. Other phenomena in which the HM may change other than the phenomenon in which the ear pad 15 is pressed can be detected in the same manner.
  • the fourth processing example is an example in which the above-mentioned pattern 2 and pattern 3 (see FIG. 17) are distinguished, and the detection signal is switched according to the distinguished pattern. Note that "A”, "B", "C” shown in FIG. 22 and “D” shown in FIG. 23 are symbols indicating continuity of processing and do not indicate specific processing.
  • step ST401 it is determined whether or not the power of the noise is smaller than the threshold value and the power of the music signal m is smaller than the threshold value. In other words, in step ST401, it is determined whether or not both the power of the music signal m and the power of noise are small, that is, whether or not the pattern 4 is applicable.
  • step ST401 determines whether or not the power of noise / the power of the music signal m is sufficiently larger than the threshold value.
  • the noise power calculation uses the power of the noise collected by the FF microphone 24, but may be the power of the noise collected by the FB microphone 25. If the determination result in step ST402 is Yes, it corresponds to pattern 2 because there is no music signal m or its power is sufficiently small and small as the noise power. Then, the process proceeds to step ST103. Since the processing of steps ST103, ST105, and ST106 is the same as that of the first processing example described above, duplicate description is omitted.
  • step ST403 If the determination result in step ST403 is Yes, it corresponds to pattern 3 because the music signal m is sufficiently large with respect to noise. If the determination result in step ST403 is Yes, the processes in steps ST404 to ST405 are performed.
  • the content of the processing performed in steps ST403 to ST406 is the same as the content of the processing performed in steps ST103 to ST105, but the detection signal is different.
  • the detection signal is different.
  • the difference between the actual HM and the HM'modeled and held inside the noise canceling process becomes large, the cancellation of the HM characteristics by the HM'will not be successful.
  • the deviation of HM can be detected by observing the ratio of the signals of P 10 and P 0 by using.
  • step ST404 (Howling_Predict) is appropriately set by performing such processing in steps ST404 to ST405. Specifically, when the P 10 signal / P 0 signal (either L channel or R channel) is larger than the threshold value, the process proceeds to step ST108, and when it is smaller than the threshold value, the process proceeds to step ST107. ..
  • process “D” is performed following the processes of steps ST107 and ST108.
  • the process “D” means the process related to the above-mentioned steps ST109 to ST113. Therefore, the duplicate description of the process "D” is omitted.
  • the fifth processing example is an example in which the above-mentioned four patterns (see FIG. 17) are distinguished and the detection signal is switched according to the distinguished patterns.
  • "A", "B", "C” and "D" are symbols indicating the continuity of the processing and do not indicate a specific processing.
  • step ST401 when the determination result in step ST401 is Yes, that is, when the pattern 4 is applicable, the processing proceeds to step ST501.
  • pattern 4 since it is difficult to detect the change in HM, it does not operate until the next processing unit.
  • step ST403 determines whether the determination result of step ST403 is No.
  • the processing proceeds to step ST502, which is different from the fourth processing example.
  • the fact that the determination result in step ST403 is No corresponds to pattern 1.
  • Pattern 1 is a region where the ratio of the music signal m to the energy of noise is small, and the components of the transfer function related to N and m are close to each other, making it difficult to detect the change in the transfer function only from the power. Is.
  • processing is performed using the difference in the temporal properties of noise and music signals. If the noise has sufficient randomness, the autocorrelation of the noise is basically close to 0, while the music often has the pitch property (periodicity), and the autocorrelation is high. Assuming this property, the change in HM can be detected if the cross-correlation between the noise (the signal collected by the FF microphone 24) and the music signal (reproduced signal) is equal to or higher than a certain level.
  • step ST502 it is determined whether or not the cross-correlation between the noise (the signal collected by the FF microphone 24) and the music signal (reproduced signal) is equal to or greater than the threshold value. If the cross-correlation is not above a certain level, it is difficult to detect the change in HM, so the process proceeds to step ST501. If the cross-correlation is greater than or equal to a certain level, the process proceeds to step ST503.
  • step ST503 in the case of a signal caused by noise, the power changes too much from moment to moment, so smoothing is performed in the time direction.
  • the smoothing means is performed by a moving average, a low-pass filter, or the like. Then, the process proceeds to step ST504.
  • step ST504 processing is performed using the signal (P 0 ) collected by the FB microphone 25 and the signal of P 9 as the detection signal.
  • the signal of P 0 includes the music signal being played, but when the internal model (HM') is equal to the actual HM, the music component is canceled by (P 0- P 11 ), and P 9 is the music.
  • the signal m does not come out. Therefore, only the noise left unerased by noise cancellation remains in P 9.
  • the inner product of the P 9 signal and the music signal m is calculated at a certain time window length.
  • the inner product is an index showing "similarity between the two", and is large if the signals are similar, and small if the signals are not similar.
  • step ST504 determines whether the wearing state of the headphones 10 is an abnormal wearing state. Therefore, the process proceeds to step ST108, and "1" is set as (Howling_Predict). Further, when the determination result in step ST504 is No, that is, when the result of the inner product is smaller than a predetermined threshold value, it means that the wearing state of the headphones 10 is the normal wearing state. Therefore, the process proceeds to step ST107, and "0" is set as (Howling_Predict). Since the processes after steps ST107 and ST108 have already been described, duplicate description will be omitted.
  • the inner product is divided by the integral value of the power of the music signal.
  • the inner product is normalized, and the threshold value can be easily set.
  • process example A The content of the process of step ST504 described above (hereinafter, appropriately referred to as process example A) may be another process (hereinafter, appropriately referred to as process example B).
  • process example B a correlation example between the music signal and P x was used, but as processing example B, the same can be achieved by increasing or decreasing the correlation between the noise signal and P x.
  • HM the HM and the internal model 'are equal, the signal which is collected by the FB microphone 25 is inputted unerased music signal of the noise, only noise "feedback when loop was not" appears in the P 10 ..
  • the wearing state of the headphone 10 may be determined according to the result of the inner product of the signal of P 0 and the signal of P 10.
  • the result of the inner product may be divided by the power of the signal collected by the FB microphone 25.
  • either one of the above-mentioned processing example A and processing example B may be performed, or both may be performed, and the wearing state of the headphones 10 may be determined according to the respective results.
  • the sixth processing example is different from the fifth processing example in that the content of the processing according to step ST502 is the processing related to step ST601.
  • step ST502 Taking advantage of the difference in the temporal properties of the noise and the music signal, processing was performed using the cross-correlation between the noise collected by the FF microphone 24 and the music signal.
  • the noise is always random, and the music does not always have pitch.
  • noises having periodicity such as a bell sound like a railroad crossing, a buzzer, and ambient BGM (Back Ground Music).
  • ambient BGM Back Ground Music
  • step ST601 a process of calculating the autocorrelation of noise and calculating the autocorrelation of the music signal m is performed.
  • the determination result in step ST601 is Yes.
  • the process proceeds to step ST503.
  • the determination result in step ST601 is No, the process proceeds to step ST501. Since other processes have already been described, duplicate explanations will be omitted as appropriate.
  • the noise canceling processing unit 22A that performs the processing according to this example has a structural difference from the noise canceling processing unit 22.
  • the noise canceling processing unit 22A has a characteristic imparting unit 230.
  • the characteristic imparting unit 230 imparts the characteristic HM'2 to the music signal m.
  • the signal to which the characteristic is given (the signal of P 12 ) is added to the signal of P 0 by the adder 230A, and the signal after addition (the signal of P 13 ) is output from the adder 230A.
  • HM' is a model of the HM in the normal wearing state
  • HM'2 is a model of the HM in the abnormally wearing state. That is, in this example, instead of detecting the deviation of the actual HM with respect to the HM'which models the normal wearing state, it depends on whether or not the actual HM is close to the HM'2 which models the abnormal wearing state. , Whether or not there is a high risk of howling will occur.
  • step ST403 The process from “B” in FIG. 29 to “B” in FIG. 30 is followed by the determination process in step ST403. If the determination result in step ST403 is No, the process proceeds to step ST701. After the setting for using the HM'2 that models the abnormal mounting state is made in the process of step ST701, the process proceeds to step ST702 and the smoothing process is performed. Following the process of step ST702, the process related to step ST703 is performed.
  • the mounted state of the headphone 10 is in an abnormal mounted state, i.e., when the noise canceling acoustic state close to HM'2 running, because the modeling error is small the HM'2, included in the P 13
  • the amount of music component is reduced, and the signal derived from noise becomes dominant. Since P 12 (or music signal m) contains a music component, the inner product becomes smaller when the inner product (similarity) of P 12 (or music signal m) and P 13 is taken.
  • step ST703 when the result of the inner product performed in step ST703 is smaller than the threshold value, it is determined that the headphones 10 are in an abnormally worn state, the process proceeds to step ST108, and "1" is set as (Howling_Predict). If the result of the inner product performed in step ST703 is larger than the threshold value, it is determined that the headphones 10 are in the normal wearing state, the process proceeds to step ST107, and "0" is set as (Howling_Predict). Since the processes in steps ST107 and ST108 and subsequent steps have already been described, duplicate description will be omitted.
  • normalization may be performed by dividing the calculation result of the inner product by the power of the signal of P 12.
  • the distance of HM'2 with respect to the current HM can also be detected. For example, if the current HM has a value corresponding to the normal wearing state , the noise-derived component of the signal at P 0 is extremely low, and is almost a component of the music signal m. Therefore, the normalized inner product is approximately 1.
  • the current HM approaches the value corresponding to the abnormally mounted state, and when it approaches HM'2, it approaches 0.
  • the mixing ratio of the outputs of the two filters can be set to a value corresponding to the rate of change in the inner product.
  • the mixing ratio of the outputs of the two filters can be set to a value corresponding to the rate of change in the inner product.
  • the HM'2 is not limited to the HM that models the abnormally mounted state, and may be a model of the HM that corresponds to the state that the detection is desired. Further, although the input of the characteristic imparting unit 230 has been described as the music signal m, it is possible to detect the abnormally worn state of the headphones 10 even if the signal of P 6 is used as the input.
  • the noise canceling performance is suppressed below a predetermined level to prevent howling, and when there is no risk of howling, the noise canceling performance is exhibited and noise is exhibited. Is properly suppressed.
  • noise cancellation processing Various methods have been proposed for noise cancellation processing.
  • the present disclosure is not limited to the noise canceling method according to the above-described embodiment, and can be applied to known methods and methods proposed in the future.
  • howling occurs in the feedback loop, it is necessary to at least change the characteristics of the feedback filter according to the risk of howling.
  • the filter circuit 221 which is a feedforward filter may have a filter circuit 221A (parameter gain ⁇ 1 ) and 221B (parameter gain ⁇ 2 ). Then, when the characteristics of the filter circuit 224 are changed, the characteristics of the filter circuit 221 may be changed by switching the filter circuit 221A and the filter circuit 221B. For example, when the filter circuit 224A is used, the filter circuit 221A is used, and when the filter circuit 224B is used, the filter circuit 221B is used. Changing the characteristics of the feedback filter changes the closed loop and changes the transfer function of the music signal and feedforward filter. Therefore, by appropriately changing the characteristics of the feedforward filter as the characteristics of the filter circuit 224 are changed, the sound quality can be improved and the noise canceling performance can be prevented from deteriorating. it can.
  • the equalizer 28 may have equalizers 28A and 28B for equalizing processing on the music signal m (however, the equalizer coefficients of the equalizers 28A and 28B are different). Then, when the characteristics of the filter circuit 224 are changed, the characteristics of the equalizer 28 may be changed by switching the equalizer 28A and the equalizer 28B. For example, when the filter circuit 224A is used, the equalizer 28A is used, and when the filter circuit 224B is used, the equalizer 28B is used. According to the configuration example according to the present modification, the sound quality can be further improved as compared with the configuration shown in FIG. 31.
  • the configuration of the noise canceling processing unit may be a method in which the BCC method and the IMC method are combined (hereinafter, appropriately referred to as a double feedback method).
  • FIG. 33 shows the configuration of the noise canceling processing unit to which the double feedback method is applied.
  • the double feedback type noise canceling processing unit imparts a characteristic HM'to the output of the adder 240, the filter circuit 241 (parameter gain ⁇ 3 ), and the adder 225 to the configuration of the noise canceling processing unit 22.
  • a configuration according to part 227A has been added.
  • the adder 240 adds the output of the subtractor 223 and the output of the characteristic imparting unit 227A.
  • the adder 225 adds the output of the filter circuit 224 and the output of the filter circuit 241.
  • the characteristics of the filter circuit 221 and the equalizer 28 may be changed as the characteristics of the filter circuit 224 are changed.
  • the characteristics of the filter circuit 241 may be changed according to the risk of howling.
  • the characteristics of the filter circuit 221 and the equalizer 28 may be changed.
  • the characteristics of the filter circuits 224 and 241 may be changed according to the risk of howling.
  • the characteristics of the filter circuit 221 and the equalizer 28 may be changed as the characteristics of the filter circuits 224 and 241 are changed.
  • the sound processing device of the present disclosure is not limited to headphones, and may be applied to in-ear type earphones, or may be incorporated in electronic devices such as smartphones and HUDs (Head Up Display).
  • the present disclosure may also adopt the following configuration.
  • a sensor that detects deformation of the wearing part that is attached to the user's ear An acoustic processing device having a control unit that switches a mode for canceling noise according to a detection result of deformation of the mounting unit.
  • the sound processing device according to (1) wherein the control unit switches the mode according to a transfer function until the sound radiated from the speaker reaches the microphone for feedback.
  • the control unit switches the characteristics of the filter so that the noise canceling performance exceeds a certain level when the transfer function is within the predetermined range, and noise cancellation when the transfer function is outside the predetermined range.
  • the sound processing apparatus according to (3), wherein the characteristics of the filter are switched so that the performance is below a certain level.
  • the filter includes a feedforward filter.
  • the characteristics of the equalizer that performs the equalizing process on the audio signal reproduced via the mounting portion are further switched according to the change in the transfer function that occurs in response to the deformation of the mounting portion (3) to (6).
  • the audio processing device according to any one of (1) to (12), which is configured as headphones.
  • the control unit has a control unit that switches the noise cancellation mode by switching the characteristics of the filter to be used according to the change in the transfer function that occurs according to the deformation of the mounting unit.
  • the control unit is an audio processing device that switches a detection signal for detecting a change in the transfer function according to the power of the voice signal reproduced via the mounting unit and the magnitude of noise.
  • the sensor detects the deformation of the wearing part that is worn on the user's ear, An acoustic processing method in which a control unit switches a mode for canceling noise according to a detection result of deformation of the mounting unit.
  • the sensor detects the deformation of the wearing part that is worn on the user's ear, A program in which a control unit causes a computer to execute an acoustic processing method for switching a mode for canceling noise according to a detection result of deformation of the mounting unit.
  • Control unit 20A: Noise / music analysis unit, 20B: Analysis method switching judgment unit, 20C: Acoustic system change analysis unit, 20D: Filter switching judgment unit, 22 ... Noise cancellation processing unit, 23 ... speaker, 24 ... FF microphone, 25 ... FB microphone, 28 ... equalizer, 221,224,224A, 224B ... filter circuit,

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Headphones And Earphones (AREA)

Abstract

ユーザの耳部に装着される装着部の変形を検出するセンサと、装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える制御部を有する音響処理装置である。 図18

Description

音響処理装置、音響処理方法及びプログラム
 本開示は、音響処理装置、音響処理方法及びプログラムに関する。
 イヤホンやヘッドホン等を通じて楽曲等を聴く際に、外部環境の騒音(ノイズ)を低減(キャンセル)して、聴取者(ユーザ)に対して良好な楽曲再生環境を提供するノイズキャンセリングシステムが知られている。具体的には、筐体の内側に設置されたマイクロフォンを用いたフィードバック型のノイズキャンセリング手法や、筐体の外側に設置されたマイクロフォンを用いたフィードフォワード型のノイズキャンセリング手法が知られている。更に、下記の特許文献1には、内部モデル制御方式(IMC(Internal Model Control)方式)を用いたフィードバック型のノイズキャンセル手法が記載されている。
国際公開2017/217106
 ユーザの耳部に装着されるイヤホンやヘッドホンは、その装着状態が通常状態と異なるとハウリングが生じる虞がある。このようなハウリングは、楽曲を聴取するユーザに対して不快感を与える。そこで、ノイズキャンセルの性能が適切に維持されつつ、ハウリングが起きない制御が行われることが望まれる。
 本開示は、ノイズキャンセルの性能が適切に維持しつつ、ハウリングが起きない制御が行われる音響処理装置、音響処理方法及びプログラムを提供することを目的の一つとする。
 本開示は、例えば、
 ユーザの耳部に装着される装着部の変形を検出するセンサと、
 装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える制御部を有する音響処理装置である。
 本開示は、例えば、
 装着部の変形に応じて生じる伝達関数の変化に応じて、使用するフィルタの特性を切り替えることによりノイズキャンセルのモードを切り替える制御部を有し、
 制御部は、装着部を介して再生される音声信号のパワーとノイズの大きさとに応じて、伝達関数の変化を検出するための検出用信号を切り替える
 音響処理装置である。
 本開示は、例えば、
 センサがユーザの耳部に装着される装着部の変形を検出し、
 制御部が、装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法である。
 本開示は、例えば、
 センサがユーザの耳部に装着される装着部の変形を検出し、
 制御部が、装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法をコンピュータに実行させるプログラムである。
図1A及び図1Bは、実施形態において考慮すべき問題が説明される際に参照される図である。 図2は、実施形態において考慮すべき問題が説明される際に参照される図である。 図3A及び図3Bは、実施形態において考慮すべき問題が説明される際に参照される図である。 図4は、実施形態において考慮すべき問題が説明される際に参照される図である。 図5は、本実施形態に係るヘッドホンの外観例を示す図である。 図6は、本実施形態に係るヘッドホンの構成例を説明する際に参照される図である。 図7は、本実施形態に係るヘッドホンの構成例を説明する際に参照される図である。 図8は、本実施形態に係るヘッドホンの構成例を説明する際に参照される図である。 図9は、本実施形態に係るヘッドホンの内部構成例を示す図である。 図10は、本実施形態に係るヘッドホンの他の内部構成例を示す図である。 図11は、本実施形態に係るノイズキャンセル処理部の構成例を説明する際に参照される図である。 図12は、本実施形態に係るノイズキャンセル処理部の構成例を説明する際に参照される図である。 図13は、Pxにおける信号を示す式を示した図である。 図14は、Pxの各点についての連立方程式を解いた結果を示す図である。 図15は、Pxの各点についての連立方程式を解いた結果を示す図である。 図16は、図14及び図15に示した結果を項毎に振り分けた図である。 図17は、検出用信号の設定例を説明する際に参照される図である。 図18は、本実施形態に係るヘッドホンの動作例を説明する際に参照される図である。 図19は、本実施形態に係るヘッドホンで実行可能な第1の処理例を説明する際に参照されるフローチャートである。 図20は、本実施形態に係るヘッドホンで実行可能な第2の処理例を説明する際に参照されるフローチャートである。 図21は、本実施形態に係るヘッドホンで実行可能な第3の処理例を説明する際に参照されるフローチャートである。 図22は、本実施形態に係るヘッドホンで実行可能な第4の処理例を説明する際に参照されるフローチャートである。 図23は、本実施形態に係るヘッドホンで実行可能な第4の処理例を説明する際に参照されるフローチャートである。 図24は、本実施形態に係るヘッドホンで実行可能な第5の処理例を説明する際に参照されるフローチャートである。 図25は、本実施形態に係るヘッドホンで実行可能な第5の処理例を説明する際に参照されるフローチャートである。 図26は、本実施形態に係るヘッドホンで実行可能な第6の処理例を説明する際に参照されるフローチャートである。 図27は、本実施形態に係るヘッドホンで実行可能な第6の処理例を説明する際に参照されるフローチャートである。 図28は、本実施形態に係るヘッドホンで実行可能な第6の処理例を説明する際に参照される図である。 図29は、本実施形態に係るヘッドホンで実行可能な第7の処理例を説明する際に参照されるフローチャートである。 図30は、本実施形態に係るヘッドホンで実行可能な第7の処理例を説明する際に参照されるフローチャートである。 図31は、変形例を説明するための図である。 図32は、変形例を説明するための図である。 図33は、変形例を説明するための図である。 図34は、変形例を説明するための図である。 図35は、変形例を説明するための図である。
 以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<実施形態において考慮すべき問題>
<一実施形態>
<変形例>
 以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
<実施形態において考慮すべき問題>
 始めに、本開示の理解を容易とするために、実施形態において考慮すべき問題についての説明がなされる。
 上述したように、ノイズキャンセリングの手法としては、フィードバック方式とフィードフォワード方式とに大別される。以下の説明では、フィードバック方式がFB方式、フィードフォワード方式がFF方式と適宜、称される。
 FB方式は、一般的に図1Aに示すように、ヘッドホン筐体1Aの内側にマイク1Bがあり、マイク1Bで収音した信号の逆相成分を入力側に戻しサーボ制御することにより、外部から筐体に入ってきたノイズを減衰させる方式である。この場合、マイク位置の音が制御点となるため、ノイズ減衰効果を考慮し、通常耳に近い位置、つまりスピーカ1C(ドライバー)の振動板前面にマイク1Bが設けられる場合が多い。
 図1Bは、FB方式を実現するための構成例を示すブロック図である。図中、A、D、M、-βは、パワーアンプ、ドライバー、マイク及びマイクアンプ、フィードバックのために設計されたフィルタ、の各伝達関数を示している。また図中、Hはドライバーからマイク(マイク1B)までの空間の伝達関数であり、各伝達関数は複素表現されているものとする。また、Nは外部のノイズ源からヘッドホン内のマイク1Bの近辺に侵入してきたノイズであり、Pは聴取者(ユーザ)の耳に届く音圧とする。また、以下の説明におけるEは、聴取する目的である信号Sに掛けられるイコライザの伝達関数とする。ノイズがヘッドホン内に伝わってくる原因としては、例えばイヤパッドやイヤピースの隙間から音圧として漏れてくる場合や、ヘッドホンの前面から外界につながるよう設けられた穴、ヘッドホン筐体が音圧を受けて振動した結果として筐体内部に音が伝わる、等が挙げられる。
 ここで、図1Bに示すブロック図における音圧Pは、下記の式1により表現することができる。
(式1)
Figure JPOXMLDOC01-appb-I000001
 式1においてNに着目すればノイズNは、1/(1+ADHMβ)に減衰していることがわかる。
 但し、式1の系が発振せず安定して動作するためには、下記の式2が成立する必要がある。
(式2)
Figure JPOXMLDOC01-appb-I000002
 一般的には、下記の式3
(式3)
Figure JPOXMLDOC01-appb-I000003
であることと合わせて、式2は後述のように解釈できる。図1Bにおいて、ノイズNに関わるループ部分を1箇所切断した下記の式4
(式4)
Figure JPOXMLDOC01-appb-I000004
を「オープンループ」と称し、これは、例えば図2のようなボード線図で表現される特性を持つものである。
 このオープンループを対象とした場合、上記条件は、
・位相0deg.の点を通過する時、ゲインは0dBより小さくなくてはならない。
・ゲインが0dB以上である時、位相0deg.の点を含んではいけない。
という2つの条件を満たす必要がある。上記条件を満たさない場合、ループは正帰還がかかりハウリング(発振)を起こすことになる。図2中、Pa,Pbは位相余裕、Ga,Gbはゲイン余裕を表しており、これらの余裕が小さいと個人差や装着のばらつきなどにより、ハウリングの危険性が増すことになる。
 続いて、上述したノイズ低減機能に加え、必要な音をヘッドホンから再生する場合についての説明がなされる。なお、Sは、実際には音楽信号以外にも、筐体外部のマイクの音(補聴機能として使う)や、通信を介した音声信号(ヘッドセットとして使う)など、本来、ヘッドホンのドライバーで再生すべきものの信号総称に対応する音である。
 式1のうち、Sに着目すると、下記の式5
(式5)
Figure JPOXMLDOC01-appb-I000005
のように、イコライザを設定すれば、Pは、下記の式6のように表現される。
(式6)
Figure JPOXMLDOC01-appb-I000006
 マイク1Bの位置が耳位置に非常に近いとすると、Hがドライバーからマイク(耳)までの伝達関数、AやDがそれぞれパワーアンプ、ドライバー特性の伝達関数であるので、通常のノイズ低減機能を持たないヘッドホンと同様の特性が得られることがわかる。
 次に、FF方式に関する説明がなされる。FF方式は、図3Aに示すように、基本的にヘッドホン筐体1Aの外部にマイク1Bが設置されており、このマイク1Bで収音したノイズに対して適切なフィルタリング処理をして、筐体内部のドライバーにてこれを再生し、耳に近いところでこのノイズをキャンセルすることを意図した方式である。
 図3Bにおける記号の内容は、図1Bの説明内容と略同様であるが、外部のノイズ源からのノイズNの位置から耳位置に至るまでの伝達関数をFとしている。ここでFF方式の核となるフィルタを(-α)と置くと、図3Bにおける音圧Pは、下記式7で表現できる。なお、式7におけるF'はノイズ源からマイク位置までの伝達関数を表す。
(式7)
Figure JPOXMLDOC01-appb-I000007
 ここで、理想的な状態を考え下記式8とすると
(式8)
Figure JPOXMLDOC01-appb-I000008
上述した式7は下記の式9で表すことができ、ノイズNはキャンセルされ、音楽信号(または聴取する目的の音声信号等)だけが残り、通常のヘッドホン動作と同様の音を聴取できることがわかる。
(式9)
Figure JPOXMLDOC01-appb-I000009
 但し、実際は、式8が完全に成立するような伝達関数を持つ完全なフィルタの構成は困難である。特に中高域に関して、人により装着や耳形状により個人差が大きいことと、ノイズの位置やマイク位置などにより特性が変化する、などの理由のため通常は中高域に関してはこのアクティブなノイズ低減処理を行わず、ヘッドホン筐体でパッシブな遮音をすることが多い。なお式8は、数式を見れば自明であるが、ノイズ源から耳位置までの伝達関数を、αを含めた電気回路にて模倣することを意味している。
 なお、ここでのキャンセルポイントは、図3Aに示した通り、図1Aに示したフィードバック型と異なり、聴取者の任意の耳位置において設定することができる。しかしながら、通常の場合αは固定的であり、設計段階においては、なんらかのターゲット特性を対象とした決めうちになることになり、人によっては、耳の形状が違うため、十分なノイズキャンセル効果が得られないことや、ノイズ成分を非逆相で加算してしまうことにより、異音がするなどの現象が起こり得る。
 これらのことより、一般的にFF方式は、発振する可能性が低く安定度が高いが、十分な減衰量を得るのが困難であるのに対して、FB方式は大きな減衰量が期待できる代わりに、系の安定性に注意が必要となる。
 図1に用いたFB方式のことは、以下の説明において、BCC(Basic Closed Loop Control)と適宜、称される。また、FB方式に基づくノイズキャンセルは、特許文献1に記載されているようなIMCモデルを用いた方式も存在する。図4には、IMCモデルを用いた方式が適用される回路構成例を示すブロック図が示されている。係る方式によれば音圧Pは下記の式10で表現することができる。
(式10)
Figure JPOXMLDOC01-appb-I000010
 なお、FB方式、FF方式等は相互に組み合わせることも可能である。また、上述した特許文献1に記載されているノイズキャンセルに係る各種の方式は、本開示に適用することができる。
 ところで、上述したように、オープンループ(βAHMの項)が-1(0dB,-180deg)になると発振をおこし、ハウリングが発生する。ハウリングは、ユーザに不快感を与えてしまうことからハウリングが発生しないような制御が行われる。
 ここで、オープンループのうち、ヘッドホンのドライバーからマイク(例えば、上述したマイク1C)までの空間の伝達関数であるH項は、頭部とイヤパッド、筐体によってつくられる空間の音響インピーダンスに依存して変化する。従って、通常の装着状態(通常装着状態)とは異なる装着状態となるとH項は変化する。例えば、飛行機や電車等でヘッドホンをしたまま寝ることでヘッドホンのイヤパッドが座席に押し当てられたりするとイヤパッドが大きく変形することでH項が変化する。これにより、通常装着状態では安定なフィードバックループ特性を担保していたとしても、ユーザの使用状況によってはハウリングが生じてしまう虞がある。
 係るハウリングに対応するために、H項の変化しうる範囲を特定し、変化してもなおフィードバックループ特性が安定にするように、マージンを加味してフィードバックフィルタを設計する手法が考えられる。しかしながら、当該手法では、ハウリングの発生は防止できる一方、ユーザの使用時間のほぼ大半を占める通常装着時のノイズキャンセル性能が抑制されてしまうという問題がある。本開示は、上述した点に鑑み、通常装着状態ではノイズキャンセル性能を維持しつつ、通常装着状態と異なる装着状態(以下、異常装着状態と適宜、称する)では、ハウリングが起きない程度にノイズキャンセル性能を抑制する。以下、本開示の一実施形態に関する詳細な説明がなされる。
<一実施形態>
[ヘッドホンについて]
 本実施形態では、音響処理装置の一例としてオーバヘッド型のヘッドホンを挙げた説明がなされる。なお、本開示は、オーバヘッド型のヘッドホン以外のインイヤー型のイヤホン等に対しても適用することが可能である。
 図5は、本実施形態に係るヘッドホン(ヘッドホン10)の外観例を示す図である。図5に示すように、ヘッドホン10は、例えば、ヘッドバンド11、スライダ12、ハンガ13、ハウジング14及びイヤパッド15から構成されている。
 ヘッドバンド11は装着者の頭部に沿うように湾曲状に形成されており、装着状態において装着者の頭頂部に接することによりヘッドホン10全体を支持するものである。ヘッドバンド11はプラスチックなどの合成樹脂、金属などを用いて構成されており、所定の剛性及び弾性を有することにより可撓性を備えている。これにより、装着時にはハウジング14及びイヤパッド15を装着者の側頭部方向に押圧してヘッドホン10の装着状態を維持することができる。なお、ヘッドバンド11の内面における装着者の頭頂部に当接する部分に緩衝材としてゴムなどを設けるようにしても良い。さらに、ヘッドホン10の携帯時に中央で折り畳めるようにヒンジを備えるようにしても良い。
 ヘッドバンド11の延在方向の所定位置にスライダ12が設けられている。そして、スライダ12の端部にハンガ13が取り付けられている。スライダ12を案内部材に沿って摺動させることにより、ハンガ13をヘッドバンド11に対して遠ざかるように、または近づくように移動させることができる。
 ハンガ13は、ハウジング14を回動自在に支持するものである。ハンガ13は、例えば、一対の先端からそれぞれ内向きに突出する支持ピン(不図示)で軸支することによりハウジング14を回動自在に支持する。
 筐体としてのハウジング14は、内部に収納空間を有しており、電気信号を音波に変換して出力する音声出力部としてのドライバユニットなどを収納するものである。ハウジング14は例えば、プラスチックなどの合成樹脂を用いて形成されている。
 装着部の一例であるイヤパッド15は、ハウジング14における装着者の側頭部に対向する側の面に設けられている(図6参照)。イヤパッド15は、ハウジング14と装着者の側頭部との間に介在することにより、ハウジング14と装着者の側頭部間の緩衝部材として機能するものである。イヤパッド15は、ヘッドホン10の装着時において、変形しにくい硬い素材で形成されたハウジング14が直接装着者の耳及び側頭部に接して装着者に不快感や痛みを与えることを防止するものである。なお、ハウジング14及びイヤパッド15が装着部であっても良い。
 本実施形態に係るヘッドホン10は、イヤパッド15の変形を検出するセンサ16を有している。センサ16は、例えば、イヤパッド15の内部若しくは当該イヤパッド15を支持する支持部に設けられる2個の圧力センサである。センサ16は、例えば、圧力によって変形するフィルムであり、変形によって抵抗値が変化するセンサである。センサ16から出力される電圧に基づいて、ヘッドホン10が通常装着状態であるのか、又は、異常装着状態であるのかが判別される。具体的には、センサ16から出力される電圧が閾値以内であれば通常装着状態と判別され、センサ16から出力される電圧が閾値より大きければ異常装着状態と判別される。
 センサ16は、ハウジング14に設けられる距離センサであっても良い。例えば、図7に示すように、センサ16により検出されたイヤパッド15までの距離が閾値より大きい場合には通常装着状態と判別される。また、図8に示すように、センサ16により検出されたイヤパッド15までの距離が閾値以下である場合には、イヤパッド15が通常装着状態に比べて強くプッシュされるような異常装着状態と判別される。センサ16は、上述した圧力センサ及び距離センサを組み合わせたセンサでも良いし、その他のセンサが適用されても良い。なお、図7、図8では、ヘッドホン10の構成の一部のみ(一方側のみ)を図示しているが、ヘッドホン10が、ヘッドホン10の他方の側のイヤパッド15に対する距離センサ等を有していても良い。
[内部構成例]
(ヘッドホンの内部構成例)
 図9は、本実施形態に係るヘッドホン10の内部構成例を示すブロック図である。ヘッドホン10は、例えば、制御部20と、通信部21と、ノイズキャンセル処理部22と、スピーカ23と、FF方式に基づくノイズキャンセルを行うためのマイクであるFFマイク24と、FB方式に基づくノイズキャンセルを行うためのマイクであるFBマイク25と、送話用のマイク30とを有している。制御部20は、ノイズ/音楽解析部20Aと、解析手法切り替え判断部20Bと、音響系変化解析部20Cと、フィルタ切り替え判断部20Dを有している。なお、これらの構成は、基本的にヘッドホン10の左右のチャンネルに対応して設けられているが、一部の構成が左右で共通化されていても構わない。
 通信部21は、スマートフォンやパーソナルコンピュータ等と通信を行うことにより、再生ソースである音楽信号を取得する。通信は、無線による通信でも良いし、有線による通信でも良い。通信部21により取得された音楽信号がノイズ/音楽解析部20Aに供給される。
 制御部20は、イヤパッド15の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える。より具体的には、制御部20は、スピーカから放射された音がフィードバック用のマイクロフォンに到達するまでの伝達関数に応じて、ノイズキャンセルを行うモードを切り替える。ノイズキャンセルを行うモードは、例えば、ノイズキャンセルの性能が一定以上となるモード(フィードバックにおけるループゲインを上げるモード)と、ノイズキャンセルの性能が一定以下となるモード(フィードバックにおけるループゲインを下げるモード)とを含む。
 ノイズ/音楽解析部20Aは、自身に入力される複数の信号(以下、信号群と適宜、称される)を解析する。そして、ノイズ/音楽解析部20Aは、解析結果を解析手法切り替え判断部20Bに供給する。信号群としては、FFマイク24により取得された信号、FBマイク25により取得された信号、ノイズキャンセル処理部22による処理の途中の信号(一部でも良いし、全部でも良い)、ノイズキャンセル処理部22による処理がなされた信号等が挙げられる。
 解析手法切り替え判断部20Bは、解析結果に応じて、上述したオープンループにおけるH項(より具体的にはHM項)の変化を検出するための検出用信号を選択し、選択した検出用信号に基づいてHMの変化を判定するためのアルゴリズムを特定する。
 音響系変化解析部20Cは、解析手法切り替え判断部20Bにより選択された検出用信号及びアルゴリズムによりHMの変化を検出する。音響系変化解析部20Cにより検出されたHMの変化がフィルタ切り替え判断部20Dに供給される。
 フィルタ切り替え判断部20Dは、音響系変化解析部20Cから供給されたHMの変化に基づいてフィルタの特性を切り替えるための制御信号を生成する。フィルタ切り替え判断部20Dにより生成された制御信号が、ノイズキャンセル処理部22に供給され、ノイズキャンセル処理部22が有するフィルタの特性が切り替えられる。詳細は後述するが、特性が切り替えられるフィルタは、少なくとも、FB方式によるノイズキャンセルを行うためのフィルタ(フィードバックフィルタ)を含む。特性が切り替えられるフィルタに、FF方式によるノイズキャンセルを行うためのフィルタ(フィードフォワードフィルタ)が含まれても良い。また、音楽信号に対してイコライジング処理を行うイコライザの特性が切り替えられても良い。フィルタの特性を切り替えることには、使用するフィルタを切り替えること、フィルタのパラメータ(具体的にはゲイン)を変化させること等が含まれる。また、フィルタの特性を切り替える際には、再生される音楽信号の急激な変化を防止するために、公知の処理(フェードイン、アウト処理等)が行われても良い。
 なお、制御部20は、上述した処理以外の処理に係る公知の制御を行うようにしても良い。
 ノイズキャンセル処理部22は、後述する方法によりノイズキャンセル処理を行う。ノイズキャンセル処理部22によりノイズキャンセル処理がなされた信号が、スピーカ23から再生される。
 なお、外部機器からヘッドホン10に供給されるソースは、音楽信号以外の信号でも良い。例えば、本開示の音響処理装置がヘッドホンではなく、スマートフォン等の通話機器に適用される場合は、図10に示すように、通信部21が無線通信により他の通信機器と通信を行う。無線通信としては、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi(登録商標)、またはWUSB(Wireless USB)、携帯電話網、インターネット等が挙げられる。そして、外部機器から送信され、通信部21により取得された音楽信号以外の通話用の信号に対してもノイズキャンセル処理が行われても良い。また、送話用のマイク30に入力されたユーザの音声信号に対してノイズキャンセル処理部22によるノイズキャンセル処理がなされ、ノイズキャンセル処理がなされた音声信号が通信部21を介してスマートフォン等の外部機器に送信されるようにしても良い。
 FFマイク24は、ハウジング14の外側に設けられている。また、FBマイク25及びスピーカ23は、ハウジング14の内側に設けられている。
(ノイズキャンセル処理部の内部構成例)
 次に、図11が参照されつつ、ノイズキャンセル処理部22の内部構成例に関する説明がなされる。ノイズキャンセル処理部22は、例えば、フィルタ回路221と、加算器222と、減算器223と、フィルタ回路224と、加算器225と、加算器226と、特性付与部227とを有している。
 フィルタ回路224は、フィルタ回路224Aとフィルタ回路224Bとを有している。フィルタ回路224A及びフィルタ回路224Bの切り替えは上述したように、制御部20の制御により行われる。なお、図11では、フィルタ回路221、フィルタ回路224A及びフィルタ回路224Bのそれぞれのパラメータゲインがα、β1、β2で示されている。これらのパラメータゲインは、例えば、制御部20が有するメモリ(不図示)に記憶されている。なお、本実施形態では、フィルタ回路224Aのパラメータゲインβ1とフィルタ回路224Bのパラメータゲインβ2との間には、β1<β2が成立している。オープンループ(-βHM)が高い(大きい)ほどノイズキャンセル性能が上がる。従って、フィルタ回路224Bが用いられる場合は、フィルタ回路224Aが用いられる場合に比べてノイズキャンセルの性能が高くなる。一方で、βHMが一定以上大きくなるとフィードバックループの系が不安定になり、ハウリングしやすくなる。従って、ハウリングが起きやすい状況下では、フィルタ回路224Aが用いられる必要がある。
 また、図11中、Nは、騒音源から発せられFFマイク24に届くノイズであり、d1(disturburance1)は、例えば、FFマイク24を指でこする、風吹かれによる雑音等であり、Fは、FFマイク24からFBマイク25までの伝達関数である。具体的には、Fは、ノイズがヘッドホンの内部(耳側)に漏れこんでくる伝達関数を表しており、例えばイヤパッド15(構成によってはイヤピース)を透過する音及びその他、筐体内の音響伝達パスの特性が含まれる。HMは、ドライバーが放射した音がFBマイク25で拾われるまでの伝達関数を示している。d2は、例えば、歩行時の衝撃音、ヘッドホンを叩くなどした音等である。また、図11中、mは、例えば、音楽や通話音声など、ヘッドホンから再生される、装着者が聴取しようとする音であり、本実施形態では音楽信号に該当する。音楽信号には、イコライザ(EQ)28によるイコライジング処理がなされる。イコライジング処理がなされた信号が音楽信号mと表される。
 ノイズ源からのノイズNによる騒音はFFマイク24で集音されてノイズ信号としてフィルタ回路221に出力される。フィルタ回路221は、ノイズ信号に基づいてフィードフォワード方式によるノイズキャンセル処理を行い、ノイズキャンセル信号を加算器222に出力する。加算器222は、フィルタ回路221及び加算器226の出力(ノイズキャンセル信号)を加算してスピーカ23に出力する。
 スピーカ23から再生された音は、伝達関数Hを経由して、FBマイク25に集音される。FBマイク25の出力が、減算器223に供給される。減算器223は、FBマイク25の出力から特性付与部227の出力を減算する。減算器223は、減算後の信号をフィルタ回路224に出力する。
 フィルタ回路224は、減算器223から出力される信号に対する所定のフィルタ処理を実施して、ユーザの耳に達する外部の騒音を打ち消すためのノイズキャンセル信号を生成する。フィルタ回路224は、減算器223から出力される信号に対して、パラメータゲインβ1又はβ2によってゲイン、位相、振幅特性を操作する。フィルタ回路224は、例えばFIRフィルタで構成されていてもよく、IIRフィルタで構成されていてもよい。加算器225は、フィルタ回路224A及びフィルタ回路224Bの出力を加算する。なお、何れか1個のフィルタ回路が用いられる場合には、当該1個のフィルタ回路の出力が加算器225の出力となる。加算器226は、音楽信号mと、ノイズキャンセル信号を含む加算器225の出力を加算する。加算器226の出力が加算器222に供給される。
 特性付与部227は、音楽信号mに所定の特性であるHM’を付与する。所定の特性であるHM’は、通常装着状態に対応するHMであり、予め設定(モデル化)されている。特性付与部227の出力が、減算器223に供給される。従って、ヘッドホン10が通常装着状態であれば、減算器223の出力は理想的には0になる。一方で、ヘッドホン10が異常装着状態であれば、HMのずれ(以下、ΔHMと適宜、称される)が検出される。
 ノイズキャンセル処理部22の構成は、図12に示す構成であっても良い。具体的には、特性付与部227の構成が、図12に示すΔHM検出部228に置き換わっている。なお、図12におけるFBマイク25に入ってくる音をP0とすると、P0の信号は、NにFが畳み込まれたものと、d2(disturburance2)の和と考えことができる。図12におけるP1の信号は、DAC(Digital Analog Converter)やヘッドホンアンプを介して、最終的にヘッドホンドライバに入力される音である。また、Px(本例では、P2~P8)は、ノイズキャンセリング処理中に計算される、途中結果の音である。
 ヘッドホン10では、ΔHMを観測しやすいPxが適宜、選択される。そして、選択された信号を示す式を用いて解くことでΔHMが検出される。図12に示したノイズキャンセル処理部22の場合は、Pxにおける信号は、図13に示す式により表すことができる。図14及び図15には、Pxの各点についての連立方程式を解いた結果が示されている。また、図16には、図14及び図15に示した結果を項毎に振り分けた表が示されている。図16の中で、HMの変化(ΔHM)による外来ノイズであるNや音楽信号mの変化が検出しやすいPxの1つもしくは複数が利用されてHMの変化が検出される。HMの変化に応じて、ノイズキャンセル処理に用いられるフィルタ等の特性が切り替えられる。
 一つの例として、音楽信号mのパワーの大小とノイズの大小とに応じて、ΔHMを検出するための検出用信号が切り替えられる。例えば、図17に示すように、音楽信号mのパワーの大小とノイズの大小とに応じて、4個の象限(パターン)が設定される。パターン1は、音楽信号mのパワーが大きく、且つ、ノイズも大きいパターンである。パターン2は、音楽信号mのパワーが小さく、且つ、ノイズが大きいパターンである。パターン3は、音楽信号mのパワーが大きく、且つ、ノイズが小さいパターンである。パターン4は、音楽信号mのパワーが小さく、且つ、ノイズも小さいパターンである。
 各Pxについては、
・音楽信号mにかかる伝達関数
・Nf+d2、即ち、ヘッドホン10内部に漏れこんでくる騒音にかかる伝達関数
・N+d1、即ち、FFマイク24の入力にかかる伝達関数
の和で表現することができる(図16参照)。このことから、音楽信号mやノイズNの周波数振幅位相特性、例えば、ΔHMの検出に用いる周波数帯域におけるパワー(音量もしくはエネルギー)により、Pxに現れる信号がHMの変化に影響される度合いが変化すると言える。
 パターン1の場合は、検出用信号として、P0、音楽信号m、P9が用いられる(この点の詳細は、後述する。)
 パターン2としては、例えば、ヘッドホン10の装着者が飛行機等の騒音下で、音楽を聞かずに騒音のみを抑えたい場合、具体的には、ヘッドホン10を耳栓やイヤーマフとして使う例が想定される。この場合は、音楽信号mがかかる項は無視できるほど小さく、ノイズMに関係する項でHMの変化を受けるPxが検出用信号として用いられる。最も単純な例では、P0をNで割ると、ノイズ低減量を表す伝達関数が観測できる。当然、HMによってノイズ低減量は変化するため、予め規定されたノイズ低減量を閾値として持ち、そこからのズレにより、HMの変化を検出することができる。
 パターン3の場合は、PxにおいてNf+d2及びN+d1の項の影響は小さく、音楽信号mにかかる伝達関数の影響が支配的となる。その場合、例えばP10/P0を計算すると、下記の式11が残る。
(式11)
Figure JPOXMLDOC01-appb-I000011
式11のうち下記の式12
(式12)
Figure JPOXMLDOC01-appb-I000012
は、通常装着状態のHMを近似して設計されるため、通常装着されていてモデル化誤差がすくないときはP10/P0は0に近づく。HMが変化しモデル化誤差が増えると値が大きくなるため、一定の閾値をもっていればHMの変化は検出することができる。なお、実際には、閾値との比較の際、P10/P0で観測されるパワーは音楽信号mに依存するので、音楽信号mによって正規化されてもよい。即ち、パターン3の場合は、検出用信号として、例えば、P0、P10(又は、P0、P10及び音楽信号m)が用いられる。
 パターン4の場合は、検出用信号が発生しない、もしくはd1やd2に埋もれる可能性があるため、どのような信号を用いてもHMの変化を検出することが困難となる。従って。パターン4の場合は、常にハウリングの危険のないフィルタ(本実施形態に係るフィルタ回路224A)が用いられる。
 なお、上述した4象限(4パターン)である必要は必ずしもないが、少なくとも2つ以上の象限(2つ以上のパターン)に分け、各パターンにおいて検出用信号が適切に設定される。
[ヘッドホンの動作例]
 続いて、ヘッドホン10の動作例についての説明がなされる。上述したように、ヘッドホン10の通常装着状態を想定してモデル化されたHM’と実際のHMとのずれであるΔHM(伝達関数の変化)が検出される。ΔHMが一定以上であることは、通常装着状態でなく、異常装着状態であることを意味する。異常装着状態となるとHMが大きくなることからハウリングが起きやすくなる。そこで、本実施形態に係るヘッドホン10では、ΔHMが一定以上でありHMが所定範囲外である場合、換言すれば、ヘッドホン10の装着状態が異常装着状態である場合にはフィルタ回路224Aが使用されることによりハウリングが起きることが防止される。また、ΔHMが一定以内であり、HMが所定範囲内である場合、換言すれば、ヘッドホン10の装着状態が通常装着状態である場合には、フィルタ回路224Bを使用されることによりノイズキャンセル処理の性能を一定以上、確保される。
 以上の動作例をまとめた図が図18である。ヘッドホン10の装着状態としては、通常装着状態と異常装着状態とが想定される。通常装着状態では、ΔHMが小さくなることからHMが異常装着状態のHMに比べて低い値となる。通常装着状態では、パラメータゲインが大きいフィルタ回路、具体的には、パラメータゲインβ2のフィルタ回路224Bが使用される。この場合、オープンループ(-βHM)は、低いHMと高いパラメータゲインとを掛けたものとなり、一定以下とすることができる。従って、ノイズキャンセル性能を確保しつつ、ハウリングが起きないようにすることができる。なお、通常装着状態の場合、ハウリングが起きる危険性を示すフラグ(Howling_Predict)として「0」が設定される。
 異常装着状態では、ΔHMが大きくなることからHMが高い値となる。異常常装着状態では、パラメータゲインが小さいフィルタ回路、具体的には、パラメータゲインβ1のフィルタ回路224Aが使用される。この場合、オープンループ(-βHM)は、高いHMと低いパラメータゲインとを掛けたものとなり、一定以下とすることができる。従って、ノイズキャンセル性能が一定以下に制約されるも、ハウリングが起きないようにすることができる。従って、ハウリングの発生によってユーザに不快感を与えてしまうことを防止することができる。なお、異常装着状態の場合、ハウリングが起きる危険性を示すフラグ(Howling_Predict)として「1」が設定される。
 このように、ハウリングが起きやすい状況であるか否かに応じて、フィルタの特性を適切に切り替えるようにすることができる。また、ハウリングが起きづらい環境下では、ノイズキャンセルの一定以上の性能を確保することができる。従って、ヘッドホン10の異常装着状態によって発生するハウリングの危険性を考慮して常にノイズキャンセル性能を小さくし(パラメータゲインβ1のフィルタ回路224Aを常に用い)、ノイズキャンセルの性能を常に抑制する必要がなくなる。
 なお、上述した例では、ΔHMが信号処理的に検出されるようにしたが、センサ16の検出結果によりΔHMが検出されるようにしても良い。例えば、センサ16のセンシングデータとΔHMとが対応づけられて記述されたテーブルが用意される。係るテーブルを使用して、センサ16のセンシングデータに対応するΔHMが求められるようにしても良い。
[ヘッドホンで行われる処理例]
 次に、本実施形態に係るヘッドホン10で実行可能な複数の処理の例について説明する。なお、以下に説明する複数の処理のうち、ヘッドホン10が、1の処理のみを行うようにしても良いし、複数の処理を適宜、切り替えて行うようにしても良い。
 各処理例では、フィルタ回路224Aが使用されるモードがセーフモードと適宜、称される。また、フィルタ回路224Bが使用されるモードがターボモードと適宜、称される。また、(Howling_Predict)は、ハウリングの危険性があるかどうかを示すステータスである。(Howling_Predict)が「0」の場合はターボモードが設定され、(Howling_Predict)が「1」の場合はセーフモードが設定される。(Howling_Predict)は、2値に限らず、連続的な値等であっても良い。また、(Howling_Predict)は、必ずしもHMの変化のみを反映しているわけではなく、ノイズや音楽のパワーが低く、検出処理の信頼性が低いことを反映している場合もある。
 また、本処理は時間軸方向に刻々と繰り返されるが、前回の判定結果により、使われているフィルタの履歴を保存する変数が設定される。係る変数が「State」として示される。「State」が「0」であることはセーフモードを示し、「State」が「1」であることはターボモードを示す。また、セーフモードとターボモードを頻繁に行き来すると、キャンセル効果と音質が頻繁に変わることで、ユーザに不快感を与える虞がある。従って、フィルタ変更が指示されてからの時間をカウントするカウンタが設定される。係るカウンタが「timer」として示されている。なお、以下では、図12に示したノイズキャンセル処理部22の構成例を用いた説明が行われる。
(第1の処理例)
 始めに、図19に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第1の処理例で行われる処理が具体的に説明される。第1の処理例は、パターン2の場合でハウリングが起きやすい場合のみターボモードが設定され、その他のパターンではセーフモードが設定される例である。以下に説明する処理は特に断らない限り、制御部20の制御によって行われる。
 第1の処理例は、例えば、ヘッドホン10の電源がオンされると開始される。なお、ヘッドホン10に、ノイズキャンセルの機能をオフすることが設定可能な場合には、第1の処理例は、係る設定がなされていないとき、換言すれば、ノイズキャンセルの機能がオンされている場合に行われる。第1の処理例が繰り返される周期はサンプリング周波数ごとのサンプル処理でも良いし、数十msec程度バッファしてからフレーム処理を行っても良い。
 ステップS101では、解析用信号が制御部20に入力される。ここで、解析用信号は、FFマイク24により集音される信号(N+d1)、FBマイク25で集音される信号(P0)、音楽信号m、各Pxにおける信号を意味する。なお、解析用信号の中からΔHMを検出ための検出用信号が設定される。勿論、ステップS101で検出用信号のみが制御部20に入力されても良い。
 なお、ステップST101では、帯域制限フィルタによる帯域制限処理が行われても良い。信号の全体域のエネルギーを使っても良いが、帯域制限を入れると、HMの変化による影響を受けやすい帯域に処理対象の信号を絞ることができ、HMの変化を検出する精度を向上させることができる。そして、処理がステップST102に進む。
 ステップST102では、音楽信号mのパワーが解析される。そして、音楽信号mのパワーが所定の閾値より小さいか否かが判断される。係る判断処理は、ノイズ/音楽解析部20Aにより行われる。判断処理の結果がYesの場合は処理がステップST103に進み、Noである場合は処理がステップST108に進む。
 ステップST103では、ヘッドホン10の左右それぞれのFFマイク24で集音される信号のパワー、及び、ヘッドホン10の左右それぞれのFBマイク25で集音される信号(左右それぞれのP0)のパワーが計算される。係る計算処理は、ノイズ/音楽解析部20Aにより行われる。そして処理がステップST104に進む。
 ステップST104では、FFマイク24で集音された信号のパワーが所定の閾値より小さいか否かが判断される。係る判断処理は、ノイズ/音楽解析部20Aにより行われる。判断処理の結果がNoの場合は処理がステップST105に進み、Yesである場合は処理がステップST108に進む。なお、ステップST104の判断処理において、FFマイク24で集音された信号のパワーに代えてFBマイク25で集音された信号のパワーが使用されても良い。ステップST104の判断結果がYesである場合には、誤検出や検出漏れを考慮して処理がステップST108に進み、(Howling_Predict)として「1」が設定される。
 処理がステップST105に進むパターンは、音楽信号mのパワーが小さく、ノイズのパワーが大きい、即ち、4個のパターンのうちのパターン2に該当する(図17参照)。従って、解析手法切り替え判断部20Bは、検出用信号として例えばFFマイク24で集音される信号と、FBマイク25で集音される信号(P0)を設定する。
 ステップST105では、雑音起因の信号の場合、パワーが時々刻々と変化しすぎるので、時間方向に平滑化を行う。平滑化手段は、移動平均やローパスフィルタ等により行われる。この処理は、制御部20で行われても良いし、他の機能ブロックで行われても良い。そして、処理がステップST106に進む。
 ステップ106では、L(Left)側のFBマイク25で集音された信号とL側のFFマイク24で集音された信号とのパワー比、又は、R(Right)側のFBマイク25で集音された信号とR側のFFマイク24で集音された信号とのパワー比が音響系変化解析部20Cにより計算され、これにより伝達関数の変化であるΔHMが計算される。ΔHMの計算結果がフィルタ切り替え判断部20Dに供給され、ΔHMが所定の閾値と比較されることによりハウリングが起きる危険性が判断される。ステップST106の判断結果がYesの場合は処理がステップST108に進む。ステップST106の判断結果がNoの場合は処理がステップST107に進む。
 ステップST107では、ハウリングが起きづらい環境であることから「Howling_Predict」として「0」が設定される。そして、ターボモードに入っている時間がカウントされる(timer++)。
 上述したように、第1の処理例は、パターン2以外のパターンではセーフモードが設定される。そこで、パターン2以外のパターンに該当する場合(ステップST102の判断結果がNoの場合(パターン1、3に該当する場合)や、ステップST104の判断結果がYesの場合(パターン4に該当する場合))には、ステップST108に処理が進み、セーフモードを設定するために「Howling_Predict」として「1」が設定される。そして、タイマーがリセットされる。また、ステップST106の判断結果がYesの場合は、ΔHMの検出結果に基づいてハウリングが起きる危険性が高いと判断されたことから、ステップST108に処理が進み、セーフモードを設定するために「Howling_Predict」として「1」が設定される。そして、タイマーがリセットされる。
 ステップST107及びステップST108の処理に続いて、処理がステップST109に進む。現在の設定がターボモードである場合、ハウリングを避けるためには速やかにセーフモードに切り替える必要があり、一方でセーフモードからターボモードに切り替えるのは遅くても問題ない。そこで、本実施形態では、例えば、ターボモードからセーフモードへの切り替えはクロスフェードの時定数を速くし、セーフモードからターボモードへの切り替えは時定数を遅くする。常に速い時定数で切り替えると、異音の可能性があるためである。また、頻繁にモードが切り替わると、ノイズキャンセルの強さの変化や音質の変化がユーザに知覚され違和感を与える可能性があるため、頻繁にモードの変更が起こる事は好ましくない。係る観点から、前の判定結果(現在設定中のモード)や、切り替わりからの時間を考慮し、次に設定されるノイズキャンセルのモードが決定される。以下、ステップST109以降の処理について説明する。
 ステップST109では、現在のモードがセーフモード(State==0であり、且つ、ハウリングが起きる危険性がなく(若しくは小さい)(Howling_Predict==0)、更に、前回のターボモードへの切り替えから一定時間(例えば、timerが2秒間分)経過しているか否かが判断される。ステップST109の判断結果がYesであれば処理がステップST110に進む。ステップST109の判断結果がYesであれば処理がステップST111に進む。
 ステップST110では、ハウリングが起きる危険性が小さいことから、モードがセーフモードからターボモードに切り替えられる。具体的には、ノイズキャンセル処理に使用されるフィルタがフィルタ回路224Aからフィルタ回路224Bに切り替えられる。この処理では、上述したように、セーフモードからターボモードへのモード遷移は比較的自由度があることが利用されている。従って、timerやStateは必ず必要なわけではなく、現在のモードの判定結果のみでフィルタを切り替えることも可能である。ステップST110の処理の後は、処理のループが最初に戻る。
 ステップST111では、ハウリングが起きる危険性が予測され(Howling_Predict==1)、且つ、現在のモードとしてターボモードが適用されているか(State==1であるか)否かが判断される。ステップST111の判断がYesであれば処理がステップST112に進む。ステップST111の判断がNoであれば処理がステップST113に進む。
 ステップST112では、ハウリングが起きる危険性があり、且つ、現在のモードがターボモードであることから、速やかにモードをセーフモードに切り替える必要がある。従って、ノイズキャンセル処理に使用されるフィルタ回路が、フィルタ回路224Bからフィルタ回路224Aに切り替えられる。ステップST112の処理の後は、処理のループが最初に戻る。
 ステップST113(その他の場合)は、フィルタを切り替える必要がないため、処理のループが最初に戻る。そして、ハウリングが起きる危険性を予測する処理が繰り替えされる。
 なお、上述した各処理における大小関係や閾値は、ヘッドホン10の物理的、音響的な構造に応じて適切に設定される。また、左右のチャンネルでフィルタを独立に切り替えることもできるが、片方の耳だけノイズキャンセルのかかり具合が強い又は弱くなることで、左右でノイズや音楽の音色が異なる、ということが発生し得る。そこで、本実施形態では、どちらか片方のチャンネルでハウリングが予測された場合には、両側のチャンネルともフィルタを切り替えようにしている。
(第2の処理例)
 続いて、図20に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第2の処理例で行われる処理が具体的に説明される。なお、第1の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。
 第2の処理例では、ステップST101の処理とステップST102の処理との間に、ステップST201の処理が追加された点が第1の処理例と異なる。FFマイク24には、キャンセル対象のノイズNとは無相関なノイズ(d1)が集音されることがある。d1の具体例としては、風雑音や指でマイクをこすった音などである。これらの音はランダム性をもつため、左右のFFマイク間の相関は失われる。一方で、これらの雑音が無いときは、左右の信号は同一騒音源から発せられる信号が集音されるため、集音された信号間には高い相関が検出される。ステップST102でパワーを判定に用いる場合、Nに基づく信号とd1に基づく信号を区別できず、d1無しを想定して設定された閾値(ステップST102の閾値)ではハウリングが起きる危険性の予測がうまく働かず、誤判定/検出漏れの可能性がある。そこで、第2の処理例では、左右のFFマイク24で集音された信号の相関が一定以上、高い場合(d1が一定以下の場合)に処理がステップST102に進み、そうでない場合は、処理がステップST108に進み、(Howling_Predict==1)を設定し強制的にセーフモードに移行するようにした。これにより、ハウリングが起きる危険性を精度良く予測することができる。
(第3の処理例)
 続いて、図21に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第3の処理例で行われる処理が具体的に説明される。なお、第1の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。第3の処理例では、センサ16により検出されたセンシングデータが制御部20に入力される。そして、当該センシングデータも使用してヘッドホン10の装着状態が判断される例である。
 第3の処理例では、ステップST101の処理とステップST102の処理との間に、ステップST301の処理が追加された点が第1の処理例と異なる。オープンループにおけるHM項はイヤパッド15が押された時、中途半端に浮いた装着、完全に外した状態等で変化する。例えば、イヤパッド15が一定以上の強さで押されるとイヤパッド15がつぶれて筐体内側と頭部の距離は縮まる。上述したように、係る現象は、距離センサや圧力センサ、若しくは光センサ等で検出することができる。イヤパッド15が押される現象以外のHMが変化し得る他の現象も同様に検出することができる。そこで、ステップST301では、センサ16に検出結果に基づいて、ヘッドホン10の装着状態が正常装着状態であれば、処理がステップST102に進むようにし、装着状態が異常装着状態と判断された場合には、処理がステップST108に進み、(Howling_Predict==1)を設定し強制的にセーフモードに移行するようにした。これにより、ハウリングが起きる危険性を精度良く予測することができる。
 なお、センサ16のセンシングデータのみに基づいてヘッドホン10の装着状態を検出しても良いが、一般に、センサの信号は、I2C等のシステムデータバス経由でのポーリングによる取得になるため、音の信号よりも大まかなデータしか得られないことが多い。従って、本例のように音の信号も利用してヘッドホン10の装着状態を検出する処理を併用する方が好ましい。
(第4の処理例)
 続いて、図22及び図23に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第4の処理例で行われる処理が具体的に説明される。なお、第1の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。第4の処理例は、上述したパターン2とパターン3(図17参照)とを区別し、区別したパターンに応じて検出用信号を切り替える例である。なお、図22に示す「A」、「B」、「C」及び図23に示す「D」は、処理の連続性を示す符号であり特定の処理を示すものではない。
 第4の処理例では、ステップST101の処理とステップST102の処理との間に、ステップST401の判断処理及びステップST402の判断処理が追加されている。ステップST401では、ノイズのパワーが閾値より小さく、且つ音楽信号mのパワーが閾値より小さいか否かが判断される。換言すれば、ステップST401では、音楽信号mのパワー及びノイズのパワーが共に小さいか否か、即ち、パターン4に該当するか否かが判断される。
 ステップST401の判断結果がYesの場合、即ち、パターン4の場合には、音楽信号m及びノイズの両方のパワーが共に小さいため、ハウリングが起きる危険性を精度良く予測することが困難である。そこで、ステップST401の判断結果がYesの場合には、処理がステップST108に進み、常に(Howling_Predict==1)が設定される。ステップST401の判断結果がYesの場合には、モードをセーフモードに固定してハウリングが起きる危険性を予測する処理自体を止めても良いし、センサ16のセンシングデータのみに基づいて、ヘッドホン10の装着状態が判断されるようにしても良い。
 ステップST401の判断結果がNoの場合、処理がステップST402に進む。ステップST402では、ノイズのパワー/音楽信号mのパワーが閾値より十分大きいか否かが判断される。ノイズのパワー計算は、FFマイク24で集音されたノイズのパワーを用いるが、FBマイク25で集音されたノイズのパワーでも良い。ステップST402の判断結果がYesの場合は、音楽信号mがない、若しくはそのパワーがノイズのパワーに十分、小さいことからパターン2に該当する。そして、処理がステップST103に進む。ステップST103、ST105、ST106の処理は、上述した第1の処理例と同様であるので重複した説明が省略される。
 ステップST402の判断結果がNoの場合、処理がステップST403に進む。ステップST403では、ノイズのパワー/音楽信号mのパワーが閾値より十分小さいか否かが判断される。ステップST403の判断結果がNoである場合は、パターン1に該当する。本例では、ステップST403の判断結果がNoである場合は、(Howling_Predict==1)が設定されるようにしている。
 ステップST403の判断結果がYesである場合は、音楽信号mがノイズに対して十分大きいことからパターン3に該当する。ステップST403の判断結果がYesの場合には、ステップST404~ST405の処理が行われる。ステップST403~ST406で行われる処理の内容は、ステップST103~ST105で行われる処理の内容と同じであるものの検出用信号が異なる。上述したように、パターン2の場合は、実際のHMと、ノイズキャンセル処理の内部でモデル化して保持しているHM’とのズレが大きくなると、HM’によるHM特性のキャンセルがうまくいかなくことを利用し、P10、P0の信号の比を観察することによりHMのズレを検出することができる。係る処理がステップST404~ST405で行われることにより、(Howling_Predict)が適宜、設定される。具体的にはP10の信号/P0の信号(Lチャンネル、Rチャンネルの何れでも良い)が閾値より大きい場合には処理がステップST108に進み、閾値より小さい場合には処理がステップST107に進む。
 なお、ステップST107、ST108の処理に続いて、処理「D」が行われる。処理「D」は、上述したステップST109~ステップST113に係る処理を意味する。従って、処理「D」に関する重複した説明は省略される。
(第5の処理例)
 続いて、図24及び図25に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第5の処理例で行われる処理が具体的に説明される。なお、第4の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。第5の処理例は、上述した4パターン(図17参照)を区別し、区別したパターンに応じて検出用信号を切り替える例である。なお、第4の処理例と同様に、「A」、「B」、「C」及び「D」は、処理の連続性を示す符号であり特定の処理を示すものではない。
 第5の処理例では、ステップST401の判断結果がYesの場合、即ち、パターン4に該当する場合には、処理がステップST501に進む。パターン4の場合には、HMの変化を検出することが難しいので次の処理単位まで動作しない。
 また、ステップST403の判定結果がNoである場合に、処理がステップST502に進む点が第4の処理例と異なる。上述したように、ステップST403の判断結果がNoであることは、パターン1に該当する。パターン1は、音楽信号mとノイズのエネルギーとの比が小さい領域であり、伝達関数のうちNとmにかかる成分がそれぞれ近しく、パワーだけから伝達関数の変化を検出するのが難しくなる領域である。
 本例では、ノイズや音楽信号の時間的な性質の違いを利用した処理が行われる。ノイズが十分にランダム性を持っていれば、基本的にはノイズの自己相関は0に近く、一方で音楽はピッチ性(周期性)を持つことが多く、自己相関は高い。係る性質を仮定すると、ノイズ(FFマイク24で集音された信号)と音楽信号(再生信号)の相互相関が一定以上あればHMの変化を検出することができる。
 そこで、ステップST502では、ノイズ(FFマイク24で集音された信号)と音楽信号(再生信号)の相互相関が閾値以上あるか否かが判断される。相互相関が一定以上ない場合にはHMの変化を検出することが難しいので、処理がステップST501に進む。相互相関が一定以上ある場合は、処理がステップST503に進む。
 ステップST503では、雑音起因の信号の場合、パワーが時々刻々と変化しすぎるので、時間方向に平滑化を行う。平滑化手段は、移動平均やローパスフィルタ等により行われる。そして、処理がステップST504に進む。
 ステップST504では、検出用信号としてFBマイク25で集音された信号(P0)及びP9の信号を使用した処理が行われる。P0の信号には再生中の音楽信号が含まれるが、内部モデル(HM’)が実際のHMと等しいときは、(P0-P11)により音楽成分がキャンセルされ、P9には音楽信号mが出てこない。このため、P9にはノイズキャンセルで消し残したノイズのみが残る。この時、ある時間窓長でP9の信号と音楽信号mとの内積が計算される。内積は「両者の類似性」を表す指標であり、信号が似ていれば大きく、似ていなければ小さくなる。HMが内部モデルのHM'と等しいとき、即ち、ヘッドホン10が通常装着状態の際は、内積は小さくなる。一方、内部モデルのHM'と実際のHMとがずれている場合は、内部モデルによるキャンセルがうまくいかず、P9には消し残りのノイズに加え、音楽成分が多く含まれることになる。よって、P9の信号と音楽信号mの類似性は高くなり、P9と音楽の内積は通常時より大きくなる。
 即ち、ステップST504の判断結果がYesの場合、即ち、内積の結果が所定の閾値より大きい場合には、ヘッドホン10の装着状態が異常装着状態であることを意味する。従って、処理がステップST108に進み、(Howling_Predict)として「1」が設定される。また、ステップST504の判断結果がNoの場合、即ち、内積の結果が所定の閾値より小さい場合には、ヘッドホン10の装着状態が通常装着状態であることを意味する。従って、処理がステップST107に進み、(Howling_Predict)として「0」が設定される。ステップST107、ST108以降の処理は既に説明しているため、重複した説明は省略される。
 なお、本例では、内積を音楽信号のパワーの積分値で割っている。これにより、内積の正規化が行われ、閾値の設定を容易とすることができる。
 上述したステップST504の処理(以下、処理例Aと適宜、称される)の内容は他の処理(以下、処理例Bと適宜、称される)でも良い。処理例Aでは音楽信号とPxの相関例を用いたが、処理例Bとしてノイズ信号とPxの相関の増減によっても同じことができる。HMと内部モデルのHM'が等しいときには、FBマイク25に集音される信号にはノイズの消し残りと音楽信号が入力され、P10には「フィードバックループが無かった時」のノイズのみが現れる。よって、HMが内部モデルのHM'近いとき、すなわち通常装着状態ではP0とP10の類似性である内積はあまり高くない。HMとHM'のモデルがずれると、音楽成分とノイズがP11に両方現れるため、類似性(内積)は高くなる。このように、P0の信号とP10の信号との内積の結果に応じてヘッドホン10の装着状態が判断されるようにして良い。なお、内積の結果を正規化するために、内積の結果をFBマイク25で集音された信号のパワーで除算しても良い。また、上述した処理例A及び処理例Bは、何れか一方が行われても良いし、両方行われ、それぞれの結果に応じてヘッドホン10の装着状態が判断されるようにして良い。
(第6の処理例)
 続いて、図26及び図27に示すフローチャートが参照されつつ、ヘッドホン10で実行可能な第6の処理例で行われる処理が具体的に説明される。なお、第5の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。なお、第5の処理例と同様に、「A」、「B」、「C」及び「D」は、処理の連続性を示す符号であり特定の処理を示すものではない。
 第6の処理例は、ステップST502に係る処理の内容がステップST601に係る処理となっている点が第5の処理例と異なる。第5の処理例では、ステップST502で、
ノイズや音楽信号の時間的な性質の違いを利用して、FFマイク24で集音されたノイズと音楽信号との相互相関を用いた処理を行った。しかしながら、常にノイズがランダムであり、音楽がピッチ性を持つとは限らない。ノイズにも、例えば、踏切のようなベル音、ブザー、環境BGM(Back Ground Music)等、周期性を有するものが存在する。一方で、音楽の中にも、例えば、映画の効果音やノイズ性の高い音など周期性をもたないものも存在し得る。係る点を考慮して、ステップST601では、ノイズの自己相関を演算し、且つ、音楽信号mの自己相関を演算する処理が行われる。演算結果が、ノイズの自己相関が閾値より小さく(ノイズがランダムであり)、且つ、音楽信号mの自己相関が閾値より大きい場合(周期性がある場合)、即ち、ステップST601の判断結果がYesの場合に、処理がステップST503に進むようにした。ステップST601の判断結果がNoの場合に、処理がステップST501に進むようにした。他の処理について既に説明しているため、重複した説明は適宜、省略される。
(第7の処理例)
 続いて、図28~図30が参照されつつ、ヘッドホン10で実行可能な第7の処理例で行われる処理が具体的に説明される。なお、第6の処理例と同じ処理については同一の参照符号が付され、処理内容に関する重複した説明が適宜、省略される。なお、第6の処理例と同様に、「A」、「B」、「C」及び「D」は、処理の連続性を示す符号であり特定の処理を示すものではない。
 本例に係る処理を行うノイズキャンセル処理部(以下、ノイズキャンセル処理部22Aと適宜、称する)は、ノイズキャンセル処理部22と構成上の差異を有している。具体的には、図28に示すように、ノイズキャンセル処理部22Aは、特性付与部230を有している。特性付与部230は、音楽信号mに特性であるHM’2を付与する。特性が付与された信号(P12の信号)が加算器230AによってP0の信号と加算され、加算後の信号(P13の信号)が加算器230Aから出力される。
 上述したHM’は、通常装着状態のHMをモデル化したものであるが、HM’2は異常装着状態のHMをモデル化したものである。即ち、本例では、通常装着状態をモデル化したHM’に対する実際のHMのずれを検出するのではなく、異常装着状態をモデル化したHM’2に実際のHMが近いか否かに応じて、ハウリングが起きる危険性が高いか否かが判断される。
 図29の「B」から図30の「B」に処理が続いて、ステップST403の判断処理が行われる。ステップST403の判断結果がNoである場合に、処理がステップST701に進む。ステップST701の処理で異常装着状態をモデル化したHM’2を用いる設定がなされた後、処理がステップST702に進み平滑化処理が行われる。ステップST702の処理に続いて、ステップST703に係る処理が行われる。
 ここで、ヘッドホン10の装着状態が異常装着状態であるとき、即ち、HM’2に近い音響状態でノイズキャンセルが動作している場合、HM’2のモデル化誤差が少ないので、P13に含まれる音楽成分は少なくなり、ノイズ由来の信号が支配的になる。P12(あるいは音楽信号m)には音楽成分が含まれるので、P12(あるいは音楽信号m)とP13の内積(類似度)を取ると内積は小さくなる。一方、HM’2以外のHM、例えば通常装着状態のHMでノイズキャンセルが動作している場合には、モデル化誤差が大きいため、P13には音楽由来成分が多く含まれ、P12(あるいは音楽信号m)とP13の内積(類似度)を取ると、内積は大きくなる。
 即ち、ステップST703で行われた内積の結果が閾値より小さい場合には、ヘッドホン10が異常装着状態であると判断されて処理がステップST108に進み、(Howling_Predict)として「1」が設定される。また、ステップST703で行われた内積の結果が閾値より大きい場合には、ヘッドホン10が通常装着状態であると判断されて処理がステップST107に進み、(Howling_Predict)として「0」が設定される。ステップST107及びステップST108以降の処理は既に説明しているため、重複した説明は省略される。
 なお、閾値設定を容易にするため、内積の計算結果をP12の信号のパワーで除算することにより正規化を行っても良い。内積結果をP12の信号のパワーで正規化すると、現在のHMに対するHM’2の遠さを検出することもできる。例えば、現在のHMが通常装着状態に対応する値であったとすると、P0における信号のうち、ノイズ由来の成分は限りなく低く、ほぼ音楽信号mの成分となる。そのため、正規化された内積はほぼ1となる。一方、現在のHMが異常装着状態に対応する値に近づき、HM’2に近づくと0に近づく。この内積の変化をフィルタの変化割合に再度マッピングし、2個のフィルタ(フィルタ回路224A、224B)の混合率を2者択一ではなく、30:70等の中間値に設定することもできる。即ち、2個のフィルタの出力の混合率を内積の変化の割合に対応した値に設定することができる。例えば、通常装着状態のHMのモデル(HM’)だと、HM’から変化したことは検知できるが、どのくらいのハウリングが起きる危険度か判別することが困難である。一方で、HM’2を用いることにより、本当にハウリングする状態のHM’2からの距離(差分)が計測されるので、より精度よくハウリングが起きる危険性を検出することができる。
 なお、HM’2は異常装着状態をモデル化したHMに限定されることはなく、検出を所望する状態に対応するHMをモデル化したものであっても良い。また、特性付与部230の入力を音楽信号mとして説明したが、P6の信号を入力としてもヘッドホン10の異常装着状態の検出は可能である。
 以上説明した実施形態によれば、不必要にノイズキャンセル性能が抑制されてしまうことを防止することができる。具体的には、ハウリングが起きる危険性があるときはノイズキャンセル性能が所定以下に抑制されることによりハウリングの発生が防止され、ハウリングが起きる危険性がないときはノイズキャンセル性能が発揮され、ノイズが適切に抑圧される。
<変形例>
 以上、本開示の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
 ノイズキャンセル処理の方式は、様々な方式が提案されている。本開示は、上述した実施形態に係るノイズキャンセル処理の方式に限らず、公知の方式やこれから提案される方式に適用することができる。また、ハウリングは、フィードバックループの中で起きることから、ハウリングが起きる危険性に応じて少なくともフィードバックフィルタの特性を変更する必要がある。ノイズキャンセル処理の方式によっては、フィードバックフィルタ以外のフィルタが存在する場合もある。ハウリングが起きる危険性に応じてこれらのフィルタの特性が変更されるようにしても良い。以下、その具体例について説明する。
 図31に示すように、フィードフォワードフィルタであるフィルタ回路221がフィルタ回路221A(パラメータゲインα1)、221B(パラメータゲインα2)を有していても良い。そして、フィルタ回路224の特性が変更された場合に、フィルタ回路221A及びフィルタ回路221Bが切り替えられることによりフィルタ回路221の特性が変更されるようにして良い。例えば、フィルタ回路224Aが用いられる場合にはフィルタ回路221Aが用いられ、フィルタ回路224Bが用いられる場合にはフィルタ回路221Bが用いられる。フィードバックフィルタの特性を変更するとクローズドループが変わり、音楽信号やフィードフォワードフィルタにかかる伝達関数が変化する。そこで、フィルタ回路224の特性が変更されることに伴いフィードフォワードフィルタの特性が適切に変更されることで、音質を向上させることができ、ノイズキャンセル性能が低下してしまうことを防止することができる。
 図32に示すように、音楽信号mに対してイコライジング処理をイコライザ28がイコライザ28A、28Bを有していても良い(但し、イコライザ28A、28Bのイコライザ係数は異なるものとする。)。そして、フィルタ回路224の特性が変更された場合に、イコライザ28A及びイコライザ28Bが切り替えられることによりイコライザ28の特性が変更されるようにして良い。例えば、フィルタ回路224Aが用いられる場合にはイコライザ28Aが用いられ、フィルタ回路224Bが用いられる場合にはイコライザ28Bが用いられる。本変形例に係る構成例によれば、図31に示す構成に比べて更に音質を向上させることができる。
 ノイズキャンセル処理部の構成は、BCC方式とIMC方式を組み合わせた方式(以下、ダブルフィードバック方式と適宜、称される)であっても良い。図33には、ダブルフィードバック方式が適用されたノイズキャンセル処理部の構成が示されている。ダブルフィードバック方式のノイズキャンセル処理部は、ノイズキャンセル処理部22の構成に、加算器240、フィルタ回路241(パラメータゲインβ3)、加算器225の出力に対して特性のHM’を付与する特性付与部227Aに係る構成が追加されている。加算器240は、減算器223の出力と特性付与部227Aの出力とを加算する。加算器225は、フィルタ回路224の出力とフィルタ回路241の出力とを加算する。
 図33に示す構成において、フィルタ回路224の特性が変更されることに伴って、フィルタ回路221及びイコライザ28の特性が変更されるようにしても良い。また、図34に示すように、ハウリングが起きる危険性に応じてフィルタ回路241の特性が変更されるようにしても良い。フィルタ回路241の特性が変更されることに伴って、フィルタ回路221及びイコライザ28の特性が変更されるようにしても良い。また、図35に示すように、ハウリングが起きる危険性に応じてフィルタ回路224、241の特性が変更されるようにしても良い。フィルタ回路224、241の特性が変更されることに伴って、フィルタ回路221及びイコライザ28の特性が変更されるようにしても良い。
 本開示の音響処理装置は、ヘッドホンに限定されることはなく、インイヤー型のイヤホンに適用されても良いし、スマートフォン、HUD(Head Up Display)等の電子機器に組み込まれていても良い。
 上述の実施形態および変形例において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよく、公知のもので置き換えることも可能である。また、実施形態および変形例における構成、方法、工程、形状、材料および数値などは、技術的な矛盾が生じない範囲において、互いに組み合わせることが可能である。また、本開示は、制御方法や電子機器の製造装置等、任意の形態により実現することができる。
 なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。
 本開示は、以下の構成も採ることができる。
(1)
 ユーザの耳部に装着される装着部の変形を検出するセンサと、
 前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える制御部を有する音響処理装置。
(2)
 前記制御部は、スピーカから放射された音がフィードバック用のマイクロフォンに到達するまでの伝達関数に応じて、前記モードを切り替える
 (1)に記載の音響処理装置。
(3)
 前記制御部は、前記装着部の変形に応じて生じる伝達関数の変化に応じて、使用するフィルタの特性を切り替えることにより前記モードを切り替える
 (1)又は(2)に記載の音響処理装置。
(4)
 前記制御部は、前記伝達関数が所定範囲内である場合にはノイズキャンセルの性能が一定以上となるように前記フィルタの特性を切り替え、前記伝達関数が所定範囲外である場合にはノイズキャンセルの性能が一定以下となるように前記フィルタの特性を切り替える
 (3)に記載の音響処理装置。
(5)
 前記フィルタは、少なくともフィードバックフィルタを含む
 (3)又は(4)に記載の音響処理装置。
(6)
 前記フィルタは、フィードフォワードフィルタを含む
 (5)に記載の音響処理装置。
(7)
 前記装着部の変形に応じて生じる前記伝達関数の変化に応じて、更に、前記装着部を介して再生される音声信号に対してイコライジング処理を行うイコライザの特性を切り替える
 (3)から(6)までの何れかに記載の音響処理装置。
(8)
 前記伝達関数の変化を検出するために使用される検出用信号が切り替えられる
 (3)から(6)までの何れかに記載の音響処理装置。
(9)
 前記装着部を介して再生される音声信号のパワーとノイズの大きさとに応じて、前記検出用信号が切り替えられる
 (8)に記載の音響処理装置。
(10)
 前記音声信号のパワーと前記ノイズの大きさにより規定される複数のパターンのうち、所定のパターンのみに前記フィルタの特性が切り替えられる
 (9)に記載の音響処理装置。
(11)
 前記センサを有する
 (1)から(10)までの何れかに記載の音響処理装置。
(12)
 前記センサは、距離センサ及び圧力センサの少なくとも一つである
 (11)に記載の音響処理装置。
(13)
 ヘッドホンとして構成される
 (1)から(12)までの何れかに記載の音響処理装置。
(14)
 装着部の変形に応じて生じる伝達関数の変化に応じて、使用するフィルタの特性を切り替えることによりノイズキャンセルのモードを切り替える制御部を有し、
 前記制御部は、前記装着部を介して再生される音声信号のパワーとノイズの大きさとに応じて、前記伝達関数の変化を検出するための検出用信号を切り替える
 音響処理装置。
(15)
 センサが、ユーザの耳部に装着される装着部の変形を検出し、
 制御部が、前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法。
(16)
 センサが、ユーザの耳部に装着される装着部の変形を検出し、
 制御部が、前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法をコンピュータに実行させるプログラム。
10・・・ヘッドホン、15・・・イヤパッド、16・・・センサ。制御部・・・20、20A・・・ノイズ/音楽解析部、20B・・・解析手法切り替え判断部、20C・・・音響系変化解析部、20D・・・フィルタ切り替え判断部、22・・・ノイズキャンセル処理部、23・・・スピーカ、24・・・FFマイク、25・・・FBマイク、28・・・イコライザ、221,224,224A,224B・・・フィルタ回路、

Claims (16)

  1.  ユーザの耳部に装着される装着部の変形を検出するセンサと、
     前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える制御部を有する音響処理装置。
  2.  前記制御部は、スピーカから放射された音がフィードバック用のマイクロフォンに到達するまでの伝達関数に応じて、前記モードを切り替える
     請求項1に記載の音響処理装置。
  3.  前記制御部は、前記装着部の変形に応じて生じる伝達関数の変化に応じて、使用するフィルタの特性を切り替えることにより前記モードを切り替える
     請求項1に記載の音響処理装置。
  4.  前記制御部は、前記伝達関数が所定範囲内である場合にはノイズキャンセルの性能が一定以上となるように前記フィルタの特性を切り替え、前記伝達関数が所定範囲外である場合にはノイズキャンセルの性能が一定以下となるように前記フィルタの特性を切り替える
     請求項3に記載の音響処理装置。
  5.  前記フィルタは、少なくともフィードバックフィルタを含む
     請求項3に記載の音響処理装置。
  6.  前記フィルタは、フィードフォワードフィルタを含む
     請求項5に記載の音響処理装置。
  7.  前記装着部の変形に応じて生じる前記伝達関数の変化に応じて、更に、前記装着部を介して再生される音声信号に対してイコライジング処理を行うイコライザの特性を切り替える
     請求項3に記載の音響処理装置。
  8.  前記伝達関数の変化を検出するために使用される検出用信号が切り替えられる
     請求項3に記載の音響処理装置。
  9.  前記装着部を介して再生される音声信号のパワーとノイズの大きさとに応じて、前記検出用信号が切り替えられる
     請求項8に記載の音響処理装置。
  10.  前記音声信号のパワーと前記ノイズの大きさにより規定される複数のパターンのうち、所定のパターンのみに前記フィルタの特性が切り替えられる
     請求項9に記載の音響処理装置。
  11.  前記センサを有する
     請求項1に記載の音響処理装置。
  12.  前記センサは、距離センサ及び圧力センサの少なくとも一つである
     請求項11に記載の音響処理装置。
  13.  ヘッドホンとして構成される
     請求項1に記載の音響処理装置。
  14.  装着部の変形に応じて生じる伝達関数の変化に応じて、使用するフィルタの特性を切り替えることによりノイズキャンセルのモードを切り替える制御部を有し、
     前記制御部は、前記装着部を介して再生される音声信号のパワーとノイズの大きさとに応じて、前記伝達関数の変化を検出するための検出用信号を切り替える
     音響処理装置。
  15.  センサが、ユーザの耳部に装着される装着部の変形を検出し、
     制御部が、前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法。
  16.  センサが、ユーザの耳部に装着される装着部の変形を検出し、
     制御部が、前記装着部の変形の検出結果に応じて、ノイズキャンセルを行うモードを切り替える音響処理方法をコンピュータに実行させるプログラム。
PCT/JP2020/021755 2019-08-23 2020-06-02 音響処理装置、音響処理方法及びプログラム WO2021039004A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/635,057 US20220293082A1 (en) 2019-08-23 2020-06-02 Acoustic processing apparatus, acoustic processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-152760 2019-08-23
JP2019152760 2019-08-23

Publications (1)

Publication Number Publication Date
WO2021039004A1 true WO2021039004A1 (ja) 2021-03-04

Family

ID=74683608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021755 WO2021039004A1 (ja) 2019-08-23 2020-06-02 音響処理装置、音響処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20220293082A1 (ja)
WO (1) WO2021039004A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453117A (zh) * 2021-08-16 2021-09-28 英华达(上海)科技有限公司 无线蓝牙子母耳机及其控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230317046A1 (en) * 2022-03-30 2023-10-05 bOMDIC Inc. Method for adjusting noise cancellation mode, electronic device, and computer readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08510565A (ja) * 1993-06-23 1996-11-05 ノイズ キャンセレーション テクノロジーズ インコーポレーテッド 残差騒音検知を改良した可変ゲイン能動騒音消去装置
US20160267898A1 (en) * 2015-03-12 2016-09-15 Apple Inc. Apparatus and method of active noise cancellation in a personal listening device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08510565A (ja) * 1993-06-23 1996-11-05 ノイズ キャンセレーション テクノロジーズ インコーポレーテッド 残差騒音検知を改良した可変ゲイン能動騒音消去装置
US20160267898A1 (en) * 2015-03-12 2016-09-15 Apple Inc. Apparatus and method of active noise cancellation in a personal listening device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113453117A (zh) * 2021-08-16 2021-09-28 英华达(上海)科技有限公司 无线蓝牙子母耳机及其控制方法

Also Published As

Publication number Publication date
US20220293082A1 (en) 2022-09-15

Similar Documents

Publication Publication Date Title
US10810989B2 (en) Method and device for acute sound detection and reproduction
CN113676803B (zh) 一种主动降噪方法及装置
US10097149B2 (en) Advanced communication earpiece device and method
JP6215488B2 (ja) 能動騒音低減イヤホン、該イヤホンに適用する騒音低減制御方法及びシステム
US8315400B2 (en) Method and device for acoustic management control of multiple microphones
JP5400166B2 (ja) 受話器およびステレオとモノラル信号を再生する方法
US8831238B2 (en) Noise cancellation system
CN203482364U (zh) 耳机、噪声消除系统、耳机系统及放声系统
US8675884B2 (en) Method and a system for processing signals
JP2020508616A (ja) インイヤ式ヘッドセットのオフヘッド検出
KR20200070290A (ko) 헤드셋 온 이어 상태 검출
US10748521B1 (en) Real-time detection of conditions in acoustic devices
CN110896509A (zh) 耳机佩戴状态确定方法、电子设备控制方法及电子设备
WO2009136953A1 (en) Method and device for acoustic management control of multiple microphones
CN111294719B (zh) 耳戴式设备入耳状态检测方法、设备和移动终端
JP7275309B2 (ja) 耳に装着可能な再生装置のためのオーディオシステムおよび信号処理方法
WO2021039004A1 (ja) 音響処理装置、音響処理方法及びプログラム
GB2546563A (en) Dynamic frequency-dependent sidetone generation
CN116803100A (zh) 用于具有anc的耳机的方法和系统
CN113994423A (zh) 用于耳戴式播放设备的语音活动检测的音频系统和信号处理方法
CN112334972B (zh) 耳机系统、个人声学设备以及用于检测反馈不稳定性的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858383

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858383

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP