WO2024004925A1 - 信号処理装置、マイク付きイヤホン、信号処理方法、およびプログラム - Google Patents
信号処理装置、マイク付きイヤホン、信号処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2024004925A1 WO2024004925A1 PCT/JP2023/023524 JP2023023524W WO2024004925A1 WO 2024004925 A1 WO2024004925 A1 WO 2024004925A1 JP 2023023524 W JP2023023524 W JP 2023023524W WO 2024004925 A1 WO2024004925 A1 WO 2024004925A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- processing device
- signal processing
- acoustic signal
- modulation
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 287
- 238000003672 processing method Methods 0.000 title claims description 3
- 230000005236 sound signal Effects 0.000 claims description 192
- 238000000034 method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 25
- 238000012986 modification Methods 0.000 description 25
- 230000003920 cognitive function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000007943 implant Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 206010041308 Soliloquy Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000003372 electrophysiological method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002582 magnetoencephalography Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/04—Sound-producing devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
Definitions
- the present disclosure relates to a signal processing device, an earphone with a microphone, a signal processing method, and a program.
- US Pat. No. 5,001,002 discloses adjusting the volume by increasing or decreasing the amplitude of a sound wave or soundtrack to create a rhythmic stimulus corresponding to a stimulation frequency that induces brain wave entrainment. There is.
- Multi-sensory Gamma Stimulation Ameliorates Alzheimer’s-Associated Pathology and Improves Cognition Cell 2019 Apr 4;177(2):256-271.e22. doi: 10.1016/j.cell.2019.02.014.
- amplitude-modulated acoustic signals In order to improve cognitive function, it is desirable for users to have more opportunities to listen to sounds based on amplitude-modulated acoustic signals.
- listening to an amplitude-modulated soundtrack may be a burden. For example, if a user wants to listen to the surrounding sounds and a soundtrack is played, the user will not be able to concentrate on the surrounding sounds. Also, for example, the user may not be in the mood to listen to a soundtrack.
- a signal processing device includes an acquisition unit that acquires an input acoustic signal based on sound collected by a microphone placed near a user's ear, and an amplitude modulation method for the input acoustic signal acquired by the acquisition unit.
- a generating means generates an output acoustic signal having a volume intensity corresponding to the frequency of the gamma wave by performing modulation processing including and output means for outputting to a speaker.
- FIG. 2 is an explanatory diagram of one aspect of the present embodiment. It is a flowchart of acoustic signal processing of this embodiment.
- 3 is a flowchart illustrating an example of signal processing for an external sound signal.
- 5 is a diagram illustrating a waveform of an acoustic signal handled in the signal processing of FIG. 4.
- FIG. 3 is a flowchart illustrating an example of signal processing for a reproduced sound signal.
- 3 is a flowchart illustrating an example of signal processing for an external sound signal.
- 8 is a diagram illustrating a waveform of an acoustic signal handled in the signal processing of FIG. 7.
- FIG. 3 is a flowchart illustrating an example of signal processing for an external sound signal.
- 10 is a diagram illustrating a waveform of an acoustic signal handled in the signal processing of FIG. 9.
- FIG. 9 is a diagram illustrating a waveform of an acoustic signal handled in the signal processing of FIG. 9. FIG.
- FIG. 1 is a block diagram showing the configuration of an earphone with a microphone according to this embodiment.
- the earphone 1 with a microphone of this embodiment may correspond to, for example, headphones, earphones, or a hearing aid.
- the earphone 1 with a microphone constitutes a cognitive function improvement system.
- the earphone with microphone 1 includes a signal processing device 10, a microphone 21, and a speaker 22.
- the signal processing device 10 performs acoustic signal processing on various input acoustic signals including acoustic signals that can be obtained from the microphone 21.
- the acoustic signal processing by the signal processing device 10 includes at least modulation processing of the acoustic signal (details will be described later).
- the acoustic signal processing by the signal processing device 10 may include conversion processing (for example, separation, extraction, or synthesis) of acoustic signals.
- the audio signal processing by the signal processing device 10 may further include, for example, an audio signal amplification process similar to that of an AV amplifier.
- the signal processing device 10 sends an output acoustic signal generated by acoustic signal processing to the speaker 22.
- the signal processing device 10 is an example of an information processing device.
- the signal processing device 10 may be a controller built into the earphone 1 with a microphone, or may be a general-purpose information processing device (for example, a smartphone, or a PC (tablet PC, etc.) that has the function of controlling the microphone 21 and the speaker 22 (including the same hereinafter)).
- a general-purpose information processing device for example, a smartphone, or a PC (tablet PC, etc.
- the signal processing device 10 includes a storage device 11, a processor 12, an input/output interface 13, and a communication interface 14.
- the storage device 11 is configured to store programs and data.
- the storage device 11 is, for example, a combination of ROM (Read Only Memory), RAM (Random Access Memory), and storage (for example, flash memory or hard disk).
- the programs include, for example, the following programs.
- ⁇ OS (Operating System) program ⁇ Application program that executes information processing (e.g. content playback application)
- the data includes, for example, the following data. ⁇ Databases referenced in information processing ⁇ Data obtained by executing information processing (that is, execution results of information processing)
- the processor 12 is a computer that implements the functions of the signal processing device 10 by activating a program stored in the storage device 11.
- the processor 12 is, for example, at least one of the following. ⁇ CPU (Central Processing Unit) ⁇ GPU (Graphic Processing Unit) ⁇ ASIC (Application Specific Integrated Circuit) ⁇ FPGA (Field Programmable Array)
- the input/output interface 13 acquires information (for example, a user's instruction) from an input device connected to the signal processing device 10 and transmits information (for example, an acoustic signal, a control signal) to an output device connected to the signal processing device 10. , or an image signal).
- information for example, a user's instruction
- information for example, an acoustic signal, a control signal
- An interface capable of transmitting an audio signal is, for example, SPDIF (Sony Philips Digital Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), a pin connector (RCA pin), or an audio interface for headphones.
- the interface may be a wireless interface using Bluetooth (registered trademark) or the like.
- the acoustic signal in this embodiment includes either or both of an analog signal and a digital signal.
- the communication interface 14 is configured to control communication between the signal processing device 10 and an external device (for example, a sound source device not shown).
- the microphone 21 collects surrounding sounds.
- the microphone 21 outputs an electrical signal (hereinafter referred to as an "external sound signal") according to the received sound.
- the earphone 1 with a microphone may be configured to be wearable on the user's head, and in this case, the microphone 21 may be configured to be located near the user's ear when the earphone 1 with a microphone is worn.
- Microphone 21 is typically a headphone or earphone microphone with active noise canceling, or a hearing aid microphone.
- the external sound signal includes a signal component due to the person's speech and a component due to other environmental sounds.
- Other environmental sounds include, for example, noises such as vehicle running sounds, construction noises, and sounds emitted by equipment and equipment.
- noise may differ depending on the user's intention in using the microphone-equipped earphone 1. For example, if a user wants to suppress environmental sounds but still be aware when others are speaking to them, human voices may be excluded from the noise. On the other hand, if the user wants to suppress not only environmental sounds but also other people's conversation sounds, or if the user wants to concentrate on listening to audio content, human voices may also be included in the noise.
- the speaker 22 generates sound according to the output acoustic signal obtained from the signal processing device 10.
- the earphone 1 with a microphone may be configured to be able to be worn on the user's head, and in this case, the speaker 22 is located near the user's ear when the earphone 1 with a microphone is worn, and is configured to emit sound toward the ear. may be configured.
- Speaker 22 is typically a headphone, earphone, or hearing aid speaker.
- the earphone 1 with a microphone is configured to be able to be worn on the user's head, and the speaker 22 is configured to be located near the user's ear when the earphone 1 with a microphone is worn, and to emit sound toward the user's ear.
- the speaker 22 may be a loudspeaker (which may include a powered speaker) or a smart speaker.
- the signal processing device 10, the microphone 21, and the speaker 22 may be partially or entirely integrated, or may be configured as mutually independent devices.
- the earphone with microphone 1 is worn on the head of the user US1.
- the microphone 21-1 and the speaker 22-1 are located near the left ear of the user US1 (for example, outside or inside the ear pad that covers the left ear) when the earphone 1 with microphone is worn.
- the microphone 21-2 and the speaker 22-2 are located near the right ear of the user US1 (eg, outside or inside the ear pad that covers the right ear) when the earphone 1 with microphone is worn.
- the microphones 21-1 and 21-2 collect ambient sounds, generate external sound signals, and output the external sound signals to the signal processing device 10.
- the signal processing device 10 acquires an external sound signal based on sound collected by the microphones 21-1 and 21-2, and performs modulation processing including amplitude modulation on the external sound signal. Thereby, the signal processing device 10 generates an acoustic signal having a volume intensity corresponding to the frequency of the gamma wave.
- the signal processing device 10 outputs the generated modulated acoustic signal to the speakers 22-1 and 22-2.
- the speakers 22-1 and 22-2 emit sound according to the modulated acoustic signal toward the ears of the user US1.
- the modulated acoustic signal has a change in amplitude corresponding to the frequency of gamma waves
- gamma waves are induced in the brain of the user US1 (electroencephalogram). is synchronized to the gamma frequency).
- the effect of improving cognitive function for example, treating or preventing dementia
- the earphone 1 with a microphone of this embodiment generates a modulated acoustic signal based on the sound picked up by the microphones 21-1 and 21-2, the user US1 wears the earphone 1 with a microphone.
- FIG. 3 is a flowchart of acoustic signal processing according to this embodiment.
- FIG. 4 is a flowchart showing an example of signal processing for an external sound signal.
- FIG. 5 is a diagram illustrating the waveform of an acoustic signal handled in the signal processing of FIG. 4.
- FIG. 6 is a flowchart showing an example of signal processing for a reproduced sound signal.
- the acoustic signal processing in FIG. 3 is realized by the processor 12 of the signal processing device 10 reading and executing a program stored in the storage device 11.
- the acoustic signal processing in FIG. 3 starts when any of the following start conditions is met. -
- the acoustic signal processing shown in FIG. 3 is called by another process or an external instruction.
- the user performed an operation to call up the acoustic signal processing shown in FIG. -
- the signal processing device 10 enters a predetermined state (for example, the power is turned on).
- the specified date and time has arrived.
- a predetermined amount of time has passed since a predetermined event (for example, activation of the signal processing device 10 or previous execution of the acoustic signal processing in FIG. 3).
- the signal processing device 10 acquires an input acoustic signal (S110). Specifically, the signal processing device 10 acquires an input acoustic signal.
- the input acoustic signal can include at least one of the following.
- ⁇ External sound signal ⁇ Acoustic signal for playing audio content hereinafter referred to as "playback sound signal"
- the reproduced sound signal corresponds to at least one of the following audio contents, for example.
- ⁇ Music content e.g., singing, playing, or a combination thereof (i.e., a song); may include audio content that accompanies video content.
- ⁇ Audio content for example, audio of recitation, narration, announcement, broadcast play, solo performance, conversation, soliloquy, or a combination thereof.
- ⁇ Other audio content e.g. electronic, environmental, or mechanical sounds
- singing or audio content is not limited to sounds emitted by human vocal organs, but may include sounds generated by speech synthesis technology.
- the signal processing device 10 acquires an external sound signal from the microphone 21.
- the signal processing device 10 acquires a reproduced sound signal from a sound source device (not shown).
- the signal processing device 10 acquires a reproduced audio signal by reproducing an audio content file received from a content distribution device (not shown).
- the signal processing device 10 acquires a reproduced sound signal by reproducing an audio content file stored in a storage medium (for example, a disk medium).
- the fifth example of acquiring the input acoustic signal (S110) is a combination of at least two of the first to fourth examples.
- the signal processing device 10 may be configured to obtain an input acoustic signal depending on the operating mode.
- the operation mode may be determined based on a user's input operation or an external instruction, or may be determined by an algorithm.
- the signal processing device 10 may further perform A/D conversion of the input acoustic signal.
- the signal processing device 10 After step S110, the signal processing device 10 generates an output acoustic signal (S111). Specifically, the signal processing device 10 generates an output acoustic signal by performing amplitude modulation on at least a portion of the input acoustic signal acquired in step S110.
- the signal processing device 10 As a first example of generating an output acoustic signal (S111), the signal processing device 10 generates an intermediate acoustic signal including a plurality of acoustic signals having different characteristics based on the input acoustic signal.
- the features may be determined based on input operations by the user or instructions from the outside, or may be determined by an algorithm.
- the signal processing device 10 may determine the characteristics for generating the intermediate acoustic signal based on the result of analyzing the input acoustic signal.
- the feature may be, for example, at least one of the following: ⁇ Sound characteristics (especially qualitative characteristics) ⁇ Frequency characteristics ⁇ Time characteristics ⁇ Amplitude characteristics (e.g. volume) ⁇ Output characteristics
- the signal processing device 10 selects one or more acoustic signals to which amplitude modulation is applied (hereinafter referred to as "target signal") from a plurality of acoustic signals included in the intermediate acoustic signal. Which acoustic signal to select as the target signal may be determined based on an input operation by the user or an instruction from the outside, or may be determined by an algorithm. For example, the signal processing device 10 may determine the target signal based on the characteristics of the acoustic signal (balance between voice and music, change in volume, type of music, timbre, or other characteristics).
- the signal processing device 10 can select a target signal so that the effect of improving cognitive function by modulation is higher, or select a target signal so that the sense of discomfort given to the user is lowered.
- the signal processing device 10 may treat all of the plurality of acoustic signals included in the intermediate acoustic signal as target signals.
- the signal processing device 10 performs amplitude modulation on the selected target signal.
- the signal processing device 10 performs amplitude modulation on the target signal using a modulation function having a frequency corresponding to gamma waves (for example, a frequency of 35 Hz or more and 45 Hz or less).
- A(t) is a modulation function with periodicity of 35 Hz or more and 45 Hz or less
- X(t) is a function representing the waveform of an acoustic signal before modulation
- the signal processing device 10 may determine the modulation function used for amplitude modulation of the target signal or the modulation degree of the amplitude modulation.
- the modulation function or modulation degree may be determined based on an input operation by a user or an instruction from the outside, or may be determined by an algorithm.
- the modulation function or modulation depth may be determined by an algorithm based on characteristics of the acoustic signal.
- the signal processing device 10 may determine a common modulation function or modulation degree for a plurality of target signals, or may determine a modulation function or a modulation degree individually for a plurality of target signals. .
- the signal processing device 10 generates an output sound based on the modulated target signal and the sound signal that is not selected as the target signal among the plurality of sound signals included in the intermediate sound signal (hereinafter referred to as "non-target signal”). Generate a signal. That is, the signal processing device 10 converts the non-target signal and the modulated target signal into an output acoustic signal. Specifically, the signal processing device 10 combines two or more acoustic signals of the non-target signal and the modulated target signal, or extracts or separates an acoustic signal from at least one of the non-target signal and the modulated target signal. I do things.
- the method of synthesizing the acoustic signals is not limited, but may include, for example, signal summation processing, HRTF (Head Related Transfer Function) convolution processing, transfer function convolution processing that provides position information of the sound source, or any of these convolution processing. Processing for summing later may be included. Further, the signal processing device 10 may further perform at least one of amplification, volume adjustment, or D/A conversion of the output acoustic signal. On the other hand, if the non-target signal and the modulated target signal match the output format of the speaker 22 (for example, the non-target signal and the modulated target signal are multi-channel audio associated with each speaker constituting the surround system as the speaker 22). (corresponding to a signal), no such conversion is necessary. In this case, the non-target signal and the modulated target signal are treated as output acoustic signals.
- HRTF Head Related Transfer Function
- the input acoustic signal includes a plurality of acoustic signals with different characteristics.
- the signal processing device 10 selects one or more acoustic signals to which amplitude modulation is applied from a plurality of acoustic signals included in the input acoustic signal.
- the second example of generating the output acoustic signal (S111) can be understood by appropriately replacing the "intermediate acoustic signal" with the "input acoustic signal" in the description of the first example.
- the signal processing device 10 performs amplitude modulation on the input acoustic signal.
- the amplitude modulation for the input acoustic signal is similar to the amplitude modulation for the target signal described in the first example of output acoustic signal generation (S111).
- a change in amplitude corresponding to the frequency of the gamma wave is added to the input acoustic signal.
- the signal processing device 10 may determine the modulation function used for amplitude modulation of the input acoustic signal or the modulation degree of the amplitude modulation.
- the modulation function or modulation degree may be determined based on an input operation by a user or an instruction from the outside, or may be determined by an algorithm.
- the signal processing device 10 generates an output acoustic signal based on the modulated input acoustic signal. That is, the signal processing device 10 converts the modulated input audio signal into an output audio signal. Specifically, when the modulated input acoustic signal consists of a plurality of acoustic signals, the signal processing device 10 combines two or more of the plurality of acoustic signals, extracts an acoustic signal from the modulated input acoustic signal, or to separate. The details of the acoustic signal synthesis method are as described in the first example of output acoustic signal generation (S111).
- the modulated input audio signal matches the output format of the speaker 22 (for example, if the modulated input audio signal corresponds to a multi-channel audio signal associated with each speaker constituting the surround system as the speaker 22) , no such conversion is necessary. In this case, the modulated input audio signal is treated as the output audio signal.
- the signal processing device 10 can be generated by individually processing the signals to generate a modulated target signal or a non-target signal, and then combining these signals, for example.
- the signal processing device 10 may perform signal processing of the external sound signal as shown in FIG. 4 in S111.
- the signal processing device 10 when the signal processing device 10 is set to an operation mode in which modulation of external sound is effective, it is possible to acquire an input acoustic signal including an external sound signal in step S110 and execute the signal processing shown in FIG. 4. .
- the signal processing device 10 acquires an external sound signal (S201). Specifically, the signal processing device 10 acquires an extraneous sound signal included in the input acoustic signal acquired in step S110.
- the signal processing device 10 executes noise signal extraction (S202). Specifically, the signal processing device 10 extracts a signal component corresponding to noise (hereinafter referred to as a "noise signal") from the external sound signal acquired in step S201.
- Signal processing device 10 may extract the noise signal using any technique. As an example, the signal processing device 10 may extract a frequency component excluding the human voice frequency from the external sound signal as a noise signal, or a signal corresponding to a sound in a specific direction of arrival or a signal corresponding to a specific arrival direction.
- a signal corresponding to a sound other than a report may be extracted as a noise signal, or an extraneous sound signal may be treated as a noise signal as it is. Note that frequency components outside the human audible range may be excluded from the noise signal.
- the signal processing device 10 After step S202, the signal processing device 10 generates an antiphase sound signal (S203). Specifically, the signal processing device 10 generates an antiphase sound signal by inverting the phase of the noise signal extracted in step S202.
- the signal processing device 10 performs modulation of the antiphase sound signal (S204). Specifically, the signal processing device 10 performs amplitude modulation on the anti-phase sound signal (or the intermediate sound signal based on this) generated in step S203. As an example, the signal processing device 10 performs amplitude modulation on the antiphase sound signal using a modulation function having a frequency corresponding to gamma waves (for example, a frequency of 35 Hz or more and 45 Hz or less). Note that the processes in S203 and S204 may be performed in the reverse order. That is, the signal processing device 10 may perform amplitude modulation on the noise signal and then invert the phase.
- the modulated acoustic signal A12 generated in this way has an opposite phase to the noise signal A11 picked up by the microphone 21 near the user's ear, and has a frequency of gamma waves. It has a corresponding volume intensity. Therefore, in the acoustic signal A13 obtained by superimposing the noise signal A11 and the modulated acoustic signal A12, the components originating from the noise signal A11 are ideally reduced by about half on average, and the volume corresponding to the frequency of the gamma wave is reduced. It has different strengths and weaknesses.
- the signal processing device 10 acquires an input acoustic signal including an external sound signal in step S110, and acquires an input acoustic signal including an external sound signal in step S111.
- steps S201 to S203 can be executed.
- the speaker 22 emits a sound (hereinafter referred to as "anti-phase sound") corresponding to the anti-phase sound signal (which is not amplitude modulated), so the user hears a synthesized sound of the noise and the anti-phase sound. .
- the out-of-phase sound cancels out the noise completely, so the volume of the synthesized sound is zero.
- the signal processing device 10 may perform signal processing of the reproduced sound signal in S111 as shown in FIG. 6, for example.
- the signal processing device 10 when the signal processing device 10 is set to an operation mode for reproducing audio content, it is possible to acquire an input audio signal including a reproduced sound signal in step S110 and execute the signal processing shown in FIG. 6.
- the signal processing device 10 acquires a reproduced sound signal (S301). Specifically, the signal processing device 10 acquires a reproduced sound signal included in the input audio signal acquired in step S110.
- the signal processing device 10 modulates the reproduced sound signal (S302). Specifically, the signal processing device 10 determines that modulation of the reproduced sound signal is necessary when the operation mode is set to enable modulation of the audio content and the reproduced sound signal is not modulated. . The signal processing device 10 may determine whether the reproduced sound signal is modulated, for example, based on meta information corresponding to the audio content. The meta-information may be distributed together with or separately from the audio content file, or stored on a storage medium along with the audio content file, for example.
- the signal processing device 10 performs amplitude modulation on the reproduced sound signal acquired in step S301.
- the signal processing device 10 performs amplitude modulation on a reproduced sound signal (or an intermediate sound signal based thereon) using a modulation function having a frequency corresponding to gamma waves (for example, a frequency of 35 Hz or more and 45 Hz or less). I do.
- the signal processing device 10 determines that modulation of the reproduced sound signal is not necessary if the operation mode is set to disable modulation of the audio content or if the reproduced sound signal has already been modulated. In this case, the signal processing device 10 skips modulation of the reproduced sound signal (S302).
- the signal processing device 10 transmits an output acoustic signal (S112). Specifically, the signal processing device 10 sends the output acoustic signal generated in step S111 to the speaker 22.
- the speaker 22 generates sound according to the output acoustic signal.
- the signal processing device 10 ends the acoustic signal processing of FIG. 3 at step S112.
- the signal processing device 10 may repeatedly perform the audio signal processing shown in FIG. 3 every predetermined reproduction section (for example, every 100 ms) of the input audio signal.
- the signal processing device 10 may continuously perform modulation processing on the input acoustic signal, such as modulation by analog signal processing, and output a modulated acoustic signal.
- the acoustic signal processing shown in FIG. You may terminate it accordingly.
- the signal processing device 10 of this embodiment acquires an input acoustic signal (external sound signal) based on the sound picked up by the microphone 21, and performs amplitude modulation on the input acoustic signal.
- an output acoustic signal having a volume intensity corresponding to the frequency of the gamma wave is generated, and the output acoustic signal is sent to the speaker 22.
- external sounds can be used as a sound base for improving cognitive function, so the user can improve cognitive function by simply wearing and operating the earphones 1 with a microphone, without having to play back audio content. You can listen to sounds for improvement. In other words, it is possible to promote listening to sounds based on amplitude-modulated acoustic signals while reducing the burden felt by the user.
- the modulation process may include a process of inverting the phase of the acoustic signal.
- an external sound signal for example, a noise signal
- the present embodiment is not limited to the feedforward type noise canceling as described above, but can also be applied to other types of noise canceling such as a feedback type.
- the modulation process by the signal processing device 10 includes dynamically changing parameters in order to invert the phase of only the component corresponding to the external sound from an acoustic signal containing the external sound and the sound of the reproduced audio content. It may also include processing for changing.
- the signal processing device 10 may control modulation processing based on at least one of the volume and characteristics of the input acoustic signal. Thereby, modulation processing suitable for the volume or characteristics of the input acoustic signal can be performed.
- the output acoustic signal may have a change in amplitude corresponding to a frequency of 35 Hz or more and 45 Hz or less. Thereby, gamma waves can be induced in the user's brain, and the effect of improving cognitive function can be obtained.
- Modification 1 is obtained by separating the audio signal from the external sound signal when a signal component corresponding to a human voice included in the external sound signal (hereinafter referred to as "audio signal") satisfies a predetermined condition.
- audio signal a signal component corresponding to a human voice included in the external sound signal
- residual signal an acoustic signal
- FIG. 7 is a flowchart showing an example of signal processing for an external sound signal.
- FIG. 8 is a diagram illustrating the waveform of an acoustic signal handled in the signal processing of FIG. 7.
- the acoustic signal processing of Modification 1 is realized by the processor 12 of the signal processing device 10 reading and executing a program stored in the storage device 11.
- the acoustic signal processing of Modification 1 may be started in response to establishment of any of the same start conditions as in this embodiment.
- the signal processing device 10 acquires an input acoustic signal (S110) similarly to this embodiment.
- step S110 the signal processing device 10 executes generation of an output acoustic signal (S111) similarly to this embodiment.
- the signal processing device 10 may perform signal processing of the external sound signal as shown in FIG. 7 in S111.
- the signal processing device 10 acquires an input acoustic signal including an external sound signal in step S110, and performs the signal processing of FIG. is possible.
- the signal processing device 10 acquires an external sound signal (S401). Specifically, the signal processing device 10 acquires an extraneous sound signal included in the input acoustic signal acquired in step S110.
- the signal processing device 10 performs audio signal separation (S402). Specifically, the signal processing device 10 separates a signal component corresponding to a human voice (that is, an audio signal) from the external sound signal acquired in step S401.
- Signal processing device 10 may extract the audio signal using any technique. As an example, the signal processing device 10 may separate the frequency component of a human voice from the external sound signal as an audio signal.
- the signal processing device 10 determines, as a predetermined condition, whether or not the audio signal includes a component corresponding to a voice directed toward the user (for example, a call from a surrounding person, an announcement for guidance, etc.). Determine whether As an example, the signal processing device 10 determines that the audio signal includes a voice addressed to the user when the level of the audio signal is equal to or higher than a threshold value.
- the signal processing device 10 performs audio signal enhancement (S403). Specifically, the signal processing device 10 performs signal processing (for example, amplification) to enhance the audio signal separated in step S402. Note that if the signal processing device 10 is not set to an operation mode in which human voice enhancement is effective, the signal processing device 10 can skip the audio signal enhancement (S403).
- the signal processing device 10 modulates the residual signal (S404). Specifically, the signal processing device 10 performs amplitude modulation on the residual acoustic signal (residual signal) obtained by separating the audio signal from the external sound signal in step S402. However, frequency components outside the human audible range may be excluded from the residual signal. As an example, as shown in FIG. 8, the signal processing device 10 performs amplitude modulation on the residual signal A21 using a modulation function having a frequency corresponding to gamma waves (for example, a frequency of 35 Hz or more and 45 Hz or less). Then, a modulated acoustic signal A22 is generated. In addition, when the earphone 1 with a microphone corresponds to a hearing aid, the signal processing device 10 may amplify and amplitude modulate the residual signal by changing the amplification gain of the hearing aid at 40 Hz.
- the signal processing device 10 may amplify and amplitude modulate the residual signal by changing the amplification gain of the hearing aid
- the modulated acoustic signal generated in this way has a volume intensity corresponding to the frequency of the gamma wave. Therefore, according to the signal processing shown in FIG. 7, it is possible to make the user listen to sounds for improving cognitive function by using sounds other than human voices among external sounds.
- the signal processing device 10 may generate an acoustic signal having an opposite phase to the residual signal and modulate the acoustic signal.
- the signal processing device 10 After step S404, the signal processing device 10 performs audio signal synthesis (S405). Specifically, the signal processing device 10 synthesizes the emphasized audio signal generated in step S403 and the modulated residual signal generated in step S404.
- the signal processing device 10 ends the acoustic signal processing of the first modification at step S112.
- the signal processing device 10 may repeatedly perform the audio signal processing of Modification 1 every predetermined reproduction section (for example, every 100 ms) of the input audio signal.
- the signal processing device 10 may continuously perform modulation processing on the input acoustic signal, such as modulation by analog signal processing, and output a modulated acoustic signal.
- the acoustic signal processing of Modification 1 may be terminated according to the same termination conditions as in this embodiment.
- the signal processing device 10 of Modification 1 modulates the residual signal when the audio signal included in the external sound signal satisfies a predetermined condition, and when it does not, modulates the residual signal. modulates the external sound signal.
- external sounds can be used as a sound base for improving cognitive function, so the user can improve cognitive function by simply wearing the earphones with microphone 1 and operating them, without having to play back audio content. You can listen to sounds for improvement.
- the voice signal is excluded from the modulation processing, so the modulation processing for the user's hearing of these voices is The negative effects of implementation can be suppressed.
- the modulation process may include a process of amplifying an acoustic signal (for example, an audio signal). This makes it easier for the user to hear people's voices.
- an acoustic signal for example, an audio signal
- the signal processing device 10 may separate the external sound signal into an audio signal and a residual signal, amplitude-modulate the residual signal, and synthesize the modulated residual signal and the audio signal.
- the parts of the foreign sound that do not correspond to the human voice can be used as a sound base for improving cognitive function. can do.
- Modification 2 is an example in which, when the external sound signal does not satisfy a predetermined condition, another modulated acoustic signal is output instead of modulating the external sound signal.
- FIG. 9 is a flowchart showing an example of signal processing for an external sound signal.
- FIG. 10 is a diagram illustrating the waveform of an acoustic signal handled in the signal processing of FIG. 9.
- the acoustic signal processing of the second modification is realized by the processor 12 of the signal processing device 10 reading and executing a program stored in the storage device 11.
- the acoustic signal processing of Modification 2 may be started in response to establishment of any of the same start conditions as in this embodiment.
- step S110 the signal processing device 10 executes generation of an output acoustic signal (S111) similarly to this embodiment.
- the signal processing device 10 may perform signal processing of the external sound signal as shown in FIG. 9 in S111.
- the signal processing device 10 when the signal processing device 10 is set to an operation mode in which modulation of external sound is effective, it is possible to acquire an input acoustic signal including an external sound signal in step S110 and execute the signal processing shown in FIG. 9. .
- the signal processing device 10 determines, for example, whether the volume of the external sound is sufficiently loud. As an example, the signal processing device 10 determines that the volume of the external sound is sufficiently large when the volume of the external sound signal exceeds a predetermined value.
- the signal processing device 10 modulates the external sound signal (S502). Specifically, the signal processing device 10 performs amplitude modulation on the external sound signal (or the intermediate sound signal based on the external sound signal) acquired in step S501. As an example, the signal processing device 10 performs amplitude modulation on the external sound signal using a modulation function having a frequency corresponding to gamma waves (for example, a frequency of 35 Hz or more and 45 Hz or less). Note that when the microphone-equipped earphone 1 corresponds to a hearing aid, the signal processing device 10 may amplify and amplitude modulate the external sound signal by changing the amplification gain of the hearing aid at 40 Hz.
- the signal processing device 10 may perform at least one of the following signal processing instead of modulating the external sound signal (S502). ⁇ Extraction of noise signal (S202), generation of anti-phase sound signal (S203), and modulation of anti-phase sound signal (S204) - Separation of audio signals (S402) and enhancement of audio signals (S403) ⁇ Separation of audio signals (S402), modulation of residual signals (S404), and synthesis of audio signals (S405)
- the signal processing device 10 acquires a modulated reproduced sound signal from a sound source device (not shown).
- the signal processing device 10 acquires a modulated reproduced audio signal by reproducing an audio content file received from a content distribution device (not shown).
- the signal processing device 10 acquires a modulated reproduced audio signal by reproducing an audio content file stored in a storage medium (for example, a disk medium). .
- the signal processing device 10 acquires a reproduced sound signal by reproducing an audio content file stored in a storage medium (for example, a disk medium), and acquires the reproduced sound signal. By modulating the sound signal, a modulated playback sound signal is obtained.
- the seventh example of obtaining the modulated acoustic signal (S503) is a combination of at least two of the first to sixth examples.
- step S111 the signal processing device 10 sends out an output acoustic signal (S112) similarly to this embodiment.
- the signal processing device 10 ends the acoustic signal processing of the second modification at step S112.
- the signal processing device 10 may repeatedly perform the acoustic signal processing of Modification 2 every predetermined reproduction section (for example, every 100 ms) of the input acoustic signal.
- the signal processing device 10 may continuously perform modulation processing on the input acoustic signal, such as modulation by analog signal processing, and output a modulated acoustic signal.
- the acoustic signal processing of Modification 2 may be terminated according to the same termination conditions as in this embodiment.
- the storage device 11 may be connected to the signal processing device 10 via the network NW.
- each step of audio signal processing is executed in a specific order, but the execution order of each step is not limited to the example described as long as there is no dependency relationship.
- each step of the acoustic signal processing described above may be shared between the signal processing device 10 and an external device (for example, a server (not shown) or a host device such as a smartphone).
- the signal processing device 10 may be connected to an arbitrary number of speakers 22, and in this case, the signal processing device 10 may be configured to be able to select which speaker 22 the output acoustic signal is sent to.
- the signal processing device 10 may be connected to an arbitrary number of microphones 21, and in this case, the signal processing device 10 may be configured to be able to select which microphone 21 to acquire the external sound signal from.
- An algorithm for determining the method of generating the output acoustic signal (e.g. modulation method, combination ratio of two or more acoustic signals, method of determining the acoustic signal to which amplitude modulation is applied, etc.) or a default method of generating the output acoustic signal may be changed by updating the firmware of the signal processing device 10.
- the firmware is updated, for example, by the signal processing device 10 communicating with an external device (for example, a server, not shown).
- the update contents of the firmware of the signal processing device 10 may be notified to the user in advance, and the signal processing device 10 may provide an operation mode in which the user can listen to and compare the sounds before and after the update.
- the signal processing device 10 generates an output audio signal based on a modulated audio signal based on an external sound signal and an unmodulated reproduced sound signal (for example, an audio signal based on audio data such as audio content). Can be generated.
- the signal processing device 10 may control the modulation process for the acoustic signal based on the external sound signal based on at least one of the volume and the characteristics of the reproduced sound signal. For example, when the volume of the reproduced sound signal is larger than the threshold value, the signal processing device 10 outputs a modulated anti-phase signal obtained by modulating a signal with the opposite phase of the external sound signal to the speaker 22, so that the volume of the reproduced sound signal increases.
- a signal with the opposite phase of the external sound signal may be output to the speaker 22.
- the signal processing device 10 outputs a signal with the opposite phase of the external sound signal to the speaker 22 when the volume of the reproduced sound signal is higher than the threshold, and when the volume of the reproduced sound signal is lower than the threshold, , a modulated anti-phase signal obtained by modulating a signal with an anti-phase of the external sound signal may be output to the speaker 22.
- modulation processing on the acoustic signal based on the external sound signal within a range that does not hinder the user's appreciation of the acoustic content, and to allow the user to listen to sounds for improving cognitive function along with the acoustic content.
- the signal processing device 10 generates a modulated acoustic signal based on an external sound signal (hereinafter referred to as a "first modulated acoustic signal”) and a modulated acoustic signal based on a reproduced sound signal (hereinafter referred to as a "second modulated acoustic signal").
- the output acoustic signal can be generated based on the modulated acoustic signal.
- the signal processing device 10 may synchronize the first modulated audio signal and the second modulated audio signal with respect to the volume strength.
- the signal processing device 10 adds the signals after controlling the phases of the first modulated acoustic signal and the second modulated acoustic signal so that the amplitude peaks of these signals overlap, and outputs the combined signal to the speaker 22. You can also output to As a result, it is possible to prevent the intensity of the volume corresponding to the frequency of the gamma wave from being distorted due to the superposition of the first modulated acoustic signal and the second modulated acoustic signal, thereby further enhancing the effect of improving cognitive function. Can be done.
- the signal processing device 10 may control the modulation process according to information (for example, a measurement result of the user's hearing ability) obtained based on a measurement of the user's hearing ability (for example, performed at the time of hearing aid fitting). For example, the signal processing device 10 may control at least one of the following. ⁇ Modulation degree and modulation function for each frequency ⁇ Amplification gain of the acoustic signal in audio signal enhancement (S403) ⁇ In the acoustic signal processing of modification 2 (FIG. 9), it is determined whether the volume of the external sound is sufficiently large. By controlling the modulation process in this way, it is possible to make the user listen to a sound that is suitable for his or her hearing.
- the earphone 1 with a microphone described in this embodiment and each modification can also be applied to a cochlear implant.
- a similar effect can be achieved by supplying an electrical signal for a cochlear implant generated based on the modulated acoustic signal to an electrode implanted in the user's cochlea. can get.
- the acoustic signal picked up by the microphone may be amplitude-modulated and then converted into an electric signal for the cochlear implant and supplied to the electrode, or the sound picked up by the microphone may be The signal may be converted into an electrical signal for a cochlear implant and then modulated (eg, amplitude modulated, pulse density modulated or pulse width modulated) and supplied to the electrodes.
- modulated eg, amplitude modulated, pulse density modulated or pulse width modulated
- the earphone 1 with a microphone described in this embodiment and each modification can also be applied to a bone conduction earphone, a cartilage conduction earphone, an air conduction ultrasound speaker (parametric speaker), a bone conduction ultrasound speaker, or a skin vibration speaker. It is.
- the carrier wave When applied to an ultrasonic speaker, the carrier wave may be modulated based on the sound source signal and then amplitude-modulated at a specific frequency, or the carrier wave may be amplitude-modulated at a specific frequency and then modulated based on the sound source signal.
- Earphone with microphone 10 Signal processing device 11: Storage device 12: Processor 13: Input/output interface 14: Communication interface 21: Microphone 22: Speaker
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
Abstract
本開示の一態様の信号処理装置は、ユーザの耳の近傍に配置されるマイクによる収音に基づく入力音響信号を取得する取得手段と、取得手段により取得された入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成する生成手段と、生成手段により生成された出力音響信号を、ユーザの耳に向けて音を発するスピーカに出力する出力手段と、を有する。
Description
本開示は、信号処理装置、マイク付きイヤホン、信号処理方法、およびプログラムに関する。
１秒間に４０回程度の頻度でパルス性の音刺激を生物に知覚させ、生物の脳内でガンマ波を誘発させると、生物の認知機能の改善に効果があるという研究報告がある（非特許文献１参照）。
ガンマ波とは、脳の皮質の周期的な神経活動を、脳波や脳磁図といった電気生理学的手法により捉えた神経振動のうち、周波数がガンマ帯域（２５～１４０Ｈｚ）に含まれるものを指す。
ガンマ波とは、脳の皮質の周期的な神経活動を、脳波や脳磁図といった電気生理学的手法により捉えた神経振動のうち、周波数がガンマ帯域（２５～１４０Ｈｚ）に含まれるものを指す。
特許文献１には、脳波の同調を誘導する刺激周波数に相当する律動的な刺激を作成するために、音波またはサウンドトラックの振幅を増大または減少させることにより、音量を調節することが開示されている。
Multi-sensory Gamma Stimulation Ameliorates Alzheimer’s-Associated Pathology and Improves Cognition Cell 2019 Apr 4;177(2):256-271.e22. doi: 10.1016/j.cell.2019.02.014.
認知機能の改善のためには、ユーザが振幅変調された音響信号に基づく音を聴取する機会を増やすことが望ましい。一方、ユーザの状況によっては、振幅変調されたサウンドトラックの聴取が負担となることがある。例えば、ユーザが周囲の音を聞きたい場合に、サウンドトラックが再生されると、ユーザが周囲の音に集中できなくなる。また例えば、ユーザがサウンドトラックを聴きたい気分ではないこともある。
本開示の目的は、ユーザが感じる負担を軽減しながら、振幅変調された音響信号に基づく音の聴取を促進する技術を提供することである。
本開示の一態様の信号処理装置は、ユーザの耳の近傍に配置されるマイクによる収音に基づく入力音響信号を取得する取得手段と、取得手段により取得された入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成する生成手段と、生成手段により生成された出力音響信号を、ユーザの耳に向けて音を発するスピーカに出力する出力手段と、を有する。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
以降の説明において、複数の同種の要素について共通の説明を述べる場合に、例えば「９９」のような共通の符号を用いることがある。他方、これらの要素について個別に説明を述べる場合に、「９９－１」、または「９９－２」のように共通の符号に添え字を付した符号を用いることがある。
（１）マイク付きイヤホンの構成
マイク付きイヤホンの構成について説明する。図１は、本実施形態のマイク付きイヤホンの構成を示すブロック図である。
マイク付きイヤホンの構成について説明する。図１は、本実施形態のマイク付きイヤホンの構成を示すブロック図である。
本実施形態のマイク付きイヤホン１は、例えば、ヘッドホン、イヤホン、または補聴器に相当し得る。マイク付きイヤホン１は、認知機能改善システムを構成する。図１に示すように、マイク付きイヤホン１は、信号処理装置１０と、マイクロホン２１と、スピーカ２２とを備える。
信号処理装置１０は、マイクロホン２１と、スピーカ２２とに接続される。
なお、図１には、１つのマイクロホン２１が示されているが、マイク付きイヤホン１は、複数のマイクロホン２１を備え得る。同様に、図１には、１つのスピーカ２２が示されているが、マイク付きイヤホン１は、複数のスピーカ２２を備え得る。一例として、マイク付きイヤホン１は、左耳用のマイクロホン２１－１およびスピーカ２２－１と、右用のマイクロホン２１－２およびスピーカ２２－２とを備えることができる。
なお、図１には、１つのマイクロホン２１が示されているが、マイク付きイヤホン１は、複数のマイクロホン２１を備え得る。同様に、図１には、１つのスピーカ２２が示されているが、マイク付きイヤホン１は、複数のスピーカ２２を備え得る。一例として、マイク付きイヤホン１は、左耳用のマイクロホン２１－１およびスピーカ２２－１と、右用のマイクロホン２１－２およびスピーカ２２－２とを備えることができる。
信号処理装置１０は、マイクロホン２１から取得可能な音響信号を含む種々の入力音響信号に対して音響信号処理を行う。信号処理装置１０による音響信号処理は、少なくとも音響信号の変調処理（詳細は後述する。）を含む。また、信号処理装置１０による音響信号処理は、音響信号の変換処理（例えば、分離、抽出、または合成）を含み得る。さらに、信号処理装置１０による音響信号処理は、例えばＡＶアンプと同様の音響信号の増幅処理をさらに含み得る。信号処理装置１０は、音響信号処理によって生成した出力音響信号をスピーカ２２へ送出する。
信号処理装置１０は、情報処理装置の一例である。信号処理装置１０は、マイク付きイヤホン１に内蔵されたコントローラであってもよいし、マイクロホン２１およびスピーカ２２を制御する機能を備えた汎用の情報処理装置（例えば、スマートフォン、またはＰＣ（タブレットＰＣを含む。以下同じ））であってもよい。
図１に示すように、信号処理装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、コンテンツ再生アプリケーション）のプログラム
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、コンテンツ再生アプリケーション）のプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、信号処理装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）
入出力インタフェース１３は、信号処理装置１０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、信号処理装置１０に接続される出力デバイスに情報（例えば、音響信号、制御信号、または画像信号）を出力するように構成される。
音響信号を伝送可能なインタフェースは、例えば、ＳＰＤＩＦ（Sony Philips Digital Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ピンコネクタ（ＲＣＡピン）、またはヘッドホン用のオーディオインターフェースである。インタフェースは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを用いた無線インタフェースであってもよい。本実施形態における音響信号は、アナログ信号とデジタル信号との何れか又は両方を含む。
入力デバイスは、例えば、マイクロホン２１、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。なお、入力デバイスとして、例えばユーザが保有するスマートフォンなどの情報処理装置が利用されてもよい。
出力デバイスは、例えば、スピーカ２２、ディスプレイ、又は、それらの組合せである。
出力デバイスは、例えば、スピーカ２２、ディスプレイ、又は、それらの組合せである。
通信インタフェース１４は、信号処理装置１０と外部装置（例えば図示しない音源装置）との間の通信を制御するように構成される。
マイクロホン２１は、周囲の音を収音する。マイクロホン２１は、受信した音に応じた電気信号（以下、「外来音信号」という）を出力する。マイク付きイヤホン１は、ユーザの頭部に装着可能に構成されてよく、この場合にマイクロホン２１はマイク付きイヤホン１の装着時にユーザの耳の近傍に位置するように構成され得る。マイクロホン２１は、典型的には、アクティブノイズキャンセリング機能を備えたヘッドホンもしくはイヤホンのマイクロホン、または補聴器のマイクロホンである。
外来音信号は、人物の発話音声による信号成分と、その他の環境音による成分とを含む。その他の環境音には、例えば、車両の走行音、工事による騒音、機器・設備が発する音などのノイズも含まれる。
ただし、ノイズの定義はユーザがどのような意図でマイク付きイヤホン１を使用しているかによって異なり得る。例えば、ユーザが環境音を抑えたいが他者から話しかけられたことには気づきたい場合には、人の声はノイズから除外され得る。他方、ユーザが環境音だけでなく他者の会話音も抑えたい場合、または音響コンテンツの鑑賞に集中したい場合には、人の声もノイズに含まれ得る。
スピーカ２２は、信号処理装置１０から取得した出力音響信号に応じた音を発生させる。マイク付きイヤホン１は、ユーザの頭部に装着可能に構成されてよく、この場合にスピーカ２２はマイク付きイヤホン１の装着時にユーザの耳の近傍に位置し、当該耳に向けて音を発するように構成され得る。スピーカ２２は、典型的には、ヘッドホン、イヤホン、または補聴器のスピーカである。マイク付きイヤホン１は、ユーザの頭部に装着可能に構成し、かつスピーカ２２をマイク付きイヤホン１の装着時にユーザの耳の近傍に位置し当該耳に向けて音を発するように構成することで、例えば外出時などのユーザの周囲に他者が居る状況であっても当該ユーザにのみ認知機能の改善のための音を聴取させることができる。ただし、スピーカ２２は、ラウドスピーカ（アンプ内蔵スピーカ（パワードスピーカ）を含み得る。）またはスマートスピーカであってもよい。
信号処理装置１０、マイクロホン２１、およびスピーカ２２は、一部または全部が一体化されてもよいし、互いに独立の装置として構成されてもよい。
（２）実施形態の一態様
本実施形態の一態様について説明する。図２は、本実施形態の一態様の説明図である。
本実施形態の一態様について説明する。図２は、本実施形態の一態様の説明図である。
図２に示すように、マイク付きイヤホン１は、ユーザＵＳ１の頭部に装着される。マイクロホン２１－１およびスピーカ２２－１は、マイク付きイヤホン１の装着時にユーザＵＳ１の左耳近傍（例えば左耳を塞ぐイヤーパッドの外側又は内側）に位置する。マイクロホン２１－２およびスピーカ２２－２は、マイク付きイヤホン１の装着時にユーザＵＳ１の右耳近傍（例えば右耳を塞ぐイヤーパッドの外側又は内側）に位置する。
マイクロホン２１－１，２１－２は、周囲の音を収音して外来音信号を生成し、当該外来音信号を信号処理装置１０へ出力する。信号処理装置１０は、マイクロホン２１－１，２１－２による収音に基づく外来音信号を取得し、当該外来音信号に対して振幅変調を含む変調処理を行う。これにより、信号処理装置１０は、ガンマ波の周波数に対応する音量の強弱を有する音響信号を生成する。信号処理装置１０は、生成した変調済み音響信号を、スピーカ２２－１，２２－２に出力する。スピーカ２２－１，２２－２は、変調済み音響信号に応じた音をユーザＵＳ１の耳に向けて発する。変調済み音響信号は、ガンマ波の周波数に対応する振幅の変化を有しているため、ユーザＵＳ１が当該音響信号による音を聴取すると、当該ユーザＵＳ１の脳内でガンマ波が誘発される（脳波がガンマ周波数に同期される） 。これにより、認知機能の改善（例えば、認知症の治療、または予防）の効果が期待できる。また、本実施形態のマイク付きイヤホン１は、マイクロホン２１－１，２１－２によって収音された音に基づいて変調済み音響信号を生成するので、ユーザＵＳ１は当該マイク付きイヤホン１を装着して動作させておくだけで、音響コンテンツの再生を行わなくても、変調済み音響信号による音を聴取できる。すなわち、ユーザが感じる負担を軽減しながら、振幅変調された音響信号による音の聴取を促進することができる。
（３）音響信号処理
本実施形態の音響信号処理について説明する。図３は、本実施形態の音響信号処理のフローチャートである。図４は、外来音信号に対する信号処理の一例を示すフローチャートである。図５は、図４の信号処理において扱われる音響信号の波形を例示する図である。図６は、再生音信号に対する信号処理の一例を示すフローチャートである。
本実施形態の音響信号処理について説明する。図３は、本実施形態の音響信号処理のフローチャートである。図４は、外来音信号に対する信号処理の一例を示すフローチャートである。図５は、図４の信号処理において扱われる音響信号の波形を例示する図である。図６は、再生音信号に対する信号処理の一例を示すフローチャートである。
図３の音響信号処理は、信号処理装置１０のプロセッサ１２が、記憶装置１１に記憶されたプログラムを読み出して実行することによって実現される。
図３の音響信号処理は、以下の開始条件のいずれかの成立に応じて開始する。
・他の処理又は外部からの指示によって図３の音響信号処理が呼び出された。
・ユーザが図３の音響信号処理を呼び出すための操作を行った。
・信号処理装置１０が所定の状態（例えば電源投入）になった。
・所定の日時が到来した。
・所定のイベント（例えば、信号処理装置１０の起動、または図３の音響信号処理の前回の実行）から所定の時間が経過した。
・他の処理又は外部からの指示によって図３の音響信号処理が呼び出された。
・ユーザが図３の音響信号処理を呼び出すための操作を行った。
・信号処理装置１０が所定の状態（例えば電源投入）になった。
・所定の日時が到来した。
・所定のイベント（例えば、信号処理装置１０の起動、または図３の音響信号処理の前回の実行）から所定の時間が経過した。
図３に示すように、信号処理装置１０は、入力音響信号の取得（Ｓ１１０）を実行する。
具体的には、信号処理装置１０は、入力音響信号を取得する。ここで、入力音響信号は、以下の少なくとも１つを含むことができる。
・外来音信号
・音響コンテンツを再生するための音響信号（以下、「再生音信号」という）
具体的には、信号処理装置１０は、入力音響信号を取得する。ここで、入力音響信号は、以下の少なくとも１つを含むことができる。
・外来音信号
・音響コンテンツを再生するための音響信号（以下、「再生音信号」という）
再生音信号は、例えば、以下の少なくとも１つの音響コンテンツに対応する。
・音楽コンテンツ（例えば、歌唱、演奏、またはそれらの組み合わせ（つまり、楽曲）。動画コンテンツに付随する音声コンテンツを含み得る。）
・音声コンテンツ（例えば、朗読、ナレーション、アナウンス、放送劇、独演、会話、独言、またはそれらの組み合わせの音声など。動画コンテンツに付随する音声コンテンツを含み得る。）
・他の音響コンテンツ（例えば、電子音、環境音、または機械音）
ただし、歌唱、または音声コンテンツは、人間の発声器官により発せられる音声に限られず、音声合成技術により生成された音声を含み得る。
・音楽コンテンツ（例えば、歌唱、演奏、またはそれらの組み合わせ（つまり、楽曲）。動画コンテンツに付随する音声コンテンツを含み得る。）
・音声コンテンツ（例えば、朗読、ナレーション、アナウンス、放送劇、独演、会話、独言、またはそれらの組み合わせの音声など。動画コンテンツに付随する音声コンテンツを含み得る。）
・他の音響コンテンツ（例えば、電子音、環境音、または機械音）
ただし、歌唱、または音声コンテンツは、人間の発声器官により発せられる音声に限られず、音声合成技術により生成された音声を含み得る。
入力音響信号の取得（Ｓ１１０）の第１例として、信号処理装置１０は、マイクロホン２１から外来音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第２例として、信号処理装置１０は、図示しない音源装置から再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第３例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第４例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第５例は、上記第１例～第４例のうち少なくとも２つの組み合わせである。
入力音響信号の取得（Ｓ１１０）の第２例として、信号処理装置１０は、図示しない音源装置から再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第３例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第４例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、再生音信号を取得する。
入力音響信号の取得（Ｓ１１０）の第５例は、上記第１例～第４例のうち少なくとも２つの組み合わせである。
信号処理装置１０がどのように入力音響信号を取得するかは、予め定められていてもよいし、変更可能であってもよい。一例として、信号処理装置１０は、動作モードに応じて入力音響信号を取得するように構成されてよい。動作モードは、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。
ステップＳ１１０において、信号処理装置１０は、入力音響信号のＡ／Ｄ変換をさらに行ってもよい。
ステップＳ１１０において、信号処理装置１０は、入力音響信号のＡ／Ｄ変換をさらに行ってもよい。
ステップＳ１１０の後に、信号処理装置１０は、出力音響信号の生成（Ｓ１１１）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得した入力音響信号の少なくとも部分的に振幅変調を施すことで、出力音響信号を生成する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得した入力音響信号の少なくとも部分的に振幅変調を施すことで、出力音響信号を生成する。
出力音響信号の生成（Ｓ１１１）の第１例として、信号処理装置１０は、入力音響信号に基づいて異なる特徴を備える複数の音響信号を含む中間音響信号を生成する。ここで、特徴は、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、信号処理装置１０は、入力音響信号を解析した結果に基づいて、中間音響信号を生成するための特徴を決定してもよい。
特徴は、例えば以下の少なくとも１つであってよい。
・音の特徴（特に、質的特徴）
・周波数の特徴
・時間の特徴
・振幅の特徴（例えば、音量）
・出力の特徴
・音の特徴（特に、質的特徴）
・周波数の特徴
・時間の特徴
・振幅の特徴（例えば、音量）
・出力の特徴
信号処理装置１０は、中間音響信号に含まれる複数の音響信号から振幅変調を適用する１以上の音響信号（以下、「対象信号」という）を選択する。いずれの音響信号を対象信号として選択するかは、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、信号処理装置１０は、音響信号の特徴（音声と音楽のバランス、音量変化、音楽の種類、音色、又はその他の特徴）に基づいて、対象信号を決定してもよい。これにより信号処理装置１０は、変調による認知機能の改善効果がより高くなるように対象信号を選択したり、ユーザに与える違和感がより小さくなるように対象信号を選択したりできる。ただし、信号処理装置１０は、中間音響信号に含まれる複数の音響信号全てを対象信号として取り扱ってもよい。
信号処理装置１０は、選択した対象信号に対して振幅変調を行う。一例として、信号処理装置１０は、対象信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。具体的には、３５Ｈｚ以上４５Ｈｚ以下の周期性を有する変調関数をＡ（ｔ）とし、変調前の音響信号の波形を表す関数をＸ（ｔ）とし、変調済み音響信号の波形を表す関数をＹ（ｔ）とした場合に、
Ｙ（ｔ）＝Ａ（ｔ）・Ｘ（ｔ）
となる。これにより、対象信号には、上記周波数に対応する振幅の変化が付加される。ここで、信号処理装置１０は、対象信号の振幅変調に用いる変調関数または当該振幅変調の変調度を決定してもよい。変調関数または変調度は、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、変調関数または変調度が、アルゴリズムによって、音響信号の特徴に基づいて決定されてよい。また、信号処理装置１０は、複数の対象信号に対して共通の変調関数または変調度を決定してもよいし、複数の対象信号に対して個別に変調関数または変調度を決定してもよい。
Ｙ（ｔ）＝Ａ（ｔ）・Ｘ（ｔ）
となる。これにより、対象信号には、上記周波数に対応する振幅の変化が付加される。ここで、信号処理装置１０は、対象信号の振幅変調に用いる変調関数または当該振幅変調の変調度を決定してもよい。変調関数または変調度は、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。例えば、変調関数または変調度が、アルゴリズムによって、音響信号の特徴に基づいて決定されてよい。また、信号処理装置１０は、複数の対象信号に対して共通の変調関数または変調度を決定してもよいし、複数の対象信号に対して個別に変調関数または変調度を決定してもよい。
信号処理装置１０は、中間音響信号に含まれる複数の音響信号のうち対象信号として選択しなかった音響信号（以下、「非対象信号」という）と、変調済み対象信号とに基づいて、出力音響信号を生成する。つまり、信号処理装置１０は、非対象信号および変調済み対象信号を出力音響信号へ変換する。具体的には、信号処理装置１０は、非対象信号および変調済み対象信号のうち２以上の音響信号を合成したり、非対象信号および変調済み対象信号の少なくとも１つから音響信号を抽出または分離したりする。音響信号の合成方法は限定されないが、例えば、信号の合算処理、ＨＲＴＦ（Head Related Transfer Function）畳込処理、音源の位置情報を付与する伝達関数の畳込処理、またはこれらの畳込処理をしたのちに合算する処理が含まれ得る。また、信号処理装置１０は、出力音響信号の増幅、音量調節、またはＤ／Ａ変換の少なくとも１つをさらに行ってよい。他方、非対象信号および変調済み対象信号がスピーカ２２の出力形式に合致する場合（例えば、非対象信号および変調済み対象信号が、スピーカ２２としてのサラウンドシステムを構成する各スピーカに関連付けられるマルチチャンネル音響信号に相当する場合）に、かかる変換は不要である。この場合、非対象信号と変調済み対象信号とが出力音響信号として扱われる。
出力音響信号の生成（Ｓ１１１）の第２例では、入力音響信号が異なる特徴を備える複数の音響信号を含む。信号処理装置１０は、入力音響信号に含まれる複数の音響信号から振幅変調を適用する１以上の音響信号を選択する。出力音響信号の生成（Ｓ１１１）の第２例は、上記第１例の説明を「中間音響信号」を「入力音響信号」として適宜読み替えることで理解可能である。
出力音響信号の生成（Ｓ１１１）の第３例では、信号処理装置１０は、入力音響信号に対して振幅変調を行う。入力音響信号に対する振幅変調は、出力音響信号の生成（Ｓ１１１）の第１例で説明した対象信号に対する振幅変調と同様である。これにより、入力音響信号には、ガンマ波の周波数に対応する振幅の変化が付加される。ここで、信号処理装置１０は、入力音響信号の振幅変調に用いる変調関数または当該振幅変調の変調度を決定してもよい。変調関数または変調度は、ユーザによる入力操作又は外部からの指示に基づいて決定されてもよいし、アルゴリズムによって決定されてもよい。
信号処理装置１０は、変調済み入力音響信号に基づいて、出力音響信号を生成する。つまり、信号処理装置１０は、変調済み入力音響信号を出力音響信号へ変換する。具体的には、信号処理装置１０は、変調済み入力音響信号が複数の音響信号からなる場合に当該複数の音響信号のうち２以上を合成したり、変調済み入力音響信号から音響信号を抽出または分離したりする。音響信号の合成方法の詳細は、出力音響信号の生成（Ｓ１１１）の第１例で説明したとおりである。他方、変調済み入力音響信号がスピーカ２２の出力形式に合致する場合（例えば、変調済み入力音響信号が、スピーカ２２としてのサラウンドシステムを構成する各スピーカに関連付けられるマルチチャンネル音響信号に相当する場合）に、かかる変換は不要である。この場合、変調済み入力音響信号が出力音響信号として扱われる。
なお、信号処理装置１０は、ステップＳ１１０において外来音信号および再生音信号を取得した場合、またはステップＳ１１０において複数の再生音信号を取得した場合に、取得した入力音響信号に含まれる音響信号に対して個別に信号処理を行って変調済み対象信号または非対象信号を生成し、これらの信号を例えば合成することで出力音響信号を生成し得る。
一例として、信号処理装置１０は、Ｓ１１１において、外来音信号の信号処理を図４に示すように実行してもよい。信号処理装置１０は、例えば外来音に対する変調が有効である動作モードに設定されている場合に、ステップＳ１１０において外来音信号を含む入力音響信号を取得し、図４の信号処理を実行可能である。
まず、信号処理装置１０は、外来音信号の取得（Ｓ２０１）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
ステップＳ２０１の後に、信号処理装置１０は、ノイズ信号の抽出（Ｓ２０２）を実行する。
具体的には、信号処理装置１０は、ステップＳ２０１において取得した外来音信号からノイズに相当する信号成分（以下、「ノイズ信号」という）を抽出する。信号処理装置１０は、任意の技法によりノイズ信号を抽出してよい。一例として、信号処理装置１０は、外来音信号のうち、人間の声の周波数を除外した周波数成分をノイズ信号として抽出してもよいし、特定の到来方向の音に対応する信号又は特定の到来報告以外の音に対応する信号をノイズ信号として抽出してもよいし、外来音信号をそのままノイズ信号として扱ってもよい。なお、ノイズ信号から、人間の可聴域外の周波数成分は除外されてよい。
具体的には、信号処理装置１０は、ステップＳ２０１において取得した外来音信号からノイズに相当する信号成分（以下、「ノイズ信号」という）を抽出する。信号処理装置１０は、任意の技法によりノイズ信号を抽出してよい。一例として、信号処理装置１０は、外来音信号のうち、人間の声の周波数を除外した周波数成分をノイズ信号として抽出してもよいし、特定の到来方向の音に対応する信号又は特定の到来報告以外の音に対応する信号をノイズ信号として抽出してもよいし、外来音信号をそのままノイズ信号として扱ってもよい。なお、ノイズ信号から、人間の可聴域外の周波数成分は除外されてよい。
ステップＳ２０２の後に、信号処理装置１０は、逆位相音信号の生成（Ｓ２０３）を実行する。
具体的には、信号処理装置１０は、ステップＳ２０２において抽出したノイズ信号の位相を反転することで逆位相音信号を生成する。
具体的には、信号処理装置１０は、ステップＳ２０２において抽出したノイズ信号の位相を反転することで逆位相音信号を生成する。
ステップＳ２０３の後に、信号処理装置１０は、逆位相音信号の変調（Ｓ２０４）を実行する。
具体的には、信号処理装置１０は、ステップＳ２０３において生成した逆位相音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、逆位相音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。なお、Ｓ２０３とＳ２０４の処理は逆の順序で行われてもよい。すなわち、信号処理装置１０は、ノイズ信号に振幅変調を行ったうえで、位相を反転させてもよい。
具体的には、信号処理装置１０は、ステップＳ２０３において生成した逆位相音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、逆位相音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。なお、Ｓ２０３とＳ２０４の処理は逆の順序で行われてもよい。すなわち、信号処理装置１０は、ノイズ信号に振幅変調を行ったうえで、位相を反転させてもよい。
図５に示すように、このようにして生成された変調済み音響信号Ａ１２は、ユーザの耳の近傍でマイクロホン２１により収音されるノイズ信号Ａ１１とは逆位相であり、かつガンマ波の周波数に対応する音量の強弱を有する。故に、ノイズ信号Ａ１１と変調済み音響信号Ａ１２とを重ね合わせた音響信号Ａ１３は、ノイズ信号Ａ１１に由来する成分が理想的には平均で約半減しており、かつガンマ波の周波数に対応する音量の強弱を有する。ユーザの耳に、変調済み音響信号Ａ１２に基づいてスピーカ２２から出力される音と、ノイズを含む外来音とが届くと、ユーザは、この音響信号Ａ１３に応じた音を聴取することになる。故に、図４の信号処理によれば、ユーザに知覚されるノイズを低減しながら、低減後のノイズを認知機能の改善のための音としてユーザに聴取させることができる。
なお、信号処理装置１０は、例えば外来音に対する変調は無効だがノイズキャンセリングが有効となる動作モードに設定されている場合に、ステップＳ１１０において外来音信号を含む入力音響信号を取得し、Ｓ１１１において図４の信号処理のうちステップＳ２０１～Ｓ２０３のみを実行可能である。これにより、スピーカ２２から（振幅変調されていない）逆位相音信号に応じた音（以下、「逆位相音」という）が発せられるので、ユーザはノイズと逆位相音との合成音を聴取する。理想的には、逆位相音はノイズを完全に相殺するので、合成音の音量は０となる。
また、例えば、信号処理装置１０は、Ｓ１１１において、再生音信号の信号処理を例えば図６に示すように実行してもよい。信号処理装置１０は、例えば音響コンテンツを再生するための動作モードに設定されている場合に、ステップＳ１１０において再生音信号を含む入力音響信号を取得し、図６の信号処理を実行可能である。
まず、信号処理装置１０は、再生音信号の取得（Ｓ３０１）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる再生音信号を取得する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる再生音信号を取得する。
ステップＳ３０１において取得した再生音信号に対する変調が必要である場合に、信号処理装置１０は再生音信号の変調（Ｓ３０２）を実行する。
具体的には、信号処理装置１０は、音響コンテンツに対する変調が有効な動作モードに設定されていて、かつ再生音信号が変調されていない場合に、再生音信号に対する変調が必要であると判定する。信号処理装置１０は、再生音信号が変調されているか否かを、例えば音響コンテンツに対応するメタ情報に基づいて判定してもよい。メタ情報は、例えば音響コンテンツファイルとともにもしくは分離して配信され、または音響コンテンツファイルとともに記憶媒体に保存され得る。
具体的には、信号処理装置１０は、音響コンテンツに対する変調が有効な動作モードに設定されていて、かつ再生音信号が変調されていない場合に、再生音信号に対する変調が必要であると判定する。信号処理装置１０は、再生音信号が変調されているか否かを、例えば音響コンテンツに対応するメタ情報に基づいて判定してもよい。メタ情報は、例えば音響コンテンツファイルとともにもしくは分離して配信され、または音響コンテンツファイルとともに記憶媒体に保存され得る。
信号処理装置１０は、ステップＳ３０１において取得した再生音信号に対して振幅変調を行う。一例として、信号処理装置１０は、再生音信号（またはこれに基づく中間音響信号）に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。
他方、信号処理装置１０は、音響コンテンツに対する変調が無効な動作モードに設定されている、または再生音信号が既に変調されている場合に、再生音信号に対する変調が必要でないと判定する。この場合に、信号処理装置１０は、再生音信号の変調（Ｓ３０２）をスキップする。
ステップＳ１１１の後に、信号処理装置１０は、出力音響信号の送出（Ｓ１１２）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１１において生成した出力音響信号をスピーカ２２へ送出する。スピーカ２２は、出力音響信号に応じた音を発生する。
具体的には、信号処理装置１０は、ステップＳ１１１において生成した出力音響信号をスピーカ２２へ送出する。スピーカ２２は、出力音響信号に応じた音を発生する。
信号処理装置１０は、ステップＳ１１２を以て、図３の音響信号処理を終了する。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に図３の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。図３に示す音響信号処理は、特定の終了条件（例えば、一定時間が経過したこと、ユーザによる操作が行われたこと、または変調済みの音の出力履歴が所定の状態に達したこと）に応じて終了してもよい。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に図３の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。図３に示す音響信号処理は、特定の終了条件（例えば、一定時間が経過したこと、ユーザによる操作が行われたこと、または変調済みの音の出力履歴が所定の状態に達したこと）に応じて終了してもよい。
（４）小括
以上説明したように、本実施形態の信号処理装置１０は、マイクロホン２１による収音に基づく入力音響信号（外来音信号）を取得し、当該入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成し、当該出力音響信号をスピーカ２２に送出する。これにより、外来音を認知機能の改善のための音のベースとして利用できるので、ユーザはマイク付きイヤホン１を装着して動作させておくだけで、音響コンテンツの再生を行わなくても、認知機能の改善のための音を聴取できる。すなわち、ユーザが感じる負担を軽減しながら、振幅変調された音響信号による音の聴取を促進することができる。
以上説明したように、本実施形態の信号処理装置１０は、マイクロホン２１による収音に基づく入力音響信号（外来音信号）を取得し、当該入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成し、当該出力音響信号をスピーカ２２に送出する。これにより、外来音を認知機能の改善のための音のベースとして利用できるので、ユーザはマイク付きイヤホン１を装着して動作させておくだけで、音響コンテンツの再生を行わなくても、認知機能の改善のための音を聴取できる。すなわち、ユーザが感じる負担を軽減しながら、振幅変調された音響信号による音の聴取を促進することができる。
上記変調処理は、音響信号の位相を反転させる処理を含んでもよい。これにより、ユーザが感じる外来音信号（例えばノイズ信号）の音圧を低減しながら、低減後のノイズを認知機能の改善のための音としてユーザに聴取させることができる。なお、上述の説明では、外来音信号から抽出されたノイズ信号に対して、位相を反転させる処理を行う例を示した。ただし、本実施形態は、上述したようなフィードフォワード方式のノイズキャンセリングに限らず、例えばフィードバック方式などの他の方式のノイズキャンセリングにも適用することができる。具体的には、信号処理装置１０による変調処理には、外来音と再生された音響コンテンツの音とを含む音響信号から外来音に相当する成分のみの位相を反転させるためにパラメータを動的に変更する処理が含まれていてもよい。
信号処理装置１０は、入力音響信号の音量及び特徴の少なくとも何れかに基づいて変調処理を制御してもよい。これにより、入力音響信号の音量または特徴に適した変調処理を行うことができる。
出力音響信号は、３５Ｈｚ以上４５Ｈｚ以下の周波数に対応する振幅の変化を有していてもよい。これにより、ユーザの脳内においてガンマ波を誘発させ、認知機能の改善効果を得ることができる。
（５）変形例
本実施形態の変形例について説明する。
本実施形態の変形例について説明する。
（５－１）変形例１
変形例１について説明する。変形例１は、外来音信号に含まれる人の声に相当する信号成分（以下、「音声信号」という）が所定の条件を満たす場合に外来音信号から当該音声信号を分離することで得られる音響信号（以下、「残余信号」という）を変調し、そうでない場合に外来音信号を変調する例である。
変形例１について説明する。変形例１は、外来音信号に含まれる人の声に相当する信号成分（以下、「音声信号」という）が所定の条件を満たす場合に外来音信号から当該音声信号を分離することで得られる音響信号（以下、「残余信号」という）を変調し、そうでない場合に外来音信号を変調する例である。
（５－１－１）音響信号処理
変形例１の音響信号処理について説明する。図７は、外来音信号に対する信号処理の一例を示すフローチャートである。図８は、図７の信号処理において扱われる音響信号の波形を例示する図である。
変形例１の音響信号処理について説明する。図７は、外来音信号に対する信号処理の一例を示すフローチャートである。図８は、図７の信号処理において扱われる音響信号の波形を例示する図である。
変形例１の音響信号処理は、信号処理装置１０のプロセッサ１２が、記憶装置１１に記憶されたプログラムを読み出して実行することによって実現される。
変形例１の音響信号処理は、本実施形態と同様の開始条件のいずれかの成立に応じて開始してもよい。
変形例１の音響信号処理は、本実施形態と同様の開始条件のいずれかの成立に応じて開始してもよい。
図３に示すように、信号処理装置１０は本実施形態と同様に、入力音響信号の取得（Ｓ１１０）を実行する。
ステップＳ１１０の後に、信号処理装置１０は本実施形態と同様に、出力音響信号の生成（Ｓ１１１）を実行する。
ただし、信号処理装置１０は本実施形態とは異なり、Ｓ１１１において、外来音信号の信号処理を図７に示すように実行してもよい。信号処理装置１０は、例えば人の声を除く外来音に対する変調が有効である動作モードに設定されている場合に、ステップＳ１１０において外来音信号を含む入力音響信号を取得し、図７の信号処理を実行可能である。
まず、信号処理装置１０は、外来音信号の取得（Ｓ４０１）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
ステップＳ４０１の後に、信号処理装置１０は、音声信号の分離（Ｓ４０２）を実行する。
具体的には、信号処理装置１０は、ステップＳ４０１において取得した外来音信号から人の声に相当する信号成分（つまり、音声信号）を分離する。信号処理装置１０は、任意の技法により音声信号を抽出してよい。一例として、信号処理装置１０は、外来音信号のうち、人間の声の周波数成分を音声信号として分離してもよい。
具体的には、信号処理装置１０は、ステップＳ４０１において取得した外来音信号から人の声に相当する信号成分（つまり、音声信号）を分離する。信号処理装置１０は、任意の技法により音声信号を抽出してよい。一例として、信号処理装置１０は、外来音信号のうち、人間の声の周波数成分を音声信号として分離してもよい。
ここで、信号処理装置１０は、所定の条件として、例えば音声信号がユーザに向けられた声（例えば、周囲の人からの呼びかけ、案内のためのアナウンス、など）に相当する成分を含むか否かを判定する。一例として、信号処理装置１０は、音声信号のレベルが閾値以上である場合に音声信号がユーザに向けられた声を含むと判定する。
ステップＳ４０２において分離した音声信号のレベルが閾値以上である場合に、信号処理装置１０は、音声信号の強調（Ｓ４０３）を実行する。
具体的には、信号処理装置１０は、ステップＳ４０２において分離した音声信号を強調する信号処理（例えば増幅）を行う。なお、信号処理装置１０が人の声の強調が有効である動作モードに設定されていない場合に、信号処理装置１０は音声信号の強調（Ｓ４０３）をスキップ可能である。
具体的には、信号処理装置１０は、ステップＳ４０２において分離した音声信号を強調する信号処理（例えば増幅）を行う。なお、信号処理装置１０が人の声の強調が有効である動作モードに設定されていない場合に、信号処理装置１０は音声信号の強調（Ｓ４０３）をスキップ可能である。
ステップＳ４０３の後に、信号処理装置１０は、残余信号の変調（Ｓ４０４）を実行する。
具体的には、信号処理装置１０は、ステップＳ４０２において外来音信号から音声信号を分離することにより得られた残余の音響信号（残余信号）に対して振幅変調を行う。ただし、残余信号から、人間の可聴域外の周波数成分は除外されてよい。一例として図８に示すように、信号処理装置１０は、残余信号Ａ２１に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行うことで、変調済み音響信号Ａ２２を生成する。なお、マイク付きイヤホン１が補聴器に相当する場合に、信号処理装置１０は補聴器の増幅ゲインを４０Ｈｚで変化させることで、残余信号の増幅および振幅変調を行ってもよい。
具体的には、信号処理装置１０は、ステップＳ４０２において外来音信号から音声信号を分離することにより得られた残余の音響信号（残余信号）に対して振幅変調を行う。ただし、残余信号から、人間の可聴域外の周波数成分は除外されてよい。一例として図８に示すように、信号処理装置１０は、残余信号Ａ２１に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行うことで、変調済み音響信号Ａ２２を生成する。なお、マイク付きイヤホン１が補聴器に相当する場合に、信号処理装置１０は補聴器の増幅ゲインを４０Ｈｚで変化させることで、残余信号の増幅および振幅変調を行ってもよい。
このようにして生成された変調済み音響信号は、ガンマ波の周波数に対応する音量の強弱を有する。故に、図７の信号処理によれば、外来音のうち人の声以外の音を利用して認知機能を改善するための音をユーザに聴取させることができる。
なお、信号処理装置１０は、残余信号の変調（Ｓ４０４）の代わりに、残余信号と逆位相の音響信号を生成し、当該音響信号を変調してもよい。
ステップＳ４０４の後に、信号処理装置１０は、音響信号の合成（Ｓ４０５）を実行する。
具体的には、信号処理装置１０は、ステップＳ４０３において生成した強調済みの音声信号と、ステップＳ４０４において生成した変調済みの残余信号とを合成する。
具体的には、信号処理装置１０は、ステップＳ４０３において生成した強調済みの音声信号と、ステップＳ４０４において生成した変調済みの残余信号とを合成する。
ステップＳ４０２において分離した音声信号のレベルが閾値未満である場合に、信号処理装置１０は、外来音信号の変調（Ｓ４０６）を実行する。
具体的には、信号処理装置１０は、ステップＳ４０１において取得した外来音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、外来音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。
具体的には、信号処理装置１０は、ステップＳ４０１において取得した外来音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、外来音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。
ステップＳ１１１の後に、信号処理装置１０は本実施形態と同様に、出力音響信号の送出（Ｓ１１２）を実行する。
信号処理装置１０は、ステップＳ１１２を以て、変形例１の音響信号処理を終了する。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に変形例１の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。変形例１の音響信号処理は、本実施形態と同様の終了条件に応じて終了してもよい。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に変形例１の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。変形例１の音響信号処理は、本実施形態と同様の終了条件に応じて終了してもよい。
（５－１－２）小括
以上説明したように、変形例１の信号処理装置１０は、外来音信号に含まれる音声信号が所定の条件を満たす場合に残余信号を変調し、そうでない場合に外来音信号を変調する。これにより外来音を認知機能の改善のための音のベースとして利用できるので、ユーザはマイク付きイヤホン１を装着して動作させておくだけで、音響コンテンツの再生を行わなくても、認知機能の改善のための音を聴取できる。さらに、ユーザが周囲の他者から呼びかけられたり、案内のためのアナウンスが始まったりした場合には、音声信号は変調処理の対象から除外されるため、ユーザによるこれらの声に対する聞き取りに対する変調処理の実施による悪影響を抑制できる。
以上説明したように、変形例１の信号処理装置１０は、外来音信号に含まれる音声信号が所定の条件を満たす場合に残余信号を変調し、そうでない場合に外来音信号を変調する。これにより外来音を認知機能の改善のための音のベースとして利用できるので、ユーザはマイク付きイヤホン１を装着して動作させておくだけで、音響コンテンツの再生を行わなくても、認知機能の改善のための音を聴取できる。さらに、ユーザが周囲の他者から呼びかけられたり、案内のためのアナウンスが始まったりした場合には、音声信号は変調処理の対象から除外されるため、ユーザによるこれらの声に対する聞き取りに対する変調処理の実施による悪影響を抑制できる。
上記変調処理は、音響信号（例えば音声信号）を増幅する処理を含んでもよい。これにより、ユーザは人の声がより聞き取りやすくなる。
また、信号処理装置１０は、外来音信号を音声信号と残余信号とに分離し、残余信号を振幅変調し、変調済み残余信号と音声信号とを合成してもよい。これにより、外来音のうち人の声に対するユーザによる聞き取りに対する変調処理の実施による悪影響を抑制しつつ、外来音のうち人の声に対応しない部分を認知機能の改善のための音のベースとして利用することができる。
（５－２）変形例２
変形例２について説明する。変形例２は、外来音信号が所定の条件を満たさない場合に、外来音信号を変調する代わりに別の変調済み音響信号を出力する例である。
変形例２について説明する。変形例２は、外来音信号が所定の条件を満たさない場合に、外来音信号を変調する代わりに別の変調済み音響信号を出力する例である。
（５－２－１）音響信号処理
変形例２の音響信号処理について説明する。図９は、外来音信号に対する信号処理の一例を示すフローチャートである。図１０は、図９の信号処理において扱われる音響信号の波形を例示する図である。
変形例２の音響信号処理について説明する。図９は、外来音信号に対する信号処理の一例を示すフローチャートである。図１０は、図９の信号処理において扱われる音響信号の波形を例示する図である。
変形例２の音響信号処理は、信号処理装置１０のプロセッサ１２が、記憶装置１１に記憶されたプログラムを読み出して実行することによって実現される。
変形例２の音響信号処理は、本実施形態と同様の開始条件のいずれかの成立に応じて開始してもよい。
変形例２の音響信号処理は、本実施形態と同様の開始条件のいずれかの成立に応じて開始してもよい。
図３に示すように、信号処理装置１０は本実施形態と同様に、入力音響信号の取得（Ｓ１１０）を実行する。
ステップＳ１１０の後に、信号処理装置１０は本実施形態と同様に、出力音響信号の生成（Ｓ１１１）を実行する。
ただし、信号処理装置１０は本実施形態とは異なり、Ｓ１１１において、外来音信号の信号処理を図９に示すように実行してもよい。信号処理装置１０は、例えば外来音に対する変調が有効である動作モードに設定されている場合に、ステップＳ１１０において外来音信号を含む入力音響信号を取得し、図９の信号処理を実行可能である。
まず、信号処理装置１０は、外来音信号の取得（Ｓ５０１）を実行する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
具体的には、信号処理装置１０は、ステップＳ１１０において取得された入力音響信号に含まれる外来音信号を取得する。
ここで、信号処理装置１０は、例えば外来音の音量が十分大きいか否かを判定する。一例として、信号処理装置１０は、外来音信号の音量が所定値を超える場合に外来音の音量が十分大きいと判定する。
ステップＳ５０１において取得した外来音信号の音量が所定値を超える場合に、信号処理装置１０は、外来音信号の変調（Ｓ５０２）を実行する。
具体的には、信号処理装置１０は、ステップＳ５０１において取得した外来音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、外来音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。なお、マイク付きイヤホン１が補聴器に相当する場合に、信号処理装置１０は補聴器の増幅ゲインを４０Ｈｚで変化させることで、外来音信号の増幅および振幅変調を行ってもよい。
具体的には、信号処理装置１０は、ステップＳ５０１において取得した外来音信号（またはこれに基づく中間音響信号）に対して振幅変調を行う。一例として、信号処理装置１０は、外来音信号に対して、ガンマ波に対応する周波数（例えば、３５Ｈｚ以上４５Ｈｚ以下の周波数）を持つ変調関数を用いた振幅変調を行う。なお、マイク付きイヤホン１が補聴器に相当する場合に、信号処理装置１０は補聴器の増幅ゲインを４０Ｈｚで変化させることで、外来音信号の増幅および振幅変調を行ってもよい。
なお、信号処理装置１０は、外来音信号の変調（Ｓ５０２）の代わりに、以下の信号処理の少なくとも１つを行ってもよい。
・ノイズ信号の抽出（Ｓ２０２）、逆位相音信号の生成（Ｓ２０３）、および逆位相音信号の変調（Ｓ２０４）
・音声信号の分離（Ｓ４０２）、および音声信号の強調（Ｓ４０３）
・音声信号の分離（Ｓ４０２）、残余信号の変調（Ｓ４０４）、および音響信号の合成（Ｓ４０５）
・ノイズ信号の抽出（Ｓ２０２）、逆位相音信号の生成（Ｓ２０３）、および逆位相音信号の変調（Ｓ２０４）
・音声信号の分離（Ｓ４０２）、および音声信号の強調（Ｓ４０３）
・音声信号の分離（Ｓ４０２）、残余信号の変調（Ｓ４０４）、および音響信号の合成（Ｓ４０５）
ステップＳ５０１において取得した外来音信号の音量が所定値以下である場合に、信号処理装置１０は、変調済み音響信号の取得（Ｓ５０３）を実行する。
具体的には、信号処理装置１０は、変調済み音響信号を取得する。信号処理装置１０は、取得した変調済み音響信号によって、ステップＳ５０１において取得した外来音信号を置き換える。あるいは、信号処理装置１０は、取得した変調済み音響信号と、ステップＳ５０１において取得した外来音信号とを合成する。
具体的には、信号処理装置１０は、変調済み音響信号を取得する。信号処理装置１０は、取得した変調済み音響信号によって、ステップＳ５０１において取得した外来音信号を置き換える。あるいは、信号処理装置１０は、取得した変調済み音響信号と、ステップＳ５０１において取得した外来音信号とを合成する。
変調済み音響信号の取得（Ｓ５０３）の第１例として、信号処理装置１０は、図示しない音源装置から変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第２例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第３例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第４例として、信号処理装置１０は、図示しない音源装置から再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第５例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第６例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第７例は、上記第１例～第６例のうち少なくとも２つの組み合わせである。
変調済み音響信号の取得（Ｓ５０３）の第２例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第３例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第４例として、信号処理装置１０は、図示しない音源装置から再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第５例として、信号処理装置１０は、図示しないコンテンツ配信装置から受信した音響コンテンツファイルを再生することで、再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第６例として、信号処理装置１０は、記憶媒体（例えばディスク媒体）に保存された音響コンテンツファイルを再生することで、再生音信号を取得し、当該再生音信号を変調することで、変調済みの再生音信号を取得する。
変調済み音響信号の取得（Ｓ５０３）の第７例は、上記第１例～第６例のうち少なくとも２つの組み合わせである。
図１０に示すように、ステップＳ５０３において取得された変調済み音響信号Ａ３２は、ガンマ波の周波数に対応する音量の強弱を有する。外来音信号Ａ３１と変調済み音響信号Ａ３２とを重ね合わせた音響信号Ａ３３は、１００％の変調度とはならないが、ガンマ波の周波数に対応する音量の強弱を有する。ユーザは、この音響信号Ａ３３に応じた音を聴取する。故に、図１０の信号処理によれば、外来音信号の音量が十分でない場合にも、認知機能を改善するための音をユーザに聴取させることができる。
ステップＳ１１１の後に、信号処理装置１０は本実施形態と同様に、出力音響信号の送出（Ｓ１１２）を実行する。
信号処理装置１０は、ステップＳ１１２を以て、変形例２の音響信号処理を終了する。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に変形例２の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。変形例２の音響信号処理は、本実施形態と同様の終了条件に応じて終了してもよい。
なお、信号処理装置１０は、入力音響信号の所定の再生区間ごと（例えば１００ｍｓごと）に変形例２の音響信号処理を繰り返し行ってもよい。あるいは、信号処理装置１０は、例えばアナログ信号処理による変調のように、入力される音響信号に対して連続的に変調処理を行って変調済みの音響信号を出力してもよい。変形例２の音響信号処理は、本実施形態と同様の終了条件に応じて終了してもよい。
（５－２－２）小括
以上説明したように、変形例２の信号処理装置１０は、入力音響信号（外来音信号）の音量が所定値以下である場合に、当該入力音響信号を別途取得した変調済み音響信号と置き換えるか、あるいは変調済み音響信号を外来音信号に加算する。これにより、外来音の音量が十分でない場合にも認知機能の改善のための音をユーザに聴取させることができる。
以上説明したように、変形例２の信号処理装置１０は、入力音響信号（外来音信号）の音量が所定値以下である場合に、当該入力音響信号を別途取得した変調済み音響信号と置き換えるか、あるいは変調済み音響信号を外来音信号に加算する。これにより、外来音の音量が十分でない場合にも認知機能の改善のための音をユーザに聴取させることができる。
（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、信号処理装置１０と接続されてもよい。
記憶装置１１は、ネットワークＮＷを介して、信号処理装置１０と接続されてもよい。
上記説明では、音響信号処理の各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。また、上記の音響信号処理の各ステップは、信号処理装置１０および外部装置（例えば図示しないサーバ、またはスマートフォンなどのホスト装置）との間で分担されてもよい。
信号処理装置１０は任意の数のスピーカ２２と接続されてもよく、この場合に信号処理装置１０はいずれのスピーカ２２に出力音響信号を送出するかを選択可能に構成されてよい。
信号処理装置１０は任意の数のマイクロホン２１と接続されてもよく、この場合に信号処理装置１０はいずれのマイクロホン２１から外来音信号を取得するかを選択可能に構成されてよい。
出力音響信号の生成方法（例えば、変調方法、２以上の音響信号の合成比率、振幅変調を適用する音響信号の決定法、など）を決定するためのアルゴリズム、または出力音響信号のデフォルトの生成方法は、信号処理装置１０のファームウェアのアップデートにより変更されてよい。ファームウェアのアップデートは、例えば信号処理装置１０が外部装置（例えば図示しないサーバ）と通信することで行われる。信号処理装置１０のファームウェアのアップデート内容は、事前にユーザに通知されてよく、信号処理装置１０は、ユーザがアップデートの前後の音を聴き比べるための動作モードを提供してもよい。
前述のように、信号処理装置１０は、外来音信号に基づく変調済み音響信号と、変調されていない再生音信号（例えば音響コンテンツなどのオーディオデータに基づく音響信号）とに基づいて出力音響信号を生成可能である。この場合に、信号処理装置１０は、再生音信号の音量及び特徴の少なくとも何れかに基づいて、外来音信号に基づく音響信号に対する変調処理を制御してもよい。例えば、信号処理装置１０は、再生音信号の音量が閾値より大きい場合には、外来音信号の逆位相の信号を変調した変調済み逆位相信号をスピーカ２２に出力し、再生音信号の音量が閾値未満である場合には、外来音信号の逆位相の信号をスピーカ２２に出力してもよい。また例えば、信号処理装置１０は、再生音信号の音量が閾値より大きい場合には、外来音信号の逆位相の信号をスピーカ２２に出力し、再生音信号の音量が閾値未満である場合には、外来音信号の逆位相の信号を変調した変調済み逆位相信号をスピーカ２２に出力してもよい。これにより、ユーザによる音響コンテンツの鑑賞を阻害しない範囲で外来音信号に基づく音響信号に対する変調処理を行い、ユーザに認知機能の改善のための音を音響コンテンツとともに聴取させることができる。
前述のように、信号処理装置１０は、外来音信号に基づく変調済み音響信号（以下、「第１変調済み音響信号」という）と、再生音信号に基づく変調済み音響信号（以下、「第２変調済み音響信号」という）とに基づいて出力音響信号を生成可能である。この場合に、信号処理装置１０は、第１変調済み音響信号および第２変調済み音響信号を、音量の強弱に関して同期させてもよい。すなわち、信号処理装置１０は、第１変調済み音響信号と第２変調済み音響信号の振幅のピークが重なるように、これらの信号の位相を制御した上で加算し、合成された信号をスピーカ２２に出力してもよい。これにより、ガンマ波の周波数に対応する音量の強弱が第１変調済み音響信号および第２変調済み音響信号の重ね合わせにより歪むのを防ぐことができるので、認知機能の改善の効果をいっそう高めることができる。
信号処理装置１０は、ユーザの聴覚の測定（例えば補聴器のフィッティング時に実施）に基づいて得られた情報（例えば、ユーザの聴力の測定結果）に応じて変調処理を制御してもよい。例えば、信号処理装置１０は、以下の少なくとも１つを制御してもよい。
・周波数ごとの変調度
・変調関数
・音声信号の強調（Ｓ４０３）における音響信号の増幅ゲイン
・変形例２の音響信号処理（図９）において、外来音の音量が十分大きいか否かを判定するために基準として用いられる所定値
このように変調処理を制御することで、ユーザの聴覚に適した音を聴取させることができる。
・周波数ごとの変調度
・変調関数
・音声信号の強調（Ｓ４０３）における音響信号の増幅ゲイン
・変形例２の音響信号処理（図９）において、外来音の音量が十分大きいか否かを判定するために基準として用いられる所定値
このように変調処理を制御することで、ユーザの聴覚に適した音を聴取させることができる。
本実施形態および各変形例で説明したマイク付きイヤホン１は、人工内耳にも応用可能である。スピーカ２２から変調済み音響信号に応じた音を発する代わりに、変調済み音響信号に基づいて生成した人工内耳用の電気信号をユーザの蝸牛に埋め込まれた電極に供給することで、同様の効果が得られる。なお、本実施形態を人工内耳に応用する場合、マイクで収音した音響信号を振幅変調した後に人工内耳用の電信号に変換して電極に供給してもよいし、マイクで収音した音響信号を人工内耳用の電気信号に変換した後に変調（例えば振幅変調、パルス密度変調又はパルス幅変調）して電極に供給してもよい。
また、本実施形態および各変形例で説明したマイク付きイヤホン１は、骨伝導イヤホン、軟骨伝導イヤホン、気導超音波スピーカ（パラメトリックスピーカ）、骨導超音波スピーカ、又は皮膚振動スピーカにも応用可能である。超音波スピーカに応用する場合、搬送波を音源信号に基づいて変調した後に特定周波数で振幅変調してもよいし、搬送波を特定周波数で振幅変調した後に音源信号に基づいて変調してもよい。
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
１ ：マイク付きイヤホン
１０ ：信号処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：マイクロホン
２２ ：スピーカ
１０ ：信号処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：マイクロホン
２２ ：スピーカ
Claims (13)
- ユーザの耳の近傍に配置されるマイクによる収音に基づく入力音響信号を取得する取得手段と、
前記取得手段により取得された入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成する生成手段と、
前記生成手段により生成された出力音響信号を、ユーザの耳に向けて音を発するスピーカに出力する出力手段と、
を有する信号処理装置。 - 前記変調処理は音響信号の位相を反転させる処理を含む、請求項１に記載の信号処理装置。
- 前記生成手段は、前記生成手段により生成される出力音響信号とともに前記スピーカに出力される音響信号であってオーディオデータに基づく音響信号の音量及び特徴の少なくとも何れかに基づいて、前記変調処理を制御する、請求項２に記載の信号処理装置。
- 前記出力手段は、オーディオデータに基づく音響信号であってガンマ波の周波数に対応する音量の強弱を有する音響信号と、前記生成手段により生成された出力音響信号とを、音量の強弱に関して同期させて前記スピーカに出力する、請求項２に記載の信号処理装置。
- 前記変調処理は音響信号を増幅させる処理を含む、請求項１に記載の信号処理装置。
- 前記生成手段は、前記取得手段により取得された入力音響信号の音量及び特徴の少なくとも何れかに基づいて前記変調処理を制御する、請求項５に記載の信号処理装置。
- 前記生成手段は、ユーザの聴力の測定に基づいて得られた情報に応じて前記変調処理を制御する、請求項５に記載の信号処理装置。
- 前記変調処理は、
音響信号を、所定の特徴を備える第１音響信号と前記所定の特徴を備えない第２音響信号とに分離する処理と、
前記第２音響信号を振幅変調することで得られる第３音響信号と前記第１音響信号とを合成する処理と、
を含む、請求項５に記載の信号処理装置。 - 前記取得手段により取得された入力音響信号の音量を判断する判断手段を有し、
前記出力手段は、前記判断手段により判断された音量が所定値以下である場合に、予め記憶された音響信号であってガンマ波の周波数に対応する音量の強弱を有する音響信号を前記スピーカに出力する、
請求項１に記載の信号処理装置。 - 前記出力手段により出力される出力音響信号は、３５Ｈｚ以上４５Ｈｚ以下の周波数に対応する振幅の変化を有する、請求項１に記載の信号処理装置。
- 請求項１から請求項１０の何れか１項に記載の信号処理装置と、
前記マイクと、
前記スピーカと、
を有するマイク付きイヤホン。 - ユーザの耳の近傍に配置されるマイクによる収音に基づく入力音響信号を取得し、
取得された入力音響信号に対して振幅変調を含む変調処理を行うことで、ガンマ波の周波数に対応する音量の強弱を有する出力音響信号を生成し、
生成された出力音響信号を、ユーザの耳に向けて音を発するスピーカに出力する、
信号処理方法。 - コンピュータを、請求項１から請求項１０の何れか１項に記載の信号処理装置の各手段として機能させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-103167 | 2022-06-28 | ||
| JP2022103167 | 2022-06-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024004925A1 true WO2024004925A1 (ja) | 2024-01-04 |
Family
ID=89383040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/023524 WO2024004925A1 (ja) | 2022-06-28 | 2023-06-26 | 信号処理装置、マイク付きイヤホン、信号処理方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2024004925A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008271549A (ja) * | 2007-04-16 | 2008-11-06 | Siemens Medical Instruments Pte Ltd | 低妨害の受話器作動を有する聴取装置及び対応する方法 |
| JP2010200260A (ja) * | 2009-02-27 | 2010-09-09 | Yamaha Corp | 補聴器 |
| JP2014520284A (ja) * | 2011-06-07 | 2014-08-21 | クゥアルコム・インコーポレイテッド | 電子デバイス上でのマスキング信号の生成 |
| JP2020014839A (ja) * | 2018-06-29 | 2020-01-30 | インターアコースティックス アー／エス | 発話信号を使っての幼児のための補聴器の有効確認のためのシステムおよび方法 |
| JP2020514819A (ja) * | 2017-03-15 | 2020-05-21 | ガーディアン・グラス・エルエルシーＧｕａｒｄｉａｎ Ｇｌａｓｓ， Ｌｌｃ | スピーチプライバシーシステム及び／又は関連する方法 |
| WO2021108460A1 (en) * | 2019-11-25 | 2021-06-03 | The Regents Of The University Of California | Continuous auditory brain stimulation |
-
2023
- 2023-06-26 WO PCT/JP2023/023524 patent/WO2024004925A1/ja unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008271549A (ja) * | 2007-04-16 | 2008-11-06 | Siemens Medical Instruments Pte Ltd | 低妨害の受話器作動を有する聴取装置及び対応する方法 |
| JP2010200260A (ja) * | 2009-02-27 | 2010-09-09 | Yamaha Corp | 補聴器 |
| JP2014520284A (ja) * | 2011-06-07 | 2014-08-21 | クゥアルコム・インコーポレイテッド | 電子デバイス上でのマスキング信号の生成 |
| JP2020514819A (ja) * | 2017-03-15 | 2020-05-21 | ガーディアン・グラス・エルエルシーＧｕａｒｄｉａｎ Ｇｌａｓｓ， Ｌｌｃ | スピーチプライバシーシステム及び／又は関連する方法 |
| JP2020014839A (ja) * | 2018-06-29 | 2020-01-30 | インターアコースティックス アー／エス | 発話信号を使っての幼児のための補聴器の有効確認のためのシステムおよび方法 |
| WO2021108460A1 (en) * | 2019-11-25 | 2021-06-03 | The Regents Of The University Of California | Continuous auditory brain stimulation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9848266B2 (en) | Pre-processing of a channelized music signal | |
| KR101779641B1 (ko) | 보청기를 가진 개인 통신 장치 및 이를 제공하기 위한 방법 | |
| CN103874000A (zh) | 一种听力仪器 | |
| US11653146B2 (en) | Information processing device, information processing method, and program | |
| CN107925830B (zh) | 听力假体声音处理 | |
| WO2018051646A1 (ja) | 骨伝導波生成装置、骨伝導波生成方法、骨伝導波生成装置用のプログラム及び骨伝導波出力機 | |
| WO2024004925A1 (ja) | 信号処理装置、マイク付きイヤホン、信号処理方法、およびプログラム | |
| US20230190173A1 (en) | Signal processing apparatus and signal processing method | |
| JP7196184B2 (ja) | リスナーの聴覚特性を考慮に入れた、ヘッドセットにおけるライブパブリックアドレス方法 | |
| US11463829B2 (en) | Apparatus and method of processing audio signals | |
| KR102184649B1 (ko) | 치과 치료용 소리 제어 시스템 및 방법 | |
| US11309858B2 (en) | Method for inducing brainwaves by sound and sound adjusting device | |
| US20230007434A1 (en) | Control apparatus, signal processing method, and speaker apparatus | |
| WO2024004924A1 (ja) | 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム | |
| JP2024003859A (ja) | 信号処理装置、認知機能改善システム、信号処理方法、およびプログラム | |
| JP3616797B2 (ja) | 聴覚器官の機能促進装置 | |
| KR20150056952A (ko) | 저음 진동 체감용 진동판 시스템 | |
| CN111544737A (zh) | 改善了声场感的双耳节拍音响输出装置及其方法 | |
| JPH0824338A (ja) | 脳波増強装置 | |
| JPH0743339U (ja) | 音声学習時脳波周波数低下誘導装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23831366 Country of ref document: EP Kind code of ref document: A1 |