WO2021065560A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2021065560A1
WO2021065560A1 PCT/JP2020/035400 JP2020035400W WO2021065560A1 WO 2021065560 A1 WO2021065560 A1 WO 2021065560A1 JP 2020035400 W JP2020035400 W JP 2020035400W WO 2021065560 A1 WO2021065560 A1 WO 2021065560A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
sound
vibration
information processing
unit
Prior art date
Application number
PCT/JP2020/035400
Other languages
English (en)
French (fr)
Inventor
猛史 荻田
諒 横山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/754,181 priority Critical patent/US11942108B2/en
Publication of WO2021065560A1 publication Critical patent/WO2021065560A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program capable of suppressing the occurrence of howling when outputting vibration in response to an input sound. ..
  • the vibrating device vibrates and at the same time emits a small but vibrating sound, so that the vibrating sound is input to the microphone.
  • howling may occur due to the output of vibration corresponding to the input sound.
  • This technology was made in view of such a situation, and makes it possible to suppress the occurrence of howling when outputting vibration in response to the input sound.
  • the information processing device on one aspect of the present technology includes a signal processing unit that generates a vibration signal representing the vibration at a frequency different from the frequency of the input sound when the vibration is output in response to the input sound from the outside.
  • the information processing device when the information processing device outputs vibration in response to an input sound from the outside, it generates a vibration signal representing the vibration having a frequency different from the frequency of the input sound.
  • a vibration signal representing the vibration having a frequency different from the frequency of the input sound is generated.
  • FIG. 1 is a block diagram showing a configuration example of an information processing device according to an embodiment of the present technology.
  • the information processing device 1 shown in FIG. 1 is a device that receives an environmental sound as an input sound and vibrates in response to the input sound.
  • the information processing device 1 is composed of, for example, a smartphone
  • a hearing-impaired user notices a notification by a sound such as a microwave oven sound or a baby's cry by detecting the vibration output by the smartphone in possession. be able to.
  • the information processing device 1 includes a CPU (Central Processing Unit) 11, a microphone 12, a communication unit 13, a storage unit 14, a DSP / amplifier 15, a vibration device 16, a speaker / external output unit 17, and a GPU ( It includes a Graphics Processing Unit) 18, a display 19, and an operation unit 20.
  • a CPU Central Processing Unit
  • a microphone 12 a microphone 12
  • a communication unit 13 a storage unit 14
  • a DSP / amplifier 15 DSP / amplifier
  • vibration device 16 a speaker / external output unit 17
  • a GPU It includes a Graphics Processing Unit 18 a display 19, and an operation unit 20.
  • the CPU 11 functions as a control unit and controls the overall operation in the information processing device 1 according to various programs.
  • the CPU 11 applies a predetermined signal processing to the sound signal of the input sound supplied from the microphone 12, and supplies the sound signal and the vibration signal obtained by the predetermined signal processing to the DSP / amplifier 15.
  • the CPU 11 appropriately acquires information necessary for signal processing from the storage unit 14.
  • the vibration signal is a signal including information representing characteristics such as the amplitude and frequency of vibration output from the vibration device 16. Further, the CPU 11 processes image data corresponding to an image such as a still image or a moving image, and supplies the image data to the GPU 18.
  • the microphone 12 is an input device that collects external environmental sounds as input sounds and converts them into sound signals.
  • the microphone 12 supplies the sound signal of the input sound to the CPU 11.
  • the communication unit 13 is a wireless communication interface that conforms to a predetermined standard.
  • the communication unit 13 communicates with an external device.
  • the communication unit 13 receives a sound signal from an external device and supplies the sound signal to the CPU 11.
  • the storage unit 14 is composed of a RAM (Random Access Memory), a magnetic storage device, a semiconductor storage device, an optical storage device, a magneto-optical storage device, and the like. Information used for signal processing by the CPU 11 is stored in the storage unit 14.
  • the DSP / amplifier 15 has a function of applying a predetermined process to the signal and amplifying the signal.
  • the DSP / amplifier 15 amplifies the signal supplied from the CPU 11 and supplies it to the corresponding output device.
  • the DSP / amplifier 15 amplifies the sound signal and supplies it to the speaker / external output unit 17.
  • the DSP / amplifier 15 amplifies the vibration signal and supplies it to the vibration device 16. Note that at least a part of the signal processing performed by the CPU 11 may be executed by the DSP / amplifier 15.
  • the vibration device 16 is a device that presents vibration to a vibration presentation target.
  • the vibration presentation target includes an arbitrary object such as a human being, an animal, or a robot. In the following, the vibration presentation target will be described as assuming that the user (human) is the subject.
  • the vibration device 16 presents vibration to a user who comes into contact with the vibration device 16. For example, the vibration device 16 presents vibration to the hand of a user holding the information processing device 1.
  • the vibration device 16 vibrates based on the vibration signal supplied from the DSP / amplifier 15.
  • the speaker / external output unit 17 is a device that outputs sound.
  • the speaker / external output unit 17 is composed of a speaker, headphones, earphones, and the like.
  • the speaker / external output unit 17 outputs sound based on the sound signal supplied from the DSP / amplifier 15.
  • the GPU 18 functions as an image processing device and performs processing such as drawing a screen to be displayed on the display 19.
  • the GPU 18 processes the image data supplied from the CPU 11 and supplies the processed image data to the display 19.
  • the display 19 is a device that outputs images such as still images and moving images.
  • the display 19 is composed of, for example, a liquid crystal display device, an EL display device, a laser projector, an LED projector, or a lamp.
  • the display 19 outputs an image based on the image data supplied from the GPU 18 and displays the image.
  • the operation unit 20 is composed of buttons, a touch panel, and the like.
  • the operation unit 20 receives various operations by the user and supplies an operation signal indicating the content of the user's operation to the CPU 11.
  • FIG. 2 is a block diagram showing a functional configuration example of the information processing device 1. At least a part of the functional units shown in FIG. 2 is realized by executing a predetermined program by the CPU 11 of FIG.
  • the information processing device 1 is composed of a sound input unit 31, a signal processing unit 32, a waveform storage unit 33, a vibration control unit 34, and a display control unit 35.
  • the sound input unit 31 controls the microphone 12 of FIG. 1, acquires the sound signal of the input sound, and supplies it to the signal processing unit 32.
  • the signal processing unit 32 converts the sound signal into a vibration signal by applying a predetermined signal processing to the sound signal of the input sound supplied from the sound input unit 31. Specifically, the signal processing unit 32 generates a vibration signal representing vibration having a frequency different from the frequency of the target sound included in the input sound.
  • the target sound is a sound that is a target (vibration target) for generating vibration among input sounds.
  • a sound for notifying the user such as a sound of a microwave oven or a baby's cry, is preset as a target sound.
  • a fixed frequency signal which is a signal of a vibration waveform preset for each target sound
  • Information representing a fixed frequency signal is stored in the waveform storage unit 33, and is appropriately acquired by the signal processing unit 32.
  • Information representing a fixed frequency signal for each of various target sounds such as the sound of a microwave oven and the crying of a baby is prepared in the waveform storage unit 33.
  • the waveform storage unit 33 is realized by, for example, the storage unit 14 of FIG.
  • the signal processing unit 32 supplies the vibration signal obtained by converting the sound signal to the vibration control unit 34.
  • the signal processing unit 32 determines the type of the target sound included in the input sound based on the sound signal of the input sound.
  • the signal processing unit 32 supplies information indicating the type of the target sound included in the input sound to the display control unit 35.
  • the vibration control unit 34 controls and vibrates the vibration device 16 of FIG. 1 based on the vibration signal supplied from the signal processing unit 32. As a result, the information processing device 1 outputs vibrations corresponding to the target sound.
  • the display control unit 35 Based on the information supplied from the signal processing unit 32, the display control unit 35 causes the display 19 of FIG. 1 to display an image showing the type of the target sound represented by the vibration output by the information processing device 1.
  • FIG. 3 is a block diagram showing a functional configuration example of the signal processing unit 32.
  • the signal processing unit 32 includes a bandpass filter 51, bandpass filters 52a and 52b, and a vibration signal generation unit 53.
  • the sound signal of the input sound is supplied to the bandpass filter 51.
  • the bandpass filter 51 extracts a sound signal in a frequency band that is difficult for the user to hear (based on the characteristics of the user) from the sound signal of the input sound.
  • the frequency band that is difficult for the user to hear is registered in advance by the user.
  • FIG. 4 is a diagram showing an example of a frequency band extracted by the bandpass filter 51.
  • the horizontal axis represents frequency (Hz) and the vertical axis represents gain (dB).
  • the bandpass filter 51 removes a signal in a frequency band of less than 2000 Hz and has a frequency band of 2000 Hz or higher. Extract the signal.
  • the sound signal extracted in this way is supplied from the bandpass filter 51 to the bandpass filters 52a and 52b of FIG. 3, respectively.
  • the bandpass filters 52a and 52b function as a determination unit for determining the type of the target sound included in the input sound. Specifically, the bandpass filters 52a and 52b extract partial signals from sound signals.
  • the partial signal is a sound signal having a main frequency, which is a frequency mainly included in the target sound.
  • the bandpass filter 52a extracts a partial signal of the sound from the sound signal supplied from the bandpass filter 51.
  • the bandpass filter 52b extracts a partial signal of the crying voice from the sound signal supplied from the bandpass filter 51.
  • the same number of bandpass filters corresponding to the preset target sounds are provided as the number of the preset target sounds.
  • the bandpass filter 52 when it is not necessary to distinguish between the bandpass filters 52a and 52b as appropriate, they are collectively referred to as the bandpass filter 52.
  • the number of bandpass filters 52 is an arbitrary number according to the number of target sounds.
  • the bandpass filter 52 supplies a partial signal of the target sound extracted from the sound signal to the vibration signal generation unit 53.
  • the vibration signal generation unit 53 generates a vibration signal by applying the vibration signal generation filter circuit processing, which is a signal processing, to the partial signal.
  • the vibration signal generation unit 53 includes a level adjustment unit 61a, 61b, an encapsulation unit 62a, 62b, a sound pressure change detection unit 63a, 63b, a multiplier 64a, 64b, a lingering detection unit 65a, 65b, a multiplier 66a, 66b, and an addition. It is composed of a device 67a, 67b, and a low-pass filter 68. In the following description, when it is not necessary to distinguish between the level adjusting units 61a and 61b, they are collectively referred to as the level adjusting unit 61. Other configurations provided in pairs will be described in the same manner.
  • a partial signal of the sound of the microwave oven is supplied to the level adjustment unit 61a from the bandpass filter 52a.
  • the level adjusting unit 61a amplifies the amplitude of the partial signal supplied from the bandpass filter 52a and supplies it to the enveloped unit 62a.
  • the enveloped section 62a applies the enveloped process to the partial signal supplied from the level adjusting section 61a.
  • the enveloped process is a process for extracting the outline of the amplitude of a signal.
  • the partial signal after the envelope processing is supplied to the sound pressure change detection unit 63a and the afterglow detection unit 65a, respectively.
  • the sound pressure change detection unit 63a applies the sound pressure change detection process to the partial signal supplied from the enveloped unit 62a.
  • the sound pressure change detection process is a process of extracting an attack sound from a sound signal.
  • the attack sound is the rising sound.
  • the sound pressure change detection unit 63a calculates the spectrum of the sound signal of the input sound at each time, and calculates the time derivative value of the spectrum per unit time.
  • the sound pressure change detection unit 63a compares the peak value of the waveform of the time derivative of the spectrum with a predetermined threshold value, and extracts a waveform having a peak exceeding the threshold value as an attack sound component.
  • the extracted attack sound component includes information on the timing of the attack sound and the intensity of the attack sound at that time.
  • the sound pressure change detection unit 63a applies an envelope to the extracted attack sound component, and generates an attack sound signal having a waveform that rises at the timing of the attack sound and attenuates at a speed slower than the rise speed.
  • the attack sound signal extracted by applying the sound pressure change detection process is supplied to the multiplier 64a.
  • the multiplier 64a acquires the signal of the vibration waveform A from the waveform storage unit 33 of FIG.
  • the vibration waveform A is a waveform of a fixed frequency signal associated with the attack sound of the sound of the microwave oven in advance.
  • the signal of the vibration waveform A is a vibration signal having a frequency different from the frequency of the sound of the input microwave oven.
  • each fixed frequency signal is associated in advance with the attack sound of the target sound and the afterglow component of the target sound described later.
  • the associated fixed frequency signal is a vibration signal having a frequency different from that of the target sound.
  • the multiplier 64a multiplies the attack sound signal supplied from the sound pressure change detection unit 63a with the signal of the vibration waveform A acquired from the waveform storage unit 33.
  • the attack sound signal obtained by multiplying the signal of the vibration waveform A is supplied to the adder 67a.
  • the afterglow detection unit 65a applies the afterglow detection process to the partial signal supplied from the enveloped unit 62a.
  • the afterglow detection process is a process of controlling the amplitude of the output signal so that a predetermined relationship is established between the amplitude of the input signal and the amplitude of the output signal.
  • a afterglow component in which the falling edge of the sound is emphasized is extracted as a afterglow signal.
  • the afterglow signal extracted by applying the afterglow detection process is supplied to the multiplier 66a.
  • the multiplier 66a acquires the signal of the vibration waveform B from the waveform storage unit 33 of FIG.
  • the vibration waveform B is a waveform of a fixed frequency signal associated with the afterglow component of the sound of the microwave oven in advance.
  • the signal of the vibration waveform B is a vibration signal having a frequency different from the frequency of the sound of the input microwave oven.
  • the multiplier 66a multiplies the afterglow signal supplied from the afterglow detection unit 65a with the signal of the vibration waveform B acquired from the waveform storage unit 33.
  • the afterglow signal obtained by multiplying the signal of the vibration waveform B is supplied to the adder 67a.
  • the adder 67a synthesizes (for example, adds) the attack sound signal supplied from the multiplier 64a and the afterglow signal supplied from the multiplier 66a to generate a vibration signal. This makes it possible to add a lingering component to the attack sound. It should be noted that the attack sound signal and the afterglow signal may be weighted and then combined.
  • the vibration signal generated by synthesizing the attack sound signal multiplied by the signal of the vibration waveform A and the afterglow signal multiplied by the signal of the vibration waveform B is a signal representing the vibration corresponding to the sound of the microwave oven. Therefore, the signal has a frequency different from that of the input microwave sound.
  • the vibration signal generated by the synthesis by the adder 67a is supplied to the low-pass filter 68.
  • a partial signal of crying is supplied to the level adjustment unit 61b from the bandpass filter 52b.
  • the level adjusting unit 61b amplifies the amplitude of the partial signal supplied from the bandpass filter 52b and supplies it to the enveloped unit 62b.
  • the enveloped section 62b applies the enveloped process to the partial signal supplied from the level adjusting section 61b.
  • the partial signal after the envelope processing is supplied to the sound pressure change detection unit 63b and the afterglow detection unit 65b, respectively.
  • the sound pressure change detection unit 63b applies the sound pressure change detection process to the partial signal supplied from the enveloped unit 62b.
  • the attack sound signal extracted by applying the sound pressure change detection process is supplied to the multiplier 64b.
  • the multiplier 64b acquires the signal of the vibration waveform C from the waveform storage unit 33 of FIG.
  • the vibration waveform C is a waveform of a fixed frequency signal associated with the attack sound of crying in advance.
  • the signal of the vibration waveform C is a vibration signal having a frequency different from the input frequency of the crying voice.
  • the multiplier 64b multiplies the attack sound signal supplied from the sound pressure change detection unit 63b with the signal of the vibration waveform C acquired from the waveform storage unit 33.
  • the attack sound signal multiplied by the signal of the vibration waveform C is supplied to the adder 67b.
  • the afterglow detection unit 65b applies the afterglow detection process to the partial signal supplied from the enveloped unit 62b.
  • the afterglow signal extracted by applying the afterglow detection process is supplied to the multiplier 66b.
  • the multiplier 66b acquires the signal of the vibration waveform D from the waveform storage unit 33 of FIG.
  • the vibration waveform D is a waveform of a fixed frequency signal associated with the afterglow component of the crying voice in advance.
  • the signal of the vibration waveform D is a vibration signal having a frequency different from the input frequency of the crying voice.
  • the multiplier 66b multiplies the afterglow signal supplied from the afterglow detection unit 65b with the signal of the vibration waveform D acquired from the waveform storage unit 33.
  • the afterglow signal obtained by multiplying the signal of the vibration waveform D is supplied to the adder 67b.
  • the adder 67b synthesizes (for example, adds) the attack sound signal supplied from the multiplier 64b and the afterglow signal supplied from the multiplier 66b to generate a vibration signal. It should be noted that the attack sound signal and the afterglow signal may be weighted and then combined.
  • the vibration signal generated by synthesizing the attack sound signal multiplied by the signal of the vibration waveform C and the afterglow signal multiplied by the signal of the vibration waveform D is a signal representing vibration in response to crying.
  • the signal has a frequency different from the input crying frequency.
  • the vibration signal generated by the synthesis by the adder 67b is supplied to the low-pass filter 68.
  • the level adjustment unit 61, the encapsulation unit 62, the sound pressure change detection unit 63, the multiplier 64, the afterglow detection unit 65, the multiplier 66, and the addition are in the subsequent stages of the bandpass filters 52a and 52b.
  • a system for each target sound is provided, which is composed of a device 67.
  • a vibration signal having a frequency different from the frequency of the input target sound is supplied to the low-pass filter 68 for each system of the target sound as a signal representing vibration corresponding to the target sound (input sound).
  • the low-pass filter 68 generates a vibration signal in which the joint between the attack sound and the waveform of the afterglow component is smoothed by filtering the vibration signals supplied from the adders 67a and 67b.
  • the vibration signal obtained by applying the filter processing by the low-pass filter 68 is supplied to the vibration control unit 34 of FIG.
  • the vibration signal corresponding to the sound of the microwave oven supplied from the adder 67a and the vibration signal corresponding to the crying voice supplied from the adder 67b are input.
  • the added vibration signal is supplied from the low-pass filter 68 to the vibration control unit 34.
  • the vibration signal is generated for each of the two target sound systems with the sound of the microwave oven and the baby's crying as the target sound.
  • a similar system may be provided after the bandpass filter 52 corresponding to the target sound.
  • the number of target sounds is not limited to one, and may be one. In that case, one bandpass filter 52 and one system are provided according to one target sound.
  • FIG. 5 is a diagram showing an example of a fixed frequency signal used for the above-mentioned signal processing.
  • each fixed frequency signal waveform shown in FIG. 5 the horizontal direction represents time and the vertical direction represents the amplitude with 0 at the center.
  • Each fixed frequency signal has an amplitude, frequency, temporal length, etc., based on the characteristics of the attack sound or lingering component of the associated target sound.
  • the signal of the vibration waveform A is a signal that reminds the user of the attack sound of the sound of the microwave oven.
  • the amplitude of the signal of the vibration waveform A is constant.
  • the signal of the vibration waveform B is a signal that reminds the user of the afterglow component of the microwave oven.
  • the amplitude of the signal of the vibration waveform B gradually decreases with the passage of time.
  • the signal of the vibration waveform B has a longer time length than the signal of the vibration waveform A.
  • the signal of the vibration waveform C is a signal that reminds the user of the attack sound of crying.
  • the amplitude of the signal of the vibration waveform C is constant.
  • the frequency of the signal of the vibration waveform C is larger than the frequency of the signal of the vibration waveform A.
  • the signal of the vibration waveform D is a signal that reminds the user of the afterglow component of the crying voice.
  • the amplitude of the signal of the vibration waveform D varies from time to time.
  • the signal of the vibration waveform D has a longer temporal length than the vibration waveform C.
  • the information processing device 1 can suppress the occurrence of howling when outputting vibration corresponding to the input sound (target sound) by shifting the frequency of the vibration signal from the frequency of the input target sound. It will be possible.
  • a signal obtained by shifting the frequency of the target sound may be used to generate a vibration signal having a frequency different from the frequency of the original target sound.
  • FIG. 6 is a block diagram showing another functional configuration example of the signal processing unit 32.
  • the signal processing unit 32 shown in FIG. 6 is provided with a target sound determination unit 71 and a bandpass filter 72 between the bandpass filter 51 and the vibration signal generation unit 53 described with reference to FIG.
  • a sound signal in a frequency band that is difficult for the user to hear is supplied to the target sound determination unit 71 from the bandpass filter 51.
  • the target sound determination unit 71 determines the type of the target sound included in the sound signal based on the sound data of the target sound registered in advance.
  • the information and the sound signal representing the determined type of the target sound are supplied to the bandpass filter 72.
  • the bandpass filter 72 extracts a partial signal of the target sound from the sound signal supplied from the target sound determination unit 71 based on the information supplied from the target sound determination unit 71.
  • FIG. 7 is a diagram showing an example of a frequency band extracted by the bandpass filter 72.
  • the horizontal axis represents frequency (Hz) and the vertical axis represents gain (dB).
  • the bandpass filter 72 removes signals in the frequency band below 400 Hz and signals in the frequency band above 4000 Hz, as shown in FIG. 7, and 400 Hz. Extract signals in the frequency band of ⁇ 4000Hz.
  • the partial signal extracted in this way is supplied from the bandpass filter 72 to the vibration signal generation unit 53 of FIG.
  • the vibration signal generation unit 53 shown in FIG. 6 includes a level adjustment unit 61, an encapsulation unit 62, a sound pressure change detection unit 63, a lingering sound detection unit 65, and an adder 67 described with reference to FIG. A pitch shift unit 81 and a multiplier 82 are provided.
  • the vibration signal generation unit 53 shown in FIG. 6 is provided with only one system having a configuration in which various processes are applied to the sound signal supplied from the bandpass filter 72.
  • the attack sound signal is supplied to the adder 67 from the sound pressure change detection unit 63, and the afterglow signal is supplied from the afterglow detection unit 65.
  • the adder 67 synthesizes the attack sound signal supplied from the sound pressure change detection unit 63 and the afterglow signal supplied from the afterglow detection unit 65 to generate a combined signal.
  • the composite signal generated by the adder 67 is supplied to the multiplier 82.
  • the same partial signal as the partial signal supplied to the enveloped unit 62 is supplied to the pitch shift unit 81 from the level adjusting unit 61.
  • the pitch shift unit 81 applies a pitch shift process for shifting the frequency to the partial signal.
  • the pitch shifting process shifts the frequency of the partial signal to a frequency that is an integral fraction of the frequency of the input target sound.
  • the pitch shift unit 81 shifts the frequency of the partial signal from 40 Hz to 400 Hz.
  • the frequency of the partial signal may be shifted according to the frequency band of vibration that can be perceived by humans. For example, the frequency of the partial signal is shifted so that the frequency is 500 Hz to 700 Hz or less.
  • the pitch shift unit 81 may shift the frequency of the partial signal to a frequency band not included in the input sound based on the analysis result of the frequency band of the input sound.
  • the partial signal after applying the pitch shift processing is supplied to the multiplier 82.
  • the multiplier 82 multiplies the composite signal supplied from the adder 67 with the partial signal supplied from the pitch shift unit 81 after applying the pitch shift process to generate a vibration signal.
  • the vibration signal generated by the multiplier 82 is supplied to the vibration control unit 34 of FIG.
  • the information processing device 1 can suppress the occurrence of howling when outputting vibration corresponding to the input sound (target sound) by shifting the frequency of the vibration signal from the frequency of the input target sound. It will be possible.
  • processing shown in FIG. 8 is performed using the configuration of the signal processing unit 32 described with reference to FIG. 3 or the configuration of the signal processing unit 32 described with reference to FIG.
  • step S1 the sound input unit 31 receives the environmental sound and acquires the sound signal of the input sound.
  • step S2 the signal processing unit 32 determines whether or not the target sound is included in the input sound.
  • step S1 If it is determined in step S1 that the target sound is not included in the input sound, the process ends.
  • step S1 if it is determined in step S1 that the target sound is included in the input sound, the partial signal of the target sound is extracted from the input sound, and the process proceeds to step S3.
  • step S3 the vibration signal generation unit 53 applies the vibration signal generation filter circuit processing to the partial signal to generate the vibration signal.
  • step S4 the vibration control unit 34 controls the vibration device 16 based on the vibration signal to output (generate) vibration.
  • the information processing device 1 can suppress the occurrence of howling when outputting vibration corresponding to the input sound (target sound) by shifting the frequency of the vibration signal from the frequency of the input target sound. It will be possible.
  • the name of the target sound included in the input sound may be displayed on the display 19.
  • steps S11 to S14 is the same as the processing of steps S1 to S4 of FIG. That is, a vibration signal corresponding to the input sound is generated, and vibration is output based on the vibration signal.
  • step S14 the process proceeds to step S15.
  • the display control unit 35 causes the display 19 to display the name of the target sound.
  • the user can confirm the name of the target sound notified by the information processing device 1 by vibration by looking at the image displayed on the display 19.
  • the display on the display 19 is an example of a method of presenting information such as the name of the target sound to the user, and other presentation methods may be used.
  • the light emitting device provided in the information processing device 1 may emit light by a method according to the type of the target sound, so that the user is notified of the type of the target sound.
  • the device provided in the information processing device 1 may output an odor corresponding to the type of the target sound so that the user is notified of the type of the target sound.
  • a voice calling the user of the information processing device 1 may be set as a target sound, and the information processing device 1 may vibrate according to the voice calling the user.
  • FIG. 10 is a block diagram showing a functional configuration example of the information processing device 1 that vibrates in response to a voice calling a user.
  • FIG. 10 the same components as those of the information processing device 1 in FIG. 2 are designated by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • a unit 91 is provided in the information processing device 1 shown in FIG. 10, in addition to the sound input unit 31, the signal processing unit 32, the waveform storage unit 33, the vibration control unit 34, and the display control unit 35 described with reference to FIG. 2, voice analysis is performed.
  • a unit 91 is provided in the information processing device 1 shown in FIG. 10, in addition to the sound input unit 31, the signal processing unit 32, the waveform storage unit 33, the vibration control unit 34, and the display control unit 35 described with reference to FIG. 2, voice analysis is performed.
  • a unit 91 is provided in addition to the sound input unit 31, the signal processing unit 32, the waveform storage unit 33, the vibration control unit 34, and the display control unit 35 described with reference to FIG. 2, voice analysis is performed.
  • a unit 91 is provided in addition to the sound input unit 31, the signal processing unit 32, the waveform storage unit 33, the vibration control unit 34, and the display control unit 35 described with reference to FIG. 2, voice analysis is performed.
  • a unit 91 is provided in addition to the sound input unit 31, the signal processing unit 32,
  • the sound analysis unit 91 is supplied with the same sound signal as the sound signal of the input sound supplied to the signal processing unit 32 from the sound input unit 31.
  • the voice analysis unit 91 performs voice analysis processing on the sound signal of the input sound supplied from the sound input unit 31.
  • the voice included in the input sound is analyzed by the voice analysis process.
  • the voice analysis unit 91 determines whether or not the input sound includes a voice that calls the user, such as a name for the user such as "mother" and the name of the user, based on the result of the voice analysis.
  • a name for the user, a user's name, and the like are registered in advance.
  • a known technique such as voice recognition using a statistical method can be used.
  • the voice analysis unit 91 supplies information representing the main frequency band of the voice for calling the user to the signal processing unit 32.
  • the signal processing unit 32 applies predetermined signal processing to the sound signal of the input sound supplied from the sound input unit 31 based on the information supplied from the voice analysis unit 91, and vibrates according to the sound calling the user. Generate a signal.
  • step S51 is the same as the process of step S1 of FIG. That is, the sound signal of the input sound is acquired.
  • step S51 the process proceeds to step S52.
  • the voice analysis unit 91 performs voice analysis processing on the sound signal of the input sound.
  • step S53 the voice analysis unit 91 determines whether or not the user's name has been called based on the result of the voice analysis. Here, if the input sound includes a voice calling the user, it is determined that the user's name has been called.
  • step S53 If it is determined in step S53 that the user's name has not been called, the process ends.
  • step S53 if it is determined in step S53 that the user's name has been called, the process proceeds to step S54.
  • steps S54 and S55 is the same as the processing of steps S3 and S4 of FIG. That is, a vibration signal corresponding to the input sound is generated, and vibration is output based on the vibration signal.
  • the user can notice that he / she has been called by the notification by the vibration of the information processing device 1.
  • the vibration signal may be generated by using the noise included in the environmental sound or the sound signal in which the user's own voice is canceled.
  • FIG. 12 is a block diagram showing a functional configuration example of the information processing device 1 that cancels noise.
  • FIG. 12 the same components as those of the information processing device 1 in FIG. 2 are designated by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • noise cancellation In the information processing apparatus 1 shown in FIG. 12, in addition to the sound input unit 31, the signal processing unit 32, the waveform storage unit 33, the vibration control unit 34, and the display control unit 35 described with reference to FIG. 2, noise cancellation The unit 101 is provided.
  • the sound signal of the input sound is supplied to the noise canceling unit 101 from the sound input unit 31.
  • the noise canceling unit 101 cancels a signal in the frequency band of the user's own voice from the sound signal of the input sound. Further, the noise canceling unit 101 cancels a signal in the noise frequency band in which the sound is always sounding from the sound signal of the input sound.
  • Cancellation of a signal in the frequency band of the user's own voice or noise is performed by, for example, a bandpass filter that cuts the frequency band of the user's own voice or noise.
  • the user's own voice and noise are extracted, and the signal in the frequency band of the user's own voice and noise is canceled by adding the sound signal of the opposite phase of the user's own voice and noise to the sound signal of the input sound. You may do so.
  • the sound signal of the input sound in which the user's own voice or the signal in the noise frequency band is canceled by the noise canceling unit 101 is supplied to the signal processing unit 32.
  • the signal processing unit 32 generates a vibration signal corresponding to the input sound by applying a predetermined signal processing to the sound signal of the input sound supplied from the noise canceling unit 101.
  • step S101 is the same as the process of step S1 of FIG. That is, the sound signal of the input sound is acquired.
  • step S101 the process proceeds to step S102.
  • the noise canceling unit 101 cancels the signal in the frequency band of the user's own voice from the sound signal of the input sound.
  • step S103 the noise canceling unit 101 cancels the signal of the noise frequency band in which the sound is always sounding from the sound signal of the input sound.
  • steps S104 to S106 is the same as the processing of steps S2 to S4 of FIG. That is, a vibration signal corresponding to the input sound is generated, and vibration is output based on the vibration signal.
  • the information processing device 1 can vibrate in response to the input sound excluding the user's own voice and noise.
  • the information processing device 1 may continue the vibration notification until the user performs an operation to end the vibration notification.
  • the user can end the notification by vibration, for example, by operating the operation unit 20.
  • steps S151 to S154 is the same as the processing of steps S1 to S4 of FIG. That is, a vibration signal corresponding to the input sound is generated, and vibration is output based on the vibration signal.
  • step S154 the process proceeds to step S155.
  • the vibration control unit 34 determines whether or not the operation to end the notification by vibration has been performed, and vibrates the vibration device 16 until it is determined in step S155 that the operation to end the notification by vibration has been performed. Keep letting.
  • the vibration control unit 34 determines that an operation for ending the notification by vibration has been performed. Further, for example, when the touch panel provided in the information processing device 1 is tapped, the vibration control unit 34 determines that the operation for ending the notification by vibration has been performed.
  • the operation of ending the notification by vibration is an arbitrary operation set in advance.
  • step S155 if it is determined in step S155 that the operation to end the notification by vibration has been performed, the process ends.
  • the information processing device 1 can continue to vibrate until the user notices it.
  • the information processing device 1 can be configured by various devices having a microphone function and a vibration function, such as a tablet terminal, a personal computer (PC), and a smart watch.
  • a function similar to the function of the information processing device 1 may be realized by a system in which a plurality of devices having the respective functions of the microphone function and the vibration function are connected.
  • FIG. 15 is a diagram schematically showing an example in which the information processing device 1 is used at home.
  • the smartphone 111-1, the smart watch 112, and the smart speaker 113 are assumed to be on the first floor of the house. Also, the smartphone 111-2 is supposed to be on the second floor of the house.
  • the smartphone 111-1 and the smart watch 112 shown in FIG. 15 have a microphone function and a vibration function. Further, the information processing system is composed of the smart speaker 113 having a microphone function and the smartphone 111-2 having a vibration function.
  • the smartphone 111-1 on the first floor of the house receives the environmental sound of the first floor of the house and responds to the sound of the microwave oven or the cry of the baby. Vibrate.
  • the user holding the smartphone 111-1 can notice that the cooking performed by the microwave oven has been completed and that the baby is crying.
  • the smart watch 112 on the first floor of the house receives the environmental sound on the first floor of the house and vibrates in response to the sound of the microwave oven or the cry of the baby. ..
  • the user wearing the smartwatch 112 can notice that the cooking done by the microwave oven has finished and the baby is crying.
  • the smart speaker 113 on the first floor of the house receives the environmental sound of the first floor of the house and receives the sound signal of the acquired input sound on the second floor of the house.
  • the smartphone 111-2 receives the sound signal of the input sound transmitted from the smart speaker 113, and vibrates in response to the sound of the microwave oven and the crying of the baby.
  • the user who is on the second floor of the house and holds the smartphone 111-2 in his hand can detect the vibration of the smartphone 111-2 and finish the cooking that the microwave oven was doing on the first floor and the baby cries. You can notice that you are.
  • the vibration signal generated by the smart speaker 113 may be transmitted to the smartphone 111-2.
  • the smartphone 111-2 vibrates based on the vibration signal transmitted from the smart speaker 113.
  • the information processing device 1 may be configured as a vest (jacket) -shaped wearable device that can be worn by a vest-type user.
  • FIG. 16 is a diagram showing a configuration example of the appearance of the wearable device.
  • the wearable device 121 is composed of a wearable vest, and as shown by a broken line inside, the vibration devices 16-1R to 16-3R and the vibration devices from the chest to the abdomen. 16-1L to 16-3L are provided in pairs on the left and right. The vibrating devices 16-1R to 16-3R and the vibrating devices 16-1L to 16-3L may vibrate at the same timing or may vibrate at different timings.
  • microphones 12R and 12L are provided in pairs on the shoulder of the vest.
  • a control unit 131 is provided under the vibration device 16-3R.
  • the control unit 131 is composed of a CPU 11, a DSP / amplifier 15, a battery, and the like.
  • the control unit 131 controls each unit of the wearable device 121.
  • the wearable device 121 is used outdoors such as a stadium where a soccer game or the like is held.
  • the wearable device 121 receives the environmental sound and vibrates in response to the cheers of the spectators of the game.
  • a cheer with a sound pressure equal to or higher than a predetermined threshold value is set as the target sound.
  • the wearable device 121 vibrates in response to the cheers of the spectators only when the cheers of the spectators are loud, such as at the moment when the goal is decided. Since the processing flow executed by the wearable device 121 (control unit 131) is basically the same as the processing flow shown in the flowchart of FIG. 8, the description thereof will be omitted.
  • the spectator wearing the wearable device 121 can enjoy the heat and presence of the spectator in the stadium by the vibration corresponding to the cheers of the spectator. In this case, not only the spectators with hearing disabilities but also the spectators of healthy people can feel more realistic in the stadium by wearing the wearable device 121. In addition, howling can be suppressed when the vibration is output in response to the cheers of the audience.
  • the information processing device 1 may be configured as a cushion placed on a chair on which the user sits.
  • FIG. 17 is a diagram showing a configuration example of the appearance of the cushion when viewed from above.
  • the substantially square cushion 122 is provided with vibration devices 16-1 to 16-4 at four corners inside the cushion 122.
  • the vibrating devices 16-1 to 16-4 may vibrate at the same timing, or may vibrate at different timings.
  • a microphone 12 is provided inside the cushion 122 in the upper right corner.
  • a control unit 131 is provided on the right side of the cushion 122.
  • the cushion 122 is also used outdoors such as a stadium where soccer games are held.
  • the cushion 122 receives the environmental sound and vibrates in response to the cheers of the spectators of the game.
  • a cheer with a sound pressure equal to or higher than a predetermined threshold value is set as the target sound.
  • the cushion 122 vibrates in response to the cheers of the spectators only when the cheers of the spectators are loud, such as at the moment when the goal is decided. Since the processing flow executed by the cushion 122 (control unit 131) is basically the same as the processing flow shown in the flowchart of FIG. 8, the description thereof will be omitted.
  • the spectator sitting on the chair on which the cushion 122 is placed can enjoy the heat and presence of the spectator in the stadium by the vibration corresponding to the cheers of the spectator.
  • the vibration corresponding to the cheers of the spectator not only the hearing-impaired spectators but also the healthy spectators can feel more realistic in the stadium by sitting on the chair on which the cushion 122 is placed.
  • howling can be suppressed when the vibration is output in response to the cheers of the audience.
  • FIG. 18 is a diagram showing a configuration example of the appearance of the music experience device.
  • the information processing device 1 may be configured as a music experience device 141 composed of a control device 151 having a microphone function and a floor 152 having a vibration function.
  • the user rides on the floor 152 and emits a sound or makes a sound by hitting the drum D installed on the upper part of the floor 152.
  • the user's voice and the sound of the drum D are set as the target sounds.
  • the control device 151 is composed of a microphone 12 and a control unit 131. In FIG. 18, the microphone 12 and the control unit 131 are provided inside the control device 151. The microphone 12 may be provided outside the control device 151.
  • the control device 151 receives the environmental sound, generates a vibration signal according to the user's voice and the sound of the drum D, and supplies the vibration signal to the floor 152.
  • a vibration device 16 is provided inside the floor 152 in the center.
  • the vibration device 16 vibrates based on the vibration signal supplied from the control device 151. Since the processing flow executed by the music experience device 141 (control device 151) is basically the same as the processing flow shown in the flowchart of FIG. 8, the description thereof will be omitted.
  • the user riding on the floor 152 can feel the music played by the voices emitted by himself / herself and those around him / the sound of the drum D by the vibration output from the floor 152. Further, when the floor 152 vibrates in response to music, howling can be suppressed.
  • FIG. 19 is a block diagram showing a hardware configuration example of the information processing device.
  • the wearable device 121, the cushion 122, and the music experience device 141 are all realized by an information processing device having the configuration shown in FIG.
  • FIG. 19 the same components as those of the information processing device 1 in FIG. 1 are designated by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • the signal processing device shown in FIG. 19 is provided with a plurality of vibration devices 16 in addition to the microphone 12, the CPU 11, and the DSP / amplifier 15 described with reference to FIG.
  • the DSP / amplifier 15 supplies the vibration signal supplied from the CPU 11 to each of the vibration devices 16-1 to 16-4.
  • the vibration signals supplied to the vibration devices 16-1 to 16-4 may be the same vibration signal or different vibration signals.
  • the number of vibration devices 16 provided in the information processing device is not limited to one or four, and can be any number.
  • the vibration devices 16-1 to 16-4 vibrate based on the vibration signal supplied from the DSP / amplifier 15.
  • the signal processing unit 32 is realized by executing a predetermined program by the CPU 11, but the signal processing unit 32 may be an LSI (Large Scale Integration) or the like. It may be a signal processing device configured as an integrated circuit of.
  • LSI Large Scale Integration
  • the configuration of the signal processing unit 32 described with reference to FIG. 3 or FIG. 6 is an example, as long as it is a configuration capable of generating a vibration signal representing vibration having a frequency different from the frequency of the target sound included in the input sound.
  • Other configurations may be used.
  • the above-mentioned series of processes can be executed by hardware or software.
  • the programs constituting the software are installed on a computer embedded in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is provided by recording it on a removable medium consisting of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.) or a semiconductor memory. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM or storage.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • An information processing device including a signal processing unit that generates a vibration signal representing the vibration having a frequency different from the frequency of the input sound when outputting vibration in response to an input sound from the outside.
  • the signal processing unit A partial signal, which is a signal in the frequency band corresponding to the target sound, which is the sound to be the target of the vibration, included in the input sound is extracted from the sound signal of the input sound.
  • the information processing apparatus according to (1), wherein the vibration signal is generated by applying a predetermined signal processing to the extracted partial signal.
  • the signal processing includes application of a sound pressure change detection process for extracting an attack sound and a lingering sound detection process for extracting a lingering sound, and a synthesis of the result of the sound pressure change detection process and the result of the lingering sound detection process.
  • the information processing device according to (2) above.
  • the signal associated with the attack sound of the target sound is multiplied by the result of the sound pressure change detection processing, the signal associated with the afterglow of the target sound, and the afterglow detection.
  • the information processing apparatus according to (3) above which includes multiplication with the result of processing.
  • the signal processing includes a pitch shift process in which the frequency of the partial signal is shifted, a synthesis result of the result of the sound pressure change detection process and the result of the afterglow detection process, and a multiplication of the result of the pitch shift process.
  • the information processing device according to (3) above.
  • the pitch shift process includes a process in which the frequency of the partial signal is shifted to a frequency that is an integral fraction of the original frequency.
  • the signal processing unit The target sound included in the input sound is determined based on the sound data registered in advance, and the target sound is determined.
  • the information processing device according to (5) or (6) above, which extracts a partial signal of the frequency band corresponding to the determined target sound from the sound signal of the input sound.
  • the information processing device according to any one of (2) to (7) above, wherein the target sound includes a sound for notifying the user.
  • the signal processing unit A signal in the frequency band based on the characteristics of the user is extracted from the sound signal of the input sound, and the signal is extracted.
  • the information processing apparatus according to any one of (2) to (8) above, which extracts the partial signal from the extracted signal.
  • the information processing device according to any one of (2) to (9), further comprising a sound input unit that converts the input sound from the outside into a sound signal.
  • the information processing device according to any one of (2) to (11), further comprising a display control unit for displaying information representing the target sound included in the input sound.
  • the signal processing unit cancels the signal in the frequency band of the user's voice and the signal in the frequency band of noise with respect to the sound signal, and performs the signal processing according to any one of (2) to (12).
  • the signal processing unit The voice contained in the input sound is analyzed and The information processing apparatus according to any one of (1) to (13), which generates the vibration signal based on the result of the analysis.
  • the information processing device according to any one of (1) to (14), further comprising a control unit for outputting the vibration represented by the vibration signal to the vibration device.
  • Information processing device 11 CPU, 12 microphone, 13 communication unit, 14 storage unit, 15 DSP / amplifier, 16 vibration device, 17 speaker / external output unit, 18 GPU, 19 display, 31 sound input unit, 32 signal processing unit , 33 waveform storage unit, 34 vibration control unit, 35 display control unit, 51, 52a, 52b band path filter, 53 vibration signal generator, 111-1, 111-2 smartphone, 112 smart watch, 113 smart speaker, 121 installed Mold device, 122 cushion, 131 control unit, 141 music experience device, 151 control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)

Abstract

本技術は、入力音に応じた振動の出力に際してハウリングの発生を抑制することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する装置である。本技術は、例えば、入力音に応じて振動するスマートフォン、スマートウォッチ、装着型装置、クッション、および音楽体験装置に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、入力音に応じた振動の出力に際してハウリングの発生を抑制することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　日常生活においては、調理終了を知らせる電子レンジの音、インターホンの呼び出し音、乳幼児（赤ちゃん）の泣き声などの音を媒介として情報を通知する機器や手段が多数用いられている。
　このような状況の中、聴覚障害のある人は、音による通知に対して気づくことが困難であった。従来、このような問題に対して、マイクロフォンに入力された音を振動に変換し、振動を出力する技術が提案されている（例えば特許文献１参照）。
特開２０００－２４５０００号公報
　特許文献１に記載の技術においては、振動デバイスが振動するのと同時に小さいながらも振動の音を発するため、振動の音がマイクロフォンに入力されてしまう。この場合、入力音に応じた振動の出力によって、ハウリングが発生することがある。
　本技術はこのような状況に鑑みてなされたものであり、入力音に応じた振動の出力に際してハウリングの発生を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する信号処理部を備える。
　本技術の一側面の情報処理方法は、情報処理装置が、外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する。
　本技術の一側面の情報処理装置においては、外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号が生成される。
本技術の一実施の形態に係る情報処理装置の構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 信号処理部の機能構成例を示すブロック図である。 バンドパスフィルタが抽出する周波数帯域の例を示す図である。 信号処理に用いられる固定周波数信号の例を示す図である。 信号処理部の他の機能構成例を示すブロック図である。 バンドパスフィルタが抽出する周波数帯域の例を示す図である。 情報処理装置の処理について説明するフローチャートである。 対象音の種類を表示する情報処理装置の処理について説明するフローチャートである。 ユーザを呼ぶ音声に応じて振動する情報処理装置の機能構成例を示すブロック図である。 ユーザを呼ぶ音声に応じて振動する情報処理装置の処理について説明するフローチャートである。 ノイズキャンセルを行う情報処理装置の機能構成例を示すブロック図である。 ノイズキャンセルを行う情報処理装置の処理について説明するフローチャートである。 ユーザが気づくまで振動による通知を行う情報処理装置の処理について説明するフローチャートである。 情報処理装置を家で用いる場合の例を模式的に示す図である。 装着型装置の外観の構成例を示す図である。 上面から見たクッションの外観の構成例を示す図である。 音楽体験装置の外観の構成例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の信号処理について
　２．第２の信号処理について
　３．情報処理装置の動作
　４．ユーザが呼ばれたことを振動により通知する例
　５．ノイズキャンセルを行う例
　６．ユーザが気づくまで振動による通知を行う例
　７．他の実施の形態について
　８．変形例
＜１．第１の信号処理について＞
　図１は、本技術の一実施の形態に係る情報処理装置の構成例を示すブロック図である。
　図１に示す情報処理装置１は、環境音を入力音として受け付け、入力音に応じて振動する装置である。情報処理装置１が、例えば、スマートフォンで構成される場合、聴覚障害のあるユーザは、所持するスマートフォンが出力する振動を感知することによって、電子レンジの音や赤ちゃんの泣き声などの音による通知に気づくことができる。
　図１に示すように、情報処理装置１は、CPU(Central Processing Unit)１１、マイクロフォン１２、通信部１３、記憶部１４、DSP/アンプ１５、振動デバイス１６、スピーカ/外部出力部１７、GPU(Graphics Processing Unit)１８、ディスプレイ１９、および操作部２０を備えている。
　CPU１１は、制御部として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。CPU１１は、マイクロフォン１２から供給された入力音の音信号に所定の信号処理を適用し、それにより得られる音信号と振動信号をDSP/アンプ１５に供給する。CPU１１は、信号処理に必要な情報を記憶部１４から適宜取得する。
　なお、振動信号は、振動デバイス１６から出力される振動の振幅および周波数等の特性を表す情報を含む信号である。また、CPU１１は、静止画像や動画像などの画像に応じた画像データを処理し、GPU１８に供給する。
　マイクロフォン１２は、外部の環境音を入力音として収集し、音信号に変換する入力装置である。マイクロフォン１２は、入力音の音信号をCPU１１に供給する。
　通信部１３は、所定の規格に準拠した無線通信のインタフェースである。通信部１３は外部の装置との通信を行う。例えば、通信部１３は、外部の装置から音信号を受信し、音信号をCPU１１に供給する。
　記憶部１４は、RAM(Random Access Memory)、磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイスなどにより構成される。記憶部１４には、CPU１１による信号処理に用いられる情報が記憶される。
　DSP/アンプ１５は、信号に所定の処理を適用し、信号を増幅する機能を有する。DSP/アンプ１５は、CPU１１から供給された信号を増幅して、対応する出力装置に供給する。例えば、DSP/アンプ１５は、音信号を増幅してスピーカ/外部出力部１７に供給する。また、DSP/アンプ１５は、振動信号を増幅して振動デバイス１６に供給する。なお、CPU１１が行う信号処理の少なくとも一部が、DSP/アンプ１５により実行されるようにしてもよい。
　振動デバイス１６は、振動提示対象に対し振動を提示する装置である。振動提示対象としては、人間、動物、またはロボット等の任意の物体が挙げられる。以下では振動提示対象はユーザ（人間）であるものとして説明する。振動デバイス１６は、振動デバイス１６に接触するユーザに対し振動を提示する。例えば、振動デバイス１６は、情報処理装置１を持つユーザの手に対し、振動を提示する。振動デバイス１６は、DSP/アンプ１５から供給された振動信号に基づいて振動する。
　スピーカ/外部出力部１７は、音を出力する装置である。スピーカ/外部出力部１７は、スピーカ、ヘッドホン、イヤホンなどにより構成される。スピーカ/外部出力部１７は、DSP/アンプ１５から供給された音信号に基づいて音を出力する。
　GPU１８は、画像処理装置として機能し、ディスプレイ１９に表示させる画面の描画などの処理を行う。GPU１８は、CPU１１から供給された画像データを処理し、処理後の画像データをディスプレイ１９に供給する。
　ディスプレイ１９は、静止画像や動画像などの画像を出力する装置である。ディスプレイ１９は、例えば、液晶ディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ、またはランプにより構成される。ディスプレイ１９は、GPU１８から供給された画像データに基づいて画像を出力し、表示を行う。
　操作部２０は、ボタン、タッチパネルなどにより構成される。操作部２０は、ユーザによる各種の操作を受け付け、ユーザの操作の内容を表す操作信号をCPU１１に供給する。
　図２は、情報処理装置１の機能構成例を示すブロック図である。図２に示す機能部のうちの少なくとも一部は、図１のCPU１１により所定のプログラムが実行されることによって実現される。
　図２に示すように、情報処理装置１は、音入力部３１、信号処理部３２、波形記憶部３３、振動制御部３４、および表示制御部３５により構成される。
　音入力部３１は、図１のマイクロフォン１２を制御し、入力音の音信号を取得して、信号処理部３２に供給する。
　信号処理部３２は、音入力部３１から供給された入力音の音信号に所定の信号処理を適用することによって、音信号を振動信号に変換する。具体的には、信号処理部３２は、入力音に含まれる対象音の周波数と異なる周波数の振動を表す振動信号を生成する。対象音は、入力音のうち、振動を生成する対象（振動の対象）となる音である。例えば、電子レンジの音や赤ちゃんの泣き声などの、ユーザに対して通知を行う音が対象音としてあらかじめ設定される。
　音信号の信号処理には、対象音ごとにあらかじめ設定された振動波形の信号である固定周波数信号を用いることができる。波形記憶部３３には、固定周波数信号を表す情報が記憶されており、信号処理部３２により適宜取得される。電子レンジの音や赤ちゃんの泣き声などの各種の対象音ごとの固定周波数信号を表す情報が波形記憶部３３には用意される。波形記憶部３３は、例えば、図１の記憶部１４により実現される。
　信号処理部３２は、音信号を変換することによって得られた振動信号を振動制御部３４に供給する。
　また、信号処理部３２は、入力音の音信号に基づいて、入力音に含まれる対象音の種類を判定する。信号処理部３２は、入力音に含まれる対象音の種類を表す情報を表示制御部３５に供給する。
　振動制御部３４は、信号処理部３２から供給された振動信号に基づいて図１の振動デバイス１６を制御し、振動させる。これにより、情報処理装置１においては、対象音に応じた振動が出力されることになる。
　表示制御部３５は、信号処理部３２から供給された情報に基づいて、情報処理装置１が出力する振動が表す対象音の種類を表す画像を図１のディスプレイ１９に表示させる。
　図３は、信号処理部３２の機能構成例を示すブロック図である。
　図３に示すように、信号処理部３２は、バンドパスフィルタ５１、バンドパスフィルタ５２ａ，５２ｂ、および振動信号生成部５３により構成される。
　バンドパスフィルタ５１には、入力音の音信号が供給される。バンドパスフィルタ５１は、ユーザが聞こえにくい（ユーザの特性に基づいた）周波数帯域の音信号を入力音の音信号から抽出する。ユーザが聞こえにくい周波数帯域は、ユーザによってあらかじめ登録される。
　図４は、バンドパスフィルタ５１が抽出する周波数帯域の例を示す図である。
　図４においては、横軸が周波数（Hz）を表し、縦軸はゲイン（dB）を表す。2000Hz以上の音が、聞こえにくい周波数帯域の音として登録された場合、例えば、図４に示すように、バンドパスフィルタ５１は、2000Hz未満の周波数帯域の信号を除去し、2000Hz以上の周波数帯域の信号を抽出する。
　このようにして抽出された音信号が、バンドパスフィルタ５１から図３のバンドパスフィルタ５２ａ，５２ｂにそれぞれ供給される。
　バンドパスフィルタ５２ａ，５２ｂは、入力音に含まれる対象音の種類を判定する判定部として機能する。具体的には、バンドパスフィルタ５２ａ，５２ｂは、部分信号を音信号から抽出する。部分信号は、対象音が主に含む周波数であるメイン周波数の音信号である。
　例えば、バンドパスフィルタ５２ａは、電子レンジの音（調理終了の通知音）が対象音となる場合、その音の部分信号を、バンドパスフィルタ５１から供給された音信号から抽出する。また、バンドパスフィルタ５２ｂは、赤ちゃんの泣き声が対象音となる場合、その泣き声の部分信号を、バンドパスフィルタ５１から供給された音信号から抽出する。
　このように、あらかじめ設定された対象音に対応したバンドパスフィルタが、設定された対象音の数と同じ数だけ設けられる。以下、適宜、バンドパスフィルタ５２ａ，５２ｂを区別する必要がない場合、まとめてバンドパスフィルタ５２という。バンドパスフィルタ５２の数は、対象音の数に応じた任意の数である。
　バンドパスフィルタ５２は、音信号から抽出した対象音の部分信号を振動信号生成部５３に供給する。
　振動信号生成部５３は、信号処理である振動信号生成フィルタ回路処理を部分信号に適用することによって、振動信号を生成する。
　振動信号生成部５３は、レベル調整部６１ａ，６１ｂ、エンベロープ化部６２ａ，６２ｂ、音圧変化検出部６３ａ，６３ｂ、乗算器６４ａ，６４ｂ、余韻検出部６５ａ，６５ｂ、乗算器６６ａ，６６ｂ、加算器６７ａ，６７ｂ、およびローパスフィルタ６８により構成される。なお、以下の説明で、レベル調整部６１ａ，６１ｂを区別する必要がない場合、まとめてレベル調整部６１という。対になって設けられる他の構成についても同様にまとめて説明する。
　レベル調整部６１ａには、バンドパスフィルタ５２ａから、電子レンジの音の部分信号が供給される。レベル調整部６１ａは、バンドパスフィルタ５２ａから供給された部分信号の振幅を増幅し、エンベロープ化部６２ａに供給する。
　エンベロープ化部６２ａは、レベル調整部６１ａから供給された部分信号に対してエンベロープ化処理を適用する。エンベロープ化処理は、信号の振幅の外形を取り出す処理である。エンベロープ化処理後の部分信号は、音圧変化検出部６３ａと余韻検出部６５ａにそれぞれ供給される。
　音圧変化検出部６３ａは、エンベロープ化部６２ａから供給された部分信号に対して、音圧変化検出処理を適用する。音圧変化検出処理は、音信号からアタック音を抽出する処理である。アタック音は、立ち上がりの音である。
　音圧変化検出処理としては、例えば、特許第４４６７６０１号公報に記載されているビート抽出処理と同様の処理が用いられる。簡単に説明すると、音圧変化検出部６３ａは、入力音の音信号の各時刻におけるスペクトルを算出し、単位時間当たりのスペクトルの時間微分値を算出する。音圧変化検出部６３ａは、スペクトルの時間微分値の波形のピーク値と所定の閾値とを比較し、閾値を超えるピークを有する波形を、アタック音成分として抽出する。この抽出されたアタック音成分には、アタック音のタイミングおよびそのときのアタック音の強度の情報が含まれる。音圧変化検出部６３ａは、抽出したアタック音成分にエンベロープをかけ、アタック音のタイミングで立ち上がり、立ち上がり速度より遅い速度で減衰する波形となるアタック音信号を生成する。
　音圧変化検出処理を適用することによって抽出されたアタック音信号は、乗算器６４ａに供給される。
　乗算器６４ａは、振動波形Ａの信号を図２の波形記憶部３３から取得する。振動波形Ａは、電子レンジの音のアタック音にあらかじめ対応付けられた固定周波数信号の波形である。振動波形Ａの信号は、入力された電子レンジの音の周波数と異なる周波数の振動信号である。
　ここで、対象音のアタック音および後述する対象音の余韻成分には、それぞれの固定周波数信号があらかじめ対応付けられる。対応付けられる固定周波数信号は、対象音の周波数と異なる周波数の振動信号である。
　乗算器６４ａは、音圧変化検出部６３ａから供給されたアタック音信号と、波形記憶部３３から取得した振動波形Ａの信号とを乗算する。振動波形Ａの信号が乗算されたアタック音信号は、加算器６７ａに供給される。
　余韻検出部６５ａは、エンベロープ化部６２ａから供給された部分信号に対して、余韻検出処理を適用する。余韻検出処理は、入力信号の振幅と出力信号の振幅との間に所定の関係が成立するように、出力信号の振幅を制御する処理である。余韻検出処理により、例えば、音の立ち下りが強調された余韻成分が余韻信号として抽出される。
　余韻検出処理を適用することによって抽出された余韻信号は、乗算器６６ａに供給される。
　乗算器６６ａは、振動波形Ｂの信号を図２の波形記憶部３３から取得する。振動波形Ｂは、電子レンジの音の余韻成分にあらかじめ対応付けられた固定周波数信号の波形である。振動波形Ｂの信号は、入力された電子レンジの音の周波数と異なる周波数の振動信号である。
　乗算器６６ａは、余韻検出部６５ａから供給された余韻信号と、波形記憶部３３から取得した振動波形Ｂの信号とを乗算する。振動波形Ｂの信号が乗算された余韻信号は、加算器６７ａに供給される。
　加算器６７ａは、乗算器６４ａから供給されたアタック音信号と、乗算器６６ａから供給された余韻信号とを合成（例えば、加算）し、振動信号を生成する。これにより、アタック音に余韻成分を付加することが可能となる。なお、アタック音信号と余韻信号のそれぞれの信号に重みを付した上で合成が行われるようにしてもよい。
　振動波形Ａの信号が乗算されたアタック音信号と、振動波形Ｂの信号が乗算された余韻信号とを合成することによって生成された振動信号は、電子レンジの音に応じた振動を表す信号であって、入力された電子レンジの音の周波数と異なる周波数の信号となる。加算器６７ａによる合成によって生成された振動信号は、ローパスフィルタ６８に供給される。
　一方、レベル調整部６１ｂには、バンドパスフィルタ５２ｂから、泣き声の部分信号が供給される。レベル調整部６１ｂは、バンドパスフィルタ５２ｂから供給された部分信号の振幅を増幅し、エンベロープ化部６２ｂに供給する。
　エンベロープ化部６２ｂは、レベル調整部６１ｂから供給された部分信号に対してエンベロープ化処理を適用する。エンベロープ化処理後の部分信号は、音圧変化検出部６３ｂと余韻検出部６５ｂにそれぞれ供給される。
　音圧変化検出部６３ｂは、エンベロープ化部６２ｂから供給された部分信号に対して、音圧変化検出処理を適用する。音圧変化検出処理を適用することによって抽出されたアタック音信号は、乗算器６４ｂに供給される。
　乗算器６４ｂは、振動波形Ｃの信号を図２の波形記憶部３３から取得する。振動波形Ｃは、泣き声のアタック音にあらかじめ対応付けられた固定周波数信号の波形である。振動波形Ｃの信号は、入力された泣き声の周波数と異なる周波数の振動信号である。
　乗算器６４ｂは、音圧変化検出部６３ｂから供給されたアタック音信号と、波形記憶部３３から取得した振動波形Ｃの信号とを乗算する。振動波形Ｃの信号が乗算されたアタック音信号は、加算器６７ｂに供給される。
　余韻検出部６５ｂは、エンベロープ化部６２ｂから供給された部分信号に対して、余韻検出処理を適用する。余韻検出処理を適用することによって抽出された余韻信号は、乗算器６６ｂに供給される。
　乗算器６６ｂは、振動波形Ｄの信号を図２の波形記憶部３３から取得する。振動波形Ｄは、泣き声の余韻成分にあらかじめ対応付けられた固定周波数信号の波形である。振動波形Ｄの信号は、入力された泣き声の周波数と異なる周波数の振動信号である。
　乗算器６６ｂは、余韻検出部６５ｂから供給された余韻信号と、波形記憶部３３から取得した振動波形Ｄの信号とを乗算する。振動波形Ｄの信号が乗算された余韻信号は、加算器６７ｂに供給される。
　加算器６７ｂは、乗算器６４ｂから供給されたアタック音信号と、乗算器６６ｂから供給された余韻信号とを合成（例えば、加算）し、振動信号を生成する。なお、アタック音信号と余韻信号のそれぞれの信号に重みを付した上で合成が行われるようにしてもよい。
　振動波形Ｃの信号が乗算されたアタック音信号と、振動波形Ｄの信号が乗算された余韻信号とを合成することによって生成された振動信号は、泣き声に応じた振動を表す信号であって、入力された泣き声の周波数と異なる周波数の信号となる。加算器６７ｂによる合成によって生成された振動信号は、ローパスフィルタ６８に供給される。
　以上のように、バンドパスフィルタ５２ａ，５２ｂのそれぞれの後段には、レベル調整部６１、エンベロープ化部６２、音圧変化検出部６３、乗算器６４、余韻検出部６５、乗算器６６、および加算器６７からなる対象音ごとの系統が設けられる。ローパスフィルタ６８には、対象音（入力音）に応じた振動を表す信号として、入力された対象音の周波数と異なる周波数の振動信号が、対象音の系統ごとに供給されることになる。
　ローパスフィルタ６８は、加算器６７ａ，６７ｂから供給された振動信号にフィルタ処理を施すことによって、アタック音と余韻成分の波形のつなぎ目が滑らかになった振動信号を生成する。ローパスフィルタ６８によりフィルタ処理が施されることによって得られた振動信号は、図２の振動制御部３４に供給される。
　なお、例えば、電子レンジの音と泣き声が同時に入力された場合、加算器６７ａから供給された電子レンジの音に応じた振動信号と、加算器６７ｂから供給された泣き声に応じた振動信号とを足し合せた振動信号が、ローパスフィルタ６８から振動制御部３４に供給される。
　また、図３の信号処理部３２の構成では、電子レンジの音と赤ちゃんの泣き声を対象音として、２つの対象音の系統ごとに振動信号が生成される場合を示したが、対象音の系統は、対象音の数に応じた任意の数だけ設けることができる。具体的には、さらに他の対象音（例えば家に設置されたインターホン）に対応する場合には、当該対象音に対応したバンドパスフィルタ５２の後段に、同様の系統を設ければよい。なお、対象音は、複数に限らず、１つであってもよく、その場合には、１つの対象音に応じて、１つのバンドパスフィルタ５２と１つの系統が設けられる。
　図５は、上述した信号処理に用いられる固定周波数信号の例を示す図である。
　図５に示すそれぞれの固定周波数信号の波形において、横方向は時間を表し、縦方向は、中央を０とする振幅を表す。それぞれの固定周波数信号は、対応付けられた対象音のアタック音または余韻成分の特徴に基づいた、振幅、周波数、時間的な長さなどを有する。
　振動波形Ａの信号は、電子レンジの音のアタック音をユーザに想起させる信号である。振動波形Ａの信号の振幅は一定である。
　振動波形Ｂの信号は、電子レンジの余韻成分をユーザに想起させる信号である。振動波形Ｂの信号の振幅は、時間が経過するごとに徐々に小さくなる。振動波形Ｂの信号は、時間的な長さが振動波形Ａの信号よりも長い。
　振動波形Ｃの信号は、泣き声のアタック音をユーザに想起させる信号である。振動波形Ｃの信号の振幅は一定である。振動波形Ｃの信号の周波数は、振動波形Ａの信号の周波数よりも大きい。
　振動波形Ｄの信号は、泣き声の余韻成分をユーザに想起させる信号である。振動波形Ｄの信号の振幅は、時間ごとに異なる。振動波形Ｄの信号は、時間的な長さが振動波形Ｃよりも長い。
　以上のように、情報処理装置１は、振動信号の周波数を、入力された対象音の周波数からずらすことによって、入力音（対象音）に応じた振動の出力に際してハウリングの発生を抑制することが可能となる。
＜２．第２の信号処理について＞
　図２の信号処理部３２では、対象音の周波数をシフトさせた信号を用いて、元の対象音の周波数と異なる周波数の振動信号が生成されるようにしてもよい。
　図６は、信号処理部３２の他の機能構成例を示すブロック図である。
　図６において、図３の信号処理部３２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図６に示す信号処理部３２には、図３を参照して説明したバンドパスフィルタ５１と振動信号生成部５３の間に、対象音判定部７１とバンドパスフィルタ７２が設けられる。
　対象音判定部７１には、ユーザが聞こえにくい周波数帯域の音信号がバンドパスフィルタ５１から供給される。対象音判定部７１は、事前に登録された対象音の音データに基づいて、音信号に含まれる対象音の種類を判定する。判定された対象音の種類を表す情報と音信号は、バンドパスフィルタ７２に供給される。
　バンドパスフィルタ７２は、対象音判定部７１から供給された情報に基づいて、対象音の部分信号を、対象音判定部７１から供給された音信号から抽出する。
　図７は、バンドパスフィルタ７２が抽出する周波数帯域の例を示す図である。
　図７においては、横軸が周波数（Hz）を表し、縦軸はゲイン（dB）を表す。対象音のメイン周波数が400Hz～4000Hzである場合、例えば、バンドパスフィルタ７２は、図７に示すように、400Hz未満の周波数帯域の信号と、4000Hz超の周波数帯域の信号とを除去し、400Hz～4000Hzの周波数帯域の信号を抽出する。
　このようにして抽出された部分信号が、バンドパスフィルタ７２から図６の振動信号生成部５３に供給される。
　図６に示す振動信号生成部５３には、図３を参照して説明したレベル調整部６１、エンベロープ化部６２、音圧変化検出部６３、余韻検出部６５、および加算器６７に加えて、ピッチシフト部８１と乗算器８２が設けられる。図６に示す振動信号生成部５３には、バンドパスフィルタ７２から供給された音信号に対して各種の処理を施す構成が一系統だけ設けられる。
　加算器６７には、アタック音信号が音圧変化検出部６３から供給され、余韻信号が余韻検出部６５から供給される。加算器６７は、音圧変化検出部６３から供給されたアタック音信号と、余韻検出部６５から供給された余韻信号とを合成し、合成信号を生成する。加算器６７により生成された合成信号は、乗算器８２に供給される。
　ピッチシフト部８１には、エンベロープ化部６２に供給された部分信号と同じ部分信号がレベル調整部６１から供給される。ピッチシフト部８１は、周波数をシフトするピッチシフト処理を部分信号に適用する。ピッチシフト処理によって、部分信号の周波数が、入力された対象音の周波数に対して整数分の１の周波数にシフトされる。
　例えば、対象音のメイン周波数が400Hz～4000Hzである場合、ピッチシフト部８１は、部分信号の周波数を40Hz～400Hzにシフトする。なお、人が触覚で感知することができる振動の周波数帯域に合わせて、部分信号の周波数がシフトされるようにしてもよい。例えば、周波数が500Hz～700Hz以下になるように、部分信号の周波数がシフトされる。
　なお、ピッチシフト部８１では、入力音の周波数帯域の解析結果に基づいて、入力音に含まれない周波数帯域に部分信号の周波数がシフトされるようにしてもよい。
　ピッチシフト処理適用後の部分信号は、乗算器８２に供給される。
　乗算器８２は、加算器６７から供給された合成信号と、ピッチシフト部８１から供給されたピッチシフト処理適用後の部分信号とを乗算し、振動信号を生成する。乗算器８２により生成された振動信号は、図２の振動制御部３４に供給される。
　以上のように、情報処理装置１は、振動信号の周波数を、入力された対象音の周波数からずらすことによって、入力音（対象音）に応じた振動の出力に際してハウリングの発生を抑制することが可能となる。
＜３．情報処理装置の動作＞
　ここで、以上のような構成を有する情報処理装置１の動作について説明する。
　まず、図８のフローチャートを参照して、情報処理装置１の処理について説明する。
　なお、図８に示される処理は、図３を参照して説明した信号処理部３２の構成、または図６を参照して説明した信号処理部３２の構成を用いて行われる。
　ステップＳ１において、音入力部３１は環境音を受け付け、入力音の音信号を取得する。
　ステップＳ２において、信号処理部３２は、対象音が入力音に含まれるか否かを判定する。
　対象音が入力音に含まれないとステップＳ１において判定された場合、処理は終了する。
　一方、対象音が入力音に含まれるとステップＳ１において判定された場合、対象音の部分信号が入力音から抽出され、処理はステップＳ３に進む。
　ステップＳ３において、振動信号生成部５３は、部分信号に振動信号生成フィルタ回路処理を適用し、振動信号を生成する。
　ステップＳ４において、振動制御部３４は、振動信号に基づいて振動デバイス１６を制御して、振動を出力（発生）させる。
　以上のように、情報処理装置１は、振動信号の周波数を、入力された対象音の周波数からずらすことによって、入力音（対象音）に応じた振動の出力に際してハウリングの発生を抑制することが可能となる。
　なお、情報処理装置１では、入力音に含まれる対象音の名称がディスプレイ１９に表示されるようにしてもよい。
　図９のフローチャートを参照して、ディスプレイ１９に対象音の種類を表示する情報処理装置１の処理について説明する。
　ステップＳ１１乃至Ｓ１４の処理は、図８のステップＳ１乃至Ｓ４の処理と同様である。すなわち、入力音に応じた振動信号が生成され、振動信号に基づいて振動が出力される。
　ステップＳ１４の処理が終了すると、処理はステップＳ１５に進められる。ステップＳ１５において、表示制御部３５は、対象音の名称をディスプレイ１９に表示させる。
　以上のように、ユーザは、情報処理装置１が振動によって通知を行っている対象音の名称を、ディスプレイ１９に表示された画像を見ることによって確認することが可能となる。
　なお、ディスプレイ１９への表示は、ユーザに対して対象音の名称等の情報を提示する方法の一例であり、他の提示方法を用いてもよい。例えば、情報処理装置１に設けられた発光装置が対象音の種類に応じた方法で発光することによって、対象音の種類がユーザに通知されるようにしてもよい。また、情報処理装置１に設けられた装置が対象音の種類に応じた匂いを出力することによって、対象音の種類がユーザに通知されるようにしてもよい。
＜４．ユーザが呼ばれたことを振動により通知する例＞
　情報処理装置１のユーザを呼ぶ音声が対象音として設定され、ユーザを呼ぶ音声に応じて情報処理装置１が振動してもよい。
　図１０は、ユーザを呼ぶ音声に応じて振動する情報処理装置１の機能構成例を示すブロック図である。
　図１０において、図２の情報処理装置１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１０に示す情報処理装置１には、図２を参照して説明した音入力部３１、信号処理部３２、波形記憶部３３、振動制御部３４、および表示制御部３５に加えて、音声解析部９１が設けられる。
　音声解析部９１には、信号処理部３２に供給される入力音の音信号と同じ音信号が音入力部３１から供給される。音声解析部９１は、音入力部３１から供給された入力音の音信号に対して音声解析処理を行う。音声解析処理により、入力音に含まれる音声が解析される。
　例えば、音声解析部９１は、「お母さん」などのユーザに対する呼称やユーザの名前などのユーザを呼ぶ音声が入力音に含まれるか否かを音声解析の結果に基づいて判定する。音声解析部９１には、ユーザに対する呼称やユーザの名前などがあらかじめ登録されている。なお、この音声解析処理では、統計的手法を用いた音声認識などの公知の技術を用いることができる。
　音声解析部９１は、ユーザを呼ぶ音声が入力音に含まれている場合、ユーザを呼ぶ音声のメイン周波数帯域を表す情報を信号処理部３２に供給する。
　信号処理部３２は、音声解析部９１から供給された情報に基づいて、音入力部３１から供給された入力音の音信号に所定の信号処理を適用して、ユーザを呼ぶ音声に応じた振動信号を生成する。
　ここで、図１１のフローチャートを参照して、以上のような構成を有する情報処理装置１が行う処理について説明する。
　ステップＳ５１の処理は、図８のステップＳ１の処理と同様である。すなわち、入力音の音信号が取得される。
　ステップＳ５１の処理が終了すると、処理はステップＳ５２に進められる。ステップＳ５２において、音声解析部９１は、入力音の音信号に対して音声解析処理を行う。
　ステップＳ５３において、音声解析部９１は、音声解析の結果に基づいて、ユーザの名前が呼ばれたか否かを判定する。ここでは、ユーザを呼ぶ音声が入力音に含まれていた場合、ユーザの名前が呼ばれたと判定される。
　ユーザの名前が呼ばれていないとステップＳ５３において判定された場合、処理は終了する。
　一方、ユーザの名前が呼ばれたとステップＳ５３において判定された場合、処理はステップＳ５４に進む。
　ステップＳ５４，Ｓ５５の処理は、図８のステップＳ３，Ｓ４の処理と同様である。すなわち、入力音に応じた振動信号が生成され、振動信号に基づいて振動が出力される。
　以上のように、ユーザは、自身が呼ばれたことを情報処理装置１の振動による通知によって、気づくことが可能となる。
＜５．ノイズキャンセルを行う例＞
　情報処理装置１では、環境音に含まれる雑音や、ユーザ自身の音声がキャンセルされた音信号を用いて、振動信号が生成されるようにしてもよい。
　図１２は、ノイズキャンセルを行う情報処理装置１の機能構成例を示すブロック図である。
　図１２において、図２の情報処理装置１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１２に示す情報処理装置１には、図２を参照して説明した音入力部３１、信号処理部３２、波形記憶部３３、振動制御部３４、および表示制御部３５に加えて、ノイズキャンセル部１０１が設けられる。
　ノイズキャンセル部１０１には、入力音の音信号が音入力部３１から供給される。ノイズキャンセル部１０１は、ユーザ自身の音声の周波数帯域の信号を入力音の音信号からキャンセルする。また、ノイズキャンセル部１０１は、常に音が鳴っているような雑音の周波数帯域の信号を入力音の音信号からキャンセルする。
　ユーザ自身の音声や雑音の周波数帯域の信号のキャンセルは、例えば、ユーザ自身の音声や雑音の周波数帯域をカットするバンドパスフィルタによって行われる。ユーザ自身の音声や雑音が抽出され、ユーザ自身の音声や雑音の逆位相の音信号を入力音の音信号に加算することによって、ユーザ自身の音声や雑音の周波数帯域の信号のキャンセルが行われるようにしてもよい。
　ノイズキャンセル部１０１によって、ユーザ自身の音声や雑音の周波数帯域の信号がキャンセルされた入力音の音信号は、信号処理部３２に供給される。
　信号処理部３２は、ノイズキャンセル部１０１から供給された入力音の音信号に所定の信号処理を適用することによって、入力音に応じた振動信号を生成する。
　ここで、図１３のフローチャートを参照して、以上のような構成を有する情報処理装置１の処理について説明する。
　ステップＳ１０１の処理は、図８のステップＳ１の処理と同様である。すなわち、入力音の音信号が取得される。
　ステップＳ１０１の処理が終了すると、処理はステップＳ１０２に進められる。ステップＳ１０２において、ノイズキャンセル部１０１は、ユーザ自身の音声の周波数帯域の信号を入力音の音信号からキャンセルする。
　ステップＳ１０３において、ノイズキャンセル部１０１は、常に音が鳴っている雑音の周波数帯域の信号を入力音の音信号からキャンセルする。
　ステップＳ１０４乃至Ｓ１０６の処理は、図８のステップＳ２乃至Ｓ４の処理と同様である。すなわち、入力音に応じた振動信号が生成され、振動信号に基づいて振動が出力される。
　以上のように、情報処理装置１は、ユーザ自身の音声や雑音を除いた入力音に応じて振動することが可能となる。
＜６．ユーザが気づくまで振動による通知を行う例＞
　振動による通知を終了する操作がユーザによって行われるまで、情報処理装置１によって振動による通知が続けられるようにしてもよい。ユーザは、例えば操作部２０を操作することによって、振動による通知を終了させることができる。
　図１４のフローチャートを参照して、ユーザが気づくまで振動による通知を行う情報処理装置１の処理について説明する。
　ステップＳ１５１乃至Ｓ１５４の処理は、図３のステップＳ１乃至Ｓ４の処理と同様である。すなわち、入力音に応じた振動信号が生成され、振動信号に基づいて振動が出力される。
　ステップＳ１５４の処理が終了すると、処理はステップＳ１５５に進められる。ステップＳ１５５において、振動制御部３４は、振動による通知を終了する操作が行われたか否かを判定し、振動による通知を終了する操作が行われたとステップＳ１５５と判定するまで、振動デバイス１６を振動させ続ける。
　ここでは、例えば、情報処理装置１に設けられたボタンが押下された場合、振動制御部３４は、振動による通知を終了する操作が行われたと判定する。また、例えば、情報処理装置１に設けられたタッチパネルがタップ操作された場合、振動制御部３４は、振動による通知を終了する操作が行われたと判定する。振動による通知を終了する操作は、あらかじめ設定される任意の操作である。
　一方、振動による通知を終了する操作が行われたとステップＳ１５５において判定された場合、処理は終了する。
　以上のように、情報処理装置１は、ユーザが気づくまで振動し続けることが可能となる。
＜７．他の実施の形態について＞
　上述したスマートフォンの他に、情報処理装置１は、タブレット端末、パーソナルコンピュータ（PC）、スマートウォッチなどのマイク機能と振動機能を有する各種のデバイスによって構成することができる。情報処理装置１の機能と同様の機能が、マイク機能と振動機能のそれぞれの機能を有する複数のデバイスが接続されたシステムによって実現されるようにしてもよい。
・スマートフォン、スマートウォッチ、スマートスピーカ
　図１５は、情報処理装置１を家で用いる場合の例を模式的に示す図である。
　図１５の下段の左側に示すように、電子レンジの音や赤ちゃんの泣き声などの音による通知が家の１階で行われているものとする。また、家の１階の環境音は、家の２階に届かないものとする。
　図１５の例においては、スマートフォン１１１－１、スマートウォッチ１１２、およびスマートスピーカ１１３が家の１階にあるものとされている。また、スマートフォン１１１－２が家の２階にあるものとされている。
　図１５に示すスマートフォン１１１－１やスマートウォッチ１１２は、マイク機能と振動機能を有する。また、マイク機能を有するスマートスピーカ１１３と、振動機能を有するスマートフォン１１１－２によって情報処理システムが構成される。
　例えば、情報処理装置１がスマートフォン１１１－１で構成される場合、家の１階にあるスマートフォン１１１－１は、家の１階の環境音を受け付け、電子レンジの音や赤ちゃんの泣き声に応じて振動する。スマートフォン１１１－１を手に持っているユーザは、スマートフォン１１１－１の振動を感知することによって、電子レンジが行っていた調理が終了したことや赤ちゃんが泣いていることに気づくことができる。
　また、情報処理装置１がスマートウォッチ１１２で構成される場合、家の１階にあるスマートウォッチ１１２は、家の１階の環境音を受け付け、電子レンジの音や赤ちゃんの泣き声に応じて振動する。スマートウォッチ１１２を身に着けているユーザは、スマートウォッチ１１２の振動を感知することによって、電子レンジが行っていた調理が終了したことや赤ちゃんが泣いていることに気づくことができる。
　情報処理装置１が上述した情報処理システムで構成される場合、家の１階にあるスマートスピーカ１１３は、家の１階の環境音を受け付け、取得した入力音の音信号を、家の２階にあるスマートフォン１１１－２に送信する。スマートフォン１１１－２は、スマートスピーカ１１３から送信されてきた入力音の音信号を受信し、電子レンジの音や赤ちゃんの泣き声に応じて振動する。家の２階にいてスマートフォン１１１－２を手に持っているユーザは、スマートフォン１１１－２の振動を感知することによって、１階で電子レンジが行っていた調理が終了したことや赤ちゃんが泣いていることに気づくことができる。
　なお、スマートスピーカ１１３によって生成された振動信号が、スマートフォン１１１－２に送信されるようにしてもよい。この場合、スマートフォン１１１－２は、スマートスピーカ１１３から送信されてきた振動信号に基づいて振動することになる。
・ベスト型
　ユーザが装着可能なベスト（ジャケット）形状の装着型装置として情報処理装置１が構成されるようにしてもよい。
　図１６は、装着型装置の外観の構成例を示す図である。
　図１６に示すように、装着型装置１２１は、装着型のベストで構成されており、その内部に破線で示すように、胸部から腹部あたりにかけて、振動デバイス１６－１Ｒ乃至１６－３Ｒと振動デバイス１６－１Ｌ乃至１６－３Ｌが左右対になって設けられる。振動デバイス１６－１Ｒ乃至１６－３Ｒと振動デバイス１６－１Ｌ乃至１６－３Ｌは、それぞれ同じタイミングで振動することもあれば、異なるタイミングで振動することもある。
　また、ベストの肩部には、マイクロフォン１２Ｒ，１２Ｌが左右対になって設けられる。
　振動デバイス１６－３Ｒの下には制御部１３１が設けられる。制御部１３１は、CPU１１、DSP/アンプ１５、バッテリなどにより構成される。制御部１３１は、装着型装置１２１の各部の制御を行う。
　例えば、装着型装置１２１は、サッカーの試合などが行われるスタジアムなどの屋外で使用される。装着型装置１２１は、環境音を受け付け、試合の観客の歓声に応じて振動する。例えば、所定の閾値以上の音圧の歓声が対象音として設定される。この場合、装着型装置１２１は、ゴールが決まった瞬間などの観客の歓声が大きいときだけ、観客の歓声に応じて振動することになる。なお、装着型装置１２１（の制御部１３１）により実行される処理の流れは、基本的に、図８のフローチャートに示した処理の流れと同様であるため、その説明は省略する。
　以上のように、装着型装置１２１を装着した観客は、観客の歓声に応じた振動によって、スタジアムの中の観客の熱や臨場感を楽しむことができる。この場合、聴覚障害のある観客だけでなく、健常者の観客も装着型装置１２１を装着することによって、スタジアムの中の臨場感をより高く感じることができる。また、観客の歓声に応じた振動の出力に際しては、ハウリングの発生を抑制することができる。
・クッション型
　ユーザが座る椅子の上に置かれるクッションとして情報処理装置１が構成されるようにしてもよい。
　図１７は、上面から見たクッションの外観の構成例を示す図である。
　図１７に示すように、略正方形のクッション１２２は、その内部の四隅に振動デバイス１６－１乃至１６－４が設けられる。振動デバイス１６－１乃至１６－４は、それぞれ同じタイミングで振動することもあれば、異なるタイミングで振動することもある。
　また、クッション１２２の右上の隅には、その内部にマイクロフォン１２が設けられる。
　クッション１２２の右側には、制御部１３１が設けられる。
　例えば、クッション１２２も、サッカーの試合などが行われるスタジアムなどの屋外で使用される。クッション１２２は、環境音を受け付け、試合の観客の歓声に応じて振動する。例えば、所定の閾値以上の音圧の歓声が対象音として設定される。この場合、クッション１２２は、ゴールが決まった瞬間などの観客の歓声が大きいときだけ、観客の歓声に応じて振動することになる。なお、クッション１２２（の制御部１３１）により実行される処理の流れは、基本的に、図８のフローチャートに示した処理の流れと同様であるため、その説明は省略する。
　以上のように、クッション１２２が置かれた椅子に座った観客は、観客の歓声に応じた振動によって、スタジアムの中の観客の熱や臨場感を楽しむことができる。この場合、聴覚障害のある観客だけでなく、健常者の観客もクッション１２２が置かれた椅子に座ることによって、スタジアムの中の臨場感をより高く感じることができる。また、観客の歓声に応じた振動の出力に際しては、ハウリングの発生を抑制することができる。
・床型（音楽体験）
　図１８は、音楽体験装置の外観の構成例を示す図である。
　図１８に示すように、マイク機能を有する制御装置１５１および振動機能を有する床１５２によって構成される音楽体験装置１４１として情報処理装置１が構成されるようにしてもよい。
　ユーザは、床１５２の上に乗り、音声を発したり、床１５２の上部に設置された太鼓Ｄを叩いたりすることによって音を鳴らすことになる。音楽体験装置１４１においては、ユーザの音声と太鼓Ｄの音が対象音として設定される。
　制御装置１５１は、マイクロフォン１２と制御部１３１により構成される。図１８においては、マイクロフォン１２と制御部１３１は、制御装置１５１の内部に設けられる。マイクロフォン１２は、制御装置１５１の外部に設けられるようにしてもよい。
　制御装置１５１は、環境音を受け付け、ユーザの音声や太鼓Ｄの音に応じた振動信号を生成し、床１５２に供給する。
　床１５２の中央には、その内部に振動デバイス１６が設けられる。振動デバイス１６は、制御装置１５１から供給された振動信号に基づいて振動する。なお、音楽体験装置１４１（の制御装置１５１）により実行される処理の流れは、基本的に、図８のフローチャートに示した処理の流れと同様であるため、その説明は省略する。
　床１５２の上に乗っているユーザは、自身や周りの人が発した音声や太鼓Ｄの音によって奏でられた音楽を、床１５２が出力する振動によって感じることが可能となる。また、音楽に応じた床１５２の振動に際しては、ハウリングの発生を抑制することができる。
・各機器のハードウェア構成
　図１９は、情報処理装置のハードウェア構成例を示すブロック図である。装着型装置１２１、クッション１２２、および音楽体験装置１４１は、いずれも図１９に示す構成を有する情報処理装置により実現される。
　図１９において、図１の情報処理装置１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１９に示す信号処理装置には、図１を参照して説明したマイクロフォン１２、CPU１１、およびDSP/アンプ１５に加えて、振動デバイス１６が複数設けられる。
　DSP/アンプ１５は、CPU１１から供給された振動信号を振動デバイス１６－１乃至１６－４のそれぞれに供給する。振動デバイス１６－１乃至１６－４に供給される振動信号は、同じ振動信号であってもよいし、異なる振動信号であってもよい。なお、情報処理装置に設けられる振動デバイス１６の数は１つまたは４つに限らず、任意の数とすることが可能である。
　振動デバイス１６－１乃至１６－４は、DSP/アンプ１５から供給された振動信号に基づいてそれぞれ振動する。
＜８．変形例＞
　なお、上述した説明では、信号処理部３２の機能の少なくとも一部が、CPU１１により所定のプログラムが実行されることで実現されるとしたが、信号処理部３２は、LSI(Large Scale Integration)などの集積回路として構成される信号処理装置であっても構わない。
　また、図３または図６を参照して説明した信号処理部３２の構成は一例であり、入力音に含まれる対象音の周波数と異なる周波数の振動を表す振動信号を生成可能な構成であれば、他の構成を用いても構わない。
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなるリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROMや記憶部に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する信号処理部を備える
　情報処理装置。
（２）
　前記信号処理部は、
　　前記入力音に含まれる、前記振動の対象となる音である対象音に対応する周波数帯域の信号である部分信号を、前記入力音の音信号から抽出し、
　　抽出した前記部分信号に対して所定の信号処理を適用することによって前記振動信号を生成する
　前記（１）に記載の情報処理装置。
（３）
　前記信号処理は、アタック音が抽出される音圧変化検出処理と余韻が抽出される余韻検出処理との適用、および前記音圧変化検出処理の結果と前記余韻検出処理の結果との合成を含む
　前記（２）に記載の情報処理装置。
（４）
　前記信号処理は、前記対象音の前記アタック音に対応付けられた信号と、前記音圧変化検出処理の結果との乗算、および前記対象音の前記余韻に対応付けられた信号と、前記余韻検出処理の結果との乗算を含む
　前記（３）に記載の情報処理装置。
（５）
　前記信号処理は、前記部分信号の周波数がシフトされるピッチシフト処理、および前記音圧変化検出処理の結果と余韻検出処理の結果との合成結果と、前記ピッチシフト処理の結果との乗算を含む
　前記（３）に記載の情報処理装置。
（６）
　前記ピッチシフト処理は、前記部分信号の周波数が、元の周波数の整数分の１の周波数にシフトされる処理を含む
　前記（５）に記載の情報処理装置。
（７）
　前記信号処理部は、
　　事前に登録された音データに基づいて前記入力音に含まれる前記対象音を判定し、
　　判定した前記対象音に対応する周波数帯域の部分信号を、前記入力音の音信号から抽出する
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記対象音は、ユーザに対して通知を行う音を含む
　前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記信号処理部は、
　　ユーザの特性に基づいた周波数帯域の信号を前記入力音の音信号から抽出し、
　　抽出した信号から前記部分信号を抽出する
　前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　外部からの前記入力音を音信号に変換する音入力部をさらに備える
　前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　外部の装置から送信されてきた前記入力音の音信号を受信する通信部をさらに備え、
　前記信号処理部は、受信した前記入力音の音信号から前記部分信号を抽出する
　前記（２）乃至（９）のいずれかに記載の情報処理装置。
（１２）
　前記入力音に含まれる前記対象音を表す情報を表示させる表示制御部をさらに備える
　前記（２）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記信号処理部は、前記音信号に対してユーザの音声の周波数帯域の信号と、雑音の周波数帯域の信号とをキャンセルし、前記信号処理を行う
　前記（２）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記信号処理部は、
　　前記入力音に含まれる音声を解析し、
　　前記解析の結果に基づいて前記振動信号を生成する
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記振動信号が表す前記振動を振動装置に出力させる制御部をさらに備える
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記制御部は、ユーザの操作に応じて前記振動の出力を停止させる
　前記（１５）に記載の情報処理装置。
（１７）
　前記振動装置は、複数設けられる
　前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記信号処理部は、閾値以上の音圧を有する入力音に応じた振動信号を生成する
　前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する
　情報処理方法。
（２０）
　コンピュータに、
　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する
　処理を実行させるためのプログラム。
　１　情報処理装置，　１１　CPU，　１２　マイクロフォン，　１３　通信部，　１４　記憶部，　１５　DSP/アンプ，　１６　振動デバイス，　１７　スピーカ/外部出力部，　１８　GPU，　１９　ディスプレイ，　３１　音入力部，　３２　信号処理部，　３３　波形記憶部，　３４　振動制御部，　３５　表示制御部，　５１，５２ａ，５２ｂ　バンドパスフィルタ，　５３　振動信号生成部，　１１１－１，１１１－２　スマートフォン，　１１２　スマートウォッチ，　１１３　スマートスピーカ，　１２１　装着型装置，　１２２　クッション，　１３１　制御部，　１４１　音楽体験装置，　１５１　制御装置

Claims (20)

  1. 　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する信号処理部を備える
    　情報処理装置。
  2. 　前記信号処理部は、
    　　前記入力音に含まれる、前記振動の対象となる音である対象音に対応する周波数帯域の信号である部分信号を、前記入力音の音信号から抽出し、
    　　抽出した前記部分信号に対して所定の信号処理を適用することによって前記振動信号を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記信号処理は、アタック音が抽出される音圧変化検出処理と余韻が抽出される余韻検出処理との適用、および前記音圧変化検出処理の結果と前記余韻検出処理の結果との合成を含む
    　請求項２に記載の情報処理装置。
  4. 　前記信号処理は、前記対象音の前記アタック音に対応付けられた信号と、前記音圧変化検出処理の結果との乗算、および前記対象音の前記余韻に対応付けられた信号と、前記余韻検出処理の結果との乗算を含む
    　請求項３に記載の情報処理装置。
  5. 　前記信号処理は、前記部分信号の周波数がシフトされるピッチシフト処理、および前記音圧変化検出処理の結果と余韻検出処理の結果との合成結果と、前記ピッチシフト処理の結果との乗算を含む
    　請求項３に記載の情報処理装置。
  6. 　前記ピッチシフト処理は、前記部分信号の周波数が、元の周波数の整数分の１の周波数にシフトされる処理を含む
    　請求項５に記載の情報処理装置。
  7. 　前記信号処理部は、
    　　事前に登録された音データに基づいて前記入力音に含まれる前記対象音を判定し、
    　　判定した前記対象音に対応する周波数帯域の部分信号を、前記入力音の音信号から抽出する
    　請求項５に記載の情報処理装置。
  8. 　前記対象音は、ユーザに対して通知を行う音を含む
    　請求項２に記載の情報処理装置。
  9. 　前記信号処理部は、
    　　ユーザの特性に基づいた周波数帯域の信号を前記入力音の音信号から抽出し、
    　　抽出した信号から前記部分信号を抽出する
    　請求項２に記載の情報処理装置。
  10. 　外部からの前記入力音を音信号に変換する音入力部をさらに備える
    　請求項２に記載の情報処理装置。
  11. 　外部の装置から送信されてきた前記入力音の音信号を受信する通信部をさらに備え、
    　前記信号処理部は、受信した前記入力音の音信号から前記部分信号を抽出する
    　請求項２に記載の情報処理装置。
  12. 　前記入力音に含まれる前記対象音を表す情報を表示させる表示制御部をさらに備える
    　請求項２に記載の情報処理装置。
  13. 　前記信号処理部は、前記音信号に対してユーザの音声の周波数帯域の信号と、雑音の周波数帯域の信号とをキャンセルし、前記信号処理を行う
    　請求項２に記載の情報処理装置。
  14. 　前記信号処理部は、
    　　前記入力音に含まれる音声を解析し、
    　　前記解析の結果に基づいて前記振動信号を生成する
    　請求項１に記載の情報処理装置。
  15. 　前記振動信号が表す前記振動を振動装置に出力させる制御部をさらに備える
    　請求項１に記載の情報処理装置。
  16. 　前記制御部は、ユーザの操作に応じて前記振動の出力を停止させる
    　請求項１５に記載の情報処理装置。
  17. 　前記振動装置は、複数設けられる
    　請求項１５に記載の情報処理装置。
  18. 　前記信号処理部は、閾値以上の音圧を有する入力音に応じた振動信号を生成する
    　請求項１に記載の情報処理装置。
  19. 　情報処理装置が、
    　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する
    　情報処理方法。
  20. 　コンピュータに、
    　外部からの入力音に応じた振動の出力に際し、前記入力音の周波数と異なる周波数の前記振動を表す振動信号を生成する
    　処理を実行させるためのプログラム。
PCT/JP2020/035400 2019-10-04 2020-09-18 情報処理装置、情報処理方法、およびプログラム WO2021065560A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/754,181 US11942108B2 (en) 2019-10-04 2020-09-18 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-183474 2019-10-04
JP2019183474 2019-10-04

Publications (1)

Publication Number Publication Date
WO2021065560A1 true WO2021065560A1 (ja) 2021-04-08

Family

ID=75338009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035400 WO2021065560A1 (ja) 2019-10-04 2020-09-18 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11942108B2 (ja)
WO (1) WO2021065560A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405660B2 (ja) * 2020-03-19 2023-12-26 Ｌｉｎｅヤフー株式会社 出力装置、出力方法及び出力プログラム
JP7545340B2 (ja) * 2021-01-28 2024-09-04 株式会社東海理化電機製作所 制御装置およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10214A (ja) * 1996-04-19 1998-01-06 Kenji Takahashi 音響識別装置
JP2001095098A (ja) * 1999-09-27 2001-04-06 Harada Denshi Kogyo Kk 体感補聴器
JP2002064895A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理方法、装置及びプログラム記録媒体
JP2009094561A (ja) * 2007-10-03 2009-04-30 Panasonic Corp 音響再生装置、音響再生システム、および音響再生方法
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3280336B2 (ja) 1999-02-24 2002-05-13 東海技研株式会社 聴覚補助装置
US8582754B2 (en) * 2011-03-21 2013-11-12 Broadcom Corporation Method and system for echo cancellation in presence of streamed audio
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR102195897B1 (ko) * 2013-06-05 2020-12-28 삼성전자주식회사 음향 사건 검출 장치, 그 동작 방법 및 그 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
US9870719B1 (en) * 2017-04-17 2018-01-16 Hz Innovations Inc. Apparatus and method for wireless sound recognition to notify users of detected sounds
US10620704B2 (en) * 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
JP7262314B2 (ja) * 2019-06-05 2023-04-21 フォルシアクラリオン・エレクトロニクス株式会社 振動出力装置および振動出力用プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10214A (ja) * 1996-04-19 1998-01-06 Kenji Takahashi 音響識別装置
JP2001095098A (ja) * 1999-09-27 2001-04-06 Harada Denshi Kogyo Kk 体感補聴器
JP2002064895A (ja) * 2000-08-22 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 信号処理方法、装置及びプログラム記録媒体
JP2009094561A (ja) * 2007-10-03 2009-04-30 Panasonic Corp 音響再生装置、音響再生システム、および音響再生方法
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法

Also Published As

Publication number Publication date
US20220293126A1 (en) 2022-09-15
US11942108B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
JP6604376B2 (ja) 信号処理装置、信号処理方法、及びプログラム
WO2021065560A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017134973A1 (ja) 音響出力装置、音響出力方法、プログラム、音響システム
US10638223B2 (en) Information processing method and device
JP7347421B2 (ja) 情報処理装置、情報処理方法及びプログラム
TWM519370U (zh) 具有可依據聽力生理狀況調整等化器設定之電子裝置及聲音播放裝置
US12035123B2 (en) Impulse response generation system and method
JP6977768B2 (ja) 情報処理装置、情報処理方法、音声出力装置、および音声出力方法
US12075234B2 (en) Control apparatus, signal processing method, and speaker apparatus
EP3361476B1 (en) Signal processing device, signal processing method, and computer program
JP6897565B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
TWM486220U (zh) 家庭劇院與卡拉ｏｋ整合系統
JP2023065046A (ja) 情報処理装置、情報処理システムおよび情報処理方法
TW200524557A (en) Action seating
JP2018064216A (ja) 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム
KR20140006424A (ko) 음원기반 체감진동 구현방법
JP2017168887A (ja) 音響再生装置、音響再生方法、及びプログラム
JP2009193031A (ja) 音声信号変換装置、音声信号変換方法、制御プログラム、および、コンピュータ読み取り可能な記録媒体
WO2018088210A1 (ja) 情報処理装置および方法、並びにプログラム
Conejo Wireless hearing aids for a theater show in costa rica: System design for 96 spectators
WO2023084933A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5224613B2 (ja) 音場補正システム及び音場補正方法
JP2019016851A (ja) 音声処理装置、音声処理方法、及びプログラム
CN111973343B (zh) 产生减缓耳鸣影响声音的方法及执行该方法的耳鸣遮蔽器
JP2012194295A (ja) 音声出力システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871055

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP