WO2018079846A1 - 信号処理装置、信号処理方法およびプログラム - Google Patents

信号処理装置、信号処理方法およびプログラム Download PDF

Info

Publication number
WO2018079846A1
WO2018079846A1 PCT/JP2017/039377 JP2017039377W WO2018079846A1 WO 2018079846 A1 WO2018079846 A1 WO 2018079846A1 JP 2017039377 W JP2017039377 W JP 2017039377W WO 2018079846 A1 WO2018079846 A1 WO 2018079846A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal processing
unit
information
content
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/039377
Other languages
English (en)
French (fr)
Inventor
雄太 湯山
康平 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2018547227A priority Critical patent/JP6798561B2/ja
Publication of WO2018079846A1 publication Critical patent/WO2018079846A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • A61B5/0245—Measuring pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/04—Circuits for transducers for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to a signal processing device, a signal processing method, and a program for performing various signal processing on an audio signal.
  • Patent Document 1 discloses a configuration in which information related to a user is detected by a sensor, music corresponding to the situation is selected, and playback is started.
  • Patent Document 2 discloses a configuration in which a user's moving speed is detected by a sensor to change the playback music speed.
  • the user may want to change the contents of the signal processing (for example, presence or absence of sound field support, strength of sound field support, or adjustment of frequency characteristics) according to his / her state.
  • an object of the present invention is to provide a signal processing device, a signal processing method, and a program that can perform signal processing suitable for the current state.
  • the signal processing apparatus of the present invention includes an information acquisition unit, a state determination unit, an input unit, and a signal processing unit.
  • the information acquisition unit acquires biological information and environmental information.
  • the state determination unit determines a current state based on the biological information and the environment information acquired by the information acquisition unit.
  • the input unit inputs an audio signal.
  • the signal processing unit performs signal processing on the audio signal input to the input unit according to the determination result of the state determination unit.
  • the signal processing apparatus of the present invention can perform signal processing suitable for the current state.
  • FIG. 12 is a block diagram illustrating a configuration of a signal processing device according to an application example 1.
  • FIG. 12 is a flowchart showing an operation of the signal processing apparatus according to the application example 1.
  • It is a figure which shows the relationship between the present state and signal processing. 12 is a flowchart illustrating an operation of a signal processing device according to an application example 2.
  • FIG. It is a figure which shows the relationship between the present state and signal processing. It is a block diagram which shows the structure of the signal processing apparatus which concerns on the application example 3.
  • FIG. It is a flowchart which shows operation
  • FIG. It is a block diagram which shows the structure of the signal processing apparatus 1E. It is a figure which shows an example of GUI.
  • FIG. 1 is a schematic diagram (top view) showing an audio signal processing system.
  • FIG. 2 is a block diagram showing the configuration of the signal processing apparatus 1.
  • FIG. 3 is a flowchart showing the operation of the signal processing apparatus 1.
  • the audio signal processing system includes a signal processing device 1, a headphone unit 2L, and a headphone unit 2R.
  • the signal processing apparatus 1 includes an input interface (I / F) 11, a signal processing unit 12, an output interface (I / F) 13, a control unit 14, and a storage unit 15.
  • the signal processing device 1 may be a dedicated headphone unit (portable amplifier or portable music playback device), but may also be a general information processing device (for example, a smartphone).
  • Each component in the signal processing device 1 may be hardware, but may be configured by the function of the control unit 14.
  • the control unit 14 is hardware called an IC, CPU, MPU, LSI, or microcontroller.
  • the control unit 14 can implement each configuration by software by executing a program stored in the storage unit 15.
  • the storage unit 15 is a memory (storage medium) that stores a program.
  • the storage unit 15 is hardware called HDD, SSD, flash memory, EEPROM, or the like.
  • the input I / F 11 functionally includes an input unit 101 and an information acquisition unit 102.
  • the input unit 101 inputs an audio signal from another device such as an audio player or the storage unit 15 of the own device.
  • the input audio signal is input to the signal processing unit 12.
  • the input audio signal may be an analog signal or a digital signal.
  • the input unit 101 may input content data.
  • the signal processing unit 12 decodes the content data to generate an audio signal.
  • the signal processing unit 12 is composed of, for example, a DSP (Digital Signal Processor).
  • the signal processing unit 12 performs various signal processing on the input audio signal.
  • the signal processing unit 12 can also be realized by a program executed by the control unit 14.
  • the information acquisition unit 102 acquires various types of information from the sensor or another device including the sensor (s11). Various types of information include biological information and environmental information.
  • the biological information is information related to the user's biological body such as heart rate, body temperature, or moving state (acceleration).
  • the heart rate is acquired by a blood vessel image change by a heart rate sensor or a camera.
  • the body temperature is acquired by a temperature sensor.
  • the acceleration is acquired by an acceleration sensor.
  • the environmental information is, for example, weather, temperature, humidity, brightness, wind strength, smell, position, or surrounding image.
  • the weather is acquired from the weather information server.
  • the air temperature is acquired by a temperature sensor.
  • Humidity is acquired by a humidity sensor.
  • the brightness is acquired by an illuminance sensor.
  • the wind strength is acquired from a wind pressure sensor or a weather information server.
  • the odor is acquired by an odor sensor.
  • the position is acquired by a position information acquisition sensor such as GPS.
  • a surrounding image is acquired by a camera.
  • the state determination unit 141 is a function realized by a program executed by the control unit 14.
  • the state determination unit 141 determines the current state based on the input biological information and environment information (s12).
  • the current state indicates the user's own state. For example, the state determination unit 141 has a strong positive state (positive state) when the information on the input biological information has a high heart rate and the weather information is clear as environmental information. Judge that there is.
  • control part 14 determines the content of the signal processing in the signal processing part 12 according to the determination result of the state determination part 141 (s13).
  • the signal processing unit 12 performs signal processing on the input audio signal according to the determination result of the state determination unit 141 (s14).
  • the signal processing unit 12 performs various types of signal processing including sound source localization processing, sound field support processing, noise removal processing, frequency characteristic adjustment processing, and the like.
  • the sound source localization processing is performed, for example, by adding a head related transfer function (HRTF) so that the sound image is localized at a predetermined sound source position.
  • HRTF head related transfer function
  • the signal processing unit 12 may perform localization processing by controlling delay and gain with a delay unit and a gain control unit (not shown).
  • the signal processing unit 12 can control the sense of direction of the sound source by adjusting the volume balance of the audio signals supplied to the headphone unit 2L and the headphone unit 2R. For example, when exactly the same sound is input to the headphone unit 2L and the headphone unit 2R, the sound source is localized in the head of the user.
  • the signal processing unit 12 can cause the listener to perceive sound as if sound is generated from a speaker at a virtually distant position by giving a delay to the audio signal and reducing the level. In this way, the signal processing unit 12 controls the time difference and the level difference in the respective audio signals supplied to the headphone unit 2L and the headphone unit 2R, so that the sound source is virtually localized at a predetermined position around the listener. Can be made.
  • HRTF is an impulse response that expresses the difference in sound volume, arrival time, and frequency characteristics from the virtual speaker installed at a certain position to the left and right ears.
  • the signal processing unit 12 imparts to the audio signal HRTFs that localize the virtual speaker VR ⁇ b> 1 positioned in the front right and the virtual speaker VL ⁇ b> 1 positioned in the front left.
  • the user can perceive that the sound related to the content is being output from the sound source at the position of the virtual speaker VR1 and the virtual speaker VL1.
  • FIG. 5 is a block diagram showing a functional configuration of the signal processing unit 12.
  • the signal processing unit 12 includes a filter 121L, a filter 121R, a filter 122L, a filter 122R, an adder 123L, and an adder 123R.
  • the filter 121L adds the HRTF of the path from the virtual speaker VL1 to the left ear to the audio signal of the left channel (Lch).
  • the filter 121R adds the HRTF in the path from the virtual speaker VL1 to the right ear to the audio signal of the left channel (L ch).
  • the filter 122L adds the HRTF of the path from the virtual speaker VR1 to the left ear to the audio signal of the right channel (L ch).
  • the filter 122R adds the HRTF of the path from the virtual speaker VR1 to the right ear to the audio signal of the right channel (R ch).
  • the adder 123L synthesizes the output signals of the filter 121L and the filter 122L.
  • the adder 123R combines the output signals of the filter 121R and the filter 122R.
  • the output signal of the adder 123L is output from the output unit 13 to the headphone unit 2L. Thereby, the L channel audio signal is input to the headphone unit 2L.
  • the output signal of the adder 123R is output from the output unit 13 to the headphone unit 2R. Thereby, the R channel audio signal is input to the headphone unit 2R.
  • the user can perceive as if the sound related to the content is output from the sound source at the position of the virtual speaker VL1 and the virtual speaker VR1.
  • the sound field support process is a process of providing a pseudo indirect sound that simulates an indirect sound (reflected sound and reverberant sound) in a predetermined sound field environment (concert hall, lounge, studio, etc.).
  • a process of assigning a head related transfer function (HRTF) is performed so that a sound image is localized at a plurality of sound source positions corresponding to each reflected sound.
  • HRTF head related transfer function
  • the signal processing unit 12 localizes the sound source at a plurality of positions (VRI in the figure) around the listener.
  • the signal processing unit 12 assigns HRTFs for paths from a plurality of sound source positions VRI to the left ear and the right ear, corresponding to the reflected sound (impulse response) in a predetermined sound field environment, to the input audio signal. To do.
  • the signal processing unit 12 forms a predetermined sound field space (Room) around the user as shown in FIG. In this case, the signal processing unit 12 combines the L channel audio signal and the R channel audio signal into a monaural signal.
  • the signal processing unit 12 gives HRTF to the monaural signal.
  • the filter 121L (or the filter 122L) gives the monaural signal HRTFs of paths from a plurality of sound source positions corresponding to each indirect sound generated by the Room to the left ear. Further, the filter 121R (or the filter 122R) adds an HRTF of a route from a plurality of sound source positions corresponding to each indirect sound generated by the Room to the right ear to the monaural signal. Thereby, the signal processing part 12 can perform sound field support which provides a predetermined sound field environment around a user.
  • the control part 14 determines the content of the signal processing in the signal processing part 12 according to the determination result of the state determination part 141 (s13).
  • the contents of the signal processing are, for example, the size of the space in the sound field support (Room Size) and the level of the reflected sound in the sound field support.
  • the presence or absence of a high-frequency cut (LPF) in the adjustment of the frequency characteristics or the change of the cutoff frequency of the LPF is also included in the contents of the signal processing.
  • switching of the sound field environment to be simulated is also included in the contents of the signal processing. When the sound field environment to be simulated is switched, the Room Size and the level of the reflected sound are also changed.
  • control unit 14 performs the localization in the head without performing the localization process, the localization in the predetermined position in front of the user as shown in FIG. 4, and the localization in the further distant position. Switch.
  • Room Size affects the position of reflected sound or the length of reverberant sound.
  • the larger the Room Size the farther the position of the reflected sound is, or the longer the reverberant sound, the more the sound field environment in a large space is simulated.
  • the smaller the Room Size the closer the position of the reflected sound becomes, or the shorter the reverberant sound, the more the sound field environment in a small space is simulated.
  • the higher the level of the reflected sound the stronger the reverberation, thus expressing a flashy sound field environment.
  • the lower the level of the reflected sound the weaker the sound, so that a calm sound field environment is expressed.
  • a calm sound field environment is expressed when the high range is cut by the LPF, a calm sound field environment is expressed.
  • the lower the LPF cutoff frequency the higher the high frequency components that are cut, so that a more calm sound field environment is expressed.
  • FIG. 6 is a diagram illustrating a relationship between the current state determined by the state determination unit 141 and signal processing.
  • the horizontal axis of the graph shown in the example of FIG. 6 corresponds to biological information
  • the vertical axis corresponds to environmental information.
  • the state determination unit 141 determines the current state depending on which region the biological information and environment information belong to. For example, when the heart rate is equal to or higher than a predetermined value, the state determination unit 141 determines that the biological information is positive (positive), and when the heart rate is less than the predetermined value, the biological information is negative (negative). Further, the state determination unit 141 determines that the environmental information is positive when the weather is clear, and is negative when the weather is cloudy or rainy.
  • the state determination unit 141 may determine that the biological information is positive when the acceleration obtained from the acceleration sensor is greater than or equal to a predetermined value and negative when the acceleration is less than the predetermined value. In addition, the state determination unit 141 may determine that the environmental information is positive when the temperature is equal to or higher than a predetermined value and is negative when the temperature is lower than the predetermined value. In addition, the state determination unit 141 may determine that the environmental information is positive when the brightness (illuminance) is greater than or equal to a predetermined value and negative when the environmental information is less than the predetermined value. In addition, the state determination unit 141 may determine that the environmental information is negative when the humidity is equal to or higher than a predetermined value and is positive when the humidity is lower than the predetermined value.
  • the state determination unit 141 may determine whether the biological information is positive or negative using a plurality of biological information (heart rate and acceleration). Moreover, the state determination part 141 may determine whether environmental information is positive or negative using several environmental information (weather, temperature, and brightness). In addition, the state determination part 141 may set the contribution rate of each information, when using several biological information or environmental information. For example, when the contribution ratio of the weather is 40%, the contribution ratio of the temperature is 30%, the contribution ratio of the brightness is 20%, and the contribution ratio of the humidity is 10%, the brightness and the humidity are Even if it is positive, if the weather and temperature are negative, it is determined that the environmental information is negative.
  • the control unit 14 determines the content of the signal processing based on the current state determined by the state determination unit 141 (which region each of the biological information and the environment information belongs to). For example, when both the biological information and the environment information are positive, the control unit 14 determines the content that reduces the room size, reduces the reflected sound level, and cuts the high frequency with the LPF. On the other hand, when both the biological information and the environment information are negative, the control unit 14 determines the contents for increasing the Room Size, increasing the reflected sound level, and turning off the LPF. When the biological information is negative and the environmental information is positive, the control unit 14 increases the Room Size, sets the reflected sound level to a medium level, and determines the content to turn off the LPF.
  • the control unit 14 determines the content that the Room Size is medium, the reflected sound level is medium, and the high frequency is cut by the LPF. In this example, the control unit 14 increases the contribution rate of the biological information. That is, when the biological information is positive, the content represents a relatively calm sound field environment even if the environmental information is negative.
  • control unit 14 may be configured to express a relatively calm sound field environment when only the environmental information is negative and the biological information is positive. Further, in this example, the control unit 14 produces an effect of calming the user's feeling as a content expressing a relatively calm sound field environment when the current state is positive, and the current state is negative. As a content that expresses a flashy sound field environment, the effect of lifting the user's feeling is generated. However, conversely, if the current state is negative, the content may be a relatively calm sound field environment, and if the current state is positive, the content may be a flashy sound field environment. .
  • control unit 14 changes the strength of the sound field support according to the numerical values of the biological information and the environment information. For example, the control unit 14 increases the Room Size as the heart rate increases, or increases the level of reflected sound as the temperature increases.
  • control unit 14 may change the sound source localization process based on the current state determined by the state determination unit 141 (which region each of the biological information and the environment information belongs to). For example, when both the biological information and the environment information are negative, the control unit 14 determines that the user is feeling stressed and localizes the sound source to a distant position, thereby calming the user's feelings. Produces an effect. On the other hand, when both the biological information and the environment information are positive, the sound source is localized in the head without performing the HRTF process so that the user can easily concentrate on the sound of the content. Further, when one of the biological information and the environment information is positive and the other is negative, as shown in FIG. 4, the sound source is localized in front of the user.
  • the signal processing apparatus 1 performs signal processing suitable for the current user state.
  • the signal processing apparatus 1 determines the content of signal processing in consideration of not only biological information such as heart rate but also surrounding environmental information such as weather or temperature as a user's state. Signal processing according to the user's condition can be performed with higher accuracy.
  • FIG. 7 is a block diagram showing the configuration of the signal processing apparatus 1A according to the application example 1.
  • FIG. 7 the same components as those in the block diagram of the signal processing device 1 shown in FIG.
  • FIG. 8 is a flowchart showing the operation of the signal processing apparatus 1A according to the first application example. In FIG. 8, the same operations as those in the flowchart of FIG.
  • the signal processing apparatus 1A includes a user I / F 16.
  • the user I / F 16 is realized as a display device including a touch panel, for example.
  • FIG. 9 is a diagram illustrating an example of accepting a correction operation for correcting a signal processing parameter via the user I / F 16.
  • the user I / F 16 corresponds to a reception unit that receives a correction operation for correcting a signal processing parameter.
  • a fader is displayed as a mode for accepting a correction operation.
  • the user corrects the parameters of the signal processing by moving the fader up and down.
  • the control unit 14 confirms whether or not a correction operation has been accepted (s21), and if the correction operation has been accepted, corrects the signal processing parameters.
  • the control unit 14 determines the content that the Room Size is medium, the reflected sound level is medium, and the high frequency is cut by the LPF. (S13).
  • the control unit 14 corrects the parameters of the signal processing according to the received correction operation ( s22). For example, in FIG. 9, the user moves the fader up to perform a correction operation that increases signal processing. In this case, the control unit 14 corrects the signal processing parameters so as to express a more flashy sound field environment.
  • the control unit 14 corrects the content so that the Room Size is increased, the reflected sound level is increased, and the LPF is turned off. That is, in the example of FIG. 9, the control unit 14 represents a sound field environment corresponding to a more negative state than the current state determined by the state determination unit 141.
  • the graph of FIG. 9 corresponds to a case where both biological information and environmental information are corrected to the negative side. Also, if the user moves the fader down and performs a correction operation that weakens the signal processing, the control unit 14 corresponds to a more positive state than the current state determined by the state determination unit 141.
  • Express the sound field environment For example, the control unit 14 corrects the room size to be small, the reflected sound level is low, and the LPF is turned on.
  • FIG. 10 is a flowchart showing the operation of the signal processing apparatus 1B according to the application example 2.
  • the hardware of the signal processing device 1B according to the application example 2 has the same configuration as that of the signal processing device 1A illustrated in FIG.
  • FIG. 10 the same operations as those in the flowchart of FIG.
  • FIG. 11 is a diagram illustrating the relationship between the current state and signal processing in Application Example 2.
  • the user I / F 16 in this example, a display device including a touch panel, for example
  • an FB (feedback) button a HOLD (hold) button
  • the control unit 14 fixes the content of the signal processing without changing it even if the user's state changes.
  • the signal processing apparatus 1B further checks whether or not an FB (feedback) operation has been received after receiving a correction operation from the user (s23).
  • the control unit 14 stores the correction amount of the correction operation received from the user in the storage unit 15 (s24). For example, as shown in FIG. 11, when the sound field effect strength determined according to the current state is “ ⁇ 4”, the user strongly corrects the sound field support effect to “+8”.
  • the control unit 14 stores the correction amount as “+12” in the storage unit 15. Then, the next time when the content of the signal processing is determined according to the current state, the control unit 14 determines whether or not the FB button has been touched (s25), and if the FB button has been touched, the memory is stored.
  • the correction amount (first correction amount) stored in the unit 15 is read (s26).
  • the control unit 14 calculates the current correction amount (second correction amount) using the read first correction amount (s27). For example, as described above, when “+12” is stored as the first correction amount, the control unit 14 further multiplies the read first correction amount by a predetermined coefficient (for example, 0.8), A second correction amount of “+10” is calculated. Then, the control unit 14 corrects the parameter of the signal processing using the calculated second correction amount (s28). For example, when the intensity of the sound field effect determined according to the current state is “ ⁇ 4”, the calculated second correction amount “+10” is used and the intensity of the sound field effect is “+6”. To decide.
  • the signal processing device 1B determines the content of the signal processing reflecting the user's state and reflects the content of the user's correction operation. Therefore, the signal processing device 1B can perform signal processing more in accordance with the user's intention.
  • FIG. 12 is a block diagram showing a configuration of a signal processing device 1C according to Application Example 3.
  • the same components as those of the signal processing device 1B of FIG. 7 are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 13 is a flowchart showing the operation of the signal processing apparatus 1C.
  • the signal processing apparatus 1 ⁇ / b> C according to Application Example 3 includes a selection unit 142 functionally.
  • the selection unit 142 is realized by a program executed by the control unit 14.
  • the selection unit 142 selects content to be played back. That is, in the above example, the content to be played is manually specified by the user. However, in the application example 3, after the content of the signal processing is determined (s13), the content of the determined signal processing is changed. A suitable content is automatically selected (s31). For example, when the control unit 14 determines that the user is in a calm state and determines a calm sound field effect, the selection unit 142 selects content in a calm genre such as a jazz or classic genre. . In addition, when the control unit 14 determines a calm sound field effect, the selection unit 142 selects a content with a low performance tempo or a small amount of sound information (such as a large number of musical instruments). Good.
  • the selection unit 142 selects content of a genre such as rock. In addition, when the strong sound field effect is determined, the selection unit 142 may select content with a high performance tempo and a large amount of sound information.
  • the control unit 14 When the content selected by the selection unit 142 is stored in the storage unit 15 of the own device, the control unit 14 reads the content from the storage unit 15 and causes the signal processing unit 12 to perform a reproduction process. When the content selected by the selection unit 142 is not stored in the storage unit 15 of the own device, the control unit 14 acquires the content from another device via the input unit 101.
  • the user since the content to be played is automatically selected according to the user's state, the user is not required to select the content. For example, if a user drinks coffee at a cafe and is in a calm environment, a calm sound field environment such as a lounge is automatically reproduced, and contents in a calm genre such as a jazz or classic genre are automatically selected Is done.
  • FIG. 14 is a block diagram showing a configuration of a signal processing device 1D according to Application Example 4. Components that are the same as those in FIG. 12 are given the same reference numerals, and descriptions thereof are omitted.
  • the signal processing device 1D includes a first sensor 171 and a second sensor 172.
  • the first sensor 171 detects biological information.
  • the second sensor 172 detects environmental information.
  • the information acquisition unit 102 acquires biological information from the first sensor 171 and acquires environmental information from the second sensor 172.
  • the biological information or the environmental information may be detected by a sensor provided in the own device.
  • the biological information is information related to the user's biological body such as heart rate, body temperature, or moving state (acceleration).
  • the first sensor 171 is, for example, a heart rate sensor, a camera, a temperature sensor, or an acceleration sensor.
  • the environmental information is, for example, weather, temperature, humidity, brightness, wind strength, smell, position, or surrounding image.
  • the second sensor 172 is, for example, a temperature sensor, a humidity sensor, an illuminance sensor, a position information acquisition sensor, or an odor sensor.
  • the state determination unit 141 can acquire the surrounding environment (weather, brightness, position, etc.) by analyzing the surrounding image acquired by the camera. Therefore, the camera is also an example of the second sensor 172.
  • the state determination part 141 can also acquire surrounding environmental information by analyzing the surrounding sound acquired with the microphone. For example, the state determination unit 141 can determine that the weather is rain when the rain sound is acquired. Therefore, the microphone is also an example of the second sensor 172. When the sound acquired by the microphone is a noise sound such as a crowd, the control unit 14 may perform noise removal processing as the content of the signal processing.
  • the state determination unit 141 is an acceleration sensor, determines that the user is running, and further estimates the user's mood according to the running pitch. When the traveling pitch is fast, it is estimated that the user is in an excited state. When the running pitch is slow, it is estimated that the user is in a calm state. For example, when the selection unit 17 is in an excited state, the selection unit 17 determines the content of which the room size is reduced, the reflected sound level is reduced, and the high frequency is cut by the LPF. In addition, for example, the selection unit 17 can perform signal processing according to the state of the user by previously storing the sensor value and the content of signal processing in the storage unit 15 in association with each other.
  • the strength of sound field support is determined by determining whether the environment information is a calm environment or a flashy environment is shown as the environment information.
  • the content of signal processing may be determined based on the odor information. For example, when acquiring information about the smell of coffee, the control unit 14 reproduces the sound field of a calm environment such as a lounge. Or the signal processing apparatus 1 may generate
  • the signal processing device 1 may generate vibration according to the content or the sound field environment.
  • the signal processing device 1 includes a vibrator such as a motor.
  • the signal processing device 1 stops the vibration in the sound field of the calm environment, and generates the vibration when reproducing the sound field environment of the flashy environment.
  • the control unit 14 may determine the content of the signal processing based on the position information. For example, the control unit 14 reproduces the sound field environment corresponding to the concert hall closest to the current position. Data relating to an impulse response simulating a sound field such as a concert hall (hereinafter referred to as sound field data) is stored in the storage unit 15 in advance. When the sound field data is not stored in the storage unit 15, the control unit 14 may download the sound field data from the outside (for example, a server). The control unit 14 acquires corresponding sound field data from the storage unit 15 or an external server using the position information of the own device acquired by the sensor. In this case, the plurality of sound field data are stored in the storage unit 15 or an external server or the like in association with each position information.
  • sound field data Data relating to an impulse response simulating a sound field such as a concert hall
  • the control unit 14 reads out the sound field data associated with the position information closest to the position information of the own device acquired by the sensor, and performs a process of adding a pseudo indirect sound to the audio signal. Thereby, the sound field environment corresponding to the concert hall closest to the current position is reproduced.
  • the control unit 14 controls the signal processing unit 12 to reproduce the sound field environment corresponding to the concert hall. Therefore, the user can reproduce the sound field environment of the past concert event and listen to the content, and can remember that he / she participated in the concert event.
  • the signal processing apparatus 1 can improve a user's willingness to participate in an event, for example.
  • FIG. 15 is a block diagram showing the configuration of the signal processing device 1E when measuring the sound field environment.
  • the signal processing device 1E includes a plurality of microphones (a microphone 151 and a microphone 152) and a speaker 200. Other configurations are the same as those of the signal processing apparatus 1 shown in FIG.
  • the control unit 14 implements the sound field measurement unit 143 by reading the program from the storage unit 15 and executing the program.
  • the sound field measuring unit 143 generates measurement sound from the speaker 200 via the signal processing unit 12.
  • the measurement sound is, for example, a pulse sound.
  • the sound field measurement unit 143 inputs the ambient sound acquired by the microphone 151 and the microphone 152, that is, the direct sound and the reflected sound of the measurement sound output from the speaker 200 via the information acquisition unit 102.
  • the microphone 151 and the microphone 152 are preferably disposed on the listener's head corresponding to the headphone unit 2L and the headphone unit 2R. By placing it on the listener's head, binaural recording can be realized.
  • the signal processing unit 12 when the signal processing unit 12 reproduces the virtual reflected sound later, the signal processing unit 12 does not need to perform localization processing by HRTF again, and can localize the sound source at a predetermined position around the user. Thereby, the sound field measurement part 143 can acquire the impulse response which concerns on sound field environment, such as an actual concert hall.
  • the user when the user participates in a specific concert event, the user can acquire the sound field environment of the venue where the concert event is held. Thereby, even when the user leaves the concert hall later, the user can listen to the sound of the content in the same sound field environment.
  • the control unit 14 reproduces the sound field environment corresponding to the concert hall. Therefore, the user can reproduce the sound field environment of the past concert event and listen to the content, and can remember that he / she participated in the concert event.
  • the user when the user participates in a specific event, it is possible to use a sound field environment that could not be used until now. Thereby, for example, the willingness to participate in an event can be improved.
  • the acquired sound field environment may be shared between users.
  • the control unit 14 selects the sound field environment to be reproduced based on the scent information or the position information, and further, based on the biological information, the Room Size of the sound field environment, the level of the reflected sound, or the like To decide. Further, the control unit 14 selects a sound field environment to be reproduced based on scent information, position information, or the like, and further turns the LPF on or off based on the biological information, or cuts off the LPF. May be changed.
  • the signal processing device transmits biological information to the server.
  • the server acquires weather information as environmental information from the weather information server.
  • the server determines the current state based on the received biological information and weather information, and determines the content of signal processing.
  • the server transmits information indicating the content of the determined signal processing to the signal processing device.
  • the signal processing device performs signal processing based on the received information.
  • control unit 14 may learn a combination of the user state detected in the past and the contents of the signal processing performed in the past, and may perform the signal processing based on the learning result.
  • FIG. 16 is an example of a GUI displayed on the display unit (not shown) by the signal processing device when learning is performed.
  • the control unit 14 performs a process of providing a pseudo indirect sound in a predetermined sound field environment and accepts a user's evaluation via the GUI. In this example, “Like” or “Dislike” is accepted.
  • the control unit 14 accepts selection of “Like” via the user I / F 16
  • the sound field support content currently being processed (Room Size, reflected sound level, presence / absence of LPF, or the LPF cutoff frequency) is stored in the storage unit 15.
  • the control unit 14 stores the sensor value at this time in the storage unit 15 in association with the content of the sound field support.
  • the sensor value is information related to the user's living body such as heart rate, body temperature, or moving state (acceleration), and information related to the environment such as temperature, humidity, illuminance, wind speed, or position.
  • the control unit 14 performs another signal processing (another sound field support) and selects “Like” or “Dislike” again. Accept.
  • the sensor value and the content of the signal processing are associated with high accuracy according to the current state.
  • the control unit 14 refers to the storage unit 15 with the sensor value at that time, and reads the content of the corresponding signal processing (for example, the closest value). Thereby, the signal processing device can automatically reproduce the contents of the signal processing (sound field) that the user determines to be suitable for the current state.
  • learning may be performed by artificial intelligence using a neural network.
  • a neural network When a neural network is used, the sensor value becomes an input layer, and elements such as the surrounding environment and the user state become an intermediate layer. The content of the signal processing becomes the output layer.
  • the neural network receives a sensor value, the neural network outputs the corresponding signal processing content.
  • the signal processing device or the server receives data indicating the sensor value and the content of the selected signal processing from the signal processing devices used by other users.
  • the neural network performs deep learning based on this data. Thereby, learning progresses.
  • the controller 14 selects the optimum signal processing only by inputting the sensor value to the learned neural network.
  • the audio signal subjected to signal processing is output to the headphones
  • crosstalk cancellation processing is performed.
  • the crosstalk cancellation process emits sound from a certain first speaker and emits the opposite phase component of crosstalk from the second speaker to the right ear (or left ear) at the position of the right ear (or left ear). This is a process for suppressing the sound of the first speaker from being heard by the right ear (or the left ear) by canceling the sound pressure.
  • the signal processing unit 12 when sound field support is performed using a plurality of speakers, the signal processing unit 12 virtually adds a delay to the audio signals supplied to the plurality of speakers, thereby virtually connecting the plurality of speakers and the listener. The distance can be changed. Therefore, the signal processing unit 12 can virtually localize the reflected sound at a predetermined position around the listener by controlling the time difference and the level difference in the respective audio signals supplied to the plurality of speakers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。

Description

信号処理装置、信号処理方法およびプログラム
　この発明は、オーディオ信号に種々の信号処理を行なう信号処理装置、信号処理方法およびプログラムに関するものである。
特許文献１には、ユーザに関する情報をセンサで検出して、状況に応じた音楽を選択し再生を開始する構成が開示されている。
また、特許文献２にも、ユーザの移動速度をセンサで検出して、再生音楽の速度を変更する構成が開示されている。
特表２０１４－５１３６２８号公報 特開２００６－５６３１２号公報
　ユーザは、自身の状態に応じて、信号処理の内容（例えば、音場支援の有無、音場支援の強さ、または周波数特性の調整等）を変更したい場合がある。
　そこで、本発明は、現在の状態に適した信号処理を行なうことができる信号処理装置、信号処理方法およびプログラムを提供することを目的とする。
　この発明の信号処理装置は、情報取得部と、状態判定部と、入力部と、信号処理部と、を備えている。情報取得部は、生体情報および環境情報を取得する。状態判定部は、前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する。入力部は、オーディオ信号を入力する。信号処理部は、前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう。
　本発明の信号処理装置は、現在の状態に適した信号処理を行なうことができる。
オーディオ信号処理システムを示す概略図である。 信号処理装置の構成を示すブロック図である。 信号処理装置の動作を示すフローチャートである。 オーディオ信号処理システムを示す概略図である。 信号処理部１２の機能的構成を示すブロック図である。 現在の状態と信号処理との関係を示す図である。 応用例１に係る信号処理装置の構成を示すブロック図である。 応用例１に係る信号処理装置の動作を示すフローチャートである。 現在の状態と信号処理との関係を示す図である。 応用例２に係る信号処理装置の動作を示すフローチャートである。 現在の状態と信号処理との関係を示す図である。 応用例３に係る信号処理装置の構成を示すブロック図である。 信号処理装置の動作を示すフローチャートである。 応用例４に係る信号処理装置の構成を示すブロック図である。 信号処理装置１Ｅの構成を示すブロック図である。 ＧＵＩの一例を示す図である。
　図１は、オーディオ信号処理システムを示す概略図（上面図）である。図２は、信号処理装置１の構成を示すブロック図である。図３は、信号処理装置１の動作を示すフローチャートである。
　図１に示すように、オーディオ信号処理システムは、信号処理装置１と、ヘッドフォンユニット２Ｌと、ヘッドフォンユニット２Ｒと、を備えている。
　信号処理装置１は、入力インタフェース（Ｉ／Ｆ）１１、信号処理部１２、出力インタフェース（Ｉ／Ｆ）１３、制御部１４、および記憶部１５を備えている。信号処理装置１は、ヘッドフォンの専用ユニット（ポータブルアンプまたはポータブル音楽再生装置）であってもよいが、一般的な情報処理装置（例えばスマートフォン）であってもよい。信号処理装置１における各構成は、ハードウェアであってもよいが、制御部１４の機能により構成されてもよい。制御部１４は、ＩＣ、ＣＰＵ、ＭＰＵ、ＬＳＩ、またはマイクロコントローラ、等と称されるハードウェアである。制御部１４は、記憶部１５に記憶されているプログラムを実行することにより、各構成をソフトウェアで実現することが可能である。記憶部１５は、プログラムを記憶するメモリ（記憶媒体）である。記憶部１５は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、またはＥＥＰＲＯＭ、等と称されるハードウェアである。
　入力Ｉ／Ｆ１１は、機能的に、入力部１０１および情報取得部１０２を備えている。入力部１０１は、オーディオプレーヤ等の他装置、または自装置の記憶部１５から、オーディオ信号を入力する。入力されたオーディオ信号は、信号処理部１２に入力される。入力されるオーディオ信号は、アナログ信号であってもデジタル信号であってもよい。また、入力部１０１は、コンテンツデータを入力してもよい。この場合、信号処理部１２がコンテンツデータをデコードして、オーディオ信号を生成する。
　信号処理部１２は、例えばＤＳＰ（Digital Signal Processor）からなる。信号処理部１２は、入力したオーディオ信号に種々の信号処理を施す。なお、信号処理部１２は、制御部１４が実行するプログラムにより実現することも可能である。
　情報取得部１０２は、センサ、またはセンサを備えた他装置から、各種情報を取得する（ｓ１１）。各種情報は、生体情報および環境情報が含まれる。
　生体情報は、例えば心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報である。心拍数は、心拍センサまたはカメラによる血管の画像変化により取得される。体温は、温度センサにより取得される。加速度は、加速度センサにより取得される。
　環境情報は、例えば天気、気温、湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。天気は、気象情報サーバから取得される。気温は、温度センサにより取得される。湿度は、湿度センサにより取得される。明るさは、照度センサにより取得される。風の強さは、風圧センサまたは気象情報サーバから取得される。匂いは、匂いセンサにより取得される。位置は、ＧＰＳ等の位置情報取得センサにより取得される。周囲の画像は、カメラにより取得される。
　生体情報および環境情報は、状態判定部１４１に入力される。状態判定部１４１は、制御部１４が実行するプログラムによって実現する機能である。状態判定部１４１は、入力された生体情報および環境情報に基づいて、現在の状態を判定する（ｓ１２）。現在の状態とは、ユーザ自身の状態を示す。例えば、状態判定部１４１は、入力された生体情報の心拍数が高く、環境情報として天気が晴れである情報を入力した場合には、ユーザ自身の状態は、強いポジティブ状態（正の状態）であると判定する。
　そして、制御部１４は、状態判定部１４１の判定結果に応じて、信号処理部１２における信号処理の内容を決定する（ｓ１３）。信号処理部１２は、状態判定部１４１の判定結果に応じて、入力されたオーディオ信号に信号処理を行なう（ｓ１４）。
　信号処理部１２は、音源の定位処理、音場支援処理、ノイズ除去処理、または周波数特性の調整処理等を含む、各種の信号処理を行なう。音源の定位処理は、例えば、所定の音源位置に音像が定位するように、頭部伝達関数（ＨＲＴＦ）を付与する処理を行う。また、信号処理部１２は、不図示の遅延器およびゲイン制御部で、遅延およびゲインの制御を行うことで、定位処理を行なってもよい。信号処理部１２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに供給するそれぞれのオーディオ信号の音量バランスを調整することで、音源の方向感を制御することができる。例えば、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに全く同じ音が入力されると、ユーザは、頭内に音源が定位する。同じ音であっても、ヘッドフォンユニット２Ｌ側の音が大きい場合には、ユーザは、自身の左側に音源を認識する。また、同じ音源の音でも、スピーカの位置が遠いほど、遅延が生じ、かつレベルが低下する。したがって、信号処理部１２は、オーディオ信号に遅延を付与して、レベルを低下させることで、仮想的に遠い位置のスピーカから音が発生したように聴取者に知覚させることもできる。この様にして、信号処理部１２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、音源を仮想定位させることができる。
　また、ＨＲＴＦは、ある位置に設置した仮想スピーカからそれぞれ左右の耳に至る音の大きさ、到達時間、および周波数特性の差を表現したインパルス応答である。信号処理部１２は、例えば、図４の上面図に示すように、右前方に位置する仮想スピーカＶＲ１および左前方に位置する仮想スピーカＶＬ１に定位させるＨＲＴＦを、オーディオ信号に付与する。これにより、ユーザは、仮想スピーカＶＲ１および仮想スピーカＶＬ１の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。
　図５は、信号処理部１２の機能的構成を示すブロック図である。信号処理部１２は、フィルタ１２１Ｌ、フィルタ１２１Ｒ、フィルタ１２２Ｌ、フィルタ１２２Ｒ、加算器１２３Ｌ、および加算器１２３Ｒを備えている。
　フィルタ１２１Ｌは、仮想スピーカＶＬ１から左耳に至る経路のＨＲＴＦを、左チャンネル（Ｌｃｈ）のオーディオ信号に付与する。フィルタ１２１Ｒは、仮想スピーカＶＬ１から右耳に至る経路のＨＲＴＦを、左チャンネル（Ｌ　ｃｈ）のオーディオ信号に付与する。
　フィルタ１２２Ｌは、仮想スピーカＶＲ１から左耳に至る経路のＨＲＴＦを、右チャンネル（Ｌ　ｃｈ）のオーディオ信号に付与する。フィルタ１２２Ｒは、仮想スピーカＶＲ１から右耳に至る経路のＨＲＴＦを、右チャンネル（Ｒ　ｃｈ）のオーディオ信号に付与する。
　加算器１２３Ｌは、フィルタ１２１Ｌおよびフィルタ１２２Ｌの出力信号を合成する。加算器１２３Ｒは、フィルタ１２１Ｒおよびフィルタ１２２Ｒの出力信号を合成する。
　加算器１２３Ｌの出力信号は、出力部１３からヘッドフォンユニット２Ｌに出力される。これにより、ヘッドフォンユニット２Ｌには、Ｌチャンネルのオーディオ信号が入力される。加算器１２３Ｒの出力信号は、出力部１３からヘッドフォンユニット２Ｒに出力される。これにより、ヘッドフォンユニット２Ｒには、Ｒチャンネルのオーディオ信号が入力される。
　これにより、ユーザは、仮想スピーカＶＬ１および仮想スピーカＶＲ１の位置における音源から、コンテンツに係る音が出力されている様に知覚することができる。
　一方、音場支援処理は、所定の音場環境（コンサートホール、ラウンジ、またはスタジオ等）における間接音（反射音および残響音）を模擬した擬似間接音を付与する処理である。ヘッドフォンで音場支援を行なうためには、例えば、各反射音に対応する複数の音源位置に音像が定位するように、頭部伝達関数（ＨＲＴＦ）を付与する処理を行う。
　信号処理部１２は、聴取者の周囲における複数の位置（図中のＶＲＩ）に、音源を定位させる。信号処理部１２は、入力されたオーディオ信号に対して、所定の音場環境における反射音（インパルス応答）に対応する、複数の音源位置ＶＲＩから左耳および右耳に至る経路のＨＲＴＦをそれぞれ付与する。これにより、信号処理部１２は、図４に示すように、ユーザの周囲に、所定の音場空間（Ｒｏｏｍ）を形成させる。この場合、信号処理部１２は、Ｌチャンネルオーディオ信号およびＲチャンネルオーディオ信号を合成してモノラル信号にする。信号処理部１２は、当該モノラル信号にＨＲＴＦを付与する。フィルタ１２１Ｌ（またはフィルタ１２２Ｌ）は、Ｒｏｏｍで発生する各間接音に対応する複数の音源位置から左耳に至る経路のＨＲＴＦを、モノラル信号に付与する。また、フィルタ１２１Ｒ（またはフィルタ１２２Ｒ）は、該Ｒｏｏｍで発生する各間接音に対応する複数の音源位置から右耳に至る経路のＨＲＴＦを、モノラル信号に付与する。これにより、信号処理部１２は、ユーザの周囲に所定の音場環境を提供する、音場支援を行なうことができる。
　そして、上述の様に、制御部１４は、状態判定部１４１の判定結果に応じて、信号処理部１２における信号処理の内容を決定する（ｓ１３）。信号処理の内容とは、例えば上記の音場支援における空間の大きさ（Ｒｏｏｍ　Ｓｉｚｅ）、音場支援における反射音のレベルである。また、周波数特性の調整における高域のカット（ＬＰＦ）の有無、あるいは該ＬＰＦの遮断周波数の変更等も、信号処理の内容に含まれる。あるいは、模擬する音場環境の切り替えも、信号処理の内容に含まれる。模擬する音場環境を切り替えると、Ｒｏｏｍ　Ｓｉｚｅおよび反射音のレベルも変更される。また、音源の定位処理の変更も、信号処理の内容に含まれる。例えば、制御部１４は、定位処理をせずに頭内定位させる場合と、図４に示したようなユーザの前方の所定位置に定位させる場合と、さらに遠方の位置に定位させる場合と、を切り替える。
　Ｒｏｏｍ　Ｓｉｚｅは、反射音の位置または残響音の長さ等に影響する。Ｒｏｏｍ　Ｓｉｚｅは、大きいほど反射音の位置が遠くなる、または残響音が長くなり、大きい空間の音場環境を模擬した状態となる。Ｒｏｏｍ　Ｓｉｚｅは、小さいほど反射音の位置が近くなる、または残響音が短くなり、小さい空間の音場環境を模擬した状態となる。反射音のレベルは、高いほど響きが強くなるため、派手な音場環境を表現することになる。反射音のレベルは、低いほど響きが弱くなるため、落ち着いた音場環境を表現することになる。同様に、ＬＰＦにより高域がカットされると、落ち着いた音場環境を表現することになる。ＬＰＦの遮断周波数は、低いほどカットされる高域成分が増えるため、より落ち着いた音場環境を表現することになる。
　図６は、状態判定部１４１により判定された現在の状態と、信号処理と、の関係を示す図である。
　図６の例に示すグラフの横軸は、生体情報に対応し、縦軸は、環境情報に対応する。状態判定部１４１は、生体情報および環境情報が、それぞれどの領域に属するかによって、現在の状態を判定する。状態判定部１４１は、例えば、心拍数が所定値以上の場合に、生体情報がポジティブ（正）であり、所定値未満の場合に生体情報がネガティブ（負）である、と判定する。また、状態判定部１４１は、天気が晴れである場合に、環境情報が正であり、曇りまたは雨である場合に、環境情報が負であると判定する。
　あるいは、状態判定部１４１は、加速度センサから得られた加速度が所定値以上の場合に、生体情報が正であり、所定値未満の場合に生体情報が負である、と判定してもよい。また、状態判定部１４１は、気温が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部１４１は、明るさ（照度）が所定値以上である場合に、環境情報が正であり、所定値未満である場合に、環境情報が負であると判定してもよい。また、状態判定部１４１は、湿度が所定値以上である場合に、環境情報が負であり、所定値未満である場合に、環境情報が正であると判定してもよい。
　さらに、状態判定部１４１は、複数の生体情報（心拍数および加速度）を用いて、生体情報が正であるか、負であるかを判定してもよい。また、状態判定部１４１は、複数の環境情報（天気、気温、および明るさ）を用いて、環境情報が正であるか、負であるかを判定してもよい。なお、状態判定部１４１は、複数の生体情報または環境情報を用いる場合、各情報の寄与率を設定してもよい。例えば、天気の寄与率が４０％であり、気温の寄与率が３０％であり、明るさの寄与率が２０％であり、湿度の寄与率が１０％である場合に、明るさおよび湿度が正であったとしても、天気および気温が負である場合には、環境情報は負であると判定される。
　制御部１４は、状態判定部１４１が判定した現在の状態（生体情報および環境情報がそれぞれどの領域に属するか）に基づいて、信号処理の内容を決定する。例えば、生体情報および環境情報がいずれも正である場合には、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦにより高域をカットする内容を決定する。逆に、生体情報および環境情報がいずれも負である場合には、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを大きく、反射音レベルを大きく、かつＬＰＦをオフする内容を決定する。生体情報が負であり、環境情報が正である場合には、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを大きく、反射音レベルを中程度、かつＬＰＦをオフする内容を決定する。生体情報が正であり、環境情報が負である場合には、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを中程度、反射音レベルを中程度、かつＬＰＦにより高域をカットする内容を決定する。この例では、制御部１４は、生体情報の寄与率を大きくしている。すなわち、生体情報が正である場合、環境情報が負であっても、相対的に落ち着いた音場環境を表現する内容とする。
　ただし、制御部１４は、環境情報だけが負であり、生体情報が正である場合に、相対的に落ち着いた音場環境を表現する内容としてもよい。また、この例では、制御部１４は、現在の状態が正である場合に相対的に落ち着いた音場環境を表現する内容として、ユーザの気持ちを落ち着かせる効果を生じさせ、現在の状態が負である場合に派手な音場環境を表現する内容として、ユーザの気持ちを持ち上げる効果を生じさせている。しかし、逆に、現在の状態が負である場合に相対的に落ち着いた音場環境を表現する内容とし、現在の状態が正である場合に、派手な音場環境を表現する内容としてもよい。
　あるいは、生体情報および環境情報は、数値化されてもよい。この場合、制御部１４は、生体情報および環境情報の数値に応じて、音場支援の強さを変更する。例えば、制御部１４は、心拍数が高いほどＲｏｏｍ　Ｓｉｚｅを大きくしたり、気温が高いほど反射音のレベルを高くする。
　また、制御部１４は、状態判定部１４１が判定した現在の状態（生体情報および環境情報がそれぞれどの領域に属するか）に基づいて、音源の定位処理の変更を行なってもよい。例えば、制御部１４は、生体情報および環境情報がいずれも負である場合には、ユーザがストレスを感じている状態であるとして、音源を遠方の位置に定位させて、ユーザの気持ちを落ち着かせる効果を生じさる。逆に、生体情報および環境情報がいずれも正である場合には、ユーザがコンテンツの音に集中し易いように、ＨＲＴＦの処理をせずに音源を頭内に定位させる。また、生体情報または環境情報がいずれか一方が正であり、他方が負である場合には、図４に示したように、ユーザの前方に音源を定位させる。
　以上のようにして、信号処理装置１は、現在のユーザの状態に適した信号処理を行なう。特に、本実施形態の信号処理装置１は、ユーザの状態として、心拍数等の生体情報だけではなく、天気または気温等の周囲の環境情報も考慮して信号処理の内容を決定するため、従来よりも高精度にユーザの状態に応じた信号処理を行なうことができる。
　次に、図７は、応用例１に係る信号処理装置１Ａの構成を示すブロック図である。図７において、図２に示した信号処理装置１のブロック図と同じ構成については同じ符号を付し、説明を省略する。図８は、応用例１に係る信号処理装置１Ａの動作を示すフローチャートである。図８において、図３のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。
　この例では、信号処理装置１Ａは、ユーザＩ／Ｆ１６を備えている。ユーザＩ／Ｆ１６は、例えばタッチパネルを備えた表示装置として実現される。図９は、ユーザＩ／Ｆ１６を介して、信号処理のパラメータを補正する補正操作を受け付ける例を示した図である。ユーザＩ／Ｆ１６は、信号処理のパラメータを補正する補正操作を受け付ける受付部に相当する。図９の例では、補正操作を受け付ける態様として、フェーダが表示されている。ユーザは、フェーダを上下させることで、信号処理のパラメータの補正を行なう。制御部１４は、補正操作を受け付けたか否かを確認し（ｓ２１）、補正操作を受け付けた場合には、信号処理のパラメータを補正する。
　例えば、図９では、生体情報が正であり、環境情報が負であるため、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを中程度、反射音レベルを中程度、かつＬＰＦにより高域をカットする内容を決定している（ｓ１３）。しかし、ユーザＩ／Ｆ１６を介して、ユーザから音場支援を強くする補正を受け付けた場合（ｓ２１のＹｅｓ）、制御部１４は、受け付けた補正操作に応じて、信号処理のパラメータを補正する（ｓ２２）。例えば、図９では、ユーザがフェーダを上に移動させ、信号処理を強くする補正操作を行なっている。この場合、制御部１４は、より派手な音場環境を表現するように、信号処理のパラメータを補正する。例えば、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを大きく、反射音レベルを大きく、かつＬＰＦをオフする内容に補正している。つまり、図９の例では、制御部１４は、状態判定部１４１で判定された現在の状態よりも、より負の状態に対応する音場環境を表現する。図９のグラフでは、生体情報および環境情報ともに負の側に補正される場合に相当する。また、仮に、ユーザがフェーダを下に移動させ、信号処理を弱くする補正操作を行なった場合、制御部１４は、状態判定部１４１で判定された現在の状態よりも、より正の状態に対応する音場環境を表現する。例えば、制御部１４は、Ｒｏｏｍ　Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦをオンする内容に補正する。
　次に、図１０は、応用例２に係る信号処理装置１Ｂの動作を示すフローチャートである。応用例２に係る信号処理装置１Ｂのハードウェアは、図７に示した信号処理装置１Ａと同じ構成である。また、図１０において、図８のフローチャートにおける動作と同じ動作については同じ符号を付し、説明を省略する。図１１は、応用例２における現在の状態と信号処理との関係を示す図である。図１１に示すように、応用例２に係る信号処理装置１Ｂでは、ユーザＩ／Ｆ１６（この例では例えばタッチパネルを備えた表示装置）に、ＦＢ（フィードバック）ボタンと、ＨＯＬＤ（ホールド）ボタンと、が表示されている。ユーザがＨＯＬＤボタンをタッチすると、制御部１４は、ユーザの状態が変化しても、信号処理の内容を変更せずに、固定する。
　信号処理装置１Ｂは、ユーザから補正操作を受け付けた後に、ＦＢ（フィードバック）操作を受け付けたか否かをさらに確認する（ｓ２３）。ユーザが、ＦＢボタンをタッチすると、制御部１４は、ユーザから受け付けた補正操作の補正量を記憶部１５に記憶する（ｓ２４）。例えば、図１１に示すように、現在の状態に応じて決定した音場効果の強さが「－４」であった場合において、ユーザが音場支援の効果を「＋８」まで強く補正した場合、制御部１４は、補正量を「＋１２」として、記憶部１５に記憶する。そして、次回、現在の状態に応じて信号処理の内容を決定した時、制御部１４は、ＦＢボタンがタッチされたか否かを判断し（ｓ２５）、ＦＢボタンがタッチされた場合には、記憶部１５に記憶された補正量（第１補正量）を読み出す（ｓ２６）。制御部１４は、読み出した第１補正量で、今回の補正量（第２補正量）を算出する（ｓ２７）。例えば、上述のように、第１補正量として「＋１２」が記憶されていた場合に、制御部１４は、読み出した第１補正量にさらに所定の係数（例えば０．８）を乗算して、「＋１０」の第２補正量を算出する。そして、制御部１４は、算出した第２補正量を用いて、信号処理のパラメータの補正を行なう（ｓ２８）。例えば、現在の状態により決定された音場効果の強さが「－４」であった場合には、算出した第２補正量「＋１０」を用いて、音場効果の強さとして「＋６」を決定する。
　以上の構成により、信号処理装置１Ｂは、ユーザの状態を反映した信号処理の内容を決定するとともに、ユーザの補正操作の内容も反映させる。したがって、信号処理装置１Ｂは、よりユーザの意図に応じた信号処理を行なうことができる。
　次に、図１２は、応用例３に係る信号処理装置１Ｃの構成を示すブロック図である。図７の信号処理装置１Ｂと同じ構成については、同じ符号を付し、説明を省略する。図１３は、信号処理装置１Ｃの動作を示すフローチャートである。
　応用例３に係る信号処理装置１Ｃは、機能的に選出部１４２を備えている。選出部１４２は、制御部１４が実行するプログラムにより実現される。
　選出部１４２は、再生対象のコンテンツを選出する。すなわち、上記の例では、再生対象のコンテンツは、ユーザが手動で指定していたが、応用例３においては、信号処理の内容が決定された後に（ｓ１３）、決定された信号処理の内容に適したコンテンツが自動選出される（ｓ３１）。例えば、制御部１４が、ユーザが落ち着いた状態であると判断し、落ち着いた音場効果を決定した場合には、選出部１４２は、ジャズまたはクラシックのジャンル等の落ち着いたジャンルのコンテンツを選出する。また、選出部１４２は、制御部１４が落ち着いた音場効果を決定した場合には、演奏テンポが低い、または音の情報量（楽器の数の多さ等）が少ないコンテンツを選出してもよい。
　また、選出部１４２は、強い音場効果が決定された場合には、ロック等のジャンルのコンテンツを選択する。また、選出部１４２は、強い音場効果が決定された場合には、演奏テンポが高く、音の情報量が多いコンテンツを選出してもよい。
　制御部１４は、選出部１４２が選出したコンテンツが自装置の記憶部１５に記憶されている場合には、記憶部１５からコンテンツを読み出して、信号処理部１２に再生処理を行なわせる。制御部１４は、選出部１４２が選出したコンテンツが自装置の記憶部１５に記憶されてない場合には、入力部１０１を介して、他装置から取得する。
　応用例３に係る信号処理装置１Ｃでは、ユーザの状態に応じて、再生対象のコンテンツが自動で選出されるため、ユーザ自身でコンテンツを選出する手間が省かれる。例えば、ユーザがカフェでコーヒーを飲み、落ち着いた環境の場合、ラウンジ等の落ち着いた音場環境が自動的に再現され、さらに、ジャズまたはクラシックのジャンル等の落ち着いたジャンルのコンテンツが自動的に選出される。
　図１４は、応用例４に係る信号処理装置１Ｄの構成を示したブロック図である。図１２と共通する構成については同じ符号を付し、説明を省略する。信号処理装置１Ｄは、第１センサ１７１および第２センサ１７２を備えている。第１センサ１７１は、生体情報を検出する。第２センサ１７２は、環境情報を検出する。情報取得部１０２は、第１センサ１７１から生体情報を取得し、第２センサ１７２から環境情報を取得する。
　このように、生体情報または環境情報は、自装置に設けられたセンサで検出してもよい。
　上述の様に、生体情報は、例えば心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報である。したがって、第１センサ１７１は、例えば心拍センサ、カメラ、温度センサ、または加速度センサである。環境情報は、例えば天気、気温、湿度、明るさ、風の強さ、匂い、位置、または周囲の画像等である。したがって、第２センサ１７２は、例えば温度センサ、湿度センサ、照度センサ、位置情報取得センサ、または匂いセンサである。なお、状態判定部１４１は、カメラで取得した周囲の画像を解析することで、周囲の環境（天気、明るさ、または位置等）を取得することができる。したがって、カメラも第２センサ１７２の一例である。さらに、状態判定部１４１は、マイクで取得した周囲の音を解析することで、周囲の環境情報を取得することもできる。例えば、状態判定部１４１は、雨音を取得した場合に、天気が雨であると判定することができる。したがって、マイクも第２センサ１７２の一例である。制御部１４は、マイクにより取得した音が雑踏などのノイズ音である場合に、信号処理の内容としてノイズ除去処理を行なってもよい。
　状態判定部１４１は、加速度センサで、ユーザが走っている状態であると判定し、さらに走行ピッチに応じて、ユーザの気分を推定する。走行ピッチが速い場合には、ユーザが興奮状態であると推定する。走行ピッチが遅い場合には、ユーザが穏やかな状態であると推定する。例えば、選出部１７は、興奮状態であるときは、Ｒｏｏｍ　Ｓｉｚｅを小さく、反射音レベルを小さく、かつＬＰＦにより高域をカットする内容を決定する。また、例えば、選出部１７は、予めセンサの値と信号処理の内容とを対応付けて記憶部１５に記憶しておくことで、ユーザの状態に応じた信号処理を行なうこともできる。
　なお、上述の実施形態では、環境情報として、落ち着いた環境であるか、派手な環境であるかを判断して、音場支援の強さを決定する例を示したが、例えば、制御部１４は、匂いセンサから匂いに関する情報を取得した場合には、当該匂いの情報に基づいて信号処理の内容を決定してもよい。例えば、制御部１４は、コーヒーの匂いの情報を取得した場合には、ラウンジ等の落ち着いた環境の音場を再現する。あるいは、信号処理装置１は、逆に、音場環境に応じた匂いを発生させてもよい。例えば、信号処理装置１は、カフェの音場環境を再現する場合には、コーヒーの匂いを発生させる。
　さらに、信号処理装置１は、コンテンツまたは音場環境に応じた振動を生じさせてもよい。振動を生じさせる場合、信号処理装置１は、モータ等の振動子を備える。信号処理装置１は、例えば、落ち着いた環境の音場では振動を停止し、派手な環境の音場環境を再現する場合には、振動を生じさせる。
　また、例えば、制御部１４は、位置情報に基づいて、信号処理の内容を決定してもよい。例えば、制御部１４は、現在の位置に最も近いコンサートホールに対応する音場環境を再現する。コンサートホール等の音場を模擬したインパルス応答に係るデータ（以下音場データと言う。）は、予め記憶部１５に記憶しておく。制御部１４は、該音場データが記憶部１５に記憶されていない場合には外部（例えばサーバ）からダウンロードしてもよい。制御部１４は、センサで取得した自装置の位置情報を用いて、記憶部１５または外部のサーバ等から、対応する音場データを取得する。この場合、複数の音場データは、それぞれの位置情報が対応付けられて、記憶部１５または外部のサーバ等に記憶されている。制御部１４は、センサで取得した自装置の位置情報に最も近い位置情報が対応付けられた音場データを読み出し、オーディオ信号に擬似間接音を付与する処理を行なう。これにより、現在の位置に最も近いコンサートホールに対応する音場環境が再現される。
　例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を再現した音場データを取得することができる。この場合、後でユーザが該コンサートホールに戻ってきた場合に、制御部１４は、信号処理部１２を制御して、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。
　この場合、ユーザが特定のイベントに参加して、新たな音場データが記憶部１５に記憶されると、ユーザは、今まで利用できなかった音場環境を体感することができる。これにより、信号処理装置１は、例えば、ユーザのイベントへの参加意欲を向上させることができる。
　あるいは、制御部１４は、その場の音場環境を測定することもできる。図１５は、音場環境を測定する場合の信号処理装置１Ｅの構成を示すブロック図である。信号処理装置１Ｅは、複数のマイク（マイク１５１およびマイク１５２）およびスピーカ２００を備えている。その他の構成は、図２に示した信号処理装置１と同じ構成である。
　制御部１４は、記憶部１５からプログラムを読み出して、該プログラムを実行することにより音場測定部１４３を実現する。
　音場測定部１４３は、信号処理部１２を介してスピーカ２００から測定音を発生させる。測定音は、例えばパルス音である。音場測定部１４３は、情報取得部１０２を介して、マイク１５１およびマイク１５２で取得した周囲の音、すなわちスピーカ２００から出力された測定音の直接音および反射音を入力する。なお、マイク１５１およびマイク１５２は、ヘッドフォンユニット２Ｌおよびヘッドフォンユニット２Ｒに対応して、聴取者の頭部に配置されていることが好ましい。聴取者の頭部に配置されることで、バイノーラル録音を実現することができる。したがって、後に信号処理部１２が仮想反射音を再現する場合には、信号処理部１２は、あらためてＨＲＴＦによる定位処理を行う必要がなく、ユーザの周囲の所定位置に音源を定位させることができる。これにより、音場測定部１４３は、実際のコンサートホールなどの音場環境に係るインパルス応答を取得することができる。
　例えば、ユーザが特定のコンサートイベントに参加した場合、ユーザは、そのコンサートイベントが行なわれている会場の音場環境を取得することができる。これにより、ユーザは、後でコンサートホールを離れた場合でも、同じ音場環境でコンテンツの音を聴くことができる。あるいは、後でユーザがコンサートホールに戻ってきた場合に、制御部１４が、該コンサートホールに対応する音場環境を再現する。したがって、ユーザは、過去のコンサートイベントの音場環境を再現してコンテンツを聞くことができ、コンサートイベントに参加したことを思い出すことができる。また、この場合も、ユーザが特定のイベントに参加すると、今まで利用できなかった音場環境を利用することができる。これにより、例えば、イベントへの参加意欲を向上させることができる。さらには、取得した音場環境は、ユーザ間で共有してもよい。
　なお、匂いの情報および位置情報は、環境情報の一例である。したがって、制御部１４は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、当該音場環境のＲｏｏｍ　Ｓｉｚｅ、または反射音のレベル等を決定する。また、制御部１４は、匂いの情報、または位置情報等に基づいて、再現する音場環境を選択して、さらに生体情報に基づいて、ＬＰＦのオン、オフを行なったり、ＬＰＦのカットオフ周波数を変更したりしてもよい。
　さらに、信号処理装置における一部の処理は、サーバ上で行なうようにしてもよい。例えば、信号処理装置は、生体情報をサーバに送信する。サーバは、気象情報サーバから環境情報として、天気情報を取得する。サーバは、受信した生体情報と、天気情報と、に基づいて、現在の状態を判定し、信号処理の内容を決定する。サーバは、決定した信号処理の内容を示す情報を信号処理装置に送信する。信号処理装置は、受信した情報に基づいて、信号処理を行なう。
　また、制御部１４は、過去に検出したユーザの状態と、過去に行なった信号処理の内容と、の組み合わせを学習し、学習結果に基づいて信号処理を行なってもよい。
　図１６は、学習を行なう場合に、信号処理装置が表示部（不図示）に表示するＧＵＩの一例である。制御部１４は、所定の音場環境の擬似間接音を付与する処理を行うとともに、ＧＵＩを介してユーザの評価を受け付ける。この例では、「Ｌｉｋｅ」または「Ｄｉｓｌｉｋｅ」を受け付ける。制御部１４は、ユーザＩ／Ｆ１６を介して、「Ｌｉｋｅ」の選択を受け付けた場合に、現在処理を行なっている音場支援の内容（Ｒｏｏｍ　Ｓｉｚｅ、反射音のレベル、ＬＰＦの有無、あるいは該ＬＰＦの遮断周波数）を記憶部１５に記憶する。制御部１４は、この時のセンサの値を、音場支援の内容と対応付けて記憶部１５に記憶する。センサの値は、心拍数、体温、または移動状態（加速度）等のユーザの生体に関する情報と、気温、湿度、照度、風速、または位置等の環境に関する情報である。制御部１４は、ユーザＩ／Ｆ１６を介して、「Ｄｉｓｌｉｋｅ」の選択を受け付けた場合に、別の信号処理（別の音場支援）を行ない、再度、「Ｌｉｋｅ」または「Ｄｉｓｌｉｋｅ」の選択を受け付ける。この様な評価を繰り返すことで、現在の状態に応じて、センサの値と、信号処理の内容と、が高精度に対応付けられる。
　制御部１４は、センサの値が変化し、現在の状態が変化したとき、その時点のセンサの値で記憶部１５を参照し、対応する（例えば最も近い値の）信号処理の内容を読み出す。これにより、信号処理装置は、ユーザが現在の状態に適合すると判断した信号処理（音場）の内容を、自動的に再現することができる。
　また、学習は、ニューラルネットワークを用いた人工知能により行ってもよい。ニューラルネットワークを用いる場合、センサの値が入力層になり、周囲の環境およびユーザの状態等の要素が中間層になる。信号処理の内容は、出力層になる。ニューラルネットワークは、センサの値を入力すると、対応する信号処理の内容を出力する。ここで、信号処理装置またはサーバは、他の複数のユーザが利用する信号処理装置から、センサの値と、選択された信号処理の内容と、を示すデータが入力される。ニューラルネットワークは、このデータに基づいてディープラーニングを行なう。これにより、学習が進む。制御部１４は、学習が進んだニューラルネットワークにセンサの値を入力するだけで、最適な信号処理の選出がなされる。
　なお、本実施形態では、信号処理を行なったオーディオ信号をヘッドフォンに出力する例を示したが、例えばスピーカに出力してもよい。スピーカを用いてＨＲＴＦによる定位処理を行なう場合にはクロストークキャンセルの処理を行なう。クロストークキャンセル処理は、ある第１スピーカから放音され、右耳（または左耳）に至るクロストークの逆位相の成分を第２スピーカから放音して右耳（または左耳）の位置で音圧を打ち消すことにより、第１スピーカの音が右耳（または左耳）に聞こえるのを抑制する処理である。
　また、複数のスピーカを用いて音場支援を行なう場合、信号処理部１２は、複数のスピーカに供給するオーディオ信号にそれぞれ遅延を付与することにより、仮想的に、複数のスピーカと聴取者との距離を変更することができる。したがって、信号処理部１２は、複数のスピーカに供給するそれぞれのオーディオ信号における時間差およびレベル差を制御することで、聴取者の周囲の所定の位置に、反射音を仮想定位させることができる。
１，１Ａ，１Ｂ，１Ｃ，１Ｄ…信号処理装置
２Ｌ，２Ｒ…ヘッドフォンユニット
１１…入力Ｉ／Ｆ
１２…信号処理部
１３…出力部
１４…制御部
１５…記憶部
１６…ユーザＩ／Ｆ
１０１…入力部
１０２…情報取得部
１４１…状態判定部
１４２…選出部
１７１…第１センサ
１７２…第２センサ

Claims (17)

  1. 　生体情報および環境情報を取得する情報取得部と、
    　前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、
    　オーディオ信号を入力する入力部と、
    　前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、
    　を備えた信号処理装置。
  2. 　前記信号処理は、音場支援処理を含む、
    　請求項１に記載の信号処理装置。
  3. 　前記信号処理は、音源を定位させる処理を含む、
    　請求項１または請求項２に記載の信号処理装置。
  4. 　前記信号処理の内容に応じて、再生対象のコンテンツを選出する選出部を備えた、
    　請求項１乃至請求項３のいずれかに記載の信号処理装置。
  5. 　前記信号処理のパラメータを補正する補正操作を受け付ける受付部を備え、
    　前記信号処理部は、前記補正操作に基づいて、前記信号処理の内容を補正する、
    　請求項１乃至請求項４のいずれかに記載の信号処理装置。
  6. 　前記補正操作における第１補正量を記憶する記憶部を備え、
    　前記信号処理部は、前記記憶部に記憶されている前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正する、
    　請求項５に記載の信号処理装置。
  7. 　前記信号処理部は、前記状態判定部の判定結果と、前記信号処理の内容と、の対応を学習し、学習結果に基づいて、前記信号処理を行なう、
    　請求項１乃至請求項６のいずれかに記載の信号処理装置。
  8. 　前記生体情報を検出する第１センサと、
    　前記環境情報を検出する第２センサと、
    　をさらに備えた、請求項１乃至請求項７のいずれかに記載の信号処理装置。
  9. 　生体情報および環境情報を取得し、
    　取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定し、
    　オーディオ信号を入力し、
    　前記現在の状態の判定結果に応じて、入力した前記オーディオ信号に信号処理を行なう、
    　信号処理方法。
  10. 　前記信号処理は、音場支援処理を含む、
    　請求項９に記載の信号処理方法。
  11. 　前記信号処理は、定位処理を含む、
    　請求項９または請求項１０に記載の信号処理方法。
  12. 　前記信号処理の内容に応じて、再生対象のコンテンツを選出する、
    　請求項９乃至請求項１１のいずれかに記載の信号処理方法。
  13. 　前記信号処理のパラメータを補正する補正操作を受け付け、
    　前記補正操作に基づいて、前記信号処理の内容を補正する、
    　請求項９乃至請求項１２のいずれかに記載の信号処理方法。
  14. 　前記補正操作における第１補正量を記憶し、
    　記憶した前記第１補正量に所定の係数を乗算した第２補正量で、前記信号処理の内容を補正する、
    　請求項１３に記載の信号処理方法。
  15. 　前記状態判定部の判定結果と、前記信号処理の内容と、の対応を学習し、
    　学習結果に基づいて、前記信号処理の内容を補正する、
    　請求項９乃至請求項１４のいずれかに記載の信号処理方法。
  16. 　前記生体情報を第１センサで検出し、
    　前記環境情報を第２センサで検出する、
    　請求項９乃至請求項１５のいずれかに記載の信号処理方法。
  17. 　情報処理装置に、
    　生体情報および環境情報を取得する情報取得部と、
    　前記情報取得部で取得した前記生体情報および前記環境情報に基づいて、現在の状態を判定する状態判定部と、
    　オーディオ信号を入力する入力部と、
    　前記状態判定部の判定結果に応じて、前記入力部に入力された前記オーディオ信号に信号処理を行なう信号処理部と、
    　を実現させる、プログラム。
PCT/JP2017/039377 2016-10-31 2017-10-31 信号処理装置、信号処理方法およびプログラム Ceased WO2018079846A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018547227A JP6798561B2 (ja) 2016-10-31 2017-10-31 信号処理装置、信号処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-213370 2016-10-31
JP2016213370 2016-10-31

Publications (1)

Publication Number Publication Date
WO2018079846A1 true WO2018079846A1 (ja) 2018-05-03

Family

ID=62025076

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/039377 Ceased WO2018079846A1 (ja) 2016-10-31 2017-10-31 信号処理装置、信号処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6798561B2 (ja)
WO (1) WO2018079846A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192072A1 (ja) * 2020-03-25 2021-09-30 ヤマハ株式会社 室内用音環境生成装置、音源装置、室内用音環境生成方法および音源装置の制御方法
CN117334207A (zh) * 2022-06-24 2024-01-02 华为技术有限公司 一种声音处理方法及电子设备
CN118648054A (zh) * 2022-02-07 2024-09-13 三菱电机株式会社 声音环境控制系统以及声音环境控制方法
JP2025024703A (ja) * 2019-03-19 2025-02-20 ソニーグループ株式会社 音響処理装置、音響処理システム、音響処理方法、および音響処理プログラム
WO2025197425A1 (ja) * 2024-03-22 2025-09-25 ヤマハ株式会社 スピーカ装置、音信号処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177790A (ja) * 2002-11-28 2004-06-24 Yamaha Corp 楽曲情報配信装置および車載情報装置
JP2009199383A (ja) * 2008-02-22 2009-09-03 Toyota Motor Corp 音響システム
JP2010192012A (ja) * 2009-02-16 2010-09-02 Fujifilm Corp 携帯型音楽再生装置
JP2015162837A (ja) * 2014-02-28 2015-09-07 学校法人 中央大学 音補正出力システム及び音補正出力装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0678998A (ja) * 1992-08-31 1994-03-22 Olympus Optical Co Ltd 音響信号制御装置
JP5194614B2 (ja) * 2007-07-31 2013-05-08 ヤマハ株式会社 音場形成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177790A (ja) * 2002-11-28 2004-06-24 Yamaha Corp 楽曲情報配信装置および車載情報装置
JP2009199383A (ja) * 2008-02-22 2009-09-03 Toyota Motor Corp 音響システム
JP2010192012A (ja) * 2009-02-16 2010-09-02 Fujifilm Corp 携帯型音楽再生装置
JP2015162837A (ja) * 2014-02-28 2015-09-07 学校法人 中央大学 音補正出力システム及び音補正出力装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025024703A (ja) * 2019-03-19 2025-02-20 ソニーグループ株式会社 音響処理装置、音響処理システム、音響処理方法、および音響処理プログラム
JP7827110B2 (ja) 2019-03-19 2026-03-10 ソニーグループ株式会社 音響処理方法、音響処理システム、および音響処理プログラム
WO2021192072A1 (ja) * 2020-03-25 2021-09-30 ヤマハ株式会社 室内用音環境生成装置、音源装置、室内用音環境生成方法および音源装置の制御方法
CN118648054A (zh) * 2022-02-07 2024-09-13 三菱电机株式会社 声音环境控制系统以及声音环境控制方法
CN117334207A (zh) * 2022-06-24 2024-01-02 华为技术有限公司 一种声音处理方法及电子设备
WO2025197425A1 (ja) * 2024-03-22 2025-09-25 ヤマハ株式会社 スピーカ装置、音信号処理方法及びプログラム

Also Published As

Publication number Publication date
JP6798561B2 (ja) 2020-12-09
JPWO2018079846A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
JP6385389B2 (ja) パーソナライズされたオーディオを提供するためのシステムと方法
CN107018460B (zh) 具有头部跟踪的双耳头戴式耳机呈现
RU2682864C1 (ru) Устройство и способ обработки аудиоданных, и его программа
JP6798561B2 (ja) 信号処理装置、信号処理方法およびプログラム
JP5857071B2 (ja) オーディオ・システムおよびその動作方法
JP5672748B2 (ja) 音場制御装置
JP6377249B2 (ja) オーディオ信号の強化のための装置と方法及び音響強化システム
JP6737342B2 (ja) 信号処理装置および信号処理方法
CN113270082A (zh) 一种车载ktv控制方法及装置、以及车载智能网联终端
US20160212563A1 (en) Audio Signal Processing Apparatus
JP6187131B2 (ja) 音像定位装置
JP5194614B2 (ja) 音場形成装置
JP6691737B2 (ja) 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
JP2005051801A (ja) 音像定位装置
CN118741405B (zh) 音频信号混合重放方法、装置、电子设备和存储介质
JP6810773B2 (ja) 再生装置、再生方法、及び、プログラム
JP2013239795A (ja) デジタルフィルタの係数設定装置、係数設定方法、係数設定プログラム及びデジタルフィルタを用いた音声再生装置
WO2016135921A1 (ja) 車載用音楽再生装置、音楽再生方法、及び、プログラム
JP2016157088A (ja) 楽曲再生システム、端末装置、楽曲データ提供方法、及び、プログラム
JP2021099535A (ja) 再生装置、再生方法、及び、プログラム
JP2016157084A (ja) 再生装置、再生方法、及び、プログラム
JP2016157087A (ja) 楽曲再生システム、サーバ、楽曲データ提供方法、及び、プログラム
JP2016157082A (ja) 再生装置、再生方法、及び、プログラム
JP2013098824A (ja) 音響再生装置、音響再生システム、音響再生方法および映像表示装置
JP2019219675A (ja) 音声信号出力装置、音声信号出力方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17863478

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547227

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17863478

Country of ref document: EP

Kind code of ref document: A1