WO2017038260A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2017038260A1
WO2017038260A1 PCT/JP2016/070724 JP2016070724W WO2017038260A1 WO 2017038260 A1 WO2017038260 A1 WO 2017038260A1 JP 2016070724 W JP2016070724 W JP 2016070724W WO 2017038260 A1 WO2017038260 A1 WO 2017038260A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
signal
information processing
processing apparatus
information
Prior art date
Application number
PCT/JP2016/070724
Other languages
English (en)
French (fr)
Inventor
宏久 渋谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20158339.0A priority Critical patent/EP3751451A1/en
Priority to JP2017537630A priority patent/JP6787325B2/ja
Priority to CN201680047015.0A priority patent/CN108293162B/zh
Priority to EP16841292.2A priority patent/EP3343948B1/en
Priority to US15/753,071 priority patent/US10726825B2/en
Publication of WO2017038260A1 publication Critical patent/WO2017038260A1/ja
Priority to US16/800,915 priority patent/US11017758B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1783—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions
    • G10K11/17837—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase handling or detecting of non-standard events or conditions, e.g. changing operating modes under specific operating conditions by retaining part of the ambient acoustic environment, e.g. speech or alarm signals that the user needs to hear
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17879—General system configurations using both a reference signal and an error signal
    • G10K11/17881—General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17885—General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • noise reduction systems capable of reducing noise in the external environment have become widespread in order to obtain a good reproduction sound field space even outdoors.
  • Patent Document 1 discloses a noise reduction system that reduces noise components in a band below a specific frequency.
  • Patent Document 2 noise collected from a microphone provided inside a casing attached to the user's ear, noise collected from a microphone provided outside the casing, and A noise reduction system is disclosed that generates a noise reduction signal using.
  • Patent Document 3 discloses that the characteristics of collected noise are analyzed, and a noise reduction signal is generated with a filter coefficient selected based on the analyzed noise characteristics.
  • Patent Documents 1 to 3 described above are at least one of an audio signal, a noise reduction signal, and an external sound monitor signal corresponding to the user's action and situation when listening to audio. However, it did not perform appropriate signal processing.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program that allow a user to listen to a sound signal more appropriately.
  • an action recognition unit that recognizes the action of the user based on sensing information of at least one of the user and the environment, and a sound that is heard by the user based on the recognized action of the user
  • An information processing apparatus includes a processing control unit that controls signal processing for at least one of a signal, a noise reduction signal, and an external sound monitor signal, and a signal processing unit that executes the signal processing.
  • the user's behavior is recognized based on sensing information of at least one of the user or the environment, and the audio heard by the user based on the recognized user's behavior.
  • an information processing method including controlling signal processing for at least one of a signal, a noise reduction signal, and an external sound monitor signal by an arithmetic processing device and executing the signal processing.
  • the computer recognizes the user's behavior based on the sensing information of at least one of the user and the environment, and the user recognizes the user's behavior based on the recognized user's behavior.
  • a program is provided that functions as a processing control unit that controls signal processing for at least one of an audio signal to be listened to, a noise reduction signal, and an external sound monitor signal, and a signal processing unit that executes the signal processing. .
  • the present disclosure it is possible to control signal processing for at least one of an audio signal, a noise reduction signal, and an external sound monitor signal based on the recognized behavior by recognizing the user's behavior.
  • the user can listen to the audio signal more appropriately.
  • FIG. 3 is an explanatory diagram illustrating an example of use of an information processing device according to a first embodiment of the present disclosure.
  • FIG. 3 is a block diagram illustrating a functional configuration of the information processing apparatus according to the embodiment.
  • FIG. It is explanatory drawing explaining an example of an external audio
  • 2 is a block diagram illustrating a circuit configuration and the like of the information processing apparatus according to the embodiment.
  • FIG. It is the flowchart figure which showed the operation example of the information processing apparatus which concerns on the same embodiment. It is the flowchart figure which showed the actual example of operation
  • FIG. 1 is an explanatory diagram for explaining a usage example of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 is, for example, an audio player that generates an audio signal.
  • the information processing apparatus 1 recognizes the action of the user 3 from sensing information of at least one of the user 3 and the environment measured by various sensors, and causes the user 3 to listen based on the recognized action of the user 3, Control generation of at least one of a noise reduction signal and an external sound monitor signal.
  • the audio signal generated by the information processing apparatus 1 may be listened to by the user 3 via an audio device 2 such as a connected headphone, for example, as shown in FIG.
  • the information processing apparatus 1 reduces the noise of the external environment heard by the user 3 based on the sound collected in the external environment based on the recognized action of the user 3.
  • an external monitor signal for the user 3 to confirm the sound of the external environment may be generated.
  • the external monitor signal may be listened to by the user 3 alone, or may be listened to by the user 3 while being superimposed with the audio content.
  • the information processing apparatus 1 may control acoustic processing performed on the audio signal of the audio content (hereinafter also simply referred to as a content signal) based on the recognized action of the user 3. Furthermore, the information processing apparatus 1 may control the amplification process performed on the content signal based on the recognized user action. Thereby, the information processing apparatus 1 can make the user listen to the sound on which the signal processing corresponding to the user's behavior is performed.
  • the information processing apparatus 1 may be a portable audio player including various sensors capable of measuring sensing information of at least one of the user 3 and the environment, but a smartphone, a wearable terminal, or the like It may be. Further, the information processing apparatus 1 may be, for example, a headphone provided with a sounding body such as a speaker, or an acoustic device such as an earphone. Further, the information processing apparatus 1 is an information processing server that receives sensing information of at least one of the user 3 and the environment via a network and transmits an audio signal subjected to signal processing via the network to the acoustic device 2. May be.
  • the various sensors include, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, an atmospheric pressure sensor, a temperature sensor, an illuminance sensor, a pulse wave sensor, a GNSS (Global Navigation Satellite System) sensor, a microphone, and the like. These various sensors may be included in the information processing apparatus 1 or may be included in an apparatus outside the information processing apparatus 1. When various sensors are provided in an apparatus outside the information processing apparatus 1, the information processing apparatus 1 acquires sensing information via a communication interface or an external input interface.
  • the information processing apparatus 1 can recognize various actions of the user 3 based on the sensing information of at least one of the user 3 and the environment measured by such various sensors. Note that an action recognition algorithm based on machine learning is preferably used for the action recognition of the user 3 by the information processing apparatus 1. As an action of the user 3 recognized by the information processing apparatus 1, for example, actions shown in Table 1 below can be exemplified. Further, in addition to the action of the user 3, the information processing apparatus 1 determines whether or not the user 3 holds the information processing apparatus 1 by hand, and the user 3 operates the information processing apparatus 1 by hand. It can be recognized whether or not there is.
  • an information processing apparatus 1 appropriate signal processing is performed on at least one of an audio signal, a noise reduction signal, and an external sound monitor signal according to the action, situation, use case, and the like of the user 3. Can be applied.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus 1 according to the present embodiment
  • FIG. 3 is an explanatory diagram illustrating an example of an external audio monitor function.
  • the information processing apparatus 1 includes a sensor unit 100, an action recognition unit 110, a processing control unit 120, a content storage unit 130, a microphone unit 140, a signal processing unit 150, and an output unit 160. And comprising.
  • the sensor unit 100 includes various sensors and measures sensing information of at least one of the user 3 and the environment used in the action recognition unit 110.
  • the various sensors included in the sensor unit 100 are, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, an atmospheric pressure sensor, a temperature sensor, an illuminance sensor, a pulse wave sensor, a GNSS sensor, a microphone, and the like.
  • These various sensors are, for example, movement information, such as movement speed, inclination, azimuth, vibration, and position of the information processing apparatus 1 (that is, the user 3 having the information processing apparatus 1), atmospheric pressure and temperature around the information processing apparatus 1.
  • environmental information such as illuminance, sound pressure, and voice
  • body information such as body temperature, blood pressure, and pulse of the user 3 having the information processing apparatus 1
  • sensing information in order for the action recognition unit 110 to accurately recognize the action of the user 3 in finer sections, it is preferable that the number of types of various sensors included in the sensor unit 100 is larger. Further, the sensor unit 100 may be provided outside the information processing apparatus 1 as long as it can measure sensing information of at least one of the user 3 and the environment.
  • the behavior recognition unit 110 recognizes the behavior of the user 3 based on the sensing information of at least one of the user 3 and the environment measured by the sensor unit 100.
  • JP 2006-340903, JP 2011-81431, JP 2012-107992 For the behavior recognition of the user 3 by the behavior recognition unit 110, for example, an algorithm as disclosed in JP 2006-340903, JP 2011-81431, JP 2012-107992 can be used.
  • the action recognition unit 110 calculates autocorrelation of signals from a plurality of accelerometers that detect linear motions orthogonal to each other and a plurality of gyro sensors that detect rotational motions of rotation axes orthogonal to each other.
  • the walking frequency of the user 3 may be calculated.
  • the action recognition unit 110 can recognize whether the user 3 is walking, running, or stopped from the walking frequency of the user 3.
  • the action recognition unit 110 determines whether the half cycle of the vertical acceleration waveform corresponds to one step or two steps from the waveform shape, and detects the walking state of the user 3 based on the determination result. May be. Thereby, the action recognition unit 110 can recognize from the walking state of the user 3 whether the user is walking, running, or stopped.
  • the action recognition unit 110 assigns a score in advance to each combination of sensing information and the action of the user 3, and calculates the action score of the user 3 corresponding to the measured sensing information. You may recognize actions. For example, the action recognition unit 110 may integrate the action scores corresponding to the measured sensing information, and may recognize the action with the highest score as the action of the user 3.
  • the behavior recognition unit 110 may recognize the behavior of the user 3 from sensing information of at least one of the user 3 and the environment, preferably by behavior recognition using a machine learning algorithm. Specifically, the behavior recognition unit 110 generates a behavior recognition engine for recognizing the behavior of the user 3 using a machine learning algorithm, and recognizes the behavior of the user 3 from the sensing information using the generated behavior recognition engine. May be.
  • Various known algorithms can be used as an action recognition algorithm by machine learning.
  • algorithms such as a support vector machine, a neural network, a hidden Markov model, a k-average method, a k-nearest neighbor method, and a naive Bayes classifier are used. Can be used.
  • the number and fineness of the action categories of the user 3 recognized by the action recognition unit 110 may be any number and fineness so that each action of the user 3 can be recognized with appropriate accuracy. It can be set as appropriate according to the type of sensing information used. Moreover, the recognition of the action of the user 3 by the action recognition unit 110 described above may be always executed, or may be executed only when the execution instruction input by the user 3 is performed.
  • the process control unit 120 controls signal processing executed by the signal processing unit 150 based on the action of the user 3. Specifically, the process control unit 120 may control the generation of a noise reduction signal that cancels external sound collected by the microphone unit 140. Further, the processing control unit 120 may control generation of an external monitor signal that causes the user 3 to listen to the external sound collected by the microphone unit 140. Further, the processing control unit 120 may control acoustic processing such as an equalizer performed on the content signal of the audio content stored in the content storage unit 130 and amplification processing for adjusting the volume. The process control unit 120 controls signal processing for at least one of the audio signal, the noise reduction signal, and the external sound monitor signal based on the action of the user 3.
  • processing control unit 120 may control the selection of the audio content to be reproduced based on the recognized action of the user 3 in addition to or instead of the signal processing.
  • the process control unit 120 may control generation of at least one of a noise reduction signal that cancels the external sound or an external monitor signal that causes the user 3 to listen to the external sound based on the action of the user 3.
  • the processing control unit 120 when the user 3 is exercising such as running and skiing, the processing control unit 120 generates an external monitor signal including external sound in order to allow the user 3 to hear the sound of the external environment. May be controlled.
  • the processing control unit 120 may similarly control generation of an external monitor signal including external sound. Thereby, the process control part 120 can make the user 3 listen to the sound of an external environment, when the user 3 is performing the action which needs to pay attention to external environments, such as an exercise
  • the processing control unit 120 may control generation of a noise reduction signal that cancels the external sound in order to reduce the sound of the external environment.
  • the processing control unit 120 is suitable for listening to the audio content for the user 3 by canceling the sound of the external environment when the user 3 is performing an action with a low need for paying attention to the external environment.
  • a sound field environment can be provided.
  • the noise reduction signal that cancels the external sound can be generated, for example, by inverting the phase of the collected external sound signal.
  • the processing control unit 120 causes the user 3 to listen only to the voice that the user 3 needs among the external voices.
  • the generation of an external monitor signal in which the intensity of the audio signal in the low frequency band is reduced may be controlled.
  • the processing control unit 120 selectively cancels the noise sound, thereby enabling the external sound and the sound.
  • a sound field environment suitable for listening to content can be provided.
  • the processing control unit 120 can also control generation of an external monitor signal that causes the user 3 to selectively listen to the frequency band of the driving sound of the automobile.
  • the external monitor signal in which the specific frequency band is selectively canceled is a noise reduction signal having noise reduction characteristics in a frequency band lower than the human voice band (for example, 300 Hz or less).
  • an external audio signal can be generated by superimposing them.
  • Such an external monitor signal can also be generated by signal processing of external sound with a band stop filter that reduces a signal in a specific frequency band.
  • the processing control unit 120 When the user 3 is moving, the processing control unit 120 generates an external monitor signal in which the intensity of the audio signal in the frequency band corresponding to the moving speed of the user 3 is selectively reduced among the external sounds. You may control. Specifically, the processing control unit 120 may prepare a plurality of band stop filters having different frequency bands that can be reduced, and may perform signal processing of external sound using different band stop filters depending on the moving speed of the user 3. . It is considered that the wind noise generated with the movement of the user 3 changes in frequency and intensity depending on the moving speed of the user 3. Therefore, the processing control unit 120 effectively cancels noise sounds such as wind noises by changing the frequency band for reducing the signal intensity in accordance with the moving speed of the user 3, so that the external sound and the audio are transmitted to the user 3. A sound field environment suitable for listening to content can be provided.
  • the processing control unit 120 may control the acoustic processing performed on the content signal such as audio content based on the action of the user 3.
  • the acoustic processing includes, for example, equalizer processing that changes the distribution of frequency components of the content signal, and pseudo-surround processing that gives a sense of reality to the content signal by using human auditory characteristics.
  • the equalizer processing is performed in order to superimpose the content signal of the audio content and the noise reduction signal or the external monitor signal in addition to the equalizer processing applied to the content signal in order to change the sound quality of the audio content. It also includes equalizer processing applied to the signal.
  • the processing control unit 120 may control the equalizer processing so as to increase the signal strength of the low frequency band of the content signal.
  • the processing control unit 120 increases the signal strength of the low frequency band of the audio content when the user 3 is acting to increase the noise sound of the low frequency band of the external audio, thereby allowing the audio content by the user 3 to Can be easily heard.
  • the processing control unit 120 may control the pseudo surround processing so as to give a higher presence to the content signal.
  • the process control part 120 can control the signal processing of a content signal so that the feeling of the user 3 who is exercising can be enhanced by enhancing the sense of reality of the audio content listened to by the user 3.
  • the process control unit 120 performs the amplification process performed on the content signal such as the audio content based on the action of the user 3.
  • the amplification process is a signal process for controlling the volume of the audio content, for example.
  • the processing control unit 120 may reduce the amplification amount of the amplification process performed on the content signal. Thereby, the process control part 120 can concentrate the consciousness of the user 3 by driving
  • FIG. 1 the processing control unit 120 may reduce the amplification amount of the amplification process performed on the content signal.
  • the processing control unit 120 may increase the amplification amount of the amplification process performed on the content signal. Thereby, when the user 3 is acting to generate a large external sound, the processing control unit 120 can easily listen to the sound content by the user 3 by increasing the volume of the sound content heard by the user 3. Can be.
  • what kind of signal processing the processing control unit 120 assigns to the recognized action of the user 3 is not limited to the above-described example, and can be arbitrarily set.
  • the control of the processing control unit 120 may be set in advance, or may be appropriately set by the user 3 via software or the like.
  • the content storage unit 130 is a storage device included in the information processing apparatus 1 and stores audio content listened to by the user 3.
  • the content storage unit 130 may be a known storage device, for example, a flash memory, an SSD (Solid State Drive) device, an HDD (Hard Disk Drive) device.
  • the audio content listened to by the user 3 may be stored in a storage device inside the information processing apparatus 1 as illustrated in FIG. 2, but the technology according to the present disclosure is limited to such an example.
  • the audio content may be stored in an external storage device and may be input to the information processing device 1 via an external input interface, or may be streamed to the information processing device 1 via a network or the like.
  • the microphone unit 140 includes an acoustic device such as a microphone, and collects external sound used by the signal processing unit 150 to generate at least one of a noise reduction signal and an external sound monitor signal.
  • the microphone unit 140 may be included in the information processing apparatus 1 or may be included in the acoustic device 2 used for listening to audio content.
  • the microphone unit 140 may be provided outside the housing attached to the ear portion of the user 3 of the audio device 2, and is provided inside the housing. It may be provided both outside and inside the housing.
  • the signal processing unit 150 performs signal processing on the external sound collected by the microphone unit 140, thereby generating at least one of a noise reduction signal and an external sound monitor signal. In addition, the signal processing unit 150 performs signal processing on the audio content stored in the content storage unit 130 and generates an audio signal for the user 3 to listen to. The content of the signal processing executed by the signal processing unit 150 is controlled by the processing control unit 120 based on the recognized action of the user 3.
  • the signal processing unit 150 is a noise reduction signal that cancels the external sound collected by the microphone unit 140 or an external monitor signal that allows the user 3 to listen to the external sound collected by the microphone unit 140. Generate at least one of them.
  • the signal processing unit 150 performs acoustic processing and amplification processing on the content signal of the audio content stored in the content storage unit 130.
  • the signal processing unit 150 generates an audio signal to be listened to by the user 3 by superimposing the noise reduction signal or the external monitor signal and the content signal subjected to various signal processing. Thereby, the signal processing part 150 can perform optimal signal processing according to the action and the situation of the user 3.
  • the signal processing by the signal processing unit 150 may always be executed, or may be executed only when the execution instruction input by the user 3 is performed.
  • the output unit 160 outputs at least one of an audio signal, a noise reduction signal, and an external sound monitor signal generated by the signal processing unit 150.
  • the output unit 160 may be an audio device such as a speaker that outputs at least one of an audio signal, a noise reduction signal, and an external sound monitor signal generated by the signal processing unit 150 to the user 3.
  • the output unit 160 is a USB (Universal Serial Bus) terminal for outputting at least one of the audio signal, the noise reduction signal, and the external sound monitor signal generated by the signal processing unit 150 to the external acoustic device 2, and an optical audio. It may be an external output interface including a terminal.
  • FIG. 4 is a block diagram illustrating a circuit configuration and the like of the information processing apparatus 1 according to the present embodiment.
  • sensing information of at least one of the user 3 and the environment is measured by various sensors 101 corresponding to the sensor unit 100.
  • an action recognition engine (ACT) 111 corresponding to the action recognition unit 110 recognizes the action of the user 3 based on the measured sensing information of at least one of the user 3 and the environment.
  • the processor 121 corresponding to the processing control unit 120 uses a digital signal processor (DSP) 153, an equalizer circuit (EQ) 155, and a power amplifier circuit 157. Control the signal processing that is performed.
  • DSP digital signal processor
  • EQ equalizer circuit
  • the microphone 141 corresponding to the microphone unit 140 collects external sound.
  • the collected external sound is amplified by a microphone amplifier circuit 151 and then converted into a digital signal by an A / D conversion circuit (Analog to Digital Converter: ADC) 152.
  • ADC Analog to Digital Converter
  • the digital signal processor 153 Based on the control by the processor 121, the digital signal processor 153 performs signal processing on the audio signal of the externally converted audio, and generates at least one of a noise reduction signal and an external sound monitor signal. At least one of the generated noise reduction signal and the external sound monitor signal is converted into an analog signal by a D / A conversion circuit (Digital to Analog Converter: DAC) 154.
  • D / A conversion circuit Digital to Analog Converter
  • audio content is stored in the storage device 131 corresponding to the content storage unit 130, and the equalizer circuit 155 performs acoustic processing on the audio content based on control by the processor 121.
  • the addition circuit 156 adds at least one of the noise reduction signal or the external sound monitor signal converted by the D / A conversion circuit 154 and the content signal of the audio content acoustically processed by the equalizer circuit 155.
  • the added signal is subjected to amplification processing based on the control of the processor 121 by the power amplifier circuit 157.
  • the amplified signal is output to the user 3 so that it can be heard by a speaker 161 corresponding to the output unit 160. That is, the microphone amplifier circuit 151, the A / D conversion circuit 152, the digital signal processor 153, the D / A conversion circuit 154, the equalizer circuit 155, the addition circuit 156, and the power amplifier circuit 157 correspond to the signal processing unit 150.
  • the information processing apparatus 1 enables the audio signal, the noise reduction signal, or the external sound according to the action of the user 3 recognized by at least one of the sensing information of the user 3 or the environment.
  • Appropriate signal processing can be performed on at least one of the monitor signals.
  • information processing by the information processing apparatus 1 is realized by cooperation between software and hardware.
  • Examples of hardware included in the information processing apparatus 1 include a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) that are connected to each other by a bridge or an internal bus. it can.
  • the CPU functions as an arithmetic processing device or a control device, and controls the overall operation of the information processing device 1 according to various programs stored in a ROM or the like.
  • the ROM stores programs and calculation parameters used by the CPU
  • the RAM temporarily stores programs used in the execution of the CPU, parameters that change as appropriate during the execution, and the like.
  • a storage medium storing the computer program is also provided.
  • FIG. 5 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment. Note that the operation example shown below is merely an example, and the operation of the information processing apparatus 1 according to the present embodiment is not limited to the following example.
  • the sensor unit 100 measures sensing information of at least one of the user 3 and the environment (S101).
  • the behavior recognition unit 110 recognizes the behavior of the user 3 based on the measured sensing information of at least one of the user 3 and the environment (S103).
  • the processing control unit 120 controls the processing mode of the signal processing based on the action of the user 3 (S105).
  • the signal processing unit 150 performs signal processing on the external sound collected by the microphone unit 140 according to the processing mode controlled by the processing control unit 120, and at least one of a noise reduction signal and an external sound monitor signal. (S107). Further, the signal processing unit 150 performs signal processing on the content signal of the audio content stored in the content storage unit 130 with an equalizer according to the processing mode controlled by the processing control unit 120 (S109). Furthermore, the signal processing unit 150 amplifies the content signal of the audio content so that the sound volume is in accordance with the processing mode controlled by the processing control unit 120 (S111). Subsequently, the signal processing unit 150 superimposes at least one of the generated noise reduction signal or the external sound monitor signal and the signal signal-processed content signal (S113). Thereafter, the output unit 160 outputs the generated signal to the user 3 or the audio equipment 2 (S115).
  • the information processing apparatus 1 can perform appropriate signal processing on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal according to the action of the user 3.
  • FIGS. 6 and 7 are flowcharts showing an example of the operation of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 recognizes the walking of the user 3 by action recognition using sensing information for the user 3 (S211), and the signal The process is controlled to the walking mode (S212). Further, the information processing apparatus 1 performs signal processing in the walking mode, and generates an audio signal to be listened to by the user 3 (S213).
  • the signal processing in the walking mode may include, for example, generation of an external monitor signal so that the user 3 can listen to the external sound.
  • the information processing apparatus 1 recognizes that the user 3 is running by action recognition using sensing information for the user 3 (S221), and performs signal processing.
  • the mode is controlled (S222). Further, the information processing apparatus 1 performs signal processing in the running mode, and generates an audio signal that is heard by the user 3 (S223).
  • the signal processing in the running mode may include, for example, generation of an external monitor signal in which low frequency band sound such as wind noise is reduced.
  • the information processing apparatus 1 When the user 3 stops (S230), the information processing apparatus 1 recognizes that the user 3 has stopped by action recognition using sensing information for the user 3 (S231), and controls the signal processing to the stop mode. (S232). Further, the information processing apparatus 1 performs signal processing in the stop mode, and generates an audio signal to be listened to by the user 3 (S233).
  • the signal processing in the stop mode may include, for example, generation of a noise reduction signal that cancels the external sound.
  • the information processing apparatus 1 recognizes the lift ride of the user 3 by action recognition using sensing information for the user 3 and the environment. (S311), the signal processing is controlled to the lift mode (S312). Further, the information processing apparatus 1 performs signal processing in the lift mode, and generates an audio signal that is heard by the user 3 (S313).
  • the signal processing in the lift mode may include, for example, generation of a noise reduction signal that cancels the external sound.
  • the information processing apparatus 1 recognizes that the user 3 is sliding on the slope by action recognition using sensing information for the user 3 and the environment (S321).
  • the signal processing is controlled to the ski mode (S322). Further, the information processing apparatus 1 performs signal processing in the ski mode, and generates an audio signal to be listened to by the user 3 (S323).
  • the signal processing in the ski mode may include, for example, generation of an external monitor signal in which low-frequency sound such as wind noise is reduced.
  • the information processing apparatus 1 when the user 3 has finished sliding and is walking on the slope (S330), the information processing apparatus 1 causes the user 3 to stop sliding and walk by action recognition using sensing information for the user 3 and the environment. (S331) and control the signal processing to the walking mode (S332). Further, the information processing apparatus 1 performs signal processing in the walking mode, and generates an audio signal to be listened to by the user 3 (S333).
  • the signal processing in the walking mode may include, for example, generation of an external monitor signal so that the user 3 can listen to the external sound.
  • appropriate signal processing is performed on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal according to the action of the user 3. Can be applied.
  • FIG. 8 is a schematic diagram for explaining the outline of the information processing apparatus 1 according to this modification.
  • the information processing apparatus 1 according to this modification includes microphones that pick up external sound both inside and outside of a housing that is attached to the ear of the user 3, and external sound picked up by each microphone. Based on this, a noise reduction signal is generated.
  • the information processing apparatus 1 is specifically a headphone including a sounding body 431 in a housing 401 attached to the ear portion of the user 3.
  • the housing 401 is connected to a housing (not shown) that covers the ear portion of the user 3 on the opposite side by the headband 402.
  • microphones 411 and 412 are provided outside and inside the housing 401, respectively, and external sounds inside and outside the housing 401 are collected.
  • the noise canceling circuit 421 generates a noise reduction signal based on the external sound collected by each of the microphones 411 and 412, and synthesizes each of the generated noise reduction signals to thereby generate a combined noise reduction signal. Is generated.
  • the content signal S of the audio content is signal-processed by the equalizer circuit 422.
  • the content-processed content signal S is added to the synthesized noise reduction signal by the adder circuit 423, amplified by the power amplifier circuit 424, and converted into sound by the sound generator 431.
  • a method of reducing noise using external sound collected outside the casing 401 is also called a feedback method, and although a band where noise can be reduced is generally narrow, a relatively large reduction is possible. It is a method.
  • a method for reducing noise using external sound collected inside the housing 401 is also referred to as a feed-forward method, and generally has a wide band where noise can be reduced, but sound emitted from the sounding body 431. This may cause oscillation.
  • noise reduction that combines the advantages of the feedback method and the feedforward method can be performed by performing noise reduction by combining the feedback method and the feedforward method.
  • the information processing apparatus 1 recognizes the action of the user 3 based on the sensing information, and performs the above-described noise reduction or the like according to the recognized action of the user 3, so that the user 3 more appropriately transmits the audio signal. Allows listening.
  • the information processing apparatus 1A according to the present embodiment recognizes the action of the user 3 by further using the analysis result of the external sound collected by the microphone unit 140 in addition to the sensing information of at least one of the user 3 and the environment. Thus, the accuracy of recognizing the action of the user 3 is improved.
  • FIG. 9 is a block diagram showing an internal configuration of the information processing apparatus 1A according to the present embodiment.
  • the information processing apparatus 1A includes a sensor unit 100, a behavior recognition unit 110A, a processing control unit 120, a content storage unit 130, a microphone unit 140, a signal processing unit 150, and an output unit 160. And an analysis unit 170.
  • the analyzing unit 170 determines the environment around the user 3 by analyzing the external sound collected by the microphone unit 140. For example, the analysis unit 170 may determine the environment around the user 3 based on the intensity and frequency band of noise sound included in the external sound. Specifically, the analysis unit 170 regards, as external noise, a voice in a frequency band of a human voice band (for example, 300 Hz) or less as noise sound, and based on the intensity and frequency distribution of the noise sound, the user The surrounding environment of 3 may be determined. For example, examples of the environment around the user 3 that can be determined by the analysis unit 170 include “in a train”, “in an aircraft”, “inside a train or other than an aircraft”, and the like.
  • the behavior recognition unit 110A recognizes the behavior of the user 3 based on the sensing information of at least one of the user 3 and the environment measured by the sensor unit 100 and the environment around the user 3 analyzed by the analysis unit 170.
  • some of the actions of the user 3 are closely related to the environment around the user 3. For example, when the user 3 is on a vehicle such as an automobile, a bus, a train, or an aircraft, the environment around the user 3 is limited to the inside of the vehicle on which the user 3 is riding.
  • the behavior recognition unit 110A recognizes the behavior of the user 3 based on the environment around the user 3. May be. Specifically, when the analysis unit 170 determines that the environment around the user 3 is inside a car, a bus, a train, an aircraft, or the like, the behavior recognition unit 110A determines that the user 3 is a car, a bus, a train, Or you may recognize that it is on the plane. Thereby, the action recognition unit 110A can recognize the action of the user 3 with higher accuracy.
  • the action recognition unit 110A may recognize the action of the user 3 by using the sensing information of at least one of the user 3 and the environment preferentially. For example, the action recognition unit 110A first recognizes the action of the user 3 using at least one of the sensing information of the user 3 or the environment, and only when the action of the user 3 cannot be recognized from the sensing information. The behavior of the user 3 may be recognized based on the surrounding environment.
  • FIG. 10 is a flowchart showing an example of the operation of the information processing apparatus 1A according to this embodiment.
  • FIG. 10 shows an example of the operation of the information processing apparatus 1 ⁇ / b> A when the user 3 gets on the train from the home.
  • the information processing apparatus 1A recognizes the walking of the user 3 by action recognition using sensing information for the user 3 (S411). . Further, the information processing apparatus 1A determines that the environment around the user 3 is outside the train or the aircraft from the noise component of the external sound (S412).
  • the information processing apparatus 1A recognizes the action of the user 3 as walking and controls the signal processing to the walking mode (S413). Further, the information processing apparatus 1A performs signal processing in the walking mode, and generates an audio signal to be listened to by the user 3 (S414).
  • the signal processing in the walking mode may include, for example, generation of an external monitor signal so that the user 3 can listen to the external sound.
  • the information processing apparatus 1A recognizes that the user 3 is on the train by action recognition using the sensing information for the user 3 (S421). Further, the information processing apparatus 1A determines that the environment around the user 3 is in the train from the noise component of the external sound (S422).
  • the information processing apparatus 1A recognizes that the user 3 is on the train and controls the signal processing to the train mode (S433). Further, the information processing apparatus 1A performs signal processing in the train mode, and generates an audio signal to be listened to by the user 3 (S434).
  • the signal processing in the walking mode may include, for example, generation of a noise reduction signal that cancels the external sound so as to provide a sound field environment suitable for listening to the sound content.
  • the information processing apparatus 1A according to the present embodiment can recognize the action of the user 3 with higher accuracy by further based on the environment around the user 3 determined from the collected external sound. Therefore, the information processing apparatus 1A according to the present embodiment can perform appropriate signal processing on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal.
  • the information processing apparatus 1B according to the present embodiment further uses the action pattern of the user 3 recognized from the history of the position information of the user 3 acquired by the position information acquisition unit 180, thereby allowing the user 3 with higher accuracy and granularity. Recognize the behavior.
  • FIG. 11 is a block diagram showing an internal configuration of the information processing apparatus 1A according to the present embodiment.
  • FIG. 12 is a schematic diagram in which the location information history of the user 3 acquired by the location information acquisition unit 180 is plotted on a map.
  • the information processing apparatus 1B includes a sensor unit 100, a behavior recognition unit 110B, a processing control unit 120, a content storage unit 130, a microphone unit 140, a signal processing unit 150, and an output unit 160. And a position information acquisition unit 180 and a behavior pattern recognition unit 190.
  • the position information acquisition unit 180 acquires position information of the information processing apparatus 1B (that is, position information of the user 3).
  • the position information acquisition unit 180 may be a GNSS sensor that calculates the position of the information processing apparatus 1B from signals with time information transmitted from a plurality of artificial satellites.
  • the position information acquisition unit 180 may be an A-GNSS (Assisted Global Navigation System) that calculates the position of the information processing apparatus 1B by receiving information for assisting positioning by GNSS from a network or the like.
  • the position information acquisition unit 180 calculates the position of the information processing apparatus 1B by the triangulation method using the distance from the base station in the mobile communication network or the distance from the Wi-Fi (registered trademark) access point. May be.
  • the behavior pattern recognition unit 190 recognizes the behavior pattern of the user 3 based on the history of the location information of the user 3 acquired by the location information acquisition unit 180.
  • the behavior pattern recognition unit 190 plots the location information 181 of the user 3 acquired by the location information acquisition unit 180 in time series on the map, thereby changing the location information of the user 3. Can be obtained.
  • the behavior pattern recognition unit 190 determines that the user 3 is on the train during the corresponding time, for example, when the position information of the user 3 is transitioning on the track from the history of the transition of the position information. can do. Further, the behavior pattern recognition unit 190 can determine that the user 3 is working during the corresponding time when the user 3 is in a predetermined building from 9:00 to 17:00.
  • the behavior pattern recognition unit 190 accumulates the above-described history of the transition of the position information of the user 3 for a predetermined period (for example, one month). Can be recognized more accurately.
  • the behavior pattern recognition unit 190 can determine that the user 3 is working during the corresponding time. In addition, when the user 3 is in a predetermined building during many holidays, the behavior pattern recognition unit 190 can determine that the user 3 is at home during the corresponding time. In addition, the behavior pattern recognition unit 190 can determine that the user 3 is asleep during the corresponding time when the user 3 is in a predetermined building from late night to early morning on holidays and weekdays. Furthermore, when the user 3 is in a building such as a department store during the daytime of a certain holiday, the behavior pattern recognition unit 190 can determine that the user 3 is shopping during the corresponding time.
  • the action pattern recognition unit 190 can recognize the action pattern of the user 3 by accumulating the history of the position information of the user 3 as a life log.
  • the method disclosed in Japanese Patent Application Laid-Open No. 2011-81431 can be used as the method for recognizing the behavior pattern of the user 3 and the recognized behavior pattern.
  • the behavior recognition unit 110 ⁇ / b> B recognizes the behavior of the user 3 based on the sensing information of at least one of the user 3 and the environment measured by the sensor unit 100 and the behavior pattern of the user 3 recognized by the behavior pattern recognition unit 190. .
  • the behavior recognition unit 110B when the behavior recognition unit 110B cannot recognize the behavior of the user 3 from the sensing information of at least one of the user 3 and the environment, the behavior recognition unit 110B is determined to be most appropriate at the current time and the current position based on the behavior pattern of the user 3. The behavior may be recognized as the behavior of the user 3.
  • the action recognition unit 110B excludes actions that can be excluded at the current time and current position based on the action pattern of the user 3 in advance, and then, based on the sensing information of at least one of the user 3 and the environment, the user 3 You may recognize the behavior.
  • the action recognition unit 110B can recognize the action of the user 3 with high accuracy and granularity by further based on the action pattern of the user 3 recognized from the history of the position information of the user 3.
  • the information processing apparatus 1B according to the present embodiment recognizes the action of the user 3 with higher accuracy and granularity by further using the action pattern of the user 3 recognized from the position information of the user 3. Can do. Therefore, the information processing apparatus 1B according to the present embodiment can perform appropriate signal processing on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal.
  • the behavior of the user 3 is recognized based on the sensing information of at least one of the user 3 and the environment.
  • appropriate signal processing can be performed on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal.
  • the information processing apparatus 1A in addition to the sensing information of at least one of the user 3 and the environment, the information processing apparatus 1A further increases the accuracy based on the analysis result of the external voice. User's behavior can be recognized. Thereby, the information processing apparatus 1A can perform appropriate signal processing on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal.
  • the information processing apparatus 1B in addition to the sensing information of at least one of the user 3 and the environment, the information processing apparatus 1B is further based on the action pattern of the user 3 recognized from the history of the position information. Thus, the user's action can be recognized with higher accuracy and granularity. Thus, the information processing apparatus 1B can perform appropriate signal processing on at least one of the audio signal, the noise reduction signal, and the external sound monitor signal.
  • the information processing apparatus has been described using a portable audio player as an example, but the present technology is not limited to such an example.
  • the information processing apparatus according to each embodiment of the present disclosure may be a smartphone, a wearable terminal, an acoustic device such as a headphone and an earphone, and an information processing server on a network.
  • An action recognition unit that recognizes the action of the user based on sensing information of at least one of the user and the environment;
  • a processing control unit that controls signal processing for at least one of an audio signal, a noise reduction signal, and an external sound monitor signal that is heard by the user based on the recognized user behavior;
  • An information processing apparatus comprising: (2)
  • the external sound monitor signal is a signal including collected external sound, The information processing apparatus according to (1), wherein the signal processing unit generates the external sound monitor signal.
  • the noise reduction signal is a signal that reduces noise included in the collected external sound, The information processing apparatus according to (1) or (2), wherein the signal processing unit generates the noise reduction signal.
  • a behavior pattern recognition unit that recognizes the user's behavior pattern based on the user's position information; The information processing apparatus according to any one of (1) to (7), wherein the processing control unit controls the signal processing based further on the recognized action pattern of the user.
  • the information processing apparatus according to (2) wherein the processing control unit controls generation of the external sound monitor signal in which intensity of a low frequency band of collected external sound is reduced.
  • the processing control unit controls generation of the noise reduction signal based on a moving speed of the user.
  • a behavior recognition unit that recognizes the behavior of the user based on sensing information of at least one of the user and the environment;
  • a processing control unit that controls signal processing for at least one of an audio signal, a noise reduction signal, and an external sound monitor signal that is heard by the user based on the recognized user behavior;
  • a signal processing unit for performing the signal processing;
  • a program that functions as

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】ユーザが音声信号をより適切に聴取することを可能にする情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、前記信号処理を実行する信号処理部と、 を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、携帯型のオーディオプレーヤの普及に伴い、室外でも良好な再生音場空間を得るために、外部環境のノイズを低減させることが可能なノイズ低減システムが普及している。
　このようなノイズ低減システムとしては、例えば、下記の特許文献１～３に開示されるシステムが提案されている。
　具体的には、下記の特許文献１には、特定の周波数以下の帯域のノイズ成分を低減させるノイズ低減システムが開示されている。また、下記の特許文献２には、ユーザの耳部に装着される筐体の内部に設けられたマイクから収音したノイズと、該筐体の外部に設けられたマイクから収音したノイズとを用いて、ノイズ低減信号を生成するノイズ低減システムが開示されている。
　また、外部環境のノイズに対応して、より適切なノイズ低減信号を生成することが検討されている。例えば、下記の特許文献３には、収音したノイズの特性を分析し、分析したノイズ特性に基づいて選択されたフィルタ係数にてノイズ低減信号を生成することが開示されている。
特許第５０３４７３０号 特許第５１９４４３４号 特開２００８－１２２７２９号公報
　しかし、上記の特許文献１～３に開示される技術は、音声を聴取している際のユーザの行動および状況に対応して、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して適切な信号処理を施すものではなかった。
　そこで、本開示では、ユーザが音声信号をより適切に聴取することを可能にする、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、前記信号処理を実行する信号処理部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識することと、認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を演算処理装置によって制御することと、前記信号処理を実行することと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータをユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、前記信号処理を実行する信号処理部と、として機能させる、プログラムが提供される。
　本開示によれば、ユーザの行動を認識することで、認識した行動に基づいて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御することが可能である。
　以上説明したように本開示によれば、ユーザは、音声信号をより適切に聴取することが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置の使用例を説明する説明図である。 同実施形態に係る情報処理装置の機能構成を説明するブロック図である。 外部音声モニタ機能の一例を説明する説明図である。 同実施形態に係る情報処理装置の回路構成等を説明するブロック図である。 同実施形態に係る情報処理装置の動作例を示したフローチャート図である。 同実施形態に係る情報処理装置の動作の実例を示したフローチャート図である。 同実施形態に係る情報処理装置の動作の他の実例を示したフローチャート図である。 同実施形態の変形例に係る情報処理装置の概要を説明する模式図である。 本開示の第２の実施形態に係る情報処理装置の内部構成を示したブロック図である。 同実施形態に係る情報処理装置の動作の実例を示したフローチャート図であり、 本開示の第３の実施形態に係る情報処理装置の内部構成を示したブロック図である。 ユーザの位置情報を地図上にプロットした模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施形態
　　１．１．情報処理装置の概要
　　１．２．情報処理装置の構成
　　１．３．情報処理装置の動作
　　１．４．情報処理装置の変形例
　２．第２の実施形態
　　２．１．情報処理装置の構成
　　２．２．情報処理装置の動作
　３．第３の実施形態
　　３．１．情報処理装置の構成
　４．まとめ
　＜１．第１の実施形態＞
　［１．１．情報処理装置の概要］
　まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置の概要について説明する。図１は、本実施形態に係る情報処理装置１の使用例を説明する説明図である。
　図１に示すように、本実施形態に係る情報処理装置１は、例えば、音声信号を生成するオーディオプレーヤである。情報処理装置１は、各種センサによって測定されたユーザ３または環境の少なくともいずれかのセンシング情報からユーザ３の行動を認識し、認識したユーザ３の行動に基づいて、ユーザ３に聴取させる音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかの生成を制御する。なお、情報処理装置１によって生成された音声信号は、例えば、図１に示すように、接続されたヘッドフォン等の音響機器２を介してユーザ３に聴取されてもよい。
　具体的には、情報処理装置１は、認識したユーザ３の行動に基づいて、外部環境にて収音された音声に基づいて、ユーザ３によって聴取される外部環境の音声を低減させるノイズ低減信号、または外部環境の音声をユーザ３が確認するための外部モニタ信号を生成してもよい。外部モニタ信号は、単独でユーザ３に聴取されてもよく、音声コンテンツと重畳されてユーザ３に聴取されてもよい。
　また、情報処理装置１は、認識したユーザ３の行動に基づいて、音声コンテンツの音声信号（以下、単にコンテンツ信号ともいう）に施される音響処理を制御してもよい。さらに、情報処理装置１は、認識したユーザの行動に基づいて、コンテンツ信号に施される増幅処理を制御してもよい。これにより、情報処理装置１は、ユーザに対して、ユーザの行動に対応した信号処理が施された音声を聴取させることができる。
　情報処理装置１は、図１に示したように、ユーザ３または環境の少なくともいずれかのセンシング情報を測定可能な各種センサを備える携帯型オーディオプレーヤであってもよいが、スマートフォン、またはウェアラブル端末などであってもよい。また、情報処理装置１は、例えば、スピーカなどの発音体を備えるヘッドフォン、またはイヤフォンなどの音響機器であってもよい。さらに、情報処理装置１は、ネットワークを介してユーザ３または環境の少なくともいずれかのセンシング情報を受信し、ネットワークを介して信号処理を施した音声信号を音響機器２に送信する情報処理サーバであってもよい。
　なお、各種センサは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、温度センサ、照度センサ、脈波センサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）センサ、マイクロフォンなどである。これら各種センサは、情報処理装置１が備えていてもよく、情報処理装置１の外部の装置が備えていてもよい。各種センサが情報処理装置１の外部の装置に備えられている場合、情報処理装置１は、通信インターフェースまたは外部入力インターフェースを介して、センシング情報を取得する。
　このような各種センサにて測定されたユーザ３または環境の少なくともいずれかのセンシング情報により、情報処理装置１は、ユーザ３の様々な行動を認識することができる。なお、情報処理装置１によるユーザ３の行動認識には、機械学習による行動認識アルゴリズムが用いられることが好ましい。情報処理装置１によって認識されるユーザ３の行動としては、例えば、以下の表１に示すような行動を例示することができる。また、情報処理装置１は、このようなユーザ３の行動に加えて、ユーザ３が情報処理装置１を手で保持しているのか否か、ユーザ３が情報処理装置１を手で操作しているのか否かについても認識することができる。
Figure JPOXMLDOC01-appb-T000001
　このような情報処理装置１によれば、ユーザ３の行動、状況、ユースケースなどに応じて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　［１．２．情報処理装置の構成］
　続いて、図２および図３を参照して、本実施形態に係る情報処理装置１の構成を説明する。図２は、本実施形態に係る情報処理装置１の機能構成を説明するブロック図であり、図３は、外部音声モニタ機能の一例を説明する説明図である。
　図２に示すように、情報処理装置１は、センサ部１００と、行動認識部１１０と、処理制御部１２０と、コンテンツ記憶部１３０と、マイク部１４０と、信号処理部１５０と、出力部１６０と、を備える。
　センサ部１００は、各種センサを備え、行動認識部１１０にて用いられるユーザ３または環境の少なくともいずれかのセンシング情報を測定する。センサ部１００が備える各種センサは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、温度センサ、照度センサ、脈波センサ、ＧＮＳＳセンサ、マイクロフォンなどである。これらの各種センサは、例えば、情報処理装置１（すなわち、情報処理装置１を有するユーザ３）の移動速度、傾き、方位、振動、位置などの運動情報、情報処理装置１の周囲の気圧、温度、照度、音圧、音声などの環境情報、情報処理装置１を有するユーザ３の体温、血圧、脈拍などの身体情報をセンシング情報として測定することができる。なお、行動認識部１１０によって、ユーザ３の行動をより細かい区分にて正確に認識するためには、センサ部１００が備える各種センサの種類は、多い方が好ましい。また、センサ部１００は、ユーザ３または環境の少なくともいずれかのセンシング情報を測定することができれば、情報処理装置１の外部に備えられていてもよい。
　行動認識部１１０は、センサ部１００が測定したユーザ３または環境の少なくともいずれかのセンシング情報に基づいて、ユーザ３の行動を認識する。
　行動認識部１１０によるユーザ３の行動認識には、例えば、特開２００６－３４０９０３、特開２０１１－８１４３１、特開２０１２－１０７９９２に開示されるようなアルゴリズムを用いることができる。
　具体的には、行動認識部１１０は、互いに直交する直線運動を検知する複数の加速度計、および互いに直交する回転軸の回転運動を検知する複数のジャイロセンサからの信号の自己相関性を算出することで、ユーザ３の歩行周波数を算出してもよい。これにより、行動認識部１１０は、ユーザ３の歩行周波数から、ユーザ３が歩いているか、走っているか、立ち止まっているか等を認識することができる。また、行動認識部１１０は、鉛直方向の加速度の波形の半周期が１歩または２歩のいずれかに相当するのかを波形形状から判定し、判定結果に基づいてユーザ３の歩行状況を検出してもよい。これにより、行動認識部１１０は、ユーザ３の歩行状況から、ユーザが歩いているか、走っているか、立ち止まっているか等を認識することができる。さらに、行動認識部１１０は、センシング情報、およびユーザ３の行動の組み合わせごとに、あらかじめスコアを割り当てておき、測定されたセンシング情報に対応するユーザ３の行動のスコアを算出することでユーザ３の行動を認識してもよい。例えば、行動認識部１１０は、測定されたセンシング情報に対応する行動のスコアを積算し、最もスコアが高い行動をユーザ３の行動であると認識してもよい。
　また、行動認識部１１０は、好ましくは、機械学習アルゴリズムを用いた行動認識によって、ユーザ３または環境の少なくともいずれかのセンシング情報からユーザ３の行動を認識してもよい。具体的には、行動認識部１１０は、機械学習アルゴリズムを用いてユーザ３の行動を認識するための行動認識エンジンを生成し、生成した行動認識エンジンを用いてセンシング情報からユーザ３の行動を認識してもよい。
　機械学習による行動認識アルゴリズムとしては、公知の種々のアルゴリズムを用いることができるが、例えば、サポートベクターマシン、ニューラルネットワーク、隠れマルコフモデル、ｋ平均法、ｋ近傍法、単純ベイズ分類器などのアルゴリズムを用いることができる。
　なお、行動認識部１１０によって認識されるユーザ３の行動の区分の数および細かさは、ユーザ３の各行動を適切な確度で認識できるような数および細かさであればよく、例えば、認識に用いられるセンシング情報の種類に応じて適宜設定することが可能である。また、上述した行動認識部１１０によるユーザ３の行動の認識は、常に実行されてもよく、ユーザ３による実行の指示入力が行われた場合にのみ実行されてもよい。
　処理制御部１２０は、ユーザ３の行動に基づいて、信号処理部１５０にて実行される信号処理を制御する。具体的には、処理制御部１２０は、マイク部１４０にて収音された外部音声を打ち消すノイズ低減信号の生成を制御してもよい。また、処理制御部１２０は、マイク部１４０にて収音された外部音声をユーザ３に聴取させる外部モニタ信号の生成を制御してもよい。また、処理制御部１２０は、コンテンツ記憶部１３０に記憶された音声コンテンツのコンテンツ信号に施されるイコライザなどの音響処理、および音量を調節する増幅処理を制御してもよい。処理制御部１２０は、ユーザ３の行動に基づいて、上記の音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する。
　なお、処理制御部１２０は、上記の信号処理の制御に加えて、または替えて、認識されたユーザ３の行動に基づいて、再生される音声コンテンツの選択を制御してもよい。
　以下では、処理制御部１２０によって制御される信号処理についてそれぞれ詳述する。
　処理制御部１２０は、ユーザ３の行動に基づいて、外部音声を打ち消すノイズ低減信号、または外部音声をユーザ３に聴取させる外部モニタ信号の少なくともいずれかの生成を制御してもよい。
　例えば、ユーザ３がランニングおよびスキーなどの運動をしている場合、処理制御部１２０は、外部環境の音声をユーザ３が聴取することを可能にするために、外部音声を含む外部モニタ信号の生成を制御してもよい。また、処理制御部１２０は、ユーザ３が自転車および自動車などを運転している場合にも同様に、外部音声を含む外部モニタ信号の生成を制御してもよい。これにより、処理制御部１２０は、ユーザ３が運動および運転などの外部環境に注意を払う必要がある行動をしている場合、ユーザ３に対して外部環境の音声を聴取させることができる。
　例えば、ユーザ３がバス、電車および航空機等に乗っている場合、処理制御部１２０は、外部環境の音声を低減させるために、外部音声を打ち消すノイズ低減信号の生成を制御してもよい。これにより、処理制御部１２０は、ユーザ３が外部環境に注意を払う必要性が低い行動をしている場合、外部環境の音声を打ち消すことで、ユーザ３に対して音声コンテンツの聴取に適した音場環境を提供することができる。なお、外部音声を打ち消すノイズ低減信号は、例えば、収音した外部音声の信号の位相を反転させることで生成することができる。
　例えば、ユーザ３が歩行等をしている場合、処理制御部１２０は、外部音声のうちユーザ３が必要とする音声のみをユーザ３に聴取させるために、外部音声のうち所定の周波数帯域（例えば、低周波帯域）の音声信号の強度を低減させた外部モニタ信号の生成を制御してもよい。これにより、処理制御部１２０は、ユーザ３が風切り音などの特定の周波数帯域のノイズ音を発生させやすい行動をしている場合に、該ノイズ音を選択的に打ち消すことで、外部音声および音声コンテンツの聴取に適した音場環境を提供することができる。また、処理制御部１２０は、ユーザ３が歩行をしている場合、自動車の走行音の周波数帯域を選択的にユーザ３に聴取させる外部モニタ信号の生成を制御することも可能である。
　このような特定の周波数帯域を選択に打ち消した外部モニタ信号は、例えば、図３で示すように、人の音声帯域よりも低い周波数帯域（例えば、３００Ｈｚ以下）にノイズ低減特性を有するノイズ低減信号と外部音声の信号とを重畳させることで生成することができる。また、このような外部モニタ信号は、特定の周波数帯域の信号を低減させるバンドストップフィルタにて外部音声を信号処理することでも生成することができる。
　なお、ユーザ３が移動している場合、処理制御部１２０は、外部音声のうち、ユーザ３の移動速度に応じた周波数帯域の音声信号の強度を選択的に低減させた外部モニタ信号の生成を制御してもよい。具体的には、処理制御部１２０は、低減可能な周波数帯域が異なる複数のバンドストップフィルタを用意し、ユーザ３の移動速度に応じて異なるバンドストップフィルタにて外部音声を信号処理してもよい。ユーザ３の移動に伴い発生する風切り音は、ユーザ３の移動速度によって周波数および強度が変化すると考えられる。したがって、処理制御部１２０は、信号強度を低減させる周波数帯域をユーザ３の移動速度に応じて変化させることにより、風切り音などのノイズ音を効果的に打ち消し、ユーザ３に対して外部音声および音声コンテンツの聴取に適した音場環境を提供することができる。
　また、処理制御部１２０は、ユーザ３の行動に基づいて、音声コンテンツなどのコンテンツ信号に対して施される音響処理を制御してもよい。音響処理とは、例えば、コンテンツ信号の周波数成分の分布を変更するイコライザ処理、人間の聴覚の特性を利用してコンテンツ信号に臨場感を付与する疑似サラウンド処理などである。なお、イコライザ処理は、音声コンテンツの音質を変更するためにコンテンツ信号に対して施されるイコライザ処理に加えて、音声コンテンツのコンテンツ信号と、ノイズ低減信号または外部モニタ信号とを重畳させるためにコンテンツ信号に対して施されるイコライザ処理をも含む。
　例えば、ユーザ３がバス、電車および航空機等に乗っている場合、処理制御部１２０は、コンテンツ信号の低周波帯域の信号強度を高めるようにイコライザ処理を制御してもよい。これにより、処理制御部１２０は、ユーザ３が外部音声の低周波帯域のノイズ音が高くなる行動をしている場合、音声コンテンツの低周波帯域の信号強度を高めることで、ユーザ３による音声コンテンツの聴取を容易にすることができる。
　例えば、ユーザ３がランニングおよびスキーなどの運動をしている場合、処理制御部１２０は、コンテンツ信号により高い臨場感を付与するように疑似サラウンド処理を制御してもよい。これにより、処理制御部１２０は、ユーザ３に聴取される音声コンテンツの臨場感を高めることで、運動中のユーザ３の気分が高揚するようにコンテンツ信号の信号処理を制御することができる。
　さらに、ユーザ３の行動によってコンテンツ信号に施される増幅処理が制御される場合、処理制御部１２０は、ユーザ３の行動に基づいて、音声コンテンツなどのコンテンツ信号に対して施される増幅処理を制御する。増幅処理は、例えば、音声コンテンツの音量を制御する信号処理である。
　例えば、ユーザ３が自転車および自動車などを運転している場合、処理制御部１２０は、コンテンツ信号に対して施される増幅処理の増幅量を減少させてもよい。これにより、処理制御部１２０は、ユーザ３に聴取される音声コンテンツの音量を減少させることで、ユーザ３の意識を運転により集中させることができる。
　例えば、ユーザ３がバス、電車および航空機等に乗っている場合、処理制御部１２０は、コンテンツ信号に対して施される増幅処理の増幅量を増加させてもよい。これにより、処理制御部１２０は、ユーザ３が大きな外部音声が発生する行動をしている場合、ユーザ３に聴取される音声コンテンツの音量を増加させることで、ユーザ３による音声コンテンツの聴取を容易にすることができる。
　なお、認識されたユーザ３の行動に対して、処理制御部１２０がどのような信号処理を割り当てるのかは、上述した例示に限定されず任意に設定可能である。処理制御部１２０の制御は、あらかじめ設定されていてもよく、ソフトウェア等を介してユーザ３によって適宜、設定可能であってもよい。
　コンテンツ記憶部１３０は、情報処理装置１が備える記憶装置であり、ユーザ３にて聴取される音声コンテンツを記憶する。コンテンツ記憶部１３０は、公知の記憶装置であってもよく、例えば、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）装置、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）装置であってもよい。
　なお、ユーザ３によって聴取される音声コンテンツは、図２に示したように情報処理装置１の内部の記憶装置に記憶されていてもよいが、本開示に係る技術は、このような例示に限定されない。音声コンテンツは、例えば、外部の記憶装置に記憶され、外部入力インターフェースを介して情報処理装置１に入力されていてもよく、ネットワーク等を介して情報処理装置１にストリーミング送信されていてもよい。
　マイク部１４０は、マイクロフォン等の音響機器を備え、信号処理部１５０にてノイズ低減信号、または外音モニタ信号の少なくともいずれかの生成に用いられる外部音声を収音する。マイク部１４０は、情報処理装置１に備えられていてもよいが、音声コンテンツの聴取に用いられる音響機器２に備えられていてもよい。マイク部１４０が音響機器２に備えられる場合、マイク部１４０は、音響機器２のユーザ３の耳部に装着される筐体の外部に備えられていてもよく、該筐体の内部に備えられていてもよく、該筐体の外部および内部の双方に備えられていてもよい。
　信号処理部１５０は、マイク部１４０が収音した外部音声を信号処理することにより、ノイズ低減信号または外音モニタ信号の少なくともいずれかを生成する。また、信号処理部１５０は、コンテンツ記憶部１３０に記憶された音声コンテンツを信号処理し、ユーザ３に聴取させる音声信号を生成する。なお、信号処理部１５０が実行する信号処理の内容は、認識されたユーザ３の行動に基づいて処理制御部１２０によって制御される。
　具体的には、信号処理部１５０は、マイク部１４０にて収音された外部音声を打ち消すノイズ低減信号、またはマイク部１４０にて収音された外部音声をユーザ３に聴取させる外部モニタ信号の少なくともいずれかを生成する。また、信号処理部１５０は、コンテンツ記憶部１３０に記憶された音声コンテンツのコンテンツ信号に対して、音響処理および増幅処理を施す。さらに、信号処理部１５０は、ノイズ低減信号または外部モニタ信号と、各種信号処理を施したコンテンツ信号とを重畳させることで、ユーザ３に聴取させる音声信号を生成する。これにより、信号処理部１５０は、ユーザ３の行動や状況に応じて、最適な信号処理を実行することができる。
　なお、信号処理部１５０による信号処理は、常に実行されてもよく、ユーザ３による実行の指示入力が行われた場合にのみ実行されてもよい。
　出力部１６０は、信号処理部１５０によって生成された音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかを出力する。例えば、出力部１６０は、信号処理部１５０によって生成された音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかをユーザ３に対して出力するスピーカ等の音響機器であってもよい。また、出力部１６０は、信号処理部１５０によって生成された音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかを外部の音響機器２へ出力するＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子、光オーディオ端子などを備える外部出力インターフェースであってもよい。
　次に、図４を参照して、本実施形態に係る情報処理装置１のより具体的な構成を説明する。図４は、本実施形態に係る情報処理装置１の回路構成等を説明するブロック図である。
　図４に示すように、センサ部１００に相当する各種センサ１０１によってユーザ３または環境の少なくともいずれかのセンシング情報が測定される。また、行動認識部１１０に相当する行動認識エンジン（Ａｃｔｉｖｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｅｎｇｉｎｅ：ＡＲＥ）１１１は、測定されたユーザ３または環境の少なくともいずれかのセンシング情報に基づいて、ユーザ３の行動を認識する。処理制御部１２０に相当するプロセッサ１２１は、認識されたユーザ３の行動に基づいて、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）１５３、イコライザ回路（Ｅｑｕａｌｉｚｅｒ：ＥＱ）１５５、およびパワーアンプ回路１５７にて実行される信号処理を制御する。
　また、マイク部１４０に相当するマイクロフォン１４１は、外部音声を収音する。収音された外部音声は、マイクアンプ回路１５１にて増幅された後、Ａ／Ｄ変換回路（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ：ＡＤＣ）１５２によってデジタル信号に変換される。デジタルシグナルプロセッサ１５３は、プロセッサ１２１による制御に基づいて、デジタル変換された外部音声の音声信号を信号処理し、ノイズ低減信号、または外音モニタ信号の少なくともいずれかを生成する。生成されたノイズ低減信号、または外音モニタ信号の少なくともいずれかは、Ｄ／Ａ変換回路（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ：ＤＡＣ）１５４によってアナログ信号に変換される。
　一方、コンテンツ記憶部１３０に相当するストレージ装置１３１には、音声コンテンツが記憶され、イコライザ回路１５５は、音声コンテンツに対してプロセッサ１２１による制御に基づいた音響処理を施す。
　加算回路１５６は、Ｄ／Ａ変換回路１５４によって変換されたノイズ低減信号、または外音モニタ信号の少なくともいずれかと、イコライザ回路１５５によって音響処理された音声コンテンツのコンテンツ信号とを加算する。また、加算された信号は、パワーアンプ回路１５７によりプロセッサ１２１の制御に基づく増幅処理が施される。増幅処理が施された信号は、出力部１６０に相当するスピーカ１６１によってユーザ３に対して聴取可能に出力される。すなわち、マイクアンプ回路１５１、Ａ／Ｄ変換回路１５２、デジタルシグナルプロセッサ１５３、Ｄ／Ａ変換回路１５４、イコライザ回路１５５、加算回路１５６、およびパワーアンプ回路１５７が信号処理部１５０に相当する。
　このような構成により、本実施形態に係る情報処理装置１は、ユーザ３または環境の少なくともいずれかのセンシング情報により認識されたユーザ３の行動に応じて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　なお、本実施形態に係る情報処理装置１による情報処理は、ソフトウェアとハードウェアとの協働によって実現される。情報処理装置１が備えるハードウェアとしては、例えば、ブリッジまたは内部バス等により相互に接続されたＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを例示することができる。
　具体的には、ＣＰＵは、演算処理装置または制御装置として機能し、ＲＯＭ等に記憶された各種プログラムに従って、情報処理装置１の動作全般を制御する。ＲＯＭは、ＣＰＵが使用するプログラム、演算パラメータを記憶し、ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
　また、ＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを本実施形態に係る情報処理装置１の各構成と同等の機能を発揮させるコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　［１．３．情報処理装置の動作］
　次に、図５～図７を参照して、本実施形態に係る情報処理装置１の動作について説明する。
　図５は、本実施形態に係る情報処理装置１の動作例を示したフローチャート図である。なお、下記で示す動作例は、あくまで一例であって、本実施形態に係る情報処理装置１の動作が、下記例示に限定されるわけではない。
　図５に示すように、まず、センサ部１００は、ユーザ３または環境の少なくともいずれかのセンシング情報を測定する（Ｓ１０１）。続いて、行動認識部１１０は、測定されたユーザ３または環境の少なくともいずれかのセンシング情報に基づいて、ユーザ３の行動を認識する（Ｓ１０３）。次に、処理制御部１２０は、ユーザ３の行動に基づいて、信号処理の処理モードを制御する（Ｓ１０５）。
　ここで、信号処理部１５０は、処理制御部１２０によって制御された処理モードに応じて、マイク部１４０によって収音された外部音声を信号処理し、ノイズ低減信号、または外音モニタ信号の少なくともいずれかを生成する（Ｓ１０７）。また、信号処理部１５０は、処理制御部１２０によって制御された処理モードに応じたイコライザにて、コンテンツ記憶部１３０に記憶された音声コンテンツのコンテンツ信号を信号処理する（Ｓ１０９）。さらに、信号処理部１５０は、処理制御部１２０によって制御された処理モードに応じた音量になるように、音声コンテンツのコンテンツ信号を増幅する（Ｓ１１１）。続いて、信号処理部１５０は、生成されたノイズ低減信号、または外音モニタ信号の少なくともいずれかと、信号処理されたコンテンツ信号とを重畳する（Ｓ１１３）。その後、出力部１６０は、生成された信号をユーザ３または音響機器２に出力する（Ｓ１１５）。
　以上の動作により、情報処理装置１は、ユーザ３の行動に応じて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　続いて、図６および図７を参照して、本実施形態に係る情報処理装置１の動作の実例を説明する。図６および図７は、本実施形態に係る情報処理装置１の動作の実例を示したフローチャート図である。
　まず、図６を参照して、ユーザ３が一般道などにて各種運動をしている場合の情報処理装置１の動作の実例を説明する。
　図６に示すように、例えば、ユーザ３が歩行している（Ｓ２１０）場合、情報処理装置１は、ユーザ３に対するセンシング情報を用いた行動認識によりユーザ３の歩行を認識し（Ｓ２１１）、信号処理を歩行モードに制御する（Ｓ２１２）。また、情報処理装置１は、歩行モードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ２１３）。ここで、歩行モードにおける信号処理は、例えば、ユーザ３が外部音声を聴取することができるように、外部モニタ信号の生成を含んでもよい。
　次に、ユーザ３がランニングを開始した（Ｓ２２０）場合、情報処理装置１は、ユーザ３に対するセンシング情報を用いた行動認識によりユーザ３が走っていることを認識し（Ｓ２２１）、信号処理をランニングモードに制御する（Ｓ２２２）。また、情報処理装置１は、ランニングモードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ２２３）。ここで、ランニングモードにおける信号処理は、例えば、風切り音などの低周波帯域の音声を低減した外部モニタ信号の生成を含んでもよい。
　また、ユーザ３が立ち止まった（Ｓ２３０）場合、情報処理装置１は、ユーザ３に対するセンシング情報を用いた行動認識によりユーザ３が立ち止まったことを認識し（Ｓ２３１）、信号処理を停止モードに制御する（Ｓ２３２）。また、情報処理装置１は、停止モードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ２３３）。ここで、停止モードにおける信号処理は、例えば、外部音声を打ち消すノイズ低減信号の生成を含んでもよい。
　次に、図７を参照して、ユーザ３がスキー場などにてスキーまたはスノーボードをしている場合の情報処理装置１の動作の実例を説明する。
　図７に示すように、例えば、ユーザ３がリフトに乗車している（Ｓ３１０）場合、情報処理装置１は、ユーザ３および環境に対するセンシング情報を用いた行動認識によりユーザ３のリフト乗車を認識し（Ｓ３１１）、信号処理をリフトモードに制御する（Ｓ３１２）。また、情報処理装置１は、リフトモードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ３１３）。ここで、リフトモードにおける信号処理は、例えば、外部音声を打ち消すノイズ低減信号の生成を含んでもよい。
　次に、ユーザ３が滑走を開始した（Ｓ３２０）場合、情報処理装置１は、ユーザ３および環境に対するセンシング情報を用いた行動認識によりユーザ３がゲレンデを滑走していることを認識し（Ｓ３２１）、信号処理をスキーモードに制御する（Ｓ３２２）。また、情報処理装置１は、スキーモードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ３２３）。ここで、スキーモードにおける信号処理は、例えば、風切り音などの低周波帯域の音声を低減した外部モニタ信号の生成を含んでもよい。
　また、ユーザ３の滑走が終了し、ゲレンデを歩行している（Ｓ３３０）場合、情報処理装置１は、ユーザ３および環境に対するセンシング情報を用いた行動認識によりユーザ３が滑走を停止し、歩行していることを認識し（Ｓ３３１）、信号処理を歩行モードに制御する（Ｓ３３２）。また、情報処理装置１は、歩行モードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ３３３）。ここで、歩行モードにおける信号処理は、例えば、ユーザ３が外部音声を聴取することができるように、外部モニタ信号の生成を含んでもよい。
　このように、本実施形態に係る情報処理装置１によれば、ユーザ３の行動に応じて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　［１．４．情報処理装置の変形例］
　続いて、図８を参照して、第１の実施形態の変形例に係る情報処理装置１について説明する。図８は、本変形例に係る情報処理装置１の概要を説明する模式図である。本変形例に係る情報処理装置１は、ユーザ３の耳部に装着される筐体の内部および外部の双方に外部音声を収音するマイクロフォンを備え、それぞれのマイクロフォンにて収音した外部音声に基づいて、ノイズ低減信号を生成するものである。
　図８に示すように、本変形例に係る情報処理装置１は、具体的には、ユーザ３の耳部に装着される筐体４０１に発音体４３１を備えるヘッドフォンである。なお、筐体４０１は、ヘッドバンド４０２によって反対側のユーザ３の耳部を覆う筐体（図示せず）と連結されている。
　本変形例に係る情報処理装置１では、筐体４０１の外部および内部のそれぞれにマイクロフォン４１１、４１２が設けられ、筐体４０１の外部および内部の外部音声をそれぞれ収音している。ノイズキャンセリング回路４２１は、マイクロフォン４１１、４１２のそれぞれにて収音された外部音声に基づいて、それぞれノイズ低減信号を生成し、生成したノイズ低減信号の各々を合成することで、合成ノイズ低減信号を生成する。
　一方、音声コンテンツのコンテンツ信号Ｓは、イコライザ回路４２２にて信号処理される。信号処理されたコンテンツ信号Ｓは、加算回路４２３にて合成ノイズ低減信号と加算された後、パワーアンプ回路４２４にて増幅され、発音体４３１にて音声に変換される。
　ここで、筐体４０１の外部にて収音された外部音声を用いてノイズ低減を行う方式は、フィードバック方式とも呼ばれ、一般にノイズを低減可能な帯域は狭いものの、比較的大きな低減が可能な方式である。一方、筐体４０１の内部にて収音された外部音声を用いてノイズ低減を行う方式は、フィードフォワード方式とも呼ばれ、一般にノイズを低減可能な帯域が広いものの、発音体４３１から発せられる音声により発振してしまう可能性がある方式である。
　本変形例に係る情報処理装置１では、フィードバック方式と、フィードフォワード方式とを組み合わせてノイズ低減を行うことにより、フィードバック方式およびフィードフォワード方式の利点を併せ持ったノイズ低減を行うことができる。また、情報処理装置１は、センシング情報に基づいてユーザ３の行動を認識し、認識したユーザ３の行動に応じて、上述したノイズ低減等を行うことにより、ユーザ３が音声信号をより適切に聴取することを可能にする。
　＜２．第２の実施形態＞
　次に、図９および図１０を参照して、本開示の第２の実施形態に係る情報処理装置１Ａについて説明する。本実施形態に係る情報処理装置１Ａは、ユーザ３または環境の少なくともいずれかのセンシング情報に加えて、マイク部１４０が収音した外部音声の解析結果をさらに用いてユーザ３の行動を認識することで、ユーザ３の行動を認識する精度を向上させるものである。
　［２．１．情報処理装置の構成］
　まず、図９を参照して、本実施形態に係る情報処理装置１Ａの機能構成について説明する。図９は、本実施形態に係る情報処理装置１Ａの内部構成を示したブロック図である。
　図９に示すように、情報処理装置１Ａは、センサ部１００と、行動認識部１１０Ａと、処理制御部１２０と、コンテンツ記憶部１３０と、マイク部１４０と、信号処理部１５０と、出力部１６０と、解析部１７０とを備える。
　ここで、センサ部１００、処理制御部１２０、コンテンツ記憶部１３０、マイク部１４０、信号処理部１５０、および出力部１６０の具体的な構成については、第１の実施形態にて説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。
　解析部１７０は、マイク部１４０が収音した外部音声を解析することよってユーザ３の周囲の環境を判定する。例えば、解析部１７０は、外部音声に含まれるノイズ音の強度および周波数帯域に基づいてユーザ３の周囲の環境を判定してもよい。具体的には、解析部１７０は、外部音声のうち、人間の音声帯域の周波数（例えば、３００Ｈｚ）以下の帯域の音声をノイズ音と見なし、該ノイズ音の強度および周波数の分布に基づいてユーザ３の周囲の環境を判定してもよい。例えば、解析部１７０により判定可能なユーザ３の周囲の環境としては、「電車内」、「航空機内」、「電車内または航空機内以外」などを例示することができる。
　行動認識部１１０Ａは、センサ部１００が測定したユーザ３または環境の少なくともいずれかのセンシング情報、および解析部１７０が解析したユーザ３の周囲の環境に基づいて、ユーザ３の行動を認識する。ここで、ユーザ３の行動の中には、ユーザ３の周囲の環境と密接に結び付いたものが存在する。例えば、ユーザ３が自動車、バス、電車、航空機などの乗り物に乗っている場合、ユーザ３の周囲の環境は、乗っている乗り物の車内に限定される。
　そこで、解析部１７０によって判定されたユーザ３の周囲の環境がユーザ３の行動を限定するものである場合、行動認識部１１０Ａは、ユーザ３の周囲の環境に基づいてユーザ３の行動を認識してもよい。具体的には、解析部１７０によってユーザ３の周囲の環境が自動車、バス、電車、または航空機などの内部であると判定された場合、行動認識部１１０Ａは、ユーザ３が自動車、バス、電車、または航空機に乗っていると認識してもよい。これにより、行動認識部１１０Ａは、ユーザ３の行動をより高い精度で認識することが可能になる。
　また、行動認識部１１０Ａは、ユーザ３または環境の少なくともいずれかのセンシング情報を優先的に用いて、ユーザ３の行動を認識してもよい。例えば、行動認識部１１０Ａは、まず、ユーザ３または環境の少なくともいずれかのセンシング情報を用いてユーザ３の行動を認識し、該センシング情報からはユーザ３の行動を認識できない場合に限って、ユーザ３の周囲の環境に基づいてユーザ３の行動を認識してもよい。
　［２．２．情報処理装置の動作］
　次に、図１０を参照して、本実施形態に係る情報処理装置１Ａの動作の実例を説明する。図１０は、本実施形態に係る情報処理装置１Ａの動作の実例を示したフローチャート図である。図１０では、ユーザ３がホームから電車に乗った場合の情報処理装置１Ａの動作の実例を示している。
　図１０に示すように、例えば、ユーザ３がホームを歩行している（Ｓ４１０）場合、情報処理装置１Ａは、ユーザ３に対するセンシング情報を用いた行動認識によりユーザ３の歩行を認識する（Ｓ４１１）。また、情報処理装置１Ａは、外部音声のノイズ成分から、ユーザ３の周囲の環境を電車内または航空機内以外であると判定する（Ｓ４１２）。
　これにより、情報処理装置１Ａは、ユーザ３の行動を歩行であると認識し、信号処理を歩行モードに制御する（Ｓ４１３）。また、情報処理装置１Ａは、歩行モードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ４１４）。ここで、歩行モードにおける信号処理は、例えば、ユーザ３が外部音声を聴取することができるように、外部モニタ信号の生成を含んでもよい。
　次に、ユーザ３が電車に乗った（Ｓ４２０）場合、情報処理装置１Ａは、ユーザ３に対するセンシング情報を用いた行動認識によりユーザ３が電車に乗っていることを認識する（Ｓ４２１）。また、情報処理装置１Ａは、外部音声のノイズ成分から、ユーザ３の周囲の環境を電車内であると判定する（Ｓ４２２）。
　これにより、情報処理装置１Ａは、ユーザ３が電車に乗っていると認識し、信号処理を電車モードに制御する（Ｓ４３３）。また、情報処理装置１Ａは、電車モードにて信号処理を行い、ユーザ３に聴取される音声信号を生成する（Ｓ４３４）。ここで、歩行モードにおける信号処理は、例えば、音声コンテンツの聴取に適した音場環境を提供することができるように、外部音声を打ち消すノイズ低減信号の生成を含んでもよい。
　このように、本実施形態に係る情報処理装置１Ａは、収音した外部音声から判定したユーザ３の周囲の環境にさらに基づくことにより、より高い精度でユーザ３の行動を認識することができる。したがって、本実施形態に係る情報処理装置１Ａは、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　＜３．第３の実施形態＞
　［３．１．情報処理装置の構成］
　次に、図１１および図１２を参照して、本開示の第３の実施形態に係る情報処理装置１Ｂについて説明する。本実施形態に係る情報処理装置１Ｂは、位置情報取得部１８０が取得したユーザ３の位置情報の履歴より認識されたユーザ３の行動パターンをさらに用いることで、より高い精度および粒度にてユーザ３の行動を認識するものである。
　ここで、図１１は、本実施形態に係る情報処理装置１Ａの内部構成を示したブロック図である。また、図１２は、位置情報取得部１８０が取得したユーザ３の位置情報の履歴を地図上にプロットした模式図である。
　図１１に示すように、情報処理装置１Ｂは、センサ部１００と、行動認識部１１０Ｂと、処理制御部１２０と、コンテンツ記憶部１３０と、マイク部１４０と、信号処理部１５０と、出力部１６０と、位置情報取得部１８０と、行動パターン認識部１９０とを備える。
　ここで、センサ部１００、処理制御部１２０、コンテンツ記憶部１３０、マイク部１４０、信号処理部１５０、および出力部１６０の具体的な構成については、第１の実施形態にて説明した構成と実質的に同様であるため、ここでの詳細な説明は省略する。
　位置情報取得部１８０は、情報処理装置１Ｂの位置情報（すなわち、ユーザ３の位置情報）を取得する。例えば、位置情報取得部１８０は、複数の人工衛星から送信される時刻情報付きの信号から情報処理装置１Ｂの位置を算出するＧＮＳＳセンサであってもよい。また、位置情報取得部１８０は、ＧＮＳＳによる測位を補助する情報をネットワーク等から受信することで情報処理装置１Ｂの位置を算出するＡ－ＧＮＳＳ（Ａｓｓｉｓｔｅｄ　Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）であってもよい。さらに、位置情報取得部１８０は、移動体通信網における基地局からの距離、またはＷｉ－Ｆｉ（登録商標）のアクセスポイントからの距離を用いた三角測量法によって、情報処理装置１Ｂの位置を算出してもよい。
　行動パターン認識部１９０は、位置情報取得部１８０が取得したユーザ３の位置情報の履歴に基づいて、ユーザ３の行動パターンを認識する。
　例えば、図１２に示すように、行動パターン認識部１９０は、位置情報取得部１８０により取得されたユーザ３の位置情報１８１を地図上に時系列にプロットすることで、ユーザ３の位置情報の遷移の履歴を得ることができる。行動パターン認識部１９０は、このような位置情報の遷移の履歴から、例えば、ユーザ３の位置情報が線路上を遷移している場合、該当する時間中、ユーザ３は電車に乗っていると判断することができる。また、行動パターン認識部１９０は、ユーザ３が所定の建物に９時～１７時までいる場合、該当する時間中、ユーザ３は、仕事をしていると判断することができる。
　さらに、行動パターン認識部１９０は、所定の期間（例えば、１ヶ月など）、上記のユーザ３の位置情報の遷移の履歴を蓄積することで、ユーザ３の位置情報の遷移の規則性からユーザ３の行動パターンをより正確に認識することができる。
　例えば、行動パターン認識部１９０は、平日の昼間、ユーザ３が所定の建物にいる場合、該当する時間中、ユーザ３は、仕事をしていると判断することができる。また、行動パターン認識部１９０は、多くの休日の間、ユーザ３が所定の建物にいる場合、該当する時間中、ユーザ３は、自宅にいると判断することができる。また、行動パターン認識部１９０は、休日および平日の深夜から早朝の間、ユーザ３が所定の建物にいる場合、該当する時間中、ユーザ３は、眠っていると判断することができる。さらに、行動パターン認識部１９０は、ある休日の昼間、ユーザ３がデパート等の建物にいる場合、該当する時間中、ユーザ３は、買い物をしていると判断することができる。
　これによれば、行動パターン認識部１９０は、ユーザ３の位置情報の履歴をライフログとして蓄積することで、ユーザ３の行動パターンを認識することができる。なお、ユーザ３の行動パターンの認識方法および認識される行動パターンは、例えば、特開２０１１－８１４３１に開示されたものを用いることも可能である。
　行動認識部１１０Ｂは、センサ部１００が測定したユーザ３または環境の少なくともいずれかのセンシング情報、および行動パターン認識部１９０により認識されたユーザ３の行動パターンに基づいて、ユーザ３の行動を認識する。
　例えば、行動認識部１１０Ｂは、ユーザ３または環境の少なくともいずれかのセンシング情報からユーザ３の行動を認識できない場合、ユーザ３の行動パターンに基づいて現時刻および現在位置にて最も適切と判断される行動をユーザ３の行動と認識してもよい。また、行動認識部１１０Ｂは、ユーザ３の行動パターンに基づいて現時刻および現在位置にて除外可能な行動をあらかじめ除外した上で、ユーザ３または環境の少なくともいずれかのセンシング情報に基づいてユーザ３の行動を認識してもよい。
　したがって、行動認識部１１０Ｂは、ユーザ３の位置情報の履歴から認識されたユーザ３の行動パターンにさらに基づくことにより、高い精度および粒度にてユーザ３の行動を認識することが可能である。
　このように、本実施形態に係る情報処理装置１Ｂは、ユーザ３の位置情報から認識されたユーザ３の行動パターンをさらに用いることにより、より高い精度および粒度にてユーザ３の行動を認識することができる。したがって、本実施形態に係る情報処理装置１Ｂは、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　＜４．まとめ＞
　以上にて説明したように、本開示の第１の実施形態に係る情報処理装置１によれば、ユーザ３または環境の少なくともいずれかのセンシング情報に基づいてユーザ３の行動を認識し、認識した行動に応じて、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　また、本開示の第２の実施形態に係る情報処理装置１Ａによれば、ユーザ３または環境の少なくともいずれかのセンシング情報に加えて、外部音声の解析結果にさらに基づくことで、より高い精度にてユーザの行動を認識することができる。これにより、情報処理装置１Ａは、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　さらに、本開示の第３の実施形態に係る情報処理装置１Ｂによれば、ユーザ３または環境の少なくともいずれかのセンシング情報に加えて、位置情報の履歴から認識したユーザ３の行動パターンにさらに基づくことで、より高い精度および粒度にてユーザの行動を認識することができる。これにより、情報処理装置１Ｂは、音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対して、適切な信号処理を施すことができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記各実施形態では、本開示の各実施形態に係る情報処理装置は、携帯型オーディオプレーヤを例示して説明したが、本技術はかかる例に限定されない。例えば、本開示の各実施形態に係る情報処理装置は、スマートフォン、ウェアラブル端末、ヘッドフォンおよびイヤフォンなどの音響機器、ならびにネットワーク上の情報処理サーバなどであってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、
　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、
　前記信号処理を実行する信号処理部と、
を備える、情報処理装置。
（２）
　前記外音モニタ信号は、収音された外部音声を含む信号であり、
　前記信号処理部は、前記外音モニタ信号を生成する、前記（１）に記載の情報処理装置。
（３）
　前記ノイズ低減信号は、収音された外部音声に含まれるノイズを低減させる信号であり、
　前記信号処理部は、前記ノイズ低減信号を生成する、前記（１）または（２）に記載の情報処理装置。
（４）
　前記処理制御部は、前記音声信号に施される音響処理を制御する、前記（１）～（３）のいずれか一項に記載の情報処理装置。
（５）
　前記処理制御部は、前記音声信号の増幅処理を制御する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記行動認識部は、前記センシング情報を用いた機械学習アルゴリズムによって前記ユーザの行動を認識する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記行動認識部は、外部音声にさらに基づいて、前記ユーザの行動を認識する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記ユーザの位置情報に基づいて、前記ユーザの行動パターンを認識する行動パターン認識部をさらに備え、
　前記処理制御部は、認識された前記ユーザの行動パターンにさらに基づいて、前記信号処理を制御する、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記行動認識部によって前記ユーザが歩行していると認識された場合、
　前記処理制御部は、収音された外部音声の低周波帯域の強度を低下させた前記外音モニタ信号の生成を制御する、前記（２）に記載の情報処理装置。
（１０）
　前記行動認識部によって前記ユーザが移動していると認識された場合、
　前記処理制御部は、前記ユーザの移動速度に基づいて、前記ノイズ低減信号の生成を制御する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１１）
　前記処理制御部は、前記ユーザの移動速度に基づいて、前記ノイズ低減信号によって低減されるノイズの周波数帯域および強度の少なくともいずれかを制御する、前記（１０）に記載の情報処理装置。
（１２）
　前記処理制御部による制御は、前記ユーザによって設定可能である、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識することと、
　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を演算処理装置によって制御することと、
　前記信号処理を実行することと、
を含む、情報処理方法。
（１４）
　コンピュータを
　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、
　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、
　前記信号処理を実行する信号処理部と、
として機能させる、プログラム。
　１　　　　情報処理装置
　２　　　　音響機器
　３　　　　ユーザ
　１００　　センサ部
　１１０　　行動認識部
　１２０　　処理制御部
　１３０　　コンテンツ記憶部
　１４０　　マイク部
　１５０　　信号処理部
　１６０　　出力部
　１７０　　解析部
　１８０　　位置情報取得部
　１９０　　行動パターン認識部

Claims (14)

  1. 　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、
    　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、
    　前記信号処理を実行する信号処理部と、
    を備える、情報処理装置。
  2. 　前記外音モニタ信号は、収音された外部音声を含む信号であり、
    　前記信号処理部は、前記外音モニタ信号を生成する、請求項１に記載の情報処理装置。
  3. 　前記ノイズ低減信号は、収音された外部音声に含まれるノイズを低減させる信号であり、
    　前記信号処理部は、前記ノイズ低減信号を生成する、請求項１に記載の情報処理装置。
  4. 　前記処理制御部は、前記音声信号に施される音響処理を制御する、請求項１に記載の情報処理装置。
  5. 　前記処理制御部は、前記音声信号の増幅処理を制御する、請求項１に記載の情報処理装置。
  6. 　前記行動認識部は、前記センシング情報を用いた機械学習アルゴリズムによって前記ユーザの行動を認識する、請求項１に記載の情報処理装置。
  7. 　前記行動認識部は、外部音声にさらに基づいて、前記ユーザの行動を認識する、請求項１に記載の情報処理装置。
  8. 　前記ユーザの位置情報に基づいて、前記ユーザの行動パターンを認識する行動パターン認識部をさらに備え、
    　前記処理制御部は、認識された前記ユーザの行動パターンにさらに基づいて、前記信号処理を制御する、請求項１に記載の情報処理装置。
  9. 　前記行動認識部によって前記ユーザが歩行していると認識された場合、
    　前記処理制御部は、収音された外部音声の低周波帯域の強度を低下させた前記外音モニタ信号の生成を制御する、請求項２に記載の情報処理装置。
  10. 　前記行動認識部によって前記ユーザが移動していると認識された場合、
    　前記処理制御部は、前記ユーザの移動速度に基づいて、前記ノイズ低減信号の生成を制御する、請求項１に記載の情報処理装置。
  11. 　前記処理制御部は、前記ユーザの移動速度に基づいて、前記ノイズ低減信号によって低減されるノイズの周波数帯域および強度の少なくともいずれかを制御する、請求項１０に記載の情報処理装置。
  12. 　前記処理制御部による制御は、前記ユーザによって設定可能である、請求項１に記載の情報処理装置。
  13. 　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識することと、
    　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を演算処理装置によって制御することと、
    　前記信号処理を実行することと、
    を含む、情報処理方法。
  14. 　コンピュータを
    　ユーザまたは環境の少なくともいずれかのセンシング情報に基づいて、前記ユーザの行動を認識する行動認識部と、
    　認識された前記ユーザの行動に基づいて、前記ユーザに聴取される音声信号、ノイズ低減信号、または外音モニタ信号の少なくともいずれかに対する信号処理を制御する処理制御部と、
    　前記信号処理を実行する信号処理部と、
    として機能させる、プログラム。
PCT/JP2016/070724 2015-08-28 2016-07-13 情報処理装置、情報処理方法、およびプログラム WO2017038260A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP20158339.0A EP3751451A1 (en) 2015-08-28 2016-07-13 Information processing apparatus, information processing method, and program
JP2017537630A JP6787325B2 (ja) 2015-08-28 2016-07-13 情報処理装置、情報処理方法、およびコンピュータ・プログラム
CN201680047015.0A CN108293162B (zh) 2015-08-28 2016-07-13 信息处理设备、信息处理方法和程序
EP16841292.2A EP3343948B1 (en) 2015-08-28 2016-07-13 Information processing device, information processing method, and program
US15/753,071 US10726825B2 (en) 2015-08-28 2016-07-13 Information processing apparatus, information processing method, and program
US16/800,915 US11017758B2 (en) 2015-08-28 2020-02-25 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-168538 2015-08-28
JP2015168538 2015-08-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/753,071 A-371-Of-International US10726825B2 (en) 2015-08-28 2016-07-13 Information processing apparatus, information processing method, and program
US16/800,915 Continuation US11017758B2 (en) 2015-08-28 2020-02-25 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2017038260A1 true WO2017038260A1 (ja) 2017-03-09

Family

ID=58187131

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070724 WO2017038260A1 (ja) 2015-08-28 2016-07-13 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US10726825B2 (ja)
EP (2) EP3343948B1 (ja)
JP (1) JP6787325B2 (ja)
CN (1) CN108293162B (ja)
WO (1) WO2017038260A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163423A1 (ja) * 2017-03-10 2018-09-13 ヤマハ株式会社 ヘッドフォン
JP2020042150A (ja) * 2018-09-10 2020-03-19 昭和電工株式会社 感光性樹脂組成物、有機ｅｌ素子隔壁、及び有機ｅｌ素子
WO2021157304A1 (ja) * 2020-02-05 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP2021131423A (ja) * 2020-02-18 2021-09-09 ヤマハ株式会社 音声再生装置、音声再生方法および音声再生プログラム
WO2022215187A1 (ja) * 2021-04-07 2022-10-13 株式会社ネイン 音声再生システム、音声再生方法およびコンピュータプログラム
JP2023514217A (ja) * 2020-02-12 2023-04-05 ボーズ・コーポレーション アクティブノイズ低減デバイスのための計算アーキテクチャ

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636405B1 (en) * 2019-05-29 2020-04-28 Bose Corporation Automatic active noise reduction (ANR) control
US10897663B1 (en) * 2019-11-21 2021-01-19 Bose Corporation Active transit vehicle classification
KR20220054504A (ko) * 2020-10-23 2022-05-03 현대자동차주식회사 차량 및 그 제어방법
EP4007300B1 (en) 2020-11-25 2024-08-07 Nokia Technologies Oy Controlling audio output

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2012063483A (ja) * 2010-09-15 2012-03-29 Audio Technica Corp ノイズキャンセルヘッドホン及びノイズキャンセルイヤーマフ
JP2012239017A (ja) * 2011-05-11 2012-12-06 Fujitsu Ltd 風雑音抑圧装置、半導体集積回路及び風雑音抑圧方法
JP2015130659A (ja) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 学習型補聴器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3640770A (en) 1969-10-20 1972-02-08 Zito Co Rechargeable metal halide battery
DK2986033T3 (da) * 2005-03-29 2020-11-23 Oticon As Høreapparat til registrering af data og læring der fra
JP5028751B2 (ja) 2005-06-09 2012-09-19 ソニー株式会社 行動認識装置
CN2932502Y (zh) * 2005-11-24 2007-08-08 余德斌 一种便携式运动健康指导型播放装置
JP5194434B2 (ja) 2006-11-07 2013-05-08 ソニー株式会社 ノイズキャンセリングシステムおよびノイズキャンセル方法
JP2008122729A (ja) 2006-11-14 2008-05-29 Sony Corp ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラムおよびノイズ低減音声出力装置
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP5034730B2 (ja) 2007-07-12 2012-09-26 ソニー株式会社 信号処理装置、信号処理方法、プログラム、ノイズキャンセリングシステム
WO2010140358A1 (ja) * 2009-06-02 2010-12-09 パナソニック株式会社 補聴器、補聴システム、歩行検出方法および補聴方法
JP5440080B2 (ja) 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
JP2012107992A (ja) 2010-11-17 2012-06-07 Sony Corp 歩行状況検出装置、歩行状況検出方法及び歩行状況検出プログラム
JP2013102370A (ja) * 2011-11-09 2013-05-23 Sony Corp ヘッドホン装置、端末装置、情報送信方法、プログラム、ヘッドホンシステム
US20130259254A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
JP5904021B2 (ja) * 2012-06-07 2016-04-13 ソニー株式会社 情報処理装置、電子機器、情報処理方法、及びプログラム
US9191744B2 (en) * 2012-08-09 2015-11-17 Logitech Europe, S.A. Intelligent ambient sound monitoring system
US8798283B2 (en) * 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
US10206032B2 (en) * 2013-04-10 2019-02-12 Cirrus Logic, Inc. Systems and methods for multi-mode adaptive noise cancellation for audio headsets
US9648430B2 (en) 2013-12-13 2017-05-09 Gn Hearing A/S Learning hearing aid
US9432768B1 (en) * 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US20150294662A1 (en) * 2014-04-11 2015-10-15 Ahmed Ibrahim Selective Noise-Cancelling Earphone
US9706288B2 (en) * 2015-03-12 2017-07-11 Apple Inc. Apparatus and method of active noise cancellation in a personal listening device
US10255927B2 (en) * 2015-03-19 2019-04-09 Microsoft Technology Licensing, Llc Use case dependent audio processing
US10580430B2 (en) * 2017-10-19 2020-03-03 Bose Corporation Noise reduction using machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156641A (ja) * 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2012063483A (ja) * 2010-09-15 2012-03-29 Audio Technica Corp ノイズキャンセルヘッドホン及びノイズキャンセルイヤーマフ
JP2012239017A (ja) * 2011-05-11 2012-12-06 Fujitsu Ltd 風雑音抑圧装置、半導体集積回路及び風雑音抑圧方法
JP2015130659A (ja) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 学習型補聴器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3343948A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018163423A1 (ja) * 2017-03-10 2018-09-13 ヤマハ株式会社 ヘッドフォン
JPWO2018163423A1 (ja) * 2017-03-10 2019-12-26 ヤマハ株式会社 ヘッドフォン
US10735849B2 (en) 2017-03-10 2020-08-04 Yamaha Corporation Headphones
US10932030B2 (en) 2017-03-10 2021-02-23 Yamaha Corporation Headphones
JP2020042150A (ja) * 2018-09-10 2020-03-19 昭和電工株式会社 感光性樹脂組成物、有機ｅｌ素子隔壁、及び有機ｅｌ素子
WO2021157304A1 (ja) * 2020-02-05 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP2023514217A (ja) * 2020-02-12 2023-04-05 ボーズ・コーポレーション アクティブノイズ低減デバイスのための計算アーキテクチャ
JP7562685B2 (ja) 2020-02-12 2024-10-07 ボーズ・コーポレーション アクティブノイズ低減デバイスのための計算アーキテクチャ
JP2021131423A (ja) * 2020-02-18 2021-09-09 ヤマハ株式会社 音声再生装置、音声再生方法および音声再生プログラム
WO2022215187A1 (ja) * 2021-04-07 2022-10-13 株式会社ネイン 音声再生システム、音声再生方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US11017758B2 (en) 2021-05-25
CN108293162A (zh) 2018-07-17
EP3343948B1 (en) 2020-04-29
EP3343948A1 (en) 2018-07-04
CN108293162B (zh) 2021-05-11
JP6787325B2 (ja) 2020-11-18
EP3343948A4 (en) 2019-07-17
JPWO2017038260A1 (ja) 2018-06-14
US20180240453A1 (en) 2018-08-23
US20200193958A1 (en) 2020-06-18
EP3751451A1 (en) 2020-12-16
US10726825B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
WO2017038260A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20200236463A1 (en) Headphone device, terminal device, information transmitting method, program, and headphone system
JP2005333621A (ja) 音情報出力装置及び音情報出力方法
JP7456463B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JPWO2016092912A1 (ja) プログラム及び情報処理システム
JP7095767B2 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
JP2009077260A (ja) 情報処理装置及び情報処理方法等
JP6404709B2 (ja) 音出力装置および音出力装置における音の再生方法
CN110572734A (zh) 一种耳机智能监听环境音的方法及耳机
CN113440127B (zh) 呼吸数据的采集方法、装置和电子设备
JP6777185B2 (ja) 端末装置、ヘッドホンシステム、ノイズキャンセルモードによる外部ヘッドホン制御方法
CN111081102B (zh) 一种听写结果的检测方法及学习设备
CN113766382B (zh) 耳机控制方法、装置和电子设备
JP6281646B2 (ja) 端末装置、ヘッドホンシステム
CN112249026A (zh) 一种车辆控制的方法和装置
JP2021156600A (ja) 移動体位置推定装置および移動体位置推定方法
US20230036986A1 (en) Processing of audio signals from multiple microphones
JP2015080087A (ja) 音声処理装置、音声処理方法、及びプログラム
WO2022085442A1 (ja) 信号処理装置および方法、学習装置および方法、並びにプログラム
WO2023010012A1 (en) Audio event data processing
WO2023010011A1 (en) Processing of audio signals from multiple microphones
JP2018078641A (ja) 端末装置、ヘッドホンシステム、ノイズキャンセルモードによる外部ヘッドホン制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16841292

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017537630

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15753071

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE