WO2021161722A1 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム Download PDF

Info

Publication number
WO2021161722A1
WO2021161722A1 PCT/JP2021/001406 JP2021001406W WO2021161722A1 WO 2021161722 A1 WO2021161722 A1 WO 2021161722A1 JP 2021001406 W JP2021001406 W JP 2021001406W WO 2021161722 A1 WO2021161722 A1 WO 2021161722A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
importance
information processing
sound element
content
Prior art date
Application number
PCT/JP2021/001406
Other languages
English (en)
French (fr)
Inventor
長坂　英夫
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112021000974.5T priority Critical patent/DE112021000974T5/de
Priority to US17/759,865 priority patent/US20230118803A1/en
Priority to CN202180012188.XA priority patent/CN115039419A/zh
Publication of WO2021161722A1 publication Critical patent/WO2021161722A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present disclosure relates to an information processing device or the like having a function of changing the sound source position of a sound element.
  • information processing devices such as virtual assistants have been known as software agents that execute individual tasks or services.
  • the information processing device has, for example, a function of playing back content, a function of notifying an alarm, a dialog function of AI (Artificial Intelligence) interacting with a user, and the like.
  • AI Artificial Intelligence
  • the information processing device is connected to headphones or the like worn by the user, and outputs, for example, playback contents such as music and moving images, and sound signals such as alarms and dialogs from the headphones.
  • the user can receive various services while listening to the voice from the headphones.
  • the sound source position of the dialog and the sound source position of the reproduced content are localized in the same head by the headphones.
  • the user overlaps the dialog and the reproduced content, and sound interference occurs between the dialog and the reproduced content, which makes it difficult for the user to hear the dialog and the reproduced content. Therefore, in the information processing device, the content reproduction is stopped while the dialog is generated. Further, in an information processing device, a technique for changing the sound source position of a sound element by using headphones is also widely known.
  • the information processing device for example, if the content playback is stopped when another sound element such as a dialog occurs during the content playback, the sound of the played content is interrupted, which may cause discomfort to the user.
  • the sound source position where the other sound elements are heard and the sound source position where the reproduced content is heard are changed. Therefore, there is a demand for a technique for suppressing sound interference between reproduced content and other sound elements.
  • a headphone device there is a technology for localizing the sound image of each input audio signal outside the head in order to change the sound source position, but there is no technology for controlling the sound image localization position of the input audio signal to be notified according to the user. , The technology is required.
  • the present disclosure proposes an information processing device or the like that can suppress sound interference between the sound element of the reproduced content and the other sound element even when the sound element of the reproduced content and other sound elements are generated at the same time.
  • the information processing apparatus of one form according to the present disclosure includes an acquisition unit that acquires a sound element of the content being played and one or a plurality of other sound elements, and the acquisition unit. Either the sound element of the content being played or the other sound element, depending on the determination unit for determining the importance of the acquired sound element and the importance of the sound element determined by the determination unit. It has a signal processing unit that changes the position of one of the sound sources.
  • the information processing device has, for example, a function of reproducing contents, a function of notifying an alarm, a dialog function of AI interacting with a user, and the like.
  • the information processing device is connected to headphones or the like worn by the user, and outputs, for example, playback contents such as music and moving images, and sound signals such as alarms and dialogs from the headphones.
  • playback contents such as music and moving images
  • sound signals such as alarms and dialogs from the headphones.
  • the information processing device stops the playback of the content and outputs the AI sound of the dialog, which causes discomfort to the user due to the interruption of the playback content. May be given. Therefore, for example, even if other sound elements occur at the same time during content playback, the playback content and other sound elements can be changed by changing the sound source position where the other sound elements are heard and the sound source position where the playback content is heard. There is a demand for a technique for suppressing sound interference with the sound source.
  • the information processing device has an acquisition unit that acquires a sound element of the content being played and one or a plurality of other sound elements, and a determination unit that determines the importance of the sound element acquired by the acquisition unit. And a signal processing unit that changes the sound source position of either the sound element of the content being played or the other sound element according to the importance of the sound element determined by the determination unit.
  • the information processing device changes the sound source position of either the sound element of the content being played or the other sound elements according to the importance of the sound element of the content being played and one or more other sound elements. do.
  • sound interference between sound elements can be suppressed by changing the sound source position of each sound element according to the importance of the sound elements without interrupting the content being reproduced. Then, the efficiency of information transmission can be improved.
  • FIG. 1 is a diagram showing an example of an information processing system 1 according to the first embodiment of the present disclosure.
  • the information processing system 1 shown in FIG. 1 has an information processing device 2 and an acoustic output device 3 connected to the information processing device 2 and worn by a user.
  • the sound output device 3 is, for example, headphones, wireless headphones, wireless earphones, neckband type earphones, speakers, in-vehicle speakers, and the like.
  • the information processing device 2 generates, for example, a 3D sound signal in which the sound source position for each sound element is changed, and outputs the generated 3D sound signal to the user's sound output device 3.
  • the information processing device 2 includes a system sound acquisition unit 11, an external sound acquisition unit 11A, a determination unit 12, and a signal processing unit 13.
  • the system sound acquisition unit 11 acquires the sound element of the content being reproduced and one or a plurality of other sound elements.
  • the sound element is, for example, a sound element of a system sound emitted by the information processing device 2.
  • the sound elements of the system sound include, for example, sound elements such as playback contents such as music and moving images, sound elements such as alarms, sound elements of telephone sounds, sound elements of dialogues such as AI voices that interact with users, and the like.
  • the external sound acquisition unit 11A acquires a sound element of an external sound such as a car sound by using a microphone (not shown).
  • the determination unit 12 determines the importance of the sound element acquired by the system sound acquisition unit 11.
  • the importance of sound elements is information that ranks the importance of sound elements.
  • the signal processing unit 13 changes the sound source position in the sound output device 3 of the sound image of either the sound element of the content being reproduced or the other sound element according to the importance of the sound element. Further, the signal processing unit 13 may control the direction of the sound source instead of the position of the sound source, or may only estimate the direction. Further, control may be performed to specify and / or change the position of the sound source arranged in the three-dimensional space represented by object audio, or control in combination with any of the above may be performed. You may go.
  • the determination unit 12 includes an A / D conversion unit 21, an A / D conversion unit 21A, a separation unit 22, a sound element identification unit 23, a sound position estimation unit 24, an importance specification unit 25, and an importance table. It has 26 and a comparison unit 27.
  • the A / D conversion unit 21 digitally converts the sound signal of the system sound acquired by the system sound acquisition unit 11.
  • the A / D conversion unit 21A digitally converts the sound signal of the external sound acquired by the external sound acquisition unit 11A.
  • the separation unit 22 separates the sound signal after digital conversion by the A / D conversion unit 21 and the A / D conversion unit 21A for each sound element by frequency analysis or the like.
  • the separation unit 22 separates the sound signals of the system sound and the external sound for each sound element.
  • the sound element specifying unit 23 specifies the sound element type for each sound element by referring to a table that manages the types of sound elements (not shown).
  • the sound element specifying unit 23 specifies, for example, a sound element type such as a sound element of a reproduced content, an alarm sound element, a telephone sound sound element, and a dialog sound element.
  • the sound position estimation unit 24 estimates the actual sound source position for each sound element by analyzing the sound elements separated by the separation unit 22.
  • the sound position estimation unit 24 estimates the actual sound source position for each sound element, that is, the sound source position where the sound of the sound element is actually heard.
  • the sound position estimation unit 24 is equipped with the sound output device 3, so that the sound source position of the sound image of the sound element of the system sound is estimated to be in the head. do.
  • the importance specifying unit 25 refers to the importance table 26 and specifies the importance for each sound element.
  • the comparison unit 27 compares the importance of the sound elements, particularly the importance of the sound element of the reproduced content and the importance of the other sound elements.
  • the signal processing unit 13 includes a volume setting unit 31, a sound position setting unit 32, a noise canceling unit 33, a 3D signal processing unit 34, a D / A conversion unit 35, and an amplifier unit 36.
  • the volume setting unit 31 sets the volume of each sound element after 3D signal processing according to the importance of each sound element.
  • the volume of each sound element after 3D signal processing is the volume of each sound element generated by the 3D signal processing unit 34.
  • the volume setting unit 31 refers to a table (not shown) that manages the volume according to the importance of the sound elements, and sets the volume of each sound element after 3D signal processing corresponding to the importance of each sound element. do.
  • the sound position setting unit 32 sets the sound source position of each sound element after 3D signal processing according to the importance of each sound element.
  • the sound source position of each sound element after the 3D signal processing is the sound source position of each sound element generated by the 3D signal processing unit 34.
  • the sound position setting unit 32 refers to a table (not shown) that manages the sound source position according to the importance of the sound element, and corresponds to the importance of each sound element, and the sound image of each sound element after 3D signal processing. Set the sound position of.
  • the noise canceling unit 33 outputs a noise canceling signal obtained by performing noise canceling processing on the sound signal of the external sound after digital conversion by the A / D conversion unit 21A to the D / A conversion unit 35.
  • the 3D signal processing unit 34 Based on the sound source position and volume for each sound element, the 3D signal processing unit 34 convolves a head-related transfer response (HRIR) with the digital signal of the sound element to produce a sound image of the sound element as a desired sound source. Performs 3D signal processing to generate a 3D sound signal that is localized to a position.
  • the head impulse response is a time axis representation of a head-related transfer function (HRTF) that expresses the characteristics of the sound emitted from the sound source until it reaches the user's ears.
  • the 3D signal processing unit 34 synthesizes a 3D sound signal for each sound element and outputs a 3D sound signal of all the synthesized sound elements.
  • the 3D signal processing unit 34 generates a 3D sound signal that localizes the sound image of the sound element at the sound source position, for example, inside or outside the head.
  • the outside of the head includes, for example, a sound source position separated from the inside of the head of the user wearing the sound output device 3 by a certain distance, and a sound source position separated from the inside of the head by an arbitrary distance.
  • the 3D signal processing unit 34 also has a head tracking function that relatively moves the sound source position according to a change in the angle of the user's face.
  • the D / A conversion unit 35 converts the 3D sound signal of the 3D signal processing unit 34 and the noise canceling signal subjected to noise canceling processing by the noise canceling unit 33 into analog.
  • the amplifier unit 36 amplifies the 3D sound signal and the noise canceling signal after analog conversion and outputs them to the acoustic output device 3.
  • the information processing device 2 can localize the sound image of each sound element at each sound source position in response to the 3D sound signal in the state where the noise canceling process is performed. As a result, the user wearing the sound output device 3 can listen to each sound element not only in the in-head localization but also in the out-of-head localization state in which the sound sounds as if it is sounding from the surroundings.
  • FIG. 2 is a diagram showing an example of the importance table 26 in the information processing device 2.
  • the importance table 26 shown in FIG. 2 manages the sound element type 262 that identifies the type of the sound element of the system sound in association with each other for each importance 261.
  • the importance level "1" has the highest degree of importance, and the degree of importance gradually decreases in the order of importance level "2"-> importance level "3"-> importance level "4"->.
  • a sound element of importance "1” for example, a sound element of an alarm or a telephone sound
  • a sound element of importance "2 for example, a sound element of a dialog
  • a sound element of importance "3" For example, a sound element of reproduced content.
  • the sound source position of the sound element includes, for example, the position inside or outside the head. Further, outside the head, for example, there are a front surface, a back surface, left and right side surfaces, an overhead surface, and the like.
  • the position outside the head may be any position around the user's head and can be changed as appropriate. For example, in the case of the sound elements of the reproduced content and the alarm, since the sound elements of these system sounds are output from the sound output device 3, for example, the inside of the head is set as the actual sound source position.
  • the sound source position of the sound element is, for example, in the head, which is easiest for the user to hear, in the head ⁇ the front outside the head ⁇ the left and right side outside the head ⁇ the back outside the head ⁇ the overhead outside the head. It shall be ordered in order, and the degree of ease of hearing shall decrease in this order. Therefore, the sound source position of the sound element of high importance is set to the inside of the head ⁇ the outside of the head in front of the head ⁇ ..., and the sound source position of the sound element of low importance is set to, for example, the outside of the head overhead.
  • the order of these sound source positions is managed by a table (not shown) that manages the sound source positions according to the importance. The order of these sound source positions is merely an example and can be changed as appropriate.
  • FIG. 3 is a diagram showing an example of the sound source position of the sound element of the reproduced content and the sound element of the alarm at the time of estimating the sound source position and setting the sound source position.
  • the actual sound source positions of the sound element of the reproduced content and the sound element of the alarm are, for example, in the head.
  • the sound position estimation unit 24 estimates the inside of the head as the actual sound source position of the sound element of the alarm and the sound element of the reproduced content.
  • the sound position setting unit 32 compares the importance of the sound element of the alarm "1" with the importance of the sound element of the reproduced content "3". Since the sound element of the alarm is more important to the sound position setting unit 32, the alarm is set in the head and the reproduced content is set outside the head as the sound source position after the 3D signal processing. Since the sound source position of the alarm is localized in the head and the sound source position of the reproduced content is localized outside the head, the sound source positions of the alarm sound and the reproduced content do not overlap. Therefore, by suppressing the sound interference between the reproduced content and the alarm, the user can easily hear both the reproduced content and the alarm sound.
  • FIG. 4 is a flowchart showing an example of the processing operation of the information processing apparatus 2 related to the first 3D signal generation processing of the first embodiment.
  • the system sound acquisition unit 11 in the information processing device 2 determines whether or not the sound signal has been acquired (step S11).
  • the sound signal is a sound signal including a system sound emitted by the information processing device 2.
  • the A / D conversion unit 21 in the information processing device 2 acquires the sound signal (step S11: Yes)
  • the A / D conversion unit 21 digitally converts the sound signal (step S12).
  • the A / D conversion unit 21A digitally converts the sound signal of the external sound acquired by the external sound acquisition unit 11A.
  • the noise canceling unit 33 adds the noise canceling signal obtained by applying the noise canceling process to the sound signal of the external sound to the signal output from the 3D signal processing unit 34, and then outputs the noise canceling signal to the D / A conversion unit 35.
  • the separation unit 22 in the information processing device 2 separates the sound elements of the system sound from the sound signal after digital conversion by frequency analysis, sound source separation technology, or the like (step S13).
  • the sound element specifying unit 23 in the information processing device 2 specifies the sound element type for each sound element based on the separation result of the sound elements (step S14).
  • the importance specifying unit 25 in the information processing device 2 refers to the importance table 26 and specifies the importance for each sound element (step S15).
  • the sound position estimation unit 24 in the information processing device 2 estimates the actual sound source position for each sound element from the analysis result for each sound element (step S16).
  • the comparison unit 27 in the information processing device 2 determines whether or not there is a sound element of the content being played in the sound element (step S17). When the sound element contains a sound element of the content being played (step S17: Yes), the comparison unit 27 determines whether or not there is a sound element other than the sound element of the content being played in the sound element. (Step S18).
  • the other sound elements are sound elements other than the content being reproduced among the system sounds.
  • the comparison unit 27 compares the importance of the sound element of the content being played with the importance of the other sound element (step S19).
  • the sound position setting unit 32 in the information processing device 2 sets the sound source position for each sound element after 3D signal processing according to the importance of each sound element (step S20). For example, when an alarm and playing content are generated as sound elements, the importance of the alarm is "1" and the importance of the playing content is "3". Therefore, the sound position setting unit 32 sets the sound source position of the alarm in the head and the sound source position of the content being played out of the head as the sound source position after the 3D signal processing.
  • the volume setting unit 31 in the information processing device 2 sets the volume for each sound element after 3D signal processing according to the importance of each sound element type (step S21).
  • the volume setting unit 31 sets, for example, the volume of the alarm to 1 times and the volume of the content being played back to 1 time as the volume after the 3D signal processing.
  • the volume setting unit 31 sets the volume after 3D signal processing, for example, 1 times the volume of the alarm, 0.75 times the volume of the content being played, 2 times the volume of the alarm, and the volume of the content being played. May be 1 times, and can be changed as appropriate.
  • the 3D signal processing unit 34 in the information processing device 2 generates a 3D sound signal for each sound element based on the sound source position and volume for each sound element after the set 3D signal processing, and the 3D sound of all the sound elements.
  • the signals are combined and output (step S22).
  • the 3D signal processing unit 34 generates a 3D sound signal for each sound element by convolving the head impact response with the sound signal for each sound element based on the sound source position and volume for each sound element. Then, the 3D signal processing unit 34 synthesizes and outputs the 3D sound signal for each sound element.
  • the D / A conversion unit 35 in the information processing device 2 converts the combined 3D sound signal and noise canceling signal into analog (step S23).
  • the amplifier unit 36 in the information processing apparatus 2 amplifies the 3D sound signal and the noise canceling signal after analog conversion, and outputs the amplified 3D sound signal and the noise canceling signal to the acoustic output device 3 (step S24). The processing operation shown in 4 is terminated.
  • step S11: No If the system sound acquisition unit 11 has not acquired the sound signal (step S11: No), the system sound acquisition unit 11 ends the processing operation shown in FIG. Further, when there is no sound element of the content being reproduced in the sound element (step S17: No), the sound position setting unit 32 shifts to step S20 in order to set the sound source position for each sound element. When there is no sound element other than the sound element of the content being played in the sound element (step S18: No), the sound position setting unit 32 shifts to step S20 in order to set the sound source position for each sound element. ..
  • the information processing device 2 compares the importance of the sound element of the content being played with the importance of other sound elements, and sets the sound source position and volume for each sound element after 3D signal processing according to the importance. , Generates a 3D sound signal based on the sound source position and volume for each sound element. Further, the information processing device 2 provides the sound output device 3 with a 3D sound signal and a noise canceling signal of the sound source position and volume according to the importance. The information processing device 2 changes the sound source position and volume for each sound element according to the importance, for example, by changing the sound source position between the sound element of the reproduced content and another sound element in the system, the sound element of the reproduced content. Sound interference between and other sound elements in the system sound can be suppressed. Further, sound interference between sound elements in the system sound can be suppressed. Then, the efficiency of information transmission of the system sound can be improved.
  • Embodiment 1 the acoustic output of the sound image of either the sound element or the other sound element of the content being played, depending on the importance of the sound element of the content being played and one or more other sound elements. Change the sound source position on the device 3. As a result, information transmission is performed by suppressing sound interference between sound elements in the system sound by changing the sound source position of each sound element according to the importance of the sound element without interrupting the content being played. Aim for efficiency.
  • the sound source positions of the reproduced content and other sound elements are changed out of the head, and the sound source positions are laid out separately from the other sound elements and the reproduced content that you want to hear.
  • the sound source positions of the reproduced content and other sound elements are changed out of the head, and the sound source positions are laid out separately from the other sound elements and the reproduced content that you want to hear.
  • the sound position setting unit 32 sets the reproduced content overhead and the alarm in the head as the sound source position after the 3D signal processing.
  • the alarm may be set overhead and the reproduced content may be set overhead.
  • the sound position setting unit 32 may set the sound source positions of both the reproduced content and the alarm to different positions outside the head as the sound source positions after the 3D signal processing.
  • the sound position setting unit 32 may set a highly important alarm outside the head outside the front and the reproduced content outside the head overhead as the sound source position after the 3D signal processing.
  • the volume setting unit 31 raises the volume of the alarm sound element after 3D signal processing.
  • the volume of the sound element of the reproduced content after 3D signal processing may be reduced.
  • the case where the importance is much higher is, for example, a case where the importance is two or more steps apart.
  • the reproduction of the reproduced content may be stopped instead of adjusting the volume. Further, the reproduced content may be canceled by using the noise canceling unit 33.
  • the sound source position and the volume of each sound element in the system sound are adjusted according to the importance of the sound element in the system sound. It is not limited to, and can be applied to external sounds such as car sounds, for example. Therefore, the embodiment will be described below.
  • FIG. 5 is a diagram showing an example of the information processing system 1A according to the second embodiment.
  • the same configuration as that of the information processing system 1 of the first embodiment is designated by the same reference numeral, and the description of the overlapping configuration and operation will be omitted.
  • the external sound acquisition unit 11A of the information processing device 2A shown in FIG. 5 acquires the sound signal of the external sound through a microphone (not shown).
  • the microphone is, for example, a microphone array having a plurality of microphones. It is assumed that the microphone is built in the sound output device 3, for example. Although the case where the microphone is built in the acoustic output device 3 is illustrated, the microphone may be provided separately and can be changed as appropriate.
  • the information processing device 2A has a device specifying unit 14 that specifies the type of the acoustic output device 3.
  • Types of acoustic output device 3 include open-ear earphones worn by the user with the user's ear canal open, non-open earphones worn like earplugs, and the like.
  • the open-ear earphones are, for example, open-type headphones, and the non-open-ear earphones are, for example, canal-type headphones.
  • the device identification unit 14 may specify the acoustic output device 3 by the device type input by the user in the setting operation when connecting the acoustic output device 3 to the information processing device 2A, for example.
  • the device identification unit 14 may specify the device type by negotiation with the information processing device 2A when connecting the acoustic output device 3 to the information processing device 2A, and can be changed as appropriate.
  • the separation unit 22 in the determination unit 12 separates sound elements such as external sounds and system sounds from the sound signal after digital conversion by the A / D conversion unit 21 and the A / D conversion unit 21A.
  • the sound element specifying unit 23 specifies a sound element type of a sound element such as an external sound or a system sound.
  • the sound position estimation unit 24 estimates the sound source position of the actual sound element from the sound elements such as the external sound and the system sound.
  • the sound position estimation unit 24 estimates, for example, the actual sound source position where the sound of a car is heard.
  • the importance specification unit 25 refers to the importance table 26A described later, and specifies the importance for each sound element of the external sound or the system sound.
  • the signal processing unit 13 adjusts the sound source position and volume of sound elements in the system sound other than the sound element of the external sound.
  • the signal processing unit 13 adjusts the sound source position and volume of the sound element of the external sound in addition to the sound element of the system sound.
  • FIG. 6 is a diagram showing an example of the importance table 26A in the information processing apparatus 2A.
  • the importance table 26A shown in FIG. 6 is a table that manages the importance of each sound element of the system sound and the sound element of the external sound in association with each other.
  • the sound elements of importance 1 include, for example, external sound elements such as baby crying, Mr. A's sound, and fixed telephone sound, and system sound elements such as alarm sound and telephone sound. Have.
  • the sound element of importance 2 for example, the sound element of the system sound of the content being reproduced is included.
  • the sound element of importance 3 includes, for example, a sound element of an external sound such as a sound of a person other than Mr. A or a car sound.
  • Example of sound source position> For example, it is assumed that the acoustic output device 3 worn by the user is a headphone with a non-open ear hole, and external sound and reproduced content are generated.
  • the sound position setting unit 32 sets the external sound as the actual sound source position and the reproduced content as the sound source position after the 3D signal processing.
  • the sound position setting unit 32 sets the reproduced content as the sound source position after the 3D signal processing, the reproduced content in the head or in front of the head, and the external sound as the reproduced content. Set to a sound source position different from the sound source position of.
  • the acoustic output device 3 worn by the user is headphones with an open ear canal, and external sound and reproduced content are generated.
  • the sound position setting unit 32 sets the reproduced content overhead as the sound source position after the 3D signal processing.
  • the sound position setting unit 32 sets the reproduced content in the head or outside the head as the sound source position after the 3D signal processing.
  • the sound position setting unit 32 reproduces the reproduced content in-head or out-of-head in front of the other system sound as the sound source position after 3D signal processing. Set the sound source position different from the content.
  • FIG. 7 is a diagram showing an example of the sound source position of the sound element of the reproduced content and the sound element of the external sound at the time of estimating the sound source position and setting the sound source position. For example, assume that a user wearing open-ear headphones is with Mr. A while playing content.
  • the sound position estimation unit 24 estimates the inside of the head as the actual sound source position of the reproduced content when there is no conversation between the user and Mr. A. Since there is no conversation between the user and Mr. A and the sound element of the reproduced content is of the highest importance, the sound position setting unit 32 sets the reproduced content outside the front of the head as the sound source position after 3D signal processing. do. On the other hand, the sound position estimation unit 24 estimates the actual sound source position of Mr. A's voice when there is a conversation between the user and Mr. A. Since the sound element of Mr. A's voice has the highest importance, the sound position setting unit 32 sets the reproduced content overhead as the sound source position after the 3D signal processing.
  • the user since the user is a headphone with an open ear canal, he / she can directly listen to Mr. A's voice from the actual sound source position while listening to the reproduced content from overhead like BGM. That is, since the information processing device 2A gives priority to the voice of Mr. A, the position of the sound source in which the reproduced content can be heard is adjusted, so that sound interference between the voice of Mr. A and the reproduced content can be suppressed.
  • the sound position estimation unit 24 estimates the inside of the head as the actual sound source position of the reproduced content. Since there is no conversation between the user and Mr. A and the sound element of the reproduced content is of the highest importance, the sound position setting unit 32 sets the reproduced content outside the front of the head as the sound source position after 3D signal processing. do. On the other hand, the sound position estimation unit 24 estimates the actual sound source position as the sound source position of Mr. A's voice when there is a conversation between the user and Mr. A. Since the sound element of Mr.
  • A's voice is the most important in the sound position setting unit 32, the reproduced content is overhead and the sound of Mr.
  • A is the actual sound source position (as the sound source position after 3D signal processing). Set to (outside the head).
  • the user since the user is a headphone with a non-open ear canal, he / she can listen to Mr.
  • A's voice from the actual sound source position while listening to the reproduced content from overhead like BGM. That is, since the information processing device 2A gives priority to the voice of Mr. A, the sound source and the volume are adjusted, so that sound interference between the voice of Mr. A and the reproduced content can be suppressed.
  • FIG. 8 is a flowchart showing an example of the processing operation of the information processing apparatus 2A related to the second 3D signal generation processing of the second embodiment.
  • the system sound acquisition unit 11 and the external sound acquisition unit 11A in the information processing device 2A determine whether or not a sound signal has been acquired (step S11A).
  • the sound signal includes the sound signal of the external sound acquired by the external sound acquisition unit 11A in addition to the sound signal of the system sound emitted by the information processing device 2A.
  • the device identification unit 14 in the information processing device 2A acquires a sound signal (step S11A: Yes)
  • the device identification unit 14 determines whether or not the acoustic output device 3 connected to the information processing device 2 is a non-open earphone type headphone. (Step S31).
  • the acoustic output device 3 connected to the information processing device 2 is a non-open earphone type headphone or an open earphone type headphone worn by the user.
  • the A / D conversion unit 21 digitally converts the sound signal (step S12A) when the sound output device 3 is a headphone with a non-open ear hole (step S31: Yes).
  • the separation unit 22 in the information processing device 2A separates sound elements including external sounds from the sound signal after digital conversion by frequency analysis, sound source separation technology, or the like (step S13A).
  • the sound element specifying unit 23 in the information processing device 2A specifies the sound element type for each sound element including the external sound based on the separation result of the sound elements (step S14A).
  • the sound element type has a sound element type of an external sound in addition to the sound element type of the system sound.
  • the importance specifying unit 25 in the information processing device 2A refers to the importance table 26A and specifies the importance for each sound element including the external sound (step S15A).
  • the sound position estimation unit 24 in the information processing device 2A estimates the actual sound source position for each sound image of the sound element including the external sound from the analysis result for each sound element (step S16A).
  • the comparison unit 27 in the information processing device 2A determines whether or not there is a sound element of the content being played in the sound element (step S17A).
  • the comparison unit 27 determines whether or not there is a sound element other than the sound element of the content being played in the sound element. (Step S18A).
  • step S18A When there is another sound element (step S18A: Yes), the comparison unit 27 compares the importance of the sound element of the content being played with the importance of the other sound element (step S19A).
  • the sound position setting unit 32 in the information processing device 2A determines whether or not the user's acoustic output device 3 is headphones with non-open ear holes (step S33). When the user's sound output device 3 is a headphone with a non-open ear hole (step S33: Yes), the sound position setting unit 32 is used for each sound element according to the importance of each sound element including the external sound and the system sound.
  • the sound source position after 3D signal processing is set (step S20A).
  • the sound position setting unit 32 states that when the sound output device 3 is a headphone with a non-open ear hole and the sound element is Mr. A's voice and the content being played, Mr. A's voice is of the highest importance. judge.
  • the sound position setting unit 32 sets the voice of Mr. A as the actual sound source position (outside the head) and the content being played as the sound source position after the 3D signal processing.
  • the volume setting unit 31 in the information processing device 2A sets the volume after 3D signal processing for each sound element according to the importance of each sound element including the system sound and the external sound (step S21A).
  • the volume setting unit 31 sets the volume of Mr. A's voice to 1 time and the volume of the content being played back to 1 time as the volume after 3D signal processing.
  • the 3D signal processing unit 34 in the information processing apparatus 2A generates a 3D sound signal for each sound element based on the sound source position and volume after the 3D signal processing for each sound element, and synthesizes the 3D sound signals of all the sound elements. Output (step S22A).
  • the 3D signal processing unit 34 generates a 3D sound signal for each sound element by convolving the head impact response for each sound element based on the sound source position and volume for each sound element. Then, the 3D signal processing unit 34 synthesizes and outputs all the 3D sound signals for each sound element including the system sound and the external sound.
  • the D / A conversion unit 35 in the information processing device 2A converts the noise canceling signal from the noise canceling unit 33 and all the 3D sound signals into analog (step S23A).
  • the amplifier unit 36 in the information processing device 2A amplifies and outputs the analog-converted 3D sound signal and noise canceling signal to the acoustic output device 3 (step S24A), and ends the processing operation shown in FIG.
  • step S31: No When the sound output device 3 connected to the information processing device 2 is not a non-open earphone type headphone (step S31: No), the device identification unit 14 determines that the device type is an open earphone type headphone (step S32), and makes a sound. The process proceeds to step S12A in order to convert the signal into a digital signal. Further, after comparing the importance of the sound position setting unit 32 in step S19A, if the user's acoustic output device 3 is not a non-open earphone type headphone (step S33: No), the user's acoustic output device 3 Is judged to be headphones with open ear holes.
  • the sound position setting unit 32 sets the sound source position after 3D signal processing for each sound element according to the importance of each sound element including the system sound other than the external sound (step S20B).
  • the sound position setting unit 32 determines that, for example, when the sound element is Mr. A's voice and the content being played, the importance of Mr. A's voice is the highest. As a result, the sound position setting unit 32 can suppress the interference between the playing content and Mr. A's voice by setting the playing content outside the head as the sound source position after the 3D signal processing. can.
  • the volume setting unit 31 sets the volume after 3D signal processing for each sound element according to the importance of each sound element including the system sound other than the external sound (step S21B), and the volume and sound source for each sound element.
  • the process proceeds to step S22A in order to generate a 3D sound signal based on the position.
  • the volume setting unit 31 sets the volume of the sound element of the content being played to 1 time without adjusting the volume of the voice of Mr. A.
  • step S11A: No When the system sound acquisition unit 11 and the external sound acquisition unit 11A have not acquired the sound signal (step S11A: No), the processing operation shown in FIG. 8 ends. Further, the sound position setting unit 32 determines whether or not the sound output device 3 is a non-open earphone type headphone when there is no sound element of the content being reproduced in the sound element (step S17A: No). , Step S33. When the sound element has no sound element other than the sound element of the content being reproduced (step S18A: No), the sound position setting unit 32 determines whether or not the sound output device 3 is a headphone with an open ear canal. The process proceeds to step S33 in order to determine.
  • the sound element of the system sound other than the external sound is determined according to the importance of the system sound and the sound element of the external sound. Adjust the sound source position of. As a result, the sound source position of the system sound can be adjusted so as not to interfere with the external sound. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • the sound source position of the sound element of the system sound and the external sound is determined according to the importance of the sound element of the system sound and the external sound. adjust.
  • the sound source positions of the system sound and the external sound can be adjusted so as not to interfere with the external sound. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • the sound source position of the sound element to be controlled is changed according to the type of the acoustic output device 3 worn by the user is illustrated.
  • the importance of each sound element may be changed according to the current position of the user who wears the acoustic output device 3, and the embodiment thereof will be described below.
  • FIG. 9 is a diagram showing an example of the information processing system 1B according to the third embodiment.
  • the same configuration as that of the information processing system 1B of the second embodiment is designated by the same reference numeral, and the description of the overlapping configuration and operation will be omitted.
  • the information processing device 2B shown in FIG. 9 has a detection unit 15 that detects the current position of the user who wears the acoustic output device 3.
  • the detection unit 15 is a function of detecting the current position of the user by using, for example, GPS (Global Positioning System) or the like.
  • GPS Global Positioning System
  • the detection unit 15 detects, for example, the home or the outside of the home as the current position.
  • the determination unit 12 sets the importance of each sound element according to the home.
  • the determination unit 12 sets the importance of each sound element according to the outside of the home.
  • the signal processing unit 13 adjusts the sound source position and volume of the sound element based on the importance of each sound element according to the home.
  • the signal processing unit 13 adjusts the sound source position and the volume of the sound element based on the importance of each sound element according to the outside of the home. Further, the signal processing unit 13 does not change the sound source position among the external sounds outside the home, for example, the sound of a car is meaningless if the actual sound source position is changed.
  • FIG. 10 is a diagram showing an example of the importance table 26B in the information processing apparatus 2B.
  • the importance table 26B shown in FIG. 10 is a table that manages the sound element type for each importance at home and the sound element type for each importance outside the home in association with each other.
  • the sound element of importance 1 at home for example, the sound element of the baby's cry, the voice of Mr. A, the external sound of the telephone sound, and the sound element of the system sound of the alarm or the fixed telephone sound, for example.
  • the sound element of importance 2 at home for example, the sound element of the system sound of the content being played is included.
  • the sound element of importance 3 at home for example, there is a sound element of an external sound such as the sound of a person other than Mr. A or the sound of a car.
  • the sound elements of importance 1 outside the home include, for example, baby crying, Mr. A's voice, telephone sound, car sound, external sound element, and, for example, alarm system sound. It has a sound element of.
  • the sound element of importance 2 outside the home for example, the sound element of the system sound of the content being reproduced is included.
  • the sound element of importance 3 outside the home for example, there is a sound element of an external sound such as a voice of a person other than Mr. A and a sound of a fixed telephone.
  • the importance of the sound of a landline phone is high and the importance of the sound of a car is low.
  • the importance outside the home for example, the importance of the sound of the car is high and the importance of the sound of the fixed telephone is set low. Further, the importance of each sound element may be appropriately set and changed by the user.
  • FIG. 11 is a diagram showing an example of the sound source position of the sound element of the reproduced content and the sound element of the external sound at the time of estimating the sound source position and setting the sound source position. For example, it is assumed that the reproduced content and the sound element of the car sound are generated outside the home of a user who wears headphones with non-open ear holes.
  • the volume setting unit 31 sets the volume of the car sound to 1.5 times and the volume of the reproduced content to 0.5 times as the volume after the 3D signal processing.
  • the sound position estimation unit 24 estimates the actual sound source position (inside the head) as the sound source position of the reproduced content and the actual sound source position as the sound source position of the car sound. Since the sound position setting unit 32 is at home, the importance of the sound element of the reproduced content is the highest, and the reproduced content is outside the front of the head and the car sound is the actual sound source position (as the sound source position for each 3D signal processing). Set to (outside the head).
  • the volume setting unit 31 sets the volume of the reproduced content to 1 times and the volume of the car sound to 0 times as the volume after the 3D signal processing.
  • the user has a low risk of the car at home, and can listen to the reproduced content from outside the front of the head by eliminating the sound of the car. In addition, by eliminating unnecessary external sounds, the burden on the user's brain is reduced and fatigue is less likely to occur.
  • the sound position estimation unit 24 estimates the actual sound source position (inside the head) as the sound source position of the reproduced content and the actual sound source position as the sound source position of the car sound. Since the sound position setting unit 32 is at home, the sound element of the reproduced content has the highest importance, and the reproduced content is set outside the front of the head as the sound source position after the 3D signal processing. At this time, the volume setting unit 31 sets the volume of the reproduced content to 1 as the volume after the 3D signal processing. Since the risk to the car at home is low, the user can listen to the reproduced content from outside the head while listening to the sound of the actual car.
  • the reproduced content and the sound element of the car sound are generated outside the home of the user who wears the headphones with open ear holes. Since the sound position setting unit 32 is outside the home, the sound element of the car has the highest importance, and the reproduced content is set overhead as the sound source position after the 3D signal processing. At this time, the volume setting unit 31 sets the volume of the reproduced content to 0.5 times as the volume after the 3D signal processing. As a result, the user has a high risk of the car outside the home, and can recognize the existence of the car by directly listening to the sound of the car from the actual position of the car while listening to the reproduced content from above like BGM. .. Further, it may be appropriately set so that the importance of the sound element other than the car is the highest.
  • the sound position estimation unit 24 estimates the sound source position of the reproduced content (inside the head) and the actual sound source position of Mr. A's voice (outside the head) as the actual sound source position.
  • the sound position setting unit 32 sets the reproduced content to the overhead position and the voice of Mr. A to the actual sound source position (outside the head) as the sound source position after the 3D signal processing.
  • the volume setting unit 32 sets the volume of the reproduced content and the volume of Mr. A's voice to 1 times as the volume after the 3D signal processing. As a result, the user can listen to Mr. A's voice while listening to the reproduced content from above like BGM.
  • the sound position estimation unit 24 estimates the sound source position of the reproduced content (inside the head) and the actual sound source position of Mr. A's voice (outside the head) as the actual sound source position.
  • the sound position setting unit 32 sets the reproduced content to the overhead outside the head as the sound source position after the 3D signal processing.
  • the volume setting unit 32 sets the volume of the reproduced content to 1 times as the volume after the 3D signal processing.
  • the sound position estimation unit 24 estimates the sound source position (inside the head) of the reproduced content and the actual sound source position of the car sound as the actual sound source position.
  • the sound position setting unit 32 sets the reproduced content to the overhead position and the car sound to the actual sound source position (outside the head) as the sound source position after the 3D signal processing.
  • the volume setting unit 31 sets the volume of the reproduced content to 0.5 times and the volume of the car sound to 1 times as the volume after the 3D signal processing.
  • the sound position estimation unit 24 estimates the sound source position (inside the head) of the reproduced content and the actual sound source position of the car sound as the actual sound source position.
  • the sound position setting unit 32 sets the reproduced content to the overhead outside the head as the sound source position after the 3D signal processing.
  • the volume setting unit 31 sets the volume of the reproduced content to 0.5 times as the volume after the 3D signal processing.
  • the sound position estimation unit 24 estimates the actual sound source position (inside the head) of the reproduced content and the actual sound source position (outside the head) of the announcement sound as the actual sound source position.
  • the sound position setting unit 32 sets the reproduced content outside the front head and the sound source position of the announcement sound outside the head overhead as the sound source position after the 3D signal processing. As a result, the user can hear the announcement sound while listening to the reproduced content from above like BGM.
  • FIG. 12 is a diagram showing an example of the sound source position of the sound element of the reproduced content, the sound element of Mr. A, and the sound element of Mr. B at the time of estimating the sound source position and setting the sound source position.
  • the sound position estimation unit 24 sets the actual sound source position as the sound source position of the reproduced content (inside the head), the actual sound source position of the voice of Mr. A (outside the head), and the actual sound source position of the voice of Mr. B (outside the head). To estimate.
  • the sound position setting unit 32 determines that the importance of Mr. A's voice is 1, the importance of the reproduced content is 2, and the importance of Mr. B's voice is 3.
  • the sound position setting unit 32 sets the reproduced content to the overhead position outside the head and the voice of Mr. A to the actual sound source position (outside the head) as the sound source position after the 3D signal processing. Since the sound element of Mr. B's voice has an importance of 3, it will be canceled through the noise canceling unit 33. As a result, the user can listen to Mr. A's voice while listening to the reproduced content from above like BGM.
  • the sound position estimation unit 24 sets the actual sound source position as the sound source position of the reproduced content (inside the head), the actual sound source position of the voice of Mr. A (outside the head), and the actual sound source position of the voice of Mr. B (outside the head). To estimate.
  • the sound position setting unit 32 since the voice of Mr. A has an importance of 1, the reproduced content has an importance of 2, and the voice of Mr. B has an importance of 3, the reproduced content is set as the sound source position after 3D signal processing. Is set overhead and out of the head. As a result, the user can directly listen to Mr. A's voice while listening to the reproduced content from above like BGM.
  • FIG. 13 is a flowchart showing an example of the processing operation of the information processing apparatus 2B related to the third 3D signal generation processing of the third embodiment.
  • the detection unit 15 in the information processing device 2B identifies the current position of the user who wears the sound output device 3 (step S32).
  • the current position has been illustrated as the case where the user wearing the acoustic output device 3 is at home or outside the home, but the present position is not limited to this and can be changed as appropriate.
  • the system sound acquisition unit 11 and the external sound acquisition unit 11A determine in step S11A whether or not the sound signal including the system sound and the external sound has been acquired. Move to.
  • the importance specifying unit 25 in the information processing device 2B specifies the sound element type for each sound element including the external sound in step S14A, and then refers to the importance table 26B, and refers to the sound element including the external sound and the system sound.
  • the importance corresponding to the current position is specified for each (step S15C).
  • the sound position estimation unit 24 in the information processing device 2B identifies the importance corresponding to the current position, and then proceeds to step S16A in order to estimate the sound source position for each sound element including the system sound and the external sound.
  • the system sound other than the external sound is determined according to the importance of the system sound corresponding to the home and the sound element of the external sound. Adjust the sound source position of the sound element of. As a result, even when wearing open-ear headphones and staying at home, the sound source position of the system sound can be adjusted so as not to interfere with the external sound. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • the system sound and the external sound are based on the importance of the sound elements of the system sound and the external sound corresponding to the home. Adjust the sound source position of the sound element of. As a result, even when wearing non-open ear headphones and staying at home, the sound source positions of the system sound and the external sound can be adjusted so as not to interfere with the external sound. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • the sound output device 3 of the user outside the home is a headphone with an open ear canal, other than the external sound, depending on the importance of the system sound corresponding to the outside of the home and the sound element of the external sound. Adjust the sound source position of the sound element of the system sound. As a result, even when wearing open-ear headphones and being outside the home, the sound source position of the system sound can be adjusted so as not to interfere with the external sound. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • the system sound and the system sound and the sound element of the external sound corresponding to the outside of the home are important. Adjust the sound source position of the sound element of the external sound. As a result, the sound source positions of the system sound and the external sound can be adjusted so as not to interfere with the external sound even when the earphones with non-open ear holes are worn and the person is outside the house. That is, it is possible to suppress sound interference between a sound element in the system sound and another sound element in the external sound.
  • FIG. 14 is a diagram showing an example of the operation of the information processing device 2B. It is assumed that a user wears headphones with non-open ear holes outside the home, and for example, Mr. A's voice, car sound, Mr. B's voice, and playback content are generated. Further, the acoustic output device 3 worn by the user shall be headphones with non-open ear holes.
  • the system sound acquisition unit 11 and the external sound acquisition unit 11A acquire a sound signal including the voice of Mr. A, the sound of a car, the voice of Mr. B, the reproduced content, and the like.
  • the external sound acquisition unit 11A acquires external sounds such as the voice of Mr. A, the sound of a car, and the voice of Mr. B with a microphone (not shown).
  • the A / D conversion unit 21 digitally converts the sound signal acquired by the system sound acquisition unit 11, and outputs the digitally converted sound signal to the separation unit 22.
  • the A / D conversion unit 21A digitally converts the sound signal of the external sound acquired by the external sound acquisition unit 11A, and outputs the digitally converted sound signal to the separation unit 22.
  • the separation unit 22 separates, for example, the sound element of Mr. A's voice, the sound element of the car sound, the sound element of Mr. B's voice, and the sound element of the reproduced content from the sound signal by frequency analysis or sound source separation technology. do.
  • the sound element specifying unit 23 specifies the sound element type for each separated sound element.
  • the detection unit 15 determines that the current position of the user wearing the acoustic output device 3 is outside the home.
  • the importance specifying unit 25 refers to the importance table 26B and specifies the importance of each sound element outside the home.
  • the importance specifying unit 25 determines that the importance of Mr. A's voice and the sound of the car is importance 1, the importance of Mr. B's voice is importance 3, and the importance of the reproduced content is importance 2.
  • the sound position estimation unit 24 estimates the sound source position for each separated sound element.
  • the sound position estimation unit 24 estimates, for example, the actual sound source position of Mr. A's voice (for example, the front surface) and the actual sound source position of the car sound (for example, the right side surface) as the actual sound source position. Further, the sound position estimation unit 24 estimates the actual sound source position (for example, the left side surface) of Mr. B's voice and the actual sound source position (inside the head) of the reproduced content as the actual sound source position.
  • the sound position setting unit 32 sets the sound source position after 3D signal processing for each sound element according to the importance of each sound element.
  • the sound position setting unit 32 sets the sound source position after 3D signal processing, for example, the voice of Mr. A at the actual sound source position (outside the head in front) and the sound of the car at the actual sound source position (for example, outside the head on the right side).
  • the sound position setting unit 32 sets the voice of Mr. B as the actual sound source position (for example, outside the head on the left side) and the reproduced content outside the head overhead as the sound source position after the 3D signal processing.
  • the volume setting unit 31 sets the volume after 3D signal processing for each sound element according to the importance of each sound element.
  • the volume setting unit 31 sets the volume after 3D signal processing, for example, 1x the volume of Mr. A's voice, 1x the volume of car sound, 0x the volume of Mr. B's voice, and the volume of playback content. Set to 1x.
  • the 3D signal processing unit 34 generates a 3D sound signal for each sound element based on the volume and sound source position for each sound element after the 3D signal processing.
  • the 3D signal processing unit 34 synthesizes the 3D sound signal for each sound element, and outputs the combined 3D sound signal to the D / A conversion unit 35.
  • the D / A conversion unit 35 converts the 3D sound signal and the noise canceling signal processed by the noise canceling unit 33 into analog, and outputs the analog-converted 3D sound signal and noise canceling signal to the sound output device 3. do.
  • the user wearing the sound output device 3 listens to the sound of Mr. A and the sound of the car from the actual sound source position without listening to the sound of Mr. B while listening to the reproduced content flowing from overhead like BGM. be able to.
  • the information processing device 2 exemplifies an information processing device such as a virtual assistant connected to the acoustic output device 3.
  • a virtual assistant connected to the acoustic output device 3.
  • it is not limited to the virtual assistant, and can be applied to, for example, a content playback device or a smartphone having a function of playing playback content and a function of acquiring other sound elements, and can be changed as appropriate. be.
  • the information processing device 2 may be, for example, a server device on the cloud, and the processing of the determination unit 12 and the signal processing unit 13 is executed on the cloud, and the 3D sound signal generated by the signal processing unit 13 is output to the acoustic output device 3. May be transmitted to. Further, the determination unit 12 and the signal processing unit 13 may be built in the acoustic output device 3.
  • the sound output device 3 may be, for example, headphones such as a head mount display such as VR (Virtual Reality) or AR (Augmented Reality), and can be changed as appropriate.
  • a head mount display such as VR (Virtual Reality) or AR (Augmented Reality)
  • the acoustic characteristics of the sound element may be adjusted. ..
  • the case where the sound source position of the sound element is changed according to the importance and the volume at the changed sound source position is adjusted is illustrated.
  • the frequency characteristics of the sound element may be adjusted so that the sound element of high importance can be easily heard.
  • the information processing device 2 when the current position of the user wearing the acoustic output device 3 is at home or outside the home, the case where the importance of each sound element corresponding to the current position is defined is illustrated. However, the importance is not limited to home or outside the home, and the importance of each sound element corresponding to a place such as a company or a train may be defined.
  • the information processing device 2 is not limited to the current position of the user who wears the sound output device 3, and is not limited to the user's time zone and the user's condition, for example, the user is studying or sleeping.
  • the importance of each sound element may be defined in association with the state of. For example, when the user is studying, the reproduced content may be changed from the inside of the head to the outside of the head.
  • the sound element of the ringing sound of the treatment device is acquired, and the sound of the opposite phase is used for the treatment device. You may cancel the ringing sound.
  • the sound source position of the sound element of the reproduced content is changed from the inside of the head to the outside of the head according to the importance of the sound element, and the volume of the sound image at the sound source position is adjusted. ..
  • the sound of the lyrics part of the reproduced content may be removed and only the sound of the accompaniment part may be output.
  • the information processing apparatus 2 may change the first notification sound to the overhead outside the head and the second notification sound to the front or back outside the head.
  • the importance of the sound element of Mr. A's voice is defined in advance in the importance table 26A is illustrated.
  • a person who is highly relevant to the user is identified according to the social graph of the SNS, and the definition in the importance table 26A is updated so that the sound element of the identified person becomes more important. Is also good.
  • the information processing device 2 has a function of detecting a reaction operation such as turning the direction of the user's sound when a sound element is generated, and the sound element and the user's reaction operation according to the reaction operation of the user.
  • the importance of each sound element in the importance table 26 may be changed according to the combination of states.
  • the case where the information processing device 2 is outside the home for example, the case where the importance of the sound element of the car sound is set to the importance level 1 is illustrated.
  • the risk to the car is low in places where cars do not pass, such as pedestrian bridges, so the importance may be changed according to the place.
  • the volume of the sound element of the car may be increased to arouse the presence of the car to the user.
  • the frequency of the car sound may be adjusted at the same time as the volume of the car sound to make it easier to hear the car sound, and the presence of the car is recognized by the user by adding a specific sound. It may be easy to make it.
  • the notification sound for notifying a green light, a red light, etc. of a pedestrian crossing may differ depending on the area. However, when the information processing device 2 detects a pedestrian crossing notification sound, the information processing device 2 may replace the notification sound with another notification sound in an area known to the user.
  • the information processing device 2 illustrates a case where a 3D sound signal in which the sound source position of each sound element is appropriately changed according to the importance of each sound element is output to the sound output device 3.
  • the sound output device is not limited to the sound output device 3, and the sound source position may be changed by using a plurality of speakers.
  • the information processing device 2 of the present embodiment may be realized by a dedicated computer system or a general-purpose computer system.
  • a program for executing the above-mentioned operations can be provided as an optical disk, a semiconductor memory, a magnetic tape, or a flexible disk.
  • the information processing apparatus 2 (2A, 2B) is configured by installing the program on a computer and executing the above-mentioned processing.
  • the above program may be stored in a storage device provided in another information processing device on a network such as the Internet so that it can be downloaded to a computer or the like.
  • the above-mentioned functions may be realized by collaboration between the OS (Operating System) and the application software.
  • the part other than the OS may be stored in a medium and distributed, or the part other than the OS may be stored in the server device so that it can be downloaded to a computer or the like.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed / physically distributed in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the present embodiment includes a device or any configuration constituting the system, for example, a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, a unit using a plurality of modules, or a unit. It can also be implemented as a set or the like (that is, a part of the configuration of the device) to which other functions are added.
  • a processor as a system LSI (Large Scale Integration) or the like, a module using a plurality of processors, a unit using a plurality of modules, or a unit. It can also be implemented as a set or the like (that is, a part of the configuration of the device) to which other functions are added.
  • LSI Large Scale Integration
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present embodiment has, for example, a cloud computing configuration in which at least one function (for example, a determination unit 12 and a signal processing unit 13) is shared and jointly processed by a plurality of devices via a network. Can be done.
  • at least one function for example, a determination unit 12 and a signal processing unit 13
  • the information processing apparatus includes an acquisition unit that acquires a sound element of the content being played and one or a plurality of other sound elements, and a sound acquired by the acquisition unit. It has a determination unit for determining the importance of the element, and a signal processing unit for changing the sound source position of either the sound element of the content being reproduced or the other sound element according to the importance of the sound element.
  • a determination unit for determining the importance of the element
  • a signal processing unit for changing the sound source position of either the sound element of the content being reproduced or the other sound element according to the importance of the sound element.
  • the information processing device changes the sound source position of the sound element of the content being played when the importance of the other sound elements is higher than the importance of the sound element of the content being played. As a result, it is possible to suppress sound interference between the sound element of the content being reproduced and another sound element. Then, the user can easily hear other sound elements while listening to the reproduced content.
  • the information processing device sets the sound source position of the sound element of the content being played different from the sound source position of the other sound element. Change to position. As a result, it is possible to suppress sound interference between the sound element of the content being reproduced and another sound element. Then, the user can easily hear other sound elements while listening to the reproduced content.
  • the information processing device localizes the sound source position of the sound element of the sound element of the content being played out of the head with the sound output device. Change to. As a result, it is possible to suppress sound interference between the sound element of the content being reproduced and another sound element. Then, the user can easily hear other sound elements while listening to the reproduced content.
  • the sound source position of the sound element of the content being played differs from the sound source position of the other sound element. Change to out-of-head localization with an acoustic output device. As a result, it is possible to suppress sound interference between the sound element of the content being reproduced and another sound element. Then, the user can easily hear other sound elements while listening to the reproduced content.
  • the information processing device When the information processing device detects the movement of the user who uses the sound output device to a predetermined space, the information processing device refers to and acquires the importance table that manages the importance of each sound element in each space corresponding to the predetermined space. Determine the importance of the sound element.
  • the predetermined space can be, for example, various environments at the user's home or outside the home.
  • moving to a predetermined space means, for example, when a user moves from inside the home to outside the home, or when moving from outside the home to inside the home, moving from one space outside the home to another. Can be done.
  • the information processing device refers to the importance table and determines the importance of each separated sound element. As a result, sound interference between sound elements can be suppressed by changing the importance of each sound element.
  • the information processing device refers to the importance table that manages the importance of each sound element including the sound element of a specific person and the importance table, and refers to the sound element of the specific person specified from other separated sound elements.
  • the importance is higher than the sound element of the content being played
  • the other sound elements of the specific person are emphasized, and the importance of the other sound elements of the specified specific person is the sound element of the content being played. If not higher than, cancel other sound elements of the particular person.
  • the sound element of the specific person is prioritized, and if there is a sound of a person other than the specific person that is not higher than the importance of the reproduced content, that sound is given. By canceling, it is possible to suppress sound interference with the voice of a specific person.
  • the information processing device updates the importance of each sound element including the sound element of the specific person so that the sound element of the specific person becomes more important according to the relationship between the user of the sound output device and the specific person. do. As a result, the importance of each sound element of the specific person can be updated according to the relationship between the user and the specific person.
  • the importance may be updated as appropriate in one importance table, or a plurality of importance tables are stored in the cloud, database, etc. in advance, and among the plurality of importance tables at the timing when the importance is changed.
  • a predetermined importance table may be appropriately referred to from the above, or both patterns may be appropriately combined.
  • the information processing device acquires the sound element emitted by the information processing device and other sound elements outside the information processing device including the sound element of the external sound taken from the outside of the information processing device, and outputs the sound element to the sound source position.
  • the sound output device is an open-ear earphone
  • the sound source position of the sound element can be changed according to the importance of the sound element emitted by the information processing device.
  • the information processing device can change the sound source position of the sound element according to the importance of the sound element emitted by the information processing device and the importance of the sound element of the external sound.
  • the sound source position of the sound element emitted by the information processing device can be changed according to the importance of the sound element, and the user wears non-open ear headphones.
  • the sound source positions of the sound element emitted by the information processing device and the sound element of the external sound can be changed according to the importance of the sound element.
  • the present technology can also have the following configurations.
  • An acquisition unit that acquires one or more sound elements, A determination unit that determines the importance of the sound element acquired by the acquisition unit, and a determination unit that determines the importance of the sound element.
  • a signal processing unit that changes the position of at least one sound source of the sound element and other sound elements of the content being played according to the importance of the sound element determined by the determination unit.
  • Information processing device with. (2) The one or more sound elements include at least the content being played. The information processing device according to (1) above. (3) The signal processing unit In the above (1) or (2), when the importance of the other sound element is higher than the importance of the sound element of the content being played, the sound source position of the sound element of the content being played is changed. The information processing device described.
  • the signal processing unit When the importance of the other sound element is higher than the importance of the sound element of the content being played, the sound source position of the sound element of the content being played is different from the sound source position of the other sound element.
  • the information processing apparatus according to any one of (1) to (3) above.
  • the signal processing unit When the importance of the other sound element is higher than the importance of the sound element of the content being played, the head-related transfer function is used to change the sound source position of the sound element of the content being played out of the head.
  • the information processing apparatus according to any one of (1) to (4).
  • the signal processing unit When the importance of the sound element of the content being played is higher than the importance of the other sound element, the sound source position of the sound element of the content being played and the other sound are used by using the head related transfer function.
  • the information processing apparatus according to any one of (1) to (4) above, which is changed so that the sound source position of the element is different.
  • An acoustic output device that localizes and outputs the sound element to the sound source position, Have,
  • the determination unit refers to an importance table assigned importance for each type of sound element, and determines the importance of each sound element, which is any one of (1) to (6).
  • the importance table is set to any one of the above (1) to (7), characterized in that the importance of the sound element is updated according to a predetermined space in which the user who wears the sound output device is present.
  • the information processing device described. The importance table is characterized in that the importance definition of the sound element is updated when the movement of the user wearing the sound output device from the first predetermined space to the second predetermined space is detected.
  • the information processing apparatus according to any one of (1) to (8) above.
  • the importance table is any one of the above (1) to (9), characterized in that the importance of the sound element is updated according to the relationship between the user wearing the sound output device and the specific person.
  • the signal processing unit When the sound output device that outputs the sound element to the sound source position is an open-ear earphone, the sound source position of the sound element emitted by the information processing device can be changed according to the importance of the sound element. When the sound output device is a non-open earphone type headphone, the sound source positions of the sound element emitted by the information processing device and the sound element of the external sound can be changed according to the importance of the sound element (1).
  • the information processing apparatus according to any one of (11) to (11). (13)
  • the information processing device A determination unit that determines the importance of the sound element, A signal processing unit that changes the sound source position of at least one of the sound element of the content being reproduced and the other sound element in the sound output device according to the importance of the sound element determined by the determination unit. , Information processing system with.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

情報処理装置は、取得部と、判定部と、信号処理部とを有する。取得部は、一又は複数の他の音要素を取得する。判定部は、取得部にて取得された音要素の重要度を判定する。信号処理部は、判定部にて判定された音要素の重要度に応じて、再生中のコンテンツの音要素及び他の音要素の少なくとも一つの音源位置を変更する。その結果、再生コンテンツの音要素及び他の音要素が同時に発生した場合でも、再生コンテンツの音要素と他の音要素との間の音干渉を抑制できる。

Description

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
　本開示は、音要素の音源位置を変更可能にする機能を備えた情報処理装置等に関する。
　近年、個人のタスク又はサービスを実行するソフトウェアエージェントとしてバーチャルアシスタント等の情報処理装置が知られている。情報処理装置には、例えば、コンテンツを再生する機能、アラームを通知する機能、ＡＩ（Artificial　Intelligence）が利用者と対話するダイアログ機能等がある。情報処理装置は、利用者が装着するヘッドホン等と接続し、例えば、音楽や動画等の再生コンテンツ、アラームやダイアログ等の音信号をヘッドホンから出力する。その結果、利用者は、ヘッドホンからの音声を聞きながら各種サービスを受けることができる。
　情報処理装置は、例えば、ダイアログと、再生コンテンツとが同時に発生した場合、ヘッドホンでダイアログの音源位置と再生コンテンツの音源位置とが同じ頭内に定位させている。この場合、利用者は、ダイアログと再生コンテンツとが重なり、ダイアログと再生コンテンツとの間で音干渉が生じるため、ダイアログや再生コンテンツが聞きづらくなる。従って、情報処理装置では、ダイアログ発生中はコンテンツ再生を停止することで対処している。また、情報処理装置では、ヘッドホンを用いて音要素の音源位置を変更可能にする技術も広く知られている。
特開平１１－３３１９９２号公報 特開２００２－４４７９７号公報
　しかしながら、情報処理装置では、例えば、コンテンツ再生中にダイアログ等の他の音要素が発生した場合にコンテンツ再生を停止すると、再生コンテンツの音が途切れるため、利用者に不快感を与えるおそれがある。
　そこで、このような事態に対処すべく、例えば、コンテンツ再生中に他の音要素が同時に発生した場合でも、他の音要素が聞こえてくる音源位置や再生コンテンツが聞こえてくる音源位置を変えることで、再生コンテンツと他の音要素との間の音干渉を抑制する技術が求められている。また、ヘッドホン装置として、音源位置を変えるべく、各入力音声信号による音像を頭外に定位させる技術はあるが、利用者に応じて通知すべき入力音声信号の音像定位位置を制御する技術もなく、当該技術が求められている。
　そこで、本開示では、再生コンテンツの音要素及び他の音要素が同時に発生した場合でも、再生コンテンツの音要素と他の音要素との間の音干渉を抑制できる情報処理装置等を提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、再生中のコンテンツの音要素及び、一又は複数の他の音要素を取得する取得部と、前記取得部にて取得された前記音要素の重要度を判定する判定部と、前記判定部にて判定された前記音要素の重要度に応じて、前記再生中のコンテンツの音要素又は前記他の音要素の何れか一方の音源位置を変更する信号処理部と、を有する。
本開示の実施形態１に係る情報処理システムの一例を示す図である。 情報処理装置内の重要度テーブルの一例を示す図である。 音源位置特定時及び音源位置設定時の再生コンテンツの音要素及びアラームの音要素の音源位置の一例を示す図である。 第１の３Ｄ信号生成処理に係る情報処理装置の処理動作の一例を示すフローチャートである。 実施形態２に係る情報処理システムの一例を示す図である。 情報処理装置内の重要度テーブルの一例を示す図である。 音源位置特定時及び音源位置設定時の再生コンテンツの音要素及び外部音（車の音）の音要素の音源位置の一例を示す図である。 第２の３Ｄ信号生成処理に係る情報処理装置の処理動作の一例を示すフローチャートである。 実施形態３に係る情報処理システムの一例を示す図である。 情報処理装置内の重要度テーブルの一例を示す図である。 音源位置特定時及び音源位置設定時の再生コンテンツの音要素及び外部音（車の音）の音要素の音源位置の一例を示す図である。 音源位置特定時及び音源位置設定時の再生コンテンツの音要素、Ａさんの音要素及びＢさんの音要素の音源位置の一例を示す図である。 第３の３Ｄ信号生成処理に係る情報処理装置の処理動作の一例を示すフローチャートである。 情報処理装置の動作の一例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．はじめに
　　　１－１．情報処理システムの概要
　　２．実施形態１の情報処理システムの構成及び動作
　　　２－１．情報処理装置の構成
　　　２－２．判定部の構成
　　　２－３．信号処理部の構成
　　　２－４．重要度テーブルの構成
　　　２－５．音源位置の一例
　　　２－６．第１の３Ｄ信号生成処理
　　３．実施形態２の情報処理システムの構成及び動作
　　　３－１．情報処理装置の構成
　　　３－２．重要度テーブルの構成
　　　３－３．音源位置の一例
　　　３－４．第２の３Ｄ信号生成処理
　　４．実施形態３の情報処理システムの構成及び動作
　　　４－１．情報処理装置の構成
　　　４－２．重要度テーブルの構成
　　　４－３．音源位置の一例
　　　４－４．第３の３Ｄ信号生成処理
　　　４－５．情報処理装置の動作の一例
　　５．変形例
　　６．むすび
＜＜１．はじめに＞＞
＜１－１．情報処理システムの概要＞
　情報処理装置には、例えば、コンテンツを再生する機能、アラームを通知する機能、ＡＩが利用者と対話するダイアログ機能等がある。情報処理装置は、利用者が装着するヘッドホン等と接続し、例えば、音楽や動画等の再生コンテンツ、アラームやダイアログ等の音信号をヘッドホンから出力する。その結果、利用者は、ヘッドホンからの音声を聞きながら各種サービスを受けることができる。
　しかしながら、情報処理装置は、例えば、ヘッドホンで再生コンテンツを出力中にダイアログが発生した場合、コンテンツの再生を停止し、ダイアログのＡＩ音声を出力するため、再生コンテンツの中断によって利用者に不快感を与える場合がある。そこで、例えば、コンテンツ再生中に他の音要素が同時に発生した場合でも、他の音要素が聞こえてくる音源位置や再生コンテンツが聞こえてくる音源位置を変えることで、再生コンテンツと他の音要素との間の音干渉を抑制する技術が求められている。
　そこで、本実施形態では以下の手段によりこの問題を解決する。
　例えば、情報処理装置は、再生中のコンテンツの音要素及び、一又は複数の他の音要素を取得する取得部と、前記取得部にて取得された前記音要素の重要度を判定する判定部と、前記判定部にて判定された前記音要素の重要度に応じて、前記再生中のコンテンツの音要素又は前記他の音要素の何れか一方の音源位置を変更する信号処理部と、を有する。
　情報処理装置は、再生中のコンテンツの音要素及び、一又は複数の他の音要素の重要度に応じて、再生中のコンテンツの音要素又は他の音要素の何れか一方の音源位置を変更する。その結果、再生中のコンテンツを中断することなく、音要素の重要度に応じて各音要素の音源位置を変えることで音要素間の音干渉を抑制できる。そして、情報伝達の効率化を図ることができる。
＜＜２．実施形態１の情報処理システムの構成及び動作＞＞
　以上、本実施形態の概要を説明したが、以下、本実施形態１の情報処理システム１を詳細に説明する。
＜２－１．情報処理装置の構成＞
　図１は、本開示の実施形態１に係る情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、情報処理装置２と、情報処理装置２と接続し、利用者が装着する音響出力デバイス３とを有する。音響出力デバイス３は、例えばヘッドホン、ワイヤレスヘッドホン、ワイヤレスイヤホン、ネックバンド型イヤホン、スピーカ、車載スピーカ等である。情報処理装置２は、例えば、音要素毎の音源位置を変更した３Ｄ音信号を生成し、生成した３Ｄ音信号を利用者の音響出力デバイス３に出力する。利用者は、音響出力デバイス３の３Ｄ音信号の音響出力で各音要素の音を受聴できる。情報処理装置２は、システム音取得部１１と、外部音取得部１１Ａと、判定部１２と、信号処理部１３とを有する。システム音取得部１１は、再生中のコンテンツの音要素及び、一又は複数の他の音要素を取得する。音要素は、例えば、情報処理装置２が発するシステム音の音要素である。尚、システム音の音要素は、例えば、音楽や動画等の再生コンテンツ等の音要素、アラーム等の音要素、電話の音の音要素、利用者と対話するＡＩ音声等のダイアログの音要素等である。外部音取得部１１Ａは、図示せぬマイクを使用して車の音等の外部音の音要素を取得する。
＜２－２．判定部の構成＞
　判定部１２は、システム音取得部１１にて取得された音要素の重要度を判定する。音要素の重要度は、音要素の重要度合を順位付けた情報である。信号処理部１３は、音要素の重要度に応じて、再生中のコンテンツの音要素又は他の音要素の何れか一方の音像の音響出力デバイス３内での音源位置を変更する。また、信号処理部１３は音源の位置ではなく、音源の方向を制御するようにしても良いし、方向推定のみを行っても良い。さらに、オブジェクトオーディオに代表される、３次元空間上に配置された音源に対して、その位置を特定かつ/または変更するような制御を行っても良いし、前述したいずれかを組み合わせた制御を行ってもよい。
　判定部１２は、Ａ／Ｄ変換部２１と、Ａ／Ｄ変換部２１Ａと、分離部２２と、音要素特定部２３と、音位置推定部２４と、重要度特定部２５と、重要度テーブル２６と、比較部２７とを有する。Ａ／Ｄ変換部２１は、システム音取得部１１にて取得されたシステム音の音信号をデジタル変換する。Ａ／Ｄ変換部２１Ａは、外部音取得部１１Ａにて取得された外部音の音信号をデジタル変換する。分離部２２は、Ａ／Ｄ変換部２１及びＡ／Ｄ変換部２１Ａでデジタル変換後の音信号を周波数解析等で音要素毎に分離する。分離部２２は、システム音や外部音の音信号を音要素毎に分離する。音要素特定部２３は、図示せぬ音要素の種別を管理するテーブルを参照して、音要素毎の音要素種別を特定する。音要素特定部２３は、例えば、再生コンテンツの音要素、アラームの音要素、電話の音の音要素、ダイアログの音要素等の音要素種別を特定する。
　音位置推定部２４は、分離部２２にて分離された音要素を解析することで、音要素毎の実際の音源位置を推定する。音位置推定部２４は、音要素毎の実際の音源位置、すなわち音要素の音が実際に聞こえて来る音源位置を推定する。音位置推定部２４は、例えば、再生コンテンツの音要素等のシステム音の音要素の場合、音響出力デバイス３を装着しているため、システム音の音要素の音像の音源位置として頭内と推定する。重要度特定部２５は、重要度テーブル２６を参照し、音要素毎の重要度を特定する。比較部２７は、音要素同士の重要度、特に再生コンテンツの音要素の重要度と他の音要素の重要度とを比較する。
＜２－３．信号処理部の構成＞
　信号処理部１３は、音量設定部３１と、音位置設定部３２と、ノイズキャンセリング部３３と、３Ｄ信号処理部３４と、Ｄ／Ａ変換部３５と、アンプ部３６とを有する。音量設定部３１は、音要素毎の重要度に応じて３Ｄ信号処理後の各音要素の音量を設定する。３Ｄ信号処理後の各音要素の音量は、３Ｄ信号処理部３４で生成した各音要素の音量である。尚、音量設定部３１は、音要素の重要度に応じた音量を管理する図示せぬテーブルを参照し、音要素毎の重要度に対応する、３Ｄ信号処理後の各音要素の音量を設定する。
　音位置設定部３２は、音要素毎の重要度に応じて３Ｄ信号処理後の各音要素の音源位置を設定する。３Ｄ信号処理後の各音要素の音源位置は、３Ｄ信号処理部３４で生成した各音要素の音源位置である。尚、音位置設定部３２は、音要素の重要度に応じた音源位置を管理する図示せぬテーブルを参照し、音要素毎の重要度に対応する、３Ｄ信号処理後の各音要素の音像の音位置を設定する。ノイズキャンセリング部３３は、Ａ／Ｄ変換部２１Ａでデジタル変換後の外部音の音信号にノイズキャンセル処理を施したノイズキャンセル信号をＤ／Ａ変換部３５に出力する。
　３Ｄ信号処理部３４は、音要素毎の音源位置及び音量に基づき、音要素のデジタル信号に頭部インパルス応答（ＨＲＩＲ：Head-Related　Impulse　Response）を畳み込んで当該音要素の音像を所望の音源位置に定位させる３Ｄ音信号を生成する３Ｄ信号処理を実行する。頭部インパルス応答は、音源から出た音が利用者の耳に届くまでの特性を表した頭部伝達関数（ＨＲＴＦ：Head-Related　Transfer　Function）を時間軸で表現したものである。３Ｄ信号処理部３４は、音要素毎の３Ｄ音信号を合成し、合成した全ての音要素の３Ｄ音信号を出力する。３Ｄ信号処理部３４は、音要素の音像を音源位置、例えば、頭内や頭外に定位させる３Ｄ音信号を生成する。尚、頭外には、例えば、音響出力デバイス３を装着した利用者の頭内から一定距離だけ離間した音源位置の他に、頭内から任意の距離だけ離間した音源位置も含まれる。また、３Ｄ信号処理部３４は、利用者の顔の向きの角度変化に応じて音源位置を相対的に移動するヘッドトラッキング機能も有する。
　Ｄ／Ａ変換部３５は、３Ｄ信号処理部３４の３Ｄ音信号及びノイズキャンセリング部３３でノイズキャンセル処理を施したノイズキャンセル信号をアナログ変換する。アンプ部３６は、アナログ変換後の３Ｄ音信号及びノイズキャンセル信号を増幅して音響出力デバイス３に出力する。情報処理装置２は、ノイズキャンセル処理が施された状態で３Ｄ音信号に応じて各音要素の音像を各音源位置に定位できる。その結果、音響出力デバイス３を装着した利用者は、頭内定位は勿論のこと、まるで周囲から音が鳴っているように聞こえる頭外定位の状態で各音要素を受聴できる。
＜２－４．重要度テーブルの構成＞
　図２は、情報処理装置２内の重要度テーブル２６の一例を示す図である。図２に示す重要度テーブル２６は、重要度２６１毎に、システム音の音要素の種別を識別する音要素種別２６２を対応付けて管理する。重要度“１”は、重要の度合が一番高く、重要度“２”→重要度“３”→重要度“４”→…の順に段々と重要の度合が低くなる。重要度“１”の音要素としては、例えば、アラームや電話の音の音要素、重要度“２”の音要素としては、例えば、ダイアログの音要素、重要度“３”の音要素としては、例えば、再生コンテンツの音要素である。
　音要素の音源位置には、例えば、頭内や頭外の位置がある。また、頭外には、例えば、正面、背面、左右側面、頭上等がある。頭外には、利用者の頭の周辺の位置であれば、何処でも良く、適宜変更可能である。例えば、再生コンテンツ及びアラームの音要素の場合、これらのシステム音の音要素が音響出力デバイス３から出力するため、例えば、頭内を実際の音源位置とする。尚、説明の便宜上、音要素の音源位置は、例えば、頭内が利用者に一番聞き取り易く、頭内→正面の頭外→左右側面の頭外→背面の頭外→頭上の頭外の順に序列化し、この序列順に聞き取りやすい度合が低下するものとする。従って、重要度が高い音要素の音源位置は頭内→正面の頭外→…に設定し、重要度の低い音要素の音源位置は、例えば、頭上の頭外に設定するものとする。これら音源位置の序列は、重要度に応じて音源位置を管理する図示せぬテーブルで管理している。尚、これら音源位置の序列は、単なる一例に過ぎず、適宜変更可能である。
＜２－５．音源位置の一例＞
　図３は、音源位置推定時及び音源位置設定時の再生コンテンツの音要素及びアラームの音要素の音源位置の一例を示す図である。尚、説明の便宜上、再生コンテンツの音要素及びアラームの音要素の実際の音源位置は、例えば、頭内とする。
　音位置推定部２４は、アラームの音要素及び再生コンテンツの音要素の実際の音源位置として頭内を推定する。これに対して、音位置設定部３２は、アラームの音要素の重要度“１”と再生コンテンツの音要素の重要度“３”とを比較する。そして、音位置設定部３２は、アラームの音要素の重要度の方が高いため、３Ｄ信号処理後の音源位置として、アラームを頭内、再生コンテンツを頭上の頭外に設定する。アラームの音源位置が頭内、再生コンテンツの音源位置が頭上の頭外に定位するため、アラーム音及び再生コンテンツの音源位置が重ならない。従って、再生コンテンツとアラームとの間の音干渉を抑制することで、利用者は、再生コンテンツ及びアラーム音の両方が聞き取りやすくなる。
＜２－６．第１の３Ｄ信号生成処理＞
　図４は、実施形態１の第１の３Ｄ信号生成処理に係る情報処理装置２の処理動作の一例を示すフローチャートである。図４において情報処理装置２内のシステム音取得部１１は、音信号を取得したか否かを判定する（ステップＳ１１）。尚、音信号は、情報処理装置２で発するシステム音を含む音信号である。
　情報処理装置２内のＡ／Ｄ変換部２１は、音信号を取得した場合（ステップＳ１１：Ｙｅｓ）、音信号をデジタル変換する（ステップＳ１２）。尚、Ａ／Ｄ変換部２１Ａは、外部音取得部１１Ａにて取得された外部音の音信号をデジタル変換する。そして、ノイズキャンセリング部３３は、外部音の音信号にノイズキャンセル処理を施したノイズキャンセル信号を３Ｄ信号処理部３４から出力された信号に加算し、その後Ｄ／Ａ変換部３５に出力する。情報処理装置２内の分離部２２は、デジタル変換後の音信号からシステム音の音要素を周波数解析や音源分離技術等で分離する（ステップＳ１３）。情報処理装置２内の音要素特定部２３は、音要素の分離結果に基づき、音要素毎の音要素種別を特定する（ステップＳ１４）。情報処理装置２内の重要度特定部２５は、重要度テーブル２６を参照し、音要素毎の重要度を特定する（ステップＳ１５）。
　情報処理装置２内の音位置推定部２４は、音要素毎の分析結果から音要素毎の実際の音源位置を推定する（ステップＳ１６）。情報処理装置２内の比較部２７は、音要素内に再生中コンテンツの音要素があるか否かを判定する（ステップＳ１７）。比較部２７は、音要素内に再生中コンテンツの音要素がある場合（ステップＳ１７：Ｙｅｓ）、音要素内に再生中のコンテンツの音要素以外の他の音要素があるか否かを判定する（ステップＳ１８）。尚、他の音要素は、システム音の内、再生中のコンテンツ以外の音要素である。
　比較部２７は、他の音要素がある場合（ステップＳ１８：Ｙｅｓ）、再生中のコンテンツの音要素の重要度と他の音要素の重要度とを比較する（ステップＳ１９）。情報処理装置２内の音位置設定部３２は、音要素毎の重要度に応じて、３Ｄ信号処理後の音要素毎の音源位置を設定する（ステップＳ２０）。例えば、音要素としてアラーム及び再生中コンテンツが発生した場合、アラームの重要度が“１”、再生中コンテンツの重要度が“３”となる。従って、音位置設定部３２は、３Ｄ信号処理後の音源位置として、アラームの音源位置を頭内、再生中コンテンツの音源位置を頭上の頭外に設定する。
　更に、情報処理装置２内の音量設定部３１は、音要素種別毎の重要度に応じて、３Ｄ信号処理後の音要素毎の音量を設定する（ステップＳ２１）。音量設定部３１は、３Ｄ信号処理後の音量として、例えば、アラームの音量を１倍、再生中コンテンツの音量を１倍に設定する。尚、音量設定部３１は、３Ｄ信号処理後の音量として、例えば、アラームの音量を１倍、再生中コンテンツの音量を０．７５倍、また、アラームの音量を２倍、再生中コンテンツの音量を１倍にしても良く、適宜変更可能である。情報処理装置２内の３Ｄ信号処理部３４は、設定された３Ｄ信号処理後の音要素毎の音源位置及び音量に基づき、音要素毎の３Ｄ音信号を生成し、全ての音要素の３Ｄ音信号を合成出力する（ステップＳ２２）。３Ｄ信号処理部３４は、音要素毎の音源位置及び音量に基づき、音要素毎の音信号に頭部インパクト応答を畳み込んで音要素毎の３Ｄ音信号を生成する。そして、３Ｄ信号処理部３４は、全ての音要素毎の３Ｄ音信号を合成して出力する。
　情報処理装置２内のＤ／Ａ変換部３５は、合成後の３Ｄ音信号及びノイズキャンセル信号をアナログ変換する（ステップＳ２３）。情報処理装置２内のアンプ部３６は、アナログ変換後の３Ｄ音信号及びノイズキャンセル信号を増幅し、増幅後の３Ｄ音信号及びノイズキャンセル信号を音響出力デバイス３に出力し（ステップＳ２４）、図４に示す処理動作を終了する。
　システム音取得部１１は、音信号を取得したのでない場合（ステップＳ１１：Ｎｏ）、図４に示す処理動作を終了する。また、音位置設定部３２は、音要素内に再生中のコンテンツの音要素がない場合（ステップＳ１７：Ｎｏ）、音要素毎の音源位置を設定すべく、ステップＳ２０に移行する。音位置設定部３２は、音要素内に再生中のコンテンツの音要素以外の他の音要素がない場合（ステップＳ１８：Ｎｏ）、音要素毎の音源位置を設定すべく、ステップＳ２０に移行する。
　情報処理装置２は、再生中コンテンツの音要素の重要度と他の音要素の重要度とを比較し、重要度に応じて、３Ｄ信号処理後の音要素毎の音源位置及び音量を設定し、音要素毎の音源位置及び音量に基づき３Ｄ音信号を生成する。更に、情報処理装置２は、重要度に応じた音源位置及び音量の３Ｄ音信号及びノイズキャンセル信号を音響出力デバイス３に提供する。情報処理装置２は、重要度に応じて音要素毎の音源位置及び音量を変更、例えば、再生コンテンツの音要素とシステム内の他の音要素との音源位置を変えることで再生コンテンツの音要素とシステム音内の他の音要素との間の音干渉を抑制できる。更に、システム音内の音要素間の音干渉を抑制できる。そして、システム音の情報伝達の効率化を図ることができる。
　実施形態１では、再生中のコンテンツの音要素及び、一又は複数の他の音要素の重要度に応じて、再生中のコンテンツの音要素又は他の音要素の何れか一方の音像の音響出力デバイス３での音源位置を変更する。その結果、再生中のコンテンツを中断することなく、音要素の重要度に応じて各音要素の音源位置を変えることで、システム音内の音要素間の音干渉を抑制することで情報伝達の効率化を図る。
　また、システム音の重要度に応じて、例えば、再生コンテンツと他の音要素の音源位置を頭外に変更し、聞きたい他の音要素と再生コンテンツとを分離して音源位置をレイアウトする。その結果、利用者の意思を反映した音要素毎の重要度を用いて聞きたい音を聞き易くできる。
　尚、説明の便宜上、音位置設定部３２は、図３に示すように、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外、アラームを頭内に設定した。しかしながら、３Ｄ信号処理後の音源位置として、アラームを頭上の頭外、再生コンテンツを頭内に設定しても良い。また、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツ及びアラーム両方の音源位置を頭外の異なる位置に設定すれば良い。また、音位置設定部３２は、３Ｄ信号処理後の音源位置として、重要度の高いアラームを正面の頭外、再生コンテンツを頭上の頭外に設定しても良い。
　また、アラーム音が緊急性を有して重要度が再生コンテンツの音要素の重要度に比較してはるかに高い場合、音量設定部３１は、アラームの音要素の３Ｄ信号処理後の音量を高くし、再生コンテンツの音要素の３Ｄ信号処理後の音量を小さくしても良い。尚、はるかに高い場合とは、例えば、重要度が２段以上離れている場合である。また、アラームが緊急性を有して重要度が再生コンテンツの音要素の重要度に比較してはるかに高い場合、音量を調整するのではなく、再生コンテンツの再生を停止しても良い。また、ノイズキャンセリング部３３を用いて再生コンテンツをキャンセルしても良い。
　尚、実施形態１の情報処理装置２では、システム音内の音要素の重要度に応じてシステム音内の音要素毎の音源位置及び音量を調整する場合を例示したが、システム音の音要素に限定されるものではなく、例えば、車の音等の外部音にも適用可能である。従って、その実施の形態につき、以下に説明する。
＜＜３．実施形態２の情報処理システムの構成及び動作＞＞
＜３－１．情報処理装置の構成＞
　図５は、実施形態２に係る情報処理システム１Ａの一例を示す図である。尚、実施形態１の情報処理システム１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。図５に示す情報処理装置２Ａの外部音取得部１１Ａは、図示せぬマイクを通じて外部音の音信号を取得する。マイクは、例えば、複数のマイクを有するマイクアレイである。マイクは、例えば、音響出力デバイス３に内蔵しているものとする。尚、マイクは、音響出力デバイス３に内蔵する場合を例示したが、別個に設けても良く、適宜変更可能である。
　更に、情報処理装置２Ａは、音響出力デバイス３の種別を特定するデバイス特定部１４を有する。音響出力デバイス３の種別には、利用者の耳穴を開口した状態で利用者が装着する耳孔開放型のヘッドホンや、耳栓のように装着する耳孔非開放型のヘッドホン等がある。耳孔開放型ヘッドホンは、例えばオープン型ヘッドホンであり、耳孔非開放型ヘッドホンは、例えばカナル型ヘッドホンである。デバイス特定部１４は、例えば、音響出力デバイス３を情報処理装置２Ａに接続する際に利用者が設定操作で入力したデバイス種別で音響出力デバイス３を特定しても良い。また、デバイス特定部１４は、例えば、音響出力デバイス３を情報処理装置２Ａに接続する際の情報処理装置２Ａとのネゴシエーションでデバイス種別を特定するようにしても良く、適宜変更可能である。
　判定部１２内の分離部２２は、Ａ／Ｄ変換部２１及びＡ／Ｄ変換部２１Ａでデジタル変換後の音信号から外部音やシステム音等の音要素を分離する。音要素特定部２３は、外部音やシステム音等の音要素の音要素種別を特定する。音位置推定部２４は、外部音やシステム音等の音要素から実際の音要素の音源位置を推定する。音位置推定部２４は、例えば、車の音が聞こえて来る実際の音源位置を推定する。重要度特定部２５は、後述する重要度テーブル２６Ａを参照し、外部音やシステム音の音要素毎に重要度を特定する。
　信号処理部１３は、利用者が装着する音響出力デバイス３が耳孔開放型のヘッドホンの場合、外部音の音要素以外のシステム音内の音要素の音源位置及び音量を調整する。信号処理部１３は、利用者が装着する音響出力デバイス３が耳孔非開放型のヘッドホンの場合、システム音の音要素の他に、外部音の音要素の音源位置及び音量を調整する。
＜３－２．重要度テーブルの構成＞
　図６は、情報処理装置２Ａ内の重要度テーブル２６Ａの一例を示す図である。図６に示す重要度テーブル２６Ａは、システム音の音要素及び外部音の音要素毎の重要度を対応付けて管理するテーブルである。重要度１の音要素としては、例えば、赤ちゃんの泣き声、Ａさんの音声、固定電話の音等の外部音の音要素と、例えば、アラーム音や電話の音等のシステム音の音要素とを有する。重要度２の音要素としては、例えば、再生中のコンテンツのシステム音の音要素を有する。重要度３の音要素としては、例えば、Ａさん以外の人の音声や車の音等の外部音の音要素を有する。
＜３－３．音源位置の一例＞
　例えば、利用者が装着する音響出力デバイス３が耳孔非開放型のヘッドホンであって、外部音及び再生コンテンツが発生した場合を想定する。外部音の重要度が再生コンテンツよりも高い場合、音位置設定部３２は、３Ｄ信号処理後の音源位置として、外部音を実際の音源位置、再生コンテンツを頭上の頭外に設定する。また、再生コンテンツの重要度が外部音又はシステム音よりも高い場合、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭内又は正面の頭外、外部音を再生コンテンツの音源位置と異なる音源位置に設定する。
　利用者が装着する音響出力デバイス３が耳孔開放型のヘッドホンであって、外部音及び再生コンテンツが発生した場合を想定する。外部音の重要度が再生コンテンツよりも高い場合、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。また、再生コンテンツの重要度が外部音よりも高い場合、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭内又は正面の頭外に設定する。また、再生コンテンツの重要度が他のシステム音よりも高い場合、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭内又は正面の頭外、他のシステム音を再生コンテンツと異なる音源位置に設定する。
　図７は、音源位置推定時及び音源位置設定時の再生コンテンツの音要素及び外部音の音要素の音源位置の一例を示す図である。例えば、耳孔開放型のヘッドホンを装着する利用者がコンテンツを再生しながらＡさんと居る場合を想定する。
　音位置推定部２４は、利用者とＡさんとの会話がない場合、再生コンテンツの実際の音源位置として頭内を推定する。音位置設定部３２は、利用者とＡさんとの会話がなく、再生コンテンツの音要素の重要度が一番高いため、３Ｄ信号処理後の音源位置として、再生コンテンツを正面の頭外に設定する。これに対して、音位置推定部２４は、利用者とＡさんとの会話がある場合、Ａさんの音声の実際の音源位置を推定する。音位置設定部３２は、Ａさんの音声の音要素の重要度が一番高いため、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。その結果、利用者は、耳孔開放型のヘッドホンであるため、頭上から再生コンテンツをＢＧＭ的に聞きながら、Ａさんの音声を実際の音源位置から直接聞くことができる。つまり、情報処理装置２Ａは、Ａさんの音声を優先させるため、再生コンテンツの聞こえる音源位置を調整するので、Ａさんの音声と再生コンテンツとの間の音干渉を抑制できる。
　また、例えば、耳孔非開放型のヘッドホンを装着した利用者が、コンテンツを再生しながらＡさんと居る場合を想定する。音位置推定部２４は、利用者とＡさんとの会話がない場合、再生コンテンツの実際の音源位置として頭内を推定する。音位置設定部３２は、利用者とＡさんとの会話がなく、再生コンテンツの音要素の重要度が一番高いため、３Ｄ信号処理後の音源位置として、再生コンテンツを正面の頭外に設定する。これに対して、音位置推定部２４は、利用者とＡさんとの会話がある場合、Ａさんの音声の音源位置として実際の音源位置を推定する。音位置設定部３２は、Ａさんの音声の音要素の重要度が一番高いため、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外、Ａさんの音声を実際の音源位置（頭外）に設定する。その結果、利用者は、耳孔非開放型のヘッドホンであるため、頭上から再生コンテンツをＢＧＭ的に聞きながら、Ａさんの音声を実際の音源位置から聞くことができる。つまり、情報処理装置２Ａは、Ａさんの音声を優先させるため、音源や音量を調整するので、Ａさんの音声と再生コンテンツとの間の音干渉を抑制できる。
＜３－４．第２の３Ｄ信号生成処理＞
　図８は、実施形態２の第２の３Ｄ信号生成処理に係る情報処理装置２Ａの処理動作の一例を示すフローチャートである。図８において情報処理装置２Ａ内のシステム音取得部１１及び外部音取得部１１Ａは、音信号を取得したか否かを判定する（ステップＳ１１Ａ）。尚、音信号は、情報処理装置２Ａで発するシステム音の音信号の他に、外部音取得部１１Ａで取得した外部音の音信号を含む。
　情報処理装置２Ａ内のデバイス特定部１４は、音信号を取得した場合（ステップＳ１１Ａ：Ｙｅｓ）、情報処理装置２に接続する音響出力デバイス３が耳孔非開放型のヘッドホンであるか否かを判定する（ステップＳ３１）。情報処理装置２に接続する音響出力デバイス３は、利用者が装着する耳孔非開放型のヘッドホン又は耳孔開放型のヘッドホンである。Ａ／Ｄ変換部２１は、音響出力デバイス３が耳孔非開放型のヘッドホンの場合（ステップＳ３１：Ｙｅｓ）、音信号をデジタル変換する（ステップＳ１２Ａ）。情報処理装置２Ａ内の分離部２２は、デジタル変換後の音信号から外部音を含む音要素を周波数解析や音源分離技術等で分離する（ステップＳ１３Ａ）。情報処理装置２Ａ内の音要素特定部２３は、音要素の分離結果に基づき、外部音を含む音要素毎の音要素種別を特定する（ステップＳ１４Ａ）。尚、音要素種別は、システム音の音要素種別の他に、外部音の音要素種別を有する。
　情報処理装置２Ａ内の重要度特定部２５は、重要度テーブル２６Ａを参照し、外部音を含む音要素毎に重要度を特定する（ステップＳ１５Ａ）。情報処理装置２Ａ内の音位置推定部２４は、音要素毎の分析結果から外部音を含む音要素の音像毎の実際の音源位置を推定する（ステップＳ１６Ａ）。
　情報処理装置２Ａ内の比較部２７は、音要素内に再生中コンテンツの音要素があるか否かを判定する（ステップＳ１７Ａ）。比較部２７は、音要素内に再生中コンテンツの音要素がある場合（ステップＳ１７Ａ：Ｙｅｓ）、音要素内に再生中のコンテンツの音要素以外の他の音要素があるか否かを判定する（ステップＳ１８Ａ）。
　比較部２７は、他の音要素がある場合（ステップＳ１８Ａ：Ｙｅｓ）、再生中のコンテンツの音要素の重要度と他の音要素の重要度とを比較する（ステップＳ１９Ａ）。情報処理装置２Ａ内の音位置設定部３２は、利用者の音響出力デバイス３が耳孔非開放型のヘッドホンであるか否かを判定する（ステップＳ３３）。音位置設定部３２は、利用者の音響出力デバイス３が耳孔非開放型のヘッドホンの場合（ステップＳ３３：Ｙｅｓ）、外部音及びシステム音を含む音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音源位置を設定する（ステップＳ２０Ａ）。尚、音位置設定部３２は、音響出力デバイス３が耳孔非開放型のヘッドホンであって、音要素がＡさんの音声及び再生中コンテンツの場合、Ａさんの音声の重要度が一番高いと判定する。音位置設定部３２は、３Ｄ信号処理後の音源位置として、Ａさんの音声を実際の音源位置（頭外）、再生中コンテンツを頭上の頭外に設定する。
　更に、情報処理装置２Ａ内の音量設定部３１は、システム音及び外部音を含む音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音量を設定する（ステップＳ２１Ａ）。尚、音量設定部３１は、３Ｄ信号処理後の音量として、Ａさんの音声の音量を１倍、再生中コンテンツの音量を１倍に設定する。情報処理装置２Ａ内の３Ｄ信号処理部３４は、音要素毎の３Ｄ信号処理後の音源位置及び音量に基づき、音要素毎の３Ｄ音信号を生成し、全ての音要素の３Ｄ音信号を合成出力する（ステップＳ２２Ａ）。３Ｄ信号処理部３４は、音要素毎の音源位置及び音量に基づき、音要素毎の頭部インパクト応答を畳み込んで音要素毎の３Ｄ音信号を生成する。そして、３Ｄ信号処理部３４は、システム音及び外部音を含む音要素毎の３Ｄ音信号を全て合成して出力する。
　情報処理装置２Ａ内のＤ／Ａ変換部３５は、ノイズキャンセリング部３３からのノイズキャンセル信号及び全ての３Ｄ音信号をアナログ変換する（ステップＳ２３Ａ）。情報処理装置２Ａ内のアンプ部３６は、アナログ変換後の３Ｄ音信号及びノイズキャンセル信号を音響出力デバイス３に増幅出力し（ステップＳ２４Ａ）、図８に示す処理動作を終了する。
　デバイス特定部１４は、情報処理装置２に接続する音響出力デバイス３が耳孔非開放型のヘッドホンでない場合（ステップＳ３１：Ｎｏ）、デバイス種別が耳孔開放型のヘッドホンと判断し（ステップＳ３２）、音信号をデジタル信号に変換すべく、ステップＳ１２Ａに移行する。また、音位置設定部３２は、ステップＳ１９Ａにて重要度を比較した後、利用者の音響出力デバイス３が耳孔非開放型のヘッドホンでない場合（ステップＳ３３：Ｎｏ）、利用者の音響出力デバイス３が耳孔開放型のヘッドホンと判断する。音位置設定部３２は、外部音以外のシステム音を含む音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音源位置を設定する（ステップＳ２０Ｂ）。尚、音位置設定部３２は、例えば、音要素がＡさんの音声及び再生中コンテンツの場合、Ａさんの音声の重要度が一番高いと判定する。その結果、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生中コンテンツを頭上の頭外に設定することで、再生中のコンテンツとＡさんの音声との干渉を抑制することができる。
　更に、音量設定部３１は、外部音以外のシステム音を含む音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音量を設定し（ステップＳ２１Ｂ）、音要素毎の音量及び音源位置に基づき３Ｄ音信号を生成すべく、ステップＳ２２Ａに移行する。尚、音量設定部３１は、Ａさんの音声の音量を調整することなく、再生中コンテンツの音要素の音量を１倍に設定する。
　システム音取得部１１及び外部音取得部１１Ａは、音信号を取得したのでない場合（ステップＳ１１Ａ：Ｎｏ）、図８に示す処理動作を終了する。また、音位置設定部３２は、音要素内に再生中のコンテンツの音要素がない場合（ステップＳ１７Ａ：Ｎｏ）、音響出力デバイス３が耳孔非開放型のヘッドホンであるか否かを判定すべく、ステップＳ３３に移行する。音位置設定部３２は、音要素内に再生中のコンテンツの音要素以外の他の音要素がない場合（ステップＳ１８Ａ：Ｎｏ）、音響出力デバイス３が耳孔非開放型のヘッドホンであるか否かを判定すべく、ステップＳ３３に移行する。
　実施形態２の情報処理装置２Ａでは、利用者の音響出力デバイス３が耳孔開放型のヘッドホンの場合、システム音及び外部音の音要素の重要度に応じて、外部音以外のシステム音の音要素の音源位置を調整する。その結果、外部音を妨げないようにシステム音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
　情報処理装置２Ａでは、利用者の音響出力デバイス３が耳孔非開放型のヘッドホンの場合、システム音及び外部音の音要素の重要度に応じて、システム音及び外部音の音要素の音源位置を調整する。その結果、外部音を妨げないようにシステム音及び外部音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
　上記実施形態２の情報処理システム１Ａでは、利用者が装着する音響出力デバイス３の種別に応じて音要素の制御対象の音源位置を変更する場合を例示した。しかしながら、音響出力デバイス３を装着する利用者の現在位置に応じて音要素毎の重要度を変更しても良く、その実施形態につき、以下に説明する。
＜＜４．実施形態３の情報処理システムの構成及び動作＞＞
＜４－１．情報処理装置の構成＞
　図９は、実施形態３に係る情報処理システム１Ｂの一例を示す図である。尚、実施形態２の情報処理システム１Ｂと同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。図９に示す情報処理装置２Ｂは、音響出力デバイス３を装着する利用者の現在位置を検出する検出部１５を有する。検出部１５は、例えば、ＧＰＳ（Global　Positioning　System）等を用いて利用者の現在位置を検出する機能である。尚、説明の便宜上、検出部１５は、現在位置として、例えば、自宅又は自宅外を検出するものである。
　判定部１２は、利用者の現在位置が自宅の場合、自宅に応じた音要素毎の重要度を設定する。判定部１２は、利用者の現在位置が自宅外の場合、自宅外に応じた音要素毎の重要度を設定する。信号処理部１３は、現在位置が自宅の場合、自宅に応じた音要素毎の重要度に基づき、音要素の音源位置及び音量を調整する。信号処理部１３は、現在位置が自宅外の場合、自宅外に応じた音要素毎の重要度に基づき、音要素の音源位置及び音量を調整する。また、信号処理部１３は、自宅外での外部音の内、例えば、車の音は実際の音源位置を変えると意味がないため、音源位置を変更しないものとする。
＜４－２．重要度テーブルの構成＞
　図１０は、情報処理装置２Ｂ内の重要度テーブル２６Ｂの一例を示す図である。図１０に示す重要度テーブル２６Ｂは、自宅での重要度毎の音要素種別と、自宅外での重要度毎の音要素種別とを対応付けて管理するテーブルである。
　自宅での重要度１の音要素としては、例えば、赤ちゃんの泣き声、Ａさんの音声、電話の音の外部音の音要素と、例えば、アラームや固定電話の音のシステム音の音要素とを有する。自宅での重要度２の音要素としては、例えば、再生中のコンテンツのシステム音の音要素を有する。自宅での重要度３の音要素としては、例えば、Ａさん以外の人の音声や車の音の外部音の音要素を有する。
　これに対して、自宅外での重要度１の音要素としては、例えば、赤ちゃんの泣き声、Ａさんの音声、電話の音、車の音の外部音の音要素と、例えば、アラームのシステム音の音要素とを有する。自宅外での重要度２の音要素としては、例えば、再生中のコンテンツのシステム音の音要素を有する。自宅外での重要度３の音要素としては、例えば、Ａさん以外の人の音声、固定電話の音の外部音の音要素を有する。
　自宅での重要度と自宅外での重要度とを比較した場合、自宅での重要度では、例えば、固定電話の音の重要度が高く、車の音の重要度が低く設定してある。これに対して、自宅外での重要度では、例えば、車の音の重要度が高く、固定電話の音の重要度が低く設定してある。また、各音要素の重要度は利用者によって適宜設定、変更されるようにしても良い。
＜４－３．音源位置の一例＞
　図１１は、音源位置推定時及び音源位置設定時の再生コンテンツの音要素及び外部音の音要素の音源位置の一例を示す図である。例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅外で再生コンテンツ及び車の音の音要素が発生した場合を想定する。
　音位置設定部３２は、自宅外のため、車の音要素の重要度が一番高く、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外、車の音を実際の音源位置（頭外）に設定する。この際、音量設定部３１は、３Ｄ信号処理後の音量として、車の音の音量を１．５倍、再生コンテンツの音量を０．５倍に設定する。その結果、利用者は、自宅外であるため、車に対する危険度が高く、車の実際の位置から車の音量を大きくし、車の存在を強く認識できる。近年、自動車の音が小さくなっているため、その自動車の音の音量を大きくなるように調整することで、自動車の存在を利用者に強く認識させることができる。
　これに対して、例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅で再生コンテンツ及び車の音の音要素が発生した場合を想定する。音位置推定部２４は、再生コンテンツの音源位置として実際の音源位置（頭内）、車の音の音源位置として実際の音源位置を推定する。音位置設定部３２は、自宅のため、再生コンテンツの音要素の重要度が一番高く、３Ｄ信号処理毎の音源位置として、再生コンテンツを正面の頭外、車の音を実際の音源位置（頭外）に設定する。この際、音量設定部３１は、３Ｄ信号処理後の音量として、再生コンテンツの音量を１倍、車の音の音量を０倍に設定する。利用者は、自宅での車に対する危険度が低く、車の音を消去することで正面の頭外から再生コンテンツを聞くことができる。また、不要な外部音を消去することで、利用者の脳への負担も減り、疲れにくくなるなどの効果もある。
　例えば、耳孔開放型のヘッドホンを装着する利用者の自宅で再生コンテンツ及び車の音の音要素が発生した場合を想定する。音位置推定部２４は、再生コンテンツの音源位置として実際の音源位置（頭内）、車の音の音源位置として実際の音源位置を推定する。音位置設定部３２は、自宅のため、再生コンテンツの音要素の重要度が一番高く、３Ｄ信号処理後の音源位置として、再生コンテンツを正面の頭外に設定する。この際、音量設定部３１は、３Ｄ信号処理後の音量として、再生コンテンツの音量を１倍に設定する。利用者は、自宅での車に対する危険度が低いため、実際の車の音を聞きながら、正面の頭外から再生コンテンツを聞くことができる。
　これに対して、例えば、耳孔開放型のヘッドホンを装着する利用者の自宅外で再生コンテンツ及び車の音の音要素が発生した場合を想定する。音位置設定部３２は、自宅外のため、車の音要素の重要度が一番高く、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。この際、音量設定部３１は、３Ｄ信号処理後の音量として、再生コンテンツの音量を０．５倍に設定する。その結果、利用者は、自宅外での車に対する危険度が高く、再生コンテンツを頭上からＢＧＭ的に聞きながら、実際の車の位置から車の音を直接聞くことで、車の存在を認識できる。また、車以外の音要素の重要度が一番高くなるように適宜設定してもよい。
　また、例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅で再生コンテンツの音要素及びＡさんの音声の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、Ａさんの音声の実際の音源位置（頭外）を推定する。これに対して、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外、Ａさんの音声を実際の音源位置（頭外）に設定する。音量設定部３２は、３Ｄ信号処理後の音量として、再生コンテンツの音量及びＡさんの音声の音量を１倍に設定する。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、Ａさんの音声を聞くことができる。
　例えば、耳孔開放型のヘッドホンを装着する利用者の自宅で再生コンテンツの音要素及びＡさんの音声の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、Ａさんの音声の実際の音源位置（頭外）を推定する。これに対して、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。音量設定部３２は、３Ｄ信号処理後の音量として、再生コンテンツの音量を１倍に設定する。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、Ａさんの音声を直接聞くことができる。
　また、例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅外で再生コンテンツの音要素及び車の音の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、車の音の実際の音源位置を推定する。これに対して、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外、車の音を実際の音源位置（頭外）に設定する。音量設定部３１は、３Ｄ信号処理後の音量として、再生コンテンツの音量を０．５倍、車の音の音量を１倍に設定する。その結果、利用者は、再生コンテンツを頭上の頭外からＢＧＭ的に聞きながら、車の音を聞くことができる。
　例えば、耳孔開放型のヘッドホンを装着する利用者の自宅外で再生コンテンツの音要素及び車の音の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、車の音の実際の音源位置を推定する。これに対して、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。音量設定部３１は、３Ｄ信号処理後の音量として、再生コンテンツの音量を０．５倍に設定する。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、車の音を直接聞くことができる。
　また、例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅外で再生コンテンツの音要素及び外部音のアナウンス音の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの実際の音源位置（頭内）、アナウンス音の実際の音源位置（頭外）を推定する。これに対して、音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを正面の頭外、アナウンス音の音源位置を頭上の頭外に設定する。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、アナウンス音を聞くことができる。
　図１２は、音源位置推定時及び音源位置設定時の再生コンテンツの音要素、Ａさんの音要素及びＢさんの音要素の音源位置の一例を示す図である。例えば、耳孔非開放型のヘッドホンを装着する利用者の自宅で再生コンテンツの音要素、Ａさんの音声の音要素及びＢさんの音声の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、Ａさんの音声の実際の音源位置（頭外）、Ｂさんの音声の実際の音源位置（頭外）を推定する。これに対して、音位置設定部３２は、Ａさんの音声の重要度１、再生コンテンツの重要度２、Ｂさんの音声の重要度３と判定する。音位置設定部３２は、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に、Ａさんの音声を実際の音源位置（頭外）に設定する。尚、Ｂさんの音声の音要素は、重要度３であるため、ノイズキャンセリング部３３を通じてキャンセルすることになる。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、Ａさんの音声を聞くことができる。
　例えば、耳孔開放型のヘッドホンを装着する利用者の自宅で再生コンテンツの音要素、Ａさんの音声の音要素及びＢさんの音声の音要素が発生した場合を想定する。音位置推定部２４は、実際の音源位置として、再生コンテンツの音源位置（頭内）、Ａさんの音声の実際の音源位置（頭外）、Ｂさんの音声の実際の音源位置（頭外）を推定する。これに対して、音位置設定部３２は、Ａさんの音声が重要度１、再生コンテンツが重要度２、Ｂさんの音声が重要度３のため、３Ｄ信号処理後の音源位置として、再生コンテンツを頭上の頭外に設定する。その結果、利用者は、再生コンテンツを頭上からＢＧＭ的に聞きながら、Ａさんの音声を直接聞くことができる。
＜４－４．第３の３Ｄ信号生成処理＞
　図１３は、実施形態３の第３の３Ｄ信号生成処理に係る情報処理装置２Ｂの処理動作の一例を示すフローチャートである。図１３において情報処理装置２Ｂ内の検出部１５は、音響出力デバイス３を装着した利用者の現在位置を特定する（ステップＳ３２）。尚、説明の便宜上、現在位置は、音響出力デバイス３を装着した利用者の自宅又は自宅外とする場合を例示したが、これに限定されるものではなく、適宜変更可能である。システム音取得部１１及び外部音取得部１１Ａは、音響出力デバイス３の利用者の現在位置を特定した後、システム音及び外部音を含む音信号を取得したか否かを判定すべく、ステップＳ１１Ａに移行する。
　情報処理装置２Ｂ内の重要度特定部２５は、ステップＳ１４Ａにて外部音を含む音要素毎の音要素種別を特定した後、重要度テーブル２６Ｂを参照し、外部音及びシステム音を含む音要素毎に現在位置に対応した重要度を特定する（ステップＳ１５Ｃ）。情報処理装置２Ｂ内の音位置推定部２４は、現在位置に対応した重要度を特定した後、システム音及び外部音を含む音要素毎の音源位置を推定すべく、ステップＳ１６Ａに移行する。
　情報処理装置２Ｂでは、自宅にいる利用者の音響出力デバイス３が耳孔開放型のヘッドホンの場合、自宅に対応したシステム音及び外部音の音要素の重要度に応じて、外部音以外のシステム音の音要素の音源位置を調整する。その結果、耳孔開放型ヘッドホンを装着して自宅にいる場合でも、外部音を妨げないようにシステム音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
　情報処理装置２Ｂでは、自宅にいる利用者の音響出力デバイス３が耳孔非開放型のヘッドホンの場合、自宅に対応したシステム音及び外部音の音要素の重要度に応じて、システム音及び外部音の音要素の音源位置を調整する。その結果、耳孔非開放型ヘッドホンを装着して自宅にいる場合でも、外部音を妨げないようにシステム音及び外部音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
　情報処理装置２Ｂでは、自宅外にいる利用者の音響出力デバイス３が耳孔開放型のヘッドホンの場合、自宅外に対応したシステム音及び外部音の音要素の重要度に応じて、外部音以外のシステム音の音要素の音源位置を調整する。その結果、耳孔開放型ヘッドホンを装着して自宅外にいる場合でも、外部音を妨げないようにシステム音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
　情報処理装置２Ｂでは、自宅外にいる利用者の音響出力デバイス３が耳孔非開放型のヘッドホンの場合、自宅外に対応したシステム音及び外部音の音要素の重要度に応じて、システム音及び外部音の音要素の音源位置を調整する。その結果、耳孔非開放型ヘッドホンを装着して自宅外にいる場合でも、外部音を妨げないようにシステム音及び外部音の音源位置を調整できる。つまり、システム音内の音要素と外部音内の他の音要素との間の音干渉を抑制できる。
＜４－５．情報処理装置の動作の一例＞
　図１４は、情報処理装置２Ｂの動作の一例を示す図である。自宅外で利用者が耳孔非開放型のヘッドホンを装着して、例えば、Ａさんの音声、車の音、Ｂさんの音声、再生コンテンツが発生した場合を想定する。更に、利用者が装着する音響出力デバイス３は、耳孔非開放型ヘッドホンとする。システム音取得部１１及び外部音取得部１１Ａは、Ａさんの音声、車の音、Ｂさんの音声、再生コンテンツ等を含む音信号を取得する。尚、外部音取得部１１Ａは、例えば、Ａさんの音声、車の音、Ｂさんの音声等の外部音を図示せぬマイクで取得する。
　Ａ／Ｄ変換部２１は、システム音取得部１１にて取得された音信号をデジタル変換し、デジタル変換後の音信号を分離部２２に出力する。Ａ／Ｄ変換部２１Ａは、外部音取得部１１Ａにて取得された外部音の音信号をデジタル変換し、デジタル変換後の音信号を分離部２２に出力する。分離部２２は、音信号から、例えば、Ａさんの音声の音要素、車の音の音要素、Ｂさんの音声の音要素、再生コンテンツの音要素を周波数解析等や音源分離技術等で分離する。音要素特定部２３は、分離された音要素毎の音要素種別を特定する。更に、検出部１５は、音響出力デバイス３を装着した利用者の現在位置が自宅外と判断する。重要度特定部２５は、重要度テーブル２６Ｂを参照し、自宅外の音要素毎の重要度を特定する。重要度特定部２５は、Ａさんの音声及び車の音の重要度を重要度１、Ｂさんの音声の重要度を重要度３、再生コンテンツの重要度を重要度２と判定する。
　また、音位置推定部２４は、分離された音要素毎の音源位置を推定する。音位置推定部２４は、実際の音源位置として、例えば、Ａさんの音声の実際の音源位置（例えば、正面）、車の音の実際の音源位置（例えば、右側面）を推定する。更に、音位置推定部２４は、実際の音源位置として、Ｂさんの音声の実際の音源位置（例えば、左側面）、再生コンテンツの実際の音源位置（頭内）を推定する。
　音位置設定部３２は、音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音源位置を設定する。音位置設定部３２は、３Ｄ信号処理後の音源位置として、例えば、Ａさんの音声を実際の音源位置（正面の頭外）、車の音を実際の音源位置（例えば、右側面の頭外）に設定する。更に、音位置設定部３２は、３Ｄ信号処理後の音源位置として、Ｂさんの音声を実際の音源位置（例えば、左側面の頭外）、再生コンテンツを頭上の頭外に設定する。
　音量設定部３１は、音要素毎の重要度に応じて音要素毎の３Ｄ信号処理後の音量を設定する。音量設定部３１は、３Ｄ信号処理後の音量として、例えば、Ａさんの音声の音量を１倍、車の音の音量を１倍、Ｂさんの音声の音量を０倍、再生コンテンツの音量を１倍に設定する。３Ｄ信号処理部３４は、３Ｄ信号処理後の音要素毎の音量及び音源位置に基づき、音要素毎の３Ｄ音信号を生成する。３Ｄ信号処理部３４は、音要素毎の３Ｄ音信号を合成し、合成後の３Ｄ音信号をＤ／Ａ変換部３５に出力する。そして、Ｄ／Ａ変換部３５は、３Ｄ音信号及びノイズキャンセリング部３３で処理されるノイズキャンセル信号をアナログ変換し、アナログ変換後の３Ｄ音信号及びノイズキャンセル信号を音響出力デバイス３に音響出力する。その結果、音響出力デバイス３を装着した利用者は、頭上から流れる再生コンテンツをＢＧＭ的に聞きながら、Ｂさんの音声を聞くことなく、Ａさんの音声及び車の音を実際の音源位置から聞くことができる。
＜＜５．変形例＞＞
　情報処理装置２は、音響出力デバイス３と接続するバーチャルアシスタント等の情報処理装置を例示した。しかしながら、バーチャルアシスタントに限定されるものではなく、再生コンテンツを再生する機能や他の音要素を取得する機能を備えた、例えば、コンテンツ再生装置やスマートホンにも適用可能であり、適宜変更可能である。
　また、情報処理装置２は、例えば、クラウド上のサーバ装置でも良く、クラウド上で判定部１２や信号処理部１３の処理を実行し、信号処理部１３で生成した３Ｄ音信号を音響出力デバイス３に伝送しても良い。また、判定部１２及び信号処理部１３を音響出力デバイス３内に内蔵しても良い。
　音響出力デバイス３は、例えば、ＶＲ（Virtual　Reality）やＡＲ(Augmented　Reality)等のヘッドマウントディプレイ等のヘッドホンでも良く、適宜変更可能である。
　情報処理装置２では、音要素の重要度に応じて音要素の音源位置を変更する場合を例示したが、音要素の音源位置の変更に加えて、音要素の音響特性を調整しても良い。
　情報処理装置２では、重要度に応じて音要素の音源位置を変更し、変更後の音源位置での音量を調整する場合を例示した。しかしながら、音量を調整するのではなく、重要度の高い音要素が聞き取り易いように音要素の周波数特性を調整しても良い。
　情報処理装置２では、音響出力デバイス３を装着した利用者の現在位置が自宅又は自宅外の場合、現在位置に対応した音要素毎の重要度を定義する場合を例示した。しかしながら、自宅又は自宅外に限定されるものではなく、例えば、会社や電車内等の場所に対応した音要素毎の重要度を定義しても良い。
　また、情報処理装置２では、音響出力デバイス３を装着した利用者の現在位置等に限定されるものではなく、利用者の時間帯や利用者の状態、例えば、利用者が勉強中や睡眠中等の状態に対応付けて音要素毎の重要度を定義しても良い。例えば、利用者が勉強中の場合、再生コンテンツを頭内から頭上の頭外に変更しても良い。また、利用者が歯の治療中の場合、再生中のコンテンツを頭内から頭上の頭外に変更し、治療機器の鳴音の音要素を取得して、その逆相の音で治療機器の鳴音をキャンセルしても良い。
　また、情報処理装置２では、音要素の重要度に応じて再生コンテンツの音要素の音源位置を頭内から頭上の頭外に変更し、音源位置での音像の音量を調整する場合を例示した。しかしながら、再生コンテンツの内、歌詞部分の音声を除去し、伴奏部分の音のみを出力しても良い。
　また、情報処理装置２では、再生コンテンツの音要素が第１の通知音の音要素の重要度よりも高く、再生コンテンツの音要素が第２の通知音の音要素の重要度よりも低い場合を想定としたとする。この場合、情報処理装置２は、第１の通知音を頭上の頭外、第２の通知音を正面又は背面の頭外に変更しても良い。
　また、情報処理装置２では、Ａさんの音声の音要素の重要度を重要度テーブル２６Ａ内に事前に定義する場合を例示した。しかしながら、例えば、ＳＮＳのソーシャルグラフに応じて利用者との関連性の高い人を特定し、特定された人の音要素の重要度が高くなるように重要度テーブル２６Ａ内の定義を更新しても良い。
　また、情報処理装置２は、音要素が発生した場合に利用者の音の方向を向く等の反応動作を検出する機能を備え、利用者の反応動作に応じて当該音要素及び当該利用者の状態の組合せに応じて重要度テーブル２６内の音要素毎の重要度を変更しても良い。
　また、情報処理装置２では、自宅外の場合、例えば、車の音の音要素の重要度を重要度１とする場合を例示した。しかしなら、自宅外の場合でも、例えば、歩道橋のように、車の通らない場所では車に対する危険度は低くいため、場所に応じて重要度を変更しても良い。また、自宅外の場合でも、事故多発エリアの場合は、車の音要素の音量を大きくして車の存在を利用者に喚起しても良い。
　情報処理装置２では、車の音の音量と同時に、車の音の周波数を調整して車の音を聞き易くしても良く、また、特定の音を付け加えて車の存在を利用者に認識させ易くしても良い。
　情報処理装置２では、横断歩道等の青信号や赤信号等を知らせる報知音は地域によって異なる場合がある。しかしながら、情報処理装置２は、横断歩道の報知音を検出した場合に、その報知音の代わりに、利用者が知る地域の別の報知音に置き換えても良い。
　情報処理装置２は、音要素毎の重要度に応じて各音要素の音源位置を適宜変更した３Ｄ音信号を音響出力デバイス３に出力する場合を例示した。しかしながら、音響出力装置として音響出力デバイス３に限定されるものではなく、複数のスピーカを使用して音源位置を変更しても良い。
　本実施形態の情報処理装置２は、専用のコンピュータシステム、又は汎用のコンピュータシステムによって実現してもよい。
　例えば、上述の動作（例えば、第１の３Ｄ信号生成処理、第２の３Ｄ信号生成処理及び第３の３Ｄ信号生成処理）を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって情報処理装置２（２Ａ，２Ｂ）を構成する。
　また、上記プログラムをインターネット等のネットワーク上の他の情報処理装置が備える記憶装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating　System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。また、上記実施の形態では、具体的な値を示して説明をしている箇所があるが、値はその例に寄らず、別の値を使用してもよい。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　また、上述の実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、上述の実施形態のフローチャート及びシーケンス図に示された各ステップは、適宜順序を変更することが可能である。
　また、例えば、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large　Scale　Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本実施形態は、例えば、少なくとも１つの機能（例えば、判定部１２や信号処理部１３）を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
＜＜６．むすび＞＞
　以上説明したように、本開示の一実施形態の情報処理装置は、再生中のコンテンツの音要素及び、一又は複数の他の音要素を取得する取得部と、取得部にて取得された音要素の重要度を判定する判定部と、音要素の重要度に応じて、再生中のコンテンツの音要素又は他の音要素の何れか一方の音源位置を変更する信号処理部と、を有する。その結果、再生中のコンテンツを中断することなく、音要素の重要度に応じて各音要素の音源位置を変えることで音要素間の音干渉を抑制できる。そして、利用者は、再生コンテンツを聞きながら、他の音要素を聞き取り易くできる。
　情報処理装置は、他の音要素の重要度が再生中のコンテンツの音要素の重要度よりも高い場合に、再生中のコンテンツの音要素の音源位置を変更する。その結果、再生中のコンテンツの音要素と他の音要素との間の音干渉を抑制できる。そして、利用者は、再生コンテンツを聞きながら、他の音要素を聞き取り易くできる。
　情報処理装置は、他の音要素の重要度が再生中のコンテンツの音要素の重要度よりも高い場合に、再生中のコンテンツの音要素の音源位置を他の音要素の音源位置と異なる音源位置に変更する。その結果、再生中のコンテンツの音要素と他の音要素との間の音干渉を抑制できる。そして、利用者は、再生コンテンツを聞きながら、他の音要素を聞き取り易くできる。
　情報処理装置は、他の音要素の重要度が再生中のコンテンツの音要素の重要度よりも高い場合に、再生中のコンテンツの音要素の音源の音源位置を音響出力装置での頭外定位に変更する。その結果、再生中のコンテンツの音要素と他の音要素との間の音干渉を抑制できる。そして、利用者は、再生コンテンツを聞きながら、他の音要素を聞き取り易くできる。
　情報処理装置は、再生中のコンテンツの音要素の重要度が他の音要素の重要度よりも高い場合に、再生中のコンテンツの音要素の音源位置と他の音要素の音源位置とが異なる音響出力装置での頭外定位に変更する。その結果、再生中のコンテンツの音要素と他の音要素との間の音干渉を抑制できる。そして、利用者は、再生コンテンツを聞きながら、他の音要素を聞き取り易くできる。
　情報処理装置は、音響出力装置を使用する利用者の所定空間への移動を検出した場合に、所定空間に対応した各空間の音要素毎の重要度を管理する重要度テーブルを参照し、取得された音要素の重要度を判定する。所定空間とは、例えば利用者の自宅や自宅外の様々な環境ということができる。また、所定空間への移動とは、例えば利用者が自宅内から自宅外へ移動するときや、自宅外から自宅内に移動するとき、自宅外のある空間から別の空間に移動することという事ができる。その結果、音響出力装置を使用する利用者が移動する所定空間毎に音要素の重要度を変更することで、所定空間毎の重要度に応じた音要素間の音干渉を抑制できる。
　情報処理装置は、重要度テーブルを参照し、分離された音要素毎の重要度を判定する。その結果、音要素毎の重要度を変更することで、音要素間の音干渉を抑制できる。
　情報処理装置は、特定人物の音要素を含む音要素毎の重要度を管理する重要度テーブルと、重要度テーブルを参照し、分離された他の音要素から特定された特定人物の音要素の重要度が再生中のコンテンツの音要素よりも高い場合に、当該特定人物の他の音要素を強調すると共に、特定された特定人物の他の音要素の重要度が再生中のコンテンツの音要素よりも高くない場合に、当該特定人物の他の音要素をキャンセルする。その結果、再生コンテンツの重要度よりも高い特定人物の音声がある場合に特定人物の音要素を優先し、再生コンテンツの重要度よりも高くない特定人物以外の人物の音声がある場合、その音声をキャンセルすることで、特定人物の音声への音干渉を抑制できる。
　情報処理装置は、音響出力装置の利用者と特定人物との関連性に応じて当該特定人物の音要素の重要度が高くなるように特定人物の音要素を含む音要素毎の重要度を更新する。その結果、利用者と特定人物との関連性に応じて特定人物の音要素毎の重要度を更新できる。
　重要度テーブルは、一つの重要度テーブルにおいて適宜重要度が更新されても良いし、予め複数の重要度テーブルをクラウドやデータベース等に格納しておき、重要度が変更されるタイミングで複数の中から所定の重要度テーブルが適宜参照されるようにしても良いし、その両方のパターンが適宜組み合わされるようにしても良い。
　情報処理装置は、情報処理装置が発する音要素と、情報処理装置の外部から取り込む外部音の音要素を含む当該情報処理装置外の他の音要素とを取得し、音要素を音源位置に出力する音響出力装置が耳孔開放型ヘッドホンの場合に、情報処理装置が発する音要素の重要度に応じて音要素の音源位置を変更可能にする。また、情報処理装置は、音響出力装置が耳孔非開放型ヘッドホンの場合に、情報処理装置が発する音要素の重要度及び外部音の音要素の重要度に応じて音要素の音源位置を変更可能にする。その結果、利用者が耳孔開放型ヘッドホンを装着する場合、音要素の重要度に応じて、情報処理装置が発する音要素の音源位置を変更できると共に、利用者が耳孔非開放型ヘッドホンを装着する場合に、音要素の重要度に応じて、情報処理装置が発する音要素及び外部音の音要素の音源位置を変更できる。
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　一又は複数の音要素を取得する取得部と、
　前記取得部にて取得された前記音要素の重要度を判定する判定部と、
　前記判定部にて判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び他の音要素の少なくとも一つの音源位置を変更する信号処理部と、
　を有する情報処理装置。
（２）
　前記一又は複数の音要素は、少なくとも再生中のコンテンツを含むことを特徴とする、
前記（１）に記載の情報処理装置。
（３）
　前記信号処理部は、
　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、前記再生中のコンテンツの音要素の前記音源位置を変更する前記（１）又は（２）に記載の情報処理装置。
（４）
　前記信号処理部は、
　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、前記再生中のコンテンツの音要素の音源位置を前記他の音要素の音源位置と異なる音源位置に変更する前記（１）～（３）の何れか一つに記載の情報処理装置。
（５）
　前記信号処理部は、
　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、頭部伝達関数用いて前記再生中のコンテンツの音要素の音源位置を頭外に変更する前記（１）～（４）の何れか一つに記載の情報処理装置。
（６）
　前記信号処理部は、
　前記再生中のコンテンツの前記音要素の重要度が前記他の音要素の重要度よりも高い場合に、頭部伝達関数を用いて前記再生中のコンテンツの音要素の音源位置と前記他の音要素の音源位置とが異なるように変更する前記（１）～（４）の何れか一つに記載の情報処理装置。
（７）
　前記音要素を音源位置に定位出力する音響出力装置と、
　を有し、
　前記判定部は、音要素の種別ごとに重要度付けされた重要度テーブルを参照し、各音要素の重要度を判定することを特徴とする前記（１）～（６）の何れか一つに記載の情報処理装置。
（８）
　前記重要度テーブルは、前記音響出力装置を装着した利用者がいる所定空間に応じて前記音要素の重要度を更新することを特徴とする前記（１）～（７）の何れか一つに記載の情報処理装置。
（９）
　前記重要度テーブルは、前記音響出力装置を装着した利用者の第１の所定空間から第２の所定空間への移動を検知した場合に、前記音要素の重要度定義を更新することを特徴とする前記（１）～（８）の何れか一つに記載の情報処理装置。
（１０）
　前記重要度テーブルは、前記音響出力装置を装着した利用者と特定人物との関連性に応じて前記音要素の重要度を更新することを特徴とする前記（１）～（９）の何れか一つに記載の情報処理装置。
（１１）
　前記他の音要素から特定された特定人物の音要素の重要度が前記再生中のコンテンツの音要素よりも高い場合に、当該特定人物の他の音要素を強調すると共に、前記特定された前記特定人物の他の音要素の重要度が前記再生中のコンテンツの音要素よりも高くない場合に、当該特定人物の他の音要素をキャンセルするキャンセリング部と、
　を有する前記（１）に記載の情報処理装置。
（１２）
　前記取得部は、
　前記再生中のコンテンツの音要素を含む当該情報処理装置が発する音要素と、
　前記情報処理装置外部から取り込む外部音の音要素を含む当該情報処理装置外部の他の音要素とを取得し、
　前記信号処理部は、
　前記音要素を音源位置に出力する音響出力装置が耳孔開放型ヘッドホンの場合に、前記音要素の重要度に応じて、前記情報処理装置が発する前記音要素の音源位置を変更可能にすると共に、
　前記音響出力装置が耳孔非開放型ヘッドホンの場合に、前記音要素の重要度に応じて、前記情報処理装置が発する音要素及び前記外部音の音要素の音源位置を変更可能にする前記（１）～（１１）の何れか一つに記載の情報処理装置。
（１３）
　前記取得部にて取得された前記音要素を分離する分離部と、をさらに有する
前記（１）～（１２）の何れか一つに記載の情報処理装置。
（１４）
　一又は複数の他の音要素を取得し、
　取得された前記音要素の重要度を判定し、
　判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの音源位置を変更する
　処理を実行する情報処理方法。
（１５）
　一又は複数の他の音要素を取得し、
　取得された前記音要素の重要度を判定し、
　判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの音源位置を変更する
　を処理をコンピュータに実行させる情報処理プログラム。
（１６）
　一又は複数の他の音要素を取得する情報処理装置と、前記情報処理装置にて取得された前記音要素を音源位置に出力する音響出力装置とを有する情報処理システムであって、
　前記情報処理装置は、
　前記音要素の重要度を判定する判定部と、
　前記判定部にて判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの前記音響出力装置での音源位置を変更する信号処理部と、
　を有する情報処理システム。
　１　情報処理システム
　２、２Ａ、２Ｂ　情報処理装置
　３　ヘッドホン
　１１　取得部
　１２　判定部
　１３　信号処理部
　１４　デバイス特定部
　１５　検出部
　２５　重要度特定部
　２６，２６Ａ、２６Ｂ　重要度テーブル
　３１　音量設定部
　３２　音位置設定部
　３４　３Ｄ信号処理部

Claims (16)

  1. 　一又は複数の音要素を取得する取得部と、
    　前記取得部にて取得された前記音要素の重要度を判定する判定部と、
    　前記判定部にて判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び他の音要素の少なくとも一つの音源位置を変更する信号処理部と、
    　を有する情報処理装置。
  2. 　前記一又は複数の音要素は、少なくとも再生中のコンテンツを含むことを特徴とする、
    請求項１に記載の情報処理装置。
  3. 　前記信号処理部は、
    　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、前記再生中のコンテンツの音要素の前記音源位置を変更する請求項１に記載の情報処理装置。
  4. 　前記信号処理部は、
    　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、前記再生中のコンテンツの音要素の音源位置を前記他の音要素の音源位置と異なる音源位置に変更する請求項１に記載の情報処理装置。
  5. 　前記信号処理部は、
    　前記他の音要素の重要度が前記再生中のコンテンツの音要素の重要度よりも高い場合に、頭部伝達関数用いて前記再生中のコンテンツの音要素の音源位置を頭外に変更する請求項１に記載の情報処理装置。
  6. 　前記信号処理部は、
    　前記再生中のコンテンツの前記音要素の重要度が前記他の音要素の重要度よりも高い場合に、頭部伝達関数を用いて前記再生中のコンテンツの音要素の音源位置と前記他の音要素の音源位置とが異なるように変更する請求項１に記載の情報処理装置。
  7. 　前記音要素を音源位置に定位出力する音響出力装置と、
    　を有し、
    　前記判定部は、音要素の種別ごとに重要度付けされた重要度テーブルを参照し、各音要素の重要度を判定することを特徴とする請求項１に記載の情報処理装置。
  8. 　前記重要度テーブルは、前記音響出力装置を装着した利用者がいる所定空間に応じて前記音要素の重要度を更新することを特徴とする請求項１に記載の情報処理装置。
  9. 　前記重要度テーブルは、前記音響出力装置を装着した利用者の第１の所定空間から第２の所定空間への移動を検知した場合に、前記音要素の重要度定義を更新することを特徴とする請求項１に記載の情報処理装置。
  10. 　前記重要度テーブルは、前記音響出力装置を装着した利用者と特定人物との関連性に応じて前記音要素の重要度を更新することを特徴とする請求項１に記載の情報処理装置。
  11. 　前記他の音要素から特定された特定人物の音要素の重要度が前記再生中のコンテンツの音要素よりも高い場合に、当該特定人物の他の音要素を強調すると共に、前記特定された前記特定人物の他の音要素の重要度が前記再生中のコンテンツの音要素よりも高くない場合に、当該特定人物の他の音要素をキャンセルするキャンセリング部と、
    　を有する請求項１に記載の情報処理装置。
  12. 　前記取得部は、
    　前記再生中のコンテンツの音要素を含む当該情報処理装置が発する音要素と、
    　前記情報処理装置外部から取り込む外部音の音要素を含む当該情報処理装置外部の他の音要素とを取得し、
    　前記信号処理部は、
    　前記音要素を音源位置に出力する音響出力装置が耳孔開放型ヘッドホンの場合に、前記音要素の重要度に応じて、前記情報処理装置が発する前記音要素の音源位置を変更可能にすると共に、
    　前記音響出力装置が耳孔非開放型ヘッドホンの場合に、前記音要素の重要度に応じて、前記情報処理装置が発する音要素及び前記外部音の音要素の音源位置を変更可能にする請求項１に記載の情報処理装置。
  13. 　前記取得部にて取得された前記音要素を分離する分離部と、をさらに有する
    請求項１に記載の情報処理装置。
  14. 　一又は複数の他の音要素を取得し、
    　取得された前記音要素の重要度を判定し、
    　判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの音源位置を変更する
    　処理を実行する情報処理方法。
  15. 　一又は複数の他の音要素を取得し、
    　取得された前記音要素の重要度を判定し、
    　判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの音源位置を変更する
    　を処理をコンピュータに実行させる情報処理プログラム。
  16. 　一又は複数の他の音要素を取得する情報処理装置と、前記情報処理装置にて取得された前記音要素を音源位置に出力する音響出力装置とを有する情報処理システムであって、
    　前記情報処理装置は、
    　前記音要素の重要度を判定する判定部と、
    　前記判定部にて判定された前記音要素の重要度に応じて、再生中のコンテンツの音要素及び前記他の音要素の少なくとも一つの前記音響出力装置での音源位置を変更する信号処理部と、
    　を有する情報処理システム。
PCT/JP2021/001406 2020-02-10 2021-01-18 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム WO2021161722A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021000974.5T DE112021000974T5 (de) 2020-02-10 2021-01-18 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren, Informationsverarbeitungsprogramm und Informationsverarbeitungssystem
US17/759,865 US20230118803A1 (en) 2020-02-10 2021-01-18 Information processing device, information processing method, information processing program, and information processing system
CN202180012188.XA CN115039419A (zh) 2020-02-10 2021-01-18 信息处理装置、信息处理方法、信息处理程序和信息处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020020560 2020-02-10
JP2020-020560 2020-02-10

Publications (1)

Publication Number Publication Date
WO2021161722A1 true WO2021161722A1 (ja) 2021-08-19

Family

ID=77293003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001406 WO2021161722A1 (ja) 2020-02-10 2021-01-18 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Country Status (4)

Country Link
US (1) US20230118803A1 (ja)
CN (1) CN115039419A (ja)
DE (1) DE112021000974T5 (ja)
WO (1) WO2021161722A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058515A1 (ja) * 2021-10-07 2023-04-13 ソニーグループ株式会社 情報処理方法、情報処理システム、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115364A (ja) * 2004-10-18 2006-04-27 Hitachi Ltd 音声出力制御装置
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
WO2016009850A1 (ja) * 2014-07-16 2016-01-21 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および、記録媒体
US20180146289A1 (en) * 2016-11-22 2018-05-24 Motorola Solutions, Inc Method and apparatus for managing audio signals in a communication system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044797A (ja) 2000-07-27 2002-02-08 Sony Corp ヘッドホン装置及びスピーカ装置
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
US20150189457A1 (en) * 2013-12-30 2015-07-02 Aliphcom Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields
US11290837B1 (en) * 2020-10-23 2022-03-29 Facebook Technologies, Llc Audio system using persistent sound source selection for audio enhancement
US20230093585A1 (en) * 2021-09-21 2023-03-23 Facebook Technologies, Llc Audio system for spatializing virtual sound sources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115364A (ja) * 2004-10-18 2006-04-27 Hitachi Ltd 音声出力制御装置
JP2007036610A (ja) * 2005-07-26 2007-02-08 Yamaha Corp 発音装置
WO2016009850A1 (ja) * 2014-07-16 2016-01-21 シャープ株式会社 音声信号再生装置、音声信号再生方法、プログラム、および、記録媒体
US20180146289A1 (en) * 2016-11-22 2018-05-24 Motorola Solutions, Inc Method and apparatus for managing audio signals in a communication system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023058515A1 (ja) * 2021-10-07 2023-04-13 ソニーグループ株式会社 情報処理方法、情報処理システム、及びプログラム

Also Published As

Publication number Publication date
US20230118803A1 (en) 2023-04-20
DE112021000974T5 (de) 2022-12-08
CN115039419A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US20210248990A1 (en) Apparatus, Method and Computer Program for Adjustable Noise Cancellation
US11856377B2 (en) Active noise reduction audio devices and systems
US9774979B1 (en) Systems and methods for spatial audio adjustment
US8787602B2 (en) Device for and a method of processing audio data
US7889872B2 (en) Device and method for integrating sound effect processing and active noise control
Valimaki et al. Assisted listening using a headset: Enhancing audio perception in real, augmented, and virtual environments
US10257637B2 (en) Shoulder-mounted robotic speakers
US20110144779A1 (en) Data processing for a wearable apparatus
KR20210066934A (ko) 환경적 트리거들에 기초한 적응형 ａｎｃ
KR20180044878A (ko) 고지향형 라우드스피커를 통해 복수의 가청 장면을 생성하기 위한 기술
US11451923B2 (en) Location based audio signal message processing
US20240080609A1 (en) Systems, apparatus, and methods for acoustic transparency
US10142760B1 (en) Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
US11284183B2 (en) Auditory augmented reality using selective noise cancellation
US20230215413A1 (en) Synchronized mode transition
WO2021161722A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
CN113038337B (zh) 一种音频播放方法、无线耳机和计算机可读存储介质
WO2022009722A1 (ja) 音響出力装置および音響出力装置の制御方法
JP2006352728A (ja) オーディオ装置
WO2022185725A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180028092A (ko) 음향 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754289

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 21754289

Country of ref document: EP

Kind code of ref document: A1