WO2010131318A1 - 映像音声出力装置及び音声定位方法 - Google Patents

映像音声出力装置及び音声定位方法 Download PDF

Info

Publication number
WO2010131318A1
WO2010131318A1 PCT/JP2009/058744 JP2009058744W WO2010131318A1 WO 2010131318 A1 WO2010131318 A1 WO 2010131318A1 JP 2009058744 W JP2009058744 W JP 2009058744W WO 2010131318 A1 WO2010131318 A1 WO 2010131318A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
voice
video
background sound
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/058744
Other languages
English (en)
French (fr)
Inventor
洋人 河内
和実 菅谷
禎司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to PCT/JP2009/058744 priority Critical patent/WO2010131318A1/ja
Publication of WO2010131318A1 publication Critical patent/WO2010131318A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Definitions

  • the present invention relates to an audio localization technology for a video / audio output device that outputs content data including video and audio, and more particularly, to an audio localization technology for performing audio localization according to a speaker position. Related to sound localization technology.
  • a human voice When receiving program content such as TV broadcast, displaying video on a display and outputting sound from a speaker, in monaural sound, a human voice can be heard from the position of the speaker. In stereo / surround sound, in many cases, a human voice is localized at the center of the screen so that the human voice can be heard from the center of the screen.
  • Patent Document 1 the position of a speaker is detected, and the volume of sound output from a plurality of speakers is controlled according to the detected position. Moreover, in patent document 2, the position of a speaker is specified, an effect and volume adjustment are performed according to the specified position, and audio
  • Patent Document 1 since the sound is localized at the speaker position without considering the contents of the scene, depending on the scene, there is a case where stress is felt instead of enhancing the sense of reality. .
  • background sounds such as sound effects and BGM flow
  • background sounds such as sound effects and BGM are output from the speaker position
  • viewers who watch the scene feel stress on the contrary There is a problem.
  • Patent Document 2 when the background sound is recorded in different audio channels, the speaker sound can be localized at the speaker position. When the background sound and the background sound are recorded on the same audio channel, there is a problem in that only the speaker's voice cannot be localized at the speaker position, which causes a sense of incongruity.
  • the present invention has been made in view of the above circumstances, and an example of the problem is to provide a sound localization technique that does not cause a sense of incongruity even when the speaker sound and the background sound are recorded in the same sound channel. It is in.
  • a video / audio output device includes a speaker position specifying unit that analyzes video and specifies a speaker's position, and the speaker's voice and background sound are mixed.
  • Voice separation means for separating the mixed voice into the voice of the speaker and the background sound, and voice for localizing the voice of the speaker separated by the voice separation means at the position of the speaker specified by the speaker position specifying means Localization means.
  • the sound localization method includes a speaker position specifying step of analyzing a video to specify a speaker position, and a mixed sound in which a speaker's voice and a background sound are mixed. And a sound localization step of localizing the voice of the speaker separated in the voice separation step at the position of the speaker identified in the speaker position identification step. .
  • FIG. 1 is a schematic configuration diagram of a video / audio output device according to a first embodiment of the present invention. It is an example of the image which the video / audio output device which concerns on the 1st Embodiment of this invention displays. It is an example of the frequency parameter of the video / audio output device which concerns on the 1st Embodiment of this invention. It is a flowchart which shows the flow of the video / audio output process of the video / audio output device which concerns on the 1st Embodiment of this invention. It is a flowchart which shows in detail the flow of the audio
  • FIG. 1 is a schematic configuration diagram of a video / audio output apparatus 1 according to an embodiment of the present invention.
  • the video / audio output device 1 is a device that outputs audio with audio localization in accordance with the speaker position.
  • the speaker voice and background sound are recorded on the same channel, the speaker voice and background sound recorded on the same channel are separated, and only the separated speaker voice is The panorama has been changed to match.
  • “speaker” refers to a person speaking in the video data (on the screen), and “speaker voice” refers to the voice of the person speaking.
  • the “background sound” means a sound other than the speaker's voice, and specifically means BGM, environmental sound, noise, voice other than the speaker, and the like.
  • “Speaker position” refers to a position on the screen of the speaker, but more precisely, a position near the face (especially mouth) of the speaker.
  • “Output the voice with the voice localization in accordance with the speaker position” means outputting the voice so that the voice can be heard from the position of the speaker. For example, as shown in FIG.
  • the volume of the speaker voice output from the speaker SP1 provided on the left side of the screen d10 is increased, and the volume of the speaker voice output from the speaker SP2 provided on the right side of the screen d10 is increased. This means that the sound is output so that the sound can be heard from the position of the speaker on the left side of the screen at a reduced volume.
  • the video / audio output device 1 may be any device as long as it has a function of reproducing content data including video and audio input from the outside and outputting the content data to the outside.
  • a television (TV), a DVD player and recorder, a BD player and recorder, a personal computer (PC), and the like are assumed.
  • the video / audio output device 1 includes a video analysis unit 11, an audio separation unit 12, a localization processing unit 13, a video display unit 14, and an audio output unit 15.
  • the video analysis unit 11 outputs the input video data to the video display unit 14 (to synchronize with the audio data, the video data is delayed and output to the video display unit 14 as necessary) and the input video data
  • the speaker position is specified from the above.
  • the method for specifying the speaker position is performed using a known technique. For example, a speaker may be specified by detecting a region of a human face from video data and detecting a mouth movement in the face. At this time, in detecting the movement of the mouth, using the video data of several frames before and after, the difference such as the brightness of the mouth area is calculated as a feature amount, and the person with the mouth region having the largest feature value is calculated. Is determined as a speaker, the speaker can be specified even when a plurality of faces are detected.
  • the video analysis unit 11 outputs the specified speaker position to the localization processing unit 13.
  • the voice separation unit 12 separates the input voice data (voice data in which the speaker voice and the background sound are mixed) into the speaker voice and the background sound based on the frequency parameter P1.
  • the frequency parameter P1 is a parameter indicating a general frequency band of a human voice.
  • the lower limit frequency f1 is set to 80 Hz
  • the upper limit frequency f2 is set to 3000 Hz.
  • the speaker voice can be obtained by passing the input voice data through a band-pass filter in which the frequency parameter P1 is set. That is, in the present embodiment, the voice in the frequency band between 80 Hz and 3000 Hz is separated as the speaker voice.
  • the background sound can be obtained by passing the input audio data through a band rejection filter in which the frequency parameter P1 is set. That is, in the present embodiment, the voice in the frequency band of less than 80 Hz or more than 3000 Hz is separated as the background sound.
  • the frequency parameter P1 shown in FIG. 3 shows a preferable example value, and the frequency parameter P1 is not necessarily limited to the value shown in FIG.
  • the voice separation unit 12 outputs the separated speaker voice to the localization processing unit 13 and outputs the separated background sound to the voice output unit 15.
  • the localization processing unit 13 performs localization change processing of the speaker voice output from the voice separation unit 12 based on the speaker position output from the video analysis unit 11. That is, the volume is adjusted so that the speaker voice is localized at the speaker position on the screen. For example, as shown in FIG. 2, when the speaker A exists on the left side of the screen, the volume of the speaker voice output from the speaker SP1 provided on the left side of the screen is increased, and the speaker SP2 provided on the right side of the screen. Decrease the volume of the speaker voice output from. Specifically, when the speaker A is present on the screen at a position where the horizontal ratio is C: D, the volume ratio of the speaker voices of the speakers SP1 and SP2 is set to D: C. You may do it.
  • the playback environment may be taken into account in the process of changing the localization of the speaker voice.
  • the reproduction environment is, for example, the size of a display screen such as a display or the position of a speaker.
  • the volume of the upper and lower speakers is adjusted not only according to the volume of the left and right speakers as shown in FIG. You may do it.
  • the localization processing unit 13 outputs the speaker voice subjected to the localization change process to the voice output unit 15.
  • the video display unit 14 displays the video data output from the video analysis unit 11 on a display or the like.
  • the voice output unit 15 mixes the speaker voice subjected to the localization change process and the background sound output from the voice separation unit 12 and outputs the mixed sound to the speaker.
  • FIG. 4 is a flowchart showing the flow of the video / audio output process of the video / audio output device 1.
  • the video analysis unit 11 of the video / audio output device 1 analyzes the input video data and performs video analysis processing for specifying the speaker position on the screen (step S2).
  • the audio separation unit 12 of the video / audio output device 1 performs an audio separation process for separating the input audio data into the speaker sound and the background sound (step S4).
  • FIG. 5 is a flowchart showing in detail the speech separation process in step S4 of FIG.
  • the voice separator 12 passes the input voice data through a band-pass filter in which the frequency parameter P1 is set, and separates the speaker voice (step S14).
  • the sound separation unit 12 passes the input sound data through a band rejection filter in which the frequency parameter P1 is set, and separates the background sound (step S16).
  • the localization processing unit 13 of the video / audio output device 1 performs audio localization processing for changing the localization of the speaker voice separated to the specified speaker position (step S6).
  • FIG. 6 is a flowchart showing in detail the sound localization process in step S6 of FIG.
  • the localization processing unit 13 determines whether or not there is a speaker on the screen (step S22). Whether or not there is a speaker in the screen is determined based on the presence or absence of the speaker position analyzed by the video analysis unit 11. When the speaker position exists, it is determined that there is a speaker in the screen.
  • step S22 If there is a speaker on the screen (step S22: YES), the speaker voice output value near the speaker position is raised (step S24), and the speaker voice output from the speaker far from the speaker position is output. The value is lowered (step S26). For example, as shown in FIG. 2, when the speaker A is on the left side of the screen, the volume of the speaker SP1 is increased and the volume of the speaker SP2 is decreased.
  • step S22: NO If there is no speaker on the screen (step S22: NO), the process of changing the sound localization is not performed.
  • the video display unit 14 of the video / audio output device 1 performs video display processing for displaying the video data on a display or the like (step S8), and the audio output unit 15 transmits the audio data from the speaker.
  • a sound output process is performed (step S10).
  • FIG. 7 is a flowchart showing in detail the audio output process in step S10 of FIG.
  • the video display unit 14 mixes the speaker voice subjected to the localization change process and the background sound (step S32), and outputs the mixed voice data from the speaker (step S34). For example, as shown in FIG. 2, when the speaker A is on the left side of the screen, the speaker sound is output by increasing the volume of the speaker SP1 and decreasing the volume of the speaker SP2, and the background sound is The speakers SP1 and SP2 are output at the same volume. As a result, the speaker voice can be heard from the position of the person, and the background sound can maintain the localization of the input voice information.
  • the video / audio output device 1 As described above, according to the video / audio output device 1 according to the present embodiment, even if the video content includes the speaker audio and the background sound recorded in the same audio channel, only the speaker audio is transmitted to the speaker. Since the position can be changed to the position, the viewer does not feel uncomfortable and more natural and realistic viewing is possible.
  • the voice separation unit 12 separates the speaker voice and the background sound using the frequency parameter P1 indicating the general frequency band of the human voice.
  • the separation method is not limited to this, and other methods may be used.
  • the left and right speech may be converted into the frequency domain, and the speaker speech may be separated by comparing the spectral power of the left and right speech in the converted frequency domain.
  • the speaker's voice in stereo sound is localized in the center, the speaker's voice can be separated using the frequency band having a small difference in spectral power between the left and right as the speaker's frequency band. it can.
  • background sound when there is a background sound having a frequency band that overlaps the frequency band of the human voice (background sound of 80 to 3000 Hz; hereinafter referred to as background sound 1), the background sound is the speaker.
  • the sound is mixed in the voice, and the background sound mixed in the speaker's voice is simultaneously changed to the position of the person. Therefore, in such a case, the background sound separated to cancel the sound localization of the background sound mixed with the speaker sound (background sound less than 80 Hz or more than 3000 Hz; hereinafter referred to as background sound 2)
  • background sound 2 background sound less than 80 Hz or more than 3000 Hz
  • the speaker sound is output with the volume of the speaker SP1 raised and the volume of the speaker SP2 lowered. Since the background sound 1 is included, the background sound 1 is also heard from the position of the person, that is, the left side on the screen. Therefore, the background sound 2 is output with the volume of the speaker SP1 lowered and the volume of the speaker SP2 lowered so that it can be heard from the right side of the screen. As a result, the entire background sound including the background sound 1 and the background sound 2 can be localized in the input voice information without being localized in the position of the person.
  • FIG. 8 is a schematic configuration diagram of the video / audio output device 1A in consideration of the background sound included in the speaker voice.
  • the video / audio output device 1A has substantially the same configuration as the video / audio output device 1, but only the function of the localization processing unit 13A is different.
  • the localization processing unit 13 ⁇ / b> A Based on the speaker position output from the video analysis unit 11, the localization processing unit 13 ⁇ / b> A performs a localization change process of the separated speaker voice (including background sound 1) output from the voice separation unit 12. It has become. That is, the volume is adjusted so that the separated speaker voice (including background sound 1) is localized at the speaker position on the screen.
  • the localization processing unit 13A performs a localization changing process for the separated background sound (background sound 2) output from the voice separation unit 12. That is, the volume is adjusted so that the separated background sound (background sound 2) is localized in the direction opposite to the speaker position on the screen (with respect to the center on the screen).
  • the localization processing unit 13A outputs the speaker voice subjected to the localization change process and the background sound subjected to the localization change process to the voice output unit 15.
  • FIG. 9 is a flowchart showing in detail the flow of audio localization processing of the video / audio output device 1A.
  • the localization processing unit 13A determines whether or not there is a speaker on the screen (step S42).
  • the localization processing unit 13A increases the output value of the speaker voice (including background sound 1) of the speaker close to the speaker position (step S44). Then, the output value of the speaker voice (including background sound 1) from the speaker far from the speaker position is lowered (step S46). For example, as shown in FIG. 2, when the speaker SP is on the left side of the screen, the volume of the speaker SP1 for speaker voice (including background sound 1) is increased and the volume of the speaker SP2 is decreased.
  • the localization processing unit 13A decreases the output value of the background sound 2 of the speaker close to the speaker position (step S48), and the localization processing unit 13A increases the output value of the background sound 2 of the speaker far from the speaker position (Ste S50). For example, as shown in FIG. 2, when the speaker SP is on the left side of the screen, the volume of the speaker SP1 of the background sound 2 is lowered and the volume of the speaker SP2 is raised.
  • step S42: NO when there is no speaker on the screen (step S42: NO), the process of changing the sound localization is not performed.
  • the video / audio output device 1A As described above, according to the video / audio output device 1A according to the present modification, it is possible to change the localization of the speaker voice to the speaker position. Further, according to the video / audio output device 1A, even if the frequency band of the speaker voice and the background sound overlaps and the background sound is mixed with the speaker voice, the background sound separated from the speaker voice is displayed at the center of the screen. Therefore, the entire background sound can maintain the localization of the input voice information. As a result, the viewer does not feel uncomfortable, and more natural and realistic viewing is possible.
  • FIG. 10 is a schematic configuration diagram of the video / audio output device 2 according to the second embodiment of the present invention.
  • the video / audio output device 2 is a device that outputs audio with audio localization in accordance with the speaker position.
  • the video analysis unit 21 outputs the input video data to the video display unit 14 (to synchronize with the audio data, the video data is delayed and output to the video display unit 14 as necessary), and the input video data
  • the speaker position is specified from the above.
  • the video analysis unit 21 extracts the speaker's facial features and analyzes the speaker's attributes from the extracted facial features. Facial features are extracted using a known technique. In this embodiment, a method for detecting the feature amount of a major part of the face is adopted, and the feature amount indicating the positional relationship between the face contour, both eyebrows, both eyes, nose, mouth and the like is used as the facial feature. Extract as In addition, the attribute of the speaker means age and sex, and in the present embodiment, determination of a man or a woman and determination of whether or not a child is performed.
  • the video analysis unit 21 outputs the identified speaker position to the localization processing unit 13 and outputs the analyzed attribute to the voice separation unit 22.
  • the attribute database (hereinafter referred to as attribute DB) 23 is a database that stores data relating to facial features for each attribute (hereinafter referred to as facial feature data), and in this embodiment, male or female facial feature data, and It has child face feature data.
  • the video analysis unit 21 analyzes the speaker's attributes by comparing the extracted speaker's facial features with the facial feature data stored in the attribute DB 23.
  • the video / audio output device 2 includes the attribute DB 23.
  • the video / audio output device 2 may not include the attribute DB 23, and the video / audio output device 2 may be connected via a communication network.
  • the attribute DB 23 may be accessed to refer to the facial feature data stored in the attribute DB 23.
  • the voice separation unit 22 separates input voice data (voice data in which speaker voice and background sound are mixed) into speaker voice and background sound according to a frequency parameter P2 in which an attribute is added to the frequency parameter P1.
  • the frequency parameter P2 is a value obtained by reducing the value of the upper limit frequency f2 by the correction value ⁇
  • the value of the lower limit frequency f1 is the correction value ⁇ . Only the value is raised. Since men are generally considered to have lower voice than women, the difference between men and women is reflected in the frequency parameter P2.
  • the lower limit frequency f1 is further increased by a correction value ⁇ . Since the child is generally considered to be louder than the adult, the age difference is reflected in the frequency parameter P2.
  • this correction method shows one suitable method, and is not limited to this.
  • the voice separation unit 22 outputs the separated speaker voice to the localization processing unit 13 and outputs the separated background sound to the voice output unit 15.
  • FIG. 11 is a flowchart showing in detail the flow of the audio separation process of the video / audio output apparatus 2 according to the present embodiment.
  • the voice separation unit 22 determines whether or not the speaker is a male (step S54). If the speaker is a male (step S52: YES), the speech separation unit 22 corrects the upper limit frequency f2 of the frequency parameter P2 (step S56). If the speaker is a female (step S54: NO), the voice separation unit 22 corrects the lower limit frequency f1 of the frequency parameter P2 (step S58). Specifically, when the speaker is a male, the correction value ⁇ is subtracted from the upper limit frequency f2 of the frequency parameter P2, and when the speaker is a female, the correction value ⁇ is added to the lower limit frequency f1 of the frequency parameter P2. to add.
  • the voice separation unit 22 determines whether or not the speaker is a child (step S60). When the speaker is a child (step S60: YES), the voice separation unit 22 further corrects the lower limit frequency f1 of the frequency parameter P2 (step S62). Specifically, when the speaker is a child, the correction value ⁇ is added to the lower limit frequency f1 of the frequency parameter P2.
  • the voice separator 22 passes the input voice data through a band-pass filter in which the frequency parameter P2 is set, and separates the speaker voice (step S64).
  • the voice separation unit 22 passes the inputted voice data through a band rejection filter in which the frequency parameter P2 is set, and separates the background sound (step S66).
  • the speaker's attributes are analyzed, and the voice is separated based on the frequency parameter P2 reflecting the voice difference due to the attributes.
  • the accuracy of separating the sound and the background sound can be further increased.
  • FIG. 12 is a schematic configuration diagram of a video / audio output device 3 according to the third embodiment of the present invention.
  • the video / audio output device 3 is a device that outputs audio with audio localization in accordance with the speaker position.
  • the video analysis unit 31 outputs the input video data to the video display unit 14 (to synchronize with the audio data, the video data is delayed and output to the video display unit 14 as necessary), and the input video data
  • the speaker position is specified from the above.
  • the video analysis unit 31 extracts the speaker's facial features from the input video data. Facial features are extracted using a known technique. In the present embodiment, a method for detecting the feature amount of a major part of the face is adopted, and the position coordinates of a plurality of facial feature points such as a face outline, brows, both eyes, nose, and mouth are used. Extract as facial features.
  • the video analysis unit 31 outputs the position of the identified speaker to the localization processing unit 13 and outputs the extracted facial features to the voice separation unit 32.
  • the feature DB 33 is a database that stores feature data in which face features and voice features are associated with each other.
  • FIG. 13 shows the data structure of feature data.
  • the feature data includes coordinates of a plurality of facial features (specifically, the positions of eyes, nose, and mouth) and voice features (specifically, a lower limit frequency f1 and an upper limit frequency f2). Is shown).
  • the feature data is composed of data such as actors appearing in moving image contents such as TV and movies.
  • the voice separation unit 32 described later compares the speaker's facial features extracted by the video analysis unit 31 with the feature data stored in the feature DB 33, and if there is matching feature data, Voice features corresponding to the facial features are acquired.
  • the video / audio output device 3 includes the feature DB 33.
  • the video / audio output device 3 may not include the feature DB 33, and the video / audio output device 3 may be connected via a communication network.
  • the feature DB 33 may be accessed and the data stored in the feature DB 33 may be referred to. Further, the feature data stored in the feature DB 33 may be updated as needed according to the latest video content.
  • the voice separation unit 32 outputs the separated speaker voice to the localization processing unit 13 and outputs the separated background sound to the voice output unit 15.
  • FIG. 14 is a flowchart showing in detail the flow of audio separation processing of the video / audio output device 3 according to the present embodiment.
  • the voice separation unit 22 determines whether or not there is feature data with matching facial features in the feature DB 33 (step S74). If there is matching feature data in the feature DB 33 (step S74: YES), the voice feature of the matched feature data is acquired, and the lower limit frequency f1 and the upper limit frequency f2 of the frequency parameter P3 are set (step S76).
  • the voice separation unit 22 inputs the voice data based on the frequency parameter P3 when the frequency parameter P3 is set, and based on the frequency parameter P1 when the frequency parameter P3 is not set. Is applied to a band pass filter to separate the speaker voice (step S78).
  • the voice separation unit 22 inputs the voice data based on the frequency parameter P3 when the frequency parameter P3 is set, and based on the frequency parameter P1 when the frequency parameter P3 is not set. Is applied to the band rejection filter to separate the background sound (step S80).
  • an individual is identified from the speaker's facial features, and the speech is separated based on the frequency parameter P3 reflecting the identified individual's voice features. Therefore, the accuracy of separating the speaker voice and the background sound can be further increased.
  • FIG. 15 is a schematic configuration diagram of a video / audio output device 4 according to the fourth embodiment of the present invention.
  • the video / audio output device 4 is a device that outputs audio with audio localization in accordance with the speaker position.
  • the video analysis unit 41 outputs the input video data to the video display unit 14 (to synchronize with the audio data, the video data is delayed and output to the video display unit 14 as necessary), and the input video data
  • the speaker position is specified from the above.
  • the video analysis unit 41 has a function of analyzing the features of the scene, and acquires the scene features of the input video data.
  • the scene feature is acquired from the RGB histogram of the video data, the temporal change of the RGB histogram, the distribution of the motion vector in the unit block, and the like.
  • the video analysis unit 41 outputs the specified speaker position to the localization processing unit 13 and outputs the acquired scene feature to the audio separation unit 42.
  • the voice separation unit 42 separates the input voice data (voice data in which the speaker voice and the background sound are mixed) into the speaker voice and the background sound according to the frequency parameter P1 or the frequency parameter P4.
  • the sound separation unit 42 acquires the background sound feature (frequency parameter P4) of the scene feature.
  • the scene feature is “rainfall scene”
  • the speaker voice can be obtained by removing the rain sound from the input voice data.
  • the speaker's voice can be separated by subtracting a certain power from all frequency bands.
  • the video analysis unit 41 cannot estimate the background sound
  • the audio data is separated according to the frequency parameter P1.
  • FIG. 16 is a flowchart showing in detail the flow of the audio separation process of the video / audio output device 4 according to the present embodiment.
  • the sound separation unit 42 determines whether the background sound can be estimated from the calculated scene feature (step S82).
  • the speech separation unit 42 sets the frequency parameter P4 suitable for the estimated background sound and acquires the speaker sound and the background sound (step S82). S84).
  • the voice separator 42 applies a band-pass filter to the input voice data based on the frequency parameter P1 to separate the speaker voice (step S88), and the input is performed based on the frequency parameter P1.
  • a band rejection filter is applied to the audio data to separate background sounds (step S90).
  • the scene feature is analyzed, and the background sound is estimated from the analyzed scene feature. Can be further increased.
  • Video display unit 15 Audio output unit 23 Attribute DB 33 Feature DB P1, P2, P3, P4 Frequency parameter f1 Lower limit frequency f2 Upper limit frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

　映像音声出力装置１は、映像を解析して、話者の位置を特定する映像解析部１１と、　話者の音声と背景音が混じった混合音声を、話者の音声と背景音に分離する音声分離部１２と、映像解析部１１が特定した話者の位置に、音声分離部１２が分離した話者の音声を定位させる定位処理部１３と、を備えている。

Description

映像音声出力装置及び音声定位方法
　本発明は、映像及び音声を含むコンテンツデータを出力する映像音声出力装置の音声定位技術に関し、特に、話者位置に応じた音声定位を行う音声定位技術に関する。音声定位技術に関する。
　テレビ放送などの番組コンテンツを受信して、ディスプレイに映像を表示するとともにスピーカから音声を出力する場合、モノラル音声においてはスピーカの位置から人の声が聞こえるようになっている。また、ステレオ／サラウンド音声においては、多くの場合、画面中央に人の声を定位させて、画面中央から人の声が聞こえるようになっている。
　しかしながら、一般に、ディスプレイ上の話者位置に人の声が定位していると臨場感が増すことが知られているため、従来においては、映像解析により話者位置を特定し、話者位置に音声を定位させる音声定位技術が開示されている。
　例えば、特許文献１では、話者の位置を検出し、検出した位置に応じて、複数のスピーカから出力する音声の音量を制御している。また、特許文献２では、発話者の位置を特定し、特定した位置に応じて、エフェクトや音量調整を行い、最適なスピーカから音声データを出力している。
特開平１１－３１３２７２号公報 特開２００７－１１０５８２号公報
　しかしながら、上述した特許文献１においては、シーンの内容を考慮せずに、話者位置に音声を定位させているため、シーンによっては、臨場感を高めるどころか、却ってストレスを感じてしまう場合がある。例えば、効果音やＢＧＭなどの背景音が流れるシーンにおいても、効果音やＢＧＭなどの背景音を話者位置から出力するため、当該シーンを視聴している視聴者は、却ってストレスを感じてしまうという問題がある。また、特許文献２においては、背景音を話者音声と背景音が別の音声チャンネルに収録されている場合には、話者音声のみを話者位置に定位させることができるが、話者音声と背景音が同じ音声チャンネルに収録されている場合には、話者音声のみを話者位置に定位させることができず、却って違和感を生じるという問題がある。
　本発明は上記の事情を鑑みてなされたものであり、その課題の一例としては、話者音声と背景音が同一音声チャンネルに収録されていても、違和感を生じない音声定位技術を提供することにある。
　上記の課題を達成するため、本発明の一態様に係る映像音声出力装置は、映像を解析して、話者の位置を特定する話者位置特定手段と、話者の音声と背景音が混じった混合音声を、話者の音声と背景音に分離する音声分離手段と、前記話者位置特定手段が特定した話者の位置に、前記音声分離手段が分離した話者の音声を定位させる音声定位手段と、を備えている。
　また、本発明の一態様に係る音声定位方法は、映像を解析して、話者の位置を特定する話者位置特定ステップと、話者の音声と背景音が混じった混合音声を、話者の音声と背景音に分離する音声分離ステップと、前記話者位置特定ステップで特定した話者の位置に、音声分離ステップで分離した話者の音声を定位させる音声定位ステップと、を備えている。
本発明の第１の実施の形態に係る映像音声出力装置の概略構成図である。 本発明の第１の実施の形態に係る映像音声出力装置が表示する画像の一例である。 本発明の第１の実施の形態に係る映像音声出力装置の周波数パラメータの一例である。 本発明の第１の実施の形態に係る映像音声出力装置の映像音声出力処理の流れを示すフローチャートである。 図４のステップＳ４の音声分離処理の流れを詳しく示すフローチャートである。 図４のステップＳ６の音声定位処理の流れを詳しく示すフローチャートである。 図４のステップＳ１０の音声出力処理の流れを詳しく示すフローチャートである。 本発明の第１の実施の形態に係る映像音声出力装置の変形例の概略構成図である。 本発明の第１の実施の形態に係る映像音声出力装置の変形例の音声定位処理の流れを示すフローチャートである。 本発明の第２の実施の形態に係る映像音声出力装置の概略構成図である。 本発明の第２の実施の形態に係る映像音声出力装置の音声分離処理の流れを示すフローチャートである。 本発明の第３の実施の形態に係る映像音声出力装置の概略構成図である。 本発明の第３の実施の形態に係る映像音声出力装置の特徴データのデータ構成を示す図である。 本発明の第３の実施の形態に係る映像音声出力装置の音声分離処理の流れを示すフローチャートである。 本発明の第４の実施の形態に係る映像音声出力装置の特徴データのデータ構成を示す図である。 本発明の第４の実施の形態に係る映像音声出力装置の音声分離処理の流れを示すフローチャートである。
　以下、本発明の実施の形態を図面を用いて説明する。
＜第１の実施の形態＞
　図１は、本発明の実施の形態に係る映像音声出力装置１の概略構成図である。映像音声出力装置１は、話者位置に合わせた音声定位で音声を出力する装置である。本実施の形態においては、話者音声と背景音が同一チャンネルに収録されているので、同一チャンネルに収録されている話者音声と背景音を分離し、分離した話者音声だけを話者位置に合わせて定位変更している。
　なお、以下において、「話者」とは、映像データ（画面上）において発話している者をいい、「話者音声」とは、発話している者の声をいう。また、「背景音」とは、話者音声以外の音をいい、具体的には、ＢＧＭ、環境音、騒音、発話者以外の声など意味する。「話者位置」とは、話者の画面上の位置をいうが、より正確には話者の顔（特に口）付近の位置をいう。「話者位置に合わせた音声定位で音声を出力する」とは、話者の位置から音声が聞こえてくるように音声を出力することをいい、例えば、図２に示すように、話者Ａが画面上左側に存在する場合には、画面ｄ１０の左側に設けたスピーカＳＰ１から出力される話者音声の音量を大きくし、画面ｄ１０の右側に設けたスピーカＳＰ２から出力される話者音声の音量を小さくして、画面左側にいる話者の位置から音声が聞こえてくるように音声を出力することをいう。
　ここで、映像音声出力装置１は、外部から入力された映像及び音声を含むコンテンツデータを再生して外部に出力する機能を有する装置であれば何であってもよく、例えば、具体的には、テレビジョン（ＴＶ）、ＤＶＤプレーヤ及びレコーダ、ＢＤプレーヤ及びレコーダ、パーソナルコンピュータ（ＰＣ）などが想定される。
　映像音声出力装置１は、詳しくは、映像解析部１１、音声分離部１２、定位処理部１３、映像表示部１４、及び音声出力部１５を備えている。
　映像解析部１１は、入力した映像データを映像表示部１４に出力する（音声データと同期させるため、必要に応じて映像データを遅延させて映像表示部１４に出力する）とともに、入力した映像データから話者位置を特定するようになっている。話者位置の特定方法については、公知の技術を用いて行われる。例えば、映像データから人の顔面の領域を検出し、顔面の中の口の動きを検出することで、話者を特定するようにしてもよい。この際、口の動きの検出においては、前後数フレームの映像データを用いて、口領域の輝度などの差分を特徴量として算出し、算出した特徴量の値が最も大きい口領域を持った人を話者と判定とすれば、複数の顔面が検出された場合であっても、話者を特定することができる。
　また、映像解析部１１は、特定した話者の位置を定位処理部１３に出力するようになっている。
　音声分離部１２は、入力した音声データ（話者音声と背景音が混合した音声データ）を周波数パラメータＰ１に基づいて、話者音声と背景音に分離するようになっている。周波数パラメータＰ１は、人間の声の一般的な周波数帯域を示すパラメータであり、本実施形態においては、図３に示すように、下限周波数ｆ１として８０Ｈｚ、上限周波数ｆ２として３０００Ｈｚが設定されている。詳しくは、話者音声は、入力した音声データを周波数パラメータＰ１が設定された帯域通過フィルタに通すことで得ることができる。すなわち、本実施の形態においては、８０Ｈｚから３０００Ｈｚの間の周波数帯域の音声を話者音声として分離する。また、背景音は、入力した音声データを周波数パラメータＰ１が設定された帯域阻止フィルタに通すことで得ることができる。すなわち、本実施の形態においては、８０Ｈｚ未満、または３０００Ｈｚを超えた周波数帯域の音声を背景音として分離する。なお、図３に示す周波数パラメータＰ１は好適な一例の値を示したものであり、周波数パラメータＰ１は必ずしも図３に示す値に限定されるものではない。
　また、音声分離部１２は、分離した話者音声を定位処理部１３に出力し、分離した背景音を音声出力部１５に出力するようになっている。
　定位処理部１３は、映像解析部１１から出力された話者位置に基づいて、音声分離部１２から出力された話者音声の定位変更処理を行うようになっている。すなわち、画面上の話者位置に話者音声を定位させるように音量の調整を行っている。例えば、図２に示すように、話者Ａが画面上左側に存在する場合には、画面左側に設けたスピーカＳＰ１から出力される話者音声の音量を大きくし、画面右側に設けたスピーカＳＰ２から出力される話者音声の音量を小さくする。具体的には、話者Ａが画面上、水平方向の比がＣ：Ｄとなる位置に存在する場合には、スピーカＳＰ１とスピーカＳＰ２の話者音声の音量の比をＤ：Ｃに設定するようにしてもよい。
　なお、話者音声の定位変更処理の際には、再生環境を考慮してもよい。再生環境とは、例えば、ディスプレイ等の表示画面の大きさやスピーカの位置などである。例えば、画面の上下左右方向それぞれにスピーカを備える場合には、図２に示すように左右スピーカの音量の調整だけでなく、話者の上下方向の位置に応じて上下スピーカの音量の調整を行うようにしてもよい。
　また、定位処理部１３は、定位変更処理した話者音声を音声出力部１５に出力するようになっている。
　映像表示部１４は、映像解析部１１から出力された映像データをディスプレイ等に表示するようになっている。
　音声出力部１５は、定位変更処理された話者音声と音声分離部１２から出力された背景音を混合してスピーカに出力するようになっている。
い。
　次に、図４を参照して、本実施の形態の映像音声出力装置１の映像音声出力処理について説明する。図４は、映像音声出力装置１の映像音声出力処理の流れを示すフローチャートである。
　まず、映像音声出力装置１の映像解析部１１は、入力された映像データを解析して、画面上の話者位置を特定する映像解析処理を行う（ステップＳ２）。
　次に、映像音声出力装置１の音声分離部１２は、入力された音声データを話者音声と背景音に分離する音声分離処理を行う（ステップＳ４）。
　ここで、図５を参照して、音声分離処理について詳しく説明する。図５は、図４のステップＳ４の音声分離処理を詳しく示すフローチャートである。
　音声分離部１２は、周波数パラメータＰ１の下限周波数ｆ１及び上限周波数ｆ２を設定する（ステップＳ１２）。具体的には、ｆ１＝８０Ｈｚ、ｆ２＝３０００Ｈｚである。なお、周波数パラメータＰ１の値に関しては、映像音声出力装置１が予め固定的な値を保持するようにしてもよいし、ユーザが映像音声出力装置１に指示をして可変的な値を設定可能としてもよい。
　次に、音声分離部１２は、入力された音声データを、周波数パラメータＰ１が設定された帯域通過フィルタに通して、話者音声を分離する（ステップＳ１４）。
　次に、音声分離部１２は、入力された音声データを、周波数パラメータＰ１が設定された帯域阻止フィルタに通して、背景音を分離する（ステップＳ１６）。
　図４に戻って、次に、映像音声出力装置１の定位処理部１３は、特定された話者位置に分離された話者音声を定位変更する音声定位処理を行う（ステップＳ６）。
　ここで、図６を参照して、音声定位処理について詳しく説明する。図６は、図４のステップＳ６の音声定位処理を詳しく示すフローチャートである。
　定位処理部１３は、画面内に話者がいるか否かを判定する（ステップＳ２２）。画面内に話者がいるか否かは、映像解析部１１が解析した話者位置の有無により判断し、話者位置が存在するときは画面内に話者がいると判断する。
　画面内に話者がいる場合には（ステップＳ２２：ＹＥＳ）、話者位置に近いスピーカの話者音声の出力値を上げて（ステップＳ２４）、話者位置に遠いスピーカの話者音声の出力値を下げる（ステップＳ２６）。例えば、図２に示すように話者Ａが画面上の左側にいる場合には、スピーカＳＰ１の音量を上げて、スピーカＳＰ２の音量を下げる。
　画面内に話者がいない場合には（ステップＳ２２：ＮＯ）、音声定位を変更する処理を行わない。
　図４に戻って、次に、映像音声出力装置１の映像表示部１４は、映像データをディスプレイ等に表示する映像表示処理を行い（ステップＳ８）、音声出力部１５は、音声データをスピーカから出力する音声出力処理を行う（ステップＳ１０）。
　ここで、図７を参照して、音声出力処理について詳しく説明する。図７は、図４のステップＳ１０の音声出力処理を詳しく示すフローチャートである。
　映像表示部１４は、定位変更処理された話者音声と背景音を混合して（ステップＳ３２）、混合した音声データをスピーカから出力する（ステップＳ３４）。例えば、図２に示すように話者Ａが画面上の左側にいる場合には、話者音声に関しては、スピーカＳＰ１の音量を上げるとともにスピーカＳＰ２の音量を下げて出力し、背景音に関しては、スピーカＳＰ１及びＳＰ２の音量を同じにして出力する。この結果、話者音声は人の位置から聞こえ、背景音は入力音声情報の定位を維持させることができる。
　以上説明したように、本実施の形態に係る映像音声出力装置１によれば、話者音声と背景音が同一の音声チャンネルに収録された映像コンテンツであっても、話者音声だけを話者位置に定位変更させることが可能なので、視聴者は違和感を生じることがなく、より自然で臨場感のある視聴が可能となる。
　なお、本実施の形態の音声分離部１２は、人間の声の一般的な周波数帯域を示す周波数パラメータＰ１を用いて、話者音声と背景音の分離を行ったが、話者音声と背景音の分離方法はこれに限定されるものではなく、他の方法でもよい。例えば、ステレオ音声の場合には、左右それぞれの音声を周波数領域に変換し、変換した周波数領域における左右それぞれの音声のスペクトルパワーを比較することで話者音声を分離するようにしてもよい。この方法の場合には、ステレオ音声における話者の音声は中央に定位しているので、左右のスペクトルパワーの差の小さい周波数帯域を話者の周波数帯域として、話者の音声を分離することができる。
　なお、本実施の形態においては、人の声の周波数帯域と重なる周波数帯域を有する背景音（８０～３０００Ｈｚの背景音。以下、背景音１という）が存在する場合には、背景音が話者音声の中に混じってしまい、話者音声に混じった背景音も同時に人の位置に音声定位変更されてしまう。そのため、このような場合には、話者音声に混じった背景音の音声定位を打ち消すように分離された背景音（８０Ｈｚ未満、または３０００Ｈｚを超えた背景音。以下、背景音２という）を音声定位変更するようにしてもよい。
　例えば、図２に示すように話者Ａが画面上左側にいる場合には、話者音声に関しては、スピーカＳＰ１の音量を上げるとともにスピーカＳＰ２の音量を下げて出力するが、この話者音声の中には背景音１が含まれているので、背景音１も人の位置、つまり画面上の左側から聞こえてしまう。そのため、背景音２に関しては、画面上の右側から聞こえるようにスピーカＳＰ１の音量を下げ、スピーカＳＰ２の音量を下げて出力する。この結果、背景音１と背景音２を合わせた背景音全体は、人の位置に定位させることなく、入力音声情報の定位を維持させることができる。
　図８は、話者音声の中に背景音が含まれることを考慮した映像音声出力装置１Ａの概略構成図である。映像音声出力装置１Ａは、映像音声出力装置１と略同一の構成であるが、定位処理部１３Ａの機能だけが異なっている。
　定位処理部１３Ａは、映像解析部１１から出力された話者位置に基づいて、音声分離部１２から出力された分離された話者音声（背景音１を含む）の定位変更処理を行うようになっている。すなわち、画面上の話者位置に、分離した話者音声（背景音１を含む）を定位させるように音量の調整を行っている。
　また、定位処理部１３Ａは、音声分離部１２から出力された分離された背景音（背景音２）の定位変更処理を行うようになっている。すなわち、画面上の話者位置と反対の方向に（画面上の中心に対して）、分離した背景音（背景音２）を定位させるように音量の調整を行っている。
この結果、定位処理部１３Ａは、定位変更処理した話者音声及び定位変更処理した背景音を音声出力部１５に出力するようになっている。
　図９は、映像音声出力装置１Ａの音声定位処理の流れを詳しく示すフローチャートである。
　定位処理部１３Ａは、画面内に話者がいるか否かを判定する（ステップＳ４２）。
　画面内に話者がいる場合には（ステップＳ４２：ＹＥＳ）、定位処理部１３Ａは、話者位置に近いスピーカの話者音声（背景音１を含む）の出力値を上げて（ステップＳ４４）、話者位置に遠いスピーカの話者音声（背景音１を含む）の出力値を下げる（ステップＳ４６）。例えば、図２に示すように話者ＳＰが画面の左側にいる場合には、話者音声（背景音１を含む）のスピーカＳＰ１の音量を上げて、スピーカＳＰ２の音量を下げる。
　次いで、定位処理部１３Ａは、話者位置に近いスピーカの背景音２の出力値を下げ（ステップＳ４８）、定位処理部１３Ａは、話者位置に遠いスピーカの背景音２の出力値を上げる（ステップＳ５０）。例えば、図２に示すように話者ＳＰが画面上左側にいる場合には、背景音２のスピーカＳＰ１の音量を下げて、スピーカＳＰ２の音量を上げる。
　一方、画面内に話者がいない場合には（ステップＳ４２：ＮＯ）、音声定位を変更する処理を行わない。
　以上、本変形例に係る映像音声出力装置１Ａによれば、話者音声を話者位置に定位変更させることができる。また、映像音声出力装置１Ａによれば、話者音声と背景音の周波数帯域が重なり、話者音声に背景音が混じることがあったとしても、話者音声と分離された背景音を画面中央から話者がいない方向に音声定位させるので、背景音全体は、入力音声情報の定位を維持させることができる。この結果、視聴者は違和感を生じることがなく、より自然で臨場感のある視聴が可能となる。
＜第２の実施の形態＞
　図１０は、本発明の第２の実施の形態に係る映像音声出力装置２の概略構成図である。映像音声出力装置２は、話者位置に合わせた音声定位で音声を出力する装置である。なお、以下においては、第１の実施の形態と異なる構成、機能及び処理のみ説明し、その他の構成、機能及び処理に関しては同一部位には同一符号を付して説明を省略する。
　映像解析部２１は、入力した映像データを映像表示部１４に出力する（音声データと同期させるため、必要に応じて映像データを遅延させて映像表示部１４に出力する）とともに、入力した映像データから話者位置を特定するようになっている。
　また、映像解析部２１は、話者の顔特徴を抽出し、抽出した顔特徴から話者の属性を解析するようになっている。顔特徴の抽出は、公知の技術を用いて行われる。本実施の形態では、顔の主要な部位に対してその特徴量を検出する方法を採用しており、顔輪郭、両眉、両眼、鼻、口などの位置関係を示す特徴量を顔特徴として抽出する。また、話者の属性とは、年齢や性別を意味し、本実施の形態においては、男性または女性の判定、子供であるか否かの判定を行うようになっている。
　また、映像解析部２１は、特定した話者の位置を定位処理部１３に出力し、解析した属性を音声分離部２２に出力するようになっている。
　属性データベース（以下、属性ＤＢという）２３は、属性ごとの顔特徴に関するデータ（以下、顔特徴データという）を記憶しているデータベースで、本実施の形態では、男性または女性の顔特徴データ、及び子供の顔特徴データを備えている。映像解析部２１は、抽出した話者の顔特徴と属性ＤＢ２３に記憶されている顔特徴データとを比較して話者の属性を解析するようになっている。
　なお、本実施の形態においては、映像音声出力装置２が属性ＤＢ２３を備える構成としたが、映像音声出力装置２が属性ＤＢ２３を備えない構成でもよく、映像音声出力装置２が、通信ネットワークを介して属性ＤＢ２３にアクセスし、属性ＤＢ２３に記憶された顔特徴データを参照する構成としてもよい。
　音声分離部２２は、入力した音声データ（話者音声と背景音が混合した音声データ）を、周波数パラメータＰ１に属性を加味した周波数パラメータＰ２に従って、話者音声と背景音に分離するようになっている。本実施の形態においては、周波数パラメータＰ２は、例えば、男性の場合には、上限周波数ｆ２の値を補正値αだけ下げた値とし、女性の場合には、下限周波数ｆ１の値を補正値βだけ上げた値としている。男性は女性に比べて一般に声が低いと考えられるので、男女差を周波数パラメータＰ２に反映したものである。また、子供の場合には、男女間の補正に加えて、下限周波数ｆ１をさらに補正値γだけ上げた値としている。子供は大人に比べて一般に声が高いと考えられるので、年齢差を周波数パラメータＰ２に反映したものである。なお、この補正方法は、好適な一方法を示したものであり、これに限定されるものではない。
　また、音声分離部２２は、分離した話者音声を定位処理部１３に出力し、分離した背景音を音声出力部１５に出力するようになっている。
　図１１は本実施の形態に係る映像音声出力装置２の音声分離処理の流れを詳しく示すフローチャートである。
　音声分離部２２は、周波数パラメータＰ２の下限周波数ｆ１及び上限周波数ｆ２を設定する（ステップＳ５２）。具体的には、周波数パラメータＰ１の値をそのまま設定し、ｆ１＝８０Ｈｚ、ｆ２＝３０００Ｈｚとする。
　次に、音声分離部２２は、話者が男性であるか否かを判定する（ステップＳ５４）。話者が男性である場合には（ステップＳ５２：ＹＥＳ）、音声分離部２２は、周波数パラメータＰ２の上限周波数ｆ２を補正し（ステップＳ５６）、話者が女性である場合には（ステップＳ５４：ＮＯ）、音声分離部２２は、周波数パラメータＰ２の下限周波数ｆ１を補正する（ステップＳ５８）。詳しくは、話者が男性である場合には、周波数パラメータＰ２の上限周波数ｆ２から補正値αを減算し、話者が女性である場合には、周波数パラメータＰ２の下限周波数ｆ１に補正値βを加算する。
　次に、音声分離部２２は、話者が子供であるか否かを判定する（ステップＳ６０）。話者が子供である場合には（ステップＳ６０：ＹＥＳ）、音声分離部２２は、周波数パラメータＰ２の下限周波数ｆ１をさらに補正する（ステップＳ６２）。詳しくは、話者が子供である場合には、周波数パラメータＰ２の下限周波数ｆ１に補正値γを加算する。
　次に、音声分離部２２は、入力された音声データを、周波数パラメータＰ２が設定された帯域通過フィルタに通して、話者音声を分離する（ステップＳ６４）。
　次に、音声分離部２２は、入力された音声データを、周波数パラメータＰ２が設定された帯域阻止フィルタに通して、背景音を分離する（ステップＳ６６）。
　以上説明したように、本実施の形態に係る映像音声出力装置２によれば、話者の属性を解析し、属性による声の相違を反映した周波数パラメータＰ２に基づいて音声を分離するので話者音声と背景音の分離の精度をさらに上げることができる。
　その結果、視聴者は違和感を生じることがなく、さらに自然で臨場感のある視聴を楽しむことができる。
＜第３の実施の形態＞
　図１２は、本発明の第３の実施の形態に係る映像音声出力装置３の概略構成図である。映像音声出力装置３は、話者位置に合わせた音声定位で音声を出力する装置である。
　映像解析部３１は、入力した映像データを映像表示部１４に出力する（音声データと同期させるため、必要に応じて映像データを遅延させて映像表示部１４に出力する）とともに、入力した映像データから話者位置を特定するようになっている。
　また、映像解析部３１は、入力した映像データから話者の顔特徴を抽出するようになっている。顔特徴の抽出は、公知の技術を用いて行われる。本実施の形態では、顔の主要な部位に対してその特徴量を検出する方法を採用しており、顔輪郭、両眉、両眼、鼻、口などの複数の顔特徴点の位置座標を顔特徴として抽出する。
　また、映像解析部３１は、特定した話者の位置を定位処理部１３に出力し、抽出した顔特徴を音声分離部３２に出力するようになっている。
　特徴ＤＢ３３は、顔特徴と声特徴を対応付けた特徴データを記憶しているデータベースである。図１３に特徴データのデータ構成を示す。特徴データは、図１３に示すように、複数の顔特徴の座標（具体的には、目や鼻や口の位置を示す）と、声特徴（具体的には、下限周波数ｆ１及び上限周波数ｆ２を示す）を対応付けている。特徴データは、例えば、ＴＶや映画などの動画コンテンツに出演する俳優などのデータで構成される。後述する音声分離部３２は、映像解析部３１が抽出した話者の顔特徴と特徴ＤＢ３３に記憶されている特徴データとを比較して、一致する特徴データが存在する場合には、話者の顔特徴に対応する声特徴を取得するようになっている。
　なお、本実施の形態においては、映像音声出力装置３が特徴ＤＢ３３を備える構成としたが、映像音声出力装置３が特徴ＤＢ３３を備えない構成でもよく、映像音声出力装置３が、通信ネットワークを介して特徴ＤＢ３３にアクセスし、特徴ＤＢ３３に記憶されたデータを参照する構成としてもよい。また、特徴ＤＢ３３に記憶される特徴データは、最新の映像コンテンツの内容に合わせて随時更新されるようにしてもよい。
　音声分離部３２は、入力した音声データ（話者音声と背景音が混合した音声データ）を、周波数パラメータＰ１または周波数パラメータＰ３に従って、話者音声と背景音に分離するようになっている。詳しくは、音声分離部３２は、映像解析部３１が出力した顔特徴に基づいて特徴ＤＢ３３から声特徴を取得できる場合には、取得した声特徴を周波数パラメータＰ３として設定し、設定した周波数パラメータＰ３に従って、音声データを分離するようになっている。一方、映像解析部３１が出力した顔特徴に基づいて特徴ＤＢ３３から声特徴を取得できない場合には、周波数パラメータＰ１に従って、音声データを分離するようになっている。例えば、図１３に示す特徴データの中から話者Ａの声特徴を取得できた場合には、周波数パラメータＰ３の下限周波数ｆ１＝３０００Ｈｚ、上限周波数ｆ２＝５０００Ｈｚを設定し、この周波数パラメータＰ３に従って、話者音声と背景音を分離する。
　また、音声分離部３２は、分離した話者音声を定位処理部１３に出力し、分離した背景音を音声出力部１５に出力するようになっている。
　図１４は本実施の形態に係る映像音声出力装置３の音声分離処理の流れを詳しく示すフローチャートである。
　音声分離部３２は、周波数パラメータＰ１の下限周波数ｆ１及び上限周波数ｆ２を設定する（ステップＳ７２）。具体的には、ｆ１＝８０Ｈｚ、ｆ２＝３０００Ｈｚである。
　次に、音声分離部２２は、特徴ＤＢ３３に顔特徴が一致する特徴データがあるか否かを判定する（ステップＳ７４）。特徴ＤＢ３３に一致する特徴データがある場合には（ステップＳ７４：ＹＥＳ）、一致した特徴データの声特徴を取得して、周波数パラメータＰ３の下限周波数ｆ１及び上限周波数ｆ２を設定する（ステップＳ７６）。
　次に、音声分離部２２は、周波数パラメータＰ３が設定されている場合には周波数パラメータＰ３に基づいて、周波数パラメータＰ３が設定されていない場合には周波数パラメータＰ１に基づいて、入力された音声データを帯域通過フィルタにかけて、話者音声を分離する（ステップＳ７８）。
　次に、音声分離部２２は、周波数パラメータＰ３が設定されている場合には周波数パラメータＰ３に基づいて、周波数パラメータＰ３が設定されていない場合には周波数パラメータＰ１に基づいて、入力された音声データを帯域阻止フィルタにかけて、背景音を分離する（ステップＳ８０）。
　以上説明したように、本実施の形態に係る映像音声出力装置３によれば、話者の顔特徴から個人を特定し、特定した個人の声特徴を反映した周波数パラメータＰ３に基づいて音声を分離することができるので、話者音声と背景音の分離の精度をさらに上げることができる。
＜第４の実施の形態＞
　図１５は、本発明の第４の実施の形態に係る映像音声出力装置４の概略構成図である。映像音声出力装置４は、話者位置に合わせた音声定位で音声を出力する装置である。
　映像解析部４１は、入力した映像データを映像表示部１４に出力する（音声データと同期させるため、必要に応じて映像データを遅延させて映像表示部１４に出力する）とともに、入力した映像データから話者位置を特定するようになっている。
　また、映像解析部４１は、シーンの特徴を解析する機能を有しており、入力された映像データのシーン特徴を取得するようになっている。詳しくは、映像データのＲＧＢヒストグラム、ＲＧＢヒストグラムの時間変化、単位ブロックでの動きベクトルの分散等から、シーン特徴を取得するようになっている。
　また、映像解析部４１は、特定した話者の位置を定位処理部１３に出力し、取得したシーン特徴を音声分離部４２に出力するようになっている。
　音声分離部４２は、入力した音声データ（話者音声と背景音が混合した音声データ）を、周波数パラメータＰ１または周波数パラメータＰ４に従って、話者音声と背景音に分離するようになっている。詳しくは、音声分離部４２は、映像解析部４１が取得したシーン特徴から、背景音の推定が可能である場合には、シーン特徴の背景音の特徴（周波数パラメータＰ４）を取得する。例えば、シーン特徴が「降雨シーン」である場合には、入力した音声データから雨の音を除くことで話者音声を得ることができる。具体的には、雨の音はホワイトノイズに近い特性を持っているので、すべての周波数帯域から一定のパワーを差し引くことにより、話者音声を分離することができる。一方、映像解析部４１が背景音の推定が可能でない場合には、周波数パラメータＰ１に従って、音声データを分離するようになっている。
　図１６は本実施の形態に係る映像音声出力装置４の音声分離処理の流れを詳しく示すフローチャートである。
　音声分離部４２は、算出したシーン特徴から背景音の推定が可能であるか否かを判定する（ステップＳ８２）。背景音の推定が可能である場合には（ステップＳ８２：ＹＥＳ）、音声分離部４２は、推定した背景音に適した周波数パラメータＰ４を設定して、話者音声及び背景音を取得する（ステップＳ８４）。一方、背景音の推定が可能でない場合には（ステップＳ８２：ＮＯ）、音声分離部４２は、周波数パラメータＰ１の下限周波数ｆ１及び上限周波数ｆ２を設定する（ステップＳ８６）。具体的には、ｆ１＝８０Ｈｚ、ｆ２＝３０００Ｈｚである。
　次に、音声分離部４２は、周波数パラメータＰ１に基づいて、入力された音声データに帯域通過フィルタをかけて、話者音声を分離し（ステップＳ８８）、周波数パラメータＰ１に基づいて、入力された音声データに帯域阻止フィルタをかけて、背景音を分離する（ステップＳ９０）。
　以上説明したように、本実施の形態に係る映像音声出力装置４によれば、シーン特徴を解析し、解析したシーン特徴から背景音の推定を行うので、話者音声と背景音の分離の精度をさらに上げることができる。
　以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。
　　１，１Ａ，２，３，４　映像音声出力装置
　　１１，２１，３１，４１　映像解析部
　　１２，２２，３２，４２　音声分離部
　　１３，１３Ａ　定位処理部
　　１４　映像表示部
　　１５　音声出力部
　　２３　属性ＤＢ
　　３３　特徴ＤＢ
　　Ｐ１，Ｐ２，Ｐ３，Ｐ４　周波数パラメータ
　　ｆ１　下限周波数
　　ｆ２　上限周波数
　　　

Claims (7)

  1. 　映像を解析して、話者の位置を特定する話者位置特定手段と、
    　話者の音声と背景音が混じった混合音声を、話者の音声と背景音に分離する音声分離手段と、
    　前記話者位置特定手段が特定した話者の位置に、前記音声分離手段が分離した話者の音声を定位させる音声定位手段と、
    を備えることを特徴とする映像音声出力装置。
  2. 　前記音声分離手段は、
    　話者の音声の上限周波数及び下限周波数に関する第１のパラメータを備え、
    　前記第１のパラメータに基づいて、前記混合音声を話者の音声と背景音に分離することを特徴とする請求項１記載の映像音声出力装置。
  3. 　映像を解析して、話者の属性を検出する属性検出手段と、
    　前記属性検出手段が検出した話者の属性に応じて、前記第１のパラメータの値を調整する音声パラメータ調整手段と、
    をさらに備え、
    　前記音声分離手段は、
    　前記音声パラメータ調整手段により調整された前記第１のパラメータの値に基づいて、前記混合音声を話者の音声と背景音に分離することを特徴とすることを特徴とする請求項２記載の映像音声出力装置。
  4. 　映像を解析して、話者の顔特徴を検出する顔特徴検出手段と、
    　人の顔特徴と、その人の音声の上限周波数及び下限周波数に関する第２のパラメータとを対応付けて記憶しているデータベースと、
    　前記データベースに前記顔特徴検出手段が検出した顔特徴が存在する場合には、前記顔特徴検出手段が検出した顔特徴に対応付けられた第２のパラメータを取得するパラメータ取得手段と、
    をさらに備え、
    　前記音声分離手段は、
    　前記データベースに前記顔特徴検出手段が検出した顔特徴が存在する場合には、前記第２のパラメータに基づいて、前記データベースに前記顔特徴検出手段が検出した顔特徴が存在しない場合には、記第１のパラメータに基づいて、前記混合音声を話者の音声と背景音に分離することを特徴とする請求項２記載の映像音声出力装置。
  5. 　映像を解析して、シーン特徴を検出するシーン特徴検出手段と、
    　検出したシーン特徴から背景音を推定する背景音推定手段と、
    をさらに備え、
    　前記音声分離手段は、
    　前記背景音推定手段が背景音を推定できた場合には、推定した背景音に適した周波数に関するパラメータに基づいて、前記背景音推定手段が背景音を推定できない場合には、前記第１のパラメータに基づいて、前記混合音声を話者の音声と背景音に分離することを特徴とする請求項２記載の映像音声出力装置。
  6. 　前記音声定位手段は、
    　前記話者位置特定手段が特定した話者の位置に対して、画面の中心から遠ざける方向に、前記音声分離手段が分離した背景音を定位させることを特徴とする請求項１乃至５のいずれか１項に記載の映像音声出力装置。
  7. 　映像を解析して、話者の位置を特定する話者位置特定ステップと、
    　話者の音声と背景音が混じった混合音声を、話者の音声と背景音に分離する音声分離ステップと、
    　前記話者位置特定ステップで特定した話者の位置に、音声分離ステップで分離した話者の音声を定位させる音声定位ステップと、
    を備えることを特徴とする音声定位方法。
PCT/JP2009/058744 2009-05-11 2009-05-11 映像音声出力装置及び音声定位方法 Ceased WO2010131318A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/058744 WO2010131318A1 (ja) 2009-05-11 2009-05-11 映像音声出力装置及び音声定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/058744 WO2010131318A1 (ja) 2009-05-11 2009-05-11 映像音声出力装置及び音声定位方法

Publications (1)

Publication Number Publication Date
WO2010131318A1 true WO2010131318A1 (ja) 2010-11-18

Family

ID=43084708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058744 Ceased WO2010131318A1 (ja) 2009-05-11 2009-05-11 映像音声出力装置及び音声定位方法

Country Status (1)

Country Link
WO (1) WO2010131318A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025258284A1 (ja) * 2024-06-13 2025-12-18 ソニーグループ株式会社 サウンドシステム、サウンド再生方法およびコンテンツ再生システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191896A (ja) * 1992-01-13 1993-07-30 Pioneer Electron Corp 擬似ステレオ装置
JP2000295700A (ja) * 1999-04-02 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像情報を用いた音源定位方法及び装置及び該方法を実現するプログラムを記録した記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191896A (ja) * 1992-01-13 1993-07-30 Pioneer Electron Corp 擬似ステレオ装置
JP2000295700A (ja) * 1999-04-02 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> 画像情報を用いた音源定位方法及び装置及び該方法を実現するプログラムを記録した記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025258284A1 (ja) * 2024-06-13 2025-12-18 ソニーグループ株式会社 サウンドシステム、サウンド再生方法およびコンテンツ再生システム

Similar Documents

Publication Publication Date Title
US10142759B2 (en) Method and apparatus for processing audio with determined trajectory
KR101958664B1 (ko) 멀티미디어 콘텐츠 재생 시스템에서 다양한 오디오 환경을 제공하기 위한 장치 및 방법
US20100302401A1 (en) Image Audio Processing Apparatus And Image Sensing Apparatus
CN114830233A (zh) 基于噪声指标和语音可懂度指标来调整音频和非音频特征
KR20070042104A (ko) 화상 표시 장치 및 방법, 및 프로그램
JP2011250100A (ja) 画像処理装置および方法、並びにプログラム
CN113016190A (zh) 经由生理监测的创作意图可扩展性
US11211074B2 (en) Presentation of audio and visual content at live events based on user accessibility
JP2019523902A (ja) ３ｄ音声ポジショニングを用いて仮想現実又は拡張現実のプレゼンテーションを生成するための方法及び装置
KR20150001521A (ko) 입체 음향 서비스를 제공하는 디스플레이 장치 및 방법
US20220053282A1 (en) Apparatus and method for processing audiovisual data
JP5085769B1 (ja) 音響制御装置、音響補正装置、及び音響補正方法
CN102055941A (zh) 视频播放器及视频播放方法
CN102714761A (zh) 图像处理装置、图像处理方法及图像处理程序
KR102877083B1 (ko) 영상의 음질을 향상시키는 디바이스 및 방법
US20240155289A1 (en) Context aware soundscape control
EP2706762A2 (en) Multimedia processing system and audio signal processing method
US20110109722A1 (en) Apparatus for processing a media signal and method thereof
CN114822568A (zh) 音频播放方法、装置、设备及计算机可读存储介质
US20090304088A1 (en) Video-sound signal processing system
WO2010140254A1 (ja) 映像音声出力装置及び音声定位方法
KR102785551B1 (ko) 사용자 입력에 기초한 다중 출력 제어
CN105763923A (zh) 一种影音、影音模板编辑方法及其装置
CN103686136A (zh) 多媒体处理系统及音频信号处理方法
WO2010131318A1 (ja) 映像音声出力装置及び音声定位方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09844592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09844592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP