WO2008026754A1 - Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme - Google Patents

Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme Download PDF

Info

Publication number
WO2008026754A1
WO2008026754A1 PCT/JP2007/067101 JP2007067101W WO2008026754A1 WO 2008026754 A1 WO2008026754 A1 WO 2008026754A1 JP 2007067101 W JP2007067101 W JP 2007067101W WO 2008026754 A1 WO2008026754 A1 WO 2008026754A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
information
encoding
signal
voice
Prior art date
Application number
PCT/JP2007/067101
Other languages
English (en)
French (fr)
Inventor
Hironori Ito
Kazunori Ozawa
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008532145A priority Critical patent/JP4582238B2/ja
Priority to CA002660007A priority patent/CA2660007A1/en
Priority to BRPI0714736-8A priority patent/BRPI0714736A2/pt
Priority to MX2009002093A priority patent/MX2009002093A/es
Priority to EP07806574A priority patent/EP2068544A4/en
Priority to US12/438,659 priority patent/US8255206B2/en
Publication of WO2008026754A1 publication Critical patent/WO2008026754A1/ja

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques

Definitions

  • the present invention relates to an audio mixing method and a multipoint conference server and program using the method, and in particular, mixes the audio of all participants and subtracts the audio of one participant from the mixed audio to the one participant.
  • the present invention relates to an audio mixing method to be transmitted, and a multipoint conference server and program using the method. Background art
  • each participant's audio data encoded by the audio encoder is transmitted to the multipoint conference server.
  • the multipoint conference server transmits to each participant audio data that is a mix of all the audio of participants other than the participant.
  • the audio signals of all participants are calculated by adding all the decoded audio signals obtained by decoding the audio data of each participant.
  • an audio signal obtained by subtracting his / her own audio from the audio signals of all participants is calculated, and audio data generated by encoding the audio signal is transmitted.
  • I TU—TH.323 and H.324 are used in the circuit switching network, and 3 G—324M is used in the mobile network.
  • 3 G—324M is used in the mobile network.
  • I ETF RFC 3550 RTP Real-time Transport Protocol
  • G. 7 1 1 is a method that compresses each 16-bit sample in an audio signal sampled at 8 kHz to 8 bits using logarithmic transformation. Low.
  • the G. 7 29 system, AMR system, and EVRC system are based on the predictive coding system based on the CELP (Code Excited Linear Prediction) principle and can encode speech signals with higher efficiency. is there.
  • CELP Code Excited Linear Prediction
  • CELP uses a linear predictive coding (LPC) analysis from the speech signal for each frame (for example, 20 ms) in the encoder to determine the spectral parameters that represent the spectral characteristics of the speech signal. Extract.
  • LPC linear predictive coding
  • the frame-divided audio signal is divided into subframes (for example, 5 ms) and the parameters in the adaptive codebook (delay parameters and gain parameters corresponding to the pitch period) are determined based on the past sound source signal for each subframe.
  • the audio signal of the corresponding subframe is pitch-predicted by adaptive codebook, and a sound source consisting of a noise signal of a predetermined type is used for the residual signal obtained by pitch prediction.
  • the sound source signal is quantized by selecting the optimal sound source code vector from the code book (vector quantization code book) and calculating the optimal gain.
  • the selection of the sound source code vector is performed so as to minimize the error power between the signal synthesized from the selected noise signal and the above-mentioned residual signal. Then, a combination of an index representing the type of the selected code vector, gain, spectral parameters, and parameters of the adaptive codebook is transmitted as audio data.
  • the decoded speech signal can be obtained by calculating the synthesis signal coefficient in the linear prediction pattern and the excitation signal from the parameters obtained from the speech data, and driving the excitation signal with the synthesis filter.
  • the speech synthesizer adds the speech data converted into linear data by each heterogeneous encoding / decoding unit, and then the speech data obtained by subtracting its own speech from the added speech data.
  • a communication control device that generates and passes it to each of the corresponding heterogeneous encoding / decoding units is disclosed (see Patent Document 3).
  • Patent Document 1 Japanese Laid-Open Patent Publication No. 2 0 0 5 — 1 5 1 0 4 4 (paragraphs 0 0 1 4, 0 0 1 6 and 0 0 4 5)
  • Patent Document 2 Japanese Laid-Open Patent Publication No. 2 0 205- 2 2 9 2 59 (Paragraph 0 0 0 3 and FIG. 1)
  • Patent Document 3 Japanese Laid-Open Patent Publication No. 6-3 5 0 7 2 4 (Paragraph 0 0 2 0 and Figure 2)
  • the voice of all the voices of participants other than the participant is encoded and transmitted to each participant.
  • the number of participants increases, the amount of computation due to speech coding increases, so the number of speech encoders to be operated is limited by detecting the speaker who is speaking and limiting the number of speech to be mixed. Reduction methods are used.
  • Patent Documents 1 to 3 do not disclose means for solving this problem.
  • An object of the present invention is to provide an audio mixing method capable of preventing abnormal sounds from being generated in a decoded voice when switching an encoder in accordance with the switching of a speaker, and a multipoint conference using the method. To provide servers and programs. '' Disclosure of the invention
  • the first audio mixing method of the present invention is an audio mixing method for mixing a plurality of audio information, the first step for selecting the audio information from the plurality of audio information, and the second step for adding all the selected audio information.
  • the third step and the second step obtain the audio signal that is the sum of the audio signals other than the one of the selected audio signals.
  • PGT / JP 20U7 / U b V lU l 4th step to encode the obtained speech information
  • 5th step to encode the speech signal obtained in the 3rd step
  • Encoding information obtained by the 4th step And a sixth step of copying to the encoded information in the fifth step.
  • the multipoint conference server for mixing the second plurality of audio information includes: a selection unit that selects audio information from the plurality of audio information; and an all-signal addition unit that adds all the audio information selected by the selection unit.
  • An adding means for obtaining a sound signal obtained by adding sound signals other than the one sound signal among the selected sound signals; a first encoding means for encoding the sound information added by the all-signal adding means; A second encoding means for encoding the speech information obtained by the means; and a switching means for copying the encoded information obtained by the first encoding means to the second encoding means.
  • a program for performing audio mixing that mixes a plurality of pieces of sound information.
  • the first step of selecting sound information from the plurality of pieces of sound information is added to a computer.
  • the fifth step for encoding the audio signal obtained in step 3 and the sixth step for copying the encoded information obtained in the fourth step to the encoded information in the fifth step are executed.
  • FIG. 1 is a block diagram showing the configuration of the multipoint conference server according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation procedure of the multipoint conference server according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing the configuration of the multipoint conference server according to the first embodiment of the present invention.
  • FIG. 1 is a block diagram of a multipoint conference server according to the first embodiment of the present invention.
  • the multipoint conference server according to the first embodiment of the present invention includes audio input terminals (or input audio signals) 100, 1 10,..., 190 and a power calculation unit 101, 1 1 1,. 1, speaker selection unit 200, voice signal input switcher 102, 1 12, 192, full signal adder 300, adder 103, 1 13, 193, voice coding , 194, memory switching unit 105, 1 15, ..., 1 95, common voice encoding unit 400, voice data switching unit 106, 1 16, ... , 1 96 and the voice output terminal for the speaker (or the voice output for the speaker) 107, 1 17,.
  • Each of the voice input terminals 1 00, 1 10,..., 190 corresponds to speaker 1, speaker 2,.
  • Power calculation unit 101, 1 1 1, ..., 191; voice signal input selector 102, 1 12, ... 1 92; adder 103, 1 13, ..., 193, voice code , And 194, memory switch 105, 1 15, ..., 195, voice data switch 106, 1 16, ..., 196, and voice output to the speaker The same applies to terminals 107, 117,.
  • FIG. 2 is a flowchart showing the operation procedure of the multipoint conference server according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing the operation procedure of the multipoint conference server according to the first embodiment of the present invention.
  • the processing blocks for speaker 1, speaker 2, and speaker ⁇ are described, but the processing is the same for speakers that are not described.
  • Power calculation unit 101, power calculation unit 1 1 1, and power calculation unit 19 1 are respectively input audio signal 100, input audio signal 1 1 0, and input of speaker 1, speaker 2, and speaker ⁇
  • the power for the input audio signal 1 90 is calculated and output (step S1 in Fig. 2).
  • the speaker selection unit 200 selects the speaker who is speaking using the calculated power of each speaker, and outputs the selection result (Fig. 2). Step S 2).
  • the voice signal input switch 102, the voice signal input switch 1 12 and the voice signal input switch 192 indicate whether or not to output the input voice signal of each speaker based on the selection result of the speaker selection unit 200. (Step S3 in Fig. 2).
  • the all signal adder 300 outputs a sound signal obtained by adding all the sounds for the speaker selected by the speaker selecting unit 200 (step S4 in FIG. 2).
  • the adder 103, the adder 1 13, and the adder 193 output an audio signal obtained by subtracting the selected speaker's own audio signal from the audio signal output from the full signal adder 300 (step in FIG. 2). S 5).
  • the speech information of the speakers corresponding to the speech encoders 104, 114, and 194 among the selected speakers is subtracted from the speech signal output from the all-signal adder 300 to obtain speech information. Output.
  • Common speech encoding section 400 encodes the speech signal output from full signal adder 300 (step S6 in FIG. 2).
  • the audio encoding unit 104, the audio encoding unit 1 14, and the audio encoding unit 194 encode the audio signals output from the adder 1 03, the adder 1 13 and the adder 193 (step S in FIG. 2). 7).
  • the memory switch 105, the memory switch 1 1 5, and the memory switch 195 each encode the contents of the memory in the predictive coding of the common speech coding unit 400 based on the selection result of the speaker selection unit 200.
  • the data is copied to the unit 104, the speech encoding unit 114, and the speech encoding unit 194 (step S8 in FIG. 2).
  • the encoded information that is the result of the predictive encoding stored in the memory of the common speech encoding unit 400 is copied to the memory of the speech encoding unit 104, the speech encoding unit 114, and the speech encoding unit 194, respectively. Do it.
  • the memory states of the speech encoding unit 104, the speech encoding unit 114, and the speech encoding unit 194 are made the same as the memory state of the common speech encoding unit 400.
  • the audio switcher 106, the audio switcher 1 1 6, and the audio switcher 1 96 switch the audio data to be output based on the selection result of the speaker selection unit 200. (Step S9 in Figure 2).
  • speaker 1 is selected and speaker 2 and speaker M are not selected, the voice input signal switch 1 0 2 of speaker 1 is on and the voice input signal of speaker 2 is on. No. switch 1 1 2 and speaker M's voice input signal switch 1 9 2 are off, speaker 1's memory switch 1 0 5 is on, speaker 2 and speaker M's memory switch 1 9 5 Is turned off, speaker 1 voice data switch 1 0 6 is for speaker 1 side, speaker 2 voice data switch 1 1 6 and speaker: M voice data switch 1 96 is a common voice encoding Part 4 0 0 side.
  • the voice signal of the speaker 1 is added by the all signal adder 3 0 0 via the audio signal input switch 1 0 2 and input to the common audio encoding unit 4 0 0.
  • the speech signal of speaker 1 is subtracted by the adder 1 0 3 from the speech signal of speaker 1 added by the all-signal adder 3 0 0, and the resulting signal is sent to the speech encoding unit 1 0 4. Entered. Then, the output signal of the voice encoding unit 10 4 is transmitted to the speaker 1 via the voice data switch 10 6.
  • the voice signal input to the common voice encoding unit 400 is transmitted via the voice data switchers 1 1 6 and 1 96. .
  • the feature of the first embodiment of the present invention is, for example, that the information stored in the common speech encoding unit 400 is memory-switched at the moment when the speaker 1 is selected from the case where the speaker 1 is not selected. Copied to the speech encoding unit 1 0 4 via the device 1 0 5, or stored in the common speech encoding unit 4 0 0 at the moment when speaker 2 is selected from the case where it is not selected The information is to be copied to the speech encoder 1 1 4 via the memory switch 1 1 5.
  • the adder 1 0 3, the adder 1 1 3, and the adder 1 9 3 are selected from the speech signals output from the full signal adder 3 0 0.
  • the audio signal is output by subtracting the audio signal.
  • the same result can be obtained by adding and outputting the audio signals other than one selected speaker P / l / J ZUU '/ Ut37JLUl.
  • the power calculation unit 101, the power calculation unit 112, and the power calculation unit 192 calculate the power of the input audio signal 100, the input audio signal 1 10, and the input audio signal 190 respectively.
  • the calculated power is output to the speaker selection unit 200.
  • the power P is calculated using the following equation (1) every 20 milliseconds (160 samples).
  • the speaker selection unit 200 selects the speaker who is speaking using the input power of each speaker, and determines whether or not the speaker is selected as a voice signal input switch 102, a voice signal input switch 1 12. Output to audio signal input switch 192, memory switch 105, memory switch 1 15, memory switch 195, audio data switch 106, audio data switch 116, and audio data switch 196.
  • a method of selecting the speaker who is speaking a method of selecting the top N speakers (N ⁇ M and N and M are positive integers) determined in descending order of power, or a predetermined threshold There is a way to select a speaker with more power. Also, instead of using the input power as it is, a method that uses a value smoothed by leak integration or the like can be considered.
  • the leak integral is X (n) for input and y (n) for output.
  • Audio signal input switch 1 0 2, audio signal input switch 1 1 2, and audio signal input switch 1 9 2 are input audio signals for the speaker selected by speaker selection unit 2 0 0 1 0 0, Outputs input audio signal 1 1 0 and input audio signal 1 9 0 to corresponding adder 1 0 3, adder 1 1 3, and adder 1 9 3, and outputs to all signal adder 3 0 0 To do.
  • the all signal adder 3 0 0 outputs the audio signal obtained by adding all the input audio signals to the adder 1 0 3, the adder 1 1 3, the adder 1 9 3, and the common audio encoding unit 400.
  • Adder 1 0 3, adder 1 1 3, and adder 1 9 3 are the voices input from full signal adder 3 0 0 to the speaker selected by speaker selection unit 2 0 0. Audio signal input switch 1 0 2, audio signal input switch 1 1 2, and audio signal input switch 1 9 2 are subtracted from the audio signal output from the signal, respectively. 04, output to audio encoding unit 1 1 4 and audio encoding unit 1 94
  • the input audio signal of each speaker i may be multiplied by the adjustment gain G i shown in (2).
  • P i is the power for speaker i calculated by Eq. (1)
  • N is the number of mixed signals.
  • This G i is calculated so that it is inversely proportional to the power of each speaker.
  • the calculation period of power P i is too large to change if it is updated every 20 milliseconds.
  • the smoothing shown in 3) may be performed.
  • G i (la) xG i + ⁇ i Formula (3)
  • G ′ i represents the previously calculated adjustment gain. For example, 0.9 is used as the value of 0 ;.
  • the audio signal after mixing may be multiplied by an adjustment gain Ga shown by the following equation (4).
  • G— a P—out / P—a Equation (4)
  • Pa the power of the audio signal after mixing calculated by Equation (1)
  • P out the power to be adjusted at the target value. It is also possible to use the largest speaker value in the mixed speaker's voice signal, or use a predetermined level. Also, smooth the same as G i mentioned above and limit the values that can be taken.
  • the common audio encoding unit 400 encodes the audio signal input from the all-signal adder 3 00 and converts the encoded audio data into the audio de-evening switch 1 0 6, audio de-evening switch 1 1 6 Output to audio data switch 1 9 6
  • Speech encoder 1 0 4, speech encoder 1 1 4, speech encoder 1 9 4 receives speech signals from adder 1 0 3, adder 1 1 3, and adder 1 9 3 In this case, the audio signal is encoded, and the encoded audio data is output to the audio data switch 10 6, the audio data switch 1 1 6, and the audio data switch 1 96.
  • Memory switcher 1 0 5, Memory switcher 1 1 5, Memory switcher 1 9 5 are used when the speaker selection unit 2 0 0 transitions from a state that is not selected as a speaker to a selected state.
  • the memories in the predictive coding of the common speech coding unit 400 are output to the speech coding unit 10 04, the speech coding unit 1 14, and the speech coding unit 19 4, respectively.
  • the volume of speaker 1 is low, and the voice encoding unit 1 0 Since the input speech of 4 and the speech input to the common speech encoding unit 400 are almost the same, there is little deterioration in sound quality due to memory mismatch between both.
  • the same audio signal as the input audio signal to the common audio encoding unit 400 is input to the audio encoding unit 104 and operated for a while.
  • the audio data switch 1 may be switched to the audio data output from the common audio encoding unit 400. The longer it is operated with the same input audio signal, the smaller the memory mismatch, but the longer it takes to switch.
  • the speech encoders are all the same, but a plurality of types of speech encoders or bit rates may be mixed. In this case, as many common encoders as the number of encoder types or bit rate types are required. Also, memory switching must be performed for the same type of encoder or bit rate.
  • the output speech output is changed from the output from the common speech encoding unit 400 to the output from the speech encoding unit 104.
  • FIG. 3 is a block diagram of a multipoint conference server according to the second embodiment of the present invention. Note that the same components as those in FIG. 1 are given the same reference numerals and explanations thereof are omitted.
  • the audio decoding unit 5 0 1, the audio decoding unit 5 1 1, and the audio decoding unit 5 9 1 are respectively encoded input audio data 5 0 0, input audio data 5 1 0, and input audio data 5 9 0 is decoded, and the decoded speech is converted into power calculation unit 1 0 1 and power calculation unit 1 0 2 respectively.
  • Audio data analysis unit 5 0 2, Audio data analysis unit 5 1 2, Audio data analysis unit 5 9 2 have input audio data 5 0 0, input audio data 5 1 0, and input audio data 5 9 0 Outputs the result of analyzing whether the sound is silent.
  • VAD Voice Act ivi ty Detection
  • SID Background noise information
  • the frame type at the beginning of the audio data is NO—DATA or SID, it can be determined that there is no sound.
  • the loudness estimated based on the spectral parameters of the gain parameters included in the audio data is set to the speaker selection unit 2 0 1 It is also possible to output to
  • the power calculation unit 1 0 1, the power calculation unit 1 1 1, and the power calculation unit 1 9 1 are respectively input from the speech decoding unit 5 0 1, the speech decoding unit 5 1 1, and the speech decoding unit 5 9 1.
  • the power of the decoded signal is calculated, and the value is input to the speaker selection unit 2 0 1.
  • the speaker selection unit 2 0 1 includes the speech data analysis unit 5 0 2, the speech data analysis unit 5 1 2, the analysis result of the speech data analysis unit 5 9 2, and the power calculation unit 1 0 1, the power calculation unit 1 1 1 and power calculator 1 9 Based on the power input from 2, the speaker that is speaking is selected and the selection result is output.
  • the analysis results input from the voice data analysis unit 50 2, the voice data analysis unit 5 1 2, and the voice data analysis unit 5 9 2 are above the threshold value where there is sound or estimated volume. If there is a value of, then the top N speakers (N ⁇ M) that are predetermined in descending order of the power input from the power calculator 1 0 1, power calculator 1 1 1, and power calculator 1 9 1 And a method of selecting speakers with power exceeding a predetermined threshold.
  • the voice selection is used as a criterion for speaker selection.
  • the voice selection is used as a criterion for speaker selection.
  • the third embodiment relates to a program for causing a computer to execute an audio mixing method.
  • the power calculators 101, 1 1 1, ... 191, included in the multipoint conference server, the speaker selection part 200, and the voice signal input selectors 102, 112, ... 192, full signal adder 300, adders 103, 1 13, ..., 193, speech encoders 104, 1 14, ..., 194, memory switchers 105, 1 15, ... .., 195, common speech encoding unit 400, and audio data evening switch 106, 1 16,..., 1 96 are controlled by a control unit (not shown).
  • the multipoint conference server further includes a storage unit (not shown), and the storage unit stores a program for the processing procedure of the audio mixing method shown in the flowchart of FIG.
  • the control unit (or computer) reads the program from the storage unit and controls each component according to the program. Since the details of the control have already been described, a description thereof is omitted here.
  • the following patterns can be considered as a multipoint conference system.
  • First It is a pattern where there is one person in each of several conference rooms.
  • Second multiple people in multiple conference rooms (and a pattern in which multiple pairs of microphones and speakers exist in each conference room, and a pair of microphones and speakers in each conference room)
  • the embodiment of the present invention is also useful in such a case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明細書 音声ミキシング方法およびその方法を用いる多地点会議サーバならびにプログ ラム 技術分野
本発明は、 音声ミキシング方法およびその方法を用いる多地点会議サーバなら びにプログラムに関し、 特に全参加者の音声をミキシングし、 ミキシングした音 声から一参加者の音声を減算してその一参加者へ送信する音声ミキシング方法お よびその方法を用いる多地点会議サーバならびにプログラムに関する。 背景技術
多地点会議サービスでは、 音声符号化器により符号化された各参加者の音声デ 一夕が多地点会議サーバに送信される。 多地点会議サーバは、 各参加者に、 当該 参加者以外の参加者の全ての音声をミキシングした音声データを送信する。
音声デ一夕をミキシングする際、 まず、 各参加者の音声データを復号して得た 復号音声信号を全て加算することで全参加者の音声信号を算出する。 次に、 各参 加者に対して、全参加者の音声信号から自分の音声を減算した音声信号を算出し、 その音声信号を符号化して生成した音声データを送信する。
多地点会議サービスにおける端末とサーバ間の通信プロトコルとして、 一例と して、 回線交換網では I TU— T H. 323、 H. 324が用いられ、 モバイ ル網では 3 G— 324Mが用いられ、 I P (Internet Protocol)に基づくバケツト 網では、 I ETF RFC 3550 RTP (Real-time Transport Protocol)が 用いられる。
また、音声符号化器としては、 I TU— T勧告である G. 711や G. 729, 3 GP P TS 26. 090で規定されている AMR (Adaptive Multi- Rate)方式、 TS 26. 190で規定されている AMR— WB (Wide Band)方式や、 3 GPP 2 で規定されている EVRC (Enhanced Variable Rate Codec)方式などが用いられ る。 G. 7 1 1方式では、 8 k H zでサンプリングされた音声信号における 1 6ビ ットの各サンプルを対数変換を用いて 8ビットに圧縮する方式であり、 演算量は 少ないが圧縮率は低い。
一方、 G. 7 2 9方式、 AMR方式、 E V R C方式は、 C E L P (Code Exci ted Linear Predict ion)原理による予測符号化方式に基づいており、 音声信号をより 高能率に符号化することが可能である。
C E L Pでは、 符号化器において、 フレーム毎（例えば 2 0 m s )に音声信号か ら線形予測（L P C : Linear Predict ive Coding)分析を用いて、 音声信号のスぺ クトル特性を表すスぺクトルパラメータを抽出する。
さらにフレーム分割した音声信号をサブフレーム（例えば 5 m s〉に分割し、 サ ブフレーム毎に過去の音源信号を基に適応コードブックにおけるパラメ一夕（ピ ツチ周期に対応する遅延パラメ一夕とゲインパラメ一夕）を抽出し、適応コードブ ックにより該当のサブフレームの音声信号をピッチ予測する。 ピッチ予測によつ て求めた残差信号に対して、 予め定められた種類の雑音信号からなる音源コード ブック（べクトル量子化コードブック） から最適な音源コードべクトルを選択し、 最適なゲインを計算することにより、 音源信号を量子化する。
音源コードべクトルの選択の仕方は、選択した雑音信号により合成した信号と、 前述の残差信号との誤差電力を最小化するように行う。 そして、 選択されたコー ドベクトルの種類を表すインデックス、 ゲイン、 スペクトルパラメ一夕、 および 適応コードブックのパラメ一夕とを組み合わせたものを音声デー夕として伝送す る。
復号器側では、 音声データから得られるパラメ一夕から音源信号と線形予測分 祈における合成フィル夕係数を算出し、 音源信号を合成フィルタで駆動すること により、 復号音声信号を得ることができる。
一方、 全てのサンプルについて比較選択処理を行わないで、 複数サンプルに 1 回の大小関係の比較選択処理の結果に基づいて、 その選択された音声データのサ ンプルに続く複数サンプルを選択処理する音声ミキシング方法が開示されている (特許文献 1参照)。
また、 ミキシング部において一旦総和信号を生成し、 その総和信号からそれぞ 3 「 „ ·„ 1 れ、 自己の音声情報 （自己が送り出した音声情報） を引算し、 自己以外の音声情 報が自己に返送されるように構成した音声ミキシング方法が開示されている （特 許文献 2参照)。
また、 音声合成部が各異種符号化 ·復号化部にて線形のデータに変換された音 声データをそれぞれ加算し、 その後、 加算された音声データから自分の音声を差 し引いた音声データを生成し、 それを対応する異種符号化 ·復号化部のそれぞれ に渡す通信制御装置が開示されている （特許文献 3参照）。
特許文献 1 特開 2 0 0 5— 1 5 1 0 4 4号公報 （段落 0 0 1 4 , 0 0 1 6お よび 0 0 4 5 )
特許文献 2 特開 2 0 0 5— 2 2 9 2 5 9号公報 （段落 0 0 0 3および図 1 ) 特許文献 3 特開平 6— 3 5 0 7 2 4号公報 （段落 0 0 2 0および図 2 ) 関連技術における多地点会議システムでは、 各参加者に、 当該参加者以外の参 加者の音声を全てミキシングした音声を符号化して送信する。 この時、 参加者の 増加に伴って音声符号化による演算量が増大するため、 発声している話者を検出 して、 ミキシングする音声の数を限定し、 動作させる音声符号化器の数を削減す る方法が用いられる。
ここで、 C E L Ρ方式等のような予測符号化を行う音声符号化器を用いる場合、 話者の切替わり時に合わせて符号化器を切替える際、 符号化器の状態を示すメモ リに不整合が生じるために、 復号音声に異音が発生するという課題がある。
一方、 上記特許文献 1〜 3にこの課題を解決する手段は開示されていない。 本発明の目的は、 話者の切替わり時に合わせて符号化器を切替える際、 復号音 声に異音が発生するのを防止することが可能な音声ミキシング方法およびその方 法を用いる多地点会議サーバならびにプログラムを提供することにある。 ' 発明の開示
本発明の第 1の音声ミキシング方法は、 複数の音声情報をミキシングする音声 ミキシング方法であって、複数の音声情報から音声情報を選択する第 1ステップ、 選択した音声情報を全て加算する第 2ステップ、 選択した音声信号のうち 1の音 声信号以外の音声信号を加算した音声信号を得る第 3ステップ、 第 2ステップで PGT/JP 20U7 / U b V lU l 得られた音声情報を符号化する第 4ステップ、 第 3ステツプで得られた音声信号 を符号化する第 5ステップ、 第 4ステップによって得られた符号化情報を第 5ス テップにおける符号化情報にコピーする第 6ステップとを含む。
本発明の第 2の複数の音声情報をミキシングする多地点会議サーバは、 複数の 音声情報から音声情報を選択する選択手段と、 選択手段にて選択した音声情報を 全て加算する全信号加算手段と、 選択した音声信号のうち 1の音声信号以外の音 声信号を加算した音声信号を得る加算手段と、 全信号加算手段にて加算した音声 情報を符号化する第 1の符号化手段と、 加算手段にて得た音声情報を符号化する 第 2の符号化手段と、 第 1の符号化手段にて得られた符号化情報を第 2の符号化 手段にコピーする切替手段を含む。
本発明の第 3の複数の音声情報をミキシングする音声ミキシングを実行するプ ログラムは、 コンピュータに、 複数の音声情報から音声情報を選択する第 1ステ ップ、 選択した音声情報を全て加算する第 2ステップ、 選択した音声信号のうち 1の音声信号以外の音声信号を加算した音声信号を得る第 3ステップ、 第 2ステ ップで得られた加算した音声情報を符号化する第 4ステップ、 第 3のステツプで 得られた音声信号を符号化する第 5ステップ、 第 4ステップによって得られた符 号化情報を第 5ステップにおける符号化情報にコピーする第 6ステップを実行さ せる。 発明の効果
本発明によれば、 符号化におけるメモリ内容に不整合が生じないことから、 話 者の切替わり時に合わせて符号化器を切替える際、 復号音声に異音が発生するの を防止することが可能となる。 図面の簡単な説明
図 1は、 本発明の第 1の実施例による多地点会議サーバの構成を示すブロック 図である。
図 2は、 本発明の第 1の実施例による多地点会議サーバの動作手順を示すフロ 一チヤ一卜である。 図 3は、 本発明の第 1の実施例による多地点会議サーバの構成を示すプロック 図である。 発明を実施するための最良の形態
以下、 本発明の実施例について添付図面を参照しながら説明する。
(第 1の実施例）
図 1は本発明の第 1の実施例による多地点会議サーバの構成図である。 本発明 の第 1の実施例による多地点会議サーバは、音声入力端子（または入力音声信号） 100, 1 10、 · · ·、 190と、 パワー計算部 101, 1 1 1、 · · ·、 19 1と、話者選択部 200と、音声信号入力切替器 102， 1 12、 · · · 192と、 全信号加算器 300と、 加算器 103, 1 13、 · · ·、 193と、 音声符号化部 104, 1 14、 · · ·、 194と、 メモリ切替器 105， 1 15、 · · ·、 1 9 5と、 共通音声符号化部 400と、 音声データ切替器 106， 1 16、 · · ·、 1 96と、 話者宛音声出力端子 （または話者宛音声出力） 107, 1 17、 · · 197とを含んで構成される。
音声入力端子 1 00， 1 10、 · · ·、 190の各々は、話者 1、話者 2、 · · ·、 話者 Μに対応している。 パワー計算部 101, 1 1 1、 · · ·、 191と、 音声信 号入力切替器 102, 1 12、 · · · 1 92と、 加算器 103, 1 13、 · · ·、 193と、音声符号化部 104， 1 14、 · · ·、 194と、 メモリ切替器 105， 1 15、 · · ·、 195と、 音声データ切替器 106, 1 16、 · · '、 196と、 話者宛音声出力端子 107， 117、 · · ·、 197とについても同様である。 次に、 図 1および図 2を参照して第 1の実施例の動作について説明する。 図 2 は本発明の第 1の実施例による多地点会議サーバの動作手順を示すフローチヤ一 トである。 以降、 話者 1、 話者 2、 および話者 Μに対する処理ブロックのみが記 載されているが、 記載されていない話者に対しても処理は同じである。
パワー計算部 101、 パワー計算部 1 1 1、 およびパワー計算部 19 1は、 そ れぞれ話者 1、 話者 2、 および話者 Μの入力音声信号 100、 入力音声信号 1 1 0、 および入力音声信号 1 90に対するパワーを算出して出力する （図 2のステ ップ S 1)。 Γυι/υι υυί/ υο /丄 }j丄 話者選択部 200は、 計算されたそれぞれの話者のパワーを用いて音声を発声 している話者を選択し、 選択結果を出力する （図 2のステップ S 2)。
音声信号入力切替器 102、 音声信号入力切替器 1 12、 および音声信号入力 切替器 192は、 話者選択部 200の選択結果に基いて、 それぞれの話者の入力 音声信号を出力するか否かの切替えを行う （図 2のステップ S 3)。
全信号加算器 300は、 話者選択部 200で選択された話者に対する音声を全 て加算した音声信号を出力する （図 2のステップ S 4)。
加算器 103、 加算器 1 13、 および加算器 193は、 全信号加算器 300か ら出力された音声信号から選択された話者自身の音声信号を減算した音声信号を 出力する （図 2のステップ S 5)。
すなわち、 全信号加算器 300から出力された音声信号から、 選択された話者 のうち、 各音声符号化器 104、 1 14、 194にそれぞれ対応する話者の音声 情報を減算して音声情報を出力する。
共通音声符号化部 400は、 全信号加算器 300から出力された音声信号を符 号化する （図 2のステップ S 6)。
音声符号化部 104、 音声符号化部 1 14、 音声符号化部 194は、 加算器 1 03、 加算器 1 13、 および加算器 193から出力された音声信号を符号化する (図 2のステップ S 7)。
メモリ切替器 105、 メモリ切替器 1 1 5、 メモリ切替器 195は、 話者選択 部 200の選択結果に基いて、 共通音声符号化部 400の予測符号化におけるメ モリの内容をそれぞれ音声符号化部 104、 音声符号化部 1 14、 音声符号化部 194にコピーする （図 2のステップ S 8)。
すなわち、 共通音声符号化部 400のメモリに格納されている予測符号化の結 果である符号化情報を音声符号化部 104、 音声符号化部 1 14、 音声符号化部 194のメモリにそれぞれコピ一する。 これにより、 音声符号化部 104、 音声 符号化部 1 14、 音声符号化部 1 94のメモリ状態を、 共通音声符号化部 400 のメモリの状態と同じにする。
音声デ一夕切替器 106、 音声デ一夕切替器 1 1 6、 音声デ一夕切替器 1 96 は、 話者選択部 200の選択結果に基いて、 出力する音声データの切替えを行う (図 2のステップ S 9 )。
すなわち、 一例として、 話者 1が選択され、 話者 2と話者 Mとが選択されなか つたとすると、 話者 1の音声入力信号切替器 1 0 2はオン、 話者 2の音声入力信 号切替器 1 1 2および話者 Mの音声入力信号切替器 1 9 2はオフとなり、 話者 1 のメモリ切替器 1 0 5はオン、 話者 2および話者 Mのメモリ切替器 1 9 5はオフ となり、 話者 1の音声データ切替器 1 0 6は話者 1側、 話者 2の音声データ切替 器 1 1 6および話者: Mの音声データ切替器 1 9 6は共通音声符号化部 4 0 0側と なる。
そして、 話者 1の音声信号は音声信号入力切替器 1 0 2を介して全信号加算器 3 0 0にて加算され、 共通音声符号化部 4 0 0へ入力される。
また、 全信号加算器 3 0 0にて加算された話者 1の音声信号から話者 1の音声 信号が加算器 1 0 3にて減算され、 その結果信号が音声符号化部 1 0 4に入力さ れる。 そして、 音声符号化部 1 0 4の出力信号は音声データ切替器 1 0 6を介し て話者 1へ送信される。
一方、 選択されなかった話者 2および話者 Mに対しては、 共通音声符号化部 4 0 0に入力された音声信号が音声データ切替器 1 1 6および 1 9 6を介して送信 される。
本発明の第 1の実施例の特徴は、 一例として、 話者 1が選択されない場合から 選択された場合に移った瞬間に、 共通音声符号化部 4 0 0に保存された情報をメ モリ切替器 1 0 5を介して音声符号化部 1 0 4へコピーし、 あるいは話者 2が選 択されない場合から選択された場合に移った瞬間に、 共通音声符号化部 4 0 0に 保存された情報をメモリ切替器 1 1 5を介して音声符号化部 1 1 4へコピーする ことにある。
これにより、 話者の切替わり時に合わせて音声符号化部を切替える際、 音声符 号化部の状態を示すメモリに不整合が生じることに起因して復号音声に異音が発 生するのを防止することが可能となる。
なお、 第 1の実施例では、 加算器 1 0 3、 加算器 1 1 3、 および加算器 1 9 3 が、 全信号加算器 3 0 0から出力された音声信号から選択された話者自身の音声 信号を減算した音声信号を出力する構成としたが、 選択された音声信号のうち、 Pじ l/J ZUU' /Ut37JLUl 選択された一人の話者以外の音声信号を加算して出力する構成としても同じ結果 が得られる。
(具体例）
以下、 上述した実施例の具体的な例について、 図 1を参照しながら説明する。
まず、パワー計算部 10 1、パワー計算部 1 12、およびパワー計算部 192は、 入力された入力音声信号 100、 入力音声信号 1 10、 および入力音声信号 19 0それぞれの音声信号のパワーを計算し、 計算したパワーを話者選択部 200に 出力する。
例えば、 8 kHzサンプリングの入力音声信号 s (n) に対して、 20ミリ秒 (160サンプル） 毎に、 以下の式 （1) を用いてパワー P を計算する。
P = ^S2(n)/L 式 （1)
«=0 ここで、 一例として、 L= 160である。
話者選択部 200は、 入力されたそれぞれの話者のパワーを用いて、 発声して いる話者を選択し、 選択したか否かをそれぞれ音声信号入力切替器 102、 音声 信号入力切替器 1 12、 音声信号入力切替器 192、 メモリ切替器 105、 メモ リ切替器 1 15、 メモリ切替器 195、 音声データ切替器 106、 音声データ切 替器 116、 および音声データ切替器 196に出力する。
ここで、 発声している話者の選択方法として、 パワーが大きい順に予め定めた 上位 N人 （N<Mかつ N， Mは正の整数） の話者を選択する方法や、 予め定めた 閾値を超えるパワーの話者を選択する方法がある。 また、 入力されたパワーをそ のまま利用するのではなく、 リーク積分などにより平滑化した値を用いる方法も 考えられる。
リーク積分は、 入力を X (n)、 出力を y (n) とすると、
y (n) =k X y (n- 1) +x (n) で表される。 ここに、 0く k<lであ り、 kは定数である。 音声信号入力切替器 1 0 2、 音声信号入力切替器 1 1 2、 および音声信号入力 切替器 1 9 2は、 話者選択部 2 0 0で選択された話者に対する入力音声信号 1 0 0、 入力音声信号 1 1 0、 および入力音声信号 1 9 0をそれぞれ対応する加算器 1 0 3、 加算器 1 1 3、 および加算器 1 9 3に出力するとともに、 全信号加算器 3 0 0へ出力する。
全信号加算器 3 0 0は、 入力された音声信号を全て加算した音声信号を加算器 1 0 3、 加算器 1 1 3、 加算器 1 9 3、 および共通音声符号化部 40 0へ出力す る。
加算器 1 0 3、 加算器 1 1 3、 および加算器 1 9 3は、 話者選択部 2 0 0で選 択された話者に対して、 全信号加算器 3 0 0から入力された音声信号からそれぞ れ音声信号入力切替器 1 0 2、 音声信号入力切替器 1 1 2、 および音声信号入力 切替器 1 9 2から出力された音声信号を減算した音声信号をそれぞれ音声符号化 部 1 04、 音声符号化部 1 1 4、 音声符号化部 1 94に出力する。
ミキシング後の音声において、 各話者の音量差が小さくなるように以下の式
(2) で示す調整ゲイン G iを各話者 iの入力音声信号に乗算してもよい。
Gi = 式 （2)
ここで、 P iは式 （1 ) により計算した話者 iに対するパワー、 Nはミキシン グした信号数である。 この G iは各話者のパワーに反比例するように計算される が、 パワー P iの計算周期である、 一例として、 2 0ミリ秒毎に更新すると変化 が大きい過ぎるため、 更に以下の式 （3) で示す平滑化を行ってもよい。
G i = (l-a)xG i + χσ i 式 （3) ここで、 G' iは前に算出された調整ゲインを示す。 0；の値としては例えば 0. 9を用いる。 また、 極端に音量を調整することを避けるため、 例えば G iの取り 7 067101
「υ ΐ / υ ι u u / υ u ( 得る範囲を 0 . 5〜 2程度に制限してもよい。
更に、 ミキシング後の音声信号の音量を調整するために、 以下の式 （4 ) で示 す調整ゲイン G aをミキシング後の音声信号に乗算してもよい。
G— a = P—out / P—a 式 （4 ) ここで、 P aは式 （1 ) により計算したミキシング後の音声信号のパワーであ り、 P o u tは調整時の目標値とするパワーであり、 ミキシングした話者の音声 信号の中で最も大きい話者の値を用いたり、 予め定めた所定レベルの値を用いる こともできる。 また、 前述の G iと同様の平滑化及び取り得る値の制限を行って ちょい。
共通音声符号化部 4 0 0は、 全信号加算器 3 0 0から入力された音声信号を符 号化し、 符号化した音声データを音声デ一夕切替器 1 0 6、 音声デ一夕切替器 1 1 6、 音声データ切替器 1 9 6に出力する。
音声符号化部 1 0 4、 音声符号化部 1 1 4、 音声符号化部 1 9 4は、 加算器 1 0 3、 加算器 1 1 3、 および加算器 1 9 3から音声信号が入力された場合、 その 音声信号を符号化し、 符号化した音声データを音声デ一夕切替器 1 0 6、 音声デ 一夕切替器 1 1 6、 音声データ切替 1 9 6に出力する。
メモリ切替器 1 0 5、 メモリ切替器 1 1 5、 メモリ切替器 1 9 5は、 話者選択 部 2 0 0において発声した話者として選択されてない状態から選択された状態に 遷移した場合に、 共通音声符号化部 4 0 0の予測符号化におけるメモリをそれぞ れ音声符号化部 1 0 4、 音声符号化部 1 1 4、 音声符号化部 1 9 4に出力する。
このメモリ切替器の処理により、 例えば話者 1において、 出力音声データが共 通音声符号化部 4 0 0からの出力から音声符号化部 1 0 4からの出力に切替わる 際に予測符号化におけるメモリに不整合が生じることはない。
逆に、 出力音声データが音声符号化部 1 0 4からの出力から共通音声符号化部 4 0 0からの出力に切替わる際、 共通音声符号化部 4 0 0のメモリを書き換える ことはできないので、 メモリの不整合が生じる。
ただし、 この場合は、 話者 1の音量が小さくなる時であり、 音声符号化部 1 0 4の入力音声と共通音声符号化部 4 0 0への入力音声がほぼ同じとなるため、 両 者のメモリの不整合による音質劣化は少ない。 この場合に、 メモリの不整合をよ り小さくするには、 共通音声符号化部 4 0 0への入力音声信号と同じ音声信号を 音声符号化部 1 0 4に入力してしばらく動作させた後、 音声デ一夕切替器 1を共 通音声符号化部 4 0 0から出力される音声データに切替えればよい。 同じ入力音 声信号で動作させる時間が長い程、 メモリの不整合は小さくなるが、 切替えに要 する遅延が生じる。
音声データ切替器 1 0 6、 音声データ切替器 1 1 6、 音声デ一夕切替器 1 9 6 は、 話者選択部 2 0 0において発声した話者として選択された場合、 音声符号化 部 1 0 4、 音声符号化部 1 1 4、 音声符号化部 1 9 4から入力された音声データ を出力し、話者選択部 2 0 0において発声した話者として選択されなかった場合、 共通音声符号化部 4 0 0から入力された音声データを出力する。
本実施例では、 音声符号化器が全て同じ場合を想定しているが、 複数の種類の 音声符号化器、 又はビットレートを混在させることも可能である。 この場合、 共 通符号化部は、 符号化器の種類、 又はビットレートの種類の数だけ必要である。 また、 メモリの切り替えは同じ種類の符号化器、 又はビットレートに対して行う 必要がある。
以上説明したように、 本発明の具体例によれば、 例えば話者 1において、 出力 音声デ一夕が共通音声符号化部 4 0 0からの出力から音声符号化部 1 0 4からの 出力に切替わる際に予測符号化におけるメモリに不整合が生じないという効果を 奏する。
(第 2の実施例）
次に、 図 3を参照して本発明の第 2の実施例について説明する。 図 3は本発明 の第 2の実施例による多地点会議サーバの構成図である。 なお、 図 1と同様の構 成部分には同一番号を付し、 その説明を省略する。
音声復号部 5 0 1、 音声復号部 5 1 1、 音声復号部 5 9 1は、 それぞれ符号化 された入力音声デ一夕 5 0 0、 入力音声デ一夕 5 1 0、 および入力音声データ 5 9 0を復号し、 復号音声をそれぞれパワー計算部 1 0 1、 パワー計算部 1 0 2 パワー計算部 1 9 2、 および音声信号入力切替器 1 0 2、 音声信号入力切替器 1 1 2、 および音声信号入力切替器 1 9 2に出力する。
音声データ解析部 5 0 2、 音声データ解析部 5 1 2、 音声デ一夕解析部 5 9 2 は、 入力音声データ 5 0 0、 入力音声データ 5 1 0、 および入力音声データ 5 9 0が有音か無音であるかを解析した結果を出力する。
この解析方法として、 AM R音声符号化方式の例で説明する。 AM R音声符号 化方式では、 入力音声に対して V A D (Vo ice Act ivi ty Detect ion) を行って有 音か無音を判別し、 無音と判別した場合には、 フレームタイプが N O— D A T A である情報を伝送するか、 或いは S I D (Si lence Ind icat ion) として背景雑音 の情報を送信することが可能である。 '
そこで、 音声デ一夕の先頭にあるフレームタイプが N O— D A T Aまたは S I Dであれば、 無音であると判別できる。 また、 VA Dを行わず全て有音の音声デ —夕として符号化された場合は、 音声データに含まれるゲインパラメ一夕ゃスぺ クトルパラメータに基づいて推定した音量を話者選択部 2 0 1に出力する方法も 考えられる。
パワー計算部 1 0 1、 パワー計算部 1 1 1、 およびパワー計算部 1 9 1は、 そ れぞれ音声復号部 5 0 1、 音声復号部 5 1 1、 音声復号部 5 9 1から入力された 復号信号のパワーを計算し、 その値を話者選択部 2 0 1に入力する。
話者選択部 2 0 1は、 音声データ解析部 5 0 2、 音声データ解析部 5 1 2、 音 声データ解析部 5 9 2の解析結果、 およびパワー計算部 1 0 1、 パワー計算部 1 1 1、 およびパワー計算部 1 9 2から入力されたパワーに基いて、 音声を発声し ている話者を選択し、 選択結果を出力する。
具体的には、 音声データ解析部 5 0 2、 音声データ解析部 5 1 2、 音声デ一夕 解析部 5 9 2から入力された解析結果が、 有音又は推定された音量がある閾値以 上の値である場合に、 パワー計算部 1 0 1、 パワー計算部 1 1 1、 およびパワー 計算部 1 9 1から入力されたパワーが大きい順に予め定めた上位 N人 （N<M) の話者を選択する方法や、 予め定めた閾値を超えるパワーの話者を選択する方法 がある。
以上説明したように、 本発明の第 2実施例によれば、 話者選択の基準に有音お よび無音の判別を付加することにより、 第 1実施例の場合よりも良好な選択結果 を得ることが可能となる。
(第 3の実施例）
第 3実施例は音声ミキシング方法をコンピュータに実行させるためのプロダラ ムに関するものである。 図 1を参照すると、 多地点会議サーバに含まれるパワー 計算部 101， 1 1 1、 · · ·、 191と、 話者選択部 200と、 音声信号入力切 替器 102， 1 12、 · · · 192と、 全信号加算器 300と、 加算器 103， 1 13、 · · ·、 193と、 音声符号化部 104, 1 14、 · · ·、 194と、 メモ リ切替器 105， 1 15、 · · ·、 195と、 共通音声符号化部 400と、 音声デ —夕切替器 106, 1 16、 · · ·、 1 96は、 図示しない制御部により制御され る。
また、 多地点会議サーバは図示しない記憶部をさらに含んでおり、 その記憶部 には図 2にフローチャートで示す音声ミキシング方法の処理手順のプログラムが 格納されている。
制御部（あるいは、 コンピュータ）は、記億部から上記プログラムを読み出し、 そのプログラムにしたがって上記各構成部分を制御する。 その制御内容について は既に述べたのでここでの説明は省略する。
以上説明したように、 本発明の第 3実施例によれば、 例えば話者 1において、 出力音声データが共通音声符号化部 400からの出力から音声符号化部 104か らの出力に切替わる際に予測符号化におけるメモリに不整合を生じさせないため のプログラムが得られる。
また、 その他の実施例として以下に示すものがある。
携帯電話等では帯域が狭いため、 予測符号化技術を用いて高効率に音声を圧縮 する必要がある。 一方、 携帯電話を用いて多地点会議システムを構成する場合、 各携帯電話のプロセッサの能力は限られているため、 各携帯電話でミキシングを 行うことは現実的ではなく、各携帯電話とは別に多地点会議サーバが必要である。 本発明の実施例はこのような場合にも有用である。
また、多地点会議システムとして以下のようなパターンが考えられる。第 1に、 複数の会議室に一人ずつ存在するパターンである。 第 2に、 複数の会議室に複数 人ずつ （さらに、 各会議室にマイク、 スピーカのペアが複数ペアずつ存在するパ ターンと、 各会議室にマイク、 スピーカのペアが 1ペアずつ存在するパターンと の 2つがある） 存在するパターンである。 本発明の実施例はこのような場合にも 有用である。
本発明の実施例によれば、 符号化におけるメモリ内容に不整合が生じないこと から、 話者の切替わり時に合わせて符号化器を切替える際、 復号音声に異音が発 生するのを防止することが可能となる。
以上、 実施形態を参照して本発明を説明したが、 本発明は、 上記実施形態の構 成や動作に限定されるものではない。 本発明の構成や詳細には、 本発明のスコー プ内で問う業者が理解し得る様々な変更をすることができる。
この出願は、 2 0 0 6年 8月 3 0日に出願された日本出願特願 2 0 0 6 - 2 3 2 9 1 9号を基礎とする優先権を主張し、 その開示の全てをここに取り込む。

Claims

請求の範囲
1 . 複数の音声情報をミキシングする音声ミキシング方法であって、
複数の音声情報から音声情報を選択する第 1ステップ、
選択した音声情報を全て加算する第 2ステップ、
前記選択した音声情報のうち 1の音声情報以外の音声情報を加算した音声情報 を得る第 3ステップ、
第 2ステツプで得られた音声情報を符号化する第 4ステップ、
第 3ステツプで得られた音声情報を符号化する第 5ステップ、
前記第 4ステップによって得られた符号化情報を前記第 5ステップにおける符 号化情報にコピーする第 6ステップ
とを含むことを特徴とする音声ミキシング方法。
2 . 前記第 6ステップにおいて、 前記第 4ステップによる符号化を実行する符 号化部のメモリに格納された符号化情報を、 前記第 5ステップによる符号化を実 行する符号化部にコピ一することを特徴とする請求項 1に記載の音声ミキシング 方法。
3 . 前記第 1ステップにおける選択結果に基づいて、 前記第 4ステップによつ て得られた符号化情報又は前記第 5ステップによつて得られた符号化情報を切り 替えて出力する第 7ステップを含むことを特徴とする請求項 1又は請求項 2に記 載の音声ミキシング方法。
4 . 入力した符号化された音声情報を復号し、 当該復号した音声情報を前記第 1ステップにおける音声情報として用いることを特徴とする請求項 1から請求項 3の何れかに記載の音声ミキシング方法。
5 . 前記第 1ステップにおいて、 前記音声情報の音声信号のパワーに基づいて 音声情報を選択することを特徴とする請求項 1から請求項 4の何れかに記載の音 声ミキシング方法
6 . 前記第 1ステップにおいて、 前記音声情報の音声データが有音か無音かに 基づいて音声情報を選択することを特徴とする請求項 1から請求項 5の何れかに 記載の音声ミキシング方法。
7 . 前記第 3ステップにおいて、 前記選択した音声信号のうち 1の音声信号以 外の音声信号を加算した音声信号を、 前記加算した音声情報から選択した前記音 声情報を 1つずつ減算することにより得ることを特徴とする請求項 1から請求項 6の何れかに記載の音声ミキシング方法。
8 . 前記音声情報が、 音声を符号化した符号化データであり、
前記第 1のステップが、 入力した複数の符号化データを分析し、 ミキシング対 象とする符号化デー夕を選択し、 選択した符号化デー夕を復号して復号音声信号 を生成するステップを含むことを特徴とする請求項 1から請求項 7の何れかに記 載の音声ミキシング方法。
9 . 前記音声情報が、 音声を符号化した符号化データであり、
前記第 1ステップで、 前記符号化デ一夕と前記符号化データを復号して得た復 号音声信号とを分析して、 ミキシング対象とする復号音声信号を選択することを 特徴とする請求項 1から請求項 7の何れかに記載の音声ミキシング方法。
1 0 . 前記第 2ステップで、 前記復号音声信号を全て加算した音声信号を生成 し、
前記第 3ステツプで、 前記復号音声信号のうち 1の復号音声信号以外の音声信 号を加算した音声信号を生成し、
前記第 4ステップで、 第 2ステツプで得た音声信号を第 1の符号化部によって 予測符号化し、
前記第 5ステップで、 第 3ステツプで生成した音声信号を第 2の符号化部によ WO 2008/026754 17 r,r PCT/JP2007/067101 つて予測符号化し、
前記第 6ステツプで、 前記ミキシング対象とする復号音声信号の選択結果が変 更された場合、 前記第 5ステップの第 2の符号化部の状態を示すメモリ内容を、 前記第 4ステップの第 1の符号化部の状態を示すメモリ内容と同じにすることを 特徴とする請求項 8又は請求項 9に記載の音声ミキシング方法。
1 1 . 各ミキシング対象の音声信号の音量差が小さくなるように調整するステ ップを含むことを特徴とする請求項 1から請求項 1 0の何れかに記載の音声ミキ シング方法。
1 2 . ミキシングした後の音声の音量が、 各ミキシング対象の音声信号におけ る最大音量の音声と同等、 または予め定めたレベルになるように調整するステツ プを含むことを特徴とする請求項 1から請求項 1 0の何れかに記載の音声ミキシ ング方法。
1 3 . 複数の音声情報をミキシングする多地点会議サーバであって、
前記複数の音声情報から音声情報を選択する選択手段と、
前記選択手段にて選択した音声情報を全て加算する全信号加算芋段と、 前記選択した音声信号のうち 1の音声信号以外の音声信号を加算した音声信号 を得る加算手段と、
前記全信号加算手段にて加算した音声情報を符号化する第 1の符号化手段と、 前記加算手段にて加算した音声情報を符号化する第 2の符号化手段と、 前記第 1の符号化手段にて得られた符号化情報を前記第 2の符号化手段にコピ 一する切替手段
とを含むことを特徴とする多地点会議サーバ。
1 4 . 前記切替手段は、 前記選択手段の選択結果に基づいて、 前記第 1の符号 化手段のメモリに格納された符号化情報を、 前記第 2の符号化手段にコピーする ことを特徴とする請求項 1 3に記載の多地点会議サーバ。
1 5 . 前記選択手段における選択結果に基づいて、 前記第 1の符号化手段にて 得られた符号化情報又は前記第 2の符号化手段にて得られた符号化情報を切り替 えて出力する出力切替手段を含むことを特徴とする請求項 1 3又は請求項 1 4に 記載の多地点会議サーバ。
1 6 . 入力した複数の符号化された音声情報を復号する複合手段を含み、 前記選択手段は、 前記復号手段によって復号された複数の音声情報から音声情 報を選択することを特徴とする請求項 1 3から請求項 1 5の何れかに記載の多地 点会議サーバ。
1 7 . 前記選択手段は、 前記音声情報の音声信号のパワーに基づいて音声情報 を選択することを特徴とする請求項 1 3から請求項 1 6の何れかに記載の多地点 会議サーバ。
1 8 . 前記選択手段は、 前記音声情報の音声データが有音か無音かに基づいて 音声情報が選択されることを特徴とする請求項 1 3から請求項 1 7の何れかに記 載の多地点会議サーバ。
1 9 . 前記加算手段は、 前記全信号加算手段にて加算した音声情報から選択し た前記音声情報を 1つずつ減算することにより、 前記選択した音声信号のうち 1 の音声信号以外の音声信号を加算した音声信号を得ることを特徴とする請求項 1
3から請求項 1 8の何れかに記載の多地点会議サーバ。
2 0 . 複数の音声情報をミキシングする音声ミキシングを実行するプログラム であって、
コンピュータに、
複数の音声情報から音声情報を選択する第 1ステツプ、
選択した音声情報を全て加算する第 2ステップ、 前記加算した音声情報から選択した前記音声情報を 1つずつ減算する第 3ステ ップ、
第 2ステツプで得られた音声情報を符号化する第 4ステップ、
第 3ステツプで得られた音声情報を符号化する第 5ステップ、
前記第 4ステップによって得られた符号化情報を前記第 5ステップにおける符 号化情報にコピーする第 6ステップを実行させることを特徴とするプログラム。
PCT/JP2007/067101 2006-08-30 2007-08-28 Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme WO2008026754A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008532145A JP4582238B2 (ja) 2006-08-30 2007-08-28 音声ミキシング方法およびその方法を用いる多地点会議サーバならびにプログラム
CA002660007A CA2660007A1 (en) 2006-08-30 2007-08-28 Voice mixing method, multipoint conference server using the method, and program
BRPI0714736-8A BRPI0714736A2 (pt) 2006-08-30 2007-08-28 mÉtodo para misturar vozes para mixar uma pluralidade de informaÇÕes de voz, servidor de conferÊncia multiponto que mistura uma pluridade de informaÇÕpes de voz e programa para executar mistura de vozes
MX2009002093A MX2009002093A (es) 2006-08-30 2007-08-28 Metodo de mezclado de voz y servidor de conferencia multipunto y programa que utiliza el mismo metodo.
EP07806574A EP2068544A4 (en) 2006-08-30 2007-08-28 VOICE MIXING METHOD, MULTIPOINT CONFERENCE SERVER USING THE METHOD AND PROGRAM
US12/438,659 US8255206B2 (en) 2006-08-30 2007-08-28 Voice mixing method and multipoint conference server and program using the same method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-232919 2006-08-30
JP2006232919 2006-08-30

Publications (1)

Publication Number Publication Date
WO2008026754A1 true WO2008026754A1 (fr) 2008-03-06

Family

ID=39136033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/067101 WO2008026754A1 (fr) 2006-08-30 2007-08-28 Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme

Country Status (10)

Country Link
US (1) US8255206B2 (ja)
EP (1) EP2068544A4 (ja)
JP (1) JP4582238B2 (ja)
KR (1) KR101036965B1 (ja)
CN (1) CN101513030A (ja)
BR (1) BRPI0714736A2 (ja)
CA (1) CA2660007A1 (ja)
MX (1) MX2009002093A (ja)
RU (1) RU2009111270A (ja)
WO (1) WO2008026754A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166425A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2010166424A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2012533221A (ja) * 2009-07-10 2012-12-20 クアルコム，インコーポレイテッド 無線通信システムにおけるグループ通信セッションのためのメディア転送
US8504184B2 (en) 2009-02-04 2013-08-06 Panasonic Corporation Combination device, telecommunication system, and combining method
US9088630B2 (en) 2009-07-13 2015-07-21 Qualcomm Incorporated Selectively mixing media during a group communication session within a wireless communications system
JP5802956B1 (ja) * 2015-03-16 2015-11-04 株式会社アクセル 音声合成装置、音声合成方法

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8873774B2 (en) * 2010-07-30 2014-10-28 Hewlett-Packard Development Company, L.P. Audio mixer
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8924206B2 (en) * 2011-11-04 2014-12-30 Htc Corporation Electrical apparatus and voice signals receiving method thereof
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
CN103327014B (zh) * 2013-06-06 2015-08-19 腾讯科技（深圳）有限公司 一种语音处理方法、装置及系统
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150092615A1 (en) * 2013-10-02 2015-04-02 David Paul Frankel Teleconference system with overlay aufio method associate thereto
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
JP6224850B2 (ja) 2014-02-28 2017-11-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 会議における変化盲を使った知覚的連続性
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
BR112021019785A2 (pt) 2019-04-03 2021-12-07 Dolby Laboratories Licensing Corp Servidor de mídia para cenas de voz escalonáveis
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0685932A (ja) * 1992-09-07 1994-03-25 Tech Res & Dev Inst Of Japan Def Agency 音声ブリッジ装置
JPH06169349A (ja) * 1992-11-30 1994-06-14 Hitachi Ltd Ｎ−１加算方式
JPH06350724A (ja) 1993-06-08 1994-12-22 Mitsubishi Electric Corp 通信制御装置
JP2005151044A (ja) 2003-11-13 2005-06-09 Japan Science & Technology Agency 音声ミキシング方法、音声ミキシングシステム及び音声ミキシングのためのプログラム
JP2005229259A (ja) 2004-02-12 2005-08-25 Nippon Telegr & Teleph Corp <Ntt> 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体
JP2006232919A (ja) 2005-02-23 2006-09-07 Fuji Photo Film Co Ltd コアシェル粒子の製造方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4456789A (en) * 1978-03-07 1984-06-26 The Post Office Audio teleconferencing
US5150410A (en) * 1991-04-11 1992-09-22 Itt Corporation Secure digital conferencing system
JPH1075310A (ja) * 1996-08-29 1998-03-17 Nec Corp 多地点テレビ会議システム
US6125343A (en) * 1997-05-29 2000-09-26 3Com Corporation System and method for selecting a loudest speaker by comparing average frame gains
US6697476B1 (en) * 1999-03-22 2004-02-24 Octave Communications, Inc. Audio conference platform system and method for broadcasting a real-time audio conference over the internet
GB9915312D0 (en) * 1999-06-30 1999-09-01 Nortel Networks Corp Conference circuit for encoded digital audio
US6940826B1 (en) * 1999-12-30 2005-09-06 Nortel Networks Limited Apparatus and method for packet-based media communications
US6683858B1 (en) * 2000-06-28 2004-01-27 Paltalk Holdings, Inc. Hybrid server architecture for mixing and non-mixing client conferencing
US20030028386A1 (en) * 2001-04-02 2003-02-06 Zinser Richard L. Compressed domain universal transcoder
US6804340B2 (en) * 2001-05-03 2004-10-12 Raytheon Company Teleconferencing system
US20030223562A1 (en) * 2002-05-29 2003-12-04 Chenglin Cui Facilitating conference calls by dynamically determining information streams to be received by a mixing unit
US20040190701A1 (en) * 2003-03-28 2004-09-30 Versatel Networks Inc. Apparatus and method for a distributed conference bridge
US7599834B2 (en) * 2005-11-29 2009-10-06 Dilithium Netowkrs, Inc. Method and apparatus of voice mixing for conferencing amongst diverse networks
ES2380059T3 (es) * 2006-07-07 2012-05-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para combinar múltiples fuentes de audio codificadas paramétricamente
CN101502089B (zh) * 2006-07-28 2013-07-03 西门子企业通讯有限责任两合公司 进行音频会议的方法、音频会议装置和编码器之间的切换方法
WO2008011901A1 (de) * 2006-07-28 2008-01-31 Siemens Aktiengesellschaft Verfahren zum durchführen einer sprachkonferenz und sprachkonferenzsystem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0685932A (ja) * 1992-09-07 1994-03-25 Tech Res & Dev Inst Of Japan Def Agency 音声ブリッジ装置
JPH06169349A (ja) * 1992-11-30 1994-06-14 Hitachi Ltd Ｎ−１加算方式
JPH06350724A (ja) 1993-06-08 1994-12-22 Mitsubishi Electric Corp 通信制御装置
JP2005151044A (ja) 2003-11-13 2005-06-09 Japan Science & Technology Agency 音声ミキシング方法、音声ミキシングシステム及び音声ミキシングのためのプログラム
JP2005229259A (ja) 2004-02-12 2005-08-25 Nippon Telegr & Teleph Corp <Ntt> 音声ミキシング方法、音声ミキシング装置、音声ミキシングプログラム及びこれを記録した記録媒体
JP2006232919A (ja) 2005-02-23 2006-09-07 Fuji Photo Film Co Ltd コアシェル粒子の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2068544A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166425A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
JP2010166424A (ja) * 2009-01-16 2010-07-29 Nec Corp 多地点会議システム、サーバ装置、音声ミキシング装置、及び多地点会議サービス提供方法
US8504184B2 (en) 2009-02-04 2013-08-06 Panasonic Corporation Combination device, telecommunication system, and combining method
JP5377505B2 (ja) * 2009-02-04 2013-12-25 パナソニック株式会社 結合装置、遠隔通信システム及び結合方法
JP2012533221A (ja) * 2009-07-10 2012-12-20 クアルコム，インコーポレイテッド 無線通信システムにおけるグループ通信セッションのためのメディア転送
US9025497B2 (en) 2009-07-10 2015-05-05 Qualcomm Incorporated Media forwarding for a group communication session in a wireless communications system
US9088630B2 (en) 2009-07-13 2015-07-21 Qualcomm Incorporated Selectively mixing media during a group communication session within a wireless communications system
JP5802956B1 (ja) * 2015-03-16 2015-11-04 株式会社アクセル 音声合成装置、音声合成方法

Also Published As

Publication number Publication date
KR20090035728A (ko) 2009-04-10
US8255206B2 (en) 2012-08-28
MX2009002093A (es) 2009-03-10
JP4582238B2 (ja) 2010-11-17
US20090248402A1 (en) 2009-10-01
RU2009111270A (ru) 2010-10-10
JPWO2008026754A1 (ja) 2010-01-21
CN101513030A (zh) 2009-08-19
BRPI0714736A2 (pt) 2013-05-07
KR101036965B1 (ko) 2011-05-25
CA2660007A1 (en) 2008-03-06
EP2068544A4 (en) 2010-09-22
EP2068544A1 (en) 2009-06-10

Similar Documents

Publication Publication Date Title
WO2008026754A1 (fr) Procédé de mixage vocal, serveur de conférence multipoint utilisant le procédé et programme
JP7124170B2 (ja) セカンダリチャンネルを符号化するためにプライマリチャンネルのコーディングパラメータを使用するステレオ音声信号を符号化するための方法およびシステム
AU2008221657B2 (en) Method and arrangement for smoothing of stationary background noise
US8509460B2 (en) Sound mixing apparatus and method and multipoint conference server

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780032555.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07806574

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008532145

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2660007

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2007806574

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2009/002093

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 1020097004325

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12438659

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2009111270

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: PI0714736

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20090226