WO2020250471A1 - 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 - Google Patents
音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- WO2020250471A1 WO2020250471A1 PCT/JP2019/051596 JP2019051596W WO2020250471A1 WO 2020250471 A1 WO2020250471 A1 WO 2020250471A1 JP 2019051596 W JP2019051596 W JP 2019051596W WO 2020250471 A1 WO2020250471 A1 WO 2020250471A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- code
- communication line
- monaural
- code string
- sound signal
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 572
- 238000000034 method Methods 0.000 title claims description 84
- 238000004891 communication Methods 0.000 claims abstract description 577
- 238000005516 engineering process Methods 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 230000002123 temporal effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Definitions
- the decoded digital sound signals of C channels (C is an integer of 2 or more) are obtained and output based on the monaural code output in the reception step and the extension code output in the reception step.
- C is an integer of 2 or more
- One aspect of the present invention is a sound signal reception / decoding method performed by a terminal device connected to a first communication line and a second communication line having a lower priority than the first communication line, wherein the first communication is performed.
- the first communication network 400 and the second communication network 500 are communication networks having different priorities for information transmission.
- the first communication network 400 is a communication network having a higher priority for information transmission than the second communication network 500, so that a code string having a predetermined bit rate can be transmitted from one terminal device to another terminal device with a short delay time. It is a communication network that has been set up.
- the first communication network 400 is a communication network used for two-way communication between, for example, a terminal device which is a conventional mobile phone or a smartphone and another terminal device which is a conventional mobile phone or a smartphone. It is a communication network equipped with a communication line generally called a telephone line.
- the signal analysis unit 2121-m sets the corresponding sample of the sample sequence of the digital sound signal of the first channel and the sample sequence of the sample sequence of the digital sound signal of the second channel given the time difference represented by the characteristic parameter.
- the sample sequence in which the time difference represented by the feature parameter is given to the sample sequence of the digital sound signal of the second channel is, for example, a sample sequence in which the sample sequence of the digital sound signal of the second channel is advanced by the number of time difference samples represented by the feature parameter. is there.
- the radius of the first channel for each of the four bands where f is 1 to 32, 33 to 64, 65 to 96, 97 to 128.
- the mean value Mr (1), Mr (2), Mr (3), Mr (4) of 32 values obtained by dividing the value V1r (f) by the value V2r (f) of the radius of the second channel. Then, the sequence ⁇ Mr (1), Mr (2), Mr (3), Mr (4) ⁇ based on the mean value is obtained as a feature parameter.
- the signal analysis unit 2121-m also includes a sequence obtained by adding the corresponding samples of the sample sequence of the digital sound signal of the first channel and the sample sequence of the digital sound signal of the second channel, and averaging the corresponding samples. Either a sequence based on values or a sequence obtained by transforming a sequence based on these additions or average values is obtained as a monaural signal which is a mixed signal of digital sound signals of two channels (step S2121-24).
- the signal analysis unit 2121-m has a complex DFT coefficient V1 (f) of the complex DFT coefficient sequence of the first channel and a complex DFT coefficient V2 (f) of the complex DFT coefficient sequence of the second channel obtained in step S2121-21.
- the signal analysis unit 2121-m averages or weights the feature parameters obtained from the digital sound signals of the two input channels of each frame for a plurality of consecutive frames including the frame to be processed.
- the weighted average may be obtained as a feature parameter, and an extension code representing the obtained feature parameter may be output.
- the weight used for the weighted average may be the largest value for the frame to be processed, and the smaller value for the frame farther from the frame to be processed. If the feature parameters of the frame in the future are used from the frame to be processed, pre-reading is required and the delay increases. Therefore, the signal analysis unit 2121-m is continuous on the past side including the frame to be processed. It is preferable to use a plurality of frames.
- the feature parameter when the feature parameter includes a plurality of elements such as the information indicating the intensity difference for each of a plurality of frequency bands, the average of the feature parameters or the weighted average is for each element of the feature parameter.
- the monaural coding unit 2122-m encodes the input monaural signal for each frame by a predetermined coding method to obtain a monaural code and outputs it to the transmission unit 213-m.
- a coding method it is necessary to use a coding method in which the bit rate of the monaural code is equal to or less than the communication capacity of the first communication line 410-m, for example, the 13.2kbps mode of the 3GPP EVS standard (3GPP TS26.442).
- a telephone band voice coding method for mobile phones may be used.
- the coding device 212-m includes a feature parameter obtained from the digital sound signals of the two channels of the current frame, which is the frame to be processed, and two channels of the frame past the current frame to be processed.
- a code representing an average or a weighted average of the feature parameters obtained from the digital sound signal of the above may be used as an extended code.
- the transmission unit 213-m outputs the first code string, which is a code string including the monaural code input from the coding device 221-m, to the first communication line 410-m for each frame, and outputs the code string 221-m to the first communication line 410-m.
- the second code string which is a code string including the extension code input from m, is output to the second communication line 510-m (step S213).
- the transmission unit 213-m outputs so that it is possible to specify which frame the monaural code is included in the first code string.
- the transmission unit 213-m includes information that can identify a frame, such as a frame number and a time corresponding to the frame, as auxiliary information in the first code string and outputs the information.
- the transmission unit 213-m outputs the second code string so that it can be specified which frame's extension code is included.
- the transmission unit 213-m includes information that can identify a frame, such as a frame number and a time corresponding to the frame, as auxiliary information in the second code string and outputs the information.
- the frame number is included as auxiliary information in both the first code string and the second code string. It will be explained in.
- the sound signal receiving side device 220-m has a monaural code included in the first code string input from the first communication line 410-m and a second communication for each predetermined time interval of 20 ms, that is, for each frame. A sound based on the extended code included in the second code string input from the line 510-m is output.
- the receiving unit 221-m Since the first communication line 410-m is a high-priority communication network used for two-way communication, the receiving unit 221-m has a multi-line compatible terminal device 200-m'(m' is m) of the other party.
- a first code string including a monaural code is input from the first communication line 410-m so that it can be output (for example, at a predetermined time interval of 20 ms).
- the receiving unit 221-m Since the second communication line 510-m is a communication network having a low priority, the receiving unit 221-m usually has a second code of a certain frame output by the sound signal transmitting side device 210-m'of the other party.
- the column is input from the second communication line 510-m after the first code string of the frame is input from the first communication line 410-m. That is, at the time when the receiving unit 221-m outputs the monaural code to the decoding device 222-m, the second code string including the extension code having the same frame number as the monaural code is usually input to the receiving unit 221-m. Therefore, the extension code having the same frame number as the monaural code cannot be output to the decoding device 222-m.
- the receiving unit 221-m has a monaural code included in the first code string input from the first communication line 410-m and a second code string input from the second communication line 510-m for each frame.
- the extension code having the closest frame number to the monaural code is output.
- the receiving unit 221-m outputs the monaural code in the order of the frame numbers. More specifically, the receiving unit 221-m receives the input of the first code string from the first communication line 410-m and the input of the second code string from the second communication line 510-m, and receives each frame.
- the extension code included in the column includes an extension code having the same frame number as the monaural code
- the extension code having the same frame number as the monaural code is output, and the extension code already input from the second communication line 510-m is output.
- extension code included in the two code strings does not include the extension code having the same frame number as the monaural code
- the monaural code among the extension codes included in the second code string input from the second communication line The extension code with the closest frame number (that is, among the extension codes included in the second code string input from the second communication line, the frame number is different from the monaural code, but the monaural code and the frame number are the closest. , Extension code) is output.
- the extension code included in the second code string includes the extension code having the same frame number as the monaural code (that is, the monaural code in the order of frame numbers) input from the first communication line 410-m. If not, the monaural code included in the first code string input from the first communication line 410-m (that is, the monaural code in the frame number order) and the second communication line 510-m input from the second communication line 510-m. (Ii) An extension code included in the code string that has the closest frame number to the monaural code (that is, an extension code that does not have the same frame number as the monaural code but has the closest frame number to the monaural code). , The decoded digital sound signals of two channels are obtained and output.
- the extended decoding unit 2222-m vector-decodes the input extended code, and obtains each element value of the vector corresponding to the input extended code as information representing the intensity difference for each of a plurality of frequency bands.
- the extended decoding unit 2222-m scalar-decodes each of the codes included in the input extended code to obtain information representing the intensity difference for each frequency band.
- the extended decoding unit 2222-m scalar-decodes the input extended code to obtain information representing the intensity difference of one frequency band, that is, the entire band.
- the value obtained by subtracting the value obtained by dividing the value by 2 may be obtained as the value VRQr (f) of each radius of the second channel.
- the extended decoding unit 2222-m performs an inverse complex DFT on a series of complex numbers having a radius of VLQr (f) and an angle of MQ ⁇ (f) on the complex surface to obtain the decoded digital sound signal of the first channel.
- the reproduction unit 223-m may be connected to the sound signal receiving side device 220-m without being provided inside the sound signal receiving side device 220-m.
- the reproduction unit 223-m of the sound signal receiving side device 220-m does not have a speaker, and the reproduction unit of the sound signal receiving side device 220-m with respect to the speaker connected to the sound signal receiving side device 220-m.
- the two analog electric signals obtained by the 223-m DA converter may be output.
- the sound signal receiving side device 220-m does not include the reproducing unit 223-m, and the sound signal receiving side device 220- is attached to a reproducing device such as a DA converter connected to the sound signal receiving side device 220-m.
- the decoding device 222-m of m may output the decoded digital sound signal of two channels.
- the signal analysis unit 2121-m uses the digital sound signals of the two input channels as the digital sound of the two input channels for each frame.
- a monaural signal which is a mixed signal, is obtained and output.
- only two predetermined frames out of a plurality of frames are input.
- An extended code representing a characteristic parameter representing a characteristic of the difference of the digital sound signal of the above and a parameter having a small temporal fluctuation is obtained and output.
- the extension code is obtained once every two frames and output, but the extension code may be obtained once every three frames or more and output, and the extension code is extended for a predetermined frame among a plurality of frames. It may be configured to obtain a code and output it.
- the extended decoding unit 2222-m is input with the monaural decoded digital sound signal output by the monaural decoding unit 2221-m for each frame.
- the extended code is input only for a predetermined frame among the plurality of frames.
- the extended decoding unit 2222-m is the same as the extended decoding unit 2222-m of the first embodiment for the predetermined frame among the plurality of frames, that is, the frame in which the extended code is also input.
- the decoding device 222-m has a monaural code included in the first code string input from the first communication line 410-m and a second communication line 510-m for a predetermined frame among the plurality of frames.
- a decoded digital sound signal of two channels is obtained and output based on the extension code included in the second code string input from the above and the extension code having the closest frame number to the monaural code, and is predetermined.
- the two channels are based on the monaural code included in the first code string input from the first communication line 410-m and the latest extension code used in the predetermined frame. Obtains and outputs a decoded digital sound signal.
- the monaural code included in the first code string input from the first communication line 410-m to the extension code included in the second code string input from the second communication line 510-m (that is, monaural in the order of frame numbers).
- the monaural code that is, the monaural code in the order of the frame number
- An extension code included in the second code string input from the communication line 510-m and having the closest frame number to the monaural code that is, the monaural code and the frame number are not the same, but the monaural code is not the same.
- the decoded digital sound signal of two channels is obtained and output based on the extended code having the closest code and frame number), and the frames other than the predetermined frame are input from the first communication line 410-m.
- the weight used for the weighted average may be the largest value for the feature parameter of the current frame, and the smaller value may be set for the frame farther from the current frame.
- the extended decoding unit 2222-m determines that the input monaural decoded digital sound signal is 2 from the input monaural decoded digital sound signal and the average or weighted average of the feature parameters obtained in step S2222-34.
- the average or weighted average of the feature parameters obtained in steps S2222-34 is information representing the characteristics of the difference between the two decoded digital sound signals, which are regarded as a mixed signal of the two decoded digital sound signals. (Step S2222-35), two decoded digital sound signals are obtained and output to the reproduction unit 223-m.
- the sound signal receiving side device 220-m of the third embodiment also has a processing target as a feature parameter used when obtaining two decoded digital sound signals.
- the average or weighted average of the feature parameter represented by the extension code input in the frame of and the feature parameter of the past frame may be used. That is, in the extended decoding unit 2222-m of the decoding device 222-m of the sound signal receiving side device 220-m of the third embodiment, two decoded digital sound signals are obtained for a predetermined frame among the plurality of frames.
- the feature parameter used in this case an average or a weighted average of the feature parameter represented by the extension code input in the frame to be processed and the feature parameter of the past frame may be used. This embodiment will be described as a modification of the fourth embodiment.
- the extended decoding unit 2222-m is input with the monaural decoded digital sound signal output by the monaural decoding unit 2221-m for each frame, and a plurality of frames are input.
- the extension code is input only for the predetermined frame.
- the extended decoding unit 2222-m includes a storage unit (not shown). In the storage unit, at least the average or weighted average of the feature parameters obtained by the extended decoding unit 2222-m in the past frame is stored, and the feature parameter represented by the extended code of the past frame may also be stored.
- the extended decoding unit 2222-m obtains the feature parameter represented by the extended code from the input extended code (step S2222-41), and stores the obtained feature parameter in the storage unit (step S2222-42).
- the extended decoding unit 2222-m reads out K pieces (K is an integer of 1 or more) among the feature parameters of the past frames stored in the storage unit (step S2222-43). For example, the feature parameters of the past K past frames closest to the current frame are read out. Since the feature parameter is stored in the storage unit only in the frame in which the extension code is also input, the feature parameter to be read is the feature parameter of K frames continuous with the current frame in the frame in which the extension code is also input. Is.
- the extended decoding unit 2222-m of the modified example of the fourth embodiment has the following steps S2222-47 to S2222 for frames other than the predetermined frames among the plurality of frames, that is, frames for which the extended code has not been input. Do -48.
- the extended decoding unit 2222-m first reads the average or weighted average of the latest feature parameters stored in the storage unit from the storage unit (step S2222-47). Next, the extended decoding unit 2222-m determines that the input monaural decoded digital sound signal is 2 from the input monaural decoded digital sound signal and the average or weighted average of the feature parameters obtained in step S2222-47. It is regarded as a mixed signal of the two decoded digital sound signals, and the average or the weighted average of the feature parameters obtained in steps S2222-47 is regarded as the information representing the difference between the two decoded digital sound signals. In the meantime, two decoded digital sound signals are obtained and output to the reproduction unit 223-m (step S2222-48).
- the sound signal receiving side device 220-m is designed to obtain a decoded digital sound signal of two channels by using an extended code having the closest monaural code and a frame number for each frame. For frames that do not have an extension code within the time limit of, the decoded digital sound signal obtained by decoding the monaural code may be used as the decoded digital sound signal of two channels.
- This embodiment will be described as the fifth embodiment.
- the receiving unit 221-m has a monaural code included in the first code string input from the first communication line 410-m and an extension code included in the second code string input from the second communication line 510-m.
- the frame whose frame number difference between the monaural code and the extension code closest to the frame number is less than a predetermined value is included in the monaural code string input from the first communication line 410-m.
- the code and the extension code having the closest frame number to the monaural code among the extension codes included in the second code string input from the second communication line 510-m are output, and the difference in the frame numbers described above is previously obtained.
- the monaural code included in the first code string input from the first communication line 410-m is output.
- the receiving unit 221-m performs the following steps S221-11 to S221-15 for each frame.
- the monaural code included in the first code string that is, the monaural code in the order of frame numbers
- the extension code included in the second code string input from the second communication line 510-m the monaural code and the frame.
- the extension code having the same number and the extension code are output, and the frame in which the difference between the frame numbers described above is larger than 0 and less than a predetermined value is included in the first code string input from the first communication line 410-m.
- the monaural code output by the receiving unit 221-m is always input to the decoding device 222-m for each frame, and the extension code output by the receiving unit 221-m may be input to the decoding device 222-m.
- the decoding device 222-m obtains the decoded digital sound signals of two channels corresponding to the input monaural code and the extended code or the input monaural code for each frame and outputs them to the reproduction unit 223-m. To do. Specifically, the decoding device 222-m outputs the monaural code output by the receiving unit 221-m and the receiving unit 221-m for the frame in which the difference in the frame numbers described above is less than a predetermined value.
- a decoded digital sound signal of two channels is obtained and output based on the extended code, and for a frame in which the difference between the frame numbers described above is not less than a predetermined value, the monaural code output by the receiving unit 221-m is used.
- the based monaural digital signal is output as it is as a decoded digital sound signal of two channels.
- the decoding device 222-m includes a monaural code included in the first code string input from the first communication line 410-m and an extension included in the second code string input from the second communication line 510-m. For a frame whose frame number difference between the monaural code and the extension code having the closest frame number is less than a predetermined value, the monaural code and the extension code having the monaural code and the frame number closest to each other Based on the above, the decoded digital sound signals of the two channels are obtained and output, and for the frames whose frame number difference is not less than the predetermined value, the first communication line 410-m is input. The decoded digital sound signal based on the monaural code included in the code string is output as it is as the decoded digital sound signal of two channels.
- Frames in which the decoded digital sound signals of the two channels are obtained and output and the difference between the frame numbers described above is not less than a predetermined value are included in the first code string input from the first communication line 410-m.
- a decoded digital sound signal based on a monaural code (that is, a monaural code in the order of frame numbers) is output as a decoded digital sound signal of two channels.
- the first code string output by the sound signal transmitting side device 210-m'of the other party is input to the receiving unit 221-m from the first communication line 410-m, and the sound signal transmitting device 210 of the other party is input.
- the second code string output by -m' is input from the second communication line 510-m. Since the second communication line is a low-priority communication network, the receiving unit 221-m is usually provided with a second code string of a frame output by the sound signal transmitting side device 210-m'of the other party.
- the first code string of the frame is input from the second communication line 510-m after being input from the first communication line 410-m.
- the decoding device 222-m includes a first code string received from the first communication line 410-m and a second code string received from the second communication line 510-m corresponding to the first code string. If the average value of the difference between the received times of the first code string and the second code string for the set of, is less than the predetermined time limit Tmax for the plurality of sets, the first communication line The monaural code included in the first code string input from 410-m and the extended code included in the second code string input from the second communication line 510-m, and the monaural code and the frame number are closest to each other.
- the decoding device 222-m has a first code string received from the first communication line 410-m and a second communication line 510-m received from the second communication line 510-m corresponding to the first code string.
- the extension code included in the second code string input from the second communication line 510-m is the monaural code included in the first code string input from the first communication line 410-m (that is, the monaural code in the order of frame numbers).
- the extension code having the closest frame number to the monaural code (that is, among the extension codes included in the second code string input from the second communication line 510-m, the monaural code and the frame number are not the same. However, the monaural code and the extended code having the closest frame number) are output to the decoding device 222-m.
- the operation of the decoding device 222-m of the sound signal receiving side device 220-m of the seventh embodiment is the same as the operation of the decoding device 222-m of the sound signal receiving side device 220-m of the first embodiment, and the decoding device.
- the 222-m obtains and outputs a decoded digital sound signal of two channels based on the monaural code output by the receiving unit 221-m and the extended code output by the receiving unit 221-m.
- the decoding device 222-m is specifically described. It operates as follows.
- the decoding device 222-m has a first code string received from the first communication line 410-m and a second communication line 510-m received from the second communication line 510-m corresponding to the first code string.
- the average value of the difference between the received times of the first code string and the second code string for the two code strings and the pair is less than the predetermined time limit Tmin.
- the monaural code included in the first code string input from the first communication line 410-m that is, the monaural code in the order of frame numbers
- the second code string input from the second communication line 510-m are examples of the first code string received from the first communication line 410-m.
- the receiving unit 221-m performs steps S221-44 from the following steps S221-41.
- the receiving unit 221-m reads out the frame numbers of a predetermined number of first code strings after starting the reception of the first code string, measures the received time, and measures the frame number and the first code.
- the column is stored in a storage unit (not shown) in the reception unit 221-m in association with the time when the column is received (step S221-41).
- the receiving unit 221-m also reads the frame number of the received second code string, and if the read frame number matches any of the frame numbers stored in the storage unit, the received time.
- the receiving unit 221-m is input from the first communication line 410-m for the subsequent frames.
- the decoding device 222-m is a monaural code included in one code string and an extension code having the same frame number as the monaural code among the extension codes included in the second code string input from the second communication line 510-m. If the average value is greater than or equal to the first time limit Tmin and less than the second time limit Tmax in the above judgment, the subsequent frames are input from the first communication line 410-m.
- the receiving unit 221-m may not output anything until the above determination is completed, or may output the monaural code and the extended code to the decoding device 222-m as in the first embodiment.
- the monaural code may be output to the decoding device 222-m without outputting the extended code, or the monaural code is always output to the decoding device 222-m as in the fifth embodiment, and the monaural code and the extension code are extended.
- the extension code may also be output to the decoding device 222-m only when the difference in the frame numbers of the codes is small.
- the average value is less than the first time limit Tmin in the above-mentioned judgment, and the average value is equal to or more than the first time-time Tmin in the above-mentioned judgment and the second time limit time. If it is less than Tmax, the decoded digital sound signals of two channels are output for the subsequent frames based on the monaural code output by the receiving unit 221-m and the extended code output by the receiving unit 221-m. If the average value is equal to or greater than the second time limit Tmax in the above-mentioned judgment, a monaural decoded digital sound signal based on the monaural code output by the receiver 221-m is output for the subsequent frames. Is output as it is as a decoded digital sound signal of two channels.
- a decoded digital sound signal of two channels is obtained and output based on the extended code included in the above and the same frame number as the monaural code, and the above-mentioned average value is from the first time limit Tmin. If it is greater than or equal to the large predetermined second time limit Tmax, it is based on the monaural code (that is, the monaural code in frame number order) included in the first code string input from the first communication line 410-m.
- the monaural decoded digital sound signal is output as it is as a decoded digital sound signal of two channels and the above-mentioned average value is equal to or more than the first time limit Tmin and less than the second time limit Tmax, the second time limit is obtained.
- the monaural code included in the first code string input from the first communication line 410-m that is, the monaural code in the frame number order
- An extension code included in the second code string input from the line 510-m and having the closest frame number to the monaural code that is, to the second code string input from the second communication line 510-m.
- the monaural code and the frame number are not the same, but the monaural code and Based on the extension code with the closest frame number), the decoded digital sound signals of the two channels are obtained and output.
- the multipoint control device 600 includes a receiving unit 610, a monaural decoding unit 620, a point selection unit 630, a signal analysis unit 640, a monaural coding unit 650, and a transmitting unit 660.
- the multi-point control unit 600 have terminal device P point (P is an integer of 3 or more) are connected, P-1 of the multi-line terminal devices 200-m 1 from the point m 2 to point m P An example of transmitting a sound signal at a maximum of two points will be described.
- the multipoint control device 600 performs the processes of steps S610 to S660 illustrated in FIG. 8 and the following for each frame, for example, in a predetermined time interval of 20 ms.
- the point selection unit 630 selects two decoded monaural signals out of the P-1 decoded monaural signals input from the monaural decoding unit 620 and outputs them to the signal analysis unit 640 based on a predetermined selection criterion.
- a predetermined selection criterion a criterion for selecting a decoded monaural signal at a point having a high degree of importance may be predetermined so that the point selection unit 630 can execute the selection. For example, if the power of the sound signal is used as the selection criterion, the point selection unit 630 has the decoding monaural signal and the power having the maximum power among the P-1 decoded monaural signals input for each frame. The second largest decoded monaural signal is output to the signal analysis unit 640.
- Point selection unit 630 selects the decoded monaural signal having the maximum power and the decoded monaural signal having the second largest power among the P-1 decoded monaural signals input from the monaural decoding unit 620, and the signal analysis unit. Output to 640, further, the ratio or difference of the powers of the two selected monaural signals is obtained as a feature parameter, and an extended code, which is a code representing the obtained feature parameter, is obtained and output to the transmission unit 660 (step). S630).
- the signal mixing unit 670 obtains a monaural signal, which is a signal obtained by mixing the two input decoded monaural signals, from the two input decoded monaural signals, and outputs the monaural signal to the monaural coding unit 650 (step S670).
- the signal mixing unit 670 may select the one having the larger power among the two input decoded monaural signals and output it to the monaural coding unit 650, and the signal mixing unit 670 may be used in the first place.
- the point selection unit 630 may select and output only one decoded monaural signal having the maximum power.
- the sound collecting unit 311-n includes one microphone and one AD conversion unit.
- the microphone collects the sound generated in the spatial area around the microphone, converts it into an analog electric signal, and outputs it to the AD conversion unit.
- the AD conversion unit converts the input analog electric signal into a digital sound signal, which is a PCM signal having a sampling frequency of, for example, 8 kHz, and outputs the signal. That is, the sound collecting unit 311-n outputs the digital sound signal of one channel corresponding to the sound picked up by one microphone to the coding device 312-n (step S311).
- the coding device 312-n encodes the digital sound signal of one channel input from the sound collecting unit 311-n for each frame by the predetermined coding method described above to obtain a monaural code, and the transmitting unit 313. Output to ⁇ n (step S312).
- the transmission unit 313-n outputs the first code string, which is a code string including the monaural code input from the coding device 312-n, to the first communication line 420-n for each frame (step S313).
- a code that is neither the above-mentioned monaural code nor the above-mentioned extended code is input to the sound signal receiving side device 220-m of the multi-line compatible terminal device 200-m, and the multi-line compatible terminal device 200
- the sound signal receiving side device 220-m of ⁇ m may obtain and output the decoded sound signal by using an additional code.
- the receiving unit 221-m outputs an additional code input from either the first communication line 410-m or the second communication line 510-m to the decoding device 222-m, and outputs the decoding device 222-m.
- the decoded sound signal may be obtained by using the additional code input from the receiving unit 221-m.
- the processing of each part of the multi-line compatible terminal device 200-m may be realized by a computer.
- the processing of each step of the coding method in the multi-line compatible terminal device 200-m and the decoding method in the multi-line compatible terminal device 200-m may be executed by the computer.
- the processing of each step is described by the program.
- the processing of each step is realized on the computer.
- FIG. 14 is a diagram showing an example of a functional configuration of a computer that realizes the above processing.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、前記差が前記予め定めた値未満であるフレームについては、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記差が前記予め定めた値未満でないフレームについては、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、を含む。
本発明の一態様は、第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、を含む。
電話システム100は、図1に示す通り、複数回線対応端末装置200-m(mは1以上M以下の各整数、Mは2以上の整数)と、第一通信網400と、第二通信網500と、を含む。電話システム100は、図1に破線で示す通り、電話回線専用端末装置300-n(nは1以上N以下の各整数、Nは1以上の整数)を含んでもよい。各複数回線対応端末装置200-mは、第一通信網400の各通信回線である第一通信回線410-mを介して別の端末装置と接続可能とされている。さらに、各複数回線対応端末装置200-mは、第二通信網500の各通信回線である第二通信回線510-mを介して別の複数回線対応端末装置と接続可能とされている。各電話回線専用端末装置300-nは、第一通信網400の各通信回線である第一通信回線420-nを介して別の端末装置と接続可能とされている。
第一通信網400と第二通信網500とは、情報伝送の優先度が異なる通信網である。第一通信網400は、第二通信網500よりも情報伝送の優先度が高い通信網であり、ある端末装置から別の端末装置に所定のビットレートの符号列を短い遅延時間で伝送できるようにした通信網である。第一通信網400は、例えば、従来型携帯電話機やスマートフォンである端末装置と、従来型携帯電話機やスマートフォンである別の端末装置と、の間での双方向通話に用いられる通信網であり、一般には電話回線と呼ばれる通信回線を備えた通信網である。第二通信網500は、第一通信網400よりも情報伝送の優先度が低い通信網であり、ある端末装置から別の端末装置に遅延時間の制約を設けずに符号列を伝送できるようにした通信網である。第二通信網500は、例えば、スマートフォンである端末装置からスマートフォンである別の端末装置に映像や文字列などのデータを伝送する場合に用いられる通信網であり、一般にはインターネット回線と呼ばれる通信回線を備えた通信網である。
第一実施形態の複数回線対応端末装置について説明する。
複数回線対応端末装置200-mは、例えばVoLTE対応のスマートフォンであり、図2に示す通り、音信号送信側装置210-mと音信号受信側装置220-mを含む。音信号送信側装置210-mは収音部211-mと符号化装置212-mと送信部213-mを含む。音信号受信側装置220-mは受信部221-mと復号装置222-mと再生部223-mを含む。符号化装置212-mは、信号分析部2121-mとモノラル符号化部2122-mを含む。復号装置222-mは、モノラル復号部2221-mと拡張復号部2222-mを含む。なお、点線で図示する通り、信号分析部2121-mとモノラル符号化部2122-mをまとめて符号化部2129-mといい、モノラル復号部2221-mと拡張復号部2222-mをまとめて復号部2229-mという。また、符号化装置212-m、復号装置222-mをそれぞれ音信号符号化装置212-m、音信号復号装置222-mということもある。複数回線対応端末装置200-mの音信号送信側装置210-mは、図3及び以下に例示するステップS211からステップS213の処理を行い、複数回線対応端末装置200-mの音信号受信側装置220-mは、図4及び以下に例示するステップS221からステップS223の処理を行う。
音信号送信側装置210-mは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、2個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線410-mに出力し、当該2個のチャンネルのディジタル音信号に対応する拡張符号を含む符号列である第二符号列を得て第二通信回線510-mに出力する。
収音部211-mは、2個のマイクロホンと2個のAD変換部を含む。各マイクロホンと各AD変換部は一対一に対応付けられている。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部211-mは、2個のマイクロホンのそれぞれで収音した音に対応する2個のチャンネルのディジタル音信号、例えば左チャンネルと右チャンネルの2チャンネルステレオのディジタル音信号、を符号化装置212-mに出力する(ステップS211)。
符号化装置212-mには、収音部211-m、または、音信号送信側装置210-mに接続された収音機器、から2個のチャンネルのディジタル音信号が入力される。符号化装置212-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号に対応するモノラル符号と拡張符号を得て送信部213-mに出力する(ステップS212)。
信号分析部2121-mは、フレームごとに、入力された2個のチャンネルのディジタル音信号から、入力された2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号と、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号と、を得る。信号分析部2121-mは、得たモノラル信号をモノラル符号化部2122-mに出力し、得た拡張符号を送信部213-mに出力する。時間的変動が小さいパラメータとは、時刻への依存性の低いパラメータであり、時間分解能が低いパラメータである。
第1例として、入力された2個のチャンネルのディジタル音信号の時間差を表す情報を特徴パラメータとする場合の信号分析部2121-mのフレームごとの動作を説明する。信号分析部2121-mは、まず、入力された2個のチャンネルのディジタル音信号の時間差を表す情報である特徴パラメータを得る(ステップS2121-11)。入力された2個のチャンネルのディジタル音信号の時間差は周知の何れの方法で求めてもよい。例えば、信号分析部2121-mは、予め定めた範囲内の各時間差の候補サンプル数について、一方のチャンネル(第一チャンネル)のディジタル音信号のサンプル列と、他方のチャンネル(第二チャンネル)のディジタル音信号のサンプル列を当該候補サンプル数だけ進めたサンプル列と、の相関値を計算して、相関値が最大となる候補サンプル数である時間差サンプル数を特徴パラメータとして得る。
第2例として、入力された2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報を特徴パラメータとする場合の信号分析部2121-mのフレームごとの動作を説明する。なお、以下では複素DFT(Discrete Fourier Transformation)を用いる具体例を説明しているが、複素DFT以外の周知の周波数領域への変換手法を用いてもよい。
モノラル符号化部2122-mは、フレームごとに、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部213-mに出力する。符号化方式としては、モノラル符号のビットレートが第一通信回線410-mの通信容量以下である符号化方式を用いる必要があり、例えば3GPP EVS規格(3GPP TS26.442)の13.2kbpsモードのような携帯電話用の電話帯域音声の符号化方式を用いればよい。
送信部213-mは、フレームごとに、符号化装置221-mから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線410-mに出力し、符号化装置221-mから入力された拡張符号を含む符号列である第二符号列を第二通信回線510-mに出力する(ステップS213)。
音信号受信側装置220-mは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号と、に基づく音を出力する。
受信部221-mは、フレームごとに、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を復号装置222-mに出力する(ステップS221)。
復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号と拡張符号が入力される。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する(ステップS222)。
モノラル復号部2221-mには、フレームごとに、復号装置222-mに入力されたモノラル符号が入力される。モノラル復号部2221-mは、フレームごとに、入力されたモノラル符号を所定の復号方式で復号してモノラルの復号ディジタル音信号を得て拡張復号部2222-mに出力する。所定の復号方式としては、通話相手先の音信号送信側装置210-m’の符号化装置212-m’のモノラル符号化部2122-m’で用いた符号化方式に対応する復号方式を用いる。
拡張復号部2222-mには、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号と、復号装置222-mに入力された拡張符号と、が入力される。拡張復号部2222-mは、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。
第1例として、特徴パラメータが2個のチャンネルのディジタル音信号の時間差を表す情報である場合の拡張復号部2222-mのフレームごとの動作を説明する。拡張復号部2222-mは、まず、入力された拡張符号から、当該拡張符号が表す特徴パラメータである時間差を表す情報を得る(ステップS2222-11)。拡張復号部2222-mは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が特徴パラメータから拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。特徴パラメータである時間差を表す情報とは、例えば、時間差サンプル数である。例えば、拡張復号部2222-mは、入力された拡張符号をスカラ復号して、入力された拡張符号に対応するスカラ値を時間差サンプル数として得る。または、例えば、拡張復号部2222-mは、入力された拡張符号が2進数の値であるとして当該2進数に対応する10進数を時間差サンプル数として得る。
第2例として、特徴パラメータが2個のチャンネルのディジタル音信号の周波数帯域ごとの強度差を表す情報である場合の拡張復号部2222-mのフレームごとの動作を説明する。拡張復号部2222-mは、まず、入力された拡張符号を復号して周波数帯域ごとの強度差を表す情報を得る(ステップS2222-21)。拡張復号部2222-mは、通話相手先の音信号送信側装置210-m’の符号化装置212-m’の信号分析部2121-m’が周波数帯域ごとの強度差を表す情報から拡張符号を得た方式に対応する方式で、拡張符号から特徴パラメータを得る。例えば、拡張復号部2222-mは、入力された拡張符号をベクトル復号して、入力された拡張符号に対応するベクトルの各要素値を複数個の周波数帯域ごとの強度差を表す情報として得る。または、例えば、拡張復号部2222-mは、入力された拡張符号に含まれる符号それぞれをスカラ復号して周波数帯域ごとの強度差を表す情報を得る。なお、帯域数が1の場合には、拡張復号部2222-mは、入力された拡張符号をスカラ復号して1つの周波数帯域すなわち全帯域の強度差を表す情報を得る。
再生部223-mは、入力された2個のチャンネルの復号ディジタル音信号に対応する音を出力する(ステップS223)。
なお、再生部223-mの全部または一部は、音信号受信側装置220-mの内部に備えずに、音信号受信側装置220-mに接続されるようにしてもよい。例えば、音信号受信側装置220-mの再生部223-mはスピーカを備えずに、音信号受信側装置220-mに接続されたスピーカに対して音信号受信側装置220-mの再生部223-mのDA変換部が得た2個のアナログの電気信号を出力するようにしてもよい。または、音信号受信側装置220-mは再生部223-mを備えずに、音信号受信側装置220-mに接続されたDA変換器などの再生機器に対して音信号受信側装置220-mの復号装置222-mが2個のチャンネルの復号ディジタル音信号を出力するようにしてもよい。
図5は、音信号受信側装置220-mに第一通信回線410-mから入力される第一符号列に含まれるモノラル符号と、音信号受信側装置220-mに第二通信回線510-mから入力される第二符号列に含まれる拡張符号と、音信号受信側装置220-mが出力する復号音信号と、の時間的な関係を、装置の処理能力に依存する処理遅延を除いて模式的に示した図である。図5の横軸は時間軸である。括弧内の番号iは、通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’におけるフレーム番号である。CM(i)は、音信号受信側装置220-mに第一通信回線410-mから入力される第一符号列に含まれるモノラル符号である。CE(i)は、音信号受信側装置220-mに第二通信回線510-mから入力される第二符号列に含まれる拡張符号である。YS'(i)は、音信号受信側装置220-mが出力する復号音信号である。図5は、音信号受信側装置220-mには、優先度が低い通信網である第二通信回線510-mからはフレーム番号順に第二符号列が入力されるものの、優先度が高い通信網である第一通信回線410-mからのフレーム番号順の第一符号列より5フレーム後に第二符号列が入力される例である。
図6と図5からも分かる通り、特許文献1の技術では、高音質の復号音信号を得るためには最低限の音質の復号音信号を得るよりも5フレームの遅延が多くなってしまうものの、第一実施形態の技術では、最低限の音質の復号音信号を得る場合よりも遅延時間を大幅に増加させることなく、すなわち双方向通話の際に違和感が生じない程度の遅延時間で、高音質の復号音信号を得ることができる。
第一実施形態では毎フレームの拡張符号を得て出力するようにしたが、複数フレームに1回だけ拡張符号を得て出力するようにしてもよい。この形態を第二実施形態として説明する。
信号分析部2121-mは、第一実施形態の信号分析部2121-mと同様に、各フレームについて、入力された2個のチャンネルのディジタル音信号から、入力された2個のチャンネルのディジタル音信号を混合した信号であるモノラル信号を得て出力するが、第一実施形態の信号分析部2121-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された2個のチャンネルのディジタル音信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て出力する。
送信部213-mは、第一実施形態の送信部213-mと同様に、各フレームについて、入力されたモノラル符号を含む符号列である第一符号列を第一通信回線410-mに出力するが、第一実施形態の送信部213とは異なり、拡張符号が入力されたフレームについてのみ、すなわち、複数フレームのうちの予め定めたフレームについてのみ、入力された拡張符号を含む符号列である第二符号列を第二通信回線510-mに出力する。
第一実施形態で説明した通り、音信号受信側装置220-mで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が音信号受信側装置220-mに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態によれば、複数フレームに1回だけ拡張符号を得て出力する構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、信号分析部2121-mの演算処理量を低減することができ、また、特徴パラメータを伝送するための符号の量を第一実施形態よりも少なくすることができる。
第一実施形態では音信号受信側装置220-mが復号に用いる拡張符号を毎フレーム得るようにしたが、音信号受信側装置220-mが復号に用いる拡張符号を複数フレームに1回だけ得るようにしてもよい。この形態を第三実施形態として説明する。
受信部221-mは、第一実施形態の受信部221-mと同様に、各フレームについて、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を復号装置222-mに出力するが、第一実施形態の受信部221-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を得て出力する。すなわち、より具体的には、受信部221-mは、複数フレームのうちの予め定めたフレームについてのみ、入力された第二符号列に含まれる拡張符号のうちのモノラル符号とフレーム番号が最も近い拡張符号を受信部221-m内の図示しない記憶部から得て出力する。
拡張復号部2222-mには、第一実施形態の拡張復号部2222-mと同様に、各フレームについて、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が入力されるが、第一実施形態の拡張復号部2222-mとは異なり、複数フレームのうちの予め定めたフレームについてのみ、拡張符号が入力される。拡張復号部2222-mは、複数フレームのうちの予め定めたフレーム、すなわち、拡張符号も入力されたフレームについては、第一実施形態の拡張復号部2222-mと同様に、入力されたモノラルの復号ディジタル音信号と拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て出力し、複数フレームのうちの予め定めたフレーム以外のフレーム、すなわち、拡張符号が入力されなかったフレームについては、第一実施形態の拡張復号部2222-mとは異なり、入力されたモノラルの復号ディジタル音信号と、既に入力された拡張符号のうちの最も新しい拡張符号とから、2個のチャンネルの復号ディジタル音信号を得て出力する。
なお、第三実施形態に代えて、拡張復号部2222-mは、第一実施形態と同様の動作をするようにして、受信部221-mは、複数フレームのうちの予め定めたフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、複数フレームのうちの予め定めたフレーム以外のフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、既に出力した拡張符号のうちの最も新しい拡張符号と、を出力するようにしてもよい。
第一実施形態で説明した通り、音信号受信側装置220-mで用いられる拡張符号は、モノラル符号とフレーム番号が最も近い拡張符号であるので、モノラル符号とフレーム番号が同一の拡張符号が拡張復号部2222-mに入力されていることは必須ではない。また、そもそも、特徴パラメータは時間的変動が小さいパラメータである。従って、本実施形態及びその変形例によれば、複数フレームに1回だけ拡張符号を得る構成を採用したことにより、第一実施形態よりも復号音信号の品質を大きく劣下させることなく、受信部221-mの演算処理量や出力する情報の量を低減することができる。
第一実施形態の音信号受信側装置220-mが2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態として説明する。
拡張復号部2222-mには、第一実施形態の拡張復号部2222-mと同様に、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号と、復号装置222-mに入力された拡張符号と、が入力される。拡張復号部2222-mは、図示しない記憶部を備える。記憶部には、拡張復号部2222-mが過去フレームにおいて得た特徴パラメータが記憶されている。拡張復号部2222-mは、フレームごとに、入力されたモノラルの復号ディジタル音信号と、入力された拡張符号と、記憶部に記憶された過去フレームの特徴パラメータと、から、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、具体的には、フレームごとに以下のステップS2222-31からステップS2222-35を行う。
第一実施形態の音信号受信側装置220-mと同様に、第三実施形態の音信号受信側装置220-mでも、2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。すなわち、第三実施形態の音信号受信側装置220-mの復号装置222-mの拡張復号部2222-mにおいて、複数フレームのうちの予め定めたフレームについて、2個の復号ディジタル音信号を得る際に用いる特徴パラメータとして、処理対象のフレームで入力された拡張符号が表す特徴パラメータと、過去のフレームの特徴パラメータと、の平均や重み付き平均、を用いてもよい。この形態を第四実施形態の変形例として説明する。
拡張復号部2222-mには、第三実施形態の拡張復号部2222-mと同様に、各フレームについて、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が入力され、複数フレームのうちの予め定めたフレームについてのみ拡張符号が入力される。拡張復号部2222-mは、図示しない記憶部を備える。記憶部には、拡張復号部2222-mが過去フレームにおいて得た特徴パラメータの平均または重み付き平均が少なくとも記憶され、過去フレームの拡張符号が表す特徴パラメータも記憶されていることがある。
特徴パラメータは、統計的に見れば時間的変動が小さいパラメータであるものの、各フレームの音信号の特徴は反映されているので複数フレームにわたって完全に同じ値であることは少なく、また、フレーム間で値が大きく異なる場合もある。従って、音信号受信側装置220-mでは、そのフレーム本来の拡張符号とは異なるある1つの拡張符号が表す特徴パラメータを用いるよりも、本第四実施形態及び変形例のように時間的に近い複数個の拡張符号が表す特徴パラメータの平均や重み付き平均などを用いることにより、復号音信号のチャンネル間での急激な変動や異音の発生などを抑えることができる。
第一実施形態では音信号受信側装置220-mは各フレームについてモノラル符号とフレーム番号が最も近い拡張符号を用いて2個のチャンネルの復号ディジタル音信号を得るようにしたが、モノラル符号と所定の制限時間範囲内の拡張符号がないフレームについてはモノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第五実施形態として説明する。
受信部221-mは、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号と、第二通信回線510-mから入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、第一通信回線410-mから入力された第一符号列に含まれるモノラル符号を出力する。受信部221-mは、具体的には、フレームごとに以下のステップS221-11からステップS221-15を行う。
復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号が必ず入力され、受信部221-mが出力した拡張符号が入力されることもある。復号装置222-mは、フレームごとに、入力されたモノラル符号と拡張符号、または、入力されたモノラル符号、に対応する2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。具体的には、復号装置222-mは、上述したフレーム番号の差が予め定めた値未満であるフレームについては、受信部221-mが出力したモノラル符号と、受信部221-mが出力した拡張符号と、に基づいて2個のチャンネルの復号ディジタル音信号を得て出力し、上述したフレーム番号の差が予め定めた値未満でないフレームについては、受信部221-mが出力したモノラル符号に基づくモノラルディジタル信号をそのまま2個のチャンネルの復号ディジタル音信号として出力する。
拡張復号部2222-mには、フレームごとに、モノラル復号部2221-mが出力したモノラルの復号ディジタル音信号が必ず入力され、復号装置222-mに入力された拡張符号が入力されることもある。拡張復号部2222-mは、モノラルの復号ディジタル音信号と拡張符号が入力されたフレームについては、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部2222-mと同じ動作により、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、モノラルの復号ディジタル音信号のみが入力されたフレームについては、入力されたモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として得て再生部223-mに出力する。
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第五実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態及び第四実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第五実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。
通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’は所定の時間区間のフレームごとに符号化をしていることから、モノラル符号のフレーム番号と拡張符号のフレーム番号の差は、通話相手先の複数回線対応端末装置200-m’の音信号送信側装置210-m’の符号化装置212-m’が符号化したディジタル音信号の時間差に対応する。例えば、フレーム長が20msであれば、フレーム番号の差が150であれば、モノラル符号を得たディジタル音信号と、拡張符号を得たディジタル音信号と、に3秒の時間差があることになる。時間的変動が小さいパラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、拡張符号が表す特徴パラメータが大きく異なるほどの時間差がある場合には、2個のチャンネルの差分の特徴を反映した2個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第五実施形態によれば、第一通信回線から受信された第一符号列に含まれるモノラル符号と第二通信回線から受信された第二符号列に含まれる拡張符号のうちの当該モノラル符号とフレーム番号が最も近い拡張符号とのフレーム番号の差が大きいフレームについては2個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。例えば、時間差が400ms以上になると特徴パラメータが大きく異なると想定すると、フレーム長が20msの場合であればフレーム番号の差が20以上になると特徴パラメータが大きく異なることになるので、上述した予め定めた値は例えば20とすればよい。
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内にない場合には、モノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第六実施形態として説明する。
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
受信部221-mによる上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、復号装置222-mには、第一実施形態の復号装置222-mと同様に、フレームごとに、モノラル符号と拡張符号が入力される。一方、受信部221-mによる上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、復号装置222-mには、フレームごとに、受信部221-mが出力したモノラル符号が入力され、拡張符号は入力されない。
拡張復号部2222-mは、モノラルの復号ディジタル音信号と拡張符号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満であった場合には、フレームごとに、入力されたモノラルの復号ディジタル音信号と拡張符号とから、第一実施形態の拡張復号部2222-mと同じ動作により、2個のチャンネルの復号ディジタル音信号を得て再生部223-mに出力する。拡張復号部2222-mは、モノラルの復号ディジタル音信号が入力された場合には、すなわち、上述した判断において平均値が予め定めた制限時間Tmax未満でなかった場合には、入力されたモノラルの復号ディジタル音信号をそのまま2個のチャンネルの復号ディジタル音信号として得て再生部223-mに出力する。
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第六実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第六実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
第五実施形態でも説明した通り、時間的変動が小さい特徴パラメータであっても、時刻が大きく異なれば値が大きく変わっている可能性がある。従って、第一通信回線と第二通信回線の間に拡張符号が表す特徴パラメータが大きく異なるほどの時間差があると判断された場合には、2個のチャンネルの差分の特徴を反映した2個のチャンネルの復号音信号にはチャンネル間の信号の切り分けに大きな誤りが発生している可能性がある。本第六実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きい場合には2個のチャンネルの復号音信号に差を付けないようにすることで、復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑えることができる。
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が予め定めた制限時間内である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号とするようにしてもよい。この形態を第七実施形態として説明する。
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第七実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第七実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点を始点として設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
時間的変動が小さい特徴パラメータであっても、時刻が異なれば値が少しは異なっている可能性がある。従って、遅延を少し増やすだけで同じフレームの特徴パラメータを用いて復号することができれば、高音質の復号音信号を得られる可能性がある。そこで、本第七実施形態では、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差の所定の時間範囲の平均値に予め定めた値である制限時間を設けて、制限時間未満である場合には、あえて遅延を少し増やした上で、モノラル符号と、当該モノラル符号と同じフレームの拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号とすることによって、高音質の復号音信号を得られるようにしている。
音信号受信側装置220-mは、所定の時間範囲で測定された、第一通信回線410-mから入力された第一符号列と、当該第一符号列と同じフレーム番号の第二通信回線510-mから入力された第二符号列と、の時間差の平均値に基づいて、当該時間差の平均値が第一の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が同じ拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号を得て、当該時間差の平均値が第一の制限時間よりも大きい予め定めた第二の制限時間以上である場合には、モノラル符号を復号して得た復号ディジタル音信号を2個のチャンネルの復号ディジタル音信号とし、当該時間差の平均値が第一の制限時間以上であり第二の制限時間未満である場合には、モノラル符号と、当該モノラル符号とフレーム番号が最も近い拡張符号と、を用いて2個のチャンネルの復号ディジタル音信号を得るようにしてもよい。要するに、第六実施形態と第七実施形態を合わせて実施してもよい。この形態を第八実施形態として説明する。
受信部221-mには、通話相手先の音信号送信側装置210-m’が出力した第一符号列が第一通信回線410-mから入力され、通話相手先の音信号送信側装置210-m’が出力した第二符号列が第二通信回線510-mから入力される。第二通信回線は優先度が低い通信網であるため、受信部221-mには、通常、通話相手先の音信号送信側装置210-m’が出力したあるフレームの第二符号列は、当該フレームの第一符号列が第一通信回線410-mから入力されるよりも後に、第二通信回線510-mから入力される。
上述したのは第一実施形態の音信号受信側装置220-mに基づく構成の第八実施形態の音信号受信側装置220-mとその動作であるが、第三実施形態から第五実施形態及びこれらの変形例の何れかの音信号受信側装置220-mに基づく第八実施形態の音信号受信側装置220-mを構成して動作させるようにしてもよい。また、上述した例では、第一符号列の受信を開始してから予め定めた個数の第一符号列が受信されるまでを所定の時間範囲として用いたが、所定の時間範囲はどの時点で設定してもよく、例えば、第一符号列の受信が開始された後のある時点から開始される区間を所定の時間範囲として用いるようにしてもよいし、第一符号列の受信が開始された後の複数の時点それぞれから開始される区間それぞれを所定の時間範囲として設定するようにしてもよい。
本第八実施形態によれば、同じフレームについての第一符号列が第一通信回線から受信された時刻と第二符号列が第二通信回線から受信された時刻との差が大きいときの復号音信号のチャンネル間の信号の切り分けの大きな誤りを抑え、かつ、上述した差が小さいときには高音質の復号音信号を得られる。
多地点で電話会議をするための多地点制御装置(MCU, Multipoint Control Unit)において、異なる2地点の音信号それぞれに対応するディジタル音信号を2個のチャンネルのディジタル音信号として、上述した各実施形態の音信号送信側装置210-mと同様の動作をさせてもよい。この形態を第九実施形態として説明する。
多地点制御装置600は、図7に示す通り、受信部610とモノラル復号部620と地点選択部630と信号分析部640とモノラル符号化部650と送信部660を含む。以下では、多地点制御装置600にP地点(Pは3以上の整数)の端末装置が接続されていて、複数回線対応端末装置200-m1に地点m2から地点mPまでのP-1地点のうちの最大2地点の音信号を伝える例で説明する。多地点制御装置600は、例えば20msの所定の時間区間であるフレームごとに、図8及び以下に例示するステップS610からステップS660の処理を行う。
受信部610には、複数回線対応端末装置200-melse(elseは2以上P以下の各整数)が第一通信回線を介して出力したP-1個の第一符号列が入力される。受信部610は、入力されたP-1個の第一符号列それぞれに含まれるモノラル符号をモノラル復号部620に出力する(ステップS610)。
モノラル復号部620は、受信部610から入力されたP-1個のモノラル符号それぞれを所定の復号方式で復号してモノラルの復号ディジタル音信号である復号モノラル信号を得て地点選択部630に出力する(ステップS620)。所定の復号方式については、第一実施形態で説明した通りである。
地点選択部630は、予め定めた選択基準に基づいて、モノラル復号部620から入力されたP-1個の復号モノラル信号のうちの2個の復号モノラル信号を選択して信号分析部640に出力する(ステップS630)。予め定めた選択基準としては、重要度合いが高い地点の復号モノラル信号を選択できる基準を予め定めておき、地点選択部630が選択を実行できるようにしておけばよい。例えば、選択基準として音信号のパワーを用いるのであれば、地点選択部630は、フレームごとに、入力されたP-1個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが2番目に大きい復号モノラル信号を信号分析部640に出力する。
信号分析部640は、入力された2個の復号モノラル信号から、入力された2個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部650に出力し、入力された2個の復号モノラル信号の差分の特徴を表すパラメータでありかつ時間的変動が小さいパラメータである特徴パラメータを表す拡張符号を得て送信部660に出力する(ステップS640)。信号分析部640は、第一実施形態の複数回線対応端末装置200-mの音信号送信側装置210-mの符号化装置212-mの信号分析部2121-mと同じ動作をすればよい。ただし、本第九実施形態の場合は、入力された2個の復号モノラル信号はそれぞれ異なる地点で発せられた音信号に対応することから、特徴パラメータとしては、信号分析部2121-mの第1例で示した時間差を表す情報よりは、第2例で示した周波数帯域ごとの強度差を表す情報を用いた方がよい。なお、入力された2個の復号モノラル信号のパワーの比や差を表す情報を特徴パラメータとしてもよい。
モノラル符号化部650は、入力されたモノラル信号を所定の符号化方式で符号化してモノラル符号を得て送信部660に出力する(ステップS650)。所定の符号化方式については、第一実施形態で説明した通りである。
送信部660は、フレームごとに、モノラル符号化部650から入力されたモノラル符号を含む符号列である第一符号列を複数回線対応端末装置200-m1に対して第一通信回線を介して出力し、信号分析部640から入力された拡張符号を含む符号列である第二符号列を複数回線対応端末装置200-m1に対して第二通信回線を介して出力する(ステップS660)。
多地点制御装置600に本第九実施形態の動作をさせることで、複数回線対応端末装置200-m1では2地点の音信号を擬似的に左と右に振り分けて再生することができ、何れの地点での発話であることや異なる地点での発話であることを明瞭とすることができる。
第九実施形態の多地点制御装置600の地点選択部630では、パワーを用いて2個の復号モノラル信号を選択していることから、信号分析部640ではなく地点選択部630で拡張符号を得るようにしてもよい。この形態を第九実施形態の変形例として、第九実施形態と異なる点について説明する。
第九実施形態の変形例の多地点制御装置600は、図9に示す通り、第九実施形態の多地点制御装置600が含んでいた信号分析部640に代えて信号混合部670を含む。多地点制御装置600は、フレームごとに図10に例示するステップS610からステップS630、ステップS670、ステップS650からステップS660、の処理を行う。これらのうち第九実施形態と実質的に異なるのは、地点選択部630が行うステップS630と信号混合部670が行うステップS670である。送信部660が行うステップS660は、拡張符号が信号分析部640ではなく地点選択部630から入力されること以外は第九実施形態と同じである。
地点選択部630は、モノラル復号部620から入力されたP-1個の復号モノラル信号のうちのパワーが最大である復号モノラル信号とパワーが2番目に大きい復号モノラル信号を選択して信号分析部640に出力し、さらに、選択した2個の復号モノラル信号のパワーの比または差を特徴パラメータとして得て、得た特徴パラメータを表す符号である拡張符号を得て送信部660に出力する(ステップS630)。
信号混合部670は、入力された2個の復号モノラル信号から、入力された2個の復号モノラル信号を混合した信号であるモノラル信号を得てモノラル符号化部650に出力する(ステップS670)。
上述した各実施形態及び変形例では、説明を簡単化するために、複数回線対応端末装置200-mの2個のチャンネルの音信号を扱う例で説明した。しかし、チャンネル数はこの限りではなく2以上であればよい。このチャンネル数をC(Cは2以上の整数)とすると、上述した各実施形態及び変形例は、2個のチャンネルをC個(Cは2以上の整数)のチャンネルと読み替えて実施することができる。
<<電話システムに電話回線専用端末装置も含む形態>>
電話システム100に電話回線専用端末装置300-nも含む場合には、電話回線専用端末装置300-nは以下の通りに周知の動作をする。
電話回線専用端末装置300-nは、例えば従来型の携帯電話機や従来型のスマートフォンであり、図11に示す通り、音信号送信側装置310-nと音信号受信側装置320-nを含む。音信号送信側装置310-nは収音部311-nと符号化装置312-nと送信部313-nを含む。音信号受信側装置320-nは受信部321-nと復号装置322-nと再生部323-nを含む。電話回線専用端末装置300-nの音信号送信側装置310-nは、図12及び以下に例示するステップS311からステップS313の処理を行い、電話回線専用端末装置300-nの音信号受信側装置320-nは、図13及び以下に例示するステップS321からステップS323の処理を行う。
音信号送信側装置310-nは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、1個のチャンネルのディジタル音信号に対応するモノラル符号を含む符号列である第一符号列を得て第一通信回線420-nに出力する。
収音部311-nは、1個のマイクロホンと1個のAD変換部を含む。マイクロホンは、マイクロホンの周辺の空間領域で発生した音を収音してアナログの電気信号に変換してAD変換部に出力する。AD変換部は、入力されたアナログの電気信号を例えばサンプリング周波数が8kHzのPCM信号であるディジタル音信号に変換して出力する。すなわち、収音部311-nは、1個のマイクロホンで収音した音に対応する1個のチャンネルのディジタル音信号を符号化装置312-nに出力する(ステップS311)。
符号化装置312-nは、フレームごとに、収音部311-nから入力された1個のチャンネルのディジタル音信号を上述した所定の符号化方式で符号化してモノラル符号を得て送信部313-nに出力する(ステップS312)。
送信部313-nは、フレームごとに、符号化装置312-nから入力されたモノラル符号を含む符号列である第一符号列を第一通信回線420-nに出力する(ステップS313)。
音信号受信側装置320-nは、例えば20msの所定の時間区間ごとに、すなわちフレームごとに、第一通信回線420-nから入力された第一符号列に含まれるモノラル符号に基づく音を出力する。
受信部321-nは、フレームごとに、第一通信回線420-nから入力された第一符号列に含まれるモノラル符号を復号装置322-nに出力する(ステップS321)。
復号装置322-nには、フレームごとに、受信部321-nが出力したモノラル符号が入力される。復号装置322-nは、フレームごとに、入力されたモノラル符号を上述した所定の復号方式で復号して1個の復号ディジタル音信号を得て再生部323-nに出力する(ステップS322)。
再生部323-nは、入力された1個の復号ディジタル音信号に対応する音を出力する(ステップS323)。
電話回線専用端末装置300-nでも複数回線対応端末装置200-mと同じ符号化方式と復号方式を用いていることから、電話回線専用端末装置300-nでは、最低限の音質の復号音信号を得られるように互換性を確保した上で、複数回線対応端末装置200-mでは、最低限の音質の復号音信号を得る場合とほぼ同じ遅延時間で、すなわち双方向通話の際に違和感が生じない遅延時間で、高音質の復号音信号を得ることができる。
複数回線対応端末装置200-mの音信号送信側装置210-mは、上述したモノラル符号でも上述した拡張符号でもない符号(追加符号)を得て出力するようにしてもよい。具体的には、符号化装置212-mは追加符号も得て送信部213-mに出力するようにし、送信部213-mは、符号化装置212-mから入力された追加符号を第一通信回線410-mと第二通信回線510-mの何れかに出力するようにしてもよい。追加符号は、例えば、入力されたC個(Cは2以上の整数)のチャンネルのディジタル音信号を混合した信号の高域成分の特徴を表す符号である。
複数回線対応端末装置200-mの各部の処理をコンピュータにより実現してもよい。言い換えれば、複数回線対応端末装置200-mにおける符号化方法、複数回線対応端末装置200-mにおける復号方法のそれぞれの各ステップの処理をコンピュータによって実行してもよい。この場合、各ステップの処理はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各ステップの処理がコンピュータ上で実現される。図14は、上述の処理を実現するコンピュータの機能構成の一例を示す図である。当該処理は、記録部2020に、コンピュータを上述の装置として機能させるためのプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。
これらの処理内容を記述したプログラムのそれぞれは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
Claims (20)
- 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断し、
前記判断において前記平均値が前記制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
前記判断において前記平均値が前記制限時間Tmin未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信ステップと、
前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力する復号ステップと、
を含む音信号受信復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、
前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
を含む音信号受信復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、
前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
を含む音信号受信復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号受信復号方法であって、
前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信ステップと、
前記差が前記予め定めた値未満であるフレームについては、前記受信ステップで出力したモノラル符号と、前記受信ステップで出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記差が前記予め定めた値未満でないフレームについては、前記受信ステップで出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップと、
を含む音信号受信復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、
を含む音信号復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、
を含む音信号復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、
前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号ステップ、
を含む音信号復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置が行う音信号復号方法であって、
前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号ステップ、
を含む音信号復号方法。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であるか否かを判断し、
前記判断において前記平均値が前記制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
前記判断において前記平均値が前記制限時間Tmin未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力する受信部と、
前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力する復号部と、
を含む音信号受信側装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であるか否かを判断し、
前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
前記判断において前記平均値が前記制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記判断において前記平均値が前記制限時間Tmax未満でなかった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
を含む音信号受信側装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が、予め定めた第一の制限時間Tmin未満であるか、前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であるか、前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であるか、を判断し、
前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が同じ拡張符号と、を出力し、
前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
前記判断において前記平均値が前記第一の制限時間Tmin未満であった場合と、前記判断において前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記判断において前記平均値が前記第二の制限時間Tmax以上であった場合には、前記判断以降のフレームについて、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
を含む音信号受信側装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる音信号受信側装置であって、
前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号のうち当該モノラル符号とフレーム番号が最も近い拡張符号と、を出力し、
前記差が前記予め定めた値未満でないフレームについては、前記第一通信回線から入力された第一符号列に含まれるモノラル符号を出力する受信部と、
前記差が前記予め定めた値未満であるフレームについては、前記受信部が出力したモノラル符号と、前記受信部が出力した拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記差が前記予め定めた値未満でないフレームについては、前記受信部が出力したモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部と、
を含む音信号受信側装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記制限時間Tmin未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号部、
を含む復号装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記制限時間Tmax未満でなかった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部、
を含む復号装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
前記第一通信回線から受信された第一符号列と、当該第一符号列に対応する前記第二通信回線から受信された第二符号列と、の組についての当該第一符号列と当該第二符号列の受信された時刻の差の、複数組についての平均値が予め定めた第一の制限時間Tmin未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が同じ拡張符号と、に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記平均値が前記第一の制限時間Tminより大きい予め定めた第二の制限時間Tmax以上であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力し、
前記平均値が前記第一の制限時間Tmin以上であり前記第二の制限時間Tmax未満であった場合には、前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、に基づいてC個のチャンネルの復号ディジタル音信号を得て出力する復号部、
を含む復号装置。 - 第一通信回線と、前記第一通信回線より優先度が低い第二通信回線と、に接続された端末装置に含まれる復号装置であって、
前記第一通信回線から入力された第一符号列に含まれるモノラル符号と、前記第二通信回線から入力された第二符号列に含まれる拡張符号であって当該モノラル符号とフレーム番号が最も近い拡張符号と、のフレーム番号の差が予め定めた値未満であるフレームについては、前記モノラル符号と前記拡張符号に基づいてC個(Cは2以上の整数)のチャンネルの復号ディジタル音信号を得て出力し、
前記差が前記予め定めた値未満でないフレームについては、前記モノラル符号に基づく復号ディジタル音信号をC個のチャンネルの復号ディジタル音信号として出力する復号部、
を含む復号装置。 - 請求項1ないし4のいずれか1項に記載の音信号受信復号方法をコンピュータに実行させるためのプログラム。
- 請求項5ないし8のいずれか1項に記載の音信号復号方法をコンピュータに実行させるためのプログラム。
- 請求項1ないし4のいずれか1項に記載の音信号受信復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項5ないし8のいずれか1項に記載の音信号復号方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980097320.4A CN113966530A (zh) | 2019-06-13 | 2019-12-27 | 声音信号接收解码方法、声音信号解码方法、声音信号接收侧装置、解码装置、程序以及记录介质 |
EP19932417.9A EP3985662A4 (en) | 2019-06-13 | 2019-12-27 | AUDIO SIGNAL RECEPTION AND DECODING METHOD, AUDIO SIGNAL DECODING METHOD, AUDIO SIGNAL RECEPTION DEVICE, DECODING DEVICE, PROGRAM AND RECORDING MEDIUM |
JP2021525901A JP7192987B2 (ja) | 2019-06-13 | 2019-12-27 | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 |
US17/617,840 US20220246157A1 (en) | 2019-06-13 | 2019-12-27 | Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/023424 WO2020250370A1 (ja) | 2019-06-13 | 2019-06-13 | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 |
JPPCT/JP2019/023424 | 2019-06-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020250471A1 true WO2020250471A1 (ja) | 2020-12-17 |
Family
ID=73781711
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/023424 WO2020250370A1 (ja) | 2019-06-13 | 2019-06-13 | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 |
PCT/JP2019/051596 WO2020250471A1 (ja) | 2019-06-13 | 2019-12-27 | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/023424 WO2020250370A1 (ja) | 2019-06-13 | 2019-06-13 | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220246157A1 (ja) |
EP (1) | EP3985662A4 (ja) |
JP (1) | JP7192987B2 (ja) |
CN (1) | CN113966530A (ja) |
WO (2) | WO2020250370A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11251917A (ja) * | 1998-02-26 | 1999-09-17 | Sony Corp | 符号化装置及び方法、復号化装置及び方法、並びに記録媒体 |
JP2004289196A (ja) * | 2002-03-08 | 2004-10-14 | Nippon Telegr & Teleph Corp <Ntt> | ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム |
JP2005117132A (ja) | 2003-10-03 | 2005-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体 |
WO2006070751A1 (ja) * | 2004-12-27 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | 音声符号化装置および音声符号化方法 |
WO2008102527A1 (ja) * | 2007-02-20 | 2008-08-28 | Panasonic Corporation | マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路 |
WO2009129822A1 (en) * | 2008-04-22 | 2009-10-29 | Nokia Corporation | Efficient encoding and decoding for multi-channel signals |
-
2019
- 2019-06-13 WO PCT/JP2019/023424 patent/WO2020250370A1/ja active Application Filing
- 2019-12-27 WO PCT/JP2019/051596 patent/WO2020250471A1/ja active Application Filing
- 2019-12-27 US US17/617,840 patent/US20220246157A1/en active Pending
- 2019-12-27 CN CN201980097320.4A patent/CN113966530A/zh active Pending
- 2019-12-27 EP EP19932417.9A patent/EP3985662A4/en active Pending
- 2019-12-27 JP JP2021525901A patent/JP7192987B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11251917A (ja) * | 1998-02-26 | 1999-09-17 | Sony Corp | 符号化装置及び方法、復号化装置及び方法、並びに記録媒体 |
JP2004289196A (ja) * | 2002-03-08 | 2004-10-14 | Nippon Telegr & Teleph Corp <Ntt> | ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム |
JP2005117132A (ja) | 2003-10-03 | 2005-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 音声信号パケット通信方法、音声信号パケット送信方法、受信方法、これらの装置、そのプログラムおよび記録媒体 |
WO2006070751A1 (ja) * | 2004-12-27 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | 音声符号化装置および音声符号化方法 |
WO2008102527A1 (ja) * | 2007-02-20 | 2008-08-28 | Panasonic Corporation | マルチチャンネル復号装置、マルチチャンネル復号方法、プログラム及び半導体集積回路 |
WO2009129822A1 (en) * | 2008-04-22 | 2009-10-29 | Nokia Corporation | Efficient encoding and decoding for multi-channel signals |
Non-Patent Citations (1)
Title |
---|
See also references of EP3985662A4 |
Also Published As
Publication number | Publication date |
---|---|
CN113966530A (zh) | 2022-01-21 |
EP3985662A4 (en) | 2023-07-19 |
US20220246157A1 (en) | 2022-08-04 |
JPWO2020250471A1 (ja) | 2020-12-17 |
JP7192987B2 (ja) | 2022-12-20 |
WO2020250370A1 (ja) | 2020-12-17 |
EP3985662A1 (en) | 2022-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3776548A1 (en) | Truncateable predictive coding | |
WO2020250470A1 (ja) | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 | |
WO2020250472A1 (ja) | 音信号受信復号方法、音信号符号化送信方法、音信号復号方法、音信号符号化方法、音信号受信側装置、音信号送信側装置、復号装置、符号化装置、プログラム及び記録媒体 | |
WO2020250471A1 (ja) | 音信号受信復号方法、音信号復号方法、音信号受信側装置、復号装置、プログラム及び記録媒体 | |
US12131743B2 (en) | Sound signal receiving and decoding method, sound signal decoding method, sound signal receiving side apparatus, decoding apparatus, program and storage medium | |
JP7092050B2 (ja) | 多地点制御方法、装置及びプログラム | |
JP7092047B2 (ja) | 符号化復号方法、復号方法、これらの装置及びプログラム | |
WO2020149165A1 (ja) | 多地点制御方法、装置及びプログラム | |
JP7092049B2 (ja) | 多地点制御方法、装置及びプログラム | |
WO2020149164A1 (ja) | 多地点制御方法、装置及びプログラム | |
WO2021136343A1 (zh) | 音频信号的编解码方法和编解码装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19932417 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021525901 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2019932417 Country of ref document: EP |
|
ENP | Entry into the national phase |
Ref document number: 2019932417 Country of ref document: EP Effective date: 20220113 |