WO2012161089A1 - テレビ会議装置 - Google Patents

テレビ会議装置 Download PDF

Info

Publication number
WO2012161089A1
WO2012161089A1 PCT/JP2012/062665 JP2012062665W WO2012161089A1 WO 2012161089 A1 WO2012161089 A1 WO 2012161089A1 JP 2012062665 W JP2012062665 W JP 2012062665W WO 2012161089 A1 WO2012161089 A1 WO 2012161089A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound image
signal
microphones
sound
audio signal
Prior art date
Application number
PCT/JP2012/062665
Other languages
English (en)
French (fr)
Inventor
純生 佐藤
永雄 服部
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012161089A1 publication Critical patent/WO2012161089A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Definitions

  • the present invention relates to a video conference apparatus used as a terminal for conducting a video conference.
  • video conference systems are widely used in which video captured by a camera and sound collected by a microphone are transmitted to a remote place via an electric or optical line.
  • a speaker is specified by image recognition, and the position of the speaker is estimated from image information. Then, the position information is transmitted together with the video / audio signal, and the sound image is localized at the position information on the decoding side (see, for example, Patent Document 1).
  • a method of estimating from the collected voice a plurality of microphones are used, and the speaker position is estimated from the sound pressure of the voice entering each microphone and the time difference.
  • the subsequent localization of the sound image is the same as the processing described above.
  • the direction of the sound image can be estimated from the collected sound.
  • estimation is generally performed using a microphone array composed of several microphones, and there is a problem that the cost of the microphone array increases.
  • the above-described method for estimating the position of the sound image from the captured image needs to recognize the image of the speaker, and the current level of image recognition technology cannot handle a large number of people. Even if possible, the amount of computer computation required for video signal processing is much larger than that for audio signal processing, so it is necessary to install a high-spec arithmetic processing device, which increases the product cost. There's a problem.
  • the monaural audio signal is the only signal that can be communicated with each manufacturer's device interchangeably, and that the audio signal can be transmitted using the monaural audio signal transmission path is compatible with the device. Is an indispensable function.
  • the present invention has been made in view of the above-described circumstances, and the object thereof is high in compatibility with existing video conference system equipment, and has a sense of reality that the direction of video and sound image matches.
  • An object of the present invention is to provide a video conference apparatus capable of conducting a video conference without greatly increasing the cost.
  • the first technical means of the present invention includes two microphones on the left and right and a camera for photographing a space to be collected by the two microphones for speech.
  • a video conferencing apparatus comprising a speaker array in which three or more speakers are arranged in a horizontal direction and a display for receiving and communicating with another video conference apparatus via a network, wherein the other video conference apparatus
  • a reception-side audio signal processing unit for processing a monaural audio signal and sound image direction information indicating the sound image direction of the monaural audio signal generated and transmitted from the left and right audio signals collected by the two microphones in FIG.
  • the audio signal processing unit on the receiving side connects the position of the two microphones of the other video conference device with the speaker array based on the sound image direction indicated by the sound image direction information.
  • the monaural sound signal is converted from the one or more speakers corresponding to the converted sound image direction so that the sound signal direction is converted into the sound image direction when the minute sound is considered and the monaural sound signal is localized in the converted sound image direction. It is characterized by performing the process of outputting the voice indicated by.
  • the video conference device is configured to detect a monaural audio signal and a sound image indicating a sound image direction of the monaural audio signal from two left and right audio signals input by the two microphones.
  • the speech signal processing unit on the utterance side for generating the direction information is further provided.
  • the third technical means is characterized in that, in the first or second technical means, the two microphones are omnidirectional microphones installed at both ends of the display.
  • the fourth technical means is characterized in that, in the first or second technical means, the two microphones are directional microphones installed at both ends of the display.
  • the fifth technical means is the first or second technical means, characterized in that the two microphones are directional microphones installed adjacent to an upper part or a lower part of the display.
  • the present invention it is possible to reduce the cost of a video conference apparatus that is highly compatible with existing video conference system devices and can carry out a video conference with a sense of reality such that the video and sound image directions match. It can be provided without greatly increasing.
  • FIG. 6 is a schematic diagram for explaining waveform discontinuities occurring at segment boundaries after inverse discrete Fourier transform when the left and right channel audio signals are discrete Fourier transformed and the left and right channel DC components are ignored.
  • the video conference device is a device used as a terminal for performing a video conference, and provides a video conference environment by communicating with other video conference devices via a network.
  • the video conference apparatus according to the present invention is roughly described.
  • On the utterance side a sound image direction is estimated only from a stereo input sound signal (it can be said that a sound image position is estimated), and a monaural sound signal and information indicating the sound image direction are estimated.
  • the reception side outputs the sound indicated by the monaural sound signal so that the speaker array is localized so as to correspond to the sound image direction.
  • FIG. 1 is a diagram showing a configuration example of a video conference system using a video conference device according to the present invention.
  • the apparatus 10 on the utterance side (encoding side) and the apparatus 30 on the reception side (decoding side) constituting the video conference system will be described separately. It has 30 functions.
  • the encoding device 10 includes two microphones 11L and 11R, amplifiers 12L and 12R, an A / D converter 13, an encoding unit 14, and a camera 15.
  • the microphones 11L and 11R are a left channel microphone and a right channel microphone, respectively.
  • the amplifiers 12L and 12R amplify the audio signals collected by the microphones 11L and 11R, respectively.
  • the A / D converter 13 converts the left and right audio signals output from the amplifiers 12L and 12R into left and right digital audio signals, respectively.
  • the camera 15 shoots a space to be collected by the two microphones 11L and 11R and outputs it as a digital video signal, and is subjected to image processing as necessary.
  • the encoding unit 14 encodes the left and right digital audio signals output from the A / D converter 13 and also encodes the digital video signal output from the camera 15.
  • the encoding unit 14 includes a speech signal processing unit on the utterance side, which is one of the main features of the present invention.
  • the speech signal processing unit on the utterance side generates a monaural sound signal and sound image direction information indicating the sound image direction of the monaural sound signal from the two left and right sound signals input by the two microphones 11L and 11R.
  • the speech signal processing unit on the utterance side may be provided in addition to the encoding unit 14.
  • the encoding device 10 also includes a communication unit (not shown) for transmitting the encoded digital data to the decoding device 30.
  • the transmitted digital data includes the sound image direction information in addition to the monaural audio signal and the video signal.
  • the decoding-side device 30 includes a communication unit (not shown) that receives data transmitted from the encoding-side device 10.
  • a communication unit (not shown) that receives data transmitted from the encoding-side device 10.
  • data exchange between the device 10 and the device 30 is normally performed via a server that manages the data exchange. This exchange of data may be performed, for example, via a dedicated high-security server for the video conference system or via a general chat server.
  • the decoding-side device 30 further includes a decoding unit 31, a D / A converter 32, a plurality of amplifiers 33, and three or more speakers 34.
  • the three or more speakers 34 are arranged in the horizontal direction to form a speaker array.
  • the decoding-side device 30 includes a reception-side audio signal processing unit that is one of the main features of the present invention.
  • the reception-side audio signal processing unit includes a reception-side audio signal processing unit that processes a monaural audio signal and sound image direction information received from another video conference device, as described briefly for the processing related to audio.
  • the sound signal processing unit on the receiving side will be described later in detail, but the sound image direction indicated by the sound image direction information is set to the positions of the two microphones in the apparatus on the speaking side using a speaker array composed of three or more speakers 34. So that the monaural audio signal is converted from the one or more speakers corresponding to the converted sound image direction so that the monaural sound signal is localized in the converted sound image direction.
  • voice which shows is performed.
  • the decoding unit 31 decodes digital data received from another video conference device, passes the video signal of the decoded digital data to the display 35, and converts the monaural audio signal and sound image direction information to a D / A converter. Pass to 32.
  • the display 35 displays the video indicated by the video signal input from the decoding unit 31.
  • the D / A converter 32 converts the monaural audio signal into an analog audio signal in the sound image direction indicated by the sound image direction information using the sound image direction information, and outputs the analog audio signal to the amplifier 33 corresponding to the speaker 34 to be output.
  • Each amplifier 33 outputs to the speaker 34 corresponding to the input analog audio signal.
  • a corresponding sound is output from the speaker 34 indicated by the sound image direction information.
  • the audio output may be synchronized with the video display by the existing technology.
  • voices uttered by a speaker are picked up by the left and right microphones 11L and 11R and amplified by amplifiers 12L and 12R, respectively. Then, it is sampled by the A / D converter 13 to become a discrete speech signal and input to the encoding unit 14.
  • the encoding unit 14 generates and encodes a monaural audio signal and sound image direction information by processing the input discrete audio signal. This encoded data is transmitted to the decoding side apparatus 30 via the network N by the communication unit.
  • the transmitted signal is received by the communication unit of the device 30 on the decoding side via the network N.
  • the received code data is decoded by the decoding unit 31, and as a result, an audio signal reflecting the position information indicated by the sound image direction information is generated. It is converted into an analog signal by a D / A converter 32 and reproduced by a plurality of speakers 34 through a plurality of amplifiers 33.
  • FIG. 2 is a block diagram illustrating a configuration example of an audio signal processing unit in the encoding unit of the video conference system of FIG.
  • the audio signal processing unit 20 illustrated in FIG. 2 includes a preprocessing unit 21, a discrete Fourier transform unit 22, a signal separation / extraction unit 23, gain adjustment units 24L, 24S, and 24R, a synthesis unit 25, and a discrete Fourier inverse transform unit (inverse discrete).
  • Fourier transform unit) 26, post-processing unit 27, and compression encoding processing unit 28.
  • the pre-processing unit 21 reads the input left and right audio signals, and performs window function calculations respectively.
  • the discrete Fourier transform unit 22 converts these signals from a time domain representation to a frequency domain representation.
  • the signal separation and extraction unit 23 separates the converted audio signal into a correlation signal and a non-correlated signal separated from the left and right channels, and also extracts sound image direction information.
  • the extracted voice direction information is output to the compression encoding processing unit 28.
  • the gain adjustment units 24L, 24S, and 24R receive the separated signal components (left uncorrelated signal, correlated signal, and right uncorrelated signal), and perform scaling processing, that is, gain coefficients that increase or decrease the gain, respectively. Multiply processing.
  • the synthesizer 25 adds the audio signals after scaling and outputs the sum to the discrete Fourier inverse transform unit 26.
  • the synthesis unit 25 performs addition processing (that is, superimposition processing) on the three audio signals, it can be said to be an addition unit or a superposition unit.
  • the discrete Fourier inverse transform unit 26 returns the added audio signal to the time domain again and outputs it to the post-processing unit 27.
  • the post-processing unit 27 performs noise removal processing on the output signal from the discrete Fourier inverse transform unit 26 and outputs the result to the compression encoding processing unit 28.
  • the compression encoding processing unit 28 compresses and encodes the audio signal post-processed by the post-processing unit 27 and the sound image direction information extracted by the signal separation / extraction unit 23.
  • FIG. 3 is a diagram illustrating a state in which audio data is stored in a buffer in the audio signal processing unit in FIG. 2.
  • the preprocessing unit 21 reads out audio data (audio signal data) having a length that is half of one segment from the A / D converter 13 in FIG.
  • audio signal data audio signal data
  • a segment is an audio data section consisting of a group of sample points having a certain length, and here, it is assumed that the section length is a target of discrete Fourier transform later. For example, the value is 1024. In this example, 512 points of audio data that are half the length of one segment are to be read.
  • the read 512-point audio data is stored in the buffer 3 illustrated in FIG.
  • the buffer 3 can hold the sound signal waveform for the immediately preceding segment, and discard past segments. Audio data for one segment is created by connecting the data for the immediately preceding half segment and the data for the latest half segment, and a window function operation is performed on the data. That is, all the sample data is read twice for the window function calculation.
  • the audio data for one segment is multiplied by the next Hann window proposed conventionally.
  • m is a natural number
  • M is an even number of one segment length.
  • the input signal x L (m 0 ) at the sample point m 0 (M / 2 ⁇ m 0 ⁇ M) is multiplied by sin 2 ((m 0 / M) ⁇ ). .
  • the same sample point is read as m 0 -M / 2.
  • the audio data thus obtained is subjected to discrete Fourier transform by the discrete Fourier transform unit 22 as in the following formula (3) to obtain audio data in the frequency domain.
  • DFT represents discrete Fourier transform
  • k is a natural number
  • X L (k) and X R (k) are complex numbers.
  • X L (k) DFT (x ′ L (n))
  • X R (k) DFT (x ′ R (n)) (3)
  • the signal separation and extraction unit 23 divides the obtained frequency domain audio data into small bands.
  • ERB Equivalent Rectangular Band
  • the ERB bandwidth is divided from 0 Hz to half the sampling frequency.
  • f max [Hz] of a given frequency is divided by ERB, that is, the maximum value I of the index of each band divided by ERB is given by the following equation.
  • I floor (21.4 log 10 (0.000043 f max +1)) (4)
  • floor (a) is a floor function and represents the maximum value of an integer not exceeding the real number a.
  • the center frequency F c (i) (1 ⁇ i ⁇ I) [Hz] of each ERB width band (hereinafter referred to as a small band) is given by the following equation.
  • the bandwidth b (i) [Hz] of the ERB at that time is obtained by the following equation.
  • b (i) 24.7 (0.000043F c (i) +1) (6) Therefore, the boundary frequencies F L (i) and F U (i) on both sides of the i-th small band are obtained by shifting the center frequency from the low frequency side to the high frequency side by the frequency width of ERB / 2.
  • the i th small band includes the K U (i) th line spectrum from the K L (i) th line spectrum.
  • K L (i) and K U (i) are expressed by the following equations (7) and (8), respectively.
  • ceil (a) is a ceiling function and represents the minimum value of an integer that is not smaller than the real number a.
  • the line spectrum after the discrete Fourier transform is symmetric with respect to M / 2 (where M is an even number) except for the DC component, that is, for example, X L (0). That is, X L (k) and X L (Mk) have a complex conjugate relationship in the range of 0 ⁇ k ⁇ M / 2. Therefore, in the following, the range of K U (i) ⁇ M / 2 is considered as the object of analysis, and the range of k> M / 2 is treated the same as a symmetric line spectrum having a complex conjugate relationship.
  • the correlation coefficient is obtained by obtaining the normalized correlation coefficient of the left channel and the right channel by the following equation.
  • This normalized correlation coefficient d (i) represents how much the audio signals of the left and right channels are correlated, and takes a real value between 0 and 1. 1 if the signals are exactly the same, and 0 if the signals are completely uncorrelated.
  • the left and right channel signals are composed of uncorrelated signals and correlated signals, and the same signal is output from the left and right for the correlated signals.
  • the direction of the sound image synthesized from the correlation signals output from the left and right is determined by the balance of the sound pressures on the left and right of the correlation signal.
  • s (m) is a left and right correlation signal
  • n L (m) is a signal obtained by subtracting a correlation signal s (m) from an audio signal of the left channel and can be defined as an uncorrelated signal (left channel).
  • N R (m) is obtained by subtracting the correlation signal s (m) from the audio signal of the right channel and can be defined as an uncorrelated signal (right channel).
  • ⁇ is a positive real number representing the degree of left / right sound pressure balance of the correlation signal.
  • the audio signals x ′ L (m) and x ′ R (m) after the window function multiplication described in the equation (2) are expressed by the following equation (14).
  • s ′ (m), n ′ L (m), and n ′ R (m) are obtained by multiplying s (m), n L (m), and n R (m) by a window function, respectively.
  • Equation (15) is obtained by subjecting the equation (14) to discrete Fourier transform.
  • S (k), N L (k), and N R (k) are discrete Fourier transforms of s ′ (m), n ′ L (m), and n ′ R (m), respectively.
  • X L (k) S (k) + N L (k)
  • X R (k) ⁇ S (k) + N R (k) (15)
  • ⁇ (i) represents ⁇ in the i-th subband.
  • K L (i) ⁇ k ⁇ K U (i) (17) I will leave it.
  • P S (i) and P N (i) are the powers of the correlated signal and the uncorrelated signal in the i-th small band, respectively. It is expressed.
  • Equation (9) is It can be expressed as. However, in this calculation, it is assumed that S (k), N L (k), and N R (k) are orthogonal to each other and the power when multiplied is 0.
  • Equation (18) By solving Equation (18) and Equation (20), the following equation is obtained.
  • est (A) represents an estimated value of A.
  • each parameter is obtained as follows.
  • est ′ (A) represents a scaled estimate of A.
  • the parametric variables ⁇ 3 to ⁇ 6 are
  • est (N L (i) (k)) and est (N R (i) (k)) obtained in this way are also scaled by the following equations, as described above.
  • step S86 The respective transformation variables ⁇ 1 to ⁇ 6 represented by the mathematical expressions (27), (32), and (33) and the scaling coefficients represented by the mathematical expressions (29), (34), and (35) are converted coefficients obtained in step S86. It corresponds to.
  • step S87 the correlation signal and the non-correlated signal (the uncorrelated signal of the right channel, the uncorrelated signal of the left channel, and the left channel) are estimated by calculation using these conversion coefficients (Equations (23), (30), (31)). And uncorrelated signals).
  • the audio signal processing unit 20 includes gain adjusting units 24L and 24R for left and right channels and a gain adjusting unit 24S for correlation signals.
  • the signal separation and extraction unit 23 outputs the uncorrelated signal est ′ (N L (i) (k)) separated from the left channel to the left channel gain adjustment unit 24L, and the uncorrelated signal separated from the right channel.
  • est ′ (N R (i) (k)) is output to the right channel gain adjusting unit 24R, and the correlation signal est ′ (S (i) (k)) separated from both channels is used as the correlation signal gain.
  • the signal separation / extraction unit 23 outputs ⁇ (i) in Expression (21) to the compression encoding processing unit 28 as sound image direction information.
  • This value in each small band is a value indicating the left and right sound pressure balance of the correlation signal component, as shown in Equation (13). Therefore, if this value and the distance between the microphones are known, the sound image position is specified. be able to.
  • the gain adjusters 24L, 24S, and 24R scale each signal. Normally, background noise is mixed in the voices input from the left and right microphones 11L and 11R. However, since such background noise has low correlation between the left and right channels, the probability of being separated as an uncorrelated signal. Is expensive. On the other hand, the speech signal of the speaker is mainly separated as a correlation signal. Therefore, the uncorrelated signals of the left and right channels are relatively decompressed by the gain adjusting units 24L and 24R as compared with the correlated signals, or the correlated signals are relatively increased by the gain adjusting unit 24S as compared with the left and right uncorrelated signals. Then, background noise can be suppressed, and as a result, the input voice can be clarified.
  • a discrete audio inverse transform unit 26 performs inverse discrete Fourier transform to obtain a monaural audio signal.
  • the left and right audio signals are converted into a monaural audio signal, and the noise component is further suppressed.
  • the monaural audio signal thus obtained is output to the post-processing unit 27.
  • the signal obtained by performing the discrete Fourier transform is a signal after the window function multiplication, and thus the signal obtained by the inverse transformation is also multiplied by the window function.
  • the window function is a function as shown in Equation (1), and reading was performed while shifting by half segment length, so as described above, it is added to the output buffer while shifting by half segment length from the beginning of the previously processed segment. By doing so, the converted data is obtained.
  • FIG. 4 is an enlarged view of a part of the waveform of the audio signal input to the post-processing unit 27 of FIG.
  • FIG. 4 is an enlarged view of a part of the waveform of the audio signal input to the post-processing unit 27 of FIG.
  • Many such discontinuous points are included in the data input to the post-processing unit 27 through the signal separation and extraction unit 23, so that they are perceived as annoying noise during reproduction.
  • Such a discontinuous point occurs because this audio signal processing method performs processing while ignoring the DC component, that is, does not consider the line spectrum of the DC component.
  • FIG. 5 is a waveform graph schematically showing this. More specifically, FIG. 5 is a diagram for explaining the discontinuity points of the waveform generated at the segment boundary after the inverse discrete Fourier transform when the left and right channel audio signals are discrete Fourier transformed and the left and right channel DC components are ignored. It is a schematic diagram.
  • the horizontal axis represents time.
  • the symbol (M-2) (l) indicates the M-2th sample point of the lth segment.
  • the vertical axis of the graph 50 is the value of the output signal for those sample points.
  • a discontinuity occurs in the portion from the end of the lth segment to the beginning of the (l + 1) th segment.
  • FIG. 6 is a schematic diagram for explaining an example of the discontinuous point removal process performed by the post-processing unit 27 in FIG. 2, in which the left and right channel audio signals are subjected to discrete Fourier transform and the left and right channel DC components are ignored.
  • FIG. 6 is a schematic diagram for explaining a method of removing a waveform discontinuity generated at a segment boundary after discrete Fourier transform.
  • FIG. 7 is a diagram illustrating a result of the discontinuous point removal process of FIG. 6 performed on the audio signal of FIG.
  • the differential value of the last waveform of the l-th segment and (l + 1) are shown in the graph 60 of FIG. 6 with respect to the graph 50 of FIG. ) Make sure that the first derivative value of the 1st segment matches. Specifically, the post-processing unit 27 sets the waveform of the (l + 1) th segment so that the inclination of the last two points of the lth segment is maintained and the first value of the (l + 1) th segment is maintained. Add DC component (bias). As a result, the processed output audio signal y ′′ j (m) is expressed as y ′ j (m) as the output audio signal before processing.
  • B is a constant representing the bias, and is determined so that the waveform continues as shown in the graph 60 of FIG. 6 after the output audio signal of the previous time and the output audio signal of the current process are added by the output buffer. .
  • bias components may accumulate, and the waveform amplitude may overflow. Therefore, it is preferable to converge by decreasing the magnitude of the amplitude of the bias component (DC component) to be added as shown in the following equation.
  • “decreasing in time” means decreasing in proportion to the elapsed time from the addition time, for example, the elapsed time from the start point of each processing segment or the start point of the discontinuous point.
  • y ′′ j (m) y ′ j (m) + B ⁇ ((M ⁇ m ⁇ ) / M) (37)
  • ⁇ is a parameter for adjusting the degree of reduction, and is set to 0.5, for example.
  • both B and ⁇ are positive.
  • ⁇ may be dynamically increased or decreased according to the value.
  • the timing to increase or decrease may be in the next processing segment.
  • the feedback function works if ⁇ corresponding to the proportional constant to be reduced is changed (changed) according to the absolute value of the bias value (the magnitude of the amplitude of the DC component). A similar effect can be obtained.
  • these methods do not guarantee that the amplitude of the speech waveform does not overflow.
  • a process of not adding the bias term of the second term of Expression (37) may be added as a function of the safety valve. That is, it is preferable that the post-processing unit 27 performs the addition of the DC component (executes the removal of the discontinuous points) only when the amplitude of the DC component obtained for the addition is less than a predetermined value. By adopting this method, the bias component does not accumulate.
  • the audio signal waveform may change so much that the original waveform is already close to discontinuity. If the above-described discontinuous point removal processing is applied to such an audio signal, the waveform may be distorted. In other words, if the above-described discontinuous point removal processing is applied to an audio signal whose original waveform is close to discontinuity, this processing tries to force the waveform close to the original discontinuous state to be continuous continuously. Therefore, the waveform may be distorted.
  • the post-processing unit 27 preferably performs discontinuous point removal processing (noise removal processing) by the following method. That is, when the signal is close to white noise, such as the consonant part of the voice, the number of times that the waveform of the input voice signal crosses 0 within a predetermined time (for example, within the processing segment or half thereof) compared to the other parts. Take advantage of extreme increases. In addition, what is necessary is just to decide where to take 0.
  • discontinuous point removal processing noise removal processing
  • the number of times that the output audio signal (at least the audio signal after the inverse discrete Fourier transform) crosses 0 in the half segment length is counted, and if it is equal to or greater than a certain value (predetermined number), the next And the second term on the right-hand side in Equation (36) or Equation (37) is not added in the next segment processing. That is, the discontinuous point removal process is executed only at other points.
  • the count may be performed for a speech waveform for a certain time regardless of the segment boundary, or may be performed for speech waveforms for a plurality of segment processes. What is necessary is just to determine whether a bias term is added by segment processing.
  • the discontinuity points (near the center 41) in the audio signal 40 in FIG. 4 are continuous by eliminating the discontinuities as shown by the audio signal 70 in FIG. I understand. In this way, discontinuities can be eliminated and noise can be removed.
  • the monaural audio signal thus obtained and the sound image direction information output from the signal separation / extraction unit 23 are encoded by the compression encoding processing unit 28.
  • Monaural audio signals are widely used. 711, 722, 723.1, 728, 729 and the like may be encoded, or may be encoded by a unique protocol such as a VoIP (Voice over Internet Protocol) application.
  • VoIP Voice over Internet Protocol
  • the sound image direction information ⁇ (i) means that when the value is 1, the left and right sound pressures are equal and the sound image is estimated at an equal distance from the left and right microphones. Therefore, the value is expected to have the same probability on both sides with a boundary of 1. Therefore, in order to quantize such a value, for example, if a value ⁇ ′ (i) converted as follows is used, the value falls within the range of ⁇ 1 to 1, and can be efficiently quantized. It becomes possible.
  • ⁇ ′ (i) ( ⁇ (i) ⁇ 1) / ( ⁇ (i) +1) (38)
  • the ⁇ ′ (i) converted in this way is linearly quantized, for example, into 16 steps (4 bits). Since this value is required for each small band, 4 bits are required for each value.
  • the difference may be encoded, or the difference from the adjacent small band value may be encoded. In any case, since the value can be expected to be close to 0, further information compression can be achieved by further Huffman encoding the value.
  • the sound image position information needs to be transmitted separately from the audio signal.
  • a user-defined bit field exists, it can be transmitted. If it is not present, for example In the case of lossless encoding 711 or 722, embedding in the audio signal may be performed, for example, by assigning lower bits that do not significantly affect sound perception. In the case of other lossy encoding, for example, it may be embedded in an unimportant part of the image data like a QR code (registered trademark).
  • the sound image position information is transmitted as described above.
  • FIG. 8 is a block diagram illustrating a configuration example of an audio signal processing unit in the decoding unit of the video conference system of FIG.
  • the audio signal processing unit 80 illustrated in FIG. 8 includes a decoding processing unit 81, a preprocessing unit 82, a discrete Fourier transform unit 83, a reproduction signal generation unit 84, a discrete Fourier inverse transform unit 85, and a post-processing unit 86.
  • the decoding processing unit 81 extracts a monaural audio signal and sound image direction information from the received codeword.
  • the monaural audio signal is output to the preprocessing unit 82, and the sound image direction information is output to the reproduction signal generation unit 84.
  • the preprocessing unit 82 performs the window function calculation in the same manner as the preprocessing unit 21 on the encoding side. On the encoding side, the calculation is performed on each stereo audio signal, but on the decoding side, the calculation is performed on the monaural audio signal and the result is output to the discrete Fourier transform unit 83.
  • Discrete Fourier transform unit 83 performs discrete Fourier transform in the same manner as on the encoding side, divides the signal into small bands as described above, and outputs the result to reproduction signal generation unit 84.
  • the reproduction signal generation unit 84 inputs the signal after the Fourier transform and the sound image direction information, and generates a reproduction signal.
  • the reproduction signal generator 84 mainly converts the sound image direction indicated by the sound image direction information into a sound image direction when the speaker array is regarded as a line segment connecting the positions of the two microphones, The signal is converted into a signal for outputting the sound indicated by the monaural sound signal from one or a plurality of speakers corresponding to the converted sound image direction so that the signal is localized in the converted sound image direction. This makes it possible to output sound localized in the converted sound image direction from one or a plurality of speakers.
  • the decoding-side apparatus 30 arranges the speaker array 101 in a straight line in the horizontal direction as shown in FIG. 10, and outputs audio from only the speakers corresponding to the sound image direction. .
  • a sweet spot 102 wider than the sweet spot 92 is obtained, and a sound image can be localized near the speaker for any participant.
  • the reproduced sound may be output by a wavefront synthesis reproduction method such as a Wave Field Synthesis (WFS) method that provides a wider sweet spot using a speaker array arranged in a straight line in the horizontal direction.
  • WFS Wave Field Synthesis
  • the sound source object-oriented reproduction method is a method in which all sounds are sounds emitted by any sound source object, and each sound source object (hereinafter referred to as “virtual sound source”) has its own position information and audio signal. Including. Taking music content as an example, each virtual sound source includes the sound of each musical instrument and position information where the musical instrument is arranged. A listener who is listening to sound while facing a speaker array in an acoustic space provided by a wavefront synthesis reproduction method such as the WFS method, actually hears sound emitted from the speaker array from a virtual sound source behind the speaker array. Feels like being radiated.
  • This wavefront synthesis playback method requires an input signal representing a virtual sound source.
  • one virtual sound source needs to include an audio signal for one channel and position information of the virtual sound source.
  • it is an audio signal recorded for each musical instrument and the positional information of the musical instrument, and in the video conference using the present invention, it is the positional information of each speaker.
  • FIG. 11 is a schematic diagram for explaining an example of the positional relationship between the listener, the left and right speakers, and the synthesized sound image
  • FIG. 12 shows an example of the positional relationship between the speaker group used in the wavefront synthesis reproduction method and the virtual sound source.
  • FIG. 13 is a schematic diagram for explaining an example of the positional relationship between the virtual sound source of FIG. 12, the listener, and the synthesized sound image.
  • a line drawn from the listener to the midpoint of the left and right speakers 111L and 111R and a line drawn from the listener 113 to the center of one of the speakers 111L / 111R The spread angle formed is ⁇ 0
  • the spread angle formed by the line drawn from the listener 113 to the position of the estimated synthesized sound image 112 is ⁇ .
  • the direction of the synthesized sound image 102 generated by the output sound is the following using the parameter ⁇ representing the sound pressure balance. It is generally known that the following equation can be approximated (hereinafter referred to as the sign law in stereophonic sound).
  • ⁇ (i) of the synthesized sound image of the correlation signal in the i-th small band is obtained by the following equation.
  • the reproduction signal generation unit 84 converts the 2ch audio signal into an audio signal of the number of virtual sound sources. For example, when the number of channels after conversion is five, it is regarded as virtual sound sources 122a to 122e in the wavefront synthesis reproduction method as shown in the positional relationship 120 shown in FIG. Deploy. Note that the virtual sound sources 122a to 122e are equally spaced from each other. Therefore, in this conversion example, the 2ch audio signal is converted into 5 audio signals.
  • the reproduction signal generation unit 84 assigns the input monaural audio signal after the discrete Fourier transform to any two adjacent virtual sound sources among the five virtual sound sources 122a to 122e.
  • the five virtual sound sources 122a to 122e are arranged so as to fall within a spread angle formed by two speakers during 2ch stereo reproduction.
  • two adjacent virtual sound sources that sandwich the synthesized sound image are determined from the estimated direction of the synthesized sound image, and the allocation of the sound pressure balance to the two virtual sound sources is adjusted, and the two virtual sound sources are synthesized.
  • a method of reproducing so as to generate a sound image is adopted.
  • the spread angle formed by the line drawn from the listener 133 to the midpoint of the virtual sound sources 122a and 122e at both ends and the line drawn from the virtual sound source 122e at the end is ⁇ ′.
  • the spread angle formed by a line drawn from the listener 133 to the synthesized sound image 131 is ⁇ ′.
  • a line drawn from the listener 133 to the midpoint between the two virtual sound sources 122c and 122d sandwiching the synthesized sound image 131, and a line drawn from the listener 133 to the midpoint of the virtual sound sources 122a and 122e at both ends from the listener 133).
  • a spread angle formed by a line drawn on the virtual sound source 122c is ⁇ 0
  • a spread angle formed by a line drawn from the listener 133 on the synthesized sound image 131 is ⁇ .
  • ⁇ 0 is a positive real number.
  • g 1 is a scaling coefficient for the third virtual sound source 122c, and a scaling coefficient for the fourth virtual sound source 122d.
  • g 2 g 1 ⁇ est from the third virtual sound source 122c '(S (i) ( k)), from the fourth virtual source 122d g 2 ⁇ est' (S (i) (k))
  • the audio signal is output.
  • g 1 and g 2 are based on the sign law in stereophonic sound, Should be satisfied.
  • ⁇ (i) is expressed by the following equation so that the total power from the third virtual sound source 122c and the fourth virtual sound source 122d becomes equal to the power of the correlation signal at the time of 2ch sound collection on the encoding side.
  • ⁇ (i) can be obtained by using the received ⁇ ′ (i) and performing the inverse operation of Equation (38).
  • the third virtual sound source 112c receives the audio signal of g 1 ⁇ est ′ (S (i) (k)) from the fourth virtual sound source 122d.
  • the audio signal of g 2 ⁇ est ′ (S (i) (k)) is assigned.
  • the uncorrelated signal is assigned to the virtual sound sources 122a and 122e at both ends. In other words, 'the (N L (i) (k )), the 5 th virtual source 122e est' est is the first virtual sound source 122a assigns the (N R (i) (k )).
  • the second virtual sound source includes g 2 ⁇ est ′ (S (i) (k)) and est ′. (N R (i) (k)) will be assigned.
  • the left and right channel correlation signals and uncorrelated signals are assigned to the i-th small band. Such processing is performed for all the small bands. As a result, if the number of virtual sound sources is J, output audio signals Y 1 (k),..., Y J (k) in the frequency domain for each virtual sound source (output channel) are obtained.
  • the discrete Fourier inverse transform unit 85 obtains a time domain output speech signal y ′ j (m) by performing discrete Fourier inverse transform on each of the obtained output channels as shown in the following equation.
  • DFT ⁇ 1 represents discrete Fourier inverse transform.
  • y ′ j (m) DFT ⁇ 1 (Y j (k)) (1 ⁇ j ⁇ J) (46)
  • the signal subjected to the discrete Fourier transform is a signal after the window function multiplication, and therefore the signal y ′ j (m) obtained by the inverse transformation is also multiplied by the window function. It is in the state.
  • the window function is a function as shown in Equation (1), and reading is performed while shifting by half segment length. As described above, the window function is added to the output buffer while shifting by half segment length from the beginning of the previous processed segment. By doing so, the converted data is obtained.
  • the converted data is subjected to noise removal processing in the post-processing unit 86 in FIG. 8 in the same manner as the processing on the encoding side. In this way, output sound for each speaker is obtained.
  • the speaker array 121 has been described on the assumption that the speaker array 121 is installed facing the front direction so as to emit sound in the front direction of the display in order to reduce the amount of calculation.
  • the present invention is not limited to this. .
  • a reproduction sound may be assigned directly to an actual speaker instead of the virtual sound source in the same manner as described above. In that case, the output sound handled by one small band is reproduced from only one speaker or two adjacent speakers.
  • the video conferencing system as described above collects audio, encodes it, transmits it, and decodes it, it will be possible to transmit video + audio with a sense of reality in which the video and sound image directions coincide with each other to a remote location. Become. Furthermore, in the video conference apparatus according to the present invention, noise can be reduced with the process of extracting the sound image direction information at the time of encoding as described above, so that transmission with clear sound quality can be performed.
  • the utterance side only needs to be configured to transmit a monaural audio signal and a small amount of additional information (sound image direction information) along with the video signal. It is easy to add. Further, even when such a configuration is not added to the terminal of the existing video conference system, if the sound image direction information is determined in advance in a predetermined direction such as the center in the video conference device on the receiving side, for example, the video conference itself is Can be carried out. Further, it can cope with the case where a stereo audio signal is received. For example, when a stereo audio signal is received, the sound image direction is obtained using the audio signal processing unit 20 on the utterance side in FIG. 2, and the audio signal processing unit 80 on the reception side in FIG. What is necessary is just to comprise so that it may output from the speaker array which becomes. As described above, the video conference apparatus according to the present invention exchanges monaural audio signals, and thus is highly compatible with devices of existing video conference systems.
  • the echo canceling system can use an echo canceling system for one input and one output that has been widely used in conventional telephones and video conference systems. No complicated echo canceling system is required.
  • FIGS. 14 to 18 are external views showing examples of the video conference apparatus according to the present invention, which have both functions of the encoding-side apparatus 10 and the decoding-side apparatus 30 in the video conference system of FIG. It is the external view which shows the example of the video conference apparatus.
  • the number of speakers constituting the speaker array is not limited to that shown in the figure, but may be plural.
  • two microphones 142L and 142R are arranged at both ends of the display 141, and a speaker array 143 (an array of eight speakers in this example) is provided below the display 141. You may arrange.
  • a speaker array 143 an array of eight speakers in this example
  • two microphones 142L and 142R are installed apart as shown in FIG. 14, it is desirable that the microphone be non-directional in order to cover a wide spatial range where a speaker is present. The position can be estimated.
  • two microphones 152L and 152R are arranged at the upper part of the display 151 so as to be separated from the speaker array 153 provided at the lower part of the display 151, and as much as possible.
  • the arrangement may be such that the output sound reentering the 152R is reduced.
  • the present invention may be applied to a large display in which a plurality of (in this example, four) displays 161a to 161d are combined as in the video conference apparatus 160 shown in FIG. That is, the two microphones 162L and 1162R may be disposed at both ends of the large display, and the speaker array 163 (an array of 15 speakers in this example) may be disposed below the large display.
  • the speaker array 173 may be arranged on the upper portion of the display 171 in which two microphones 172L and 172R are arranged at both ends as in the video conference apparatus 150 shown in FIG. .
  • the speaker array 183 is disposed at the lower part of the display 181 so that the two directional microphones 182L and 182R are directed in the opening directions on the left and right sides. You may install on top.
  • the microphones 182L and 182R may be disposed slightly below the speaker array 183 or may be disposed above the display 181.
  • the two microphones may be directional microphones installed adjacent to the upper part or the lower part of the display.
  • the video conference apparatus uses a horizontal speaker, and does not consider the coincidence between the vertical image and the sound image.
  • the reason for this is that, generally, humans perceive the sound image perception in the vertical direction to be less accurate than the horizontal direction, so if the sound image and the video are matched in the horizontal direction, the distance between the video and the sound image will be
  • the wavefront synthesis reproduction method applicable in the present invention may be any method provided with a speaker array (a plurality of speakers) as described above and outputting from those speakers as a sound image for a virtual sound source.
  • a method using the preceding sound effect as a phenomenon related to human sound image perception.
  • the preceding sound effect means that if the same sound is played from multiple sound sources and each sound reaching the listener from each sound source has a small time difference, the sound image is localized in the sound source direction of the sound that has arrived in advance. It points out the effect to do. By utilizing this effect, it is possible to perceive a sound image at the virtual sound source position.
  • Each component of the video conference apparatus can be realized by hardware such as a microprocessor (or DSP: Digital Signal Processor), a memory, a bus, an interface, a peripheral device, and software executable on these hardware.
  • a microprocessor or DSP: Digital Signal Processor
  • Part or all of the hardware can be mounted as an integrated circuit / IC (Integrated Circuit) chip set, and in this case, the software may be stored in the memory.
  • all the components of the present invention may be configured by hardware, and in that case as well, part or all of the hardware can be mounted as an integrated circuit / IC chip set. .
  • a recording medium on which a program code of software for realizing the functions in the various configuration examples described above is recorded is supplied to a device such as a general-purpose computer serving as a video conference device, and a program is executed by a microprocessor or DSP in the device.
  • the object of the present invention is also achieved by executing the code.
  • the software program code itself realizes the functions of the above-described various configuration examples. Even if the program code itself or a recording medium (external recording medium or internal storage device) on which the program code is recorded is used.
  • the present invention can be configured by the control side reading and executing the code.
  • Examples of the external recording medium include various media such as an optical disk such as a CD-ROM or a DVD-ROM and a nonvolatile semiconductor memory such as a memory card.
  • Examples of the internal storage device include various devices such as a hard disk and a semiconductor memory.
  • the program code can be downloaded from the Internet and executed, or received from a broadcast wave and executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

　既存のテレビ会議システムの機器との互換性が高く、映像と音像方向が一致するような実在感のあるテレビ会議を実施できるテレビ会議装置を、コストを大きく増加させずに提供する。テレビ会議装置は、発話側装置（１０）として左右の２つのマイク（１１Ｌ），（１１Ｒ）とカメラ（１５）を備え、受話側装置（３０）として３つ以上のスピーカ（３４）が水平方向に並べられたスピーカアレイとディスプレイ（３５）を備える。装置（１０）は入力の左右２つの音声信号からモノラル音声信号とその音像方向を示す音像方向情報を生成する。装置（３０）は、発話側から受信の音像方向情報が示す音像方向を、スピーカアレイを発話側の２つのマイクの位置を結ぶ線分と見做した時の音像方向に変換し、発話側から受信のモノラル音声信号が変換後の音像方向に定位するように、変換後の音像方向に対応する１つ又は複数のスピーカからモノラル音声信号が示す音声を出力させる。

Description

テレビ会議装置
　本発明は、テレビ会議を行うための端末として使用するテレビ会議装置に関する。
　従来から、カメラにより撮影した映像とマイクにより収音した音声を、遠隔地に電気あるいは光回線を経由して伝送する、所謂、テレビ会議システムが広く利用されている。
　このテレビ会議システムの品質において、音像の方向を映像と一致させることは、非常に重要である。映像の中の被写体から発話されている音声が、その被写体の方向から聞こえれば、遠隔地の相手があたかもこちらの空間にいるような感覚（実在感）を与え、会話や協調作業が促進され、遠隔地の相手との作業効率が高まる。
　ところで、音像の方向を推定するには一般に、撮影した画像から推定する方法と、あるいは収音した音声から推定する方法と、がある。
　撮影した画像から推定する方法は、発話者を画像認識によって特定し、その発話者の位置を画像情報により推定する。そして、その位置情報を、映像・音声信号とともに伝送し、復号化側で、その位置情報に音像を定位させる（例えば、特許文献１を参照）。
　収音した音声から推定する方法は、マイクを複数使用し、各マイクに入ってくる音声の音圧や時間差のずれから発話者位置を推定する。その後の音像の定位については上述した処理と同様である。
特許第４３２７８２２号公報
　上述の、収音した音声から音像位置を推定する方法に関して、一般に、複数のマイクを使用して収音すれば、その収音した音声から音像の方向を推定することが可能となる。しかし、そのような推定は、数個以上のマイクからなるマイクアレイを用いて行うことが一般的であり、マイクアレイのコストが増大してしまうという問題がある。
　一方で、上述の、撮影した画像から音像位置を推定する方法は、発話者を画像認識する必要があり、現状の画像認識技術の水準では大人数に対応できない。また、仮に可能であるとしても、映像信号処理に必要な計算機演算量は音声信号処理に比べ格段に大きいため、高スペックの演算処理装置を搭載する必要があり、製品コストが増大してしまうという問題がある。
　このように、製品コストを下げるためにはマイクの個数やスピーカの個数、そして信号処理の演算量をなるべく少なくすることが望ましいが、従来のテレビ会議システムの機器にて音像位置を推定するためには、マイクの個数や演算量を下げることは難しい。
　ところで、現在、広く普及しているテレビ会議システムにおいて音声符号化・復号化方式として採用している標準化方式は、モノラル音声を伝送する方式が殆どであるため、ステレオ（２ｃｈ）音声信号やそれ以上のチャネル数の信号を伝送する場合には各メーカの機器間で互換性がない。このように、モノラル音声信号が各メーカの機器間で互換性を持って通信できる唯一の信号であり、モノラル音声信号の伝送路を使用して音声信号を伝送できることは、互換性を持った機器において必須の機能である。
　しかしながら、収音した音声から音像位置を推定する方法を採用した場合、複数のマイクで収音した２チャネル以上の音声信号をネットワークを介して送信する必要があり、各メーカの機器間で互換性を持たせることが望まれる。また、それ以外の方法を採用した場合でも、同様に互換性を持たせることが望まれる。
　本発明は、上述のような実状に鑑みてなされたものであり、その目的は、既存のテレビ会議システムの機器との互換性が高く、且つ映像と音像方向が一致するような実在感のあるテレビ会議を実施することが可能なテレビ会議装置を、コストを大きく増加させることなく提供することにある。
　上述したような課題を解決するために、本発明の第１の技術手段は、左右の２つのマイクと、該２つのマイクによって収音する対象の空間を撮影するカメラとを発話用に備えるとともに、３つ以上のスピーカが水平方向に並べられたスピーカアレイと、ディスプレイとを受話用に備え、ネットワークを介して他のテレビ会議装置と通信するテレビ会議装置であって、前記他のテレビ会議装置において２つのマイクで収音された左右２つの音声信号から生成・送信された、モノラル音声信号及び該モノラル音声信号の音像方向を示す音像方向情報を、処理する受話側の音声信号処理部を備え、該受話側の音声信号処理部は、前記音像方向情報が示す音像方向を、前記スピーカアレイを前記他のテレビ会議装置の前記２つのマイクの位置を結ぶ線分と見做した時の音像方向に変換し、前記モノラル音声信号が変換後の音像方向に定位するように、該変換後の音像方向に対応する１つあるいは複数の前記スピーカから前記モノラル音声信号が示す音声を出力させる処理を行うことを特徴としたものである。
　第２の技術手段は、第１の技術手段において、前記テレビ会議装置は、前記２つのマイクで入力された左右２つの音声信号から、モノラル音声信号、及び該モノラル音声信号の音像方向を示す音像方向情報を生成する発話側の音声信号処理部を、更に備えたことを特徴としたものである。
　第３の技術手段は、第１または第２の技術手段において、前記２つのマイクは、前記ディスプレイの両端に離して設置された無指向性マイクであることを特徴としたものである。
　第４の技術手段は、第１または第２の技術手段において、前記２つのマイクは、前記ディスプレイの両端に離して設置された指向性マイクであることを特徴としたものである。
　第５の技術手段は、第１または第２の技術手段において、前記２つのマイクは、前記ディスプレイの上部あるいは下部に隣接して設置された指向性マイクであることを特徴としたものである。
　本発明によれば、既存のテレビ会議システムの機器との互換性が高く、且つ映像と音像方向が一致するような実在感のあるテレビ会議を実施することが可能なテレビ会議装置を、コストを大きく増加させることなく提供することができる。
本発明に係るテレビ会議装置を用いたテレビ会議システムの構成例を示す図である。 図１のテレビ会議システムの符号化部における音声信号処理部の一構成例を示すブロック図である。 図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。 図２の後処理部に入力される音声信号の波形の一部を拡大した図である。 左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。 図２の後処理部で施される不連続点除去処理の一例を説明するための模式図である。 図４の音声信号に対し、図６の不連続点除去処理を施した結果を示す図である。 図１のテレビ会議システムの復号化部における音声信号処理部の一構成例を示すブロック図である。 ２ｃｈ再生方式を説明するための模式図である。 図１のテレビ会議システムにおいてスピーカ群として配置するスピーカアレイの一例を示す模式図である。 受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図である。 波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図である。 図１２の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。 本発明に係るテレビ会議装置の例を示す外観図である。 本発明に係るテレビ会議装置の他の例を示す外観図である。 本発明に係るテレビ会議装置の他の例を示す外観図である。 本発明に係るテレビ会議装置の他の例を示す外観図である。 本発明に係るテレビ会議装置の他の例を示す外観図である。
　本発明に係るテレビ会議装置は、テレビ会議を行うための端末として使用する装置であって、ネットワークを介して他のテレビ会議装置と通信することでテレビ会議の環境を提供する。本発明に係るテレビ会議装置は、概略的に説明すると、発話側では、ステレオ入力音声信号のみから音像方向を推定し（音像位置を推定するとも言える）、モノラル音声信号とその音像方向を示す情報を伝送して、受信側では、その音像方向に対応するようにスピーカアレイに定位させるように、モノラル音声信号が示す音声を出力させる。これにより、実在感のある映像と音声の伝送が、少ない演算量とモノラル音声信号のみの伝送で可能となる。
　以下、図面を参照しながら、本発明に係るテレビ会議装置の構成例及び処理例について説明する。
　図１は、本発明に係るテレビ会議装置を用いたテレビ会議システムの構成例を示す図である。以下、テレビ会議システムを構成する発話側（符号化側）の装置１０と受話側（復号化側）の装置３０とに分けて説明するが、本発明に係るテレビ会議装置は双方の装置１０，３０の機能を持っている。
　符号化側の装置１０は、２つのマイク１１Ｌ，１１Ｒ、増幅器１２Ｌ，１２Ｒ、Ａ／Ｄコンバータ１３、符号化部１４、及びカメラ１５を備える。マイク１１Ｌ，１１Ｒはそれぞれ左チャネルのマイク、右チャネルのマイクであり、増幅器１２Ｌ，１２Ｒはそれぞれマイク１１Ｌ，１１Ｒで収音された音声信号を増幅させる。Ａ／Ｄコンバータ１３は、増幅器１２Ｌ，１２Ｒから出力された左右の音声信号をそれぞれ左右のデジタル音声信号に変換する。カメラ１５は、２つのマイク１１Ｌ，１１Ｒによって収音する対象の空間を撮影し、デジタル映像信号として出力するものであり、必要に応じて画像処理が施される。
　符号化部１４は、Ａ／Ｄコンバータ１３から出力された左右のデジタル音声信号を符号化するとともに、カメラ１５から出力されたデジタル映像信号を符号化する。符号化部１４は、本発明の主たる特徴の一つである発話側の音声信号処理部を有する。この発話側の音声信号処理部は、２つのマイク１１Ｌ，１１Ｒで入力された左右２つの音声信号から、モノラル音声信号と、そのモノラル音声信号の音像方向を示す音像方向情報とを生成する。ただし、この発話側の音声信号処理部は符号化部１４以外に設けられていてもよい。
　また、符号化側の装置１０は、符号化されたデジタルデータを復号化側の装置３０に伝送するための通信部（図示せず）も備える。送信されるデジタルデータには、モノラル音声信号、映像信号の他に上記音像方向情報を含んでいる。
　復号化側の装置３０は、符号化側の装置１０から送信されたデータを受信する通信部（図示せず）を備える。以下、特に説明しないが、装置１０と装置３０との間のデータのやり取りは、通常、データのやり取りを管理するサーバを介して行われる。このデータのやり取りは、例えば、そのテレビ会議システムの専用の高セキュリティのサーバを介して行われてもよいし、一般的なチャットサーバを介して行われてもよい。
　復号化側の装置３０は、さらに復号化部３１、Ｄ／Ａコンバータ３２、複数の増幅器３３、及び３つ以上のスピーカ３４を備える。３つ以上のスピーカ３４は、水平方向に並べられており、スピーカアレイをなしている。
　そして、復号化側の装置３０は、本発明の主たる特徴の一つである受話側の音声信号処理部を有する。この受話側の音声信号処理部は、音声に関する処理を簡単に説明したように、他のテレビ会議装置から受信したモノラル音声信号及び音像方向情報を処理する受話側の音声信号処理部を有する。この受話側の音声信号処理部は、その詳細な例については後述するが、音像方向情報が示す音像方向を、３つ以上のスピーカ３４でなるスピーカアレイを発話側の装置における２つのマイクの位置を結ぶ線分と見做した時の音像方向に変換し、モノラル音声信号が変換後の音像方向に定位するように、変換後の音像方向に対応する１つあるいは複数のスピーカからモノラル音声信号が示す音声を出力させる処理を行う。
　復号化側の装置３０の各構成要素についてその概略を説明する。まず、復号化部３１は、他のテレビ会議装置から受信したデジタルデータを復号化し、復号化したデジタルデータのうち映像信号をディスプレイ３５に渡すとともに、モノラル音声信号及び音像方向情報をＤ／Ａコンバータ３２に渡す。ディスプレイ３５は、復号化部３１から入力された映像信号が示す映像を表示する。Ｄ／Ａコンバータ３２は、モノラル音声信号を音像方向情報を用いてその音像方向情報が示す音像方向のアナログ音声信号に変換し、出力させるスピーカ３４に対応する増幅器３３に出力する。各増幅器３３は、入力されたアナログ音声信号に対応するスピーカ３４に出力する。これにより、音像方向情報が示すスピーカ３４から対応する音声が出力される。ここで、音声の出力は、既存の技術により映像の表示と同期をとっておけばよい。
　このような構成のテレビ会議システムにおいて音声に注目し、音声の収音から再生までの概略を説明する。まず、発話者から発せられた音声は、左右２つのマイク１１Ｌ，１１Ｒで収音され、それぞれ増幅器１２Ｌ，１２Ｒによって増幅される。そして、Ａ／Ｄコンバータ１３によって標本化されて離散音声信号となり符号化部１４に入力される。符号化部１４では、入力された離散音声信号を処理することによってモノラル音声信号と音像方向情報とを生成し、符号化する。この符号化データが通信部によりネットワークＮを介して復号化側の装置３０に伝送される。
　伝送された信号はネットワークＮを経由して復号化側の装置３０の通信部で受信される。受信された符号データは、復号化部３１によって復号され、その結果、音像方向情報が示す位置情報を反映した音声信号が生成される。それがＤ／Ａコンバータ３２によってアナログ信号に変換され、複数の増幅器３３を通して複数のスピーカ３４によって再生される。
　図２を参照しながら、符号化部１４における音声信号処理に関する部分である、上記発話側の音声信号処理部を説明する。図２は、図１のテレビ会議システムの符号化部における音声信号処理部の一構成例を示すブロック図である。
　図２で例示する音声信号処理部２０は、前処理部２１、離散フーリエ変換部２２、信号分離抽出部２３、ゲイン調整部２４Ｌ，２４Ｓ，２４Ｒ、合成部２５、離散フーリエ逆変換部（逆離散フーリエ変換部）２６、後処理部２７、及び圧縮符号化処理部２８を備える。
　前処理部２１は、入力された左右の音声信号を読み込み、それぞれ窓関数演算を行う。離散フーリエ変換部２２は、それら信号を時間領域の表現から周波数領域の表現に変換する。信号分離抽出部２３は、変換後の音声信号を相関信号と左右チャネルそれぞれから分離される無相関信号に分離するとともに、音像方向情報の抽出も行う。抽出された音声方向情報は、圧縮符号化処理部２８に出力される。
　ゲイン調整部２４Ｌ，２４Ｓ，２４Ｒは、それぞれの分離された信号成分（左の無相関信号、相関信号、右の無相関信号）を入力し、それぞれスケーリング処理、つまりゲインを増加または減少させるゲイン係数乗算処理を施す。合成部２５は、スケーリング後の音声信号を足し合わせて、離散フーリエ逆変換部２６に出力する。なお、合成部２５は、３つの音声信号を加算処理（つまり重ね合わせ処理）するため、加算部あるいは重ね合わせ部とも言える。
　離散フーリエ逆変換部２６は、足し合わせた音声信号を、再び時間領域に戻し、後処理部２７に出力する。後処理部２７は、離散フーリエ逆変換部２６からの出力信号にノイズ除去処理を施して、圧縮符号化処理部２８に出力する。そして、圧縮符号化処理部２８は、後処理部２７で後処理後の音声信号と信号分離抽出部２３で抽出された音像方向情報とを、圧縮符号化する。
　以下、図３を併せて参照しながら、音声信号処理部２０の各部についてそれぞれ具体的な処理例を説明する。図３は、図２の音声信号処理部において音声データをバッファに蓄える様子を示す図である。
　まず、前処理部２１について説明する。前処理部２１は、１セグメントの半分の長さの音声データ（音声信号のデータ）を、図１におけるＡ／Ｄコンバータ１３から読み出す。ここで、音声信号は、Ａ／Ｄコンバータ１３によって例えば１６ｋＨｚの標本化周波数で標本化されているとする。また、セグメントとは、ある一定の長さの標本点群からなる音声データ区間であり、ここでは後ほど離散フーリエ変換の対象となる区間長を指すものとする。その値は例えば１０２４とする。この例では、１セグメントの半分の長さである５１２点の音声データが読み出し対象となる。
　読み出した５１２点の音声データは、図３で例示するようなバッファ３に蓄えられる。このバッファ３は、直前の１セグメント分の音声信号波形を保持しておけるようになっており、それより過去のセグメントは捨てていく。直前の半セグメント分のデータと最新の半セグメント分のデータを繋げて１セグメント分の音声データを作成し、そのデータに対して窓関数演算を行う。すなわち、全ての標本データは窓関数演算のために２回読み込まれることになる。
　窓関数演算では、従来提案されている次のＨａｎｎ窓を１セグメント分の音声データに乗算する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｍは自然数、Ｍは１セグメント長で偶数とする。ステレオの入力信号をそれぞれｘＬ（ｍ）、ｘＲ（ｍ）とすると、窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、
　　ｘ′Ｌ（ｍ）＝ｗ（ｍ）ｘＬ（ｍ）　、
　　ｘ′Ｒ（ｍ）＝ｗ（ｍ）ｘＲ（ｍ）　　　　　　　　　　　　　　　(2)
と計算される。このＨａｎｎ窓を用いると、例えば標本点ｍ０（ただし、Ｍ／２≦ｍ０＜Ｍ）の入力信号ｘＬ（ｍ０）にはｓｉｎ２（（ｍ０／Ｍ）π）が乗算される。そして、その次の回の読み込みではその同じ標本点がｍ０－Ｍ／２として読み込まれるので、
Figure JPOXMLDOC01-appb-M000002
 が乗算される。ここで、ｓｉｎ２（（ｍ０／Ｍ）π）＋ｃｏｓ２（（ｍ０／Ｍ）π）＝１であるから、もし、何も修正を加えずに読み込んだ信号を半セグメントずつずらして加算すれば、元の信号が完全に復元されることになる。
　そうして得られた音声データを、次の数式(3)のように離散フーリエ変換部２２で離散フーリエ変換し、周波数領域の音声データを得る。ここで、ＤＦＴは離散フーリエ変換を表し、ｋは自然数で、０≦ｋ＜Ｍである。ＸＬ（ｋ）、ＸＲ（ｋ）は複素数となる。
　　ＸＬ（ｋ）＝ＤＦＴ（ｘ′Ｌ（ｎ））　、
　　ＸＲ（ｋ）＝ＤＦＴ（ｘ′Ｒ（ｎ））　　　　　　　　　　　　(3)
　次に、信号分離抽出部２３について説明する。信号分離抽出部２３は、得られた周波数領域の音声データを小さい帯域に分割する。分割方法についてはEquivalent Rectangular Band（ＥＲＢ）を用い、ＥＲＢの帯域幅で０Ｈｚから標本化周波数の１／２の周波数までの間を分割する。ここで、ＥＲＢにより、与えられた周波数の上限ｆｍａｘ［Ｈｚ］までをいくつに分割するか、すなわちＥＲＢで分割した各帯域の索引の最大値Ｉは次式によって与えられる。
　　Ｉ＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ｆｍａｘ＋１））　(4)
　ただし、ｆｌｏｏｒ（ａ）はフロア関数で、実数ａを越えない整数の最大値を表す。
　そして、それぞれのＥＲＢ幅の帯域（以下、小帯域）の中心周波数Ｆｃ （ｉ）（１≦ｉ≦Ｉ）［Ｈｚ］は次式によって与えられる。
Figure JPOXMLDOC01-appb-M000003
　また、その時のＥＲＢの帯域幅ｂ（ｉ）［Ｈｚ］は次式によって求められる。
　　ｂ（ｉ）＝２４.７（０.００４３７Ｆｃ （ｉ）＋１）　　　　　　　　　　(6)
　よって、その中心周波数から低域側と高域側にそれぞれＥＲＢ／２の周波数幅だけシフトすることによりｉ番目の小帯域の両側の境界周波数ＦＬ （ｉ）、ＦＵ （ｉ）を求めることができる。したがって、ｉ番目の小帯域には、ＫＬ （ｉ）番目の線スペクトルからＫＵ （ｉ）番目の線スペクトルが含まれる。ここで、ＫＬ （ｉ）、ＫＵ （ｉ）はそれぞれ次の数式(7)、(8)で表される。
　　ＫＬ （ｉ）＝ｃｅｉｌ（２１.４ｌｏｇ１０（０.００４３７ＦＬ （ｉ）＋１））　(7)
　　ＫＵ （ｉ）＝ｆｌｏｏｒ（２１.４ｌｏｇ１０（０.００４３７ＦＵ （ｉ）＋１））(8)
　ただし、ｃｅｉｌ（ａ）は天井関数で、実数ａより小さくならない整数の最小値を表す。また、離散フーリエ変換した後の線スペクトルは、直流成分すなわち例えばＸＬ（０）を除いて、Ｍ／２（ただし、Ｍは偶数）を境に対称となっている。すなわち、ＸＬ（ｋ）とＸＬ（Ｍ－ｋ）は０＜ｋ＜Ｍ／２の範囲で複素共役の関係になる。したがって、以下ではＫＵ （ｉ）≦Ｍ／２の範囲を分析の対象として考え、ｋ＞Ｍ／２の範囲については複素共役の関係にある対称の線スペクトルと同じ扱いとする。
　これらの具体例を示す。例えば、標本化周波数が１６０００Ｈｚの場合、Ｉ＝３３となり、３３の小帯域に分割することとなる。ただし、直流成分は分割の対象とせず、どの小帯域にも含まないこととする。なぜならば、以下の方式では左右チャネルの正規化相関係数を求めるが、直流成分は複素数の実部しか持たないために正規化相関係数が１となるため、左右チャネルの直流成分が全て相関係数に割り当てられるという不適当な処理になってしまうからである。また、最も高い小帯域区間よりもさらに上の周波数に相当する線スペクトル成分も存在するが、それらは聴感上の影響も殆ど無く、さらに通常は値が微小であるため、それらは最も高い小帯域区間に含めることとして差し支えない。
　次に、このようにして決定される各小帯域において、左チャネルと右チャネルの正規化相関係数を次式で求めることで、相関係数を取得する。
Figure JPOXMLDOC01-appb-M000004
　この正規化相関係数ｄ（ｉ）は左右のチャネルの音声信号にどれだけ相関があるかを表すものであり、０から１の間の実数の値をとる。全く同じ信号同士であれば１、そして全く無相関の信号同士であれば０となる。ここで、左右のチャネルの音声信号の電力ＰＬ （ｉ）とＰＲ （ｉ）の両方が０である場合、その小帯域に関して相関信号と無相関信号の抽出は不可能とし、処理を行わず次の小帯域の処理に移ることとする。また、ＰＬ （ｉ）とＰＲ （ｉ）のいずれか片方が０である場合、数式(9)では演算不可能であるが、正規化相関係数ｄ（ｉ）＝０とし、その小帯域の処理を続行する。
　次に、この正規化相関係数ｄ（ｉ）を用いて、左右チャネルの音声信号から相関信号と無相関信号をそれぞれ分離抽出するための変換係数を求め、求めたそれぞれの変換係数を用いて、左右チャネルの音声信号から相関信号と無相関信号を分離抽出する。相関信号及び無相関信号は、いずれも推定した音声信号として抽出すればよい。
　変換係数の算出及び信号の分離抽出の処理例を説明する。ここで、左右チャネルそれぞれの信号は、無相関信号と相関信号から構成され、相関信号については左右から同じ信号が出力されるものとするモデルを採用する。そして、左右から出力される相関信号によって合成される音像は、その相関信号の左右それぞれの音圧のバランスによって方向が決定されるものとする。そのモデルに従うと、入力信号ｘＬ（ｎ）、ｘＲ（ｎ）は、
　　ｘＬ（ｍ）＝　ｓ（ｍ）＋ｎＬ（ｍ）、
　　ｘＲ（ｍ）＝αｓ（ｍ）＋ｎＲ（ｍ）　　　　　　　　　　　　(13)
と表される。ここで、ｓ（ｍ）は左右の相関信号、ｎＬ（ｍ）は左チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（左チャネルの）無相関信号として定義できるもの、ｎＲ（ｍ）は右チャネルの音声信号から相関信号ｓ（ｍ）を減算したものであって（右チャネルの）無相関信号として定義できるものである。また、αは相関信号の左右音圧バランスの程度を表す正の実数である。
　数式(13)により、数式(2)で前述した窓関数乗算後の音声信号ｘ′Ｌ（ｍ）、ｘ′Ｒ（ｍ）は、次の数式(14)で表される。ただし、ｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）はそれぞれｓ（ｍ）、ｎＬ（ｍ）、ｎＲ（ｍ）に窓関数を乗算したものである。
　　ｘ′Ｌ（ｍ）＝ｗ（ｍ）｛　ｓ（ｍ）＋ｎＬ（ｍ）｝＝　ｓ′（ｍ）＋ｎ′Ｌ（ｍ）、
　　ｘ′Ｒ（ｍ）＝ｗ（ｍ）｛αｓ（ｍ）＋ｎＲ（ｍ）｝＝αｓ′（ｍ）＋ｎ′Ｒ（ｍ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　(14)
　数式(14)を離散フーリエ変換することによって、次の数式(15)を得る。ただし、Ｓ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）はそれぞれｓ′（ｍ）、ｎ′Ｌ（ｍ）、ｎ′Ｒ（ｍ）を離散フーリエ変換したものである。
　　ＸＬ（ｋ）＝　Ｓ（ｋ）＋ＮＬ（ｋ）、
　　ＸＲ（ｋ）＝αＳ（ｋ）＋ＮＲ（ｋ）　　　　　　　　　　　　(15)
　したがって、ｉ番目の小帯域における音声信号ＸＬ （ｉ）（ｋ）、ＸＲ （ｉ）（ｋ）は、
　　ＸＬ （ｉ）（ｋ）＝　　　Ｓ（ｉ）（ｋ）＋ＮＬ （ｉ）（ｋ）、
　　ＸＲ （ｉ）（ｋ）＝α（ｉ）Ｓ（ｉ）（ｋ）＋ＮＲ （ｉ）（ｋ）
　　ただし、ＫＬ （ｉ）≦ｋ≦ＫＵ （ｉ）　　　　　　　　　　　　　　　　　(16)
と表現される。ここで、α（ｉ）はｉ番目の小帯域におけるαを表す。以後、ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）、無相関信号ＮＬ （ｉ）（ｋ）、ＮＲ （ｉ）（ｋ）をそれぞれ、
　　Ｓ（ｉ）（ｋ）＝Ｓ（ｋ）、
　　ＮＬ （ｉ）（ｋ）＝ＮＬ（ｋ）、
　　ＮＲ （ｉ）（ｋ）＝ＮＲ（ｋ）
　　ただし、ＫＬ （ｉ）≦ｋ≦ＫＵ （ｉ）　　　　　　　　　　　　　　　　　(17)
とおくこととする。
　数式(16)から、数式(12)の音圧ＰＬ （ｉ）とＰＲ （ｉ）は、
　　ＰＬ （ｉ）＝ＰＳ （ｉ）＋ＰＮ （ｉ）、
　　ＰＲ （ｉ）＝［α（ｉ）］２ＰＳ （ｉ）＋ＰＮ （ｉ）　　　　　　　　　　　　(18)
と表される。ここで、ＰＳ （ｉ）、ＰＮ （ｉ）はｉ番目の小帯域におけるそれぞれ相関信号、無相関信号の電力であり、
Figure JPOXMLDOC01-appb-M000005
 と表される。ここで、左右の無相関信号の音圧は等しいと仮定している。
　また、数式(10)～(12)より、数式(9)は、
Figure JPOXMLDOC01-appb-M000006
 と表すことができる。ただし、この算出においてはＳ（ｋ）、ＮＬ（ｋ）、ＮＲ（ｋ）が互いに直交し、かけ合わされたときの電力は０と仮定している。
　数式(18)と数式(20)を解くことにより、次の式が得られる。
Figure JPOXMLDOC01-appb-M000007
　これらの値を用いて、各小帯域における相関信号と無相関信号を推定する。ｉ番目の小帯域における相関信号Ｓ（ｉ）（ｋ）の推定値est（Ｓ（ｉ）（ｋ））を、媒介変数μ１、μ２を用いて、
　　est（Ｓ（ｉ）（ｋ））＝μ１ＸＬ （ｉ）（ｋ）＋μ２ＸＲ （ｉ）（ｋ）　　　(23)
とおくと、推定誤差εは、
　　ε＝est（Ｓ（ｉ）（ｋ））－Ｓ（ｉ）（ｋ）　　　　　　　　　　　(24)
と表される。ここで、est（Ａ）はＡの推定値を表すものとする。そして二乗誤差ε２が最少になるとき、εとＸＬ （ｉ）（ｋ）、ＸＲ （ｉ）（ｋ）はそれぞれ直交するという性質を利用すると、
　　Ｅ［ε・ＸＬ （ｉ）（ｋ）］＝０　、　Ｅ［ε・ＸＲ （ｉ）（ｋ）］＝０　(25)
という関係が成り立つ。数式(16)、(19)、(21)～(24)を利用すると、数式(25)から次の連立方程式が導出できる。
　　　　　（１－μ１－μ２α（ｉ））ＰＳ （ｉ）－μ１ＰＮ （ｉ）＝０
　　α（ｉ）（１－μ１－μ２α（ｉ））ＰＳ （ｉ）－μ２ＰＮ （ｉ）＝０
　　　　　　　　　　　　　　　　　　　　　　　　　　　　(26)
　この数式(26)を解くことによって、各媒介変数が次のように求まる。
Figure JPOXMLDOC01-appb-M000008
 　ここで、このようにして求まる推定値est（Ｓ（ｉ）（ｋ））の電力Ｐest（Ｓ） （ｉ）が、数式(23）の両辺を二乗して求まる次の式
　　Ｐest（Ｓ） （ｉ）＝（μ１＋α（ｉ）μ２）２ＰＳ （ｉ）＋（μ１ ２＋μ２ ２）ＰＮ （ｉ）　     　                                         　　　　　　 (28)
を満たす必要があるため、この式から推定値を次式のようにスケーリングする。なお、est′（Ａ）はＡの推定値をスケーリングしたものを表す。
Figure JPOXMLDOC01-appb-M000009
　そして、ｉ番目の小帯域における左右チャネルの無相関信号ＮＬ （ｉ）（ｋ）、ＮＲ （ｉ）（ｋ）に対する推定値est（ＮＬ （ｉ）（ｋ））、est（ＮＲ （ｉ）（ｋ））はそれぞれ、
　　est（ＮＬ （ｉ）（ｋ））＝μ３ＸＬ （ｉ）（ｋ）＋μ４ＸＲ （ｉ）（ｋ）　　(30)
　　est（ＮＲ （ｉ）（ｋ））＝μ５ＸＬ （ｉ）（ｋ）＋μ６ＸＲ （ｉ）（ｋ）　　(31)
とおくことにより、上述の求め方と同様にして、媒介変数μ３～μ６は、
Figure JPOXMLDOC01-appb-M000010
 と求めることができる。このようにして求めた推定値est（ＮＬ （ｉ）（ｋ））、est（ＮＲ （ｉ）（ｋ））も上述と同様に、次の式によってそれぞれスケーリングする。
Figure JPOXMLDOC01-appb-M000011
　数式(27)、(32)、(33)で示した各媒介変数μ１～μ６及び数式(29)、(34)、(35)で示したスケーリングの係数が、ステップＳ８６で求める変換係数に該当する。そして、ステップＳ８７では、これらの変換係数を用いた演算（数式(23)、(30)、(31)）により推定することで、相関信号と無相関信号（右チャネルの無相関信号、左チャネルの無相関信号）とを分離抽出する。
　以上のように、信号分離抽出部２３は、このようにして分離された信号を出力することになるが、次に説明するように、仮想音源への割り当て処理が施された信号を出力することになる。そのため、音声信号処理部２０は、左右のチャネル用のゲイン調整部２４Ｌ，２４Ｒと相関信号用のゲイン調整部２４Ｓとを有する。信号分離抽出部２３は、左チャネルより分離された無相関信号est'（ＮＬ （ｉ）（ｋ））を左チャネル用のゲイン調整部２４Ｌに出力し、右チャネルより分離された無相関信号est'（ＮＲ （ｉ）（ｋ））を右チャネル用のゲイン調整部２４Ｒに出力し、両チャネルより分離された相関信号est'（Ｓ（ｉ）（ｋ））を相関信号用のゲイン調整部２４Ｓに出力する。
　さらに、信号分離抽出部２３は、数式(21)のα（ｉ）を、音像方向情報として、圧縮符号化処理部２８に出力する。各小帯域におけるこの値は、数式(13)に示したように、相関信号成分の左右の音圧バランスを示す値であるため、この値とマイク間の距離が分かれば、音像位置を特定することができる。
　ゲイン調整部２４Ｌ，２４Ｓ，２４Ｒでは、それぞれの信号をスケーリングする。通常、左右のマイク１１Ｌ，１１Ｒから入力される音声には背景ノイズが混在しているが、そのような背景ノイズは、左右のチャネル間の相関性が低いので、無相関信号として分離される確率が高い。その一方、発話者の音声信号は、主に相関信号として分離される。したがって、左右チャネルの無相関信号を、ゲイン調整部２４Ｌ，２４Ｒによって、相関信号と比べ相対的に減圧するか、あるいは相関信号をゲイン調整部２４Ｓによって、左右無相関信号と比べ相対的に増圧すれば、背景ノイズを抑圧することができ、結果として入力音声を明瞭にすることができる。
　次に合成部２５にて、スケーリング後のそれら３つの信号を、全ての小帯域で足し合わせ、さらに足し合わせた後の３つの信号を１つの信号として足し合わせる。これを離散フーリエ逆変換部２６で離散フーリエ逆変換することによって、モノラルの音声信号が得られる。このモノラルの音声信号は、上に述べた通り、左右の音声信号がモノラルの音声信号に変換され、さらにノイズ成分が抑圧されたものとなっている。
　そうして得られたモノラル音声信号は、後処理部２７に出力される。ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述したとおり、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。
　次に、後処理部２７について説明する。後処理部２７はノイズ除去処理を行う。図４を参照して、ノイズ除去の対象となるノイズについて説明する。図４は、図２の後処理部２７に入力される音声信号の波形の一部を拡大した図である。図４に示す音声信号４０は、中央付近４１にあるように不連続点が生じている。このような不連続点は、信号分離抽出部２３を経ることにより後処理部２７に入力されるデータに多数含まれてしまうため、それらが再生時に耳障りなノイズとして知覚されてしまうことになる。このような不連続点は、この音声信号処理方式が直流成分を無視して処理するため、すなわち直流成分の線スペクトルを考慮しないために生じる。
　図５はそれを模式的に示した波形のグラフである。より詳細には、図５は、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を説明するための模式図である。図５に示すグラフ５０において、横軸は時間を表しており、例えば（Ｍ－２）（ｌ）という記号は、ｌ番目のセグメントのＭ－２番目の標本点であることを示している。グラフ５０の縦軸は、それらの標本点に対する出力信号の値である。このグラフ５０から分かるように、ｌ番目のセグメントの最後から（ｌ＋１）番目のセグメントの最初にかけての部分で不連続点が生じてしまう。
　この問題に対し、ノイズ除去処理を行う。この処理は、波形の不連続点をなくすことによってノイズを除去できる方法であればどのようなものでもよいが、ここでは図６及び図７を参照して、図５で説明したような問題を解決するためのこのような処理の一例について具体的に説明する。図６は、図２の後処理部２７で施される不連続点除去処理の一例を説明するための模式図で、左右チャネルの音声信号を離散フーリエ変換し左右チャネルの直流成分を無視した場合に、離散フーリエ逆変換後のセグメント境界に生じる波形の不連続点を除去する方法を説明するための模式図である。また、図７は、図４の音声信号に対し、図６の不連続点除去処理を施した結果を示す図である。
　後処理部２７で施される不連続点除去処理の例では、図６のグラフ６０で図５のグラフ５０に対する除去例を示すように、ｌ番目のセグメントの最後の波形の微分値と（ｌ＋１）番目のセグメントの先頭の微分値が一致するようにする。
　具体的には後処理部２７が、ｌ番目のセグメントの最後の２点による傾きが維持されるような（ｌ＋１）番目のセグメントの先頭の値となるよう、（ｌ＋１）番目のセグメントの波形に直流成分（バイアス）を加える。その結果、処理後の出力音声信号ｙ″ｊ（ｍ）は、処理前の出力音声信号をｙ′ｊ（ｍ）として、
　　ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ　　　　　　　　　　　　　　　　(36)
となる。Ｂはバイアスを表す定数であり、１回前の出力音声信号と今回の処理の出力音声信号が出力バッファで加算された後、図６のグラフ６０のように波形が連続するように決定される。
　また、図６で説明した不連続点除去処理のみでは、バイアス成分が蓄積してしまい、波形の振幅がオーバフローしてしまうことがある。
　したがって、次式のように、加算するバイアス成分（直流成分）の振幅の大きさを時間的に減少させることにより収束させることが好ましい。なお、「時間的に減少させる」とは、加算時点からの経過時間、例えば処理セグメント毎の開始点や不連続点の開始点からの経過時間に比例して減少させることを意味する。
　　ｙ″ｊ（ｍ）＝ｙ′ｊ（ｍ）＋Ｂ×（（Ｍ－ｍσ）／Ｍ）　　　　　(37)
ただし、σはその減少の程度を調整するパラメータであり、例えば０.５などとする。なお、減少のためにはＢ，σはいずれも正とする。さらに、加算用に求めたバイアスの値の絶対値がある一定以上となった場合には、その値に応じてσを動的に増減させるなどしてもよい。増減させるタイミングは次の処理セグメントでよい。これに限らず、減少させるための比例定数に相当するσを、バイアス値の絶対値（直流成分の振幅の大きさ）に応じて変更する（変化させる）ようにしておけば、フィードバック機能が働き、同様の効果が得られる。ただ、これらの方法では音声波形の振幅がオーバフローしないことを保障するものではない。
　よって、例えばバイアス値がある一定（所定値）以上の値になった場合には、数式(37)の第二項のバイアス項を加算しないようにする処理を安全弁の機能として加えてもよい。つまり、後処理部２７は、加算するために求めた直流成分の振幅が所定値未満である場合のみ、直流成分の加算を実行する（不連続点の除去を実行する）ことが好ましい。この方法を採用することにより、バイアス成分が蓄積しないようになる。
　また、例えば音声の子音部分など、音声信号がホワイトノイズに近いような場合、音声信号波形の変化が激しく元の波形が既に不連続に近いような状態になっているものがある。このような音声信号に上述した不連続点除去処理を適用すると、逆に波形を歪ませてしまう場合もある。つまり、元の波形が不連続に近いような状態の音声信号に対し、上述した不連続点除去処理を適用すると、この処理がそのような元々不連続の状態に近い波形を無理矢理連続にしようとするため、逆に波形を歪ませてしまう可能性がある。
　この問題を解消するために、後処理部２７では次に示す方法で不連続点除去処理（ノイズ除去処理）を行うことが好ましい。それは、音声の子音部分など信号がホワイトノイズに近いような場合、入力音声信号の波形が所定時間内（例えば処理セグメント内やその半分内）で０を交差する回数が、その他の部分に比べて極端に増加することを利用する。なお、０をどこに採るようにするかは任意に決めておけば済む。よって、出力音声信号（少なくとも離散フーリエ逆変換後の音声信号）が半セグメント長の中で０を交差する回数をカウントし、それが一定の値（所定回数）以上である場合には、その次のセグメントを所定回数以上存在する箇所とみなし、その次のセグメント処理において、数式(36)や数式(37)における右辺第二項のバイアス項を加算しないこととする。つまり、それ以外の箇所でのみ不連続点除去処理を実行する。なお、カウントは、セグメント境界とは関係なく一定時間の音声波形について実行してもよいし、複数のセグメント処理分の音声波形について実行してもよく、いずれの場合にもそのカウント結果から次のセグメント処理でバイアス項を加算するか否かを決めればよい。
　図４の音声信号４０における不連続点の箇所（中央付近４１）は、上述したようなノイズ除去処理により、図７の音声信号７０で示す通り、不連続点が解消され連続になっていることが分かる。このように不連続点を無くし、ノイズを除去できる。
　このようにして得られたモノラル音声信号と、信号分離抽出部２３より出力された音像方向情報は、圧縮符号化処理部２８で符号化される。モノラル音声信号は、広く普及している、Ｇ．７１１、７２２、７２３．１、７２８、７２９などの音声符号化標準方式によって符号化されてもよいし、ＶｏＩＰ（Voice over Internet Protocol）アプリケーションなどの独自プロトコルによって符号化されてもよい。
　音像方向情報α（ｉ）については、その値が１のときに左右の音圧が等しく、音像が左右マイクから等距離のところに推定されていることを意味する。よって、その値は１を境にして両側で確率が等しいことが期待される。したがって、そのような値を量子化するためには、例えば下記のように変換した値α′（ｉ）を用いれば、その値は－１から１の範囲に納まり、効率良く量子化することが可能となる。
　　α′（ｉ）＝（α（ｉ）－１）／（α（ｉ）＋１）　　　　　　　　　　　(38)
　このように変換したα′（ｉ）を、例えば１６ステップ（４ビット）に線形量子化する。この値は小帯域ごとに必要となるので、各値に４ビット必要ということになる。通常、テレビ会議では複数の発話者が同時に発話することは少なく、さらに発話者が発話しながら動き回ることも稀であるため、α′（ｉ）の符号化については、１つ前のフレームからの差分を符号化してもよいし、あるいは隣の小帯域の値からの差分を符号化してもよい。いずれにせよ、その値は０近傍となることが期待できるため、それをさらにハフマン符号化することによって、大幅な情報圧縮が可能となる。
　上述の音声信号については、ＩＴＵ－Ｒ　Ｈ．３２３など、既存の方式でそのまま伝送できるが、この音像位置情報については、音声信号とは別に伝送する必要がある。方法としては、もしユーザ定義のビットフィールドが存在する場合は、それで伝送すればよい。それが無い場合、例えばＧ．７１１や７２２のロスレス符号化の場合、音知覚にあまり影響しない下位ビットをこれに割り当てるなど、音声信号への埋め込みを行ってもよい。それ以外のロッシー符号化の場合は、例えば画像データの重要でない部分に、ＱＲコード（登録商標）のように埋め込むなどしてもよい。以上のようにして音像位置情報を伝送する。
　次に、図８を参照しながら、図１の復号化部３１における音声信号処理に関する部分である、上記受話側の音声信号処理部について説明する。図８は、図１のテレビ会議システムの復号化部における音声信号処理部の一構成例を示すブロック図である。
　図８で例示する音声信号処理部８０は、復号処理部８１、前処理部８２、離散フーリエ変換部８３、再生信号生成部８４、離散フーリエ逆変換部８５、及び後処理部８６を備える。
　復号処理部８１は、受信した符号語から、モノラル音声信号と音像方向情報とを抽出する。モノラル音声信号は前処理部８２に出力され、音像方向情報は再生信号生成部８４に出力される。前処理部８２は、符号化側の前処理部２１で行ったのと同様、窓関数演算を行う。符号化側では、ステレオ音声信号それぞれに対して演算を行ったが、復号化側ではモノラル音声信号に対して演算を行い、離散フーリエ変換部８３に結果を出力する。離散フーリエ変換部８３は、符号化側と同じ方法で、離散フーリエ変換を行い、前述と同様に信号を小帯域に分割して、その結果を再生信号生成部８４に出力する。
　再生信号生成部８４は、フーリエ変換後の信号と音像方向情報とを入力し、再生信号の生成を行う。このとき、この再生信号生成部８４が主となって、音像方向情報が示す音像方向を、スピーカアレイを２つのマイクの位置を結ぶ線分と見做した時の音像方向に変換し、モノラル音声信号が変換後の音像方向に定位するように、変換後の音像方向に対応する１つあるいは複数のスピーカからモノラル音声信号が示す音声を出力させるための信号に変換する。これにより、１つあるいは複数のスピーカから上記変換後の音像方向に定位した音声が出力できるようになる。
　以下、このような音声出力についてより詳細に説明する。
　再生する方式に関して、図９で模式的に図示したように２つのスピーカ９１Ｌ，９１Ｒを用いたステレオ（２ｃｈ）再生方式では、スイートスポット９２の領域の視聴者に対してのみ、音像方向が正しく聞こえることはよく知られている。この方式では、会議の複数の各参加者に対し、映像と音像方向を一致させることは困難である。
　よって、図１でも触れたように復号化側の装置３０は、図１０に示すように水平方向に直線状にスピーカアレイ１０１を配置しておき、音像方向に対応するスピーカのみから音声出力を行う。これにより、スイートスポット９２より広いスイートスポット１０２が得られ、どの参加者に対してもそのスピーカ付近に音像を定位させることが可能である。より好ましくは、水平方向に直線状に並べたスピーカアレイを用いてさらに広いスイートスポットを提供するＷａｖｅ　Ｆｉｅｌｄ　Ｓｙｎｔｈｅｓｉｓ（ＷＦＳ）方式などの波面合成再生方式によって、再生音を出力してもよい。
　この波面合成再生方式は、音源オブジェクト指向再生方式の一つの実装方式と言える。音源オブジェクト指向再生方式は、全ての音が、いずれかの音源オブジェクトが発する音であるとする方式であり、各音源オブジェクト（以下、「仮想音源」と呼ぶ。）が自身の位置情報と音声信号とを含んでいる。音楽コンテンツを例にとると、各仮想音源は、それぞれの楽器の音と楽器が配置されている位置情報とを含む。ＷＦＳ方式などの波面合成再生方式によって提供される音響空間内においてスピーカアレイと対面して音を聴いている受聴者は、実際にはスピーカアレイから放射される音が、スピーカアレイの後方仮想音源から放射されているかのような感覚を受ける。
　この波面合成再生方式では、仮想音源を表す入力信号を必要とする。そして、一般的に、１つの仮想音源には１チャネル分の音声信号とその仮想音源の位置情報が含まれることを必要とする。上述の音楽コンテンツを例にとると、例えば楽器毎に録音された音声信号とその楽器の位置情報ということになり、本発明を用いたテレビ会議では各発言者の位置情報ということになる。
　以下、そのようなアレイスピーカによる波面合成再生を行う例を挙げ、図１１～図１３を参照しながら、主に再生信号生成部８４の処理について説明する。図１１は、受聴者と左右のスピーカと合成音像との位置関係の例を説明するための模式図、図１２は、波面合成再生方式で使用するスピーカ群と仮想音源との位置関係の例を説明するための模式図、図１３は、図１２の仮想音源と受聴者及び合成音像との位置関係の例を説明するための模式図である。
　いま、図１１に示す位置関係１１０のように、受聴者から左右のスピーカ１１１Ｌ，１１１Ｒの中点にひいた線と、同じく受聴者１１３からいずれかのスピーカ１１１Ｌ／１１１Ｒの中心までひいた線がなす見開き角をθ０、受聴者１１３から推定合成音像１１２の位置までひいた線がなす見開き角をθとする。ここで、左右のスピーカ１１１Ｌ，１１１Ｒから同じ音声信号を、音圧バランスを変えて出力した場合、その出力音声によって生じる合成音像１０２の方向は、音圧バランスを表す前述のパラメータαを用いて次の式で近似できることが一般的に知られている（以下、立体音響におけるサインの法則と呼ぶ）。
Figure JPOXMLDOC01-appb-M000012
　よって、ｉ番目の小帯域における相関信号の合成音像の方向θ（ｉ）は次式によって求められる。ここで、θ０は予め決定しておく値で、例えばθ０＝π／６［ｒａｄ］などとしてよい。
Figure JPOXMLDOC01-appb-M000013
 　ここで伝送したのは数式(38)の値であるから、数式(40)は、
　　θ（ｉ）＝ｓｉｎ－１（α′（ｉ）ｓｉｎθ０）　　　　　　　　　　(41)
と書き換えられる。
　次に、図１２のように、波面合成再生方式における複数個の仮想音源を仮定し、スピーカアレイ１２１（図１０のスピーカアレイ１０１に相当）の後方に配置する。そうした場合、再生信号生成部８４では、２ｃｈの音声信号を仮想音源数の音声信号に変換することになる。例えば変換後のチャネル数を５つとした場合、それを図１２で示す位置関係１２０のように、波面合成再生方式における仮想音源１２２ａ～１２２ｅと見做し、スピーカ群（スピーカアレイ）１２１の後方に配置する。なお、仮想音源１２２ａ～１２２ｅにおける隣り合う仮想音源との間隔は均等とする。したがって、ここでの変換例では、２ｃｈの音声信号を５つの音声信号に変換することになる。
　再生信号生成部８４は、入力された離散フーリエ変換後のモノラル音声信号を、前記５つの仮想音源１２２ａ～１２２ｅのうち、隣接するいずれか２つの仮想音源に割り当てる。ここで、前提として５つの仮想音源の両端（仮想音源１２２ａ，１２２ｅ）より内側になることとする。すなわち、２ｃｈステレオ再生時の２つのスピーカによってなす見開き角内におさまるように５つの仮想音源１２２ａ～１２２ｅを配置するものとする。そして、合成音像の推定方向から、その合成音像を挟むような隣接する２つの仮想音源を決定し、その２つの仮想音源への音圧バランスの割り当てを調整して、その２つの仮想音源によって合成音像を生じさせるように再生する、という方法を採る。
　そこで、図１３で示す位置関係１３０のように、受聴者１３３から両端の仮想音源１２２ａ，１２２ｅの中点にひいた線と、端の仮想音源１２２ｅにひいた線とがなす見開き角をθ′０、受聴者１３３から合成音像１３１にひいた線とがなす見開き角をθ′とする。さらに、受聴者１３３から合成音像１３１を挟む２つの仮想音源１２２ｃ，１２２ｄの中点にひいた線と、受聴者１３３から両端の仮想音源１２２ａ，１２２ｅの中点にひいた線（受聴者１３３から仮想音源１２２ｃにひいた線）とがなす見開き角をφ０、受聴者１３３から合成音像１３１にひいた線とがなす見開き角をφとする。ここで、φ０は正の実数である。これらの変数を用いて仮想音源に割り当てる方法について説明する。
　まず、見開き角の差によるスケーリングを次の式のように行う。
　　θ′＝（θ′０／θ０）θ　　　　　　　　　　　　　　(42)
　これにより、仮想音源の配置による見開き角の差異が考慮され、変換されることになる。ただし、θ′０とθ０の値は、音声データ再生装置のシステム実装時に調整すればよく、またθ′０とθ０の値を等しくしなくても特に問題は生じないため、この例では、θ０＝π／６［ｒａｄ］、θ′０＝π／４［ｒａｄ］として説明する。
　次に、ｉ番目の合成音像の方向θ（ｉ）が数式(41)によって推定され、例えばθ（ｉ）＝π／１５［ｒａｄ］であったとすると、数式(42)よりθ′（ｉ）＝π／１０［ｒａｄ］となる。そして、仮想音源が５つの場合、図１３に示すように合成音像１３１は左から数えて３番目の仮想音源１２２ｃと４番目の仮想音源１２２ｄの間に位置することになる。また、仮想音源が５つである場合、３番目の仮想音源１２２ｃと４番目の仮想音源１２２ｄの間について、θ′０＝π／４［ｒａｄ］より、φ０≒０.０７８［ｒａｄ］となり、ｉ番目の小帯域におけるφをφ（ｉ）とすると、φ（ｉ）＝θ′（ｉ）－φ０≒０.０２２π［ｒａｄ］となる。このようにして、各小帯域における相関信号によって生じる合成音像の方向を、それを挟む２つの仮想音源の方向からの相対的な角度で表す。そして上述したように、その２つの仮想音源１２２ｃ，１２２ｄでその合成音像を生じさせることを考える。そのためには、２つの仮想音源１２２ｃ，１２２ｄからの出力音声信号の音圧バランスを調整すればよく、その調整方法については、再び数式(39)として利用した立体音響におけるサインの法則を用いる。
　ここで、ｉ番目の小帯域における相関信号によって生じる合成音像を挟む２つの仮想音源１２２ｃ，１２２ｄのうち、３番目の仮想音源１２２ｃに対するスケーリング係数をｇ１、４番目の仮想音源１２２ｄに対するスケーリング係数をｇ２とすると、３番目の仮想音源１２２ｃからはｇ１・est′（Ｓ（ｉ）（ｋ））、４番目の仮想音源１２２ｄからはｇ２・est′（Ｓ（ｉ）（ｋ））の音声信号を出力することになる。そして、ｇ１、ｇ２は立体音響におけるサインの法則により、
Figure JPOXMLDOC01-appb-M000014
 を満たせばよい。
　一方、３番目の仮想音源１２２ｃと４番目の仮想音源１２２ｄからの電力の合計が、符号化側の２ｃｈ収音時の相関信号の電力と等しくなるように次式のようにα（ｉ）を使ってｇ１、ｇ２を正規化すると、
　　ｇ１ ２＋ｇ２ ２＝１＋［α（ｉ）］２　　　　　　　　　　　　　　　(44)
となる。ただし、α（ｉ）は、受信したα′（ｉ）を用い、数式(38)の逆の演算を行うことにより求めることができる。
　これらを連立させることで、
Figure JPOXMLDOC01-appb-M000015
 と求められる。この数式(45)に上述のφ（ｉ）、φ０を代入することによって、ｇ１、ｇ２を算出する。このようにして算出したスケーリング係数に基づき、上述したように３番目の仮想音源１１２ｃにはｇ１・est′（Ｓ（ｉ）（ｋ））の音声信号を、４番目の仮想音源１２２ｄからはｇ２・est′（Ｓ（ｉ）（ｋ））の音声信号を割り当てる。そして、これも上述したように、無相関信号は両端の仮想音源１２２ａ，１２２ｅに割り当てられる。すなわち、１番目の仮想音源１２２ａにはest′（ＮＬ （ｉ）（ｋ））を、５番目の仮想音源１２２ｅにはest′（ＮＲ （ｉ）（ｋ））を割り当てる。
　この例とは異なり、もし合成音像の推定方向が１番目と２番目の仮想音源の間であった場合には、１番目の仮想音源にはｇ１・est′（Ｓ（ｉ）（ｋ））とest′（ＮＬ （ｉ）（ｋ））の両方が割り当てられることになる。また、もし合成音像の推定方向が４番目と５番目の仮想音源の間であった場合には、５番目の仮想音源にはｇ２・est′（Ｓ（ｉ）（ｋ））とest′（ＮＲ （ｉ）（ｋ））の両方が割り当てられることになる。
　以上のようにして、ｉ番目の小帯域についての左右チャネルの相関信号と無相関信号の割り当てが行われる。このような処理を全ての小帯域について行う。その結果、仮想音源の数をＪとすると、各仮想音源（出力チャネル）に対する周波数領域の出力音声信号Ｙ１（ｋ），・・・，ＹＪ（ｋ）が求まる。
　そして離散フーリエ逆変換部８５が、下式のように、得られた各出力チャネルを離散フーリエ逆変換することによって、時間領域の出力音声信号ｙ′ｊ（ｍ）を求める。ここで、ＤＦＴ－１は離散フーリエ逆変換を表す。
　　ｙ′ｊ（ｍ）＝ＤＦＴ－１（Ｙｊ（ｋ））　　　（１≦ｊ≦Ｊ）　(46)
　ここで、数式(3)で説明したように、離散フーリエ変換した信号は、窓関数乗算後の信号であったため、逆変換して得られた信号ｙ′ｊ（ｍ）も窓関数が乗算された状態となっている。窓関数は数式(1)に示すような関数であり、読み込みは半セグメント長ずつずらしながら行ったため、前述した通り、１つ前に処理したセグメントの先頭から半セグメント長ずつずらしながら出力バッファに加算していくことにより変換後のデータを得る。
　変換後のデータは、符号化側での処理と同様に、図８の後処理部８６においてノイズ除去処理を行う。このようにして、各スピーカに対する出力音声を得る。
　ここでは、スピーカアレイ１２１は、演算量を少なくするために、ディスプレイの正面方向に音を発するように正面方向を向いて設置されていることを前提として説明したが、これに限ったものではない。
　また、５つの仮想音源を仮定する例を示したが、仮想音源ではなく実際のスピーカに直接、上述と同じようにして再生音を割り当ててもよい。その場合、１つの小帯域が担当する出力音は、１つのスピーカあるいは隣接する２つのスピーカのみから再生されることとなる。
　以上のようなテレビ会議システムにより音声を収音して符号化し、伝送して復号化すれば、映像と音像方向を一致させた実在感がある映像＋音声を遠隔地に伝送することが可能となる。さらに、本発明に係るテレビ会議装置では、上述のように符号化時に音像方向情報を抽出する処理に伴ってノイズも低減できるため、明瞭な音質で伝送できる。
　本発明では、発話側は、映像信号とともにモノラル音声信号と僅かな付加情報（音像方向情報）を伝送するように構成しておくだけでよいため、既存のテレビ会議システムの端末にそのような構成を加えることは容易である。また、既存のテレビ会議システムの端末においてそのような構成を付加しない場合でも、例えば受話側のテレビ会議装置で音像方向情報を例えば中央などの所定の方向に予め決めておけば、テレビ会議自体は遂行できる。さらに、ステレオ音声信号を受信した場合にも対応できる。例えば、ステレオ音声信号を受信した場合に、図２の発話側の音声信号処理部２０を利用して音像方向を得て、図８の受話側の音声信号処理部８０により図１のスピーカ３４でなるスピーカアレイから出力するように構成しておけばよい。このように、本発明に係るテレビ会議装置では、モノラル音声信号のやり取りを行うため、既存のテレビ会議システムの機器との互換性が高い。
　また、本発明に係るテレビ会議装置では、音像方向情報の送信及び音像方向情報からのスピーカアレイへのモノラル音声信号の割り当てを可能とするだけでこのような効果が得られるため、コストを大きく増加させることもない。
　また、双方向通信のテレビ会議システムを考慮すると、本発明に係るテレビ会議装置に、マイクで拾ったスピーカからの音声をキャンセルするようなエコーキャンセリングシステムを加えることが好ましい。本発明ではモノラル音声を使用しているため、エコーキャンセリングシステムも従来電話やテレビ会議システムで広く使用されている１入力１出力用のエコーキャンセリングシステムを使用でき、多入力・多出力用の複雑なエコーキャンセリングシステムは必要としない。
　次に、スピーカとマイクの配置方法について、図１４～図１８を参照しながら説明する。図１４～図１８はそれぞれ、本発明に係るテレビ会議装置の例を示す外観図であり、図１のテレビ会議システムにおける符号化側の装置１０と復号化側の装置３０の双方の機能を兼ね備えたテレビ会議装置の例を示す外観図である。なお、図１４～図１８のいずれにおいても、スピーカアレイを構成するスピーカの数は図示したものに限らず、複数であればよい。
　図１４で示すテレビ会議装置１４０のように、ディスプレイ１４１の両端に離して２つのマイク１４２Ｌ，１４２Ｒを配置し、ディスプレイ１４１の下部にスピーカアレイ１４３（この例では８個のスピーカでなるアレイ）を配置してもよい。図１４のように２つのマイク１４２Ｌ，１４２Ｒを離して設置する場合、発話者がいる空間的範囲を広くカバーするためマイクは無指向性であることが望ましく、その場合、本発明によって精度良く音像位置を推定することが可能となる。ただし、発話者がディスプレイの左右どちらかよりに位置することが多い場合に適したテレビ会議装置としては、図１４に示すマイク１４２Ｌ，１４２Ｒの位置に、指向性マイクを設置することが好ましい。
　また、図１５で示すテレビ会議装置１５０のように、２つのマイク１５２Ｌ，１５２Ｒをディスプレイ１５１の上部に配置して、ディスプレイ１５１の下部に設けたスピーカアレイ１５３との距離を空け、なるべくマイク１５２Ｌ，１５２Ｒに再び入る出力音声を少なくするような配置をしてもよい。あるいは、図１６で示すテレビ会議装置１６０のように、複数枚（この例では４枚）のディスプレイ１６１ａ～１６１ｄを組み合わせた大型ディスプレイに適用してもよい。つまり、その大型ディスプレイの両端に離して２つのマイク１６２Ｌ，１１６２Ｒを配置し、その大型ディスプレイの下部にスピーカアレイ１６３（この例では１５個のスピーカでなるアレイ）を配置してもよい。
　また、スピーカアレイの配置についても、図１７で示すテレビ会議装置１５０のように、両端に離して２つのマイク１７２Ｌ，１７２Ｒが配置されたディスプレイ１７１の上部に、スピーカアレイ１７３を配置してもよい。
　また、図１８で示すテレビ会議装置１８０のように、指向性を有する２つのマイク１８２Ｌ，１８２Ｒを左右両側の開き方向に向けるように、ディスプレイ１８１の下部であってスピーカアレイ１８３が配置されたやや上に設置するなどしてもよい。なお、マイク１８２Ｌ，１８２Ｒは、スピーカアレイ１８３のやや下に配置してもよいし、ディスプレイ１８１の上部に配置してもよい。このように、２つのマイクは、ディスプレイの上部あるいは下部に隣接して設置された指向性マイクであってもよい。
　また、本発明におけるテレビ会議装置では、水平方向のスピーカを用いており、上下方向の映像と音像の一致については考慮していない。その理由は、一般的に人間は、上下方向の音像知覚については、水平方向と比べ精度が低いとされているため、水平方向に音像と映像を一致させれば、映像と音像との距離は比較的近くなるので、それに加え、映像と同期する音声はあたかも映像の方から聞こえる、いわゆる腹話術効果の補助効果により、発話者から音声が聞こえるシステムを提供することができる。
　なお、本発明で適用可能な波面合成再生方式としては、上述したようにスピーカアレイ（複数のスピーカ）を備えて仮想音源に対する音像としてそれらのスピーカから出力するようにする方式であればよく、上述したＷＦＳ方式の他、人間の音像知覚に関する現象としての先行音効果（ハース効果）を利用した方式など様々な方式が挙げられる。ここで、先行音効果とは、同一の音声を複数の音源から再生し、音源それぞれから聴取者に到達する各音声に小さな時間差がある場合、先行して到達した音声の音源方向に音像が定位する効果を指し示したものである。この効果を利用すれば、仮想音源位置に音像を知覚させることが可能となる。ただし、その効果だけで音像を明確に知覚させることは難しい。ここで、人間は音圧を最も高く感じる方向に音像を知覚するという性質も持ち合わせている。したがって、テレビ会議装置において、上述の先行音効果と、この最大音圧方向知覚の効果とを組み合わせ、これにより、少ない数のスピーカでも仮想音源の方向に音像を知覚させるように構成することもできる。
　また、例えば図２で例示した音声信号処理部２０や図８で例示した音声信号処理部８０における各構成要素、あるいは図１で例示した構成要素１３，１４，３１，３２など、本発明に係るテレビ会議装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
　また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、テレビ会議装置となる汎用コンピュータ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
　３…バッファ、１０…符号化側の装置、１１Ｌ，１１Ｒ…マイク、１２Ｌ，１２Ｒ…増幅器、１３…Ａ／Ｄコンバータ、１４…符号化部、１５…カメラ、２０…発話側の音声信号処理部、２１…前処理部、２２…離散フーリエ変換部、２３…信号分離抽出部、２４Ｌ，２４Ｓ，２４Ｒ…ゲイン調整部、２５…合成部、２６…離散フーリエ逆変換部、２７…後処理部、２８…圧縮符号化処理部、３０…復号化側の装置、３１…復号化部、３２…Ｄ／Ａコンバータ、３３…増幅器、３４…スピーカ、３５…ディスプレイ、８０…受話側の音声信号処理部、８１…復号処理部、８２…前処理部、８３…離散フーリエ変換部、８４…再生信号生成部、８５…離散フーリエ逆変換部、８６…後処理部。

Claims (5)

  1. 　左右の２つのマイクと、該２つのマイクによって収音する対象の空間を撮影するカメラとを発話用に備えるとともに、３つ以上のスピーカが水平方向に並べられたスピーカアレイと、ディスプレイとを受話用に備え、ネットワークを介して他のテレビ会議装置と通信するテレビ会議装置であって、
    　前記他のテレビ会議装置において２つのマイクで収音された左右２つの音声信号から生成・送信された、モノラル音声信号及び該モノラル音声信号の音像方向を示す音像方向情報を、処理する受話側の音声信号処理部を備え、
    　該受話側の音声信号処理部は、前記音像方向情報が示す音像方向を、前記スピーカアレイを前記他のテレビ会議装置の前記２つのマイクの位置を結ぶ線分と見做した時の音像方向に変換し、前記モノラル音声信号が変換後の音像方向に定位するように、該変換後の音像方向に対応する１つあるいは複数の前記スピーカから前記モノラル音声信号が示す音声を出力させる処理を行うことを特徴とするテレビ会議装置。
  2. 　前記テレビ会議装置は、前記２つのマイクで入力された左右２つの音声信号から、モノラル音声信号、及び該モノラル音声信号の音像方向を示す音像方向情報を生成する発話側の音声信号処理部を、更に備えたことを特徴とする請求項１に記載のテレビ会議装置。
  3. 　前記２つのマイクは、前記ディスプレイの両端に離して設置された無指向性マイクであることを特徴とする請求項１または２に記載のテレビ会議装置。
  4. 　前記２つのマイクは、前記ディスプレイの両端に離して設置された指向性マイクであることを特徴とする請求項１または２に記載のテレビ会議装置。
  5. 　前記２つのマイクは、前記ディスプレイの上部あるいは下部に隣接して設置された指向性マイクであることを特徴とする請求項１または２に記載のテレビ会議装置。
PCT/JP2012/062665 2011-05-26 2012-05-17 テレビ会議装置 WO2012161089A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011117747A JP5912294B2 (ja) 2011-05-26 2011-05-26 テレビ会議装置
JP2011-117747 2011-05-26

Publications (1)

Publication Number Publication Date
WO2012161089A1 true WO2012161089A1 (ja) 2012-11-29

Family

ID=47217167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/062665 WO2012161089A1 (ja) 2011-05-26 2012-05-17 テレビ会議装置

Country Status (2)

Country Link
JP (1) JP5912294B2 (ja)
WO (1) WO2012161089A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108144A (zh) * 2014-07-21 2018-06-01 联想(北京)有限公司 一种电子设备及信息处理方法
CN111147792A (zh) * 2019-12-05 2020-05-12 商客通尚景科技（上海）股份有限公司 补全视频会议记录的方法及设备
WO2021243633A1 (en) * 2020-06-04 2021-12-09 Plantronics, Inc. Optimal view selection in a teleconferencing system with cascaded cameras
US20220101855A1 (en) * 2020-09-30 2022-03-31 Hewlett-Packard Development Company, L.P. Speech and audio devices

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191516B2 (en) * 2013-02-20 2015-11-17 Qualcomm Incorporated Teleconferencing using steganographically-embedded audio data
JP5780259B2 (ja) * 2013-03-26 2015-09-16 ソニー株式会社 情報処理装置、情報処理方法、プログラム
CN107211192B (zh) * 2015-01-30 2020-11-06 夏普株式会社 上报信息的方法
US10979803B2 (en) 2017-04-26 2021-04-13 Sony Corporation Communication apparatus, communication method, program, and telepresence system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189304A (ja) * 1991-10-07 1994-07-08 Noobasu:Kk テレビ会議用装置
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
JP2005341015A (ja) * 2004-05-25 2005-12-08 Hitachi Hybrid Network Co Ltd 議事録作成支援機能を有するテレビ会議システム
WO2010036059A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
JP2011509589A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027246A (ja) * 2007-07-17 2009-02-05 Yamaha Corp テレビ会議装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189304A (ja) * 1991-10-07 1994-07-08 Noobasu:Kk テレビ会議用装置
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
JP2005341015A (ja) * 2004-05-25 2005-12-08 Hitachi Hybrid Network Co Ltd 議事録作成支援機能を有するテレビ会議システム
JP2011509589A (ja) * 2008-01-01 2011-03-24 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
WO2010036059A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108144A (zh) * 2014-07-21 2018-06-01 联想(北京)有限公司 一种电子设备及信息处理方法
CN111147792A (zh) * 2019-12-05 2020-05-12 商客通尚景科技（上海）股份有限公司 补全视频会议记录的方法及设备
WO2021243633A1 (en) * 2020-06-04 2021-12-09 Plantronics, Inc. Optimal view selection in a teleconferencing system with cascaded cameras
US11803984B2 (en) 2020-06-04 2023-10-31 Plantronics, Inc. Optimal view selection in a teleconferencing system with cascaded cameras
US20220101855A1 (en) * 2020-09-30 2022-03-31 Hewlett-Packard Development Company, L.P. Speech and audio devices

Also Published As

Publication number Publication date
JP2012248986A (ja) 2012-12-13
JP5912294B2 (ja) 2016-04-27

Similar Documents

Publication Publication Date Title
JP5912294B2 (ja) テレビ会議装置
CN111316354B (zh) 目标空间音频参数和相关联的空间音频播放的确定
US9313599B2 (en) Apparatus and method for multi-channel signal playback
US9219972B2 (en) Efficient audio coding having reduced bit rate for ambient signals and decoding using same
KR20080078882A (ko) 입체 오디오 신호 디코딩
JP5906312B2 (ja) スペクトル重みジェネレータを使用する周波数領域処理を用いてステレオ録音を分解するための方法および装置
US11838743B2 (en) Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using diffuse compensation
WO2010125228A1 (en) Encoding of multiview audio signals
JP2015528925A (ja) オーディオ信号処理装置および方法
WO2009125046A1 (en) Processing of signals
US9311925B2 (en) Method, apparatus and computer program for processing multi-channel signals
Alexandridis et al. Directional coding of audio using a circular microphone array
RU2782511C1 (ru) Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием компенсации прямых компонент
RU2772423C1 (ru) Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием генераторов компонент низкого порядка, среднего порядка и высокого порядка
RU2779415C1 (ru) Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием диффузной компенсации

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12789484

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12789484

Country of ref document: EP

Kind code of ref document: A1