WO2007007444A1 - 音声伝達システム、および通信会議装置 - Google Patents
音声伝達システム、および通信会議装置 Download PDFInfo
- Publication number
- WO2007007444A1 WO2007007444A1 PCT/JP2006/304994 JP2006304994W WO2007007444A1 WO 2007007444 A1 WO2007007444 A1 WO 2007007444A1 JP 2006304994 W JP2006304994 W JP 2006304994W WO 2007007444 A1 WO2007007444 A1 WO 2007007444A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- microphone
- speaker
- information
- directivity
- sound source
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M7/00—Arrangements for interconnection between switching centres
- H04M7/0093—Arrangements for interconnection between switching centres signalling arrangements in networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Definitions
- the present invention relates to a sound transmission system, and more particularly to a sound transmission system that detects the position of a sound source and performs realistic sound field control.
- a communication conference system is generally configured such that a conference participant's voice is collected by a plurality of microphones, mixed, and then transmitted. On the receiving side, audio is played from all speakers with the same volume and phase. In the case of such a teleconference system, it is difficult to understand who spoke to the receiving side because it is played back with the same sound image regardless of who the conference participant utters.
- Patent Document 1 JP-A-9-261351
- the audio conference call apparatus described in Patent Document 1 determines the position of the speaker and the speaker from the time waveform and frequency spectrum of the microphone input signal, and transmits the position information together with the audio data.
- the receiving side controls the volume of each speaker based on the received position information.
- a switching switch is provided to pick up sound from the maximum input microphone among the microphones, and the receiving side is set to generate sound from the speaker corresponding to the picked up microphone.
- Each microphone is provided with a switching switch so as to collect sound from the maximum input microphone among the microphones.
- a switching switch so as to collect sound from the maximum input microphone among the microphones.
- An object of the present invention is to provide a sound transmission system that can perform a realistic sound field control with a simple configuration. Means for solving the problem
- the sound transmission system of the present invention includes a microphone array including a plurality of microphone units installed at a first location, a speaker array including a plurality of speaker units installed at a second location, and a first A position detection means for detecting a sound source position present at the place; a microphone-side signal processing means for setting a directivity characteristic of the microphone array at a position of the sound source detected by the position detection means; and the microphone array with the directivity characteristic.
- the transmitting means for transmitting the voice data collected by the transmitter together with the direction characteristic information
- the receiving means for receiving the voice data transmitted by the transmission means together with the directivity information, and the first directivity information.
- Speaker-side signal processing means for setting directivity characteristics of the speaker array so that a virtual sound source is formed at the sound source position at the location.
- the position of the sound source at the first location is specified, and the directivity characteristic of the microphone sensitivity is set at the position.
- the collected audio data is transmitted to the second location (receiving side) along with its directivity.
- a virtual sound source is formed at the sound source position on the transmitting side based on the directivity. For example, when a speaker located behind the right side as viewed from the receiving side (on the left side on the transmitting side) utters voice, the voice is played from the right side.
- the audio transmission system of the present invention includes a first microphone array including a plurality of microphones installed at a first location and a plurality of speaker units installed at a second location.
- a second speaker array ; first position detecting means for detecting a sound source position existing at the first location; and the first microphone at the position of the sound source detected by the first position detecting means.
- First microphone-side signal processing means for setting the directivity characteristics of the array, first transmission means for transmitting sound data collected by the first microphone array with the directivity characteristics together with the directivity characteristics information, and A second receiving means for receiving the audio data transmitted by the first transmitting means together with the directional characteristic information; and a virtual sound source is formed at the sound source position in the first place based on the directional characteristic information.
- a second speaker-side signal processing means for setting the directivity of the second speaker array; a second microphone array comprising a plurality of microphone units installed at the second location; and a second microphone array installed at the first location.
- a first speaker array comprising a plurality of speaker units, a second position detecting means for detecting a sound source position existing at a second location, and the position of the sound source detected by the second position detecting means.
- a second microphone-side signal processing means for setting a directivity characteristic of the second microphone array; and voice data collected by the second microphone array with the directivity characteristic together with the directivity information.
- First speaker-side signal processing means for setting the directivity of the first speaker array so that a typical sound source is formed.
- the voice data collected from the first place to the second place is transmitted together with the directivity characteristics, while the voice data collected from the second place to the first place is transmitted. It is transmitted along with its directivity.
- a virtual sound source is formed at the sound source position on the transmitting side.
- the position detecting unit detects a plurality of sound source positions
- the microphone-side signal processing unit sets directivity characteristics of the microphone array at a plurality of sound source positions
- the information transmitting unit includes a plurality of sound source positions. Audio data is transmitted together with information on each directional characteristic
- the information receiving means receives a plurality of audio data together with information on each directional characteristic
- the speaker-side signal processing means is a virtual sound source at a plurality of sound source positions.
- the directional characteristics of the speaker array may be set so that is formed.
- the audio transmission system detects a plurality of sound source positions on the transmission side and sets the directivity characteristics of the microphone sensitivity. In addition, this system transmits a plurality of collected sound data to the receiving side together with the respective directional characteristics. Each receiver is oriented Based on the characteristics, a virtual sound source is formed at each of a plurality of sound source positions on the transmission side.
- the communication conference device of the present invention includes the first microphone array, the first speaker array, the first position detecting means, the first microphone-side signal processing means, the first information transmitting means, and the first information described above.
- the information receiving means and the first speaker side signal processing means are integrally provided.
- the position of the sound source is specified on the transmission side
- the directivity characteristic of the microphone sensitivity is set for the sound source
- the virtual sound source is formed at the sound source position on the transmission side on the reception side.
- FIG. 1 is a schematic diagram showing a configuration of a communication conference system according to an embodiment of the present invention.
- FIG. 2 is a block diagram showing a communication conference device and a terminal unit according to the embodiment of the present invention.
- FIG. 3 is a diagram showing position measurement of the terminal unit shown in FIG. 2.
- FIG. 4A is a diagram illustrating the directivity characteristics of the transmitting microphone array in the embodiment of the present invention.
- FIG. 4B is a diagram illustrating the directivity characteristics of the receiving speaker array in the embodiment of the present invention.
- FIG. 5A is a diagram showing an example of a transmission / reception packet used in the embodiment of the present invention.
- FIG. 5B is a diagram showing an example of a transmission / reception packet used in the embodiment of the present invention.
- FIG. 5C is a diagram showing an example of a transmission / reception packet used in the embodiment of the present invention.
- FIG. 5D is a diagram showing an example of a transmission / reception packet used in the embodiment of the present invention.
- FIG. 6 is a flowchart showing the position measurement operation in the embodiment of the present invention.
- FIG. 7 is a flowchart showing the operation at the start of the conference in the embodiment of the present invention.
- FIG. 8 is a flowchart showing the operation on the transmission side in the embodiment of the present invention.
- FIG. 9 is a flowchart showing the operation on the reception side in the embodiment of the present invention.
- FIG. 1 is a schematic diagram showing a configuration of a communication conference system according to an embodiment of the present invention.
- this communication conference system includes a communication conference device 1 installed in each of a plurality of conference rooms, and a terminal unit 2 carried by each conference participant.
- the communication conference device 1 is installed in each conference room.
- the teleconferencing device 1 is connected via a network (LAN or Internet) or a telephone line.
- the terminal unit 2 is a remote control carried by the conference participants.
- the conference participants use this terminal unit 2 to notify the start of the conference.
- the terminal unit 2 may be carried by each conference participant or may be installed on a desk. All participants in the meeting It is not necessary to have the terminal unit 2 for each minute, and it is sufficient that each conference room has one or more.
- FIG. 2 is a block diagram showing configurations of the communication conference device 1 and the terminal unit 2.
- the communication conference device 1 controls the microphone array 11 that collects voice, the speaker array 12 that outputs voice, the infrared communication unit 13 that communicates information with the terminal unit 2, and the communication conference device 1.
- the data transmission / reception part 15 which communicates information with the control part 14 and another communication conference apparatus is provided.
- the terminal unit 2 includes a terminal unit microphone 21 that inputs voice, a terminal unit control unit 22 that controls the terminal unit, a terminal unit infrared communication unit 23 that communicates information with the communication conference device 1, and a user interface that is operated by the user.
- 24 is a block diagram showing configurations of the communication conference device 1 and the terminal unit 2.
- the communication conference device 1 controls the microphone array 11 that collects voice
- the speaker array 12 that outputs voice
- the infrared communication unit 13 that communicates information with the terminal unit 2
- the data transmission / reception part 15 which communicates information with the control part 14 and another communication conference apparatus is
- the control unit 14 of the communication conference device 1 is connected to the microphone array 11, the speaker array 12, the infrared communication unit 13, and the data transmission / reception unit 15.
- the terminal unit control unit 22 is connected to the terminal unit microphone 21, the terminal unit infrared communication unit 23, and the user interface 24.
- the control unit 14 of the communication conference device 1 controls the directivities of the microphone array 11 and the speaker array 12. Since the microphone array 11 and the speaker array 12 have a configuration in which a plurality of microphone units (speaker units) are arranged in a matrix shape, a line shape, or a honeycomb shape, the directivity is controlled by controlling these delay amounts. be able to.
- the synthesized wavefront of these sounds is inclined according to the delay time. Therefore, the sound beam can be directed obliquely. In this way, the delay amount of the speaker array can be controlled, and the sound image can be localized for the conference participants in front of the communication conference device 1.
- the microphone sensitivity can be directed in a predetermined direction by controlling the delay amount of each microphone unit.
- the control unit 14 transmits the voice input from the microphone array 11 to the data transmission / reception unit 15.
- the control unit 14 incorporates an AZD converter as necessary, and transmits the collected voice to the data transmission / reception unit 15 as voice data.
- the data transmitter / receiver 15 Audio data is transmitted to the data transmitter / receiver 15 of the communication conference device 1 in another conference room connected to the network.
- the data transmitter / receiver 15 of the other conference room that has received the audio data transmits the audio data to the connected controller 14.
- the control unit 14 D / A converts the audio data and outputs it to the speaker array 12 to output the audio. In this way, the sound produced by the conference participants is picked up by the microphone array 11 and emitted from the speaker array 12 in another conference room.
- the terminal unit control unit 22 performs various operations according to operations input from the user interface 24.
- the terminal unit control unit 22 transmits the conference start notification to the communication conference device 1 via the terminal unit infrared transmission / reception unit 23.
- the control unit 14 of the communication conference device 1 that has received the conference start notification via the infrared communication unit 13 transmits a connection request to another conference room to the data transmission / reception unit 15.
- the data transmitter / receiver 15 starts communication with the data transmitter / receiver 15 of another conference room.
- the terminal unit control unit 22 transmits the instruction information to change the volume to the communication conference device 1 via the terminal unit infrared transmission / reception unit 23. To do.
- the terminal unit microphone 21 receives sound waves from the communication conference device 1.
- the communication conference system of this embodiment performs the following operations.
- the control unit 14 emits sound waves from one of the speaker arrays 12 and starts a counter (timer).
- the terminal unit control unit 22 that has received the sound wave via the terminal unit microphone 21 transmits a reception signal to the communication conference device 1 via the terminal unit infrared communication unit 23.
- the control unit 14 that has received the reception signal via the infrared communication unit 13 stops the counter and measures the time from when the sound wave is emitted until the reception signal is received, thereby determining the distance between the speaker unit and the terminal unit 2. taking measurement. Such distance measurement is measured by a plurality of speaker units, and the position of the terminal unit 2 is specified.
- FIG. 3 shows details of the position measurement of the terminal unit. As shown in the figure, a plurality of (two in the figure) microphone units 11A (microphone units 11B) and A plurality of speaker units 12A (speaker units 12B) are provided.
- microphone units 11A microphone units 11B
- speaker units 12A speaker units 12B
- the distance between the center position of the microphone unit 11A and the speaker unit 12A and the center position of the other microphone unit 11B and the speaker unit 12B is W. Also, the distance between the center position of one microphone unit 11A and speaker unit 12A and the terminal unit 2 is D1, and the distance between the center position of the other microphone unit 11B and speaker unit 12B and the terminal unit 2 is D2.
- the interior angle of the vertex drawn between W and D1 is ⁇ .
- This ⁇ can be obtained by the following cosine theorem.
- D2 2 D1 2 + W 2 - 2x DlxW cos ( ⁇ 9)
- the center position coordinate of the communication conference device 1 is (0, 0). Then, the position coordinate (XI, Y1) where the terminal unit 2 exists is expressed by the following equation.
- the communication conference device 1 can measure the position of the terminal unit 2. This position measurement is performed for all terminal units 2 when there are multiple terminal units 2. If each conference participant has a terminal unit 2, the location of each terminal unit 2 is regarded as the conference participant's location. If the number of terminal units 2 is less than the number of conference participants or the number of terminal units 2 is one, the above location measurement is performed at the location of each conference participant, and the measured location information Is stored in the memory (not shown) of the communication conference device 1 as the position of the conference participant.
- the position measurement is not limited to the above-described method, and may be another method such as specifying the position by image recognition.
- the control unit 14 controls the directivity of the microphone array 11.
- the microphone unit 11 is set so that the sensitivity of the microphone array 11 is suitable for the position of the terminal unit 2, and the voice of the speaker is collected efficiently. Also, For the position far from the conference device 1, the gain of the microphone array 11 is increased.
- the location information of each terminal unit 2 (location information of conference participants) is transmitted to the communication conference device 1 in another conference room.
- the control unit 14 of the communication conference device 1 in another conference room sets the directivity characteristics of the speaker array 12 according to the received location information of the terminal unit 2.
- the directivity of the speaker array is controlled so that sound is emitted from the position coordinates when viewed from the transmission side. Let it be localized.
- FIGS. 4A and 4B are diagrams for explaining directivity characteristics.
- Figure 4A shows the microphone array on the transmitting side
- FIG. 11 is a diagram showing 11 directivity characteristics.
- the speech uttered by the conference participants arrives in order from the nearest microphone unit, but delays each microphone unit so that the sound emitted from the sound source is output in the same phase. Since sound is output from each microphone unit with the same phase, mixing them will enhance the sound.
- the sound emitted from other positions is output from each microphone unit in different phases, it is canceled when mixing, and the main sensitivity of the microphone can be directed only to the direction of the sound source.
- FIG. 4B is a diagram showing the directivity characteristics of the speaker array 12 on the receiving side.
- the received audio data is output from each speaker unit.
- a virtual sound source is formed by the positional relationship between the communication conference device 1 and the terminal unit 2 as shown in FIG. 4A.
- the sound is output first from the speaker unit closest to the virtual sound source, and then output sequentially with delay from the next speaker unit.
- 5A to 5D are diagrams illustrating examples of transmission / reception packets.
- the teleconferencing device 1 performs packet transmission / reception using TCP / IP.
- the header part and footer part shown in the figure are a CCP / IP header and footer (communication control information).
- FIG. 5A shows an example of a packet including audio data.
- the data part includes location information absence data, location information X, location information Y, and audio data.
- the location information absence data is the location information (location coordinates) of each conference participant described above. This is data indicating whether or not it is included in the packet, and the control unit 14 of the teleconference apparatus 1 determines whether or not to control the directivity of the speaker array 12 by referring to this data. If the location information is included in the packet and indicated that the location information is not present, the received audio data is reproduced uniformly on all speaker units.
- Position information X and position information Y are data indicating the position coordinates of each conference participant described above. Based on this information, the control unit 14 controls the directivity of the speaker array 12 and localizes the sound image as if the uttered voice is heard from this position.
- the location information may be transmitted and received at the start of the conference, and during the conference, information and audio data for identifying each conference participant may be added to the data portion for transmission and reception.
- FIG. 5B is a diagram showing an example of packets transmitted and received at the start of the conference.
- FIG. 5C is a diagram showing an example of packets transmitted and received during the conference. As shown in Fig. 5B, at the start of the conference, identification information for identifying each conference participant and location information corresponding to this identification information are transmitted and received. Upon receiving this packet, the control unit 14 stores the identification information and position information of each conference participant in association with each other in the memory.
- identification information for identifying each conference participant and audio data corresponding to the identification information are transmitted and received.
- the control unit 14 that has received this packet refers to the position information corresponding to the received identification information from the memory, controls the directivity characteristics of the speech array 12 based on this position information, and reproduces the received audio data.
- FIG. 5D shows an example of a packet indicating a change in position information.
- location information change data indicating that the packet is a location information change packet and identification information for identifying the conference participant whose location has been changed And position information corresponding to this identification information is transmitted and received.
- the control unit 14 updates the memory contents by associating the received identification information with the position information.
- the microphone array delay and the speaker array delay are the same so that sound can be heard from the speaker's position without transmitting / receiving position information. You can make it S.
- FIG. 6 is a flowchart showing the position measurement operation. This operation is performed when the conference participant instructs the position measurement mode using the terminal unit 2 in advance before the conference.
- register information is acquired from terminal unit 2 (slO).
- the registration information is information indicating the existence of each terminal unit 2 and is transmitted from each terminal unit 2.
- the communication conference device 1 can recognize the number of terminal units 2 in the conference room.
- the registration information is stored in a memory built in the teleconference device 1.
- a measurement sound wave is emitted from any speaker unit of the speaker array 12 and the counter is started (s l4).
- the sound wave for measurement may be any sound waveform, for example, a non-audible sine wave.
- Communication conference device 1 manages the number of terminal units 2 in the conference room when register information is acquired, so it is determined that remeasurement is not necessary when the distances of all terminal units 2 are measured. If there is an unmeasured terminal unit 2, the start signal transmission request is notified to the corresponding terminal unit 2 (si 8), and the process is repeated (sl 8 ⁇ sl 3 ). If it is determined that remeasurement is not necessary, the operation is terminated.
- FIG. 7 is a flowchart showing the operation at the start of the conference.
- a conference start signal is received (s20). This determination is repeated until a conference start signal is received. If the conference start signal is received, it is determined whether or not the position of the terminal unit 2 has already been measured (s21). If position measurement has not been performed, settings are made so that position information is not added to packets sent and received during the conference (s22). If the position has been measured, the sound collected by each microphone unit is mixed and transmitted to other conference rooms, and the sound is reproduced from all speaker units at a uniform volume, as in the case of a general communication conference system. To do.
- each position information and each microphone unit is set based on the position information so that the microphone sensitivity is suitable for each conference participant (s23). Then, each position information and each microphone unit is set. Are associated with each other and stored in the memory (s24).
- FIG. 8 is a flowchart showing the operation on the transmission side.
- FIG. 9 is a flowchart showing the operation on the receiving side.
- it is first determined whether or not it is connected to the communication conference device 1 on the receiving side of another conference room (s30). If it is not connected to the communication conference device 1 in another conference room, the connection is started (s31). If it is connected, proceed to the subsequent processing.
- the communication conference device 1 on the receiving side receives the transmitted packet (s40). It is determined whether or not position information is included in the packet (s41). If the position information is included, the directivity of the speaker array 12 is controlled according to the position information (s42). Thereafter, the sound is reproduced (s43). If the position information is not included, the directivity characteristics of the speaker array 12 are not controlled, and the sound is reproduced with a uniform volume and delay amount in all the speaker arrays 12 (s41 ⁇ s43).
- the communication conference system of this embodiment measures the distance between the communication conference device 1 and the terminal unit 2, specifies the positions of the conference participants, and receives and transmits the position information. On the other hand, it is possible to force the sound image localization as if the conversational voice was emitted from the position of the speaker. This makes it possible to control the sound field with a sense of presence.
- transmitting and receiving video data such as a TV phone, it can also be controlled as if sound is emitted from the speaker in the video, A more realistic communication conference system.
- sound image localization is not limited to an example in which control is performed so as to be emitted from the position of the transmitting speaker.
- control is performed so as to be emitted from the position of the transmitting speaker.
- only the left and right localization may be controlled without considering the depth (Y coordinate) of the sound image.
- the present invention can be applied to an audio transmission system such as a communication conference system that detects the position of a sound source and performs realistic sound field control, and according to the present invention, the present invention has a simple configuration but is realistic. A sense of communication conference can be realized.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
Abstract
音声伝達システムにおいて、通信会議装置の制御部は、スピーカアレイから端末ユニットに測定用音波を発し、返答がなされるまでの時間を測定して端末ユニットの位置を検出する。制御部は、端末ユニットの位置にマイクアレイのマイク感度が向くように指向特性を設定し、収音した音声を他の通信会議装置に送信する。受信側の通信会議装置においては、受信した音声が送信側における端末ユニットの位置から発せられるかのようにスピーカアレイの指向特性を設定する。
Description
明 細 書
音声伝達システム、および通信会議装置
技術分野
[0001] この発明は、音声伝達システムに関し、特に音源の位置を検出して臨場感ある音 場制御を行う音声伝達システムに関する。
本願は、 2005年 7月 8日に出願された特願 2005— 199683号に基づき優先権を 主張し、その内容をここに援用する。
背景技術
[0002] 通信会議システムは、複数個のマイクで会議参加者の音声を収音し、ミキシングし た後に伝送するように構成されているものが一般的である。受信側においては、全て のスピーカから同一の音量、位相で音声が再生される。このような通信会議システム の場合、会議参加者の誰が音声を発しても、同一の音像で再生されるため、受信側 にとつて誰が発話したのかがわかりにくかった。
[0003] また、受信側においては、スピーカの音量が固定されているので、送信側の会議参 加者が複数人であれば、それぞれの発声音量やマイクとの距離の違いによってスピ 一力からの音量が大きく変化する。
[0004] このような事情に基づき、マイク入力信号の時間波形や周波数スペクトルから発話 者と発話者の位置を判定する音声電話会議装置が提案されている (例えば特許文 献 1参照)。
特許文献 1 :特開平 9一 261351号公報
発明の開示
発明が解決しょうとする課題
[0005] 特許文献 1に記載の音声電話会議装置は、マイク入力信号の時間波形や周波数 スペクトルから発話者と発話者の位置を判定し、音声データとともに位置情報を送信 する。受信側は、受信した位置情報に基づいて各スピーカの音量を制御する。また、 各マイクのうち、最大入力のマイクから音声を収音するように切り換えスィッチを備え、 受信側は、収音したマイクに対応するスピーカから発音するように設定する。
[0006] し力 ながら、位置情報に基づレ、て各スピーカ(ステレオスピーカ)の音量を制御す るだけでは、臨場感のある音場 (例えば奥行き感等)を実現することができなかった。
[0007] また、各マイクは、各マイクのうち、最大入力のマイクから音声を収音するように切り 換えスィッチを備えている。し力 ながら、複数人が同時に発話した場合は短時間の うちにこの切り換えを行う必要があり、正確な音声を送信できないという問題もあった
[0008] この発明は、簡易な構成でありながら臨場感ある音場制御をすることができる音声 伝達システムを提供することを目的とする。 課題を解決するための手段
[0009] この発明の音声伝達システムは、第 1の場所に設置された複数のマイクユニットから なるマイクアレイと、第 2の場所に設置された複数のスピーカユニットからなるスピーカ アレイと、第 1の場所に存在する音源位置を検出する位置検出手段と、前記位置検 出手段が検出した音源の位置に前記マイクアレイの指向特性を設定するマイク側信 号処理手段と、前記指向特性で前記マイクアレイが収音した音声データを、前記指 向特性の情報とともに送信する送信手段と、前記送信手段が送信した音声データを 指向特性情報とともに受信する受信手段と、前記指向特性情報に基づいて前記第 1 の場所における音源位置に仮想的な音源が形成されるように前記スピーカアレイの 指向特性を設定するスピーカ側信号処理手段とを備える。
[0010] この発明において、第 1の場所 (送信側)における音源の位置を特定し、その位置 にマイク感度の指向特性を設定する。収音した音声データを、その指向特性とともに 第 2の場所 (受信側)に送信する。受信側においては指向特性に基づいて、送信側 における音源位置に仮想音源を形成する。例えば、受信側から見て右側奥 (送信側 では左側手前)に位置する発話者が音声を発したとき、右側から音声が再生されるよ うにする。
[0011] また、この発明の音声伝達システムは、第 1の場所に設置された複数のマイクュニ ットからなる第 1のマイクアレイと、第 2の場所に設置された複数のスピーカユニットか らなる第 2のスピーカアレイと、第 1の場所に存在する音源位置を検出する第 1の位 置検出手段と、前記第 1の位置検出手段が検出した音源の位置に前記第 1のマイク
アレイの指向特性を設定する第 1のマイク側信号処理手段と、前記指向特性で前記 第 1のマイクアレイが収音した音声データを前記指向特性の情報とともに送信する第 1の送信手段と、前記第 1の送信手段が送信した音声データを指向特性情報とともに 受信する第 2の受信手段と、前記指向特性情報に基づいて前記第 1の場所における 音源位置に仮想的な音源が形成されるように前記第 2のスピーカアレイの指向特性 を設定する第 2のスピーカ側信号処理手段と、第 2の場所に設置された複数のマイク ユニットからなる第 2のマイクアレイと、第 1の場所に設置された複数のスピーカュニッ トからなる第 1のスピーカアレイと、第 2の場所に存在する音源位置を検出する第 2の 位置検出手段と、前記第 2の位置検出手段が検出した音源の位置に前記第 2のマイ クアレイの指向特性を設定する第 2のマイク側信号処理手段と、前記指向特性で前 記第 2のマイクアレイが収音した音声データを前記指向特性の情報とともに送信する 第 2の送信手段と、前記第 2の送信手段が送信した音声データを指向特性情報ととも に受信する第 1の受信手段と、前記指向特性情報に基づいて前記第 2の場所におけ る音源位置に仮想的な音源が形成されるように前記第 1のスピーカアレイの指向特 性を設定する第 1のスピーカ側信号処理手段とを備える。
[0012] この発明においては、第 1の場所から第 2の場所に収音した音声データをその指向 特性とともに送信し、一方で、第 2の場所から第 1の場所に収音した音声データをそ の指向特性とともに送信する。第 1の場所、第 2の場所のそれぞれにおいて、送信側 における音源位置に仮想音源を形成する。
[0013] この発明において、前記位置検出手段は複数の音源位置を検出し、前記マイク側 信号処理手段は複数の音源位置に前記マイクアレイの指向特性をそれぞれ設定し、 前記情報送信手段は複数の音声データをそれぞれの指向特性の情報とともに送信 し、前記情報受信手段は複数の音声データをそれぞれの指向特性の情報とともに受 信し、前記スピーカ側信号処理手段は複数の音源位置に仮想的な音源が形成され るように前記スピーカアレイの指向特性を設定してもよい。
[0014] この場合、音声伝達システムは、送信側における複数の音源位置を検出してマイク 感度の指向特性を設定する。また、このシステムは、収音した複数の音声データをそ れぞれの指向特性とともに受信側に送信する。受信側においてはそれぞれの指向
特性に基づレ、て、送信側における複数の音源位置にそれぞれ仮想音源を形成する
[0015] この発明の通信会議装置は、上述した第 1のマイクアレイ、第 1のスピーカアレイ、 第 1の位置検出手段、第 1のマイク側信号処理手段、第 1の情報送信手段、第 1の情 報受信手段、および第 1のスピーカ側信号処理手段を一体に備える。
発明の効果
[0016] 以上のようにこの発明によれば、送信側において音源の位置を特定するとともにそ の音源にマイク感度の指向特性を設定し、受信側においては送信側の音源位置に 仮想音源を形成するようにスピーカアレイの指向特性を設定するので、簡易な構成 でありながら臨場感ある通信会議を実現することができる。
図面の簡単な説明
[0017] [図 1]図 1は、本発明の実施形態に係る通信会議システムの構成を示す概略図であ る。
[図 2]図 2は、本発明の実施形態に係る通信会議装置および端末ユニットを示すプロ ック図である。
[図 3]図 3は、図 2に示された端末ユニットの位置測定を示す図である。
[図 4A]図 4Aは、本発明の実施形態における送信側マイクアレイの指向特性を説明 する図である。
[図 4B]図 4Bは、本発明の実施形態における受信側スピーカアレイの指向特性を説 明する図である。
[図 5A]図 5Aは、本発明の実施形態に用いられる送受信パケットの例を示す図である [図 5B]図 5Bは、本発明の実施形態に用いられる送受信パケットの例を示す図である [図 5C]図 5Cは、本発明の実施形態に用いられる送受信パケットの例を示す図である [図 5D]図 5Dは、本発明の実施形態に用いられる送受信パケットの例を示す図である
園 6]図 6は、本発明の実施形態における位置測定動作を示すフローチャートである 園 7]図 7は、本発明の実施形態における会議開始時の動作を示すフローチャートで ある。
園 8]図 8は、本発明の実施形態における送信側の動作を示すフローチャートである 園 9]図 9は、本発明の実施形態における受信側の動作を示すフローチャートである 符号の説明
1 通 1§会議装置
2 端末ユニット
11 マイクアレイ
12 スピーカアレイ
13 赤外線通信部
14 制御部
21 端末ユニットマイク
22 端末ユニット制御部
23 端末ユニット赤外線通信部
24 ユーザインタフェース
発明を実施するための最良の形態
[0019] 図 1は、本発明の実施形態に係る通信会議システムの構成を示す概略図である。
同図に示すように、この通信会議システムは、複数の会議室にそれぞれ設置される 通信会議装置 1、および各会議参加者が携帯する端末ユニット 2を備えている。
[0020] 通信会議装置 1は、各会議室にそれぞれ設置されている。通信会議装置 1はネット ワーク (LAN、またはインターネット)や電話回線を介してそれぞれ接続されてレ、る。 端末ユニット 2は、会議参加者が携帯するリモコンである。会議参加者は、この端末ュ ニット 2を用いて会議の開始通知等を行う。この端末ユニット 2は、各会議参加者が携 帯するようにしてもよいし、机上に設置するようにしてもよい。また、会議参加者全員
分の端末ユニット 2を備えている必要はなぐ各会議室にそれぞれ 1、または複数備 えていればよい。
[0021] 図 2は、通信会議装置 1、および端末ユニット 2の構成を示すブロック図である。同 図に示すように、通信会議装置 1は、音声を収音するマイクアレイ 11、音声を出力す るスピーカアレイ 12、端末ユニット 2と情報通信する赤外線通信部 13、通信会議装置 1を制御する制御部 14、および他の通信会議装置と情報通信するデータ送受信部 1 5を備えている。端末ユニット 2は、音声を入力する端末ユニットマイク 21、端末ュニッ トを制御する端末ユニット制御部 22、通信会議装置 1と情報通信する端末ユニット赤 外線通信部 23、およびユーザが操作入力するユーザインタフェース 24を備えている
[0022] 通信会議装置 1の制御部 14は、マイクアレイ 11、スピーカアレイ 12、赤外線通信部 13、およびデータ送受信部 15に接続されている。また、端末ユニット制御部 22は、 端末ユニットマイク 21、端末ユニット赤外線通信部 23、およびユーザインタフェース 2 4に接続されている。
[0023] 通信会議装置 1の制御部 14は、マイクアレイ 11とスピーカアレイ 12の指向性を制 御する。マイクアレイ 11およびスピーカアレイ 12が複数のマイクユニット(スピーカュ ニット)をマトリクス状ほたはライン状、ハニカム状)に配列した構成であるため、これら の遅延量を制御することで指向性を制御することができる。
[0024] 例えば、端部のスピーカユニットから最初に音声を出力し、隣のスピーカユニットか ら順次所定の遅延時間で音声を出力すると、これらの音声の合成波面はその遅延時 間に応じて傾斜するので、音声ビームを斜め方向に向けることができる。このようにし て、スピーカアレイの遅延量をコントロールし、通信会議装置 1の前面にいる会議参 加者に対し、音像定位させることができる。
[0025] 同様に、マイクアレイにおいては、それぞれのマイクユニットの遅延量をコントロール することで、所定の方向にマイク感度を向けることができる。
[0026] 制御部 14は、マイクアレイ 11から入力された音声をデータ送受信部 15に送信する 。なお、制御部 14は必要に応じて AZDコンバータを内蔵しており、収音した音声を データ送受信部 15に音声データとして送信するものである。データ送受信部 15は、
ネットワーク接続された他の会議室の通信会議装置 1のデータ送受信部 15に音声デ ータを送信する。音声データを受信した他の会議室のデータ送受信部 15は、接続さ れている制御部 14に音声データを送信する。これを受信した制御部 14は、音声デ ータを D/A変換してスピーカアレイ 12に出力し、音声を出力する。このようにして会 議参加者の発した音声をマイクアレイ 11で収音し、他の会議室のスピーカアレイ 12 から放音する。
[0027] 端末ユニット制御部 22は、ユーザインタフェース 24から入力された操作に従って種 々の動作を行う。会議参加者がユーザインタフェース 24から会議開始の通知を行うと 、端末ユニット制御部 22は、端末ユニット赤外線送受信部 23を介して、通信会議装 置 1に会議開始通知を送信する。赤外線通信部 13を介して会議開始通知を受信し た通信会議装置 1の制御部 14は、他の会議室への接続要求をデータ送受信部 15 に送信する。データ送受信部 15は、他の会議室のデータ送受信部 15と通信を開始 する。
[0028] また、会議参加者がユーザインタフェース 24から音量変更の指示を行うと、端末ュ ニット制御部 22は、端末ユニット赤外線送受信部 23を介して通信会議装置 1に音量 変更の指示情報を送信する。
[0029] 端末ユニットマイク 21は、通信会議装置 1からの音波を受信するものである。本実 施形態の通信会議システムは、以下のような動作を行う。制御部 14は、スピーカァレ ィ 12のうち、いずれかのスピーカユニットから音波を発するとともにカウンタ(タイマ)を スタートする。この音波を端末ユニットマイク 21を介して受信した端末ユニット制御部 22は、端末ユニット赤外線通信部 23を介して通信会議装置 1に受信信号を送信す る。
赤外線通信部 13を介して受信信号を受信した制御部 14は、カウンタをストップし、 音波を発してから受信信号を受信するまでの時間を測定することで、スピーカュニッ トと端末ユニット 2の距離を測定する。このような距離測定を複数のスピーカユニットで 測定し、端末ユニット 2の位置を特定する。
[0030] 図 3に端末ユニットの位置測定の詳細を示す。同図に示すように、通信会議装置 1 の前面には複数(同図においては 2つ)のマイクユニット 11A (マイクユニット 11B)と
複数のスピーカユニット 12A (スピーカユニット 12B)が備えられてレ、る。
[0031] 同図において、マイクユニット 11A、スピーカユニット 12Aの中心位置と他方のマイ クユニット 11B、スピーカユニット 12Bの中心位置との距離を Wとする。また、一方の マイクユニット 11A、スピーカユニット 12Aの中心位置と端末ユニット 2との距離を D1 とし、他方のマイクユニット 11B、スピーカユニット 12Bの中心位置と端末ユニット 2と の距離を D2とする。この Wと D1の間に描かれる頂点の内角を Θとする。
この Θは、以下の余弦定理により求めることができる。
[0032] [数 1]
D22 = D12 + W2 - 2x DlxW cos(<9)
[0033] ここで、通信会議装置 1の中心位置座標を (0, 0)とする。すると、端末ユニット 2の 存在する位置座標 (XI , Y1)は、以下のような式で表される。
[0034] [数 2]
Xl = Dl x cos(0)- W /2
Yl = Dl x sin (の
[0035] このようにして通信会議装置 1は、端末ユニット 2の位置を測定することができる。こ の位置測定は、端末ユニット 2が複数ある場合には全ての端末ユニット 2について行 う。各会議参加者毎に端末ユニット 2を有する場合にはそれぞれの端末ユニット 2の 存在する位置を会議参加者の位置とみなす。また、端末ユニット 2が会議参加者の数 よりも少なレ、、または端末ユニット 2が 1つである場合には、それぞれの会議参加者の 位置で上記位置測定を行い、測定したそれぞれの位置情報を会議参加者の位置と して通信会議装置 1のメモリ(図示せず)に記憶しておく。
[0036] なお、位置測定は上記の手法に限らず、例えば画像認識により位置を特定する等 、他の手法であってもよい。
[0037] 以上のようにして測定した端末ユニット 2の位置に関する情報に基づいて、制御部 1 4は、マイクアレイ 11の指向性をコントロールする。例えば、端末ユニット 2の位置にマ イクアレイ 11の感度が向くように設定し、発話者の音声を効率よく収音する。また、通
信会議装置 1から遠い位置に対してはマイクアレイ 11のゲインを上げる。
[0038] また、それぞれの端末ユニット 2の位置情報(会議参加者の位置情報)は、他の会 議室の通信会議装置 1に送信する。他の会議室における通信会議装置 1の制御部 1 4は、受信した端末ユニット 2の位置情報に応じてスピーカアレイ 12の指向特性を設 定する。上述したように、送信側の端末ユニット 2 (会議参加者)の位置座標を特定で きるので、送信側から見てこの位置座標から音声が発せられるようにスピーカアレイ の指向特性をコントロールして音像定位させる。
[0039] 図 4Aおよび 4Bは、指向特性を説明する図である。図 4Aは、送信側のマイクアレイ
11の指向特性を示した図である。同図において、会議参加者が発した音声は、最も 近いマイクユニットから順に到達するが、それぞれのマイクユニットに遅延を与え、音 源から発せられた音声が同位相で出力されるようにする。各マイクユニットから同位相 で音声が出力されるので、これらをミキシングするとその音声が強調されることとなる。 ここで、他の位置から発せられた音声は、各マイクユニットから異なる位相で出力され るのでミキシングすると打ち消されることとなり、音源の方向にのみマイクの主感度を 向けることができる。
[0040] 図 4Bは、受信側のスピーカアレイ 12の指向特性を示した図である。同図において 、受信した音声データをそれぞれのスピーカユニットから出力する。このとき、図 4Aに 示したような通信会議装置 1と端末ユニット 2の位置関係で、仮想音源を形成する。こ の仮想音源に最も近い位置のスピーカユニットから最初に音声を出力し、隣のスピー 力ユニットから順に遅延して出力する。このように、順次遅延させることにより、音声が 発話者の位置から発せられたかのような音像定位をさせることができる。
[0041] このような制御を行うために、通信会議装置 1の間で送受信するデータについて説 明する。図 5A〜5Dは、送受信パケットの例を示した図である。通信会議装置 1は T CP/IPを用いてパケット送受信を行う。同図に示すヘッダ部、およびフッタ部は、 T CP/IPのヘッダ、フッタ(通信制御用の情報)である。
[0042] 図 5Aは、音声データが含まれるパケットの 1例を示す。図 5Aに示すように、データ 部には位置情報在無データ、位置情報 X、位置情報 Y、および音声データが含まれ ている。位置情報在無データは、上述した各会議参加者の位置情報 (位置座標)が
パケット中に含まれているか否力を示すデータであり、通信会議装置 1の制御部 14 は、これを参照することで、スピーカアレイ 12の指向特性のコントロールをするか否か を決定する。位置情報がパケット中に含まれてレ、ないと位置情報在無データに示さ れている場合は、受信した音声データを全てのスピーカユニットで均一に再生する。
[0043] 位置情報 X、および位置情報 Yは、上述した各会議参加者の位置座標を示すデー タである。制御部 14は、この情報に基づいてスピーカアレイ 12の指向特性をコント口 ールし、この位置から発話音声が聞こえているかのように音像定位させる。
[0044] また、会議開始時に位置情報を送受信するようにして、会議中はデータ部に各会 議参加者を識別する情報と音声データを付与して送受信するようにしてもょレ、。 図 5Bは会議開始時に送受信するパケットの例を示した図である。図 5Cは、会議中 に送受信するパケットの例を示した図である。図 5Bに示すように、会議開始時には、 各会議参加者を識別する識別情報と、この識別情報に対応する位置情報を送受信 する。このパケットを受信した制御部 14は、それぞれの会議参加者の識別情報と位 置情報を対応付けてメモリに記憶する。
[0045] 図 5Cに示すように、会議中は各会議参加者を識別する識別情報と、この識別情報 に対応する音声データを送受信する。このパケットを受信した制御部 14は、受信した 識別情報に対応する位置情報をメモリから参照し、この位置情報に基づいてスピー 力アレイ 12の指向特性をコントロールし、受信した音声データを再生する。
[0046] 会議中に会議参加者の位置が変更された場合は、位置情報変更を示すパケットを 送受信する。図 5Dは、位置情報変更を示すパケットの例を示す。図 5Dに示すように 、会議中に会議参加者の位置が変更された場合は、位置情報変更パケットである旨 を示す位置情報変更データと、位置が変更された会議参加者を識別する識別情報と 、この識別情報に対応する位置情報とを送受信する。このパケットを受信した制御部 14は、受信した識別情報と位置情報を対応付けてメモリ内容を更新する。
[0047] なお、送信側(収音側)のマイクアレイと受信側(再生側)のスピーカアレイの数が同 一であり、アレイ配置が同一である場合(各スピーカユニットとマイクユニットが 1対 1に 対応する場合)には、マイクアレイの遅延量とスピーカアレイの遅延量を同一とするこ とで、位置情報を送受信しなくとも発話者の位置から音声が聞こえるように音像定位
させること力 Sできる。
[0048] 次に、本実施形態の通信会議システムの動作について詳細に説明する。図 6は、 位置測定動作を示すフローチャートである。この動作は、会議参加者が会議前にあ らかじめ端末ユニット 2を用いて、位置測定モードを指示したときに行う。まず、端末ュ ニット 2からレジスト情報を取得する(slO)。レジスト情報は、各端末ユニット 2の存在 を示す情報であり、それぞれの端末ユニット 2から送信される。これを受信することで 通信会議装置 1は会議室内の端末ユニット 2の数を認識することができる。レジスト情 報は通信会議装置 1に内蔵のメモリに記憶される。
[0049] 受信したレジスト情報について、メモリ内に登録済であるか否かを判断し (s l l)、登 録されてレ、なければレジスト情報をメモリに登録する(s 12)。登録されてレ、れば s 12 の処理は行わなレ、で次の処理に進む。
[0050] その後、端末ユニット 2からスタート信号が受信されたか否かを判断する(s l 3)。端 末ユニット 2からスタート信号が送信されていなければレジスト情報の取得から処理を 繰り返す。
[0051] 端末ユニット 2からスタート信号が送信され、これを受信した場合、スピーカアレイ 12 のいずれかのスピーカユニットから測定用音波を発してカウンタをスタートする(s l4) 。この測定用音波はどのような音声波形であってもよいが、例えば可聴外の正弦波と する。その後、この音波を検出した端末ユニット 2から音波が到達したことを示す音波 到達信号が送信されてくるので、これを受信し、カウンタをストップする(si 5)。これに より端末ユニット 2との距離を測定する。音波到達信号を受信した後、端末ユニット 2 に測定が終了したことを通知する(s i 6)。
[0052] その後、再測定が必要であるか否力、を判断する(si 7)。通信会議装置 1は、レジス ト情報を取得したときに、会議室の端末ユニット 2の数を管理しているので、全ての端 末ユニット 2の距離を測定した場合に再測定が必要でないと判断し、未測定の端末 ユニット 2が存在すれば該当する端末ユニット 2にスタート信号送信要求を通知し (si 8)、スタート信号が受信されたか否かの判断から処理を繰り返す(sl 8→s l 3)。再測 定が必要でないと判断した場合は動作を終了する。
[0053] 図 7は、会議開始時の動作を示すフローチャートである。まず、端末ユニット 2から
会議開始信号が受信されたか否力を判断する (s20)。会議開始信号が受信されるま でこの判断を繰り返す。会議開始信号が受信されれば、端末ユニット 2の位置測定が すでにされているか否力を判断する(s21)。位置測定がされていなければ会議中に 送受信するパケットに位置情報を付加しないよう設定する(s22)。位置測定がされて レ、なければ一般的な通信会議システムと同様に、各マイクユニットで収音した音声を ミキシング後、他の会議室に送信し、全てのスピーカユニットから均一音量で音声を 再生する。
[0054] 位置測定がされていれば、それぞれの会議参加者にマイク感度が向くように、位置 情報に基づいて各マイクユニットの遅延量を設定 (s23)その後、各位置情報と各マイ クユニットの遅延量を対応付けてメモリに保存する(s24)。
[0055] 次に会議中の動作について説明する。図 8は、送信側の動作を示すフローチャート である。図 9は、受信側の動作を示すフローチャートである。図 8において、まず他の 会議室の受信側の通信会議装置 1と接続されているか否力を判断する(s30)。他の 会議室の通信会議装置 1と接続されていなければ接続を開始する(s31)。接続され ていればその後の処理に進む。
[0056] その後、音声が入力されたか否かを判断し (s32)、音声が入力されるまでこの判断 を繰り返す。音声が入力されれば、入力された音声と位置情報をパケット化し (s33) 、受信側の通信会議装置 1に送信する (s34)。
[0057] 図 9において、受信側の通信会議装置 1は、送信されてきたパケットを受信する(s4 0)。パケット内に位置情報が含まれているか否力を判断する(s41)。位置情報が含 まれていれば、この位置情報に応じてスピーカアレイ 12の指向特性を制御する(s42 )。その後、音声を再生する(s43)。位置情報が含まれていなければ、スピーカアレイ 12の指向特性の制御を行わないで、全てのスピーカアレイ 12で均一音量、遅延量 で音声を再生する(s41→s43)。
[0058] なお、送信側のマイクアレイの数と、受信側のスピーカアレイの数が同一であり、ァ レイ配置が同一である場合 (各スピーカユニットとマイクユニットが 1対 1に対応する場 合)には、位置情報を送受信せずとも、遅延量を同一とすることで音像定位を行うこと ができる。
[0059] 以上のように、本実施形態の通信会議システムは、通信会議装置 1と端末ユニット 2 の距離を測定して会議参加者の位置を特定し、この位置情報を送受信することで、 受信側においては、会話音声が発話者の位置から発せられるかのような音像定位を させること力できる。これにより、臨場感のある音場制御が可能となり、また、テレビ電 話等の映像データを送受信する場合であれば、映像中の発話者から音声が発せら れるかのような制御もでき、より臨場感ある通信会議システムとなる。
[0060] なお、音像定位は、送信側の発話者の位置から発せられるように制御する例に限る ものではない。例えば音像の奥行き (Y座標)は考慮せず、左右の定位だけを制御す るようにしてもよい。
産業上の利用可能性
[0061] この発明は、音源の位置を検出して臨場感ある音場制御を行う通信会議システム 等の音声伝達システムに適用することができ、この発明によれば、簡易な構成であり ながら臨場感ある通信会議を実現することができる。
Claims
[1] 第 1の場所に設置された複数のマイクユニットからなるマイクアレイと、
第 2の場所に設置された複数のスピーカユニットからなるスピーカアレイと、 第 1の場所に存在する音源位置を検出する位置検出手段と、
前記位置検出手段が検出した音源の位置に前記マイクアレイの指向特性を設定す るマイク側信号処理手段と、
前記指向特性で前記マイクアレイが収音した音声データを、前記指向特性の情報 とともに送信する送信手段と、
前記送信手段が送信した音声データを、指向特性情報とともに受信する受信手段 と、
前記指向特性情報に基づいて、前記第 1の場所における音源位置に仮想的な音 源が形成されるように、前記スピーカアレイの指向特性を設定するスピーカ側信号処 理手段と、
を備えた音声伝達システム。
[2] 第 1の場所に設置された複数のマイクユニットからなる第 1のマイクアレイと、
第 2の場所に設置された複数のスピーカユニットからなる第 2のスピーカアレイと、 第 1の場所に存在する音源位置を検出する第 1の位置検出手段と、
前記第 1の位置検出手段が検出した音源の位置に前記第 1のマイクアレイの指向 特性を設定する第 1のマイク側信号処理手段と、
前記指向特性で前記第 1のマイクアレイが収音した音声データを、前記指向特性 の情報とともに送信する第 1の送信手段と、
前記第 1の送信手段が送信した音声データを、指向特性情報とともに受信する第 2 の受信手段と、
前記指向特性情報に基づいて、前記第 1の場所における音源位置に仮想的な音 源が形成されるように、前記第 2のスピーカアレイの指向特性を設定する第 2のスピー 力側信号処理手段と、
第 2の場所に設置された複数のマイクユニットからなる第 2のマイクアレイと、 第 1の場所に設置された複数のスピーカユニットからなる第 1のスピーカアレイと、
第 2の場所に存在する音源位置を検出する第 2の位置検出手段と、 前記第 2の位置検出手段が検出した音源の位置に前記第 2のマイクアレイの指向 特性を設定する第 2のマイク側信号処理手段と、
前記指向特性で前記第 2のマイクアレイが収音した音声データを、前記指向特性 の情報とともに送信する第 2の送信手段と、
前記第 2の送信手段が送信した音声データを、指向特性情報とともに受信する第 1 の受信手段と、
前記指向特性情報に基づいて、前記第 2の場所における音源位置に仮想的な音 源が形成されるように、前記第 1のスピーカアレイの指向特性を設定する第 1のスピー 力側信号処理手段と、
を備えた音声伝達システム。
[3] 前記位置検出手段は、複数の音源位置を検出し、
前記マイク側信号処理手段は、複数の音源位置に前記マイクアレイの指向特性を それぞれ設定し、
前記情報送信手段は、複数の音声データを、それぞれの指向特性の情報とともに 送信し、
前記情報受信手段は、複数の音声データを、それぞれの指向特性の情報とともに 受信し、
前記スピーカ側信号処理手段は、複数の音源位置に仮想的な音源が形成されるよ うに、前記スピーカアレイの指向特性を設定する請求項 1または請求項 2に記載の音 声伝達システム。
[4] 請求項 2に記載の第 1のマイクアレイ、第 1のスピーカアレイ、第 1の位置検出手段、 第 1のマイク側信号処理手段、第 1の情報送信手段、第 1の情報受信手段、および第 1のスピーカ側信号処理手段を一体に備えた通信会議装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06715653A EP1906707B1 (en) | 2005-07-08 | 2006-03-14 | Audio transmission system and communication conference device |
US11/988,222 US8208664B2 (en) | 2005-07-08 | 2006-03-14 | Audio transmission system and communication conference device |
CN2006800244902A CN101218853B (zh) | 2005-07-08 | 2006-03-14 | 音频传输系统及通信会议装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005199683A JP2007019907A (ja) | 2005-07-08 | 2005-07-08 | 音声伝達システム、および通信会議装置 |
JP2005-199683 | 2005-07-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007007444A1 true WO2007007444A1 (ja) | 2007-01-18 |
Family
ID=37636844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/304994 WO2007007444A1 (ja) | 2005-07-08 | 2006-03-14 | 音声伝達システム、および通信会議装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8208664B2 (ja) |
EP (1) | EP1906707B1 (ja) |
JP (1) | JP2007019907A (ja) |
CN (1) | CN101218853B (ja) |
WO (1) | WO2007007444A1 (ja) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI311028B (en) * | 2006-08-16 | 2009-06-11 | Inventec Corp | Mobile communication device and method of receiving voice on conference mode |
JP5261983B2 (ja) * | 2007-05-23 | 2013-08-14 | ヤマハ株式会社 | 音声通信システム |
EP2009892B1 (fr) * | 2007-06-29 | 2019-03-06 | Orange | Positionnement de locuteurs en conférence audio 3D |
WO2010045869A1 (zh) * | 2008-10-20 | 2010-04-29 | 华为终端有限公司 | 一种3d音频信号处理的方法、系统和装置 |
CN102484757B (zh) * | 2009-09-03 | 2017-04-26 | 罗伯特·博世有限公司 | 用于会议音频系统的延迟单元、用于延迟音频输入信号的方法、计算机程序以及会议音频系统 |
EP2352290B1 (en) * | 2009-12-04 | 2012-11-21 | Swisscom AG | Method and apparatus for matching audio and video signals during a videoconference |
JP5672741B2 (ja) * | 2010-03-31 | 2015-02-18 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
JP2012095167A (ja) * | 2010-10-28 | 2012-05-17 | Panasonic Corp | 撮像装置 |
JP5697079B2 (ja) * | 2010-11-15 | 2015-04-08 | 独立行政法人情報通信研究機構 | 音再現システム、音再現装置および音再現方法 |
CN102480671B (zh) | 2010-11-26 | 2014-10-08 | 华为终端有限公司 | 视频通信中的音频处理方法和装置 |
US8989360B2 (en) * | 2011-03-04 | 2015-03-24 | Mitel Networks Corporation | Host mode for an audio conference phone |
CN102739372A (zh) * | 2011-04-02 | 2012-10-17 | 国民技术股份有限公司 | 一种以声音为载体来触发信息交互的装置与方法 |
CN103916734B (zh) * | 2013-12-31 | 2018-12-07 | 华为终端(东莞)有限公司 | 一种声音信号处理方法及终端 |
CN104751868B (zh) * | 2013-12-31 | 2018-12-11 | 海能达通信股份有限公司 | 语音录制方法、通话录音回放方法以及相关装置和系统 |
SE1451466A1 (sv) * | 2014-03-26 | 2015-09-27 | Sound Dimension Ab | Device for reproducing sound |
US9392368B2 (en) * | 2014-08-25 | 2016-07-12 | Comcast Cable Communications, Llc | Dynamic positional audio |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
GB201603822D0 (en) * | 2016-03-04 | 2016-04-20 | Purelifi Ltd | Li-drive |
GB2551780A (en) | 2016-06-30 | 2018-01-03 | Nokia Technologies Oy | An apparatus, method and computer program for obtaining audio signals |
GB2557218A (en) * | 2016-11-30 | 2018-06-20 | Nokia Technologies Oy | Distributed audio capture and mixing |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
US10950253B2 (en) * | 2018-02-09 | 2021-03-16 | Board Of Regents, The University Of Texas System | Vocal feedback device and method of use |
US10493909B1 (en) * | 2018-05-22 | 2019-12-03 | Blackberry Limited | Vehicle communication systems and methods of operating vehicle communication systems |
EP3804356A1 (en) | 2018-06-01 | 2021-04-14 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
CN108810764B (zh) * | 2018-07-09 | 2021-03-12 | Oppo广东移动通信有限公司 | 发声控制方法、装置以及电子装置 |
WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US10645517B1 (en) * | 2019-03-29 | 2020-05-05 | Lenovo (Singapore) Pte. Ltd. | Techniques to optimize microphone and speaker array based on presence and location |
EP3973716A1 (en) | 2019-05-23 | 2022-03-30 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
EP4018680A1 (en) | 2019-08-23 | 2022-06-29 | Shure Acquisition Holdings, Inc. | Two-dimensional microphone array with improved directivity |
US11258417B2 (en) | 2019-09-30 | 2022-02-22 | Lenovo (Singapore) Pte. Ltd. | Techniques for using computer vision to alter operation of speaker(s) and/or microphone(s) of device |
US12028678B2 (en) | 2019-11-01 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
USD944776S1 (en) | 2020-05-05 | 2022-03-01 | Shure Acquisition Holdings, Inc. | Audio device |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
JP2024505068A (ja) | 2021-01-28 | 2024-02-02 | シュアー アクイジッション ホールディングス インコーポレイテッド | ハイブリッドオーディオビーム形成システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02292999A (ja) * | 1989-05-03 | 1990-12-04 | Hiroshi Ishikawa | マイクロホン装置、スピーカー装置、及び拡声通話装置 |
JPH04150652A (ja) * | 1990-10-15 | 1992-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 会議通話装置 |
WO1997048252A1 (en) | 1996-06-14 | 1997-12-18 | Picturetel Corporation | Method and apparatus for localization of an acoustic source |
JPH10126900A (ja) * | 1996-10-21 | 1998-05-15 | Takenaka Komuten Co Ltd | 音像定位システム |
WO2003015407A1 (en) | 2001-08-07 | 2003-02-20 | Polycom, Inc. | System and method for high resolution videoconferencing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5335011A (en) * | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
US5991385A (en) * | 1997-07-16 | 1999-11-23 | International Business Machines Corporation | Enhanced audio teleconferencing with sound field effect |
GB2342802B (en) | 1998-10-14 | 2003-04-16 | Picturetel Corp | Method and apparatus for indexing conference content |
US6850496B1 (en) * | 2000-06-09 | 2005-02-01 | Cisco Technology, Inc. | Virtual conference room for voice conferencing |
JP2004537233A (ja) * | 2001-07-20 | 2004-12-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | エコー抑圧回路及びラウドスピーカ・ビームフォーマを有する音響補強システム |
GB0121206D0 (en) * | 2001-08-31 | 2001-10-24 | Mitel Knowledge Corp | System and method of indicating and controlling sound pickup direction and location in a teleconferencing system |
US20040114772A1 (en) * | 2002-03-21 | 2004-06-17 | David Zlotnick | Method and system for transmitting and/or receiving audio signals with a desired direction |
CN1534973A (zh) * | 2003-04-01 | 2004-10-06 | 黄文义 | 可补偿麦克风灵敏度的音讯会议系统及其方法 |
NO318096B1 (no) * | 2003-05-08 | 2005-01-31 | Tandberg Telecom As | Arrangement og fremgangsmate for lokalisering av lydkilde |
CN100489962C (zh) * | 2003-05-14 | 2009-05-20 | 凌阳科技股份有限公司 | 声音方向识别装置及方法 |
US20050147261A1 (en) * | 2003-12-30 | 2005-07-07 | Chiang Yeh | Head relational transfer function virtualizer |
-
2005
- 2005-07-08 JP JP2005199683A patent/JP2007019907A/ja active Pending
-
2006
- 2006-03-14 US US11/988,222 patent/US8208664B2/en active Active
- 2006-03-14 CN CN2006800244902A patent/CN101218853B/zh active Active
- 2006-03-14 EP EP06715653A patent/EP1906707B1/en active Active
- 2006-03-14 WO PCT/JP2006/304994 patent/WO2007007444A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02292999A (ja) * | 1989-05-03 | 1990-12-04 | Hiroshi Ishikawa | マイクロホン装置、スピーカー装置、及び拡声通話装置 |
JPH04150652A (ja) * | 1990-10-15 | 1992-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 会議通話装置 |
WO1997048252A1 (en) | 1996-06-14 | 1997-12-18 | Picturetel Corporation | Method and apparatus for localization of an acoustic source |
JPH10126900A (ja) * | 1996-10-21 | 1998-05-15 | Takenaka Komuten Co Ltd | 音像定位システム |
WO2003015407A1 (en) | 2001-08-07 | 2003-02-20 | Polycom, Inc. | System and method for high resolution videoconferencing |
Non-Patent Citations (1)
Title |
---|
See also references of EP1906707A4 |
Also Published As
Publication number | Publication date |
---|---|
US20090110212A1 (en) | 2009-04-30 |
CN101218853A (zh) | 2008-07-09 |
EP1906707A1 (en) | 2008-04-02 |
EP1906707B1 (en) | 2012-02-01 |
CN101218853B (zh) | 2010-12-22 |
JP2007019907A (ja) | 2007-01-25 |
EP1906707A4 (en) | 2010-01-20 |
US8208664B2 (en) | 2012-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2007007444A1 (ja) | 音声伝達システム、および通信会議装置 | |
EP3122066B1 (en) | Audio enhancement via opportunistic use of microphones | |
JP5279826B2 (ja) | 異なるユーザによって使用される補聴器間で会話グループを構築する補聴器システム | |
AU2007354781B2 (en) | A system and a method for establishing a conversation group among a number of hearing aids | |
JP5857674B2 (ja) | 画像処理装置、及び画像処理システム | |
US9049339B2 (en) | Method for operating a conference system and device for a conference system | |
US10075801B2 (en) | Information processing system and storage medium | |
US20080273476A1 (en) | Device Method and System For Teleconferencing | |
JP2012531064A (ja) | ホームシアターシステムにおいてスピーカーを特定する方法 | |
JP2008543143A (ja) | 音響変換器のアセンブリ、システムおよび方法 | |
US7177413B2 (en) | Head position based telephone conference system and associated method | |
JP2008543144A (ja) | 音響信号用装置、システム、方法 | |
WO2012142975A1 (zh) | 会场终端音频信号处理方法及会场终端和视讯会议系统 | |
US20160112574A1 (en) | Audio conferencing system for office furniture | |
JP2018157401A (ja) | スピーカ位置特定システム、スピーカ位置特定装置、及びスピーカ位置特定方法 | |
JP5120020B2 (ja) | 画像付音声通信システム、画像付音声通信方法およびプログラム | |
JP2006211156A (ja) | 音響装置 | |
JP4893257B2 (ja) | 音像位置制御装置 | |
WO2022054900A1 (ja) | 情報処理装置、情報処理端末、情報処理方法、およびプログラム | |
JP5537690B2 (ja) | ホームシアターシステムにおいてスピーカーを特定する方法 | |
JP4929673B2 (ja) | 音声会議装置 | |
JP2008017126A (ja) | 音声会議システム | |
JP2006352570A (ja) | スピーカシステム | |
CN110910892A (zh) | 会议系统终端、音频数据处理方法和远程会议系统 | |
JP2011049959A (ja) | インターホンシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200680024490.2 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 11988222 Country of ref document: US |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2006715653 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |