WO2018230063A1 - データ伝送装置とデータ伝送システム - Google Patents

データ伝送装置とデータ伝送システム Download PDF

Info

Publication number
WO2018230063A1
WO2018230063A1 PCT/JP2018/010331 JP2018010331W WO2018230063A1 WO 2018230063 A1 WO2018230063 A1 WO 2018230063A1 JP 2018010331 W JP2018010331 W JP 2018010331W WO 2018230063 A1 WO2018230063 A1 WO 2018230063A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
terminal
slave
audio signal
slave terminal
Prior art date
Application number
PCT/JP2018/010331
Other languages
English (en)
French (fr)
Inventor
鬼塚一浩
菊原靖仁
Original Assignee
株式会社オーディオテクニカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オーディオテクニカ filed Critical 株式会社オーディオテクニカ
Priority to EP18817568.1A priority Critical patent/EP3641235B1/en
Priority to US16/621,547 priority patent/US20210351952A1/en
Priority to CN201880038846.0A priority patent/CN110741608B/zh
Priority to JP2019525089A priority patent/JP7161214B2/ja
Publication of WO2018230063A1 publication Critical patent/WO2018230063A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40Bus networks
    • H04L12/40006Architecture of a communication node
    • H04L12/40013Details regarding a bus controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/42Loop networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/42Loop networks
    • H04L12/437Ring fault isolation or reconfiguration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Definitions

  • the present invention relates to a data transmission device and a data transmission system.
  • a data transmission device such as a control unit (master unit) used in a conference system processes (for example, synthesizes) an audio signal transmitted from each terminal connected to the data transmission device to each terminal. Transmit (for example, refer to Patent Document 1).
  • the data transmission apparatus transmits and receives signals to and from each terminal by a transmission method such as a unicast method or a broadband method.
  • one data transmission device When one system is constituted by a plurality of data transmission devices, for example, one data transmission device operates as a master terminal, and the other data transmission devices operate as slave terminals.
  • the master terminal controls the operation of the slave terminal.
  • the master terminal needs to transmit data for realizing the function to the slave terminal and share the same data in the entire system.
  • the invention disclosed in Patent Document 1 transmits data to be output to the slave terminal, such as audio data and video data, to the slave terminal, but data sharing for realizing a specific function in the entire system is performed. Absent.
  • the present invention has been made in order to solve the above-described problems of the prior art.
  • Data received from each terminal is shared in the system, and a specific function as a whole system is based on the data.
  • An object is to provide a data transmission apparatus and a data transmission system that can be realized.
  • a data transmission apparatus is a data transmission apparatus that transmits and receives a packet to and from a terminal connected via a communication network.
  • the packet is a first slot in which individual output data output from the terminal is stored. And a second slot in which input data to be input to the terminal is stored, a transmitting unit that transmits a packet to the terminal, a receiving unit that receives the packet transmitted to the terminal, and a first slot And a control unit that generates input data based on the output data constituted by the individual output data and stores the input data in the second slot.
  • data received from each terminal can be shared in the system, and a specific function can be realized as a whole system based on the data.
  • FIG. 1 is a network configuration diagram showing an embodiment of a data transmission system according to the present invention (hereinafter referred to as “the present system”).
  • This system S is, for example, a conference system used in a conference attended by a large number of participants, a class, a lecture, or the like. That is, for example, the system S performs control of a terminal used by a participant, adjustment of a signal such as an audio signal, and the like.
  • the system S includes a terminal (hereinafter referred to as “master terminal”) 1 set as a master or a parent device, and terminals (hereinafter referred to as “slave terminals”) 2A, 2B, set as four slaves or slave devices. 2C and 2D, and a reference microphone (not shown) that collects environmental noise in the indoor space in which the present system S is installed.
  • master terminal terminal
  • slave terminals terminals
  • 2C and 2D set as four slaves or slave devices.
  • a reference microphone not shown
  • the number of slave terminals is not limited to “4”. That is, for example, the number of slave terminals may be “3 or less” or “5 or more”.
  • the master terminal 1 and each slave terminal 2A-2D are connected via a communication network 3 such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the master terminal 1 generates a packet P and transmits / receives the packet P (see FIG. 3) to and from the slave terminal 2 via the communication network 3.
  • the packet P will be described later.
  • Each slave terminal 2A-2D is connected to the master terminal 1 by a ring connection in which each slave terminal 2A-2D is connected in a ring shape.
  • Each slave terminal 2A-2D can communicate with the master terminal 1. That is, the master terminal 1 is connected to the slave terminal 2A, the slave terminal 2A is connected to the slave terminal 2B, the slave terminal 2B is connected to the slave terminal 2C, the slave terminal 2C is connected to the slave terminal 2D, and the slave terminal 2D Connected to the master terminal 1.
  • Each slave terminal may be connected to the master terminal by daisy chain connection in which each slave terminal is connected in a daisy chain.
  • the master terminal 1 is an example of a data transmission apparatus (hereinafter referred to as “the present apparatus”) according to the present invention.
  • the configuration of the device 1 (master terminal 1) will be described later.
  • the slave terminal 2 performs processing such as control of a microphone (not shown) connected to the slave terminal 2 and mixing, distribution, and balance adjustment of a signal (audio signal) from the microphone, for example.
  • the slave terminal 2 is a terminal that performs transmission and reception of data with the apparatus 1 such as a mixer, a control unit of the conference system, and a discussion unit of the conference system.
  • the microphone connected to the slave terminal 2 is an audio signal output device that generates an audio signal based on the audio input to the microphone and outputs the audio signal.
  • the audio signal output from the microphone is signal-processed by the slave terminal 2 based on the control information as described later.
  • the signal processing executed by the slave terminal 2 is, for example, gain adjustment, echo cancellation, noise detection, voice detection, and the like.
  • the system may include a microphone, or the apparatus and the slave terminal may include a microphone.
  • the slave terminal 2 includes an input port (not shown), an output port (not shown), a control unit (not shown), and a storage unit (not shown).
  • the input port is a means for receiving the packet P from the device 1 and the adjacent slave terminal 2.
  • the output port is means for transmitting the packet P to the apparatus 1 and the adjacent slave terminal 2.
  • the input port and the output port include, for example, a communication interface (I / F) such as a connector or a terminal, an amplifier, and the like.
  • the control unit is means for executing data storage in the packet P and data acquisition from the packet P.
  • the control unit is, for example, a processor such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), or an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Consists of.
  • the storage unit is means for storing data from the packet P.
  • the storage unit includes, for example, a recording device such as HDD (Hard Disk Drive) and SSD (Solid State Drive), a semiconductor memory element such as RAM (Random Access Memory), flash memory, and the like.
  • FIG. 2 is a functional block diagram showing an embodiment of the apparatus 1. The figure shows the slave terminal 2 and the communication network 3 together.
  • the device 1 performs processing such as mixing, distribution, and balance adjustment of signals from the slave terminal 2.
  • the apparatus 1 is, for example, a control unit for a mixer or a conference system.
  • the apparatus 1 includes a control unit 10, a transmission unit 20, a reception unit 30, and a storage unit 40.
  • the control unit 10 generates a packet P to be transmitted / received by the device 1, controls the operation of the slave terminal 2, performs signal processing to be described later, and controls the operation of the entire device 1.
  • the control unit 10 includes, for example, a processor such as a CPU, MPU, or DSP, or an integrated circuit such as an ASIC or FPGA. The operation of the control unit 10 will be described later.
  • FIG. 3 is a schematic diagram showing a data structure of the packet P transmitted / received by the apparatus 1.
  • the figure shows that the packet P includes an address storage area Pa, a control data storage area Pc, and a slot area Ps.
  • the “address storage area Pa” is, for example, between the device 1 and the slave terminal 2 such as the MAC address of the transmission destination of the packet P (slave terminal 2) and the MAC address of the transmission source of the packet P (this device 1). This is an area for storing addresses necessary for communication and communication between slave terminals 2.
  • the “control data storage area Pc” is an area for storing notification data such as a command executed by the apparatus 1 and a command executed by the slave terminal 2 connected to the apparatus 1.
  • the notification data includes master notification data notified from the apparatus 1 to the slave terminal 2 and slave notification data notified from the slave terminal 2 to the apparatus 1.
  • Master notification data is, for example, data constituting a command for obtaining status data of the slave terminal 2 and a command for permitting an utterance request from the slave terminal 2.
  • “Slave notification data” is, for example, data constituting a command for requesting speech from the slave terminal 2 or status data of the slave terminal 2.
  • “Status data” includes, for example, data indicating on / off of the microphone connected to the slave terminal 2, setting data indicating the priority set in the slave terminal 2, and the speaker connected to the slave terminal 2. Data indicating the operation status of the slave terminal 2, such as volume data indicating the volume.
  • the “slot region Ps” is output data composed of data (individual output data) output from the device 1 and the slave terminal 2 or data input to the slave terminal 2 from the control unit 10 of the device 1 ( This is an area for storing (input data).
  • the “individual output data” is, for example, a signal such as a sound collected by a microphone or an environmental sound such as an indoor air conditioning sound, or a reference used by the apparatus 1 or the slave terminal 2 for echo cancellation, noise detection, voice detection, or the like. Audio data such as signals.
  • “Input data” is data generated by the control unit 10 based on output data. Details of the input data will be described later.
  • the slot area Ps includes a storage slot Ps1 and a take-in slot Ps2.
  • the “storage slot Ps1” is a write-only area in which individual output data output from the device 1 or the slave terminal 2 is stored. The individual output data is stored in the storage slot Ps1 by adding new individual output data to the individual output data stored in the storage slot Ps1. The sum of the added individual output data is the output data in the present invention.
  • the “take-in slot Ps2” is a read-only area of the slave terminal 2 in which input data inputted (taken in) to the slave terminal 2 is stored.
  • the storage slot Ps1 is the first slot in the present invention
  • the take-in slot Ps2 is the second slot in the present invention.
  • the transmission unit 20 transmits the packet P generated by the control unit 10 to the slave terminal 2 via the communication network 3.
  • the transmission unit 20 includes, for example, an I / F such as a connector and a terminal, an amplifier, and the like.
  • the apparatus 1 performs communication based on, for example, IEEE (Institute of Electrical and Electronics Engineers) 802.3 between the transmission unit 20, the reception unit 30, and the slave terminal 2.
  • the receiving unit 30 receives the packet P transmitted from the transmitting unit 20 from the slave terminal 2.
  • the receiving unit 30 includes, for example, an I / F, an amplifier, and the like.
  • the storage unit 40 is a means for storing information necessary for the apparatus 1 to execute information processing to be described later.
  • the storage unit 40 includes, for example, a recording device such as an HDD and an SSD, a semiconductor memory element such as a RAM and a flash memory, and the like.
  • FIG. 4 is a flowchart showing information processing of the apparatus 1.
  • FIG. 5 is a sequence diagram showing a part of information processing of the system S.
  • FIG. 5 shows an example when the information processing of the system S includes processing (ST2a, ST2b, ST2c, ST2d), and each slave terminal 2 stores data in the storage slot Ps1.
  • control unit 10 generates a packet P in which the storage slot Ps1 is empty (ST1).
  • the transmission unit 20 transmits the packet P to the slave terminal 2A (ST2).
  • the slave terminal 2A stores the individual output data “Da1” in the storage slot Ps1 (ST2a), and transmits the packet P to the slave terminal 2B.
  • the slave terminal 2B stores the individual output data “Db1” in the storage slot Ps1 (ST2b), and transmits the packet P to the slave terminal 2C.
  • the slave terminal 2C stores the individual output data “Dc1” in the storage slot Ps1 (ST2c), and transmits the packet P to the slave terminal 2D.
  • the slave terminal 2D stores the individual output data “Dd1” in the storage slot Ps1 (ST2d), and transmits the packet P to the receiving unit 30 of the apparatus 1.
  • Each slave terminal compares the individual output data stored in the storage slot (output data) with its own individual output data to determine whether or not to store the individual output data in the storage slot. You may judge. That is, for example, when the signal level of the individual output data of each slave terminal is extremely lower than the signal level of the output data stored in the storage slot (for example, error level), the individual output data in the storage slot Need not be stored.
  • the receiving unit 30 receives the packet P (ST3).
  • the control unit 10 stores the individual output data “Dm1” in the storage slot Ps1 of the packet P (ST4), and stores the output data (for example, Da1 + Db1 + Dc1 + Dd1 + Dm1) stored in the storage slot Ps1 in the storage unit 40 (ST5).
  • any of the individual output data constituting the output data includes a signal (environment signal) corresponding to the environmental noise collected by the reference microphone. That is, for example, when the reference microphone is connected to the slave terminal 2D, the individual output data “Dd1” includes an environmental signal.
  • the slave terminal 2D is a specific slave terminal in the present invention.
  • the control unit 10 generates input data based on the output data stored in the storage slot Ps1 (ST6).
  • the control unit 10 stores the input data in the storage unit 40 (ST7). That is, the input data is input to the apparatus 1.
  • FIG. 6 is a sequence diagram showing another part of the information processing of the system S.
  • FIG. 6 shows an example when the information processing of the system S includes processing (ST10a, ST10b, ST10c, ST10d), and each slave terminal 2 stores individual output data in the storage slot Ps1.
  • control unit 10 stores the input data in the take-in slot Ps2, and resets the storage slot Ps1, that is, empties the storage slot Ps1 (ST8).
  • Transmitting section 20 transmits packet P in which storage slot Ps1 is empty and input data is stored in capture slot Ps2 to slave terminal 2A (ST9).
  • “reset storage slot Ps1” indicates that the control unit 10 generates a packet P in which the storage slot Ps1 is empty. That is, for example, resetting the storage slot Ps1 includes a process of erasing output data stored in the storage slot Ps1, and a process of newly generating a packet P in which the storage slot Ps1 is empty. In this way, by transmitting the packet P with the storage slot Ps1 emptied to the slave terminal 2, the capacity of the packet P transmitted to the slave terminal 2 is reduced. Therefore, the communication load of this system S is reduced. In addition, unnecessary data is not mixed in the storage slot Ps1, and mixing of noise into data transmitted / received via the packet P is suppressed.
  • the slave terminal 2A When the slave terminal 2A receives the packet P in which the input data is stored in the acquisition slot Ps2 from the apparatus 1, the slave terminal 2A inputs (captures) the input data stored in the packet P to the control unit of the slave terminal 2A.
  • the fetched input data is stored in the storage unit of the slave terminal 2A.
  • the slave terminal 2A stores the individual output data “Da2” in the storage slot Ps1 (ST9a).
  • the slave terminal 2A transmits the packet P to the slave terminal 2B.
  • the slave terminal 2B When the slave terminal 2B receives the packet P in which the input data is stored in the capture slot Ps2 from the apparatus 1, the slave terminal 2B inputs (captures) the input data stored in the packet P to the control unit of the slave terminal 2B.
  • the fetched input data is stored in the storage unit of the slave terminal 2B.
  • the slave terminal 2B stores the individual output data “Db2” in the storage slot Ps1 (ST9b).
  • the slave terminal 2B transmits the packet P to the slave terminal 2C.
  • the slave terminal 2C When the slave terminal 2C receives the packet P in which the input data is stored in the capture slot Ps2 from the apparatus 1, the slave terminal 2C inputs (captures) the input data stored in the packet P to the control unit of the slave terminal 2C.
  • the fetched input data is stored in the storage unit of the slave terminal 2C.
  • the slave terminal 2C stores the individual output data “Dc2” in the storage slot Ps1 (ST9c).
  • the slave terminal 2C transmits the packet P to the slave terminal 2D.
  • the slave terminal 2D When the slave terminal 2D receives the packet P in which the input data is stored in the acquisition slot Ps2 from the apparatus 1, the slave terminal 2D inputs (imports) the input data stored in the packet P to the control unit of the slave terminal 2D.
  • the fetched input data is stored in the storage unit of the slave terminal 2D.
  • the setting content that defines the operation of the slave terminal 2D is changed based on the input data as described later.
  • the slave terminal 2D stores the individual output data “Dd2” in the storage slot Ps1 (ST9d).
  • the slave terminal 2D transmits the packet P to the receiving unit 30 of the present apparatus 1.
  • the receiving unit 30 receives the packet P (ST10), and transmits the packet P to the control unit 10.
  • the control unit 10 resets the take-in slot Ps2 (ST11), and the information processing of the system S returns to the process (ST4).
  • this apparatus may memorize
  • the input data stored in the take-in slot may be input to the apparatus.
  • the slave terminal 2 when the slave terminal 2 receives the packet P in which the input data is stored in the take-in slot Ps2, the input data is input (taken in) to the slave terminal 2 that has received the packet P. That is, the slave terminal 2 takes in the input data regardless of whether or not the individual output data is stored in the storage slot Ps1. Therefore, the slave terminal 2 always shares input data with the present apparatus 1 that is a master terminal. As a result, the operation of the slave terminal 2 is controlled based on the input data generated by the device 1.
  • the input data generated by the control unit 10 includes the types of individual output data (for example, Da1, Db1, Dc1, Dd1, Dm1), the connection forms of the device 1 and the slave terminal 2, the slave terminal 2 Determined by status information, etc.
  • the input data is the sum of the audio signals (Da1 + Db1 + Dc1 + Dd1) and from the microphone connected to the device 1.
  • control unit 10 generates (updates) output data (Da1 + Db1 + Dc1 + Dd1 + Dm1) by adding its own individual output data (Dm1) to the output data (Da1 + Db1 + Dc1 + Dd1) from each slave terminal 2A-2D, and based on the output data Input data (Da1 + Db1 + Dc1 + Dd1 + Dm1) is generated.
  • the input data is a sum signal (summing signal) of audio signals from all terminals constituting the system S.
  • the present device 1 and the slave terminal 2 calculate the gain value of the microphone based on the sum signal.
  • the device 1 and the slave terminal 2 perform signal processing of the audio signal output from the microphone based on the calculated gain value.
  • the sum signal is an example of control information in the present invention for controlling the operations of the device 1 and the slave terminal 2. That is, the present system S realizes real-time gain sharing in the entire system S through transmission / reception of the packet P.
  • the microphone connected to the device 1 is a master audio signal output device in the present invention
  • the microphone connected to the slave terminal 2 is a slave audio signal output device in the present invention.
  • the individual output data output from the slave terminal 2D which is the specific slave terminal, includes an environmental signal.
  • the device 1 generates output data based on the individual output data output from the specific slave terminal (slave terminal 2D), and generates input data based on the output data.
  • the present apparatus 1 generates input data based on the individual output data (environment signal) output from the specific slave terminal.
  • the present system S realizes highly accurate signal processing that takes environmental noise into consideration.
  • the present apparatus 1 and each slave terminal 2 can share the maximum value of the signal level of the audio signal from all the microphones based on the sum signal.
  • the present apparatus 1 and the slave terminal 2 perform voice detection using the maximum value of the signal level as a threshold (for example, a value of maximum value ⁇ several dB). That is, the present system S shares the threshold required for voice detection with the entire system S.
  • the input data is the sum of the background noise signals.
  • the present apparatus 1 and the slave terminal 2 execute noise detection using, for example, a sum signal of the background noise signals as a reference signal.
  • the present system S is based on the type of output data collected from each slave terminal 2 by the present apparatus 1 and the input data generated based on the output data.
  • the input data is shared, and predetermined signal processing is executed. That is, the system S can share input data in the system S and can realize a specific function as the entire system S based on the input data.
  • the slave terminal 2 when the slave terminal 2 receives the packet P in which the input data is stored in the capture slot Ps2, the input data is stored in the storage slot Ps1 of the slave terminal 2 that has received the packet P. Regardless of whether the output data is stored in or not, it is input (taken in) to the slave terminal 2 that has received the packet P. Therefore, in the present system S, the slave terminal 2 can share the input data with the present apparatus 1 that is the master terminal and update the input data.
  • the storage slot Ps1 is reset when the transmission unit 20 transmits the packet P to the slave terminal 2. Therefore, the capacity of the packet P transmitted / received to / from the slave terminal 2 is reduced, and the communication load of the system S is reduced. In addition, unnecessary data is not mixed in the storage slot Ps1, and mixing of noise into data transmitted / received via the packet P is suppressed.
  • the present system S stores output data from the slave terminal 2 to the storage slot Ps1, and generates input data by the control unit 10 of the master terminal 1 (the present apparatus 1). And the input of the input data stored in the take-in slot Ps2 to the slave terminal 2 are executed together with the transmission / reception of the packet P. That is, the system S can share input data during operation of the system S and can update the shared input data during operation of the system S.
  • each slave terminal 2 stores output data in the storage slot Ps1.
  • the output data stored in the storage slot Ps1 is added to the output data already stored in the storage slot Ps1. That is, each output data is added when passing through each slave terminal 2. For this reason, the processing load of the output data of the apparatus 1 is reduced.
  • the apparatus 1 generates input data based on the output data from the slave terminal 2, and the input data is input to the slave terminal 2.
  • a new slave terminal 2 having functions (for example, an echo cancellation function and a noise detection function) that the apparatus 1 and the slave terminal 2 do not have is added to the system S, and the new slave terminal 2 is made.
  • the system S can be easily expanded.
  • the control unit 10 of the apparatus 1 generates input data based on the output data stored in the storage slot Ps1.
  • the control unit of the present apparatus may generate additional data based on the output data stored in the storage slot, and generate input data based on the output data and the additional data. That is, for example, the control unit of this apparatus obtains, as output data, the sum total of audio signals collected by the microphone connected to the slave terminal, and calculates the ratio of the sum and each audio signal as additional data.
  • the control unit of the present apparatus calculates a gain value set for each microphone, and transmits the gain value as input data to the slave terminal.
  • this apparatus which is a master terminal, calculates gain values set for all microphones, and realizes gain sharing in the entire system.
  • the gain value is an example of control information in the present invention.
  • the input data is generated based on the output data.
  • the input data may be generated based on the output data and individual input data corresponding to each slave terminal.
  • “Individual input data” is data used in signal processing by a slave terminal corresponding to the individual input data.
  • the individual input data is a weighting coefficient generated based on, for example, the signal level of the individual output data. For example, when the gain value is calculated, the slave terminal performs fine adjustment of the gain value using the individual input data.
  • the individual input data may include control information for controlling the operation of the slave terminal such as a gain value, for example.
  • control information for controlling the operation of the slave terminal such as a gain value, for example.
  • the audio signal output from the microphone connected to the slave terminal is subjected to signal processing based on the gain value.
  • the input data is a signal (synthesized signal) obtained by synthesizing the audio signal from the slave terminal and the audio signal from this device.
  • the control unit may generate, as input data, a synthesized signal from the slave terminal and an audio signal from this apparatus from the output data.
  • the synthesized signal is input to the apparatus, and the audio signal of the apparatus is input to the slave terminal.
  • the present apparatus and the slave terminal share the input data (each composite signal) as an echo cancellation reference value (sound signal from the remote side). That is, this system realizes an echo cancellation function as the entire system.
  • the input data may be a signal obtained by removing an echo component from each audio signal.
  • the input data may be a ratio between the sum of the audio signals and the audio signals.
  • the ratio between the sum of the audio signals and the audio signals is an example of control information for controlling the operation of the apparatus and the slave terminal.
  • the slave terminal calculates a gain value to be set for the microphone connected to the slave terminal based on the input data. That is, this system realizes gain sharing in the entire system.
  • the present apparatus may generate individual input data based on the output data and status data. That is, for example, this apparatus may generate individual input data (such as a weight coefficient) that increases the gain value of a microphone whose microphone gate is on and decreases the gain value of a microphone whose microphone gate is off. Further, for example, the present apparatus may generate individual input data for increasing the gain value of the slave terminal for which priority is set according to the priority of the slave terminal. As a result, this apparatus can control the operation of the slave terminal according to the state of the slave terminal.
  • this apparatus may generate individual input data (such as a weight coefficient) that increases the gain value of a microphone whose microphone gate is on and decreases the gain value of a microphone whose microphone gate is off. Further, for example, the present apparatus may generate individual input data for increasing the gain value of the slave terminal for which priority is set according to the priority of the slave terminal. As a result, this apparatus can control the operation of the slave terminal according to the state of the slave terminal.
  • the present apparatus may generate individual input data based on output data and at least one of master notification data and slave notification data.
  • the packet may include a plurality of storage slots and a plurality of capture slots.
  • the present system can allow each slave terminal to share a plurality of input data by transmitting and receiving one packet. That is, this system reduces the communication load due to packet transmission / reception and causes the slave terminal to execute a plurality of processes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Small-Scale Networks (AREA)

Abstract

各端末から受信したデータに基づいて生成したデータを共有すると共に、共有したデータをシステムの運用中に更新することが可能なデータ伝送装置とデータ伝送システムとを提供する。 通信ネットワークを介して接続する端末との間でパケットを送受信するデータ伝送装置であって、パケットは、端末から出力される個別出力データが格納される第1スロットと、端末に入力される入力データが格納される第2スロットと、を含み、端末にパケットを送信する送信部と、端末に送信されたパケットを受信する受信部と、第1スロットに格納された個別出力データにより構成される出力データに基づいて、入力データを生成して第2スロットに格納する制御部と、を有してなる、ことを特徴とする。

Description

データ伝送装置とデータ伝送システム
 本発明は、データ伝送装置とデータ伝送システムとに関する。
 例えば、会議システムに使用されるコントロールユニット(マスターユニット)などのデータ伝送装置は、同データ伝送装置に接続された各端末から送信された音声信号を処理(例えば、合成)して、各端末に送信する(例えば、特許文献1参照)。データ伝送装置は、ユニキャスト方式やブロードバンド方式などの伝送方式により各端末との間で信号の送受信を行う。
特開2005-101803号公報
 複数のデータ伝送装置により1つのシステムを構成する場合、例えば、1台のデータ伝送装置がマスター端末として動作し、他のデータ伝送装置はスレーブ端末として動作する。マスター端末は、スレーブ端末の動作の制御を行う。システム全体でゲイン調整や、ノイズ検出などの特定の機能を実現する場合、マスター端末は、同機能を実現するためのデータをスレーブ端末に送信し、システム全体で同データを共有する必要がある。しかし、特許文献1に開示された発明は、音声データや映像データなどスレーブ端末に出力させるためのデータをスレーブ端末に送信するが、システム全体で特定の機能を実現するためのデータの共有は行わない。
 本発明は、以上のような従来技術の問題点を解消するためになされたもので、各端末から受信したデータをシステム内で共有すると共に、同データに基づいて、システム全体として特定の機能を実現することが可能なデータ伝送装置とデータ伝送システムとを提供することを目的とする。
 本発明にかかるデータ伝送装置は、通信ネットワークを介して接続する端末との間でパケットを送受信するデータ伝送装置であって、パケットは、端末から出力される個別出力データが格納される第1スロットと、端末に入力される入力データが格納される第2スロットと、を含み、端末にパケットを送信する送信部と、端末に送信された前記パケットを受信する受信部と、第1スロットに格納された個別出力データにより構成される出力データに基づいて、入力データを生成して第2スロットに格納する制御部と、を有してなる、ことを特徴とする。
 本発明によれば、各端末から受信したデータをシステム内で共有すると共に、同データに基づいて、システム全体として特定の機能を実現することができる。
本発明にかかるデータ伝送システムの実施の形態を示すネットワーク構成図である。 本発明にかかるデータ伝送装置の実施の形態を示す機能ブロック図である。 図2のデータ伝送装置が送受信するパケットのデータ構造を示す模式図である。 図2のデータ伝送装置の情報処理を示すフローチャートである。 図1のデータ伝送システムの情報処理の一部を示すシーケンス図である。 図1のデータ伝送システムの情報処理の別の一部を示すシーケンス図である。
 以下、図面を参照しながら、本発明にかかるデータ伝送装置と、データ伝送システムと、の実施の形態について説明する。
●データ伝送システム●
 先ず、本発明にかかるデータ伝送システムの実施の形態について説明する。
●データ伝送システムの構成
 図1は、本発明にかかるデータ伝送システム(以下「本システム」という。)の実施の形態を示すネットワーク構成図である。
 本システムSは、例えば、多人数の参加者が出席する会議や、授業、講習などで用いられる会議システムである。すなわち、例えば、本システムSは、参加者が使用する端末の制御や、音声信号などの信号の調整などを行う。
 本システムSは、マスターや親機に設定される端末(以下「マスター端末」という。)1と、4つのスレーブや子機に設定される端末(以下「スレーブ端末」という。)2A,2B,2C,2Dと、本システムSが設置された室内の空間の環境騒音を収音するリファレンスマイクロホン(不図示)と、を有してなる。以下、各スレーブ端末2A-2Dを区別することなく総称する場合、各スレーブ端末2A-2Dをスレーブ端末2と記載する。
 なお、スレーブ端末の数は、「4」に限定されない。すなわち、例えば、スレーブ端末の数は、「3以下」や「5以上」でもよい。
 マスター端末1と各スレーブ端末2A-2Dとは、LAN(Local Area Network)、WAN(Wide Area Network)などの通信ネットワーク3を介して接続される。マスター端末1は、パケットPを生成して、通信ネットワーク3を介してスレーブ端末2との間でパケットP(図3参照)を送受信する。パケットPについては、後述する。
 各スレーブ端末2A-2Dは、各スレーブ端末2A-2Dが円環状に連なるリング接続により、マスター端末1と接続される。各スレーブ端末2A-2Dは、マスター端末1と通信可能である。すなわち、マスター端末1はスレーブ端末2Aに接続され、スレーブ端末2Aはスレーブ端末2Bに接続され、スレーブ端末2Bはスレーブ端末2Cに接続され、スレーブ端末2Cはスレーブ端末2Dに接続され、スレーブ端末2Dはマスター端末1に接続される。
 なお、各スレーブ端末は、各スレーブ端末が数珠繋ぎ状に連なるデイジーチェーン接続により、マスター端末と接続されてもよい。
 マスター端末1は、本発明にかかるデータ伝送装置(以下「本装置」という。)の例である。本装置1(マスター端末1)の構成については、後述する。
 スレーブ端末2は、例えば、スレーブ端末2に接続されるマイクロホン(不図示)の制御や、マイクロホンからの信号(音声信号)の混合、分配、バランス調整などの処理を行う。スレーブ端末2は、例えば、ミキサや会議システムのコントロールユニット、会議システムのディスカッションユニットなど、本装置1とデータの送受信を実行する端末である。スレーブ端末2に接続されるマイクロホンは、同マイクロホンに入力される音声に基づいて音声信号を生成して、同音声信号を出力する音声信号出力装置である。マイクロホンから出力される音声信号は、後述のとおり、制御情報に基づいてスレーブ端末2により信号処理される。スレーブ端末2が実行する信号処理は、例えば、ゲイン調整、エコーキャンセル、ノイズ検出、ボイス検出などである。
 なお、本システムがマイクロホンを備えてもよく、あるいは、本装置やスレーブ端末がマイクロホンを備えてもよい。
 スレーブ端末2は、入力ポート(不図示)と、出力ポート(不図示)と、制御部(不図示)と、記憶部(不図示)と、を備える。
 入力ポートは、本装置1や隣接するスレーブ端末2からのパケットPを受信する手段である。出力ポートは、本装置1や隣接するスレーブ端末2にパケットPを送信する手段である。入力ポートと出力ポートとは、例えば、コネクタや端子などの通信インターフェイス(I/F)、増幅器、などにより構成される。
 制御部は、パケットPへのデータの格納と、パケットPからのデータの取り込みと、を実行する手段である。制御部は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などのプロセッサや、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路により構成される。
 記憶部は、パケットPからのデータを記憶する手段である。記憶部は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録装置や、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
●データ伝送装置●
 次に、本装置1について説明する。
●本装置の構成
 図2は、本装置1の実施の形態を示す機能ブロック図である。
 同図は、スレーブ端末2と通信ネットワーク3とを併せて示す。
 本装置1は、スレーブ端末2からの信号の混合、分配、バランス調整などの処理を行う。本装置1は、例えば、ミキサや会議システムのコントロールユニットである。本装置1は、制御部10と、送信部20と、受信部30と、記憶部40と、を有してなる。
 制御部10は、本装置1が送受信するパケットPの生成や、スレーブ端末2の動作の制御、後述する信号処理を実行すると共に、本装置1全体の動作を制御する。制御部10は、例えば、CPU、MPU、DSPなどのプロセッサや、ASIC、FPGAなどの集積回路により構成される。制御部10の動作については、後述する。
 図3は、本装置1が送受信するパケットPのデータ構造を示す模式図である。
 同図は、パケットPがアドレス格納領域Paと、制御データ格納領域Pcと、スロット領域Psと、を含むことを示す。
 「アドレス格納領域Pa」は、例えば、パケットPの送信先(スレーブ端末2)のMACアドレスや、パケットPの送信元(本装置1)のMACアドレスなど、本装置1とスレーブ端末2との間の通信や、スレーブ端末2同士の通信に必要なアドレスを格納する領域である。
 「制御データ格納領域Pc」は、例えば、本装置1で実行されるコマンドや、本装置1に接続されるスレーブ端末2で実行されるコマンド、などの通知データを格納する領域である。通知データは、本装置1からスレーブ端末2に通知されるマスター通知データと、スレーブ端末2から本装置1に通知されるスレーブ通知データと、を含む。
 「マスター通知データ」は、例えば、スレーブ端末2のステータスデータを取得するコマンドや、スレーブ端末2からの発話の要求を許可するコマンドなどを構成するデータである。「スレーブ通知データ」は、例えば、スレーブ端末2からの発話を要求するコマンドを構成するデータや、スレーブ端末2のステータスデータである。「ステータスデータ」は、例えば、スレーブ端末2に接続されているマイクロホンのオン・オフを示すデータや、スレーブ端末2に設定されているプライオリティを示す設定データ、スレーブ端末2に接続されているスピーカの音量を示す音量データなど、スレーブ端末2の動作状況を示すデータである。
 「スロット領域Ps」は、本装置1とスレーブ端末2とから出力されるデータ(個別出力データ)により構成される出力データや、本装置1の制御部10からスレーブ端末2に入力されるデータ(入力データ)を格納する領域である。「個別出力データ」は、例えば、マイクロホンにより収音された音声や室内の空調音などの環境音などの信号や、本装置1やスレーブ端末2がエコーキャンセルやノイズ検出、ボイス検出などに用いるリファレンス信号、などのオーディオデータである。「入力データ」は、制御部10が出力データに基づいて生成するデータである。入力データの詳細については後述する。
 スロット領域Psは、格納スロットPs1と取込スロットPs2とを含む。「格納スロットPs1」は、本装置1やスレーブ端末2から出力される個別出力データが格納される、書き込み専用の領域である。格納スロットPs1への個別出力データの格納は、格納スロットPs1に格納されている個別出力データに新たな個別出力データを加算することで実行される。加算された個別出力データの総和は、本発明における出力データである。「取込スロットPs2」は、スレーブ端末2に入力される(取り込まれる)入力データが格納される、スレーブ端末2の読み取り専用の領域である。格納スロットPs1は本発明における第1スロットであり、取込スロットPs2は本発明における第2スロットである。
 図2に戻る。
 送信部20は、制御部10が生成したパケットPを、通信ネットワーク3を介してスレーブ端末2に送信する。送信部20は、例えば、コネクタや端子などのI/F、増幅器、などにより構成される。本装置1は、送信部20と受信部30と、スレーブ端末2と、の間で、例えば、IEEE(Institute of Electrical and Electronics Engineers)802.3に準拠した通信を行う。
 受信部30は、送信部20から送信されたパケットPをスレーブ端末2から受信する。受信部30は、例えば、I/F、増幅器、などにより構成される。
 記憶部40は、本装置1が後述する情報処理を実行するために必要な情報を記憶する手段である。記憶部40は、例えば、HDD、SSDなどの記録装置や、RAM、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
●本システムの動作
 次に、本システムSの動作について、説明する。
 図4は、本装置1の情報処理を示すフローチャートである。
 図5は、本システムSの情報処理の一部を示すシーケンス図である。
 ここで、図5は、本システムSの情報処理が処理(ST2a,ST2b,ST2c、ST2d)を含み、各スレーブ端末2が格納スロットPs1にデータを格納するときの例を示す。
 先ず、制御部10は、格納スロットPs1が空のパケットPを生成する(ST1)。送信部20は、スレーブ端末2AにパケットPを送信する(ST2)。
 スレーブ端末2Aは、格納スロットPs1に個別出力データ「Da1」を格納して(ST2a)、パケットPをスレーブ端末2Bに送信する。
 スレーブ端末2Bは、格納スロットPs1に個別出力データ「Db1」を格納して(ST2b)、パケットPをスレーブ端末2Cに送信する。
 スレーブ端末2Cは、格納スロットPs1に個別出力データ「Dc1」を格納して(ST2c)、パケットPをスレーブ端末2Dに送信する。
 スレーブ端末2Dは、格納スロットPs1に個別出力データ「Dd1」を格納して(ST2d)、パケットPを本装置1の受信部30に送信する。
 なお、各スレーブ端末は、格納スロットに格納されている個別出力データの総和(出力データ)と、自己の個別出力データと、を比較して、格納スロットに個別出力データを格納するか否かを判定してもよい。すなわち、例えば、各スレーブ端末は、自己の個別出力データの信号レベルが、格納スロットに格納されている出力データの信号レベルよりも極端に小さいとき(例えば、誤差レベル)、格納スロットに個別出力データを格納しなくてもよい。
 次いで、受信部30は、パケットPを受信する(ST3)。制御部10は、パケットPの格納スロットPs1に個別出力データ「Dm1」を格納して(ST4)、格納スロットPs1に格納された出力データ(例えば、Da1+Db1+Dc1+Dd1+Dm1)を記憶部40に記憶する(ST5)。ここで、出力データを構成する個別出力データのいずれかは、リファレンスマイクロホンが収音した環境騒音に対応する信号(環境信号)を含む。すなわち、例えば、リファレンスマイクロホンがスレーブ端末2Dに接続されているとき、個別出力データ「Dd1」は、環境信号を含む。この場合、スレーブ端末2Dは、本発明における特定スレーブ端末である。
 制御部10は、格納スロットPs1に格納された出力データに基づいて、入力データを生成する(ST6)。制御部10は、入力データを記憶部40に記憶する(ST7)。つまり、入力データは、本装置1に入力される。
 図6は、本システムSの情報処理の別の一部を示すシーケンス図である。
 ここで、図6は、本システムSの情報処理が処理(ST10a,ST10b,ST10c、ST10d)を含み、各スレーブ端末2が格納スロットPs1に個別出力データを格納するときの例を示す。
 次いで、制御部10は、入力データを取込スロットPs2に格納すると共に、格納スロットPs1をリセット、すなわち、格納スロットPs1を空にする(ST8)。送信部20は、格納スロットPs1が空、かつ、取込スロットPs2に入力データが格納されたパケットPを、スレーブ端末2Aに送信する(ST9)。
 ここで、「格納スロットPs1のリセット」は、制御部10が格納スロットPs1が空の状態のパケットPを生成することを指す。すなわち、例えば、格納スロットPs1のリセットは、格納スロットPs1に格納されている出力データを消去する処理と、格納スロットPs1が空の状態のパケットPを新たに生成する処理と、を含む。このように、格納スロットPs1を空にしたパケットPをスレーブ端末2に送信することで、スレーブ端末2に伝送されるパケットPの容量が小さくなる。そのため、本システムSの通信負荷は、軽減される。また、格納スロットPs1に不要なデータが混在せず、パケットPを介して送受信されるデータへのノイズの混入が抑制される。
 スレーブ端末2Aは、本装置1から取込スロットPs2に入力データが格納されたパケットPを受信したとき、パケットPに格納された入力データをスレーブ端末2Aの制御部に入力する(取り込む)。取り込まれた入力データは、スレーブ端末2Aの記憶部に記憶される。その結果、例えば、スレーブ端末2Aの動作を規定する設定内容は、後述のとおり、入力データに基づいて、変更される。このとき、スレーブ端末2Aは、格納スロットPs1に個別出力データ「Da2」を格納する(ST9a)。スレーブ端末2Aは、パケットPをスレーブ端末2Bに送信する。
 スレーブ端末2Bは、本装置1から取込スロットPs2に入力データが格納されたパケットPを受信したとき、パケットPに格納された入力データをスレーブ端末2Bの制御部に入力する(取り込む)。取り込まれた入力データは、スレーブ端末2Bの記憶部に記憶される。その結果、例えば、スレーブ端末2Bの動作を規定する設定内容は、後述のとおり、入力データに基づいて、変更される。このとき、スレーブ端末2Bは、格納スロットPs1に個別出力データ「Db2」を格納する(ST9b)。スレーブ端末2Bは、パケットPをスレーブ端末2Cに送信する。
 スレーブ端末2Cは、本装置1から取込スロットPs2に入力データが格納されたパケットPを受信したとき、パケットPに格納された入力データをスレーブ端末2Cの制御部に入力する(取り込む)。取り込まれた入力データは、スレーブ端末2Cの記憶部に記憶される。その結果、例えば、スレーブ端末2Cの動作を規定する設定内容は、後述のとおり、入力データに基づいて、変更される。このとき、スレーブ端末2Cは、格納スロットPs1に個別出力データ「Dc2」を格納する(ST9c)。スレーブ端末2Cは、パケットPをスレーブ端末2Dに送信する。
 スレーブ端末2Dは、本装置1から取込スロットPs2に入力データが格納されたパケットPを受信したとき、パケットPに格納された入力データをスレーブ端末2Dの制御部に入力する(取り込む)。取り込まれた入力データは、スレーブ端末2Dの記憶部に記憶される。その結果、例えば、スレーブ端末2Dの動作を規定する設定内容は、後述のとおり、入力データに基づいて、変更される。このとき、スレーブ端末2Dは、格納スロットPs1に個別出力データ「Dd2」を格納する(ST9d)。スレーブ端末2Dは、パケットPを本装置1の受信部30に送信する。
 受信部30は、パケットPを受信して(ST10)、パケットPを制御部10に送信する。制御部10は、取込スロットPs2をリセットして(ST11)、本システムSの情報処理は、処理(ST4)に戻る。
 なお、本装置は、入力データが格納されたパケットをスレーブ端末から受信したとき、入力データを本装置の記憶部に記憶してもよい。換言すれば、取込スロットに格納された入力データが、本装置に入力されてもよい。
 このように、スレーブ端末2が取込スロットPs2に入力データが格納されたパケットPを受信したとき、入力データは、パケットPを受信したスレーブ端末2に入力される(取り込まれる)。すなわち、スレーブ端末2は、格納スロットPs1への個別出力データの格納の有無に関わらず、入力データを取り込む。そのため、スレーブ端末2は、マスター端末である本装置1と入力データを常に共有する。その結果、スレーブ端末2の動作は、本装置1が生成した入力データに基づいて制御される。
●入力データ
 制御部10により生成される入力データは、個別出力データ(例えば、Da1,Db1,Dc1,Dd1,Dm1)の種類や、本装置1とスレーブ端末2それぞれの接続形態、スレーブ端末2のステータス情報、などにより決定される。
 例えば、個別出力データが本装置1やスレーブ端末2に接続されているマイクロホンからの音声信号のとき、入力データは、各音声信号の総和(Da1+Db1+Dc1+Dd1)と、本装置1に接続されるマイクロホンからの音声信号(Dm1)と、の総和(Da1+Db1+Dc1+Dd1+Dm1)である。すなわち、制御部10は、各スレーブ端末2A-2Dからの出力データ(Da1+Db1+Dc1+Dd1)に自己の個別出力データ(Dm1)を加算して出力データ(Da1+Db1+Dc1+Dd1+Dm1)を生成(更新)し、出力データに基づいて入力データ(Da1+Db1+Dc1+Dd1+Dm1)を生成する。この場合、入力データは、本システムSを構成する全端末からの音声信号の総和信号(サミング信号)である。その結果、例えば、本装置1とスレーブ端末2とは、同総和信号に基づいて、マイクロホンのゲイン値を算出する。本装置1とスレーブ端末2とは、算出されたゲイン値に基づいて、マイクロホンから出力される音声信号の信号処理を実行する。この場合、総和信号は、本装置1とスレーブ端末2それぞれの動作を制御する、本発明における制御情報の例である。すなわち、本システムSは、パケットPの送受信を介して、本システムS全体でのリアルタイムのゲインシェアリングを実現する。本装置1に接続されるマイクロホンは本発明におけるマスター音声信号出力装置であり、スレーブ端末2に接続されるマイクロホンは本発明におけるスレーブ音声信号出力装置である。
 ここで、前述のとおり、特定スレーブ端末であるスレーブ端末2Dから出力された個別出力データは、環境信号を含む。本装置1は、特定スレーブ端末(スレーブ端末2D)から出力された個別出力データに基づいて出力データを生成し、同出力データに基づいて入力データを生成する。換言すれば、本装置1は、特定スレーブ端末から出力された個別出力データ(環境信号)に基づいて、入力データを生成する。その結果、本システムSは、環境騒音を加味した、精度の良い信号処理を実現する。
 さらに、本装置1と各スレーブ端末2は、総和信号に基づいて、全てのマイクロホンからの音声信号の信号レベルの最大値を共有することができる。この場合、本装置1とスレーブ端末2とは、信号レベルの最大値を閾値(例えば、最大値±数dBの値)として、ボイス検出を実行する。すなわち、本システムSは、ボイス検出に必要な閾値を本システムS全体で共有する。
 ここで、例えば、個別出力データが本装置1やスレーブ端末2に接続されているマイクロホンが収音した暗騒音に対応する信号(暗騒音信号)のとき、入力データは、暗騒音信号の総和の信号である。この場合、本装置1とスレーブ端末2とは、例えば、同暗騒音信号の総和の信号をリファレンス信号として、ノイズ検出を実行する。
 このように、本システムSは、本装置1が各スレーブ端末2から収集する出力データの種類と、出力データに基づいて生成される入力データと、に基づいて、本システムS全体や、端末ごとに入力データを共有して、所定の信号処理を実行する。つまり、本システムSは、本システムS内で入力データを共有すると共に、同入力データに基づいて、本システムS全体としてある特定の機能を実現することができる。
●まとめ
 以上説明した実施の形態によれば、スレーブ端末2が取込スロットPs2に入力データが格納されたパケットPを受信したとき、入力データは、パケットPを受信したスレーブ端末2の格納スロットPs1への出力データの格納の有無に関わらず、パケットPを受信したスレーブ端末2に入力される(取り込まれる)。そのため、本システムSにおいて、スレーブ端末2は、マスター端末である本装置1と入力データを共有し、入力データを更新することができる。
 また、以上説明した実施の形態によれば、格納スロットPs1は、送信部20がスレーブ端末2にパケットPを送信するとき、リセットされる。そのため、スレーブ端末2に送受信されるパケットPの容量が小さくなり、本システムSの通信負荷は、軽減される。また、格納スロットPs1に不要なデータが混在せず、パケットPを介して送受信されるデータへのノイズの混入が抑制される。
 さらに、以上説明した実施の形態によれば、本システムSは、スレーブ端末2からの格納スロットPs1への出力データの格納と、マスター端末1(本装置1)の制御部10による入力データの生成と、取込スロットPs2に格納された入力データのスレーブ端末2への入力と、をパケットPの送受信と共に実行する。すなわち、本システムSは、本システムSの運用中に入力データを共有すると共に、共有した入力データを本システムSの運用中に更新することができる。
 さらにまた、以上説明した実施の形態によれば、各スレーブ端末2は、格納スロットPs1に出力データを格納する。格納スロットPs1に格納される出力データは、既に格納スロットPs1に格納されている出力データに加算される。すなわち、各出力データは、各スレーブ端末2を経由するときに加算される。そのため、本装置1の出力データの処理負荷は、軽減される。
 さらにまた、以上説明した実施の形態によれば、本システムSでは、本装置1がスレーブ端末2からの出力データに基づいて入力データを生成し、同入力データがスレーブ端末2に入力される。その結果、本装置1やスレーブ端末2が備えていない機能(例えば、エコーキャンセル機能や、ノイズ検出機能)を備える新たなスレーブ端末2を本システムSに追加して、同新たなスレーブ端末2に入力データを共有させて同機能を実行させることで、本システムSは、容易に機能拡張を図ることができる。
 なお、以上説明した実施の形態は、本装置1の制御部10が格納スロットPs1に格納された出力データに基づいて、入力データを生成する構成であった。これに代えて、本装置の制御部は、格納スロットに格納された出力データに基づいて追加データを生成し、出力データと追加データとに基づいて、入力データを生成してもよい。すなわち、例えば、本装置の制御部は、スレーブ端末に接続されるマイクロホンが収音した音声信号の総和を出力データとして入手し、同総和と各音声信号との比を追加データとして算出する。本装置の制御部は、出力データと追加データとに基づいて、各マイクロホンに設定されるゲイン値を算出し、同ゲイン値を入力データとしてスレーブ端末に送信する。その結果、マスター端末である本装置は、全てのマイクロホンに設定されるゲイン値を算出して、本システム全体でのゲインシェアリングを実現する。この場合、ゲイン値は、本発明における制御情報の例である。
 また、以上説明した実施の形態によれば、入力データは、出力データに基づいて、生成される。これに代えて、入力データは、出力データと、スレーブ端末それぞれに対応する個別入力データと、に基づいて、生成されてもよい。「個別入力データ」は、同個別入力データに対応するスレーブ端末が信号処理の際に用いるデータである。個別入力データは、例えば、個別出力データの信号レベルなどに基づいて生成される重み係数である。スレーブ端末は、例えば、ゲイン値を算出するとき、個別入力データを用いてゲイン値の微調整を実行する。
 さらに、個別入力データは、例えば、ゲイン値などスレーブ端末の動作を制御する制御情報を含んでもよい。この場合、スレーブ端末に接続される(スレーブ端末が備える)マイクロホンから出力される音声信号は、同ゲイン値に基づいて信号処理される。
 さらにまた、例えば、スレーブ端末が本装置とは別の拠点に配置されたとき、入力データは、スレーブ端末からの音声信号を合成した信号(合成信号)と、本装置からの音声信号と、でもよい。すなわち、制御部は、出力データから、スレーブ端末からの合成信号と、本装置からの音声信号と、を入力データとして生成してもよい。この場合、合成信号は本装置に入力され、本装置の音声信号はスレーブ端末に入力される。その結果、本装置とスレーブ端末とは、入力データ(各合成信号)をエコーキャンセルのリファレンス値(遠隔側からの音声信号)として共有する。すなわち、本システムは、本システム全体としてエコーキャンセル機能を実現する。
 さらにまた、例えば、本装置のみがエコーキャンセル機能を備える場合、入力データは、各音声信号からエコー成分を除去した信号でもよい。
 さらにまた、例えば、出力データがスレーブ端末に接続されるマイクロホンからの音声信号のとき、入力データは、各音声信号の総和と、各音声信号と、の比でもよい。この場合、各音声信号の総和と各音声信号との比は、本装置やスレーブ端末の動作を制御する制御情報の例である。スレーブ端末は、入力データに基づいて、同スレーブ端末に接続されるマイクロホンに設定するゲイン値を算出する。すなわち、本システムは、本システム全体でのゲインシェアリングを実現する。
 さらにまた、本装置は、出力データとステータスデータとに基づいて、個別入力データを生成してもよい。すなわち、例えば、本装置は、マイクロホンのゲートがオンのマイクロホンのゲイン値を上げ、マイクロホンのゲートがオフのマイクロホンのゲイン値を下げる個別入力データ(重み係数など)を生成してもよい。また、例えば、本装置は、スレーブ端末のプライオリティに応じて、プライオリティの設定されているスレーブ端末のゲイン値を上げる個別入力データを生成してもよい。その結果、本装置は、スレーブ端末の状態に応じて、スレーブ端末の動作を制御することができる。
 このように、本装置は、出力データと、マスター通知データとスレーブ通知データとのうち少なくともいずれか一方と、に基づいて、個別入力データを生成してもよい。
 また、パケットは、複数の格納スロットと、複数の取込スロットと、を含んでもよい。この場合、本システムは、複数の取込スロットそれぞれに別の入力データを格納することにより、1回のパケットの送受信で各スレーブ端末に複数の入力データを共有させることができる。すなわち、本システムは、パケットの送受信による通信負荷を軽減させると共に、複数の処理をスレーブ端末に実行させる。
S   データ伝送システム
1   データ伝送装置
2   スレーブ端末
3   通信ネットワーク
10  制御部
20  送信部
30  受信部
40  記憶部
P   パケット
Ps1 格納スロット(第1スロット)
Ps2 取込スロット(第2スロット)

 

Claims (22)

  1.  通信ネットワークを介して接続する端末との間でパケットを送受信するデータ伝送装置であって、
     前記パケットは、
     前記端末から出力される個別出力データが格納される第1スロットと、
     前記端末に入力される入力データが格納される第2スロットと、
    を含み、
     前記端末に前記パケットを送信する送信部と、
     前記端末に送信された前記パケットを受信する受信部と、
     前記第1スロットに格納された前記個別出力データにより構成される出力データに基づいて、前記入力データを生成して前記第2スロットに格納する制御部と、
    を有してなる、
    ことを特徴とするデータ伝送装置。
  2.  前記第1スロットは、前記送信部が前記端末に前記パケットを送信するとき、リセットされる、
    請求項1記載のデータ伝送装置。
  3.  前記制御部は、
     前記出力データに基づいて、追加データを生成し、
     前記出力データと前記追加データとに基づいて、前記入力データを生成する、
    請求項1記載のデータ伝送装置。
  4.  前記入力データは、前記端末の動作を制御する制御情報を含む、
    請求項3記載のデータ伝送装置。
  5.  前記端末は、入力される音声に基づいて音声信号を生成して出力する音声信号出力装置を備え、
     前記音声信号出力装置から出力される前記音声信号は、前記制御情報に基づいて前記端末により信号処理される、
    請求項4記載のデータ伝送装置。
  6.  マスター端末と、
     前記マスター端末と通信ネットワークを介して接続する少なくとも1のスレーブ端末と、
    を有してなり、
     前記マスター端末は、前記スレーブ端末との間でパケットを送受信し、
     前記パケットは、
     前記スレーブ端末から出力される個別出力データが格納される第1スロットと、
     前記スレーブ端末に入力される入力データが格納される第2スロットと、
    を含み、
     前記スレーブ端末が前記第2スロットに前記入力データが格納された前記パケットを受信したとき、前記入力データは、前記パケットを受信した前記スレーブ端末に入力される、
    ことを特徴とするデータ伝送システム。
  7.  前記マスター端末は、複数の前記スレーブ端末と接続し、
     前記スレーブ端末のそれぞれは、前記第1スロットに前記個別出力データを格納する、
    請求項6記載のデータ伝送システム。
  8.  前記マスター端末は、前記個別出力データにより構成される出力データに基づいて、前記入力データを生成して前記第2スロットに格納する、
    請求項6記載のデータ伝送システム。
  9.  前記スレーブ端末に入力される前記第2スロットに格納された前記入力データは、前記マスター端末に入力される、
    請求項6記載のデータ伝送システム。
  10.  前記入力データは、前記スレーブ端末の動作を制御する制御情報を含む、
    請求項6記載のデータ伝送システム。
  11.  前記スレーブ端末は、入力される音声に基づいて音声信号を生成して出力する音声信号出力装置を備え、
     前記音声信号出力装置から出力される前記音声信号は、前記制御情報に基づいて前記スレーブ端末により信号処理される、
    請求項10記載のデータ伝送システム。
  12.  前記制御情報は、前記マスター端末の動作を制御する、
    請求項10記載のデータ伝送システム。
  13.  前記マスター端末は、
     前記第1スロットに格納された前記スレーブ端末それぞれに対応する前記個別出力データに基づいて、前記スレーブ端末それぞれに対応する個別入力データを生成し、
     前記スレーブ端末それぞれに対応する前記個別入力データに基づいて、前記入力データを生成する、
    請求項6記載のデータ伝送システム。
  14.  前記個別入力データは、前記個別入力データに対応する前記スレーブ端末の動作を制御する制御情報を含む、
    請求項13記載のデータ伝送システム。
  15.  前記スレーブ端末は、入力される音声に基づいて音声信号を生成して出力する音声信号出力装置を備え、
     前記音声信号出力装置から出力される前記音声信号は、前記制御情報に基づいて前記スレーブ端末により信号処理される、
    請求項14記載のデータ伝送システム。
  16.  環境騒音を収音するリファレンスマイクロホン、
    を有してなり、
     複数の前記スレーブ端末は、前記リファレンスマイクロホンが接続される特定スレーブ端末を含み、
     前記特定スレーブ端末に対応する前記個別出力データは、前記リファレンスマイクロホンが収音した前記環境騒音に対応する環境信号を含み、
     前記マスター端末は、前記環境信号に基づいて、前記入力データを生成する、
    請求項13記載のデータ伝送システム。
  17.  前記パケットは、前記スレーブ端末の動作状況を示すステータスデータを含み、
     前記マスター端末は、前記出力データと前記ステータスデータとに基づいて、前記入力データを生成する、
    請求項8記載のデータ伝送システム。
  18.  前記パケットは、前記マスター端末から前記スレーブ端末に通知されるマスター通知データと、前記スレーブ端末から前記マスター端末に通知されるスレーブ通知データと、のうち、少なくともいずれか一方を含み、
     前記マスター端末は、前記出力データと、前記マスター通知データと前記スレーブ通知データとのうち少なくともいずれか一方と、に基づいて、前記入力データを生成する、
    請求項8記載のデータ伝送システム。
  19.  前記制御情報は、前記音声信号出力装置のゲイン値を含む、
    請求項5記載のデータ伝送システム。
  20.  前記制御情報は、前記複数のスレーブ端末それぞれからの前記音声信号の総和と、前記複数のスレーブ端末それぞれからの前記音声信号と、の比を含む、
    請求項11記載のデータ伝送システム。
  21.  前記制御情報は、前記音声信号出力装置のゲイン値を含む、
    請求項15記載のデータ伝送システム。
  22.  入力される音声に基づいて音声信号を生成して出力する複数の音声信号出力装置、
    を有してなり、
     前記複数の音声信号出力装置は、前記マスター端末に接続されるマスター音声信号出力装置と、前記スレーブ端末に接続されるスレーブ音声信号出力装置と、を含み、
     前記入力データは、前記マスター音声信号出力装置からの音声信号と、前記スレーブ音声信号出力装置からの音声信号と、の総和信号であり、
     前記マスター端末は、前記入力データに基づいて、前記マスター音声信号出力装置のゲイン値を算出して、前記マスター音声信号出力装置からの音声信号を処理し、
     前記スレーブ端末は、前記入力データに基づいて、前記スレーブ音声信号出力装置のゲイン値を算出して、前記スレーブ音声信号出力装置からの音声信号を処理する、
    請求項6記載のデータ伝送システム。
     

     
PCT/JP2018/010331 2017-06-12 2018-03-15 データ伝送装置とデータ伝送システム WO2018230063A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18817568.1A EP3641235B1 (en) 2017-06-12 2018-03-15 Data transmission device and data transmission system
US16/621,547 US20210351952A1 (en) 2017-06-12 2018-03-15 Data transmission device and data transmission system
CN201880038846.0A CN110741608B (zh) 2017-06-12 2018-03-15 数据传输装置和数据传输系统
JP2019525089A JP7161214B2 (ja) 2017-06-12 2018-03-15 データ伝送装置とデータ伝送システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017114909 2017-06-12
JP2017-114909 2017-06-12

Publications (1)

Publication Number Publication Date
WO2018230063A1 true WO2018230063A1 (ja) 2018-12-20

Family

ID=64659528

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010331 WO2018230063A1 (ja) 2017-06-12 2018-03-15 データ伝送装置とデータ伝送システム

Country Status (5)

Country Link
US (1) US20210351952A1 (ja)
EP (1) EP3641235B1 (ja)
JP (1) JP7161214B2 (ja)
CN (1) CN110741608B (ja)
WO (1) WO2018230063A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101803A (ja) 2003-09-24 2005-04-14 Sony Corp データ伝送システム、端末装置、パス選択方法、記録媒体及びプログラム
JP2005181391A (ja) * 2003-12-16 2005-07-07 Sony Corp 音声処理装置および音声処理方法
JP2006140930A (ja) * 2004-11-15 2006-06-01 Sony Corp マイクシステムおよびマイク装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005125273A1 (ja) * 2004-06-16 2005-12-29 Matsushita Electric Industrial Co., Ltd. ハウリング検出装置およびその方法
KR101657314B1 (ko) * 2010-06-29 2016-09-19 삼성전자주식회사 근거리 무선통신을 이용한 오디오 제어 시스템 및 방법
CN102098467B (zh) * 2010-12-07 2012-12-26 青岛海信宽带多媒体技术有限公司 实现电视终端双向控制的方法及装置
JP6079174B2 (ja) * 2011-12-27 2017-02-15 株式会社リコー 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP5751228B2 (ja) * 2012-09-05 2015-07-22 コニカミノルタ株式会社 会議支援システム及び制御装置並びに入力端末
JP6099774B2 (ja) * 2013-03-15 2017-03-22 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 会議システム、及び、会議システムの作動方法
CN103199980B (zh) * 2013-04-07 2016-03-16 浙江中控技术股份有限公司 同步控制方法、装置及系统
US10074374B2 (en) * 2014-04-07 2018-09-11 Barco N.V. Ad hoc one-time pairing of remote devices using online audio fingerprinting
EP3343766A4 (en) * 2015-08-24 2019-07-17 Yamaha Corporation SIGNAL PROCESSING DEVICE AND SPEAKER DEVICE
CN106782589B (zh) * 2016-12-12 2020-08-18 奇酷互联网络科技(深圳)有限公司 移动终端及其语音输入方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101803A (ja) 2003-09-24 2005-04-14 Sony Corp データ伝送システム、端末装置、パス選択方法、記録媒体及びプログラム
JP2005181391A (ja) * 2003-12-16 2005-07-07 Sony Corp 音声処理装置および音声処理方法
JP2006140930A (ja) * 2004-11-15 2006-06-01 Sony Corp マイクシステムおよびマイク装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3641235A4

Also Published As

Publication number Publication date
EP3641235A4 (en) 2021-03-03
JPWO2018230063A1 (ja) 2020-04-30
CN110741608A (zh) 2020-01-31
US20210351952A1 (en) 2021-11-11
EP3641235A1 (en) 2020-04-22
JP7161214B2 (ja) 2022-10-26
EP3641235B1 (en) 2022-11-09
CN110741608B (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
US10469967B2 (en) Utilizing digital microphones for low power keyword detection and noise suppression
US11240598B2 (en) Band-limited beamforming microphone array with acoustic echo cancellation
US9799330B2 (en) Multi-sourced noise suppression
US8644477B2 (en) Digital Microphone Automixer
CN114450973A (zh) 用于以声学回声消除器去除非线性回声的技术
CN112236820B (zh) 波束形成器和声学回声消除器(aec)系统
US20200265859A1 (en) Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing sytem
CN103238182A (zh) 具有远程噪声检测器的降噪系统
WO2014019596A2 (en) Processing audio signals
WO2017192398A1 (en) Stereo separation and directional suppression with omni-directional microphones
Cáceras et al. Jacktrip/Soundwire meets server farm
US20110099485A1 (en) ACOUSTIC ECHO CANCELLATION (AEC) WITH CONFERENCING ENVIRONMENT TEMPLATES (CETs)
US8804981B2 (en) Processing audio signals
WO2018230063A1 (ja) データ伝送装置とデータ伝送システム
US10490205B1 (en) Location based storage and upload of acoustic environment related information
US11985488B2 (en) System and method for automatically tuning digital signal processing configurations for an audio system
US20220141341A1 (en) Conference terminal and multi-device coordinating method for conference
CN103002171B (zh) 处理音频信号的方法和装置
US7949723B2 (en) Real time tuner for providing graphical user interface
WO2023134328A1 (zh) 一种电子设备控制方法、装置及电子设备
TWI845163B (zh) 影音串流傳輸系統
CN117640805A (zh) 具有基于波束成形器的会议表征的扬声器电话及相关方法
CN117527563A (zh) 一种基于设备的链路自动配置方法及系统
CN115314809A (zh) 一种音箱设备
JP2014027650A (ja) 中継装置および通信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18817568

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525089

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018817568

Country of ref document: EP

Effective date: 20200113