JP4867803B2 - Network communication system - Google Patents

Network communication system Download PDF

Info

Publication number
JP4867803B2
JP4867803B2 JP2007153688A JP2007153688A JP4867803B2 JP 4867803 B2 JP4867803 B2 JP 4867803B2 JP 2007153688 A JP2007153688 A JP 2007153688A JP 2007153688 A JP2007153688 A JP 2007153688A JP 4867803 B2 JP4867803 B2 JP 4867803B2
Authority
JP
Japan
Prior art keywords
terminal
information
conference
conference terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007153688A
Other languages
Japanese (ja)
Other versions
JP2008306623A (en
Inventor
訓志 三浦
茂 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2007153688A priority Critical patent/JP4867803B2/en
Publication of JP2008306623A publication Critical patent/JP2008306623A/en
Application granted granted Critical
Publication of JP4867803B2 publication Critical patent/JP4867803B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

この発明は、複数の端末を相互に接続してなるネットワーク通信システムに関する。   The present invention relates to a network communication system in which a plurality of terminals are connected to each other.

従来、遠隔地間で会議を行う会議システムが各種開示されている。このような会議システムでは、音声の品質を確保するために種々の提案がされている(例えば特許文献1、特許文献2参照)。特許文献1の装置は、受信側の処理能力に応じたデータを複数の端末に同時配信することで、どの端末でも最適な通話品質を確保することができるものである。また、特許文献2の装置は、サーバ装置が端末の数を音声データに付与して配信することにより、受信側で端末数に応じたレベル調整を行い、音声品質を確保するものである。   Conventionally, various conference systems for performing conferences between remote locations have been disclosed. In such a conference system, various proposals have been made to ensure audio quality (see, for example, Patent Document 1 and Patent Document 2). The device of Patent Document 1 can ensure optimal call quality at any terminal by simultaneously distributing data corresponding to the processing capability on the receiving side to a plurality of terminals. In the device of Patent Document 2, the server device assigns the number of terminals to the audio data and distributes the audio data, thereby performing level adjustment according to the number of terminals on the receiving side and ensuring audio quality.

また、多地点で会議を行うため、各装置の状態(発話者の有無、接続の有無、等)が問題となる。そこで、参加者が発話者を特定することができる技術が開示されている(例えば特許文献3参照)。特許文献3の装置は、音声データとは別のデータとして発話有無の判定データを配信し、発話者を特定するものである。
特開2005−277949号公報 特開2003−23499号公報 特表2003−506906号公報
In addition, since the conference is performed at multiple points, the state of each device (the presence or absence of a speaker, the presence or absence of connection, etc.) becomes a problem. Thus, a technique is disclosed in which a participant can specify a speaker (see, for example, Patent Document 3). The device of Patent Document 3 distributes determination data for the presence / absence of speech as data different from audio data, and identifies a speaker.
JP 2005-277949 A JP 2003-23499 A Special table 2003-506906 gazette

しかし、特許文献1、2の装置によれば、各装置の状態を検出できるわけではなかった。一方、特許文献3の構成によれば、音声データとは別のトラフィックが発生するため、ネットワーク負荷が増える。そのため、リアルタイム通信が阻害される結果となっていた。   However, according to the devices of Patent Documents 1 and 2, the state of each device cannot be detected. On the other hand, according to the configuration of Patent Document 3, traffic different from voice data is generated, so that the network load increases. As a result, real-time communication is hindered.

そこで、この発明は、ネットワーク負荷を増大させることなく、リアルタイムに各装置の状態を特定することができるネットワーク通信システムを提供することを目的とする。   Therefore, an object of the present invention is to provide a network communication system that can specify the state of each device in real time without increasing the network load.

この発明のネットワーク通信システムは、ネットワークを介して接続される複数の端末からなるネットワーク通信システムであって、前記端末は、他の端末の識別情報と他の端末の状態を示す情報とを記憶した記憶部と、自身の端末の状態を検出する検出部と、自身の端末の識別情報、および自身の端末の状態を示す情報、ならびに前記記憶部に記憶されている他の端末の識別情報、および他の端末の状態を示す情報、を所定のプロトコルに含まれる拡張情報として送信する通信部と、前記通信部が他装置から拡張情報を受信したとき、この拡張情報に基づいて自身の端末の記憶部に記憶されている情報を更新し、前記通信部に対し、拡張情報を送信した他の端末に自身の端末の情報を含めた拡張情報を送信するとき、当該他の端末の識別情報、および当該他の端末の状態を示す情報を含めずに送信するように設定する制御部と、を備えたことを特徴とする。   The network communication system according to the present invention is a network communication system including a plurality of terminals connected via a network, and the terminals store identification information of other terminals and information indicating the states of the other terminals. A storage unit, a detection unit for detecting the state of the terminal of itself, identification information of the terminal of itself, information indicating the state of the terminal of the terminal, and identification information of other terminals stored in the storage unit, and A communication unit that transmits information indicating the state of another terminal as extended information included in a predetermined protocol, and when the communication unit receives the extended information from another device, the communication unit stores its own terminal based on the extended information. When updating the information stored in the communication unit and transmitting the extended information including the information of the terminal itself to the other terminal that transmitted the extended information to the communication unit, the identification information of the other terminal is transmitted. And characterized by comprising a control unit configured to send without including the information indicating the state of the other terminal.

この構成では、各端末が他装置の状態を示す情報をメモリに記録しておく。各装置は、自装置の状態を示す情報とメモリに記録された他装置の状態を示す情報とを所定のプロトコル(例えばRTP(Real-time Transport Protocol))に含まれる拡張情報(RTP拡張ヘッダ)として送信する。受信側では、受信した拡張情報に基づいてメモリの記録内容を更新する。また、拡張情報を送信した端末に対してはその端末の状態を示す情報を送信しない。すなわち、送信先の装置の状態を示す情報は拡張ヘッダに含まれない。これにより、システム内の全ての端末が他装置の状態を記録しておくことができ、また、他装置の状態を示す情報はRTPパケットに含まれる拡張ヘッダに記載されているため、ネットワーク負荷を増大させることがない。   In this configuration, each terminal records information indicating the state of another device in a memory. Each device includes information indicating the status of the device itself and information indicating the status of the other device recorded in the memory in extension information (RTP extension header) included in a predetermined protocol (for example, RTP (Real-time Transport Protocol)). Send as. On the receiving side, the recorded contents of the memory are updated based on the received extended information. Also, information indicating the status of the terminal is not transmitted to the terminal that has transmitted the extended information. That is, information indicating the state of the transmission destination device is not included in the extension header. As a result, all terminals in the system can record the status of other devices, and information indicating the status of other devices is described in the extension header included in the RTP packet. There is no increase.

また、この発明は、さらに、前記端末は、収音部と放音部とを備えた音声会議端末であり、前記通信部は、前記収音部が収音した音声を前記所定のプロトコルに含まれる音声データとして送信し、前記検出部は、前記収音部の収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを示す情報を前記自身の端末の状態を示す情報に含めることを特徴とする。   Further, according to the present invention, the terminal is an audio conference terminal including a sound collection unit and a sound emission unit, and the communication unit includes the sound collected by the sound collection unit in the predetermined protocol. And the detection unit detects the level of the sound collected by the sound collection unit, and displays information indicating whether the level is equal to or higher than a predetermined threshold, the state of the terminal of the terminal itself. It is included in the information to show.

この構成では、各端末が収音部と放音部を備えている。各端末は、収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを検出する。所定の閾値以上であれば発話者が存在すると判断でき、閾値以上である旨を示す情報を装置の状態を示す情報に含めて送受信することで、各端末の発話者の有無を検出することができる。   In this configuration, each terminal includes a sound collection unit and a sound emission unit. Each terminal detects the level of collected sound and detects whether the level is equal to or higher than a predetermined threshold. If it is equal to or greater than a predetermined threshold, it can be determined that there is a speaker, and information indicating that it is equal to or greater than the threshold is included in the information indicating the state of the device to detect the presence or absence of a speaker at each terminal. it can.

また、この発明は、さらに、前記制御部は、前記拡張情報に他の端末の制御を行う制御情報を含めて送信するように前記通信部に設定することを特徴とする。   Furthermore, the present invention is characterized in that the control unit is set in the communication unit so as to transmit the extended information including control information for controlling other terminals.

この構成では、拡張情報に他装置を制御する情報を含めて送信する。例えば他装置の音量制御を行う。   In this configuration, the extended information is transmitted including information for controlling other devices. For example, the volume control of another device is performed.

また、この発明は、さらに、前記複数の端末を階層状に接続してなり、前記検出部は、自身の端末の階層段階を前記自身の端末の状態を示す情報に含めることを特徴とする。   Furthermore, the present invention is characterized in that the plurality of terminals are connected in a hierarchy, and the detection unit includes the hierarchical level of the terminal in the information indicating the state of the terminal.

この構成では、各端末を階層状に接続する(カスケード接続する)。端末間では自装置の状態として階層段階を示す情報を送受信する。階層段階を示す情報を送受信することで、ネットワーク内の不具合(ループや階層制限オーバー等)を速やかに検出することができる。   In this configuration, the terminals are connected in a hierarchy (cascade connection). Information indicating the hierarchical level is transmitted and received between the terminals as the state of the own device. By transmitting and receiving information indicating the hierarchical level, it is possible to quickly detect a malfunction (such as a loop or a hierarchical limit over) in the network.

また、この発明は、さらに、前記制御部は、自身の端末の記憶部に記憶された他の端末の情報のうち、受信した拡張情報に含まれていない端末の情報がある場合に、前記記憶部から当該端末の情報を削除することを特徴とする。 In addition, according to the present invention, the control unit stores the information when there is information on a terminal that is not included in the received extended information among information on other terminals stored in the storage unit of the terminal. The terminal information is deleted from the section .

この発明によれば、ネットワーク負荷を増大させることなく、リアルタイムに各装置の状態を特定することができる。   According to the present invention, the state of each device can be specified in real time without increasing the network load.

本発明の実施形態に係るネットワーク通信システムについて説明する。   A network communication system according to an embodiment of the present invention will be described.

図1は、ネットワーク通信システムの構成を示すブロック図である。音声通信システムは、インターネットであるネットワーク200を介して接続される会議サーバ10、会議端末11A〜11D、およびPC12Aを備えている。会議端末11A〜11Dは、それぞれ別の場所である会議室101A〜101Dに設置されている。また、PC12Aは、会議室101Aに設置されている。会議サーバ10は、いずれかの会議室に設置されていてもよいし、別の場所に設置されていてもよい。なお、各装置間は、実際にはルータを介してVPN等の暗号化通信により接続される。   FIG. 1 is a block diagram showing a configuration of a network communication system. The voice communication system includes a conference server 10, conference terminals 11A to 11D, and a PC 12A connected via a network 200 that is the Internet. The conference terminals 11A to 11D are installed in conference rooms 101A to 101D, which are different places. The PC 12A is installed in the conference room 101A. The conference server 10 may be installed in any conference room, or may be installed in another location. Each device is actually connected by encrypted communication such as VPN via a router.

図2は、会議端末11Aの構成を示すブロック図である。なお、会議端末11A〜11Dは、全て同じ構成、機能を有する。そのため、図2においては代表して会議端末11Aの構成を示す。   FIG. 2 is a block diagram showing the configuration of the conference terminal 11A. The conference terminals 11A to 11D all have the same configuration and function. Therefore, in FIG. 2, the configuration of the conference terminal 11A is shown as a representative.

会議端末11Aは、制御部111、ネットワークI/F112、放音用ミキサ113、音声検出部114、送信用ミキサ115、メモリ116、スピーカSP、およびマイクMICを備えている。なお、本実施形態ではA/Dコンバータ、D/Aコンバータ、パワーアンプ等を省略し、装置内を伝達する音声信号は全てデジタル音声信号とする。   The conference terminal 11A includes a control unit 111, a network I / F 112, a sound emission mixer 113, a sound detection unit 114, a transmission mixer 115, a memory 116, a speaker SP, and a microphone MIC. In this embodiment, an A / D converter, a D / A converter, a power amplifier, and the like are omitted, and all audio signals transmitted through the apparatus are digital audio signals.

制御部111は、会議端末11Aを統括的に制御する。また、ネットワークI/F112を制御して、自装置で収音した音声を所定のプロトコルでネットワークへ送信させる。本実施形態では、会議端末間を送受信するデータのプロトコルとして、RTPを用いる。   The control unit 111 comprehensively controls the conference terminal 11A. In addition, the network I / F 112 is controlled to transmit the sound collected by the own apparatus to the network using a predetermined protocol. In this embodiment, RTP is used as a protocol for data transmitted and received between conference terminals.

図3は、RTPに係る送信パケットの構成例を示す図である。同図左欄に示すように、RTPの送信パケットは、RTP標準ヘッダ、RTP拡張ヘッダ、および音声データから構成される。RTP標準ヘッダは、汎用のRTPに準じたヘッダであり、このRTP標準ヘッダにはパケット内に拡張ヘッダが含まれているか否かを示す情報やタイムスタンプ等が記載されている。   FIG. 3 is a diagram illustrating a configuration example of a transmission packet according to RTP. As shown in the left column of the figure, the RTP transmission packet includes an RTP standard header, an RTP extension header, and audio data. The RTP standard header is a header conforming to general-purpose RTP, and information indicating whether or not an extension header is included in the packet, a time stamp, and the like are described in the RTP standard header.

RTP拡張ヘッダは、本実施形態のネットワーク通信システムで用いられる独自の拡張ヘッダである。RTP拡張ヘッダには、同図右欄に示すように、ヘッダ識別子、データ長、接続数、バージョン、拠点識別子、拠点付加情報等の種々のデータが含まれている。   The RTP extension header is a unique extension header used in the network communication system of the present embodiment. As shown in the right column of the figure, the RTP extension header includes various data such as a header identifier, a data length, the number of connections, a version, a site identifier, and site additional information.

ヘッダ識別子は、RTP拡張ヘッダの識別に用いられる。データ長は、RTP拡張ヘッダのデータ長を表す。接続数は、自装置に接続されている端末数を示す。本実施形態では、各会議端末は1または複数の会議端末とメッシュ接続やカスケード接続(図5を参照)により接続される。図1に示した例では各会議端末は、それぞれ3台の端末と接続され、3チャンネルの通信を行うものである。バージョンは、RTP拡張ヘッダのバージョンを示すものである。   The header identifier is used to identify the RTP extension header. The data length represents the data length of the RTP extension header. The number of connections indicates the number of terminals connected to the own device. In the present embodiment, each conference terminal is connected to one or a plurality of conference terminals by mesh connection or cascade connection (see FIG. 5). In the example shown in FIG. 1, each conference terminal is connected to three terminals and performs three-channel communication. The version indicates the version of the RTP extension header.

拠点識別子は、そのあとに含まれる拠点付加情報を識別するために用いられるものである。拠点付加情報は、各拠点(会議室)の収音音声のレベルや機器の状態などの情報を示す。会議端末11Aの制御部111は、この拠点付加情報を基に、各拠点の会議端末の状態をメモリ116に記録する。詳細は後述する。   The base identifier is used to identify base additional information included thereafter. The base additional information indicates information such as the level of sound collected at each base (conference room) and the state of the device. The control unit 111 of the conference terminal 11A records the state of the conference terminal at each site in the memory 116 based on this site additional information. Details will be described later.

制御部111は、上記のRTP拡張ヘッダを生成するために、音声検出部114で検出される収音音声のレベルを取得し、閾値判定結果を取得する。   In order to generate the above RTP extension header, the control unit 111 acquires the level of collected sound detected by the sound detection unit 114 and acquires a threshold determination result.

音声検出部114は、話者が発話した場合の音声レベルを判定する閾値が設定されており、入力された収音音声のレベルが閾値以上であるか否かを判定する。音声検出部114は、収音音声のレベルが閾値以上であれば、話者が存在する旨を示す閾値判定結果を制御部111に出力する。制御部111は、音声検出部114が検出した収音音声のレベルや、閾値判定結果を拠点付加情報に含めてネットワークI/F112を介して他装置に送信する。   The voice detection unit 114 is set with a threshold value for determining the voice level when the speaker speaks, and determines whether or not the level of the collected voice input is equal to or higher than the threshold value. If the level of the collected voice is equal to or higher than the threshold, the voice detection unit 114 outputs a threshold determination result indicating that a speaker is present to the control unit 111. The control unit 111 includes the level of the collected voice detected by the voice detection unit 114 and the threshold determination result in the base additional information and transmits the base additional information to another device via the network I / F 112.

ここで、ネットワークI/F112は、制御部111の制御に従って、送信用ミキサ115から入力される音声信号、および上記閾値判定結果等からRTPパケットを生成する。送信用ミキサ115は、カスケード接続(図5(B)を参照)の場合、マイクMICから入力される音声信号と、ネットワークI/F112から入力される各拠点(会議端末11B〜11D)からのRTPパケットに含まれる音声信号をミキシングしてネットワークI/F112に出力する。各会議端末には、それぞれ別個のRTPパケットが送信される。   Here, the network I / F 112 generates an RTP packet from the audio signal input from the transmission mixer 115 and the threshold determination result according to the control of the control unit 111. In the case of cascade connection (see FIG. 5B), the transmission mixer 115 receives an audio signal input from the microphone MIC and an RTP from each site (conference terminals 11B to 11D) input from the network I / F 112. The audio signal included in the packet is mixed and output to the network I / F 112. A separate RTP packet is transmitted to each conference terminal.

送信用ミキサ115は、制御部111の制御に従って、ミキシングする音声信号を選択する。例えばカスケード接続において会議端末11BにRTPパケットを送信する場合、制御部111は、送信用ミキサ115に会議端末11Cおよび会議端末11Dから受信したRTPパケットに含まれる音声信号と、自装置で収音したマイクMICの収音信号とをミキシングするように送信用ミキサ115に設定する。そして、ネットワークI/F112でRTPパケットを生成し、会議端末11Bに送信する。   The transmission mixer 115 selects an audio signal to be mixed under the control of the control unit 111. For example, when transmitting an RTP packet to the conference terminal 11B in a cascade connection, the control unit 111 collects the audio signal included in the RTP packet received from the conference terminal 11C and the conference terminal 11D and the sound from the own device. The transmission mixer 115 is set so as to mix the collected sound signal of the microphone MIC. Then, the network I / F 112 generates an RTP packet and transmits it to the conference terminal 11B.

図4は、音声信号の送受信の態様を示した概念図である。同図に示すように、会議端末11Aの制御部111は、各会議端末にそれぞれ別個のRTPパケットを送信する。すなわち、会議端末11Bには、送信用ミキサ115に会議端末11Cから受信したRTPパケットに含まれる音声信号s13と、会議端末11Dから受信したRTPパケットに含まれる音声信号s14と、自装置で収音したマイクMICの収音信号s11と、をミキシングして音声データを生成し、さらに会議端末11Cから受信したRTPパケットに含まれる拡張ヘッダの情報、会議端末11Dから受信したRTPパケットに含まれる拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。同様に、会議端末11Cには、会議端末11Bの音声信号s12と、会議端末11Dの音声信号s14と、自装置の収音信号s11と、をミキシングして音声データを生成し、会議端末11Bからの拡張ヘッダの情報、会議端末11Dからの拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。また、会議端末11Dには、会議端末11Bの音声信号s12と、会議端末11Cの音声信号s13と、自装置の収音信号s11と、をミキシングして音声データを生成し、会議端末11Bからの拡張ヘッダの情報、会議端末11Cからの拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。   FIG. 4 is a conceptual diagram showing an aspect of audio signal transmission / reception. As shown in the figure, the control unit 111 of the conference terminal 11A transmits a separate RTP packet to each conference terminal. That is, the conference terminal 11B collects the audio signal s13 contained in the RTP packet received from the conference terminal 11C by the transmission mixer 115, the audio signal s14 contained in the RTP packet received from the conference terminal 11D, and the own device. The microphone MIC collected sound signal s11 is mixed to generate audio data, and further information on the extension header included in the RTP packet received from the conference terminal 11C and the extension header included in the RTP packet received from the conference terminal 11D An extension header is generated on the basis of the above information and the information of its own device, and is transmitted as an RTP packet. Similarly, the conference terminal 11C generates audio data by mixing the audio signal s12 of the conference terminal 11B, the audio signal s14 of the conference terminal 11D, and the collected sound signal s11 of the own device, and outputs the audio data from the conference terminal 11B. The extension header is generated based on the extension header information, the extension header information from the conference terminal 11D, and the information of the own apparatus, and transmitted as an RTP packet. In addition, the conference terminal 11D generates audio data by mixing the audio signal s12 of the conference terminal 11B, the audio signal s13 of the conference terminal 11C, and the collected sound signal s11 of the own device, and outputs the audio data from the conference terminal 11B. An extension header is generated based on the extension header information, the extension header information from the conference terminal 11C, and the information of the own device, and is transmitted as an RTP packet.

会議端末11Aの放音用ミキサ113は、他の会議端末11B〜11Dから受信したRTPパケットに含まれる音声信号をミキシングしてスピーカSPへ出力し、スピーカSPは、入力された音声信号に基づいて音声を放音する。図4の例では、他の会議端末11B〜11Dから受信したRTPパケットに含まれる音声信号s12,s13,s14がミキシングされて放音される。なお、スピーカを複数備えている場合、ミキシングせずにそれぞれのスピーカから各拠点の音声を放音することも可能である。   The sound emission mixer 113 of the conference terminal 11A mixes the audio signal included in the RTP packets received from the other conference terminals 11B to 11D and outputs the audio signal to the speaker SP. The speaker SP is based on the input audio signal. Release sound. In the example of FIG. 4, the audio signals s12, s13, and s14 included in the RTP packets received from the other conference terminals 11B to 11D are mixed and emitted. When a plurality of speakers are provided, it is possible to emit the sound of each site from each speaker without mixing.

以上のようなRTPパケットの送受信を各会議端末が行うことで、音声会議を実現する。   Each conference terminal performs transmission / reception of the RTP packet as described above, thereby realizing an audio conference.

次に、会議端末11A〜11Dの接続態様について説明する。図5(A)は、会議端末11A〜11Dをメッシュ接続した態様を示す図であり、同図(B)は、会議端末11A〜11Dと同じ構成からなる会議端末11E〜11Jをカスケード接続した態様を示す図である。なお、図1においては会議端末11A〜11Dを接続した構成のみ示したが、図5(B)では、説明の便宜上、会議端末11E〜11Jを接続した構成を示す。   Next, the connection mode of the conference terminals 11A to 11D will be described. FIG. 5A is a diagram showing a mode in which conference terminals 11A to 11D are mesh-connected, and FIG. 5B is a mode in which conference terminals 11E to 11J having the same configuration as the conference terminals 11A to 11D are cascade-connected. FIG. 1 shows only the configuration in which the conference terminals 11A to 11D are connected, but FIG. 5B shows the configuration in which the conference terminals 11E to 11J are connected for convenience of explanation.

同図(A)に示すメッシュ接続では、各会議端末が相互に接続され、RTPパケットを送受信する。同図(A)のメッシュ接続では、4台の接続を示しているが、無論この接続数よりも少なくてもよいし、装置の仕様上さらに複数接続できる場合はさらに接続数が多くてもよい。   In the mesh connection shown in FIG. 2A, the conference terminals are connected to each other and transmit / receive RTP packets. In the mesh connection shown in FIG. 4A, four connections are shown. Of course, the number of connections may be smaller than this, or the number of connections may be larger if more than one can be connected due to the specifications of the device. .

同図(B)に示すカスケード接続では、各会議端末は3台以下の端末と接続され、RTPパケットを送受信する。なお、装置の仕様上さらに複数の端末と接続できる場合はさらに接続数が多くてもよい。また、同図(B)のカスケード接続では、システム全体として会議端末11E〜11Jの6台の接続を示しているが、無論この接続数よりも少なくてもよいし、多くてもよい。カスケード接続においては、接続が階層化されている。例えば同図(B)の例において、会議端末11Fを中心として考え、会議端末11Hを上位側の階層とすると、会議端末11Eおよび会議端末11Gが下位側の階層である。会議端末11Iおよび会議端末11Jは、会議端末11Hの下位側の階層である。階層の管理は後述の通信ホップ数によって行われる。   In the cascade connection shown in FIG. 5B, each conference terminal is connected to three or less terminals and transmits and receives RTP packets. Note that the number of connections may be further increased when a plurality of terminals can be connected due to the specifications of the apparatus. In addition, in the cascade connection of FIG. 5B, six connections of the conference terminals 11E to 11J are shown as a whole system, but it is needless to say that the number may be smaller or larger than this number. In the cascade connection, the connection is hierarchical. For example, in the example of FIG. 5B, when the conference terminal 11F is considered as the center, and the conference terminal 11H is the upper layer, the conference terminal 11E and the conference terminal 11G are the lower layer. The conference terminal 11I and the conference terminal 11J are lower layers of the conference terminal 11H. Hierarchy management is performed by the number of communication hops described later.

図6は、RTPパケットに含まれる拡張ヘッダ情報の送受信態様を示す図である。まず、図6(A)において、メッシュ接続における拡張ヘッダ情報の送受信態様を示す。なお、実際には各会議端末間でRTPパケットが送受信されているが、同図(A)においては、説明の便宜上会議端末11AがRTPパケットを受信する例を示す。   FIG. 6 is a diagram showing a transmission / reception mode of the extension header information included in the RTP packet. First, FIG. 6A shows a transmission / reception mode of extension header information in mesh connection. Actually, RTP packets are transmitted and received between the conference terminals, but FIG. 4A shows an example in which the conference terminal 11A receives the RTP packets for convenience of explanation.

会議端末11Aは、各会議端末からRTPパケットを受信する。会議端末11Bから受信するRTPパケットには、会議端末11Bにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Cおよび会議端末11Dの情報が含まれている。また、会議端末11Cから受信するRTPパケットには、会議端末11Cにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Bおよび会議端末11Dの情報が含まれている。同様に、会議端末11Dから受信するRTPパケットには、会議端末11Dにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Bおよび会議端末11Cの情報が含まれている。各会議端末は、他の端末の情報を送信するためにメモリ116に各拠点の会議端末の状態を記録しており、このメモリ116の記録に応じてRTPパケットを送信する。   The conference terminal 11A receives the RTP packet from each conference terminal. The RTP packet received from the conference terminal 11B includes information on the conference terminal 11C and the conference terminal 11D as information on other terminals, in addition to information on the conference terminal 11B (level of collected sound and threshold determination result). . The RTP packet received from the conference terminal 11C includes information on the conference terminal 11B and the conference terminal 11D as information on other terminals, in addition to information on the conference terminal 11C (level of collected sound and threshold determination result). ing. Similarly, the RTP packet received from the conference terminal 11D includes information on the conference terminal 11B and the conference terminal 11C as information on other terminals, in addition to information on the conference terminal 11D (level of collected sound and threshold determination result). It is. Each conference terminal records the state of the conference terminal at each site in the memory 116 in order to transmit information of other terminals, and transmits an RTP packet in accordance with the record in the memory 116.

図7は、メモリ116に記録されている各拠点の会議端末の状態を示す情報である。同図上欄のUp,Left,Rightは、配列上の相対的な位置を示し、それぞれ自装置に接続されている端末の識別情報(ノードリンク情報)を示す。なお、本実施形態では、3チャンネルの通信を行うため、Up,Left,Rightに分けてノードリンクを管理しているが、さらに複数チャンネルの通信を行う場合には、別のノードリンク情報を付加すればよい。   FIG. 7 is information indicating the state of the conference terminal at each site recorded in the memory 116. Up, Left, and Right in the upper column of the figure indicate relative positions on the array, and each indicates identification information (node link information) of a terminal connected to the own apparatus. Note that in this embodiment, node links are managed separately for Up, Left, and Right in order to perform three-channel communication. However, when performing multi-channel communication, additional node link information is added. do it.

ノード識別情報は、自装置の識別情報である。ノード識別情報は、各端末に固有の値であればどのようなものであってもよい。例えばMACアドレスを用いることができる。他装置からは、図3に示した拠点識別子としてこのノード識別情報が送信されるため、他装置のノード識別情報が上記ノードリンク情報として用いられる。例えば図6(A)に示した例では、会議端末11Aは、Upとして会議端末11Cのノード識別情報を記録し、Rightとして会議端末11Bのノード識別情報を記録し、Leftとして会議端末11Dのノード識別情報を記録する。また、図6(B)の例では、システム全体としてさらに多数の端末が接続されるが、各端末に接続される数は3つ以下であるため、ノードリンク情報として記録される数は上記と同様に3つである。図10を用いて、図6(B)に示した接続を行う場合のノードリンク情報の具体例について説明する。図10は、カスケード接続におけるノードリンク情報の具体的な例を示す図である。ここでは、会議端末11Fを中心として考える。なお、同図においては説明の便宜上、ノード識別情報に会議端末の構成番号を付しているが、無論実際にはMACアドレス等が用いられる。   The node identification information is identification information of the own device. The node identification information may be any value as long as it is a value unique to each terminal. For example, a MAC address can be used. Since the node identification information is transmitted as the base identifier shown in FIG. 3 from the other apparatus, the node identification information of the other apparatus is used as the node link information. For example, in the example shown in FIG. 6A, the conference terminal 11A records the node identification information of the conference terminal 11C as Up, the node identification information of the conference terminal 11B as Right, and the node of the conference terminal 11D as Left. Record identification information. In the example of FIG. 6B, a larger number of terminals are connected as a whole system. However, since the number connected to each terminal is three or less, the number recorded as node link information is as described above. Similarly, there are three. A specific example of the node link information when the connection shown in FIG. 6B is performed will be described with reference to FIG. FIG. 10 is a diagram illustrating a specific example of node link information in cascade connection. Here, the conference terminal 11F is considered as a center. In the figure, for convenience of explanation, the configuration number of the conference terminal is attached to the node identification information, but of course, the MAC address or the like is actually used.

まず、会議端末11Fの上位側には会議端末11Hが接続されているため、ノードリンク情報のUpには1つ下の要素に記載されている会議端末11Hの情報を示す1を記載する。同様に、Leftには4つ下の要素に記載されている会議端末11Eの情報を示す4を記載し、Rightには5つ下の要素に記載されている会議端末11Gの情報を示す5を記載する。また、会議端末11Hの下位側には会議端末11Iおよび会議端末11Jが接続されているため、会議端末11Hのノードリンク情報において、Upには会議端末11Fの情報を示す−1を記載し、Leftには1つ下の要素に記載されている会議端末11Iの情報を示す1を記載し、Rightには2つ下の要素に記載されている会議端末11Jの情報を示す2を記載する。会議端末11I、11J、11E、および11Gにおいては、下位側に接続されている端末が存在しないため、ノードリンク情報にUpのみ記載される。   First, since the conference terminal 11H is connected to the upper side of the conference terminal 11F, 1 indicating the information of the conference terminal 11H described in the next lower element is described in the Up of the node link information. Similarly, Left indicates 4 indicating information of the conference terminal 11E described in the lower four elements, and Right indicates 5 indicating information of the conference terminal 11G described in the five lower elements. Describe. In addition, since the conference terminal 11I and the conference terminal 11J are connected to the lower side of the conference terminal 11H, in the node link information of the conference terminal 11H, -1 indicating the information of the conference terminal 11F is described in Up, and Left 1 indicates 1 indicating the information of the conference terminal 11I described in the next lower element, and 2 indicates 2 indicating the information of the conference terminal 11J described in the next lower element. In the conference terminals 11I, 11J, 11E, and 11G, since there is no terminal connected to the lower side, only Up is described in the node link information.

次に、ノードメタ情報には、各端末の状態が記録されている。各端末の状態として、例えば図7に示すように、閾値判定結果、暗騒音レベル、機器状態、通信ホップ数、CDB(Command Descriptor Block)が含まれる。閾値判定結果は、上述したように発話者の存在有無を示す情報である。暗騒音レベルは、発話者が存在しない場合の音声信号のレベルを示す情報である。機器状態は、例えばその端末がミュート中であるか、マイクが故障中であるか、等を示す情報である。通信ホップ数は、その端末がどの階層に存在するかを示す情報である。図10に示した例を参照すると、会議端末11Fの通信ホップ数は自装置であるため0となる。会議端末11Hは1段階上位側であるため通信ホップ数が1となり、会議端末11Eおよび会議端末11Gは1段階下位側であるため通信ホップ数は1となる。また、会議端末11Iおよび会議端末11Jは会議端末11Hの1段階下位側であるため、通信ホップ数は2となる。なお、メッシュ接続においては、各端末が相互に接続されているため、通信ホップ数の管理を行わなくてもよい。CDBは、他装置を制御するコマンド情報であり、例えば他装置の音量制御を行う場合に、音量制御情報としてRTPパケットにCDBを含めて送信する。受信側では、制御部111がこのCDBをメモリ116に記録し、音量制御を行う。なお、音量制御とは、送信する音声信号のレベルの制御と受信した音声信号のレベルの制御とを含むものである。すなわち、送信音声信号と受信音声信号のレベルを別々に制御することもできるものである。   Next, the status of each terminal is recorded in the node meta information. As shown in FIG. 7, for example, the state of each terminal includes a threshold determination result, a background noise level, a device state, the number of communication hops, and a CDB (Command Descriptor Block). The threshold determination result is information indicating the presence / absence of a speaker as described above. The background noise level is information indicating the level of an audio signal when no speaker is present. The device status is information indicating, for example, whether the terminal is muted or the microphone is malfunctioning. The communication hop number is information indicating in which hierarchy the terminal exists. Referring to the example shown in FIG. 10, the number of communication hops of the conference terminal 11 </ b> F is 0 because it is the own device. Since the conference terminal 11H is one level higher, the number of communication hops is 1, and since the conference terminal 11E and the conference terminal 11G are one level lower, the number of communication hops is 1. Further, since the conference terminal 11I and the conference terminal 11J are one level lower than the conference terminal 11H, the number of communication hops is two. In the mesh connection, since the terminals are connected to each other, it is not necessary to manage the number of communication hops. The CDB is command information for controlling another device. For example, when performing volume control of another device, the CDB is transmitted as volume control information including the CDB in the RTP packet. On the receiving side, the control unit 111 records this CDB in the memory 116 and performs volume control. Note that the volume control includes control of the level of the audio signal to be transmitted and control of the level of the received audio signal. That is, the levels of the transmission audio signal and the reception audio signal can be controlled separately.

制御部111は、各会議端末からRTPパケットを受信したとき、図7に示すメモリ116の記録内容を更新する。例えば、RTP拡張ヘッダ情報に存在するがメモリ116に記録されていないノード識別情報を受信した場合、そのノード識別情報に係る拠点付加情報をノードメタ情報に記録する。一方でメモリ116のノードメタ情報には記録されているが、RTP拡張ヘッダ情報にその端末のノード識別情報が含まれていない場合、その端末の接続がシステム内から途切れたとしてメモリ116から削除する。   When the control unit 111 receives an RTP packet from each conference terminal, the control unit 111 updates the recorded contents of the memory 116 shown in FIG. For example, when node identification information that exists in the RTP extension header information but is not recorded in the memory 116 is received, the base additional information related to the node identification information is recorded in the node meta information. On the other hand, if it is recorded in the node meta information of the memory 116 but the node identification information of the terminal is not included in the RTP extension header information, the connection of the terminal is deleted from the system as it is disconnected from the system.

ここで、例えば会議端末11Bと会議端末11Cの接続が途切れている場合、会議端末11Bから受信した拡張ヘッダ情報には、会議端末11Cの情報が含まれていない。また、会議端末11Cから受信した拡張ヘッダ情報には、会議端末11Bの情報が含まれていない。しかし、会議端末11Dから受信した拡張ヘッダ情報には、会議端末11Bと会議端末11Cの情報が含まれていることとなる。そのため、会議端末11Aは、各会議端末から受信した拡張ヘッダ情報を比較することで、会議端末11Bと会議端末11Cの接続が途切れたことを検出することができる。   Here, for example, when the connection between the conference terminal 11B and the conference terminal 11C is interrupted, the extended header information received from the conference terminal 11B does not include the information on the conference terminal 11C. Further, the extension header information received from the conference terminal 11C does not include information on the conference terminal 11B. However, the extended header information received from the conference terminal 11D includes information on the conference terminal 11B and the conference terminal 11C. Therefore, the conference terminal 11A can detect that the connection between the conference terminal 11B and the conference terminal 11C is disconnected by comparing the extension header information received from each conference terminal.

同様の更新をカスケード接続においても行う。図6(B)は、カスケード接続における拡張ヘッダ情報の送受信態様を示す図である。各会議端末は自装置の情報を接続されている端末に送信する。例えば会議端末11Eは、自装置の情報を会議端末11Fに送信する。この会議端末11Eの情報は、会議端末11Fから順に下層側である会議端末11G〜11Hに送信される。また、会議端末11Fは、自装置の情報を会議端末11E、会議端末11G、および会議端末11Hに送信する。ここで、会議端末11Fには、会議端末11G、会議端末11Hの情報に加え、会議端末11Hの下層に接続されている会議端末11Iと会議端末11Jの情報が受信されているから、会議端末11Eには会議端末11F〜会議端末11Jの全ての情報が送信される。したがって、カスケード接続においても各会議端末はシステム内に接続されている全ての会議端末の情報が受信される。なお、各会議端末の制御部111は、その端末から受信した情報を返信することがないため、情報がループすることがない。   Similar updating is performed in the cascade connection. FIG. 6B is a diagram showing a transmission / reception mode of extension header information in cascade connection. Each conference terminal transmits its own information to the connected terminal. For example, the conference terminal 11E transmits information on its own device to the conference terminal 11F. The information on the conference terminal 11E is transmitted from the conference terminal 11F to the conference terminals 11G to 11H on the lower layer in order. In addition, the conference terminal 11F transmits information on the own device to the conference terminal 11E, the conference terminal 11G, and the conference terminal 11H. Here, in addition to the information on the conference terminal 11G and the conference terminal 11H, the conference terminal 11F receives the information on the conference terminal 11I and the conference terminal 11J connected to the lower layer of the conference terminal 11H. All the information of the conference terminal 11F to the conference terminal 11J is transmitted. Therefore, even in the cascade connection, each conference terminal receives information on all conference terminals connected in the system. In addition, since the control part 111 of each conference terminal does not send back the information received from the terminal, information does not loop.

ここで、カスケード接続に不具合が発生し、例えば会議端末11Jと11Eが接続されてしまった場合、会議端末11Jから会議端末11Eに、会議端末11Jの情報が送信される。すなわち、会議端末11Eでは、複数の端末から同じ端末の情報が重複して受信される。そのため、各会議端末では、受信した複数の拡張ヘッダ情報を比較することで、ループが発生していることを検出することができる。   Here, when a problem occurs in the cascade connection and, for example, the conference terminals 11J and 11E are connected, the information on the conference terminal 11J is transmitted from the conference terminal 11J to the conference terminal 11E. That is, the conference terminal 11E receives the same terminal information from a plurality of terminals. Therefore, each conference terminal can detect that a loop has occurred by comparing a plurality of received extension header information.

また、本発明の実施形態に係るネットワーク通信システムによれば、図7や図10に示した情報を各端末において記録しておくことで、一度会議に参加した端末同士で次回会議を行う場合、接続手順を簡略化することができる。各端末において、会議参加した端末、および接続態様を記録しておく。例えば図5(A)の例では、会議端末11A〜11Dが参加し、メッシュ接続である旨を示す情報を記録しておく。また、図5(B)の例では、会議端末11E〜11Jが参加し、カスケード接続である旨、および接続相手先(会議端末11Fでは会議端末11E、11H、および11G)を示す情報を記録しておく。これにより、次に会議を開始するとき、いずれかの端末(例えば会議端末11F)でユーザが会議参加の動作を行うと、その会議端末(会議端末11F)から各端末(会議端末11E、11H、および11G)へ接続が開始され、接続先(会議端末11H)でさらに他の端末(会議端末11Iおよび11J)へ接続が開始される。その結果、全端末との接続が容易に構築される。なお、各端末では上記の情報を通話履歴、アドレス帳、等としてユーザに分かりやすい情報として記録しておけばよい。アドレス帳として記録する場合、例えば「支店連絡会議」等のような名称を付けて記録しておくこともできる。   Further, according to the network communication system according to the embodiment of the present invention, by recording the information shown in FIG. 7 and FIG. 10 in each terminal, when a next meeting is performed between terminals once participating in the meeting, The connection procedure can be simplified. In each terminal, the terminal participating in the conference and the connection mode are recorded. For example, in the example of FIG. 5A, conference terminals 11A to 11D participate and information indicating mesh connection is recorded. In the example of FIG. 5B, the conference terminals 11E to 11J participate and record information indicating the cascade connection and the connection destinations (the conference terminals 11E, 11H, and 11G in the conference terminal 11F). Keep it. Thus, when the user starts the conference next, when the user performs the conference participation operation at any of the terminals (for example, the conference terminal 11F), each terminal (the conference terminals 11E, 11H, And 11G), and the connection destination (conference terminal 11H) is further connected to other terminals (conference terminals 11I and 11J). As a result, connections with all terminals can be easily established. In each terminal, the above information may be recorded as information easy to understand for the user as a call history, an address book, or the like. When recording as an address book, for example, a name such as “branch liaison meeting” may be added and recorded.

次に、図1における会議サーバ10の機能、構成について説明する。図8は、会議サーバ10の構成を示すブロック図である。同図に示すように、会議サーバ10は、通信制御部150、スケジュール制御部151、話者情報管理部152、ネットワークI/F153、表示部154を備えている。   Next, the function and configuration of the conference server 10 in FIG. 1 will be described. FIG. 8 is a block diagram showing the configuration of the conference server 10. As shown in the figure, the conference server 10 includes a communication control unit 150, a schedule control unit 151, a speaker information management unit 152, a network I / F 153, and a display unit 154.

通信制御部150は、ネットワークI/F153を介して会議端末11A〜11Dと通信する。具体的には、通信制御部150は、アドレス管理機能やプロキシサーバの機能を有し、各会議端末11A〜11D間の通信網の確立や解除の制御を行う。また、通信制御部150は、各会議端末の閾値判定結果から話者の存在を検出し、話者情報管理部152にプレゼンス情報として記録しておく。   The communication control unit 150 communicates with the conference terminals 11A to 11D via the network I / F 153. Specifically, the communication control unit 150 has an address management function and a proxy server function, and controls establishment and cancellation of a communication network between the conference terminals 11A to 11D. Further, the communication control unit 150 detects the presence of the speaker from the threshold determination result of each conference terminal and records it as presence information in the speaker information management unit 152.

スケジュール制御部151は、タイマ機能を備え、予め入力された会議等のスケジュールを記憶し、会議の開始タイミングを検出すると、通信制御部150へ通信網の確立制御を行うように通知する。また、会議の終了タイミングを検出すると、通信制御部150へ通信網の解除制御を行うように通知する。また、スケジュール制御部151は、話者情報管理部152に対し、時刻情報を与える。   The schedule control unit 151 has a timer function, stores a schedule of conferences and the like input in advance, and notifies the communication control unit 150 to perform communication network establishment control when the conference start timing is detected. In addition, when the conference end timing is detected, the communication control unit 150 is notified to perform communication network release control. In addition, the schedule control unit 151 gives time information to the speaker information management unit 152.

話者情報管理部152は、通信制御部150を介して、各会議端末11A〜11Dのプレゼンス情報を取得し、スケジュール制御部151からの時刻情報と対応づけて、時系列でのプレゼンス状況データを生成する。この際、プレゼンス情報と会議端末とは関連付けされている。生成されたプレゼンス状況データは、表示部154へ与えられるとともに記憶され、通信制御部150を介してPC12A等から要求されれば要求元へ送信される。   The speaker information management unit 152 acquires the presence information of each conference terminal 11A to 11D via the communication control unit 150, associates the presence information with time information from the schedule control unit 151, and stores the presence status data in time series. Generate. At this time, the presence information and the conference terminal are associated with each other. The generated presence status data is given to the display unit 154 and stored, and if requested from the PC 12A or the like via the communication control unit 150, the presence status data is transmitted to the request source.

表示部154は、液晶パネル等からなり、話者情報管理部152から与えられた時刻情報、およびプレゼンス状況データに基づいて、話者の変化が視覚的に取得できるようなグラフィカル表示を行う。これにより、会議サーバ10が設置された位置にいる人は、話者の状況を容易に且つ視覚的に確認することができる。   The display unit 154 is composed of a liquid crystal panel or the like, and performs a graphical display so that changes in the speaker can be visually acquired based on time information given from the speaker information management unit 152 and presence status data. Thereby, the person in the position where the conference server 10 is installed can easily and visually confirm the situation of the speaker.

なお、実際には、各会議端末が会議サーバ10のIPアドレスを保持しており、各会議端末が会議サーバ10に対してSIP REGISTERを送信することでプレゼンス情報を管理する。   Actually, each conference terminal holds the IP address of the conference server 10, and each conference terminal manages presence information by transmitting SIP REGISTER to the conference server 10.

次に、図1において、PC12Aは、いわゆる汎用パーソナルコンピュータであり、ネットワークI/Fや表示部等を備えている。PC12Aは、会議端末11Aと同じ拠点に設置されており、会議端末11Aのユーザ(例えば会議管理者)が会議を行いながら操作をするものである。   Next, in FIG. 1, a PC 12A is a so-called general-purpose personal computer and includes a network I / F, a display unit, and the like. The PC 12A is installed at the same base as the conference terminal 11A, and is operated by a user (for example, a conference manager) of the conference terminal 11A while performing a conference.

PC12Aは、会議サーバ10からプレゼンス情報を受信し、これを自身の表示部に表示する。図9は、ネットワーク通信システムにおいてプレゼンス情報の送受信を示す図である。同図に示すように、PC12Aは、会議サーバ10から例えばHTTPプロトコルによりプレゼンス情報を受信する。プレゼンス情報を受信することでどの拠点が会議に参加しているか、各拠点の参加状況等を視覚的に認識することができる。   The PC 12A receives presence information from the conference server 10 and displays it on its display unit. FIG. 9 is a diagram illustrating transmission / reception of presence information in a network communication system. As shown in the figure, the PC 12A receives presence information from the conference server 10 using, for example, the HTTP protocol. By receiving the presence information, it is possible to visually recognize which sites are participating in the conference and the participation status of each site.

また、PC12Aは、システム内のいずれかの会議端末にSYSLOGの送信要求を行う。同図の例では、同じ拠点に設置されている会議端末11Aに要求する。なお、PC12Aと会議端末11Aは、ネットワーク200を介して通信するが、無論LAN経由で通信してもよい。実際にはSYSLOGの送信要求はtelnet等を用いて通知される。   In addition, the PC 12A makes a SYSLOG transmission request to any conference terminal in the system. In the example of the figure, a request is made to the conference terminal 11A installed at the same base. The PC 12A and the conference terminal 11A communicate via the network 200, but may of course communicate via a LAN. In practice, a SYSLOG transmission request is notified using telnet or the like.

会議端末11Aは、SYSLOGの送信要求を受信すると、メモリ116に記録されている内容をSYSLOGとして定期的にPC12Aに送信する。なお、メモリ116を更新した場合に、即時SYSLOGを送信するようにしてもよい。PC12Aは、受信したSYSLOGの内容を表示部に表示する。これにより、システム内の各拠点の状態が容易に判断することができる。   Upon receiving the SYSLOG transmission request, the conference terminal 11A periodically transmits the contents recorded in the memory 116 to the PC 12A as SYSLOG. In addition, when the memory 116 is updated, the SYSLOG may be transmitted immediately. The PC 12A displays the contents of the received SYSLOG on the display unit. Thereby, the state of each base in the system can be easily determined.

また、PC12Aは会議端末11Aに定期的にpingを送信する。このpingは、会議端末11Aにおいて、PC12Aがハングアップしているか否かの情報として用いられる。すなわち、会議端末11Aは、内部にタイマを備えており、pingを受信する毎にタイマをリセットする。タイマがタイムアウトした場合、pingの送信が途切れたとして以後SYSLOGの送信を停止する。これによりSYSLOGを送り続ける事態を防止する。なお、pingの送信は本発明において必須の構成ではない。また、PC12Aがハングアップしているか否かを確認できるものであればpingに限るものではない。   In addition, the PC 12A periodically transmits a ping to the conference terminal 11A. This ping is used as information on whether or not the PC 12A is hung up in the conference terminal 11A. In other words, the conference terminal 11A includes a timer inside and resets the timer every time a ping is received. When the timer has timed out, the transmission of SYSLOG is stopped since the transmission of ping is interrupted. This prevents a situation where SYSLOG continues to be sent. Note that the transmission of the ping is not an essential configuration in the present invention. In addition, it is not limited to ping as long as it can confirm whether or not the PC 12A is hung up.

PC12Aは、会議終了時など、各端末の管理を停止する場合、会議端末11Aに対し、SYSLOG送信停止要求を送信する。これにより会議端末11AはSYSLOGの送信を停止する。なお、会議中に会議端末11Aがシステム内から切断された場合、PC12Aは他の会議端末にSYSLOGの送信要求を行えばよい。   The PC 12A transmits a SYSLOG transmission stop request to the conference terminal 11A when the management of each terminal is stopped, such as at the end of the conference. Thereby, the conference terminal 11A stops the transmission of SYSLOG. If the conference terminal 11A is disconnected from the system during the conference, the PC 12A may make a SYSLOG transmission request to the other conference terminals.

なお、PC12Aの上記機能は、ソフトウェア(アプリケーション)により実現される。   The functions of the PC 12A are realized by software (application).

なお、PC12Aや会議サーバ10の構成は本発明において必須ではない。会議端末自身にLCD等の表示部が有れば、会議端末においてプレゼンス情報や端末状況を表示することも可能である。   The configurations of the PC 12A and the conference server 10 are not essential in the present invention. If the conference terminal itself has a display unit such as an LCD, presence information and terminal status can be displayed on the conference terminal.

なお、会議端末が話者位置を検出することができる場合、話者位置情報などを送受信してもよい。放音側で指向性を制御することができる場合、話者位置情報を送受信することで、特定の方向から放音されているように(話者位置から放音されているように)制御することができる。   If the conference terminal can detect the speaker position, speaker position information and the like may be transmitted and received. When directivity can be controlled on the sound emission side, control is performed so that sound is emitted from a specific direction (sound is emitted from the speaker position) by transmitting and receiving speaker position information. be able to.

ネットワーク通信システムの構成を示すブロック図である。It is a block diagram which shows the structure of a network communication system. 会議端末11Aの構成を示すブロック図である。It is a block diagram which shows the structure of 11 A of conference terminals. RTPに係る送信パケットの構成例を示す図である。It is a figure which shows the structural example of the transmission packet which concerns on RTP. 音声信号の送受信の態様を示した概念図である。It is the conceptual diagram which showed the aspect of transmission / reception of an audio | voice signal. 会議端末の接続態様を示す図である。It is a figure which shows the connection aspect of a conference terminal. RTPパケットに含まれる拡張ヘッダの情報の送受信態様を示す図である。It is a figure which shows the transmission / reception aspect of the information of the extension header contained in a RTP packet. メモリ116に記録されている各拠点の会議端末の状態を示す情報である。This is information indicating the state of the conference terminal at each site recorded in the memory 116. 会議サーバ10の構成を示すブロック図である。2 is a block diagram illustrating a configuration of a conference server 10. FIG. ネットワーク通信システムにおいてプレゼンス情報の送受信を示す図である。It is a figure which shows transmission / reception of presence information in a network communication system. カスケード接続におけるノードリンク情報の具体的な例を示す図である。It is a figure which shows the specific example of the node link information in cascade connection.

符号の説明Explanation of symbols

10−会議サーバ
11A〜11D−会議端末
12A−PC
10-conference servers 11A to 11D-conference terminal 12A-PC

Claims (5)

ネットワークを介して接続される複数の端末からなるネットワーク通信システムであって、
前記端末は、他の端末の識別情報と他の端末の状態を示す情報とを記憶した記憶部と、
自身の端末の状態を検出する検出部と、
自身の端末の識別情報、および自身の端末の状態を示す情報、ならびに前記記憶部に記憶されている他の端末の識別情報、および他の端末の状態を示す情報、を所定のプロトコルに含まれる拡張情報として送信する通信部と、
前記通信部が他装置から拡張情報を受信したとき、この拡張情報に基づいて自身の端末の記憶部に記憶されている情報を更新し、
前記通信部に対し、拡張情報を送信した他の端末に自身の端末の情報を含めた拡張情報を送信するとき、当該他の端末の識別情報、および当該他の端末の状態を示す情報を含めずに送信するように設定する制御部と、
を備えたネットワーク通信システム。
A network communication system comprising a plurality of terminals connected via a network,
The terminal includes a storage unit that stores identification information of another terminal and information indicating the state of the other terminal;
A detection unit for detecting the state of its own terminal;
The predetermined protocol includes identification information of the terminal itself, information indicating the state of the terminal itself, identification information of the other terminal stored in the storage unit, and information indicating the state of the other terminal. A communication unit that transmits as extended information;
When the communication unit receives extended information from another device, updates the information stored in the storage unit of its own terminal based on the extended information,
When transmitting the extended information including the information of the own terminal to the other terminal that has transmitted the extended information to the communication unit, the identification information of the other terminal and the information indicating the state of the other terminal are included. A control unit configured to transmit without
A network communication system comprising:
前記端末は、収音部と放音部とを備えた音声会議端末であり、
前記通信部は、前記収音部が収音した音声を前記所定のプロトコルに含まれる音声データとして送信し、
前記検出部は、前記収音部の収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを示す情報を前記自身の端末の状態を示す情報に含める請求項1に記載のネットワーク通信システム。
The terminal is an audio conference terminal including a sound collection unit and a sound emission unit,
The communication unit transmits the voice collected by the sound collection unit as voice data included in the predetermined protocol,
The detection unit detects a level of sound collected by the sound collection unit, and includes information indicating whether the level is equal to or higher than a predetermined threshold in information indicating a state of the terminal of the terminal. The network communication system described in 1.
前記制御部は、前記拡張情報に他の端末の制御を行う制御情報を含めて送信するように前記通信部に設定する請求項1、または請求項2に記載のネットワーク通信システム。   3. The network communication system according to claim 1, wherein the control unit sets the communication unit to transmit the extended information including control information for controlling another terminal. 4. 前記複数の端末を階層状に接続してなり、
前記検出部は、自身の端末の階層段階を前記自身の端末の状態を示す情報に含める請求項1、請求項2、または請求項3に記載のネットワーク通信システム。
The plurality of terminals are connected in a hierarchy,
The network communication system according to claim 1, 2, or 3, wherein the detection unit includes a hierarchical level of its own terminal in information indicating a state of the own terminal.
前記制御部は、自身の端末の記憶部に記憶された他の端末の情報のうち、受信した拡張情報に含まれていない端末の情報がある場合に、前記記憶部から当該端末の情報を削除する請求項1乃至4のいずれかに記載のネットワーク通信システム。 The control unit deletes the information on the terminal from the storage unit when there is information on the terminal that is not included in the received extension information among the information on other terminals stored in the storage unit of its own terminal. the network communication system according to any one of claims 1 to 4.
JP2007153688A 2007-06-11 2007-06-11 Network communication system Expired - Fee Related JP4867803B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007153688A JP4867803B2 (en) 2007-06-11 2007-06-11 Network communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007153688A JP4867803B2 (en) 2007-06-11 2007-06-11 Network communication system

Publications (2)

Publication Number Publication Date
JP2008306623A JP2008306623A (en) 2008-12-18
JP4867803B2 true JP4867803B2 (en) 2012-02-01

Family

ID=40234909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007153688A Expired - Fee Related JP4867803B2 (en) 2007-06-11 2007-06-11 Network communication system

Country Status (1)

Country Link
JP (1) JP4867803B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238112A (en) * 2005-02-25 2006-09-07 Matsushita Electric Ind Co Ltd Notification apparatus, notification condition designating apparatus and state notification method
JP4531593B2 (en) * 2005-03-03 2010-08-25 パナソニック株式会社 Notification device, notified device, and status notification method

Also Published As

Publication number Publication date
JP2008306623A (en) 2008-12-18

Similar Documents

Publication Publication Date Title
KR101486607B1 (en) Active speaker identification
US8289900B2 (en) Apparatus and method for dynamically updating and communicating within flexible networks
US7495687B2 (en) System and methods for video surveillance in networks
JP4738058B2 (en) Efficient routing of real-time multimedia information
US8364153B2 (en) Mobile interoperability workstation controller having video capabilities within an incident communications network
US20130097333A1 (en) Methods and apparatuses for unified streaming communication
US20060112814A1 (en) MIDIWan: a system to enable geographically remote musicians to collaborate
US9774824B1 (en) System, method, and logic for managing virtual conferences involving multiple endpoints
US8462961B1 (en) Method and system for broadcasting audio transmissions over a network
JP2005513836A (en) Video conference to switch from unicast to multicast
WO2006095451A1 (en) Relay device, communication system, and control method and program for them
KR20170109544A (en) Systems and methods for deploying an Internet Protocol (IP) serverless page party (SPP) station and multiple SPP stations
WO2011095056A1 (en) Audio processing method and device for remote desktop protocol
US20050122389A1 (en) Multi-conference stream mixing
WO2010073563A1 (en) Conferencing apparatus and communication setting method
CN111049709B (en) Bluetooth-based interconnected loudspeaker box control method, equipment and storage medium
JP2009194674A (en) Communication terminal device and control method of communication terminal device
JP2009194661A (en) Conference terminal
JP2005311670A (en) Terminal, system and method for television conference, and program therefor
JP4867803B2 (en) Network communication system
JP2007110186A (en) Telephone terminal
JP2005033603A (en) Communication terminal and communication method
JP4899018B2 (en) LSP setting method and system for on-demand network
CN110546947A (en) method for conducting an audio and/or video conference
US20080123563A1 (en) Conference Voice Station And Conference System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees