JP4867803B2 - Network communication system - Google Patents
Network communication system Download PDFInfo
- Publication number
- JP4867803B2 JP4867803B2 JP2007153688A JP2007153688A JP4867803B2 JP 4867803 B2 JP4867803 B2 JP 4867803B2 JP 2007153688 A JP2007153688 A JP 2007153688A JP 2007153688 A JP2007153688 A JP 2007153688A JP 4867803 B2 JP4867803 B2 JP 4867803B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- information
- conference
- conference terminal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
この発明は、複数の端末を相互に接続してなるネットワーク通信システムに関する。 The present invention relates to a network communication system in which a plurality of terminals are connected to each other.
従来、遠隔地間で会議を行う会議システムが各種開示されている。このような会議システムでは、音声の品質を確保するために種々の提案がされている(例えば特許文献1、特許文献2参照)。特許文献1の装置は、受信側の処理能力に応じたデータを複数の端末に同時配信することで、どの端末でも最適な通話品質を確保することができるものである。また、特許文献2の装置は、サーバ装置が端末の数を音声データに付与して配信することにより、受信側で端末数に応じたレベル調整を行い、音声品質を確保するものである。
Conventionally, various conference systems for performing conferences between remote locations have been disclosed. In such a conference system, various proposals have been made to ensure audio quality (see, for example,
また、多地点で会議を行うため、各装置の状態(発話者の有無、接続の有無、等)が問題となる。そこで、参加者が発話者を特定することができる技術が開示されている(例えば特許文献3参照)。特許文献3の装置は、音声データとは別のデータとして発話有無の判定データを配信し、発話者を特定するものである。
しかし、特許文献1、2の装置によれば、各装置の状態を検出できるわけではなかった。一方、特許文献3の構成によれば、音声データとは別のトラフィックが発生するため、ネットワーク負荷が増える。そのため、リアルタイム通信が阻害される結果となっていた。
However, according to the devices of
そこで、この発明は、ネットワーク負荷を増大させることなく、リアルタイムに各装置の状態を特定することができるネットワーク通信システムを提供することを目的とする。 Therefore, an object of the present invention is to provide a network communication system that can specify the state of each device in real time without increasing the network load.
この発明のネットワーク通信システムは、ネットワークを介して接続される複数の端末からなるネットワーク通信システムであって、前記端末は、他の端末の識別情報と他の端末の状態を示す情報とを記憶した記憶部と、自身の端末の状態を検出する検出部と、自身の端末の識別情報、および自身の端末の状態を示す情報、ならびに前記記憶部に記憶されている他の端末の識別情報、および他の端末の状態を示す情報、を所定のプロトコルに含まれる拡張情報として送信する通信部と、前記通信部が他装置から拡張情報を受信したとき、この拡張情報に基づいて自身の端末の記憶部に記憶されている情報を更新し、前記通信部に対し、拡張情報を送信した他の端末に自身の端末の情報を含めた拡張情報を送信するとき、当該他の端末の識別情報、および当該他の端末の状態を示す情報を含めずに送信するように設定する制御部と、を備えたことを特徴とする。 The network communication system according to the present invention is a network communication system including a plurality of terminals connected via a network, and the terminals store identification information of other terminals and information indicating the states of the other terminals. A storage unit, a detection unit for detecting the state of the terminal of itself, identification information of the terminal of itself, information indicating the state of the terminal of the terminal, and identification information of other terminals stored in the storage unit, and A communication unit that transmits information indicating the state of another terminal as extended information included in a predetermined protocol, and when the communication unit receives the extended information from another device, the communication unit stores its own terminal based on the extended information. When updating the information stored in the communication unit and transmitting the extended information including the information of the terminal itself to the other terminal that transmitted the extended information to the communication unit, the identification information of the other terminal is transmitted. And characterized by comprising a control unit configured to send without including the information indicating the state of the other terminal.
この構成では、各端末が他装置の状態を示す情報をメモリに記録しておく。各装置は、自装置の状態を示す情報とメモリに記録された他装置の状態を示す情報とを所定のプロトコル(例えばRTP(Real-time Transport Protocol))に含まれる拡張情報(RTP拡張ヘッダ)として送信する。受信側では、受信した拡張情報に基づいてメモリの記録内容を更新する。また、拡張情報を送信した端末に対してはその端末の状態を示す情報を送信しない。すなわち、送信先の装置の状態を示す情報は拡張ヘッダに含まれない。これにより、システム内の全ての端末が他装置の状態を記録しておくことができ、また、他装置の状態を示す情報はRTPパケットに含まれる拡張ヘッダに記載されているため、ネットワーク負荷を増大させることがない。 In this configuration, each terminal records information indicating the state of another device in a memory. Each device includes information indicating the status of the device itself and information indicating the status of the other device recorded in the memory in extension information (RTP extension header) included in a predetermined protocol (for example, RTP (Real-time Transport Protocol)). Send as. On the receiving side, the recorded contents of the memory are updated based on the received extended information. Also, information indicating the status of the terminal is not transmitted to the terminal that has transmitted the extended information. That is, information indicating the state of the transmission destination device is not included in the extension header. As a result, all terminals in the system can record the status of other devices, and information indicating the status of other devices is described in the extension header included in the RTP packet. There is no increase.
また、この発明は、さらに、前記端末は、収音部と放音部とを備えた音声会議端末であり、前記通信部は、前記収音部が収音した音声を前記所定のプロトコルに含まれる音声データとして送信し、前記検出部は、前記収音部の収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを示す情報を前記自身の端末の状態を示す情報に含めることを特徴とする。 Further, according to the present invention, the terminal is an audio conference terminal including a sound collection unit and a sound emission unit, and the communication unit includes the sound collected by the sound collection unit in the predetermined protocol. And the detection unit detects the level of the sound collected by the sound collection unit, and displays information indicating whether the level is equal to or higher than a predetermined threshold, the state of the terminal of the terminal itself. It is included in the information to show.
この構成では、各端末が収音部と放音部を備えている。各端末は、収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを検出する。所定の閾値以上であれば発話者が存在すると判断でき、閾値以上である旨を示す情報を装置の状態を示す情報に含めて送受信することで、各端末の発話者の有無を検出することができる。 In this configuration, each terminal includes a sound collection unit and a sound emission unit. Each terminal detects the level of collected sound and detects whether the level is equal to or higher than a predetermined threshold. If it is equal to or greater than a predetermined threshold, it can be determined that there is a speaker, and information indicating that it is equal to or greater than the threshold is included in the information indicating the state of the device to detect the presence or absence of a speaker at each terminal. it can.
また、この発明は、さらに、前記制御部は、前記拡張情報に他の端末の制御を行う制御情報を含めて送信するように前記通信部に設定することを特徴とする。 Furthermore, the present invention is characterized in that the control unit is set in the communication unit so as to transmit the extended information including control information for controlling other terminals.
この構成では、拡張情報に他装置を制御する情報を含めて送信する。例えば他装置の音量制御を行う。 In this configuration, the extended information is transmitted including information for controlling other devices. For example, the volume control of another device is performed.
また、この発明は、さらに、前記複数の端末を階層状に接続してなり、前記検出部は、自身の端末の階層段階を前記自身の端末の状態を示す情報に含めることを特徴とする。 Furthermore, the present invention is characterized in that the plurality of terminals are connected in a hierarchy, and the detection unit includes the hierarchical level of the terminal in the information indicating the state of the terminal.
この構成では、各端末を階層状に接続する(カスケード接続する)。端末間では自装置の状態として階層段階を示す情報を送受信する。階層段階を示す情報を送受信することで、ネットワーク内の不具合(ループや階層制限オーバー等)を速やかに検出することができる。 In this configuration, the terminals are connected in a hierarchy (cascade connection). Information indicating the hierarchical level is transmitted and received between the terminals as the state of the own device. By transmitting and receiving information indicating the hierarchical level, it is possible to quickly detect a malfunction (such as a loop or a hierarchical limit over) in the network.
また、この発明は、さらに、前記制御部は、自身の端末の記憶部に記憶された他の端末の情報のうち、受信した拡張情報に含まれていない端末の情報がある場合に、前記記憶部から当該端末の情報を削除することを特徴とする。 In addition, according to the present invention, the control unit stores the information when there is information on a terminal that is not included in the received extended information among information on other terminals stored in the storage unit of the terminal. The terminal information is deleted from the section .
この発明によれば、ネットワーク負荷を増大させることなく、リアルタイムに各装置の状態を特定することができる。 According to the present invention, the state of each device can be specified in real time without increasing the network load.
本発明の実施形態に係るネットワーク通信システムについて説明する。 A network communication system according to an embodiment of the present invention will be described.
図1は、ネットワーク通信システムの構成を示すブロック図である。音声通信システムは、インターネットであるネットワーク200を介して接続される会議サーバ10、会議端末11A〜11D、およびPC12Aを備えている。会議端末11A〜11Dは、それぞれ別の場所である会議室101A〜101Dに設置されている。また、PC12Aは、会議室101Aに設置されている。会議サーバ10は、いずれかの会議室に設置されていてもよいし、別の場所に設置されていてもよい。なお、各装置間は、実際にはルータを介してVPN等の暗号化通信により接続される。
FIG. 1 is a block diagram showing a configuration of a network communication system. The voice communication system includes a
図2は、会議端末11Aの構成を示すブロック図である。なお、会議端末11A〜11Dは、全て同じ構成、機能を有する。そのため、図2においては代表して会議端末11Aの構成を示す。
FIG. 2 is a block diagram showing the configuration of the
会議端末11Aは、制御部111、ネットワークI/F112、放音用ミキサ113、音声検出部114、送信用ミキサ115、メモリ116、スピーカSP、およびマイクMICを備えている。なお、本実施形態ではA/Dコンバータ、D/Aコンバータ、パワーアンプ等を省略し、装置内を伝達する音声信号は全てデジタル音声信号とする。
The
制御部111は、会議端末11Aを統括的に制御する。また、ネットワークI/F112を制御して、自装置で収音した音声を所定のプロトコルでネットワークへ送信させる。本実施形態では、会議端末間を送受信するデータのプロトコルとして、RTPを用いる。
The
図3は、RTPに係る送信パケットの構成例を示す図である。同図左欄に示すように、RTPの送信パケットは、RTP標準ヘッダ、RTP拡張ヘッダ、および音声データから構成される。RTP標準ヘッダは、汎用のRTPに準じたヘッダであり、このRTP標準ヘッダにはパケット内に拡張ヘッダが含まれているか否かを示す情報やタイムスタンプ等が記載されている。 FIG. 3 is a diagram illustrating a configuration example of a transmission packet according to RTP. As shown in the left column of the figure, the RTP transmission packet includes an RTP standard header, an RTP extension header, and audio data. The RTP standard header is a header conforming to general-purpose RTP, and information indicating whether or not an extension header is included in the packet, a time stamp, and the like are described in the RTP standard header.
RTP拡張ヘッダは、本実施形態のネットワーク通信システムで用いられる独自の拡張ヘッダである。RTP拡張ヘッダには、同図右欄に示すように、ヘッダ識別子、データ長、接続数、バージョン、拠点識別子、拠点付加情報等の種々のデータが含まれている。 The RTP extension header is a unique extension header used in the network communication system of the present embodiment. As shown in the right column of the figure, the RTP extension header includes various data such as a header identifier, a data length, the number of connections, a version, a site identifier, and site additional information.
ヘッダ識別子は、RTP拡張ヘッダの識別に用いられる。データ長は、RTP拡張ヘッダのデータ長を表す。接続数は、自装置に接続されている端末数を示す。本実施形態では、各会議端末は1または複数の会議端末とメッシュ接続やカスケード接続(図5を参照)により接続される。図1に示した例では各会議端末は、それぞれ3台の端末と接続され、3チャンネルの通信を行うものである。バージョンは、RTP拡張ヘッダのバージョンを示すものである。 The header identifier is used to identify the RTP extension header. The data length represents the data length of the RTP extension header. The number of connections indicates the number of terminals connected to the own device. In the present embodiment, each conference terminal is connected to one or a plurality of conference terminals by mesh connection or cascade connection (see FIG. 5). In the example shown in FIG. 1, each conference terminal is connected to three terminals and performs three-channel communication. The version indicates the version of the RTP extension header.
拠点識別子は、そのあとに含まれる拠点付加情報を識別するために用いられるものである。拠点付加情報は、各拠点(会議室)の収音音声のレベルや機器の状態などの情報を示す。会議端末11Aの制御部111は、この拠点付加情報を基に、各拠点の会議端末の状態をメモリ116に記録する。詳細は後述する。
The base identifier is used to identify base additional information included thereafter. The base additional information indicates information such as the level of sound collected at each base (conference room) and the state of the device. The
制御部111は、上記のRTP拡張ヘッダを生成するために、音声検出部114で検出される収音音声のレベルを取得し、閾値判定結果を取得する。
In order to generate the above RTP extension header, the
音声検出部114は、話者が発話した場合の音声レベルを判定する閾値が設定されており、入力された収音音声のレベルが閾値以上であるか否かを判定する。音声検出部114は、収音音声のレベルが閾値以上であれば、話者が存在する旨を示す閾値判定結果を制御部111に出力する。制御部111は、音声検出部114が検出した収音音声のレベルや、閾値判定結果を拠点付加情報に含めてネットワークI/F112を介して他装置に送信する。
The
ここで、ネットワークI/F112は、制御部111の制御に従って、送信用ミキサ115から入力される音声信号、および上記閾値判定結果等からRTPパケットを生成する。送信用ミキサ115は、カスケード接続(図5(B)を参照)の場合、マイクMICから入力される音声信号と、ネットワークI/F112から入力される各拠点(会議端末11B〜11D)からのRTPパケットに含まれる音声信号をミキシングしてネットワークI/F112に出力する。各会議端末には、それぞれ別個のRTPパケットが送信される。
Here, the network I /
送信用ミキサ115は、制御部111の制御に従って、ミキシングする音声信号を選択する。例えばカスケード接続において会議端末11BにRTPパケットを送信する場合、制御部111は、送信用ミキサ115に会議端末11Cおよび会議端末11Dから受信したRTPパケットに含まれる音声信号と、自装置で収音したマイクMICの収音信号とをミキシングするように送信用ミキサ115に設定する。そして、ネットワークI/F112でRTPパケットを生成し、会議端末11Bに送信する。
The
図4は、音声信号の送受信の態様を示した概念図である。同図に示すように、会議端末11Aの制御部111は、各会議端末にそれぞれ別個のRTPパケットを送信する。すなわち、会議端末11Bには、送信用ミキサ115に会議端末11Cから受信したRTPパケットに含まれる音声信号s13と、会議端末11Dから受信したRTPパケットに含まれる音声信号s14と、自装置で収音したマイクMICの収音信号s11と、をミキシングして音声データを生成し、さらに会議端末11Cから受信したRTPパケットに含まれる拡張ヘッダの情報、会議端末11Dから受信したRTPパケットに含まれる拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。同様に、会議端末11Cには、会議端末11Bの音声信号s12と、会議端末11Dの音声信号s14と、自装置の収音信号s11と、をミキシングして音声データを生成し、会議端末11Bからの拡張ヘッダの情報、会議端末11Dからの拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。また、会議端末11Dには、会議端末11Bの音声信号s12と、会議端末11Cの音声信号s13と、自装置の収音信号s11と、をミキシングして音声データを生成し、会議端末11Bからの拡張ヘッダの情報、会議端末11Cからの拡張ヘッダの情報、および自装置の情報、に基づいて拡張ヘッダを生成し、RTPパケットとして送信する。
FIG. 4 is a conceptual diagram showing an aspect of audio signal transmission / reception. As shown in the figure, the
会議端末11Aの放音用ミキサ113は、他の会議端末11B〜11Dから受信したRTPパケットに含まれる音声信号をミキシングしてスピーカSPへ出力し、スピーカSPは、入力された音声信号に基づいて音声を放音する。図4の例では、他の会議端末11B〜11Dから受信したRTPパケットに含まれる音声信号s12,s13,s14がミキシングされて放音される。なお、スピーカを複数備えている場合、ミキシングせずにそれぞれのスピーカから各拠点の音声を放音することも可能である。
The
以上のようなRTPパケットの送受信を各会議端末が行うことで、音声会議を実現する。 Each conference terminal performs transmission / reception of the RTP packet as described above, thereby realizing an audio conference.
次に、会議端末11A〜11Dの接続態様について説明する。図5(A)は、会議端末11A〜11Dをメッシュ接続した態様を示す図であり、同図(B)は、会議端末11A〜11Dと同じ構成からなる会議端末11E〜11Jをカスケード接続した態様を示す図である。なお、図1においては会議端末11A〜11Dを接続した構成のみ示したが、図5(B)では、説明の便宜上、会議端末11E〜11Jを接続した構成を示す。
Next, the connection mode of the
同図(A)に示すメッシュ接続では、各会議端末が相互に接続され、RTPパケットを送受信する。同図(A)のメッシュ接続では、4台の接続を示しているが、無論この接続数よりも少なくてもよいし、装置の仕様上さらに複数接続できる場合はさらに接続数が多くてもよい。 In the mesh connection shown in FIG. 2A, the conference terminals are connected to each other and transmit / receive RTP packets. In the mesh connection shown in FIG. 4A, four connections are shown. Of course, the number of connections may be smaller than this, or the number of connections may be larger if more than one can be connected due to the specifications of the device. .
同図(B)に示すカスケード接続では、各会議端末は3台以下の端末と接続され、RTPパケットを送受信する。なお、装置の仕様上さらに複数の端末と接続できる場合はさらに接続数が多くてもよい。また、同図(B)のカスケード接続では、システム全体として会議端末11E〜11Jの6台の接続を示しているが、無論この接続数よりも少なくてもよいし、多くてもよい。カスケード接続においては、接続が階層化されている。例えば同図(B)の例において、会議端末11Fを中心として考え、会議端末11Hを上位側の階層とすると、会議端末11Eおよび会議端末11Gが下位側の階層である。会議端末11Iおよび会議端末11Jは、会議端末11Hの下位側の階層である。階層の管理は後述の通信ホップ数によって行われる。
In the cascade connection shown in FIG. 5B, each conference terminal is connected to three or less terminals and transmits and receives RTP packets. Note that the number of connections may be further increased when a plurality of terminals can be connected due to the specifications of the apparatus. In addition, in the cascade connection of FIG. 5B, six connections of the
図6は、RTPパケットに含まれる拡張ヘッダ情報の送受信態様を示す図である。まず、図6(A)において、メッシュ接続における拡張ヘッダ情報の送受信態様を示す。なお、実際には各会議端末間でRTPパケットが送受信されているが、同図(A)においては、説明の便宜上会議端末11AがRTPパケットを受信する例を示す。
FIG. 6 is a diagram showing a transmission / reception mode of the extension header information included in the RTP packet. First, FIG. 6A shows a transmission / reception mode of extension header information in mesh connection. Actually, RTP packets are transmitted and received between the conference terminals, but FIG. 4A shows an example in which the
会議端末11Aは、各会議端末からRTPパケットを受信する。会議端末11Bから受信するRTPパケットには、会議端末11Bにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Cおよび会議端末11Dの情報が含まれている。また、会議端末11Cから受信するRTPパケットには、会議端末11Cにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Bおよび会議端末11Dの情報が含まれている。同様に、会議端末11Dから受信するRTPパケットには、会議端末11Dにおける情報(収音音声のレベルや閾値判定結果)のほか、他の端末の情報として会議端末11Bおよび会議端末11Cの情報が含まれている。各会議端末は、他の端末の情報を送信するためにメモリ116に各拠点の会議端末の状態を記録しており、このメモリ116の記録に応じてRTPパケットを送信する。
The
図7は、メモリ116に記録されている各拠点の会議端末の状態を示す情報である。同図上欄のUp,Left,Rightは、配列上の相対的な位置を示し、それぞれ自装置に接続されている端末の識別情報(ノードリンク情報)を示す。なお、本実施形態では、3チャンネルの通信を行うため、Up,Left,Rightに分けてノードリンクを管理しているが、さらに複数チャンネルの通信を行う場合には、別のノードリンク情報を付加すればよい。
FIG. 7 is information indicating the state of the conference terminal at each site recorded in the
ノード識別情報は、自装置の識別情報である。ノード識別情報は、各端末に固有の値であればどのようなものであってもよい。例えばMACアドレスを用いることができる。他装置からは、図3に示した拠点識別子としてこのノード識別情報が送信されるため、他装置のノード識別情報が上記ノードリンク情報として用いられる。例えば図6(A)に示した例では、会議端末11Aは、Upとして会議端末11Cのノード識別情報を記録し、Rightとして会議端末11Bのノード識別情報を記録し、Leftとして会議端末11Dのノード識別情報を記録する。また、図6(B)の例では、システム全体としてさらに多数の端末が接続されるが、各端末に接続される数は3つ以下であるため、ノードリンク情報として記録される数は上記と同様に3つである。図10を用いて、図6(B)に示した接続を行う場合のノードリンク情報の具体例について説明する。図10は、カスケード接続におけるノードリンク情報の具体的な例を示す図である。ここでは、会議端末11Fを中心として考える。なお、同図においては説明の便宜上、ノード識別情報に会議端末の構成番号を付しているが、無論実際にはMACアドレス等が用いられる。
The node identification information is identification information of the own device. The node identification information may be any value as long as it is a value unique to each terminal. For example, a MAC address can be used. Since the node identification information is transmitted as the base identifier shown in FIG. 3 from the other apparatus, the node identification information of the other apparatus is used as the node link information. For example, in the example shown in FIG. 6A, the
まず、会議端末11Fの上位側には会議端末11Hが接続されているため、ノードリンク情報のUpには1つ下の要素に記載されている会議端末11Hの情報を示す1を記載する。同様に、Leftには4つ下の要素に記載されている会議端末11Eの情報を示す4を記載し、Rightには5つ下の要素に記載されている会議端末11Gの情報を示す5を記載する。また、会議端末11Hの下位側には会議端末11Iおよび会議端末11Jが接続されているため、会議端末11Hのノードリンク情報において、Upには会議端末11Fの情報を示す−1を記載し、Leftには1つ下の要素に記載されている会議端末11Iの情報を示す1を記載し、Rightには2つ下の要素に記載されている会議端末11Jの情報を示す2を記載する。会議端末11I、11J、11E、および11Gにおいては、下位側に接続されている端末が存在しないため、ノードリンク情報にUpのみ記載される。
First, since the
次に、ノードメタ情報には、各端末の状態が記録されている。各端末の状態として、例えば図7に示すように、閾値判定結果、暗騒音レベル、機器状態、通信ホップ数、CDB(Command Descriptor Block)が含まれる。閾値判定結果は、上述したように発話者の存在有無を示す情報である。暗騒音レベルは、発話者が存在しない場合の音声信号のレベルを示す情報である。機器状態は、例えばその端末がミュート中であるか、マイクが故障中であるか、等を示す情報である。通信ホップ数は、その端末がどの階層に存在するかを示す情報である。図10に示した例を参照すると、会議端末11Fの通信ホップ数は自装置であるため0となる。会議端末11Hは1段階上位側であるため通信ホップ数が1となり、会議端末11Eおよび会議端末11Gは1段階下位側であるため通信ホップ数は1となる。また、会議端末11Iおよび会議端末11Jは会議端末11Hの1段階下位側であるため、通信ホップ数は2となる。なお、メッシュ接続においては、各端末が相互に接続されているため、通信ホップ数の管理を行わなくてもよい。CDBは、他装置を制御するコマンド情報であり、例えば他装置の音量制御を行う場合に、音量制御情報としてRTPパケットにCDBを含めて送信する。受信側では、制御部111がこのCDBをメモリ116に記録し、音量制御を行う。なお、音量制御とは、送信する音声信号のレベルの制御と受信した音声信号のレベルの制御とを含むものである。すなわち、送信音声信号と受信音声信号のレベルを別々に制御することもできるものである。
Next, the status of each terminal is recorded in the node meta information. As shown in FIG. 7, for example, the state of each terminal includes a threshold determination result, a background noise level, a device state, the number of communication hops, and a CDB (Command Descriptor Block). The threshold determination result is information indicating the presence / absence of a speaker as described above. The background noise level is information indicating the level of an audio signal when no speaker is present. The device status is information indicating, for example, whether the terminal is muted or the microphone is malfunctioning. The communication hop number is information indicating in which hierarchy the terminal exists. Referring to the example shown in FIG. 10, the number of communication hops of the conference terminal 11 </ b> F is 0 because it is the own device. Since the
制御部111は、各会議端末からRTPパケットを受信したとき、図7に示すメモリ116の記録内容を更新する。例えば、RTP拡張ヘッダ情報に存在するがメモリ116に記録されていないノード識別情報を受信した場合、そのノード識別情報に係る拠点付加情報をノードメタ情報に記録する。一方でメモリ116のノードメタ情報には記録されているが、RTP拡張ヘッダ情報にその端末のノード識別情報が含まれていない場合、その端末の接続がシステム内から途切れたとしてメモリ116から削除する。
When the
ここで、例えば会議端末11Bと会議端末11Cの接続が途切れている場合、会議端末11Bから受信した拡張ヘッダ情報には、会議端末11Cの情報が含まれていない。また、会議端末11Cから受信した拡張ヘッダ情報には、会議端末11Bの情報が含まれていない。しかし、会議端末11Dから受信した拡張ヘッダ情報には、会議端末11Bと会議端末11Cの情報が含まれていることとなる。そのため、会議端末11Aは、各会議端末から受信した拡張ヘッダ情報を比較することで、会議端末11Bと会議端末11Cの接続が途切れたことを検出することができる。
Here, for example, when the connection between the
同様の更新をカスケード接続においても行う。図6(B)は、カスケード接続における拡張ヘッダ情報の送受信態様を示す図である。各会議端末は自装置の情報を接続されている端末に送信する。例えば会議端末11Eは、自装置の情報を会議端末11Fに送信する。この会議端末11Eの情報は、会議端末11Fから順に下層側である会議端末11G〜11Hに送信される。また、会議端末11Fは、自装置の情報を会議端末11E、会議端末11G、および会議端末11Hに送信する。ここで、会議端末11Fには、会議端末11G、会議端末11Hの情報に加え、会議端末11Hの下層に接続されている会議端末11Iと会議端末11Jの情報が受信されているから、会議端末11Eには会議端末11F〜会議端末11Jの全ての情報が送信される。したがって、カスケード接続においても各会議端末はシステム内に接続されている全ての会議端末の情報が受信される。なお、各会議端末の制御部111は、その端末から受信した情報を返信することがないため、情報がループすることがない。
Similar updating is performed in the cascade connection. FIG. 6B is a diagram showing a transmission / reception mode of extension header information in cascade connection. Each conference terminal transmits its own information to the connected terminal. For example, the
ここで、カスケード接続に不具合が発生し、例えば会議端末11Jと11Eが接続されてしまった場合、会議端末11Jから会議端末11Eに、会議端末11Jの情報が送信される。すなわち、会議端末11Eでは、複数の端末から同じ端末の情報が重複して受信される。そのため、各会議端末では、受信した複数の拡張ヘッダ情報を比較することで、ループが発生していることを検出することができる。
Here, when a problem occurs in the cascade connection and, for example, the
また、本発明の実施形態に係るネットワーク通信システムによれば、図7や図10に示した情報を各端末において記録しておくことで、一度会議に参加した端末同士で次回会議を行う場合、接続手順を簡略化することができる。各端末において、会議参加した端末、および接続態様を記録しておく。例えば図5(A)の例では、会議端末11A〜11Dが参加し、メッシュ接続である旨を示す情報を記録しておく。また、図5(B)の例では、会議端末11E〜11Jが参加し、カスケード接続である旨、および接続相手先(会議端末11Fでは会議端末11E、11H、および11G)を示す情報を記録しておく。これにより、次に会議を開始するとき、いずれかの端末(例えば会議端末11F)でユーザが会議参加の動作を行うと、その会議端末(会議端末11F)から各端末(会議端末11E、11H、および11G)へ接続が開始され、接続先(会議端末11H)でさらに他の端末(会議端末11Iおよび11J)へ接続が開始される。その結果、全端末との接続が容易に構築される。なお、各端末では上記の情報を通話履歴、アドレス帳、等としてユーザに分かりやすい情報として記録しておけばよい。アドレス帳として記録する場合、例えば「支店連絡会議」等のような名称を付けて記録しておくこともできる。
Further, according to the network communication system according to the embodiment of the present invention, by recording the information shown in FIG. 7 and FIG. 10 in each terminal, when a next meeting is performed between terminals once participating in the meeting, The connection procedure can be simplified. In each terminal, the terminal participating in the conference and the connection mode are recorded. For example, in the example of FIG. 5A,
次に、図1における会議サーバ10の機能、構成について説明する。図8は、会議サーバ10の構成を示すブロック図である。同図に示すように、会議サーバ10は、通信制御部150、スケジュール制御部151、話者情報管理部152、ネットワークI/F153、表示部154を備えている。
Next, the function and configuration of the
通信制御部150は、ネットワークI/F153を介して会議端末11A〜11Dと通信する。具体的には、通信制御部150は、アドレス管理機能やプロキシサーバの機能を有し、各会議端末11A〜11D間の通信網の確立や解除の制御を行う。また、通信制御部150は、各会議端末の閾値判定結果から話者の存在を検出し、話者情報管理部152にプレゼンス情報として記録しておく。
The
スケジュール制御部151は、タイマ機能を備え、予め入力された会議等のスケジュールを記憶し、会議の開始タイミングを検出すると、通信制御部150へ通信網の確立制御を行うように通知する。また、会議の終了タイミングを検出すると、通信制御部150へ通信網の解除制御を行うように通知する。また、スケジュール制御部151は、話者情報管理部152に対し、時刻情報を与える。
The
話者情報管理部152は、通信制御部150を介して、各会議端末11A〜11Dのプレゼンス情報を取得し、スケジュール制御部151からの時刻情報と対応づけて、時系列でのプレゼンス状況データを生成する。この際、プレゼンス情報と会議端末とは関連付けされている。生成されたプレゼンス状況データは、表示部154へ与えられるとともに記憶され、通信制御部150を介してPC12A等から要求されれば要求元へ送信される。
The speaker
表示部154は、液晶パネル等からなり、話者情報管理部152から与えられた時刻情報、およびプレゼンス状況データに基づいて、話者の変化が視覚的に取得できるようなグラフィカル表示を行う。これにより、会議サーバ10が設置された位置にいる人は、話者の状況を容易に且つ視覚的に確認することができる。
The
なお、実際には、各会議端末が会議サーバ10のIPアドレスを保持しており、各会議端末が会議サーバ10に対してSIP REGISTERを送信することでプレゼンス情報を管理する。
Actually, each conference terminal holds the IP address of the
次に、図1において、PC12Aは、いわゆる汎用パーソナルコンピュータであり、ネットワークI/Fや表示部等を備えている。PC12Aは、会議端末11Aと同じ拠点に設置されており、会議端末11Aのユーザ(例えば会議管理者)が会議を行いながら操作をするものである。
Next, in FIG. 1, a
PC12Aは、会議サーバ10からプレゼンス情報を受信し、これを自身の表示部に表示する。図9は、ネットワーク通信システムにおいてプレゼンス情報の送受信を示す図である。同図に示すように、PC12Aは、会議サーバ10から例えばHTTPプロトコルによりプレゼンス情報を受信する。プレゼンス情報を受信することでどの拠点が会議に参加しているか、各拠点の参加状況等を視覚的に認識することができる。
The
また、PC12Aは、システム内のいずれかの会議端末にSYSLOGの送信要求を行う。同図の例では、同じ拠点に設置されている会議端末11Aに要求する。なお、PC12Aと会議端末11Aは、ネットワーク200を介して通信するが、無論LAN経由で通信してもよい。実際にはSYSLOGの送信要求はtelnet等を用いて通知される。
In addition, the
会議端末11Aは、SYSLOGの送信要求を受信すると、メモリ116に記録されている内容をSYSLOGとして定期的にPC12Aに送信する。なお、メモリ116を更新した場合に、即時SYSLOGを送信するようにしてもよい。PC12Aは、受信したSYSLOGの内容を表示部に表示する。これにより、システム内の各拠点の状態が容易に判断することができる。
Upon receiving the SYSLOG transmission request, the
また、PC12Aは会議端末11Aに定期的にpingを送信する。このpingは、会議端末11Aにおいて、PC12Aがハングアップしているか否かの情報として用いられる。すなわち、会議端末11Aは、内部にタイマを備えており、pingを受信する毎にタイマをリセットする。タイマがタイムアウトした場合、pingの送信が途切れたとして以後SYSLOGの送信を停止する。これによりSYSLOGを送り続ける事態を防止する。なお、pingの送信は本発明において必須の構成ではない。また、PC12Aがハングアップしているか否かを確認できるものであればpingに限るものではない。
In addition, the
PC12Aは、会議終了時など、各端末の管理を停止する場合、会議端末11Aに対し、SYSLOG送信停止要求を送信する。これにより会議端末11AはSYSLOGの送信を停止する。なお、会議中に会議端末11Aがシステム内から切断された場合、PC12Aは他の会議端末にSYSLOGの送信要求を行えばよい。
The
なお、PC12Aの上記機能は、ソフトウェア(アプリケーション)により実現される。
The functions of the
なお、PC12Aや会議サーバ10の構成は本発明において必須ではない。会議端末自身にLCD等の表示部が有れば、会議端末においてプレゼンス情報や端末状況を表示することも可能である。
The configurations of the
なお、会議端末が話者位置を検出することができる場合、話者位置情報などを送受信してもよい。放音側で指向性を制御することができる場合、話者位置情報を送受信することで、特定の方向から放音されているように(話者位置から放音されているように)制御することができる。 If the conference terminal can detect the speaker position, speaker position information and the like may be transmitted and received. When directivity can be controlled on the sound emission side, control is performed so that sound is emitted from a specific direction (sound is emitted from the speaker position) by transmitting and receiving speaker position information. be able to.
10−会議サーバ
11A〜11D−会議端末
12A−PC
10-
Claims (5)
前記端末は、他の端末の識別情報と他の端末の状態を示す情報とを記憶した記憶部と、
自身の端末の状態を検出する検出部と、
自身の端末の識別情報、および自身の端末の状態を示す情報、ならびに前記記憶部に記憶されている他の端末の識別情報、および他の端末の状態を示す情報、を所定のプロトコルに含まれる拡張情報として送信する通信部と、
前記通信部が他装置から拡張情報を受信したとき、この拡張情報に基づいて自身の端末の記憶部に記憶されている情報を更新し、
前記通信部に対し、拡張情報を送信した他の端末に自身の端末の情報を含めた拡張情報を送信するとき、当該他の端末の識別情報、および当該他の端末の状態を示す情報を含めずに送信するように設定する制御部と、
を備えたネットワーク通信システム。 A network communication system comprising a plurality of terminals connected via a network,
The terminal includes a storage unit that stores identification information of another terminal and information indicating the state of the other terminal;
A detection unit for detecting the state of its own terminal;
The predetermined protocol includes identification information of the terminal itself, information indicating the state of the terminal itself, identification information of the other terminal stored in the storage unit, and information indicating the state of the other terminal. A communication unit that transmits as extended information;
When the communication unit receives extended information from another device, updates the information stored in the storage unit of its own terminal based on the extended information,
When transmitting the extended information including the information of the own terminal to the other terminal that has transmitted the extended information to the communication unit, the identification information of the other terminal and the information indicating the state of the other terminal are included. A control unit configured to transmit without
A network communication system comprising:
前記通信部は、前記収音部が収音した音声を前記所定のプロトコルに含まれる音声データとして送信し、
前記検出部は、前記収音部の収音した音声のレベルを検出し、そのレベルが所定の閾値以上であるか否かを示す情報を前記自身の端末の状態を示す情報に含める請求項1に記載のネットワーク通信システム。 The terminal is an audio conference terminal including a sound collection unit and a sound emission unit,
The communication unit transmits the voice collected by the sound collection unit as voice data included in the predetermined protocol,
The detection unit detects a level of sound collected by the sound collection unit, and includes information indicating whether the level is equal to or higher than a predetermined threshold in information indicating a state of the terminal of the terminal. The network communication system described in 1.
前記検出部は、自身の端末の階層段階を前記自身の端末の状態を示す情報に含める請求項1、請求項2、または請求項3に記載のネットワーク通信システム。 The plurality of terminals are connected in a hierarchy,
The network communication system according to claim 1, 2, or 3, wherein the detection unit includes a hierarchical level of its own terminal in information indicating a state of the own terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153688A JP4867803B2 (en) | 2007-06-11 | 2007-06-11 | Network communication system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007153688A JP4867803B2 (en) | 2007-06-11 | 2007-06-11 | Network communication system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008306623A JP2008306623A (en) | 2008-12-18 |
JP4867803B2 true JP4867803B2 (en) | 2012-02-01 |
Family
ID=40234909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007153688A Expired - Fee Related JP4867803B2 (en) | 2007-06-11 | 2007-06-11 | Network communication system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4867803B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006238112A (en) * | 2005-02-25 | 2006-09-07 | Matsushita Electric Ind Co Ltd | Notification apparatus, notification condition designating apparatus and state notification method |
JP4531593B2 (en) * | 2005-03-03 | 2010-08-25 | パナソニック株式会社 | Notification device, notified device, and status notification method |
-
2007
- 2007-06-11 JP JP2007153688A patent/JP4867803B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008306623A (en) | 2008-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101486607B1 (en) | Active speaker identification | |
US8289900B2 (en) | Apparatus and method for dynamically updating and communicating within flexible networks | |
US7495687B2 (en) | System and methods for video surveillance in networks | |
JP4738058B2 (en) | Efficient routing of real-time multimedia information | |
US8364153B2 (en) | Mobile interoperability workstation controller having video capabilities within an incident communications network | |
US20130097333A1 (en) | Methods and apparatuses for unified streaming communication | |
US20060112814A1 (en) | MIDIWan: a system to enable geographically remote musicians to collaborate | |
US9774824B1 (en) | System, method, and logic for managing virtual conferences involving multiple endpoints | |
US8462961B1 (en) | Method and system for broadcasting audio transmissions over a network | |
JP2005513836A (en) | Video conference to switch from unicast to multicast | |
WO2006095451A1 (en) | Relay device, communication system, and control method and program for them | |
KR20170109544A (en) | Systems and methods for deploying an Internet Protocol (IP) serverless page party (SPP) station and multiple SPP stations | |
WO2011095056A1 (en) | Audio processing method and device for remote desktop protocol | |
US20050122389A1 (en) | Multi-conference stream mixing | |
WO2010073563A1 (en) | Conferencing apparatus and communication setting method | |
CN111049709B (en) | Bluetooth-based interconnected loudspeaker box control method, equipment and storage medium | |
JP2009194674A (en) | Communication terminal device and control method of communication terminal device | |
JP2009194661A (en) | Conference terminal | |
JP2005311670A (en) | Terminal, system and method for television conference, and program therefor | |
JP4867803B2 (en) | Network communication system | |
JP2007110186A (en) | Telephone terminal | |
JP2005033603A (en) | Communication terminal and communication method | |
JP4899018B2 (en) | LSP setting method and system for on-demand network | |
CN110546947A (en) | method for conducting an audio and/or video conference | |
US20080123563A1 (en) | Conference Voice Station And Conference System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |