JP5012049B2

JP5012049B2 - Communication system and server

Info

Publication number: JP5012049B2
Application number: JP2007017746A
Authority: JP
Inventors: 訓志三浦
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-01-29
Filing date: 2007-01-29
Publication date: 2012-08-29
Anticipated expiration: 2027-01-29
Also published as: JP2008187344A

Description

本発明は、多地点会議システムを自動構成するための技術に関する。 The present invention relates to a technique for automatically configuring a multipoint conference system.

近年、ネットワークを介して接続された複数の端末を用いて会議を行う「遠隔会議システム」が一般に普及している。この種の会議システムにおいては、端末間に通信セッションを確立し、各端末は映像や音声などの情報を他の端末へ送信する。 In recent years, a “remote conference system” that conducts a conference using a plurality of terminals connected via a network has become widespread. In this type of conference system, a communication session is established between terminals, and each terminal transmits information such as video and audio to other terminals.

特許文献１においては、カスケード式に端末を接続して多地点会議システムを構成する技術が開示されている。その技術によれば、多地点接続装置（ＭＣＵ）を複数カスケード接続し、ＭＣＵに接続されるテレビ会議端末を１箇所から自動的に接続・切断することができる。また、接続されるテレビ会議端末が無くなったＭＣＵを自動的に認識して、迂回接続と切断を保守者が意識することなく該ＭＣＵを会議システムから切断することができる。 Patent Document 1 discloses a technique for configuring a multipoint conference system by connecting terminals in a cascade manner. According to the technology, a plurality of multipoint connection devices (MCUs) can be cascade-connected, and a video conference terminal connected to the MCU can be automatically connected / disconnected from one place. In addition, it is possible to automatically recognize an MCU in which there is no video conference terminal to be connected, and disconnect the MCU from the conference system without the maintenance person being aware of the detour connection and disconnection.

特許文献２においては、同時通信システム及びその端末装置に関する技術が開示されている。該技術によれば、端末装置をカスケード接続し送受信選択マトリクスを設定することにより、ＭＣＵを設けることなく遠隔会議を実現することができる。
特許第３１８１１６７号特開平０９−８８０２号公報 Patent Document 2 discloses a technology related to a simultaneous communication system and a terminal device thereof. According to this technology, a remote conference can be realized without providing an MCU by cascading terminal devices and setting a transmission / reception selection matrix.
Japanese Patent No. 3181167 Japanese Patent Application Laid-Open No. 09-8802

ところで、特許文献１に示された技術においては、各ＭＣＵが相互に情報を交換しながらシステムの構築を行うため、全てのＭＣＵが同じ機能を有している必要があった。また、特許文献２に示された技術においては、送受信選択マトリクスを一旦設定してしまうと途中で変更することができず、例えば会議の途中でカスケード接続の一部が途絶えた場合にシステムをダイナミックに再構成することができず、遠隔会議に支障が生じるという問題があった。 By the way, in the technique disclosed in Patent Document 1, since each MCU constructs a system while exchanging information with each other, all the MCUs need to have the same function. Further, in the technique disclosed in Patent Document 2, once the transmission / reception selection matrix is set, it cannot be changed in the middle. For example, when a part of the cascade connection is interrupted in the middle of the conference, the system is dynamically changed. Therefore, there was a problem that the remote conference could not be reconfigured.

本発明は上記課題に鑑みて為されたものであり、多地点接続装置（ＭＣＵ）を設けることなく多地点会議システムを自動的に構成するための技術を提供することを目的としている。 The present invention has been made in view of the above problems, and an object thereof is to provide a technique for automatically configuring a multipoint conference system without providing a multipoint connection unit (MCU).

本発明に係る通信システムは、複数の端末とサーバとを有する通信システムであって、前記複数の端末の各々は、前記サーバから通信メッセージを受信する受信手段と、前記受信手段が受信した通信メッセージに、他の端末との間に通信セッションの確立をすべき旨が書き込まれている場合に、前記他の端末との間に通信セッションを確立する処理を行う通信セッション確立手段とを有し、前記サーバは、前記複数の端末の各々について、該端末が確立できる通信セッションの数である通信可能端末数を含む端末情報を記憶する記憶手段と、前記記憶手段に記憶された前記端末情報を用い、予め設定されたアルゴリズムに基づいて前記複数の端末同士の間に確立すべき通信セッションを決定する決定手段と、前記決定手段が決定した通信セッションを確立すべき端末同士の双方に、通信セッションの確立をすべき旨を示す通信メッセージを送信する送信手段とを有することを特徴とする。 The communication system according to the present invention is a communication system having a plurality of terminals and a server, each of the plurality of terminals receiving a communication message from the server, and a communication message received by the receiving means. Communication session establishment means for performing a process of establishing a communication session with the other terminal when it is written that a communication session should be established with the other terminal. The server uses, for each of the plurality of terminals, storage means for storing terminal information including the number of communicable terminals that is the number of communication sessions that can be established by the terminal, and the terminal information stored in the storage means. and determining means for determining a communication session to be established between each other the plurality of terminals based on a preset algorithm, the communication set to the determination unit has determined Both between terminals should establish ® down, and having a transmitting means for transmitting a communication message indicating to be the establishment of a communication session.

上記の構成において、前記決定手段は、前記複数の端末同士の間で送受信されるデータが経由する通信セッションの数が最小となるように、前記複数の端末同士の間に確立すべき通信セッションを決定しても良い。 In the above-described configuration, the determination unit may establish a communication session to be established between the plurality of terminals so that the number of communication sessions through which data transmitted / received between the plurality of terminals passes is minimized. You may decide.

上記の構成において、前記決定手段は、前記複数の端末の各々が確立する通信セッションが前記通信可能端末数の範囲内となるように前記複数の端末同士の間に確立する通信セッションを決定し、前記複数の端末の各々が確立する通信セッションが前記通信可能端末数の範囲内となるように前記複数の端末同士の間に確立する通信セッションを決定できないときには、その旨を示す信号を出力しても良い。 In the above configuration, the determining unit determines a communication session established between the plurality of terminals such that a communication session established by each of the plurality of terminals is within the range of the number of communicable terminals, When a communication session established between the plurality of terminals cannot be determined so that a communication session established by each of the plurality of terminals falls within the range of the number of communicable terminals, a signal indicating that is output. Also good.

上記の構成において、前記通信メッセージは前記複数の端末を遠隔操作するための通信メッセージであり、該遠隔操作のコマンドが書き込まれているようにしても良い。また、その場合、前記決定手段は、前記複数の端末に前記サーバが遠隔操作することができない端末が含まれる場合は、該端末が複数の端末と通信セッションを確立でき且つ前記サーバが遠隔操作することができる端末との間に通信セッションを確立するように前記複数の端末同士の間に確立すべき通信セッションを決定しても良い。 In the above configuration, the communication message may be a communication message for remotely operating the plurality of terminals, and the remote operation command may be written therein. In this case, if the plurality of terminals include a terminal that cannot be remotely operated by the server, the determining unit can establish a communication session with the plurality of terminals and the server can be remotely operated. A communication session to be established between the plurality of terminals may be determined so as to establish a communication session with a terminal capable of doing so.

上記の構成において、前記複数の端末は、他の端末から音声データを受取る音声データ受信手段を更に有し、前記音声データ受信手段が受取った音声データおよび自端末が生成した音声データをミキシングするミキシング手段と、前記ミキシング手段によりミキシング処理された音声データを出力する出力手段とを有していても良い。また、その場合、前記端末は、前記端末情報に含まれる自端末が確立できる通信セッションの数を、前記音声データ受信手段が一時に受信することのできる音声データの数としても良い。 In the above configuration, the plurality of terminals further include audio data receiving means for receiving audio data from other terminals, and mixing the audio data received by the audio data receiving means and the audio data generated by the own terminal Means and output means for outputting audio data mixed by the mixing means. In this case, the terminal may use the number of communication sessions that can be established by the terminal included in the terminal information as the number of voice data that the voice data receiving unit can receive at one time.

上記の構成において、前記端末は、前記端末情報を前記サーバに報知する報知手段を更に備え、前記サーバは、前記端末から前記端末情報を受取る受取手段を更に備え、前記決定手段は前記受取手段が前記端末から前記端末情報を受取った場合に、該端末情報に基づいて前記複数の端末同士の間に確立すべき通信セッションを決定しても良い。
また、本発明に係るサーバは、複数の端末と通信を行うサーバであって、前記複数の端末の各々について、該端末が確立できる通信セッションの数である通信可能端末数を含む端末情報を記憶する記憶手段と、前記記憶手段に記憶された前記端末情報を用い、予め設定されたアルゴリズムに基づいて前記複数の端末同士の間に確立すべき通信セッションを決定する決定手段と、前記決定手段が決定した通信セッションを確立すべき端末同士の双方に、通信セッションの確立をすべき旨を示す通信メッセージを送信する送信手段とを有する。 In the above configuration, the terminal further includes a notification unit that notifies the server of the terminal information, the server further includes a reception unit that receives the terminal information from the terminal, and the determination unit includes the reception unit. When the terminal information is received from the terminal, a communication session to be established between the plurality of terminals may be determined based on the terminal information.
The server according to the present invention is a server that communicates with a plurality of terminals, and stores, for each of the plurality of terminals, terminal information including the number of communicable terminals that is the number of communication sessions that the terminal can establish. Storage means, determination means for determining a communication session to be established between the plurality of terminals based on a preset algorithm using the terminal information stored in the storage means, and the determination means Transmission means for transmitting a communication message indicating that the communication session should be established to both terminals that should establish the determined communication session .

本発明によれば、多地点接続装置（ＭＣＵ）を設けることなく多地点会議システムを自動的に構成することができる。 According to the present invention, a multipoint conference system can be automatically configured without providing a multipoint connection unit (MCU).

以下、図面を参照しつつ本発明の実施形態について説明する。
（Ａ；構成）
（Ａ−１；全体構成）
図１は、本発明の実施形態に係る多地点会議システム１の構成を示すブロック図である。図１に示すように、多地点会議システム１は、ネットワーク３０、ネットワーク３０に接続された４台の端末（端末１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）、および会議サーバ２０からなる。以下では、これら端末１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの各々を区別する必要がない場合には、「端末１０」と表記する。
ネットワーク３０は例えばインターネットなどであり、端末１０および会議サーバ２０の間で所定の通信プロトコルにしたがって行われるデータ通信を仲介するためのものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(A: Configuration)
(A-1: Overall configuration)
FIG. 1 is a block diagram showing a configuration of a multipoint conference system 1 according to an embodiment of the present invention. As shown in FIG. 1, the multipoint conference system 1 includes a network 30, four terminals (terminals 10 </ b> A, 10 </ b> B, 10 </ b> C, 10 </ b> D) connected to the network 30, and a conference server 20. Below, when it is not necessary to distinguish each of these terminals 10A, 10B, 10C, and 10D, they are described as “terminal 10”.
The network 30 is, for example, the Internet, and serves to mediate data communication performed between the terminal 10 and the conference server 20 according to a predetermined communication protocol.

（Ａ−２；通信メッセージ）
本実施形態では、多地点会議システム１における通信プロトコルとして、以下に述べる各通信プロトコルが用いられる。アプリケーション層の通信プロトコルとしては、音声のデータ通信にReal-time Transport Protocol（以下、ＲＴＰ）が、遠隔操作のデータ通信にSecure Shell Protocol（以下、ＳＳＨ）が、そして通信セッションの確立のためのデータ通信にＳＩＰ（Session Initiation Protocol）が用いられる。また、トランスポート層の通信プロトコルとしては、ＵＤＰ（User Datagram Protocol）が用いられており、ネットワーク層の通信プロトコルとしてはＩＰ（Internet Protocol）が用いられる。 (A-2: Communication message)
In the present embodiment, each communication protocol described below is used as a communication protocol in the multipoint conference system 1. Application layer communication protocols include Real-time Transport Protocol (RTP) for voice data communication, Secure Shell Protocol (SSH) for remote data communication, and data for establishing a communication session. SIP (Session Initiation Protocol) is used for communication. Further, UDP (User Datagram Protocol) is used as a transport layer communication protocol, and IP (Internet Protocol) is used as a network layer communication protocol.

図１に示す多地点会議システム１においては、端末１０の各々に端末識別子（本実施形態ではＩＰアドレス）が割り当てられている。具体的には、端末１０Ａには、「１９９．１９９．１．１」が、端末１０Ｂには、「１９９．１９９．１．２」が、端末１０Ｃには、「１９９．１９９．１．３」が、端末１０Ｄには、「１９９．１９９．１．４」が割り当てられている。また、会議サーバ２０にも固有のＩＰアドレスが割り当てられている。 In the multipoint conference system 1 shown in FIG. 1, a terminal identifier (IP address in this embodiment) is assigned to each terminal 10. Specifically, the terminal 10A has “199.199.1.1”, the terminal 10B has “199.199.1.2”, and the terminal 10C has “199.199.1.3”. "," 199.199.1.4 "is assigned to the terminal 10D. The conference server 20 is also assigned a unique IP address.

多地点会議システム１において、各端末１０は、自端末のユーザの発言内容を表す音声データを他の端末１０に送信する一方、他の端末１０から送信されてくる音声データを受取ることによって遠隔会議を実現する。従って、会議の開始に先立って会議サーバ２０の制御下で端末１０間に通信セッションを確立する。以下では、通信セッションの確立に際して上記通信装置の間で交わされる通信メッセージについて説明する。 In the multipoint conference system 1, each terminal 10 transmits voice data representing the content of the speech of the user of the terminal itself to the other terminal 10, while receiving voice data transmitted from the other terminal 10, the remote conference. Is realized. Accordingly, a communication session is established between the terminals 10 under the control of the conference server 20 prior to the start of the conference. Hereinafter, communication messages exchanged between the communication devices when establishing a communication session will be described.

端末１０間で送受信する通信メッセージには、自端末との間で通信セッションを確立することを相手端末に要求するメッセージである「確立要求メッセージ」、確立要求メッセージを受けて、確立要求メッセージの送信元と通信セッションを確立することを許可または拒否する「確立許可メッセージ」および「確立拒否メッセージ」、そして一旦確立された通信セッションを切断することを通知する「切断通知メッセージ」がある。これらの通信セッションの確立・切断に係る通信メッセージは、ＳＩＰプロトコルに従って生成される。 The communication message transmitted / received between the terminals 10 includes “establish request message” which is a message requesting the partner terminal to establish a communication session with the own terminal, and the establishment request message is transmitted upon receiving the establishment request message. There are “establishment permission message” and “establishment rejection message” for permitting or rejecting establishment of a communication session with the original, and “disconnection notification message” for notifying that a communication session once established is to be disconnected. Communication messages relating to establishment / disconnection of these communication sessions are generated according to the SIP protocol.

また、会議サーバ２０が端末１０に対し送信する通信メッセージには、「発信指令メッセージ」、「着信指令メッセージ」、および「切断指令メッセージ」の３種類がある。これらの通信メッセージは、会議サーバ２０が端末１０を遠隔操作するためのものである。「発信指令メッセージ」は、通信セッションを確立すべき端末１０のうち一方の端末（以下、親端末）に送信され、もう一方の端末（以下、子端末）と通信セッションを確立させるための通信メッセージである。「着信指令メッセージ」は子端末に送信され、上記親端末と通信セッションを確立させるための通信メッセージである。これら「発信指令メッセージ」および「着信指令メッセージ」は、通常対にして親端末および子端末の双方に送信されるものであり、その結果両端末に確立したリンクを呼という。また、「切断指令メッセージ」とは、一旦通信セッションが確立された２台の端末１０に送信され、その通信セッションを切断させるための通信メッセージである。これらの会議サーバ２０が送信する通信メッセージは、ＳＳＨプロトコルに従って転送される。 Further, there are three types of communication messages that the conference server 20 transmits to the terminal 10: “outgoing command message”, “incoming command message”, and “disconnect command message”. These communication messages are for the conference server 20 to remotely operate the terminal 10. The “outgoing command message” is transmitted to one terminal (hereinafter referred to as “parent terminal”) among the terminals 10 that should establish a communication session, and is a communication message for establishing a communication session with the other terminal (hereinafter referred to as “child terminal”). It is. The “incoming command message” is a communication message that is transmitted to the child terminal and establishes a communication session with the parent terminal. These “outgoing command message” and “incoming command message” are normally sent to both the parent terminal and the child terminal as a pair, and as a result, the link established to both terminals is called a call. Further, the “disconnect command message” is a communication message that is transmitted to the two terminals 10 once established with the communication session and for disconnecting the communication session. The communication messages transmitted by these conference servers 20 are transferred according to the SSH protocol.

（Ａ−３；端末１０の構成）
図２は、端末１０のハードウェア構成を示すブロック図である。図２に示すように、端末１０の各部はバス１０９に接続されており、このバス１０９を介して信号やデータの授受を行う。 (A-3: Configuration of terminal 10)
FIG. 2 is a block diagram illustrating a hardware configuration of the terminal 10. As shown in FIG. 2, each part of the terminal 10 is connected to a bus 109, and exchanges signals and data via the bus 109.

音声データ生成部１０７は、マイクロホンとアナログ／デジタル（以下、「Ａ／Ｄ」と略記する）コンバータとを有する。マイクロホンは、参加者の音声を収音しその音声を表すアナログ信号を生成し、Ａ／Ｄコンバータへ出力する。Ａ／Ｄコンバータは、マイクロホンから受取った音声信号にＡ／Ｄ変換を施し、その変換結果であるデジタルデータ（以下、音声データ）を制御部１０１へ出力する。 The audio data generation unit 107 includes a microphone and an analog / digital (hereinafter abbreviated as “A / D”) converter. The microphone picks up the voice of the participant, generates an analog signal representing the voice, and outputs the analog signal to the A / D converter. The A / D converter performs A / D conversion on the audio signal received from the microphone, and outputs digital data (hereinafter referred to as audio data) as a result of the conversion to the control unit 101.

音声データ再生部１０８は、制御部１０１から受取った音声データの再生を行うものであり、スピーカとＤ／Ａコンバータとを有する。Ｄ／Ａコンバータは、制御部１０１から受取った音声データに対してＤ／Ａ変換を施すことによってアナログ信号へ変換し、スピーカへ出力する。スピーカは、Ｄ／Ａコンバータから受取った音声信号の表す音声を放音する。 The audio data reproducing unit 108 reproduces audio data received from the control unit 101, and includes a speaker and a D / A converter. The D / A converter performs D / A conversion on the audio data received from the control unit 101 to convert it into an analog signal and outputs it to the speaker. The speaker emits sound represented by the sound signal received from the D / A converter.

ネットワークＩ／Ｏ（Input/Output）部１０２は、ネットワーク３０に接続されている。このネットワークＩ／Ｏ部１０２は、制御部１０１から受取った通信メッセージおよび音声データをネットワーク３０へ送出する一方、ネットワーク３０から送信されてくる通信メッセージおよび音声データを受取り制御部１０１へ出力する。 A network I / O (Input / Output) unit 102 is connected to the network 30. The network I / O unit 102 transmits the communication message and voice data received from the control unit 101 to the network 30, and outputs the communication message and voice data transmitted from the network 30 to the reception control unit 101.

操作部１０６は、数字キーやボタンなどの操作子を備えており、ユーザが操作部１０６を操作して何らかの入力を行った場合に、その操作内容を表すデータを制御部１０１へと伝達する。
表示部１０５は、例えば液晶パネルであり、端末１０が有するデータおよびネットワーク３０を介して受取ったデータなどを表示する。 The operation unit 106 includes operation elements such as numeric keys and buttons. When the user operates the operation unit 106 to make an input, the operation unit 106 transmits data representing the operation content to the control unit 101.
The display unit 105 is a liquid crystal panel, for example, and displays data held by the terminal 10 and data received via the network 30.

制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、ＲＯＭ（Read Only Memory）１０３に記憶されている制御プログラムを読み出し実行する。
ＲＯＭ１０３は、制御プログラムを格納する。制御プログラムは、通信セッションの確立機能、音声データのミキシング機能、遠隔操作機能など、端末１０が有する機能を実現するためのプログラムである。
ＲＡＭ（Random Access Memory）１０４は、制御部１０１のワーキングエリアとして利用される。 The control unit 101 is, for example, a CPU (Central Processing Unit), and reads and executes a control program stored in a ROM (Read Only Memory) 103.
The ROM 103 stores a control program. The control program is a program for realizing the functions of the terminal 10 such as a communication session establishment function, a voice data mixing function, and a remote operation function.
A RAM (Random Access Memory) 104 is used as a working area of the control unit 101.

ここで、端末１０が有するミキシング機能に係る構成の一例について図３を用いて説明する。ミキシング機能は、制御部１０１が制御プログラムを実行することにより実現される。図３において、端末１０はミキサ部１２０を有し、ミキサ部１２０はミキサ１２０−１、１２０−２、１２０―３、および１２０−４から成る。 Here, an example of a configuration related to the mixing function of the terminal 10 will be described with reference to FIG. The mixing function is realized by the control unit 101 executing a control program. In FIG. 3, the terminal 10 has a mixer unit 120, and the mixer unit 120 includes mixers 120-1, 120-2, 120-3, and 120-4.

ネットワークＩ／Ｏ部１０２は、他の端末１０からはネットワークを介して音声データ（ここでは、音声データＢ、Ｃ、およびＤと呼ぶ）を、音声データ生成部１０７からはバス１０９を介して音声データ（ここでは、音声データＡと呼ぶ）を受取ると、それらの音声データを所定の回路によりミキサ１２０−１ないし４に割り当てる。具体的には、音声データＢをミキサ１２０−２、１２０−３、および１２０−４に、音声データＣをミキサ１２０−１、１２０−３、および１２０−４に、音声データＤをミキサ１２０−１、１２０−２、および１２０−４に、そして音声データＡをミキサ１２０−１、１２０−２、および１２０−３に割り当てて出力する。ミキサ１２０−１、１２０−２、１２０−３、および１２０−４は受取った音声データをミキシング処理し、生成したそれぞれの音声データを、音声データＢを生成した端末１０、音声データＣを生成した端末１０、音声データＤを生成した端末１０、および自端末の音声データ再生部１０８へ出力する。以上のミキシング処理により、音声データを生成・出力した各端末１０は、自端末を除く他の全ての端末１０が生成した音声データがミキシングされた音声データを受取る。 The network I / O unit 102 transmits audio data (referred to herein as audio data B, C, and D) from other terminals 10 via the network, and audio data from the audio data generation unit 107 via the bus 109. When data (herein referred to as audio data A) is received, the audio data is assigned to mixers 120-1 to 120-4 by a predetermined circuit. Specifically, the audio data B is mixed with the mixers 120-2, 120-3, and 120-4, the audio data C is mixed with the mixers 120-1, 120-3, and 120-4, and the audio data D is mixed with the mixer 120-. 1, 120-2, and 120-4, and audio data A is assigned to mixers 120-1, 120-2, and 120-3 and output. The mixers 120-1, 120-2, 120-3, and 120-4 mixed the received audio data, and generated the audio data B, the terminal 10 that generated the audio data B, and the audio data C. The data is output to the terminal 10, the terminal 10 that generated the audio data D, and the audio data reproduction unit 108 of the terminal itself. Through the above mixing process, each terminal 10 that has generated and output audio data receives the audio data in which the audio data generated by all other terminals 10 other than its own terminal is mixed.

なお、図３においては、ミキサ部１２０にミキサが４つ設けられている場合について説明したが、その数は５以上であっても良いし３つでも良い。例えばミキサが３つ設けられた場合には、ネットワークを介して他の最大２つの端末１０から受取った音声データをミキシング処理することが出来る。
また、他の１つの端末１０のみから音声データを受取る場合には、ミキサ部１２０を設ける必要はない。その場合図４に示すように、端末１０に「割り当て部１２１」を設ける。該割り当て部１２１は受取った音声データを音声データ再生部１０８へ出力し、音声データ生成部１０７が生成した音声データを他の端末１０に出力するようにすれば良い。 Although the case where four mixers are provided in the mixer unit 120 has been described with reference to FIG. 3, the number may be five or more or three. For example, when three mixers are provided, audio data received from two other maximum terminals 10 via the network can be mixed.
In addition, when receiving audio data from only one other terminal 10, it is not necessary to provide the mixer unit 120. In that case, as shown in FIG. 4, an “allocation unit 121” is provided in the terminal 10. The allocating unit 121 may output the received audio data to the audio data reproducing unit 108 and output the audio data generated by the audio data generating unit 107 to another terminal 10.

以上の説明からも明らかなように、端末１０が扱うことのできる音声データの最大数は、設けられたミキサ部１２０の有するミキサの数に応じて決まる。本実施形態では、個々の端末１０はそれぞれに固有の数のミキサを有し、そのミキサの数に応じて扱う音声データの数は決まっている。また、本実施形態においては、「扱うことの出来る音声データの数から１を減算した値」と「通信セッションを同時に確立できる端末１０の数」は同じであるとする。 As is clear from the above description, the maximum number of audio data that can be handled by the terminal 10 is determined according to the number of mixers included in the provided mixer unit 120. In the present embodiment, each terminal 10 has a unique number of mixers, and the number of audio data to be handled is determined according to the number of mixers. In the present embodiment, it is assumed that “the value obtained by subtracting 1 from the number of audio data that can be handled” and “the number of terminals 10 that can simultaneously establish a communication session” are the same.

（Ａ−４；会議サーバ２０の構成）
図５は、会議サーバ２０のハードウェア構成を示すブロック図である。図５に示すように、会議サーバ２０の各部はバス２０６に接続されており、このバス２０６を介して信号やデータの授受を行う。 (A-4: Configuration of the conference server 20)
FIG. 5 is a block diagram illustrating a hardware configuration of the conference server 20. As shown in FIG. 5, each part of the conference server 20 is connected to a bus 206, and exchanges signals and data via the bus 206.

ネットワークＩ／Ｏ部２０３は、ネットワーク３０に接続されている。このネットワークＩ／Ｏ部２０３は、遠隔制御部２０１から受取った通信メッセージをネットワーク３０へ送出する一方、ネットワーク３０を介して各種メッセージを受取り遠隔制御部２０１へ出力する。 The network I / O unit 203 is connected to the network 30. The network I / O unit 203 sends the communication message received from the remote control unit 201 to the network 30, while receiving various messages via the network 30 and outputs the message to the remote control unit 201.

ＧＵＩ（Graphical User Interface）部２０５は、端末１０を遠隔操作するための操作部である。ユーザは、その表示画面を視認しながら操作子を操作して入力を行い、その操作内容を表すデータは遠隔制御部２０１へと出力される。 A GUI (Graphical User Interface) unit 205 is an operation unit for remotely operating the terminal 10. The user performs an input by operating the operator while viewing the display screen, and data representing the operation content is output to the remote control unit 201.

記憶部２０２は、例えばＦｌａｓｈＲＯＭであり、管理プログラムを格納する。管理プログラムは、以下に説明するように、ＳＩＰレジストラ機能、ＳＩＰプロキシサーバ機能、遠隔操作機能などの、会議サーバ２０が有する機能を実現するためのプログラムである。 The storage unit 202 is, for example, a flash ROM, and stores a management program. The management program is a program for realizing functions of the conference server 20 such as a SIP registrar function, a SIP proxy server function, and a remote operation function, as will be described below.

会議情報記憶部２０４は、例えばＲＡＭであり、遠隔会議を制御するためのデータが書き込まれる。データの一例としては、端末１０のネットワーク３０への接続状況、ネットワーク３０に接続された端末１０の属性を示す「端末属性情報」、遠隔会議の実施態様が書き込まれた「予約情報」などがある。 The conference information storage unit 204 is, for example, a RAM, in which data for controlling the remote conference is written. Examples of data include the connection status of the terminal 10 to the network 30, “terminal attribute information” indicating the attribute of the terminal 10 connected to the network 30, “reservation information” in which an embodiment of the remote conference is written. .

ここで、図６は「予約情報」の一例を示す図である。予約情報には、「会議番号」、「開始時刻」、「終了時刻」、「参加端末」、および「管理者端末」が会議ごとに書き込まれている。「会議番号」とは、主催者等により当該会議に割り振られた番号である。「開始時刻」とは、会議を開始する予定の時刻であり、「終了時刻」とは、会議を終了する予定の時刻である。「参加端末」とは、該会議に参加する予定の端末１０のＩＰアドレスである。そして「管理者端末」とは、会議に参加する端末１０の中で会議の主催者が利用する端末１０を示す。 Here, FIG. 6 is a diagram showing an example of “reservation information”. In the reservation information, “conference number”, “start time”, “end time”, “participating terminal”, and “manager terminal” are written for each conference. The “conference number” is a number assigned to the conference by the organizer or the like. “Start time” is the time when the conference is scheduled to start, and “end time” is the time when the conference is scheduled to end. The “participating terminal” is the IP address of the terminal 10 scheduled to participate in the conference. The “manager terminal” indicates the terminal 10 used by the meeting organizer among the terminals 10 participating in the meeting.

再び図５において、遠隔制御部２０１は例えばＣＰＵであり、記憶部２０２に記憶されている管理プログラムを読み出し実行する。遠隔制御部２０１は、会議サーバ２０の各部の動作を制御すると共に、ＧＵＩ部２０５に入力された操作内容を示すデータを端末１０へ送信し端末１０の遠隔制御も行う。 In FIG. 5 again, the remote control unit 201 is, for example, a CPU, and reads and executes a management program stored in the storage unit 202. The remote control unit 201 controls the operation of each unit of the conference server 20 and also transmits data indicating the operation content input to the GUI unit 205 to the terminal 10 to perform remote control of the terminal 10.

（Ｂ；動作）
以下では、端末１０および会議サーバ２０が行う動作について図面を参照しつつ説明する。なお、会議サーバ２０の会議情報記憶部２０４には図６に示す予約情報が書き込まれており、各端末のユーザは、所定の日時（本動作例では２００６年１２月２２日１８：００〜２２：００）に「会議番号１」の遠隔会議を行うことを予め合意しているものとする。 (B: Operation)
Below, the operation | movement which the terminal 10 and the conference server 20 perform is demonstrated, referring drawings. Note that the reservation information shown in FIG. 6 is written in the conference information storage unit 204 of the conference server 20, and the user of each terminal receives a predetermined date and time (December 22, 2006, 18: 00 to 22 in this operation example). 0:00), it is assumed that a remote conference of “conference number 1” is agreed in advance.

以下、端末１０の構成要素の各々がいずれの端末１０に属するかを区別する必要がある場合には、以下のように表記する。すなわち、端末１０Ａの制御部１０１については、「制御部１０１Ａ」と表記し、端末１０Ｂの制御部１０１については、「制御部１０１Ｂ」と表記する。また、他の構成要素についても同様に表記するものとする。また、端末１０同士の間では、本動作の開始時点でいかなる端末とも通信セッションを確立していないものとする。 Hereinafter, when it is necessary to distinguish which terminal 10 each component of the terminal 10 belongs to, the following notation is used. That is, the control unit 101 of the terminal 10A is expressed as “control unit 101A”, and the control unit 101 of the terminal 10B is expressed as “control unit 101B”. In addition, the other components are also expressed in the same manner. Also, it is assumed that no communication session has been established between the terminals 10 with any terminal at the start of this operation.

（Ｂ−１；通信セッションの確立）
本動作例においては、端末１０が相互に通信セッションを確立し、多地点会議システム１を構成する際の会議サーバ２０及び端末１０が行う処理について説明する。図７は、会議サーバ２０が行う処理の流れを示したフローチャートである。 (B-1; establishment of communication session)
In this operation example, a process performed by the conference server 20 and the terminal 10 when the terminals 10 establish a communication session with each other and configure the multipoint conference system 1 will be described. FIG. 7 is a flowchart showing a flow of processing performed by the conference server 20.

会議サーバ２０はＳＩＰプロキシサーバ機能を有し、ネットワーク３０を介して端末１０と一対一で通信を行っている。会議の主催者は、予め会議に参加する予定の端末の端末属性情報を会議サーバ２０のＧＵＩ部２０５から入力する。会議サーバ２０は、会議の主催者が入力した端末属性情報を会議情報記憶部２０４に書き込む（ステップＳＡ１００）。会議サーバ２０は、会議情報記憶部２０４に書き込まれた予約情報を参照し、所定の会議を開始する予定時刻に達したか否かを判定する（ステップＳＡ１１０）。 The conference server 20 has a SIP proxy server function and communicates with the terminal 10 on a one-to-one basis via the network 30. The conference organizer inputs in advance the terminal attribute information of the terminal scheduled to participate in the conference from the GUI unit 205 of the conference server 20. The conference server 20 writes the terminal attribute information input by the conference organizer into the conference information storage unit 204 (step SA100). The conference server 20 refers to the reservation information written in the conference information storage unit 204, and determines whether or not the scheduled time for starting a predetermined conference has been reached (step SA110).

未だ開始時刻には達していない場合には、ステップＳＡ１１０の判定結果は“Ｎｏ”となり、ステップＳＡ１１０が繰り返される。開始時刻に達すると、ステップＳＡ１１０の判定結果は“Ｙｅｓ”となり、ステップＳＡ１２０が行われる。ステップＳＡ１２０において、遠隔制御部２０１は、予約情報を参照して会議に参加する予定の端末１０を判定する。そして、遠隔制御部２０１は、会議情報記憶部２０４に書き込まれた端末属性情報から、予約情報に書き込まれた参加予定の端末１０についての情報を読み出し、各端末１０の製品名、各端末１０が同時に確立できる通信セッションの最大数を読み出す。 If the start time has not yet been reached, the determination result in step SA110 is “No”, and step SA110 is repeated. When the start time is reached, the determination result in step SA110 is “Yes”, and step SA120 is performed. In step SA120, the remote control unit 201 determines the terminal 10 scheduled to participate in the conference with reference to the reservation information. Then, the remote control unit 201 reads the information about the terminal 10 scheduled to participate written in the reservation information from the terminal attribute information written in the conference information storage unit 204, and the product name of each terminal 10 and each terminal 10 Reads the maximum number of communication sessions that can be established simultaneously.

次に遠隔制御部２０１は、会議に参加する予定の端末１０同士での通信セッションの確立形態を、所定のアルゴリズムに従って決定する（ステップＳＡ１３０）。以下に、該アルゴリズムの概要を記す。 Next, the remote control unit 201 determines the communication session establishment mode between the terminals 10 scheduled to participate in the conference according to a predetermined algorithm (step SA130). The outline of the algorithm is described below.

（１）図８は、端末１０同士の通信セッションの確立形態を模式的に示す図である。例えば端末１０Ａが同時に確立できる通信セッションの最大数は３であり、端末１０Ｂ、１０Ｃ、１０Ｄが同時に確立できる通信セッションの最大数は１である場合、図８のように、端末１０Ｂ、１０Ｃ、１０Ｄが端末１０Ａと通信セッションを確立するよう、確立形態が１つに定まる。このように、各端末１０が同時に確立できる通信セッションの最大数の範囲内で通信セッションを確立するようにする。例えば、同時に確立できる通信セッションの最大数が１である端末１０が端末１０Ｂ、１０Ｃ、１０Ｄの他にもう１台存在した場合には本条件を満たす確立形態が存在しないため、この場合通信セッションを確立することができない。 (1) FIG. 8 is a diagram schematically illustrating a communication session establishment mode between terminals 10. For example, when the maximum number of communication sessions that can be simultaneously established by the terminal 10A is 3, and the maximum number of communication sessions that can be simultaneously established by the terminals 10B, 10C, and 10D is 1, the terminals 10B, 10C, and 10D as illustrated in FIG. Is established in one so that the terminal establishes a communication session with the terminal 10A. In this way, communication sessions are established within the range of the maximum number of communication sessions that each terminal 10 can establish simultaneously. For example, if there is another terminal 10 having the maximum number of communication sessions 1 that can be established at the same time in addition to the terminals 10B, 10C, and 10D, there is no established form that satisfies this condition. Cannot be established.

（２）端末１０は、相互にデータをやり取りする場合の経路（以下、段数）が最小になるように通信セッションを確立する。例えば図９に示すように、端末１０Ａおよび１０Ｄの同時に確立できる通信セッションの最大数は１であり、端末１０Ｂが同時に確立できる通信セッションの最大数は３であり、端末１０Ｃの同時に確立できる通信セッションの最大数は２である場合、（ａ）および（ｂ）いずれの形態でも通信セッションを確立することが可能である。 (2) The terminal 10 establishes a communication session so that the path (hereinafter, the number of stages) when data is exchanged with each other is minimized. For example, as shown in FIG. 9, the maximum number of communication sessions that can be simultaneously established by the terminals 10A and 10D is 1, the maximum number of communication sessions that can be simultaneously established by the terminal 10B is 3, and the communication sessions that can be simultaneously established by the terminal 10C. If the maximum number is 2, it is possible to establish a communication session in both forms (a) and (b).

しかしこの場合、(ａ)においては、例えば端末１０Ａから出力されたデータは端末１０Ｄに送り届けられるまでに３つの通信セッションを経由する必要があり、段数は「３」となる。それに対し、（ｂ）においては、いずれの端末１０から出力されたデータも、他の端末１０に送り届けられるまでに最大２つの通信セッションを経由するだけであるから、段数は「２」となる。従って、本条件によれば、より段数が少ない（ｂ）が選択される。 However, in this case, in (a), for example, the data output from the terminal 10A needs to pass through three communication sessions before being delivered to the terminal 10D, and the number of stages is “3”. On the other hand, in (b), since the data output from any of the terminals 10 only passes through a maximum of two communication sessions before being delivered to the other terminals 10, the number of stages is “2”. Therefore, according to this condition, (b) having a smaller number of stages is selected.

なお、すべての端末１０において、同時に確立できる通信セッションの最大数が会議参加端末数から１を減算した値以上となっている場合に限り、段数が「１」すなわちメッシュ形態の確立形態となる。例えば図１０に示すように、全ての端末１０において「同時に確立できる通信セッションの最大数」が３つであり会議参加端末数は４である場合、上記条件を満たすため図に示すメッシュ形態が選択される。 Note that the number of stages is “1”, that is, the mesh form is established only when the maximum number of communication sessions that can be simultaneously established in all terminals 10 is equal to or greater than the value obtained by subtracting 1 from the number of conference participation terminals. For example, as shown in FIG. 10, when the “maximum number of communication sessions that can be established simultaneously” is 3 and the number of conference participation terminals is 4, the mesh form shown in the figure is selected to satisfy the above conditions. Is done.

（３）会議に参加する予定の端末１０の中に、会議サーバ２０が遠隔操作することができない端末が含まれている場合には、該端末１０は遠隔操作が可能で且つ複数の端末と同時に通信セッションを確立することができる端末１０との間で通信セッションを確立し、音声データの授受は、該端末１０を介して行う。 (3) If the terminal 10 that is scheduled to participate in the conference includes a terminal that cannot be remotely operated by the conference server 20, the terminal 10 can be remotely operated and simultaneously with a plurality of terminals. A communication session is established with a terminal 10 that can establish a communication session, and voice data is exchanged via the terminal 10.

以上３つの条件を満たす確立形態になお複数の候補が存在した場合には、遠隔制御部２０１は、任意の候補を選択できる。例えば、全通信セッション数が最小になる形態としてもよいし、端末属性情報が各端末１０のスペックを含む場合は、該端末属性情報から端末１０のスペックを相互に比較し、スペックの高い端末１０ほど多数の端末１０と通信セッションを確立する接続形態を選択してもよい。なぜならば、より多くの端末１０と通信セッションを確立しているほど多くの音声データをミキシング処理する必要が生じ、より高いパフォーマンスが必要とされるからである。 When there are still a plurality of candidates in the established form satisfying the above three conditions, the remote control unit 201 can select an arbitrary candidate. For example, the number of all communication sessions may be minimized, and when the terminal attribute information includes the specifications of each terminal 10, the specifications of the terminals 10 are compared with each other based on the terminal attribute information, and the terminal 10 with the higher specifications You may select the connection form which establishes a communication session with so many terminals 10. FIG. This is because as more communication sessions are established with more terminals 10, it becomes necessary to process more audio data, and higher performance is required.

再び図７に戻って、遠隔制御部２０１はステップＳＡ１４０の処理を行う。ステップＳＡ１４０において、遠隔制御部２０１は、確立すべき通信セッションの１つ１つについて、通信セッションを確立すべき２台の端末１０のうち、一方の端末（親端末）を宛先として、もう一方の端末（子端末）へ通信セッションの確立要求メッセージを送信するよう遠隔操作するための発信指令メッセージを送信する。そして会議サーバ２０は、子端末には上記親端末から発信指令メッセージを受取り親端末と通信セッションを確立するよう遠隔操作するための着信指令メッセージを送信する。 Returning to FIG. 7 again, the remote control unit 201 performs the process of step SA140. In step SA140, the remote control unit 201 sets, for each communication session to be established, one terminal (parent terminal) of the two terminals 10 to establish the communication session as the destination. A transmission command message for remote operation is transmitted so as to transmit a communication session establishment request message to a terminal (child terminal). The conference server 20 receives the outgoing command message from the parent terminal and transmits an incoming command message for remote operation to establish a communication session with the parent terminal.

なお、ステップＳＡ１４０において、端末１０のいずれを親端末とするかについては、より多くの端末１０と通信セッションを確立することになっている端末１０を親端末とする。なお、遠隔操作をすることが不可能な端末１０は、上記アルゴリズム（３）から当然子端末となるが、該端末１０に対しては着信指令メッセージを送信せず、親端末からの確立要求メッセージに対して応答するべき旨のメッセージを送信する。その場合、該メッセージを視認したユーザが手動で確立許可処理を行う。 In step SA140, as to which of the terminals 10 is the parent terminal, the terminal 10 that is to establish a communication session with more terminals 10 is the parent terminal. The terminal 10 that cannot be remotely operated is naturally a child terminal from the above algorithm (3), but does not transmit an incoming instruction message to the terminal 10 and does not transmit an establishment request message from the parent terminal. Send a message to respond to. In that case, the user who visually recognizes the message manually performs establishment permission processing.

親端末は、会議サーバ２０の遠隔操作により子端末に確立要求メッセージを送信する。子端末は、会議サーバ２０の遠隔操作により、親端末から確立要求メッセージを受信すると確立許可メッセージを親端末に対して送信し、両端末間に通信セッションが確立される。
また、遠隔操作をすることが不可能な端末１０は、親端末から確立要求メッセージを受信すると、該端末のユーザにより手動で親端末と通信セッションを確立する。会議サーバ２０は、以上の処理を確立すべき全ての通信セッションについて行い、ステップＳＡ１３０において決定された確立形態を完成させる。 The parent terminal transmits an establishment request message to the child terminal by remote operation of the conference server 20. When the child terminal receives the establishment request message from the parent terminal by remote operation of the conference server 20, the child terminal transmits an establishment permission message to the parent terminal, and a communication session is established between the two terminals.
Further, when the terminal 10 that cannot be remotely operated receives the establishment request message from the parent terminal, the user of the terminal manually establishes a communication session with the parent terminal. The conference server 20 performs the above processing for all communication sessions to be established, and completes the establishment form determined in step SA130.

以上のように通信セッションが確立され、遠隔会議が開始される。そして、予約情報に書き込まれた終了時刻になると、遠隔制御部２０１は、全ての端末１０に対して通信セッションの切断指示メッセージを送信し、通信セッションの切断を行わせる。 A communication session is established as described above, and a remote conference is started. When the end time written in the reservation information comes, the remote control unit 201 transmits a communication session disconnection instruction message to all the terminals 10 to disconnect the communication session.

以上で説明したように、会議サーバ２０は端末１０に関する情報に基づいて通信セッションの確立形態を決定し、遠隔操作によって自動的に通信セッションを確立させる。ここで注目すべき点は、各端末１０のユーザは、自端末が通信セッションを確立すべき端末などを予め知っておく必要は無く、更には実際の通信セッション確立操作を行う必要が無いことである。このように、本実施形態に係る会議サーバ２０および端末１０によれば、通信セッションの確立を行う制御装置を設けることなく、また各ユーザに手間をかけることなく、複数の端末１０が適切に通信セッションを確立することが可能になる。 As described above, the conference server 20 determines the communication session establishment mode based on the information related to the terminal 10, and automatically establishes the communication session by remote operation. What should be noted here is that the user of each terminal 10 does not need to know in advance which terminal the terminal should establish a communication session in, and further does not need to perform an actual communication session establishment operation. is there. As described above, according to the conference server 20 and the terminal 10 according to the present embodiment, a plurality of terminals 10 can appropriately communicate without providing a control device that establishes a communication session and without taking time and effort for each user. It becomes possible to establish a session.

（Ｂ−２；音声データの通信）
以下では、多地点会議システム１を用いて会議が行われる際の端末１０の動作について説明する。以下では、図８に示す端末１０Ａを例にとって、音声データの処理について説明する。なお、端末１０Ａは図３に示す構成を有し、端末１０Ｂ、１０Ｃ、および１０Ｄは、図４に示す構成を有するものとする。また、端末１０Ａ、１０Ｂ、１０Ｃ、および１０Ｄが生成・出力する音声データを、図３に示された音声データＡ、Ｂ、Ｃ、およびＤとする。 (B-2: Voice data communication)
Below, operation | movement of the terminal 10 at the time of a meeting using the multipoint conference system 1 is demonstrated. Hereinafter, the processing of audio data will be described using the terminal 10A shown in FIG. Terminal 10A has the configuration shown in FIG. 3, and terminals 10B, 10C, and 10D have the configuration shown in FIG. Also, the audio data generated and output by the terminals 10A, 10B, 10C, and 10D are assumed to be audio data A, B, C, and D shown in FIG.

ネットワークＩ／Ｏ部１０２Ａは、他の端末１０が出力した音声データをミキサ１２０−１ないし４に割り当てる。また、自端末が生成した音声データを、バス１０９を介して受取りミキサ１２０−１ないし４に割り当てる。ミキサ１２０−１ないし４は受取った音声信号をミキシングし、各端末１０またはスピーカへ出力する。その結果、端末１０Ａのユーザは、端末１０Ｂ、１０Ｃ、および１０Ｄから受取った音声データが表す他のユーザの発言内容を聞くことができる。 The network I / O unit 102A assigns the audio data output from the other terminals 10 to the mixers 120-1 to 120-4. Also, the audio data generated by the terminal itself is assigned to the mixers 120-1 to 120-4 via the bus 109. The mixers 120-1 to 120-4 mix the received audio signals and output them to each terminal 10 or speaker. As a result, the user of the terminal 10A can hear the content of another user's remarks represented by the voice data received from the terminals 10B, 10C, and 10D.

そして例えば端末１０Ｂは、自端末のユーザの発言内容を表す音声データを生成し、ネットワークＩ／Ｏ部１０２を介してネットワーク３０に向けて出力すると、端末１０Ａ、１０Ｃ，および１０Ｄのユーザの発言内容がミキシングされた音声データを端末１０Ａから受取る。その結果、端末１０Ｂのユーザは、端末１０Ａ、１０Ｃ、および１０Ｄから受取った音声データが表す他のユーザの発言内容を聞くことができる。端末１０Ｃおよび１０Ｄについても端末１０Ｂと同様である。 Then, for example, when the terminal 10B generates voice data representing the content of the user's speech, and outputs it to the network 30 via the network I / O unit 102, the content of the speech of the users of the terminals 10A, 10C, and 10D Is received from the terminal 10A. As a result, the user of the terminal 10B can hear the content of another user's speech represented by the voice data received from the terminals 10A, 10C, and 10D. The terminals 10C and 10D are the same as the terminal 10B.

（Ｂ−３；通信セッションの再構築）
次に、通信セッションが一旦確立し遠隔会議が開始された後に、会議に参加している端末１０のいずれかが会議から抜ける場合に行われる処理について説明する。図１１は、端末１０のいずれかが多地点会議システム１から離脱したことを検知した場合に会議サーバ２０が行う割り込み処理の流れを示すフローチャートである。 (B-3; Reconfiguration of communication session)
Next, processing that is performed when any of the terminals 10 participating in the conference leaves the conference after the communication session is once established and the remote conference is started will be described. FIG. 11 is a flowchart showing the flow of interruption processing performed by the conference server 20 when it is detected that any of the terminals 10 has left the multipoint conference system 1.

遠隔制御部２０１は、端末１０の離脱（通信セッションの切断）があったことを検知すると、離脱した端末１０のＩＰアドレスを検知し、会議情報記憶部２０４に書き込まれた予約情報を参照して該端末１０が本会議の管理者端末であるか否かを判定する（ステップＳＢ１００）。ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合、ステップＳＢ１７０が行われる。 When the remote control unit 201 detects that the terminal 10 has been disconnected (communication session disconnection), the remote control unit 201 detects the IP address of the disconnected terminal 10 and refers to the reservation information written in the conference information storage unit 204. It is determined whether or not the terminal 10 is a manager terminal of the main conference (step SB100). If the determination result in step SB100 is “Yes”, step SB170 is performed.

ステップＳＢ１７０において、遠隔制御部２０１は、遠隔会議を終了する処理を行う。具体的には、切断指令メッセージを各端末１０に送信し、端末１０が確立した通信セッションを遠隔操作で切断する。 In step SB170, the remote control unit 201 performs a process of ending the remote conference. Specifically, a disconnection command message is transmitted to each terminal 10, and the communication session established by the terminal 10 is disconnected by remote control.

ステップＳＢ１００の判定結果が“Ｎｏ”であった場合、ステップＳＢ１１０が行われる。ステップＳＢ１１０において、遠隔制御部２０１は、全ての端末１０に対して切断指示を送信する。その結果、確立した通信セッションは一旦全て切断される。 If the determination result in step SB100 is “No”, step SB110 is performed. In step SB110, the remote control unit 201 transmits a disconnection instruction to all the terminals 10. As a result, all established communication sessions are temporarily disconnected.

続くステップＳＢ１２０において、遠隔制御部２０１は、会議情報記憶部２０４を参照して離脱した端末１０を除く全ての会議参加端末の端末属性情報を読み出す。ステップＳＢ１３０においては、各端末１０に関する情報を通信セッションの確立形態に関するアルゴリズムと照らし合わせることで、残りの端末１０のみで再び会議システムを構築できるか否かを判定する。 In subsequent step SB120, the remote control unit 201 refers to the conference information storage unit 204 and reads the terminal attribute information of all conference participation terminals except the terminal 10 that has left. In step SB130, it is determined whether or not the conference system can be constructed again with only the remaining terminals 10 by comparing the information regarding each terminal 10 with the algorithm regarding the communication session establishment mode.

ステップＳＢ１３０の判定結果が“Ｎｏ”である場合には、ステップＳＢ１５０において、各端末１０に対してアラートが送信される。アラートを受取った端末１０は、その表示部１０５に会議が終了される旨を表示する。続くステップＳＢ１６０で、ステップＳＢ１７０と同様の処理が実行され遠隔会議は終了する。 If the determination result in step SB130 is “No”, an alert is transmitted to each terminal 10 in step SB150. The terminal 10 that has received the alert displays on the display unit 105 that the conference is ended. In subsequent step SB160, processing similar to that in step SB170 is executed, and the remote conference ends.

ステップＳＢ１３０の判定結果が“Ｙｅｓ”である場合には、ステップＳＢ１４０が行われる。ステップＳＢ１４０とは、会議システムの再構築に係る処理であり、図７におけるステップＳＡ１３０およびステップＳＡ１４０の処理と同じである。該処理においては、ステップＳＢ１２０において取得された端末属性情報が用いられる。なお、ステップＳＢ１１０からステップＳＢ１４０の処理の完了までに要する時間を非常に短くすれば、参加者は通信セッションの再構築を意識することなく会議を継続することができる。 If the determination result in step SB130 is “Yes”, step SB140 is performed. Step SB140 is processing related to the reconfiguration of the conference system, and is the same as the processing of step SA130 and step SA140 in FIG. In this process, the terminal attribute information acquired in step SB120 is used. In addition, if the time required from the completion of the processing of step SB110 to step SB140 is made very short, the participant can continue the conference without being aware of the reconstruction of the communication session.

以上に説明したように、端末１０のいずれかが遠隔会議開催中に多地点会議システム１から離脱すると、上記の処理が割り込みで行われることにより、可能であれば再び新たな通信セッションが確立され会議が継続される。このときも、会議システムを新たに構築する際と同様に、各端末１０のユーザは、再構築の際に自端末が通信セッションを確立すべき端末がどのように変更されるのかを知る必要は無く、実際の通信セッション確立操作を行う必要も無い。 As described above, if any of the terminals 10 leaves the multipoint conference system 1 during a remote conference, the above processing is performed by interruption, so that a new communication session is established again if possible. The meeting continues. At this time, as in the case of newly constructing the conference system, the user of each terminal 10 needs to know how the terminal to which the terminal should establish a communication session is changed at the time of reconstruction. There is no need to perform an actual communication session establishment operation.

（Ｃ：変形例）
以上、本発明の実施形態について説明したが、本発明は以下のように種々の態様で実施することができる。 (C: Modification)
As mentioned above, although embodiment of this invention was described, this invention can be implemented with a various aspect as follows.

（１）上記実施形態においては、各端末１０に固定のＩＰアドレスが割り当てられている場合について説明したが、非固定のＩＰアドレスでも良い。その場合は、端末属性情報によりＩＰアドレスを会議サーバ２０に登録し、会議情報記憶部２０４の予約情報に書き込まれたＩＰアドレスを該非固定ＩＰアドレスに対応させておけば良い。また、上記実施形態においては、ネットワーク３０において端末１０の各々を一意に識別する端末識別子としてＩＰアドレスを用いたが、ドメイン名でもよい。要は、各端末が一意に識別されれば良い。 (1) In the above embodiment, the case where a fixed IP address is assigned to each terminal 10 has been described, but a non-fixed IP address may be used. In that case, an IP address may be registered in the conference server 20 based on the terminal attribute information, and an IP address written in the reservation information in the conference information storage unit 204 may be associated with the non-fixed IP address. In the above embodiment, an IP address is used as a terminal identifier for uniquely identifying each terminal 10 in the network 30, but a domain name may be used. In short, each terminal may be uniquely identified.

（２）上記実施形態においては、端末１０および会議サーバ２０は、有線でネットワーク３０に接続されている場合について説明したが、無線により接続されていても良い。 (2) In the above embodiment, the terminal 10 and the conference server 20 have been described as being connected to the network 30 by wire, but may be connected wirelessly.

（３）上記実施形態においては、トランスポート層の通信プロトコルとしてＵＤＰを用いる場合について説明したが、ＴＣＰ（Transmission Control Protocol）を用いても良い。また、アプリケーション層の通信プロトコルとしては、音声データ通信、遠隔操作、通信セッションの確立処理にそれぞれＲＴＰ、ＳＳＨ、ＳＩＰを用いる場合について説明したが、他の通信プロトコルを用いても良い。
例えば、上記実施形態においては、端末１０を遠隔操作するための通信プロトコルとしてＳＳＨを用いたが、ＴＥＬＮＥＴなど他の遠隔操作の通信プロトコルを用いても良い。また、必ずしも遠隔操作により端末１０に通信セッションの確立処理を行わせなくても良い。例えば、発信指令に代えて確立要求メッセージの発信を指令する旨のメッセージと発信先を記したメッセージを端末１０に送信し、端末１０はその表示部１０５にそのメッセージ内容を表示し、ユーザに通信セッションの確立処理を行わせるようにしても良い。 (3) In the above embodiment, the case where UDP is used as the communication protocol of the transport layer has been described, but TCP (Transmission Control Protocol) may be used. In addition, as the communication protocol of the application layer, the case where RTP, SSH, and SIP are used for voice data communication, remote operation, and communication session establishment processing has been described, but other communication protocols may be used.
For example, in the above embodiment, SSH is used as a communication protocol for remotely operating the terminal 10, but other remote operation communication protocols such as TELNET may be used. Further, it is not always necessary to cause the terminal 10 to perform communication session establishment processing by remote control. For example, instead of the transmission command, a message indicating that the establishment request message should be transmitted and a message describing the transmission destination are transmitted to the terminal 10, and the terminal 10 displays the message content on the display unit 105 and communicates to the user. Session establishment processing may be performed.

（４）上述した実施形態では、会議中に端末同士の情報のやりとりを音声により行う場合について説明した。そのため端末１０には、音声入力手段としてマイクロホンが、音声出力手段としてスピーカが設けられていた。しかし、本発明の適用範囲は、音声による通信に限るものではなく、映像や文字データなど他の方法による通信を行うことも勿論可能である。要は、通信を行う通信装置同士で通信セッションを確立する場合に本発明を適用すれば良い。 (4) In the above-described embodiment, a case has been described in which information is exchanged between terminals during a conference. Therefore, the terminal 10 is provided with a microphone as an audio input unit and a speaker as an audio output unit. However, the application range of the present invention is not limited to voice communication, and it is of course possible to perform communication using other methods such as video and character data. In short, the present invention may be applied when a communication session is established between communication apparatuses that perform communication.

（５）上述した実施形態では、本発明に係る端末１０を用いて会議を行う場合について説明したが、端末１０の利用方法が、遠隔会議に限定されるものではない。要は、各端末間に通信セッションを確立してデータ通信を行う通信システムであれば、どのような通信システムに対しても、本発明に係る端末を適用することが可能である。 (5) In the above-described embodiment, the case where the conference is performed using the terminal 10 according to the present invention has been described. However, the usage method of the terminal 10 is not limited to the remote conference. In short, the terminal according to the present invention can be applied to any communication system as long as it establishes a communication session between terminals and performs data communication.

（６）上述した実施形態では、端末１０は音声データを受取った端末１０に出力する音声データに該音声データが含まれないようにミキシングする場合について説明したが、含まれるようにミキシングをしても良い。 (6) In the above-described embodiment, the case has been described where the terminal 10 performs mixing so that the audio data is not included in the audio data output to the terminal 10 that has received the audio data. Also good.

（７）上述した実施形態では、会議サーバ２０は自動で遠隔操作を行う場合について説明した。しかし、会議サーバ２０のユーザ（会議の管理者）がＧＵＩ部２０５を介して端末１０の遠隔操作を行っても良い。なお、該遠隔操作はＧＵＩに限るものではなく、コマンドを打ち込んだり、所定のファイルの書き変えることで行ったりしても良い。 (7) In the above-described embodiment, the case where the conference server 20 performs remote operation automatically has been described. However, the user (conference manager) of the conference server 20 may perform remote operation of the terminal 10 via the GUI unit 205. The remote operation is not limited to the GUI, and may be performed by inputting a command or rewriting a predetermined file.

（８）上述した実施形態では、端末１０が行う音声データのミキシング処理をソフトウェア構成で行う場合について説明したが、ハードウェア構成で行うようにしても良い。 (8) In the above-described embodiment, the case has been described in which the audio data mixing processing performed by the terminal 10 is performed by a software configuration, but may be performed by a hardware configuration.

（９）上述した実施形態では、端末１０において、「扱うことの出来る音声データの数から１を減算した値」を、「通信セッションを同時に確立できる端末１０の数」とする場合について説明したが、後者は前者の値以下であるように設定されていれば良い。 (9) In the above-described embodiment, the case has been described in which the “value obtained by subtracting 1 from the number of audio data that can be handled” is set to “the number of terminals 10 that can simultaneously establish a communication session” in the terminal 10. The latter may be set to be equal to or less than the former value.

（１０）上述した実施形態では、端末属性情報は会議の主催者が会議サーバ２０のＧＵＩを用いて会議サーバ２０に設定する場合について説明したが、会議の主催者が端末１０の操作部を用いて該情報を入力し、端末１０から会議サーバ２０へ端末属性情報を報知するようにしてもよい。また、会議の主催者が一括して設定するのではなく、各端末１０のユーザが各自、自端末１０の属性情報を自端末１０から会議サーバ２０に報知させるようにしてもよい。 (10) In the above-described embodiment, the terminal attribute information has been described as being set in the conference server 20 by the conference organizer using the GUI of the conference server 20. However, the conference organizer uses the operation unit of the terminal 10. The terminal attribute information may be notified from the terminal 10 to the conference server 20 by inputting the information. In addition, the conference organizer may not set all of them, but the user of each terminal 10 may notify the conference server 20 of the attribute information of the terminal 10 itself from the terminal 10 itself.

多地点会議システム１の構成を示すブロック図である。1 is a block diagram showing a configuration of a multipoint conference system 1. FIG. 端末１０のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of a terminal 10. FIG. 端末１０のミキシング処理に係る構成の一例を示す図である。3 is a diagram illustrating an example of a configuration related to mixing processing of a terminal 10. FIG. 端末１０のミキシング処理に係る構成の一例を示す図である。3 is a diagram illustrating an example of a configuration related to mixing processing of a terminal 10. FIG. 会議サーバ２０のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of a conference server 20. FIG. 予約情報の一例を示す図である。It is a figure which shows an example of reservation information. 会議サーバ２０が行う通信セッション確立処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the communication session establishment process which the conference server 20 performs. 確立されたカスケード形態の通信セッションを示す図である。It is a figure which shows the communication session of the established cascade form. 通信セッションの確立形態の決定方法を説明するための図である。It is a figure for demonstrating the determination method of the establishment form of a communication session. 確立されたメッシュ形態の通信セッションを示す図である。It is a figure which shows the communication session of the established mesh form. 端末１０が多地点会議システム１から離脱した場合に会議サーバ２０が行う処理の流れを示すフローチャートである。7 is a flowchart showing a flow of processing performed by the conference server 20 when the terminal 10 leaves the multipoint conference system 1.

Explanation of symbols

１…多地点会議システム、１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ…端末、２０…会議サーバ、３０…ネットワーク、１０１…制御部、１０２…ネットワークＩ／Ｏ部、１０３…ＲＯＭ、１０４…ＲＡＭ、１０５…表示部、１０６…操作部、１０７…音声データ生成部、１０８…音声データ再生部、１０９…バス、１２０…ミキサ部、１２０−１、１２０−２、１２０−３、１２０−４…ミキサ、１２１…割り当て部、２０１…遠隔制御部、２０２…記憶部、２０３…ネットワークＩ／Ｏ部、２０４…会議情報記憶部、２０５…ＧＵＩ部、２０６…バス DESCRIPTION OF SYMBOLS 1 ... Multipoint conference system 10, 10A, 10B, 10C, 10D ... Terminal, 20 ... Conference server, 30 ... Network, 101 ... Control part, 102 ... Network I / O part, 103 ... ROM, 104 ... RAM, 105 Display unit 106 Operation unit 107 Sound data generation unit 108 Audio data reproduction unit 109 Bus 120 Mixer unit 120-1, 120-2, 120-3, 120-4 Mixer 121 ... Allocation unit, 201 ... Remote control unit, 202 ... Storage unit, 203 ... Network I / O unit, 204 ... Conference information storage unit, 205 ... GUI unit, 206 ... Bus

Claims

A communication system having a plurality of terminals and a server,
Each of the plurality of terminals is
Receiving means for receiving a communication message from the server;
Communication that performs processing for establishing a communication session with the other terminal when the communication message received by the receiving means indicates that a communication session should be established with the other terminal Session establishment means, and
The server
For each of the plurality of terminals, storage means for storing terminal information including the number of communicable terminals that is the number of communication sessions that the terminal can establish;
Determining means for determining a communication session to be established between the plurality of terminals based on a preset algorithm using the terminal information stored in the storage means;
A communication system comprising: a transmission unit that transmits a communication message indicating that a communication session should be established to both terminals that should establish a communication session determined by the determination unit.

The determining means determines a communication session to be established between the plurality of terminals so that the number of communication sessions through which data transmitted / received between the plurality of terminals passes is minimized. The communication system according to claim 1.

The determining means determines a communication session established between the plurality of terminals such that a communication session established by each of the plurality of terminals falls within the range of the number of communicable terminals, When a communication session established between the plurality of terminals cannot be determined so that a communication session established by each terminal falls within the range of the number of communicable terminals, a signal indicating that is output. Item 12. The communication system according to Item 1.

The communication system according to claim 1, wherein the communication message is a communication message for remotely operating the plurality of terminals, and a command for the remote operation is written.

When the plurality of terminals include a terminal that cannot be remotely operated by the server, the determining means can establish a communication session with the plurality of terminals and can be remotely operated by the server; The communication system according to claim 4, wherein a communication session to be established between the plurality of terminals is determined so as to establish a communication session between the plurality of terminals.

The plurality of terminals further include voice data receiving means for receiving voice data from other terminals,
Mixing means for mixing the voice data received by the voice data receiving means and the voice data generated by the terminal;
The communication system according to claim 1, further comprising: an output unit that outputs audio data mixed by the mixing unit.

7. The terminal according to claim 6, wherein the number of communication sessions that can be established by the terminal included in the terminal information is the number of voice data that the voice data receiving unit can receive at one time. Communication system.

The terminal further includes notification means for notifying the server of the terminal information,
The server further includes receiving means for receiving the terminal information from the terminal, and the determining means, when the receiving means receives the terminal information from the terminal, based on the terminal information, The communication system according to claim 1, wherein a communication session to be established is determined.

A server that communicates with a plurality of terminals,
For each of the plurality of terminals, storage means for storing terminal information including the number of communicable terminals that is the number of communication sessions that the terminal can establish;
Determining means for determining a communication session to be established between the plurality of terminals based on a preset algorithm using the terminal information stored in the storage means;
A transmission unit that transmits a communication message indicating that the communication session should be established to both terminals that should establish the communication session determined by the determination unit.