JP5579660B2 - Multipoint video conferencing equipment - Google Patents

Multipoint video conferencing equipment Download PDF

Info

Publication number
JP5579660B2
JP5579660B2 JP2011131280A JP2011131280A JP5579660B2 JP 5579660 B2 JP5579660 B2 JP 5579660B2 JP 2011131280 A JP2011131280 A JP 2011131280A JP 2011131280 A JP2011131280 A JP 2011131280A JP 5579660 B2 JP5579660 B2 JP 5579660B2
Authority
JP
Japan
Prior art keywords
video
unit
state
data
parent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011131280A
Other languages
Japanese (ja)
Other versions
JP2013005031A (en
Inventor
充 渡邉
昇 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2011131280A priority Critical patent/JP5579660B2/en
Publication of JP2013005031A publication Critical patent/JP2013005031A/en
Application granted granted Critical
Publication of JP5579660B2 publication Critical patent/JP5579660B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、テレビ会議装置に係り、特に親機を自律的に決定する多地点接続テレビ会議装置に関する。   The present invention relates to a video conference apparatus, and more particularly to a multipoint connection video conference apparatus that autonomously determines a parent device.

現在、DSL、光ファイバ等を利用したIP(Internet Protocol)網の普及を背景として、このIP網を利用して多地点接続テレビ会議を行なう技術が知られている。   Currently, with the spread of the IP (Internet Protocol) network using DSL, optical fiber, etc., a technique for conducting a multipoint video conference using the IP network is known.

多地点接続テレビ会議の実現方法として、各装置から送信される音声データ、映像データを受信し、音声データについてはミキシング処理を実施し、映像データについては画面合成等の映像編集処理を実施し、処理を実施した音声データおよび映像データを各装置に配信するMCU(Multi point Control Unit)と呼ばれる専用装置を用いる手法が、特許文献1に記載されている。   As a method of realizing a multipoint connection video conference, audio data and video data transmitted from each device are received, mixing processing is performed on the audio data, video editing processing such as screen composition is performed on the video data, Patent Document 1 describes a technique using a dedicated device called MCU (Multi point Control Unit) that distributes processed audio data and video data to each device.

一方、近年の汎用プロセッサの処理能力向上により、単一の汎用プロセッサによりMCU機能とテレビ会議装置機能とを実現できるようになってきた。このようなテレビ会議装置は、特許文献2に記載されるものが知られている。   On the other hand, with the recent improvement in processing capability of general-purpose processors, it has become possible to realize MCU functions and video conference device functions with a single general-purpose processor. As such a video conference apparatus, one described in Patent Document 2 is known.

特開平07−066876号公報Japanese Patent Application Laid-Open No. 07-066876 特開2008−288974号公報JP 2008-288974 A

特許文献2に開示された技術では、あらかじめ親機となる端末を決め、子機は親機に向けて発信しなければならず、予め親機の情報を与えられていない子機は会議に参加することができない。   In the technique disclosed in Patent Document 2, a terminal serving as a parent device is determined in advance, and the child device must send a call to the parent device, and the child device not previously given the parent device information participates in the conference Can not do it.

本発明は、以上のような課題を解決するもので、その目的は多地点接続テレビ会議をフレキシブルに実施することを可能とすることにある。   The present invention solves the above-described problems, and an object thereof is to make it possible to flexibly implement a multipoint connection video conference.

上述した課題を解決するため、多地点接続テレビ会議装置は、SDP(Session Description Protocol)、RTP(Real Time Protocol)を用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報が予め与えられていなくともフレキシブルに多地点接続テレビ会議を実施することができる。   In order to solve the above-described problem, the multipoint connection video conference apparatus uses SDP (Session Description Protocol) and RTP (Real Time Protocol) so that each apparatus notifies the connection destination apparatus of its own connection state. Determine the parent machine. ADVANTAGE OF THE INVENTION According to this invention, even if the information of a main | base station and a subunit | mobile_unit is not given previously, a multipoint connection video conference can be implemented flexibly.

多地点接続テレビ会議装置は、多地点接続テレビ会議に新たに接続される子機が、既に子機として動作している装置に対して接続し、多地点接続テレビ会議システム内に親機が競合してしまう誤った接続をした場合、SIPメッセージ内に含まれるSIP−URI(Session Initiation Protocol-Uniform Resources Identifiers)を元に着信を受けた子機が、発信した子機に対して親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。   A multipoint videoconferencing device has a slave unit that is newly connected to a multipoint videoconferencing device connected to a device that is already operating as a slave unit, and the master unit competes in the multipoint videoconferencing system. If a wrong connection is made, the handset that received the call based on the SIP-URI (Session Initiation Protocol-Uniform Resources Identifiers) included in the SIP message forwards the call to the base unit. By instructing, a multipoint connection video conference can be performed with a large number of devices without the user being aware of the master unit and the slave unit.

上述した課題は、IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMからなる多地点接続テレビ会議装置において、1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有する多地点接続テレビ会議装置により、達成できる。   The above-described problems are a line IF that realizes input / output of data from the IP network, an audio input IF for capturing audio data from a microphone, an audio compression unit for compressing data from the audio input IF, An audio decompression unit for decompressing compressed audio data, an audio synthesis unit for synthesizing audio transmitted from multiple points, an audio output IF unit for outputting audio data to a speaker, and a camera A video input IF for capturing video data, a video decoding unit for decoding data from the video input IF, a video scaling unit for scaling the decoded video data to a predetermined size, and for compressing the video data Video compression unit, a video expansion unit for expanding compressed video data, and a video unit for combining video data transmitted from multiple points. Compositing unit, video scaling unit for scaling the synthesized video to a fixed size, video encoding unit for encoding the scaled video, and video output for outputting the encoded video data to the TV In a multipoint videoconferencing device comprising a RAM that stores IF and SDP, RTP, and SIP information, other multipoint videoconferencing devices participate in the videoconference during a one-on-one videoconference. This can be achieved by a multipoint connection video conference apparatus having a communication control unit that dynamically determines the master unit in the multipoint connection videoconference system using the SDP and RTP received by the line IF.

また、参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき応答メッセージに親状態であることを記述して返信する多地点接続テレビ会議装置により、達成できる。   Also, when a join message is received, when the status is not connected, a response message is written indicating that the status is undetermined, and when the status is undetermined or parent status, the response message is described as being the parent status. This can be achieved with a multipoint videoconferencing device that responds with

さらに、送信元の状態が未定状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して送信元へ返信し、状態を未定状態へ遷移し、状態が未定状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態を親状態へ遷移し、状態が親状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態が子状態のときリダイレクトメッセージを送信元へ返信し、送信元の状態が親状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに子状態であることを記述して送信元へ返信し、状態を子状態へ遷移し、状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを送信元へ返信する多地点接続テレビ会議装置により、達成できる。   In addition, when a join message is received with the sender status being undetermined, when the status is not connected, the response message describes that the status is undetermined and returns to the sender, and the status transitions to the undetermined status. When the status is undetermined, the response message describes the parent status and returns to the sender. When the status is the parent status, the response message indicates that the status is the parent status. When the status is in the child state, the redirect message is sent back to the sender, and when the join status message is received in the parent status, the response message is in the child status when the status is not connected. Achieved by multipoint video conferencing equipment that writes and returns to the sender, transitions to the child state, and returns a busy message to the sender when the state is undecided, parent, or child Can .

多地点接続テレビ会議装置は、SDP、RTP、SIPの各プロトコルを用いて動的にシステム内の親機を決定することができる。また、装置がシステム内に親機が競合してしまうような接続を行なってしまっても、新たに接続してきた子機は親機へ転送され、多地点接続テレビ会議をフレキシブル且つ確実に実施する。   The multipoint connection video conference apparatus can dynamically determine the parent device in the system using each protocol of SDP, RTP, and SIP. In addition, even if the device makes a connection in which the parent device competes in the system, the newly connected child device is transferred to the parent device, and the multipoint connection video conference is performed flexibly and reliably. .

多地点接続テレビ会議システムの構成を説明するブロック図である。It is a block diagram explaining the structure of a multipoint connection video conference system. 多地点接続テレビ会議装置の構成を説明するブロック図である。It is a block diagram explaining the structure of a multipoint connection video conference apparatus. INVITEメッセージボディのSDPの記述である。This is an SDP description of the INVITE message body. 制御コード識別子と通知情報を説明する図である。It is a figure explaining a control code identifier and notification information. 2台の多地点接続テレビ会議装置間のシーケンス図である。It is a sequence diagram between two multipoint connection video conference apparatuses. 制御用RTPを説明する図である。It is a figure explaining RTP for control. 定義した設定内容を説明する図である。It is a figure explaining the defined setting content. 3台の多地点接続テレビ会議装置間のシーケンス図である。It is a sequence diagram between three multipoint connection video conference apparatuses. 多地点接続テレビ会議装置の着信動作のフローチャートである(その1)。It is a flowchart of the incoming operation | movement of a multipoint connection video conference apparatus (the 1). 多地点接続テレビ会議装置の着信動作のフローチャートである(その2)。It is a flowchart of the incoming operation | movement of a multipoint connection video conference apparatus (the 2). 多地点接続テレビ会議装置の着信動作のフローチャートである(その3)。It is a flowchart of the incoming operation | movement of a multipoint connection video conference apparatus (the 3). 多地点接続テレビ会議装置の発信動作のフローチャートである。It is a flowchart of the transmission operation | movement of a multipoint connection video conference apparatus. 発信時自装置接続状態による送出SDP情報条件テーブルである。It is a transmission SDP information condition table by the own apparatus connection state at the time of transmission. 4台の多地点接続テレビ会議装置間のシーケンス図である(その1)。It is a sequence diagram between four multipoint connection video conference apparatuses (the 1). 多地点接続テレビ会議装置が管理する装置情報を説明する図である。It is a figure explaining the apparatus information which a multipoint connection video conference apparatus manages. 4台の多地点接続テレビ会議装置間のシーケンス図である(その2)。It is a sequence diagram between four multipoint connection video conference apparatuses (the 2). 多地点接続テレビ会議実施中に、他の多地点接続テレビ会議から接続があったケースを説明する図である。It is a figure explaining the case where there was a connection from another multipoint connection video conference during implementation of a multipoint connection video conference. 装置の状態と、受信したSDP情報による動作条件テーブルである。It is the operation condition table by the state of an apparatus and the received SDP information. 親状態にある2台の多地点接続テレビ会議装置間のシーケンス図である。It is a sequence diagram between two multipoint connection video conference apparatuses in a parent state. 多地点接続テレビ会議実施中に親機が退席するケースを説明する図である。It is a figure explaining the case where a main machine leaves a seat during multipoint connection video conference execution. 4台の多地点接続テレビ会議装置間のシーケンス図である(その3)。It is a sequence diagram between four multipoint connection video conference apparatuses (the 3). 親状態にある多地点接続テレビ会議装置が退席する際の動作フローチャートである。It is an operation | movement flowchart when the multipoint connection video conference apparatus in a parent state leaves.

以下、本発明の実施の形態について、実施例を用い図面を参照しながら詳細に説明する。なお、実質同一部位には、同じ参照番号を振り、説明は繰り返さない。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings using examples. Note that the same reference numerals are assigned to substantially the same parts, and description thereof will not be repeated.

本実施例の多地点接続テレビ会議装置は、多地点接続テレビ会議を実施する際にMCU機能(親機)とテレビ会議装置機能(子機)の両機能を有する。しかし、多地点接続テレビ会議装置は、親機、子機を意識することなく多数の装置と多地点接続テレビ会議を実施する。なお、本明細書または図面において、多地点接続テレビ会議装置を単に装置または多地点テレビ会議装置と記載することがある。   The multipoint connection video conference apparatus according to the present embodiment has both an MCU function (master unit) and a video conference apparatus function (slave unit) when a multipoint connection video conference is performed. However, the multipoint connection video conference apparatus performs the multipoint connection video conference with a large number of apparatuses without being aware of the master unit and the slave unit. Note that in this specification or the drawings, a multipoint video conference device may be simply referred to as a device or a multipoint video conference device.

多地点接続テレビ会議装置が親機として動作する場合には、自装置に接続したカメラからの入力映像データと他装置から受信する映像データの合成、スケーリングを実施し、その映像データを子機へ配信し、自装置に接続しているモニタへ出力する。また、音声も同様に自装置に接続したマイクからの音声データと他装置から受信した音声データをミキシングし、その音声データを子機へ配信し、自装置に接続しているスピーカへ出力する。   When a multipoint videoconferencing device operates as a parent device, the input video data from the camera connected to the device and the video data received from another device are combined and scaled, and the video data is sent to the child device. Distribute and output to monitor connected to own device. Similarly, the voice data from the microphone connected to the own apparatus and the voice data received from the other apparatus are mixed, the voice data is distributed to the slave unit, and output to the speaker connected to the own apparatus.

多地点接続テレビ会議装置が子機として動作する場合には、自装置に接続したカメラからの入力映像データを親機へ送信し、親機から配信された合成映像データを自装置に接続しているモニタへ出力する。また、自装置に接続したマイクからの入力音声データを親機へ送信し、親機から配信された音声データを自装置に接続しているスピーカへ出力する。   When a multipoint videoconferencing device operates as a slave unit, input video data from the camera connected to the host device is transmitted to the master unit, and the composite video data distributed from the master unit is connected to the host device. Output to the monitor. Also, the input voice data from the microphone connected to the own device is transmitted to the parent device, and the voice data distributed from the parent device is output to the speaker connected to the own device.

また、多地点接続テレビ会議装置は、IETF(The Internet Engineering Task Force)で標準化されたSIPを用いてIP網でつながれた装置間で呼制御を実施し、多地点接続テレビ会議を実現する。   The multipoint connection video conference apparatus performs call control between apparatuses connected by an IP network using SIP standardized by IETF (The Internet Engineering Task Force), thereby realizing a multipoint connection video conference.

図1を参照して、多地点接続テレビ会議装置システムのネットワーク構成を説明する。図1において、多地点接続テレビ会議装置システム100は、多地点接続テレビ会議装置10と、IP網20とから構成されている。多地点接続テレビ会議装置10は、映像データ、音声データ等のパケットを伝送するIP網20に接続されている。また、多地点接続テレビ会議装置10は、カメラ11と、モニタ12と、マイク13と、スピーカ14とが接続されている。カメラ11は、自拠点の映像を配信する。モニタ12は、多地点からの映像を映し出す。マイク13は、自拠点の音声を配信する。スピーカ14は、多地点の音声を出力する。   With reference to FIG. 1, a network configuration of a multipoint connection video conference apparatus system will be described. In FIG. 1, a multipoint connection video conference apparatus system 100 includes a multipoint connection video conference apparatus 10 and an IP network 20. The multipoint connection video conference apparatus 10 is connected to an IP network 20 that transmits packets of video data, audio data, and the like. The multipoint connection video conference apparatus 10 is connected to a camera 11, a monitor 12, a microphone 13, and a speaker 14. The camera 11 distributes the video of its own site. The monitor 12 displays images from multiple points. The microphone 13 distributes the voice of the local site. The speaker 14 outputs multipoint sound.

図2を参照して、多地点接続テレビ会議装置の内部構成を説明する。図2において、多地点接続テレビ会議装置10は、回線IF101と、通信制御部102と、RAM103と、音声入力IF104と、音声圧縮部105と、音声伸張部106と、音声合成部107と、音声出力IF108と、映像入力IF109と、映像デコード部110と、映像スケーリング部111と、映像圧縮部112と、映像伸張部113と、映像合成部114と、映像スケーリング部115と、映像エンコード部116と、映像出力IF117とから構成される。   With reference to FIG. 2, an internal configuration of the multipoint connection video conference apparatus will be described. In FIG. 2, the multipoint connection video conference apparatus 10 includes a line IF 101, a communication control unit 102, a RAM 103, a voice input IF 104, a voice compression unit 105, a voice expansion unit 106, a voice synthesis unit 107, and a voice. The output IF 108, the video input IF 109, the video decoding unit 110, the video scaling unit 111, the video compression unit 112, the video expansion unit 113, the video synthesis unit 114, the video scaling unit 115, and the video encoding unit 116 , And a video output IF 117.

回線IF101は、当該多地点接続テレビ会議装置と他の多地点接続テレビ会議装置との間でIP網20を利用してデータ通信を行なうインタフェースである。回線IF101は、IP網20から受信したデータを通信制御部102へ出力する。また、回線IF101は、通信制御部102から受信したデータをIP網20へ出力する。   The line IF 101 is an interface that performs data communication using the IP network 20 between the multipoint connection video conference apparatus and another multipoint connection video conference apparatus. The line IF 101 outputs the data received from the IP network 20 to the communication control unit 102. Further, the line IF 101 outputs the data received from the communication control unit 102 to the IP network 20.

通信制御部102は、プロセッサ等で構成される。通信制御部102は、多地点接続テレビ装置間の通信に使用するSIP制御、装置の状態を通知するSDP制御、映像および音声データ、制御データを含んだRTP制御を行なう。通信制御部102は、それらデータをRAM103に入出力する。また、通信制御部102は、圧縮された音声データを音声伸張部106へ出力し、圧縮された映像データを映像伸張部113へ出力する。   The communication control unit 102 includes a processor and the like. The communication control unit 102 performs SIP control used for communication between multipoint connection television apparatuses, SDP control for notifying the state of the apparatus, and RTP control including video and audio data and control data. The communication control unit 102 inputs and outputs these data to the RAM 103. In addition, the communication control unit 102 outputs the compressed audio data to the audio expansion unit 106 and outputs the compressed video data to the video expansion unit 113.

RAM103は、IP網20経由で接続先多地点接続テレビ会議装置から送信されたSDP、RTP、SIPメッセージ内に含まれるSIP−URIの情報を格納するメモリである。RAM103に格納されたSDP、RTP、SIP−URIのデータを元に、多地点接続テレビ会議装置10は、多地点接続テレビ会議装置間の親子関係を決定する。   The RAM 103 is a memory for storing SIP-URI information included in SDP, RTP, and SIP messages transmitted from the connection destination multipoint connection video conference apparatus via the IP network 20. Based on the SDP, RTP, and SIP-URI data stored in the RAM 103, the multipoint connection video conference apparatus 10 determines a parent-child relationship between the multipoint connection video conference apparatuses.

音声入力IF104は、当該装置に接続されるマイク13から入力される音声データを取り込むインタフェースである。音声圧縮部105は、音声入力IF104から入力された音声データをIP網20へ負荷のかからないように圧縮を行ない通信制御部102へ出力する。音声伸張部106は、音声圧縮部105にて圧縮された音声データを伸張する。当該装置が親機として機能する際に、音声伸張部106は、伸張した音声データを音声合成部107へ出力する。一方、子機として機能する場合、音声伸張部106は、伸張した音声データを音声出力IF108へ出力する。   The audio input IF 104 is an interface for capturing audio data input from the microphone 13 connected to the apparatus. The voice compression unit 105 compresses the voice data input from the voice input IF 104 so as not to place a load on the IP network 20 and outputs the compressed data to the communication control unit 102. The audio expansion unit 106 expands the audio data compressed by the audio compression unit 105. When the device functions as a parent device, the voice decompression unit 106 outputs the decompressed voice data to the voice synthesis unit 107. On the other hand, when functioning as a slave unit, the audio decompression unit 106 outputs the decompressed audio data to the audio output IF 108.

音声合成部107は、当該装置が親機となる場合のみ機能する。音声合成部107は、各子機からと自装置のマイク13からの音声データを合成し、音声出力IF108と通信制御部102へ出力する。音声出力IF108は、装置内で処理された音声データを当該装置に接続されたスピーカ14に出力する。   The speech synthesizer 107 functions only when the device is a parent device. The voice synthesizer 107 synthesizes voice data from each slave unit and from the microphone 13 of the own apparatus, and outputs the synthesized voice data to the voice output IF 108 and the communication controller 102. The audio output IF 108 outputs the audio data processed in the apparatus to the speaker 14 connected to the apparatus.

映像入力IF109は、当該装置に接続されるカメラから入力される映像データを取り込むインタフェースである。映像デコード部110は、映像入力IF109から入力された映像データをデコードし、映像スケーリング部111へ出力する。映像スケーリング部111は、映像デコード部110から出力された映像データを接続形態によりスケーリングし、映像圧縮部112へ出力する。   The video input IF 109 is an interface for capturing video data input from a camera connected to the apparatus. The video decoding unit 110 decodes the video data input from the video input IF 109 and outputs the decoded video data to the video scaling unit 111. The video scaling unit 111 scales the video data output from the video decoding unit 110 according to the connection form, and outputs it to the video compression unit 112.

映像圧縮部112は、映像スケーリング部111から出力されたデータをIP網20へ負荷のかからないように圧縮を行ない、通信制御部102へ出力する。映像伸張部113は、映像圧縮部112にて圧縮された映像データを伸張する。当該装置が親機として機能する際、映像伸張部113は、伸張した映像データを映像合成部114へ出力する。子機として機能する場合、映像伸張部113は、伸張した映像データを映像スケーリング部115へ出力する。   The video compression unit 112 compresses the data output from the video scaling unit 111 so as not to place a load on the IP network 20 and outputs the compressed data to the communication control unit 102. The video decompression unit 113 decompresses the video data compressed by the video compression unit 112. When the apparatus functions as a master unit, the video decompression unit 113 outputs the decompressed video data to the video composition unit 114. When functioning as a slave, the video decompression unit 113 outputs the decompressed video data to the video scaling unit 115.

映像合成部114は、当該装置が親機となる場合のみ機能する。映像合成部114は、各子機からと自装置のカメラ11からの映像データを合成し、映像スケーリング部115へ出力する。映像スケーリング部115は、映像合成部114から出力された映像データを接続形態によりスケーリングし、映像エンコード部116および通信制御部102へ出力する。なお、映像スケーリング部115が通信制御部102へも出力するのは、親機の場合である。 The video composition unit 114 functions only when the device serves as a parent device. The video synthesizing unit 114 synthesizes video data from each slave unit and the camera 11 of its own device and outputs the synthesized video data to the video scaling unit 115. The video scaling unit 115 scales the video data output from the video synthesis unit 114 according to the connection form, and outputs the scaled video data to the video encoding unit 116 and the communication control unit 102. Note that the video scaling unit 115 also outputs to the communication control unit 102 in the case of the parent device.

映像エンコード部116は、映像スケーリング部115からの映像データを映像出力IF117へ出力する。映像出力IF117は、装置内で処理された映像データを当該装置に接続されたモニタ12に出力する。   The video encoding unit 116 outputs the video data from the video scaling unit 115 to the video output IF 117. The video output IF 117 outputs video data processed in the apparatus to the monitor 12 connected to the apparatus.

多地点接続テレビ会議を実現するための、制御情報を含むSIP、SDP、RTPについて説明する。図3を参照して、多地点接続テレビ会議装置が送信するINVITEメッセージのボディに記載されたSDP記述を説明する。図3において、SDP記述のv行から、a=framerate:15までは、標準的な記述である。末尾のa=conference:serverが、本実施例で新たに定義された制御コードと通知情報である。具体的には、conferenceが制御コード識別子であり、serverが通知情報である。   SIP, SDP, and RTP including control information for realizing a multipoint connection video conference will be described. With reference to FIG. 3, the SDP description described in the body of the INVITE message transmitted by the multipoint connection video conference apparatus will be described. In FIG. 3, from the v line of the SDP description to a = framerate: 15 are standard descriptions. The suffix a = conference: server is the control code and notification information newly defined in this embodiment. Specifically, conference is a control code identifier, and server is notification information.

多地点接続テレビ会議装置10は、SDPによる通信のネゴシエーションを発着信と、応答のタイミングで実施する。通知する内容としてSDPのメディア記述へ自装置の状態を伝達する属性記述aを追加し、属性記述aに自装置の状態を設定し、接続先多地点接続テレビ会議装置10へ送信する。   The multipoint connection video conference apparatus 10 performs communication negotiation by SDP at the timing of outgoing / incoming and response. An attribute description a for transmitting the state of the own device is added to the SDP media description as the contents to be notified, the state of the own device is set in the attribute description a, and is transmitted to the connected multipoint connection video conference device 10.

図4を参照して、制御コード識別子と、通知情報とを記載した設定対応テーブル30を説明する。図4において、設定対応テーブル30は、制御コード識別子301のレコードと、通知情報302のレコードとを含む。設定対応テーブル30は、レコードに対応して、設定内容コラムと、意味コラムとを含む。制御コード識別子301の設定内容は、一つであり、conferenceのみである。conferenceは、ネゴシエーションデータであることを示す。一方、通知情報302の設定内容は、3種ある。それらは、undecidedと、serverと、clientとである。   With reference to FIG. 4, the setting correspondence table 30 in which the control code identifier and the notification information are described will be described. In FIG. 4, the setting correspondence table 30 includes a control code identifier 301 record and a notification information 302 record. The setting correspondence table 30 includes a setting content column and a meaning column corresponding to the record. The setting content of the control code identifier 301 is one and only the conference. The conference indicates negotiation data. On the other hand, there are three types of setting contents of the notification information 302. They are undecided, server, and client.

undecidedは、自装置の状態は「未定」であることを意味する。undecidedは、1対1接続を意味する。serverは、自装置の状態が1対複数接続の「親」であることを意味する。clientは、自装置の状態が1対複数接続の「子」であることを意味する。   Undecided means that the state of the device itself is “undecided”. Undecided means a one-to-one connection. “server” means that the state of the own device is “parent” of one-to-multiple connection. The client means that the state of the own device is a “child” of one-to-multiple connection.

なお、制御コード識別子301、通知情報302の設定値は、任意に決定することができる。設定値は、他の値を設定したとしてもよい。図4に示すように、制御コード識別子301としてconferenceという固定値を使用し、この制御コード識別子301を使用している装置とのみSDPでのネゴシエーションを図る。   Note that the setting values of the control code identifier 301 and the notification information 302 can be arbitrarily determined. Another value may be set as the set value. As shown in FIG. 4, a fixed value called “conference” is used as the control code identifier 301, and negotiation with the SDP is attempted only with the device using this control code identifier 301.

図5を参照して、2台の多地点接続テレビ会議装置間の接続処理を説明する。この接続処理は、SDPを利用した発着信シーケンスである。図5において、他の装置と未通信である装置10−Aは、同様に他の装置と未通信である装置10−B対して、呼接続要求を行なう。その時図4の設定対応テーブル30に従えば、装置10−Aと装置10−Bはお互い未通信からの接続となり1対1接続となるため、装置10−Aは、SDP内属性情報をundecidedとしたINVITEメッセージを装置10−Bへ送信する(S1)。装置10−Bもまた1対1接続となるため図4の設定対応テーブル30に従い、装置10−Bの通信制御部102はSDP内属性情報aをundecidedとした正常応答200 OKを装置10−Aに送信する(S2)。この時点では1対1通信であり、装置間に親子関係はない。   With reference to FIG. 5, a connection process between two multipoint connection video conference apparatuses will be described. This connection process is an outgoing / incoming sequence using SDP. In FIG. 5, the device 10-A not communicating with another device similarly makes a call connection request to the device 10-B not communicating with another device. At that time, according to the setting correspondence table 30 of FIG. 4, the device 10-A and the device 10-B are connected to each other from a non-communication and have a one-to-one connection. The transmitted INVITE message is transmitted to the apparatus 10-B (S1). Since the device 10-B also has a one-to-one connection, according to the setting correspondence table 30 in FIG. 4, the communication control unit 102 of the device 10-B sends a normal response 200 OK with the attribute information a in SDP undecided to the device 10-A. (S2). At this time, the communication is one-to-one, and there is no parent-child relationship between the devices.

図5で説明した通り、発信とその応答にはSDPを使用し装置の通信状態を通知し、通信のネゴシエーションを実施できる。しかし、通信中に装置の状態が変化した場合には相手側テレビ会議装置とのネゴシエーションにSDPを使用できない。これは、SDPを含むSIPメッセージは、セッションの開始時のINVITEメッセージ、200 OKメッセージのみの送信となるためである。そこで、音声RTPとは別に、装置の状態を通知するメッセージを図6に示す制御RTPとしてRTPに割り込ませる。このRTPによるネゴシエーションは、接続後に装置の状態が変わる度に実施する。   As described with reference to FIG. 5, the communication state of the apparatus can be notified by using SDP for transmission and its response, and communication negotiation can be performed. However, if the state of the device changes during communication, SDP cannot be used for negotiation with the other party's video conference device. This is because the SIP message including the SDP is a transmission of only the INVITE message and the 200 OK message at the start of the session. Therefore, apart from the voice RTP, a message notifying the state of the apparatus is interrupted in the RTP as the control RTP shown in FIG. This RTP negotiation is performed every time the state of the device changes after connection.

図6および図7を参照して、制御RTPのデータフォーマットと設定対応テーブル40とを説明する。図6において、制御データであるconference:request:serverの最初のコロンの前のconferenceは、制御コード識別子である。コロンに挟まれたrequestは、指示コードである。2番目のコロンの後のserverは、通知情報である。   The control RTP data format and the setting correspondence table 40 will be described with reference to FIGS. In FIG. 6, the conference before the first colon of the control: conference: request: server is a control code identifier. The request between the colons is an instruction code. The server after the second colon is notification information.

図7において、制御コード識別子401、指示コード402、通知情報403の設定値は、任意に決定することができる。図7の設定値は、他の値を設定したとしてもよい。制御RTPは、制御コード識別子401、指示コード402、通知情報403から構成される。制御コード識別子401は、conferenceという固定値を使用し、この制御コード識別子401を使用している装置とのみRTPでのネゴシエーションを実施する。   In FIG. 7, the setting values of the control code identifier 401, the instruction code 402, and the notification information 403 can be arbitrarily determined. The setting values in FIG. 7 may be set to other values. The control RTP includes a control code identifier 401, an instruction code 402, and notification information 403. The control code identifier 401 uses a fixed value called “conference”, and negotiates with RTP only with the device using this control code identifier 401.

指示コード402は、制御RTPを送信する装置から状態の通知を行なうために送信するrequestと、制御RTPを受信する装置がrequestに対する応答を示すために送信するresponseの2種類がある。   There are two types of instruction code 402: a request that is transmitted to notify the state from a device that transmits control RTP, and a response that is transmitted by a device that receives control RTP to indicate a response to the request.

通知情報403は4種類あり、それぞれ、1対1接続状態である装置同士の親子関係が未定であることを示すundecided、多地点接続を行なっている時に親機であることを示すserver、多地点接続を行なっている時に子機であることを示すclient、リクエスト受付不可の場合にレスポンスとしてのみ送信するxxxがある。   There are four types of notification information 403, undecided indicating that the parent-child relationship between devices in a one-to-one connection state is undecided, server indicating a parent device when performing multipoint connection, and multipoint There is a client indicating that it is a slave when connecting, and xxx that is transmitted only as a response when a request cannot be accepted.

図8を参照して、図6および図7で説明した制御RTPを利用した装置間の親子関係ネゴシエーションを説明する。図8では初期状態において、装置10−Aと装置10−Bの1対1通信が行なわれている。装置10−Aと装置10−Bの装置状態は、ともにundecidedである。ここで、装置10−Cは、SDP内部属性情報aをundecidedとしたINVITEメッセージを装置10−Aに送信する(S3)。装置10−Aは、装置10−CからのINVITEメッセージに対する正常応答200 OKメッセージを装置10−Cに送信する(S4)。ステップ4にて送信するSDPの属性記述aは、serverであり、装置10−Cが装置10−Aに接続したことによって、装置10−Aの装置状態がundecidedからserver変化する。   With reference to FIG. 8, the parent-child relationship negotiation between apparatuses using the control RTP described in FIGS. 6 and 7 will be described. In FIG. 8, one-to-one communication between the device 10-A and the device 10-B is performed in the initial state. The device states of the devices 10-A and 10-B are both undecided. Here, the device 10-C transmits an INVITE message in which the SDP internal attribute information a is undecided to the device 10-A (S3). The device 10-A transmits a normal response 200 OK message to the INVITE message from the device 10-C to the device 10-C (S4). The attribute description a of the SDP transmitted in step 4 is “server”, and the device status of the device 10 -A changes from undecided to server when the device 10 -C connects to the device 10 -A.

このように通信中に親機となった装置10−Aの状態変化を契機に、装置10−Aは、制御RTPにて通知情報serverを装置10−Bに送信する(S5)。装置10−Bは、そのレスポンスとして制御RTPにて通知情報clientを送信する(S6)。この結果、装置10−A、装置10−B、装置10−C間の親子関係が決定され、通信中に遷移する。   As described above, the apparatus 10-A transmits the notification information server to the apparatus 10-B by the control RTP in response to the change in the state of the apparatus 10-A that becomes the parent device during communication (S5). The device 10-B transmits the notification information client as a response using the control RTP (S6). As a result, the parent-child relationship among the devices 10-A, 10-B, and 10-C is determined, and transition is made during communication.

図9を参照して、テレビ会議装置間で親子関係を如何に決定するかについて説明する。図9のフローチャートの処理は、装置10のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。   With reference to FIG. 9, how to determine the parent-child relationship between the video conference apparatuses will be described. The process of the flowchart in FIG. 9 describes the operation of the communication control unit 102 using the SDP attribute information data from the communication destination device stored in the RAM 103 of the device 10.

図9において、通信制御部102は、他のテレビ会議装置からの着信を受け付ける(S100)。通信制御部102は、自装置が他装置と通信中であるかどうかの判定を行なう(S101)。通信中でないとき(NO)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S102)。undecidedと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてundecidedと通知して(S104)、終了する。この時点では1対1通信であり、装置間の親子関係は未定である。   In FIG. 9, the communication control unit 102 receives an incoming call from another video conference device (S100). The communication control unit 102 determines whether or not the own device is communicating with another device (S101). When not in communication (NO), the communication control unit 102 determines whether or not the received SDP attribute information is undecided (S102). If it is determined as undecided (YES), the communication control unit 102 notifies the other terminal as undecided as SDP attribute information (S104), and the process ends. At this time, the communication is one-to-one, and the parent-child relationship between the devices is undecided.

一方、ステップ102で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかどうかの判定を行なう(S103)。serverと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてclientと通知して(S105)、終了する。ここで、1対複数の接続となるため、装置間の親子関係が決定する。   On the other hand, if it is determined in step 102 that the received SDP attribute information is not undecided (NO), the communication control unit 102 determines whether or not the received SDP attribute information is a server (S103). . If it is determined as “server” (YES), the communication control unit 102 notifies the partner terminal of “client” as SDP attribute information (S105), and the process ends. Here, since there is a one-to-multiple connection, the parent-child relationship between devices is determined.

一方、ステップ103で、受信したSDPの属性情報がserverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、本実施例では親機の競合が発生してしまうという理由から、子機(client)が発信することを許容しておらず、属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。ステップ101において、通信制御部102が自装置が他装置と通信中であると判定した場合(YES)、通信制御部102は、ステップ106に遷移する。   On the other hand, if it is determined in step 103 that the received SDP attribute information is not a server (NO), the received SDP attribute information is client. However, in the present embodiment, because the contention of the parent device occurs, the child device (client) is not allowed to transmit, and the SDP in which the attribute information is declared client is not received. . For this reason, the connection becomes impossible and the communication control unit 102 ends the flow. If the communication control unit 102 determines in step 101 that the own device is communicating with another device (YES), the communication control unit 102 transitions to step 106.

図9Bに移って、ステップ106において、通信制御部102は。自装置の接続状態がundecidedであるかどうかの判定を行なう。自装置の接続状態がundecidedであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S107)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知する(S109)。この時点で1対複数通信となり、装置間の親子関係が決定される。通信制御部102は、通信開始時にSDPの属性情報としてundecidedを送信したもう一つの接続装置へ、制御RTPにて自装置がserverを通知して(S110)、終了する。   9B, in step 106, the communication control unit 102. It is determined whether or not the connection state of the own device is undecided. When it is determined that the connection state of the own device is undecided (YES), the communication control unit 102 determines whether the received SDP attribute information is undecided (S107). When it is determined as undecided (YES), the communication control unit 102 notifies the partner apparatus of “server” as SDP attribute information (S109). At this time, one-to-multiple communication is performed, and the parent-child relationship between devices is determined. The communication control unit 102 notifies the server of another server that has transmitted undecided as SDP attribute information at the start of communication by using the control RTP (S110), and ends.

一方、ステップ107で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S108)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S111)、終了する。   On the other hand, when it is determined in step 107 that the received SDP attribute information is not undecided (NO), the communication control unit 102 determines whether the received SDP attribute information is a server (S108). If it is determined as server (YES), the communication control unit 102 transmits 486 busy, which is a SIP busy message, to the device that has requested connection in order to prevent contention of the parent device (S111), and ends. To do.

一方、ステップ108で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信すると、親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。   On the other hand, if it is determined in step 108 that the server is not a server (NO), the received SDP attribute information is client. However, when a slave device (client) transmits, it is not allowed because the contention of the master device occurs, and an SDP in which attribute information is declared client is never received. For this reason, the connection becomes impossible and the communication control unit 102 ends the flow.

ステップ106で、自装置の接続状態がundecidedではないと判定された場合(NO)、通信制御部102は、自装置の接続状態がserverであるか判定を行なう(S112)。serverであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S113)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知して(S115)、終了する。この時点では既に1対複数通信となっており、装置の親子関係は決定している。   If it is determined in step 106 that the connection state of the own device is not undecided (NO), the communication control unit 102 determines whether the connection state of the own device is server (S112). When it is determined that the server is a server (YES), the communication control unit 102 determines whether the received SDP attribute information is undecided (S113). If it is determined as undecided (YES), the communication control unit 102 notifies the partner device of “server” as SDP attribute information (S115), and the process ends. At this time, one-to-multiple communication has already been established, and the parent-child relationship of the devices has been determined.

一方、ステップ113で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかの判定を行なう(S114)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S116)、終了する。   On the other hand, if it is determined in step 113 that it is not undecided (NO), the communication control unit 102 determines whether the received SDP attribute information is a server (S114). If it is determined as “server” (YES), the communication control unit 102 transmits a 486 busy message, which is a SIP busy message, to the device that has requested connection in order to prevent contention of the parent device (S116), and ends. To do.

一方、ステップ114で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から、許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
ステップ112において通信制御部102が、自装置の接続状態がserverではないと判定した場合(NO)、ステップ118に遷移する。
On the other hand, if it is determined in step 114 that the server is not a server (NO), the received SDP attribute information is client. However, because the contention of the parent device occurs that the child device (client) transmits, the SDP in which the attribute information is declared client is not received because it is not allowed. For this reason, the connection becomes impossible and the communication control unit 102 ends the flow.
If the communication control unit 102 determines in step 112 that the connection state of the own apparatus is not “server” (NO), the process proceeds to step 118.

図9Cにおいて、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S118)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に、親機と接続させるためにSIPのリダイレクトメッセージである302 Moved Temporarilyメッセージを送信して(S120)、終了する。   In FIG. 9C, the communication control unit 102 determines whether the received SDP attribute information is undecided (S118). If it is determined as undecided (YES), the communication control unit 102 transmits a 302 Moved Temporary message, which is a SIP redirect message, to the partner device to connect to the parent device (S120), and the process ends.

一方、ステップ118で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S119)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S121)、終了する。   On the other hand, if it is determined in step 118 that it is not undecided (NO), the communication control unit 102 determines whether the received SDP attribute information is server (S119). If it is determined as server (YES), the communication control unit 102 transmits 486 busy, which is a SIP busy message, to the device that has requested connection in order to prevent contention of the parent device (S121), and ends. To do.

一方、ステップ119で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、通信制御部102は、フローを終了する。   On the other hand, if it is determined in step 119 that the server is not a server (NO), the received SDP attribute information is client. However, it is not allowed for the slave unit (client) to transmit because the conflict of the parent unit occurs, and the SDP in which the attribute information is declared as client is not received. For this reason, the communication control part 102 complete | finishes a flow.

図10のフローチャートを参照して、装置が発信した際にどのようにしてテレビ会議装置間の親子関係を決定するかについて説明する。図10のフローチャートの処理は、装置のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。   With reference to the flowchart of FIG. 10, how the parent-child relationship between the video conference apparatuses is determined when the apparatus transmits is described. The process of the flowchart in FIG. 10 describes the operation of the communication control unit 102 using the SDP attribute information data from the communication destination device stored in the RAM 103 of the device.

図10において、通信制御部102は、自装置が他装置と通信中であるか判定を行なう(S130)。通信中でないと判定された場合(NO)、通信制御部102は接続先装置へSDP内属性記述をundecidedとしたINVITEメッセージを送信して(S131)、終了する。   In FIG. 10, the communication control unit 102 determines whether or not the own device is communicating with another device (S130). If it is determined that communication is not in progress (NO), the communication control unit 102 transmits an INVITE message with the attribute description in SDP as undecided to the connection destination device (S131), and the process ends.

ステップ130で、通信中であると判定された場合(YES)、通信制御部102は、自装置の通信状態がundecidedか判定する(S132)。undecidedと判定された場合(YES)、通信制御部102は、通信状態をserverへ、遷移する(S135)。通信制御部102は、接続先装置へSDP内属性記述をserverとしたINVITEメッセージを送信して(S136)、終了する。なお、ステップ135と、ステップ136は、順序が逆でもよい。   If it is determined in step 130 that communication is in progress (YES), the communication control unit 102 determines whether the communication state of the own device is undecided (S132). If it is determined as undecided (YES), the communication control unit 102 changes the communication state to “server” (S135). The communication control unit 102 transmits an INVITE message with the SDP attribute description as server to the connection destination device (S136), and the process ends. Note that the order of step 135 and step 136 may be reversed.

ステップ132で、undecidedではないと判定した場合(NO)、通信制御部102は、自装置の状態がsereverであるかを判定する(S133)。serverと判定した場合(YES)、通信制御部102は、接続先装置へSDP内部属性記述をserverとしたINVITEメッセージを送信して(S134)、終了する。   If it is determined in step 132 that it is not undecided (NO), the communication control unit 102 determines whether the state of the own device is “sever” (S133). If it is determined as “server” (YES), the communication control unit 102 transmits an INVITE message in which the SDP internal attribute description is “server” to the connection destination device (S134), and ends.

ステップ133で、serverでないとき、通信制御部102は、そのまま終了する。これは、undecidedでもserverでもないときは、clientとなり、clientの発信を許容しないためである。   In step 133, when it is not the server, the communication control unit 102 ends as it is. This is because when it is neither undecided nor server, it becomes a client and transmission of the client is not permitted.

図11を参照して、発信時自装置接続状態による送出SDP情報条件テーブル50を説明する。図11において、接続状態には、未通信と通信中とがある。通信中の状態として、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを送信するときのSDP情報は、以下の通りである。   With reference to FIG. 11, the transmission SDP information condition table 50 according to the connection state of the own device at the time of transmission will be described. In FIG. 11, the connection state includes uncommunication and communication. The communication status further includes undecided, server, and client. The SDP information when transmitting INVITE from these four states is as follows.

未通信のとき、通信制御部102は、undecidedを送信する。undecidedのとき、通信制御部102は、serverを送信する。serverのとき、通信制御部102は、serverを送信する。clientのとき、通信制御部102は、発信しないので、発生しない。   When there is no communication, the communication control unit 102 transmits undecided. When undecided, the communication control unit 102 transmits a server. In the case of server, the communication control unit 102 transmits server. In the case of client, the communication control unit 102 does not transmit and therefore does not occur.

図12を参照して、装置10−A〜10−Dが4地点でテレビ会議を行なう際の接続シーケンスを説明する。図12において、装置10−Bは、装置10−Aに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S7)。このとき、NVITEメッセージのボディのSDPには属性記述をundecidedとして送信する。装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Bに送信する(S8)。このとき、メッセージのボディのSDPには属性記述をundecidedとして送信する。   With reference to FIG. 12, the connection sequence at the time of apparatus 10-A-10-D having a video conference in four places is demonstrated. In FIG. 12, the device 10-B sends a SIP INVITE message, which is a call connection request, to the device 10-A (S7). At this time, the attribute description is transmitted as undecided in the SDP of the body of the NVITE message. Upon receiving the INVITE message, the device 10-A transmits a normal response 200 OK message corresponding to the INVITE message to the device 10-B (S8). At this time, the attribute description is transmitted as undecided in the SDP of the body of the message.

装置10−Bは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S9)。   Upon receiving the normal response 200 OK message, device 10-B transmits an acknowledgment ACK message corresponding to the normal response 200 OK message to device 10-A (S9).

装置10−Aは、装置10−Bから受信したSDP内の属性記述をRAM103内に保存する。また、装置10−Bも、同様にSDP内の属性記述をRAM103内に保存する。   The device 10 -A stores the attribute description in the SDP received from the device 10 -B in the RAM 103. Similarly, the device 10-B also saves the attribute description in the SDP in the RAM 103.

装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Bに対して送信する。装置10−Bも、同様に装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Aは、受信した装置10−Bからのデータについて、装置10−Aに接続されるスピーカ14、モニタ12に対して出力する。また、装置10−Bが受信した装置10−Aからのデータは、装置10−Bによって装置10−Bに接続されるスピーカ14、モニタ12に対して出力される。   After the one-to-one connection is completed between the devices 10-A and 10-B, the device 10-A transmits the audio data of the microphone 13 connected to the device 10-A and the video data of the camera 11 to the device 10-B. Send to. Similarly, the device 10-B transmits the audio data of the microphone 13 connected to the device 10-B and the video data of the camera 11 to the device 10-A. The device 10-A outputs the received data from the device 10-B to the speaker 14 and the monitor 12 connected to the device 10-A. The data from the device 10-A received by the device 10-B is output by the device 10-B to the speaker 14 and the monitor 12 connected to the device 10-B.

装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Cが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S10)。また、INVITEメッセージのボディのSDPの属性記述は、undecidedである。   After the one-to-one connection is completed between the devices 10-A and 10-B, the device 10-C sends a SIP INVITE message as a call connection request to the device 10-A (S10). The SDP attribute description of the body of the INVITE message is undecided.

装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Cに送信する(S11)。このとき、1対2接続となり装置10−Aが音声、映像を合成し配信する親機となるため、装置10−Aが送信するSDPで宣言される属性記述は、serverである。   Upon receiving the INVITE message, the device 10-A transmits a normal response 200 OK message corresponding to the INVITE message to the device 10-C (S11). At this time, since the one-to-two connection is established and the device 10-A becomes a master unit that synthesizes and distributes audio and video, the attribute description declared in the SDP transmitted by the device 10-A is server.

装置10−Cは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S12)。   When receiving the normal response 200 OK message, the device 10-C transmits an acknowledgment ACK message corresponding to the normal response 200 OK message to the device 10-A (S12).

この時装置10−Aを親機とした1対2接続になる為、装置間で初めて親子関係が決定する。多地点接続テレビ会議システムが1対2接続となることを契機として、決定した親子関係を元に、親機となる装置10−AはRAM103上の属性記述aがundecidedのままである装置10−Bに対して制御RTPを使用し、装置10−Aが親機となったとなったことを通知するrequestとしてserverと送信する(S13)。装置10−Bは、装置10−Aに対してrequestに対するresponseとして、clientを送信し(S14)、装置10−BのRAM103の接続状態情報が更新される。   At this time, since the one-to-two connection is made with the device 10-A as the parent device, the parent-child relationship is determined for the first time between the devices. On the basis of the one-to-two connection of the multipoint connection video conference system, based on the determined parent-child relationship, the device 10-A serving as the parent device has the attribute description a on the RAM 103 as undecided. A control RTP is used for B, and a server is transmitted as a request notifying that the device 10-A has become a parent device (S13). The device 10-B transmits client as a response to the request to the device 10-A (S14), and the connection state information of the RAM 103 of the device 10-B is updated.

装置10−A、装置10−B、装置10−Cにて1対2接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ1の映像データを装置10−Aに対して送信する、装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。   After the one-to-two connection is completed in the device 10-A, the device 10-B, and the device 10-C, the device 10-B transmits the audio data of the microphone 13 connected to the device 10-B and the video data of the camera 1. Similarly, the apparatus 10-C transmits the audio data of the microphone 13 connected to the apparatus 10-C and the video data of the camera 11 to the apparatus 10-A.

装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。   The apparatus 10-A includes the audio data of the microphone 13 connected to the apparatus 10-A, the video data of the camera 11, the audio data of the microphone 13 received from the apparatus 10-B, the video data of the camera 11, and the apparatus 10- The audio data of the microphone 13 and the video data of the camera 11 received from C are respectively synthesized.

装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−Cに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。   Audio data and video data synthesized by the device 10-A are output by the speaker 14 and the monitor 12 connected to the device 10-A, respectively. The synthesized audio data and video data are also transmitted to the devices 10-B and 10-C at the same time. The device 10-B outputs the audio data and video data received from the device 10-A to the speaker 14 and the monitor 12 to which the device 10-B is connected. The device 10 -C outputs the audio data and video data received from the device 10 -A to the connected speaker 14 and monitor 12.

装置10−Aを親とする1対2接続が完了した後、装置10−Dが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S15)。INVITEメッセージのボディのSDPの属性記述は、undecidedである。   After the one-to-two connection with the device 10-A as a parent is completed, the device 10-D sends a SIP INVITE message as a call connection request to the device 10-A (S15). The SDP attribute description of the body of the INVITE message is undecided.

装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置Dに送信する(S16)。メッセージボディのSDP内属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S17)。   Upon receiving the INVITE message, the device 10-A transmits a normal response 200 OK message corresponding to the INVITE message to the device D (S16). The attribute description in the SDP of the message body is server. Upon receiving the normal response 200 OK message, the device 10-D transmits an acknowledgment ACK message corresponding to the normal response 200 OK message to the device 10-A (S17).

装置10−Aを親とする1対3接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Dも、同様に装置10−Dに接続されるマイク31の音声データ、カメラ11の映像データを装置10−Aに対して送信する。   After the one-to-three connection with the device 10-A as a parent is completed, the device 10-B sends the audio data of the microphone 13 connected to the device 10-B and the video data of the camera 11 to the device 10-A. Send. Similarly, the device 10-C transmits the audio data of the microphone 13 connected to the device 10-C and the video data of the camera 11 to the device 10-A. Similarly, the device 10-D transmits the audio data of the microphone 31 connected to the device 10-D and the video data of the camera 11 to the device 10-A.

装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データと装置10−Dから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。   The apparatus 10-A includes the audio data of the microphone 13 connected to the apparatus 10-A, the video data of the camera 11, the audio data of the microphone 13 received from the apparatus 10-B, the video data of the camera 11, and the apparatus 10- The audio data of the microphone 13 received from C, the video data of the camera 11, the audio data of the microphone 13 received from the apparatus 10 -D, and the video data of the camera 11 are synthesized.

装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−C、装置10−Dに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。装置10−Dは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。   Audio data and video data synthesized by the device 10-A are output by the speaker 14 and the monitor 12 connected to the device 10-A, respectively. The synthesized audio data and video data are also transmitted to the devices 10-B, 10-C, and 10-D at the same time. The device 10-B outputs the audio data and video data received from the device 10-A to the speaker 14 and the monitor 12 to which the device 10-B is connected. The device 10 -C outputs the audio data and video data received from the device 10 -A to the connected speaker 14 and monitor 12. The device 10-D outputs the audio data and video data received from the device 10-A to the connected speaker 14 and monitor 12.

図13を参照して、多地点接続テレビ会議装置がRAM103上で管理する各装置の情報を示したテーブルを説明する。図12のシーケンスがステップ17まで完了し装置Aを親とする1対3の接続が完了した時、図13の通りのデータを各装置はRAM103上で管理する。すなわち、装置Aは、装置B、装置C、装置DのSIP−URIと、装置B、装置C、装置Dがそれぞれclientであることを管理する。また、装置B、装置C、装置Dは、それぞれ装置AのSIP−URIと、装置Aがserverであることを管理する。   With reference to FIG. 13, a table showing information of each device managed on the RAM 103 by the multipoint connection video conference device will be described. When the sequence in FIG. 12 is completed up to step 17 and the one-to-three connection with the device A as a parent is completed, each device manages data as shown in FIG. That is, the device A manages the SIP-URIs of the devices B, C, and D and that the devices B, C, and D are clients. The devices B, C, and D manage the SIP-URI of the device A and that the device A is a server, respectively.

図14を参照して、1対2での多地点接続テレビ会議中に子機として機能している装置10−Cに対して、新たな装置10−Dから発信した場合の処理について説明する。図14において、装置10−Aが親機として機能している。ステップ18からステップ25までは、図12のステップ7からステップ14までと同じなので、説明を省略する。   With reference to FIG. 14, processing when a new device 10 -D transmits to the device 10 -C functioning as a slave during a one-to-two multipoint connection video conference will be described. In FIG. 14, the device 10-A functions as a master unit. Steps 18 to 25 are the same as steps 7 to 14 in FIG.

装置10−Dは、装置10−Cに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S26)。メッセージボディのSDPの属性記述はundecidedである。装置10−Cは、属性記述がundecidedとなったSDPを受信する。しかし、自装置がclientとして動作しており、着信を許可してしまうと多地点テレビシステム内に親機の競合が発生してしまう。そのため、装置10−Cの通信制御部102は、装置10−Dに対して、多地点接続テレビ会議システム内において、現時点で親機である装置10−Aに向けて装置10−Dを接続変更させるため、SIPのリダイレクトメッセージである302 Moved Temporarilyを装置10−Dへ送信する(S27)。なお、接続先変更の情報は、装置10−CのRAM103上で管理する各装置情報を示したテーブル内のSIP−URIであり、その装置10−Aに対応したSIP−URIを302 Moved Temporarilyメッセージ内のコンタクトヘッダ内で指定する。   The device 10-D sends a SIP INVITE message, which is a call connection request, to the device 10-C (S26). The SDP attribute description of the message body is undecided. The device 10-C receives the SDP whose attribute description is undecided. However, if the device is operating as a client and the incoming call is permitted, contention for the parent device occurs in the multipoint television system. Therefore, the communication control unit 102 of the device 10-C changes the connection of the device 10-D to the device 10-A that is currently the parent device in the multipoint connection video conference system with respect to the device 10-D. Therefore, 302 Moved Temporary which is a SIP redirect message is transmitted to the apparatus 10-D (S27). Note that the connection destination change information is a SIP-URI in a table indicating each piece of device information managed on the RAM 103 of the device 10-C, and the SIP-URI corresponding to the device 10-A is 302 Moved Temporary message. Specified in the contact header.

装置10−Dは、リダイレクトメッセージ 302 Moved Temporarilyを受信すると、リダイレクトメッセージ 302 Moved Temporarilyに対応した受信確認のACKメッセージを装置10−Cに送信する。(S28)
装置10−Dは、装置10−Cから受け取った302 Moved Temporarilyメッセージ中のコンタクトヘッダ内SIP−URIを参照し、転送先である装置10−Aに対して再度INVITEメッセージを送信する(S29)。メッセージボディのSDPの属性記述は、undecidedである。
Upon receiving the redirect message 302 Moved Temporary, the device 10-D transmits an acknowledgment message ACK message corresponding to the redirect message 302 Moved Temporary to the device 10-C. (S28)
The device 10-D refers to the SIP-URI in the contact header in the 302 Moved Temporary message received from the device 10-C, and transmits the INVITE message again to the device 10-A that is the transfer destination (S29). The SDP attribute description of the message body is undecided.

装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Dに送信する(S30)。メッセージボディのSDPの属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S31)。   Upon receiving the INVITE message, the device 10-A transmits a normal response 200 OK message corresponding to the INVITE message to the device 10-D (S30). The SDP attribute description of the message body is “server”. Upon receiving the normal response 200 OK message, the device 10-D transmits an acknowledgment ACK message corresponding to the normal response 200 OK message to the device 10-A (S31).

以上の方法により、装置10−Aが親機、装置10−B、10−C、10−Dが子機と決定され、多地点接続テレビ会議にて1対4接続を実現する。本実施例では1対4接続の場合を説明したが、接続数が変わっても、親機を決定する方式は変わらない。   By the above method, the device 10-A is determined as the parent device, and the devices 10-B, 10-C, and 10-D are determined as the child devices, and the one-to-four connection is realized in the multipoint connection video conference. In this embodiment, the case of one-to-four connection has been described. However, even if the number of connections changes, the method for determining the parent device does not change.

以下、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加した場合の処理について説明する。   Hereinafter, the network in which the devices 10-C, 10-D, and 10-E perform one-to-two communication joins the network in which the devices 10-A and 10-B perform one-to-one communication. The processing in the case of having been performed will be described.

図15を参照して、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加したケースを説明する。図15において、装置10−Aと装置10−Bが1対1の通信をしているので、装置10−Aと装置10−Bとは、undecided状態である。一方、装置10−Cと装置10−Dと装置10−Eが1対2通信しており、装置10−Cは、server状態、装置10−Dと装置10−Eとは、client状態である。また、装置10−Cは、装置10−Aに発信している
既に説明したように、この場合着信を受ける装置10−Aが親機になる。しかし、発信をした装置10−Cも親機であるため、多地点接続テレビ会議システム内に親機が2台存在することになり親機が競合してしまう。
Referring to FIG. 15, devices 10-C, 10-D, and 10-E perform one-to-two communication in a network in which devices 10-A and 10-B perform one-to-one communication. Explain the case where a network is participating. In FIG. 15, since the device 10-A and the device 10-B perform one-to-one communication, the device 10-A and the device 10-B are in an undecided state. On the other hand, the device 10-C, the device 10-D, and the device 10-E communicate one-to-two, the device 10-C is in the server state, and the device 10-D and the device 10-E are in the client state. . Further, the device 10-C is transmitting to the device 10-A. As described above, in this case, the device 10-A that receives an incoming call becomes the parent device. However, since the transmitting device 10-C is also a parent device, there are two parent devices in the multipoint connection video conference system, and the parent devices compete with each other.

図16を参照して、親機の競合を防ぐため受信したSDP内属性記述による動作条件テーブル60を説明する。図16において、INVITEを受信したテレビ会議装置10の状態は、未通信または通信中である。通信中の状態は、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを受信したときのSDP情報は、以下の通りである。   With reference to FIG. 16, the operation condition table 60 based on the received attribute description in the SDP will be described in order to prevent contention of the parent device. In FIG. 16, the state of the video conference apparatus 10 that has received INVITE is not communicating or communicating. The communication state further includes undecided, server, and client. The SDP information when INVITE is received from these four states is as follows.

まず、INVITEを受信したときのSDP情報がclientは、許容しないので発生しない。
INVITEを受信したときのSDP情報がundecidedのとき、状態が未接続なら、多地点接続テレビ会議装置10は、undecided応答を返信して、undecided状態に遷移する。状態がundecidedなら、多地点接続テレビ会議装置10は、server応答を返信して、server状態に遷移する。状態がserverなら、多地点接続テレビ会議装置10は、server応答を返信する。状態がclientなら、多地点接続テレビ会議装置10は、302 Moved Temporarilyを送信する。
First, since the client does not allow the SDP information when INVITE is received, it does not occur.
When the SDP information when receiving INVITE is undecided and the state is not connected, the multipoint connection video conference apparatus 10 returns an undecided response and transitions to the undecided state. If the state is undecided, the multipoint connection video conference apparatus 10 returns a server response and transitions to the server state. If the state is server, the multipoint connection video conference apparatus 10 returns a server response. If the state is client, the multipoint video conference apparatus 10 transmits 302 Moved Temporary.

INVITEを受信したときのSDP情報がserverのとき、状態が未接続なら、多地点接続テレビ会議装置10は、client応答を返信して、client状態に遷移する。状態がundecided、serverまたはclientなら、多地点接続テレビ会議装置10は、486 busyを送信する。   When the SDP information when receiving the INVITE is “server” and the state is not connected, the multipoint connection video conference apparatus 10 returns a client response and transitions to the client state. If the state is undecided, server, or client, the multipoint connection video conference apparatus 10 transmits 486 busy.

図17を参照して、図15の接続が発生した場合の多地点接続テレビ会議装置10−Aと、多地点接続テレビ会議装置10−Cの接続シーケンスを説明する。図17において、装置10−Aは、装置10−Cからの接続要求INVETEメッセージを受信する(S36)。しかし、装置10−Cが送信したSDP内の属性記述がserverであり、装置10−A自身の装置状態がundecidedであるため、装置10−Aは装置10−Cに対して、話中であることを示す486 busyメッセージを送信し、接続を拒否する(S37)。486 busyメッセージを受信した装置10−Cは、受信確認のACKメッセージを装置10−Aに送信する(S38)
図12、図14の多地点接続についても、図16のテーブルに従い装置10−A、装置10−B、装置10−C、装置10−Dは、動作する。
このようにして、多地点接続テレビ会議システム上に親機の競合を防ぎ、会議開始前に事前に親機を会議参加者同士で決定するという煩雑な作業がなく、どの装置とでもフレキシブルに接続できる。
With reference to FIG. 17, the connection sequence of the multipoint connection video conference apparatus 10-A and the multipoint connection video conference apparatus 10-C when the connection of FIG. 15 occurs will be described. In FIG. 17, the device 10-A receives the connection request INVETE message from the device 10-C (S36). However, since the attribute description in the SDP transmitted by the device 10-C is “server” and the device state of the device 10-A itself is undecided, the device 10-A is busy with the device 10-C. A 486 busy message indicating this is transmitted, and the connection is rejected (S37). The device 10-C that has received the 486 busy message transmits an acknowledgment message ACK message to the device 10-A (S38).
Also for the multipoint connection of FIGS. 12 and 14, the device 10-A, the device 10-B, the device 10-C, and the device 10-D operate according to the table of FIG.
In this way, it is possible to connect to any device flexibly without any complicated work of preventing the conflict of the parent device on the multipoint connection video conference system and determining the parent device between the conference participants in advance before the start of the conference. it can.

図18ないし図20を参照して、装置10−Aを親機として、装置10−A⇔装置10−B、装置10−A⇔装置10−C、装置10−A⇔装置10−Dの1対3多地点接続テレビ会議を実施中に親機である装置10−Aが会議から退席する場合の処理について説明する。   Referring to FIGS. 18 to 20, device 10-A is used as a parent device, and device 10-A⇔device 10-B, device 10-A⇔device 10-C, device 10-A⇔device 10-D A process when the parent device 10-A leaves the conference during the 3 to 3 multi-point connection video conference will be described.

図18を参照して、装置10−Aを親機として装置A⇔装置B、装置A⇔装置C、装置A⇔装置Dの1対3多地点接続テレビ会議を実施中に、親装置である装置10−Aが会議から退席するケースを説明する。図18において、親装置である多地点接続テレビ会議装置10−Aは、退席するとき、多地点接続テレビ会議装置10−B、多地点接続テレビ会議装置10−C、多地点接続テレビ会議装置10−Dとの接続を切断する。多地点接続テレビ会議装置10−Cは、子装置から親装置に遷移する。   Referring to FIG. 18, the device 10-A is the parent device during the one-to-three multipoint connection video conference of device A⇔device B, device A⇔device C, and device A⇔device D using the device 10-A as the parent device. A case where the apparatus 10-A leaves the conference will be described. In FIG. 18, when the multipoint connection video conference apparatus 10 -A, which is the parent apparatus, leaves, the multipoint connection video conference apparatus 10 -B, the multipoint connection video conference apparatus 10 -C, and the multipoint connection video conference apparatus 10 -Disconnect from D. The multipoint connection video conference device 10-C transitions from the child device to the parent device.

図19を参照して、装置10−Aが退席後も装置10−B、10−C、10−D間で多地点接続テレビ会議を継続する場合の処理を説明する。図19において、装置10−Aは、次に親機とする装置10−CにBYEを送信する(S41)。装置10−Cは、装置10−Aに200 OKを送信する(S42)。装置10−Aは、装置10−BにREFER Refer−To:装置Cを送信する(S43)。装置10−Bは、装置10−Aに202 Acceptedを送信する(S44)。装置10−Aは、装置10−BにBYEを送信する(S46)。装置10−Bは、装置10−Aに200 OKを送信する(S47)。   With reference to FIG. 19, processing when the multipoint connection video conference is continued between the devices 10 -B, 10 -C, and 10 -D even after the device 10 -A leaves the seat will be described. In FIG. 19, the device 10 -A transmits BYE to the next device 10 -C as the parent device (S 41). The device 10-C transmits 200 OK to the device 10-A (S42). The device 10-A transmits REFER Refer-To: device C to the device 10-B (S43). The device 10-B transmits 202 Accepted to the device 10-A (S44). The device 10-A transmits BYE to the device 10-B (S46). The device 10-B transmits 200 OK to the device 10-A (S47).

装置10−Aは、装置10−Dに制御RTPを送信する(S48)。このとき、制御データは、conference:request:undecidedである。装置10−Dは、装置10−Aに制御RTPを送信する(S49)。このとき、制御データは、conference:responce:undecidedである。   The device 10-A transmits a control RTP to the device 10-D (S48). At this time, the control data is conference: request: undecided. The device 10-D transmits a control RTP to the device 10-A (S49). At this time, the control data is conference: response: undecided.

装置10−Bは、装置10−CにINVITE Referred−By:装置Aを送信する(S51)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Bに200 OKを送信する(S52)。このとき、メッセージボディには、undecidedが記載されている。装置10−Bは、装置10−CにACKを送信する(S53)。装置10−Bは、装置10−CにNOTIFYを送信する(S54)。NOTIFYは、転送を知らせるメッセージである。装置10−Cは、装置10−Bに200 OKを送信する(S56)。これまでで、装置10−Bと装置10−Cとは、通話中となる。   The device 10-B transmits INVITE Referred-By: device A to the device 10-C (S51). At this time, undecided is described in the SDP of the message body. The device 10-C transmits 200 OK to the device 10-B (S52). At this time, undecided is described in the message body. The device 10-B transmits ACK to the device 10-C (S53). The device 10-B transmits NOTIFY to the device 10-C (S54). NOTIFY is a message notifying the transfer. The device 10-C transmits 200 OK to the device 10-B (S56). Up to now, the device 10-B and the device 10-C are busy.

装置10−Aは、装置10−DにREFER Refer−To:装置Cを送信する(S57)。装置10−Dは、装置10−Aに202 Acceptedを送信する(S58)。装置10−Aは、装置10−DにBYEを送信する(S59)。装置10−Dは、装置10−Aに200 OKを送信する(S61)。   The device 10-A transmits REFER Refer-To: device C to the device 10-D (S57). The device 10-D transmits 202 Accepted to the device 10-A (S58). The device 10-A transmits BYE to the device 10-D (S59). The device 10-D transmits 200 OK to the device 10-A (S61).

装置10−Dは、装置10−CにINVITE Referred−By:装置Aを送信する(S62)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Dに200 OKを送信する(S63)。このとき、メッセージボディには、undecidedが記載されている。装置10−Dは、装置10−CにACKを送信する(S64)。装置10−Dは、装置10−AにNOTIFYを送信する(S66)。装置10−Aは、装置10−Dに200 OKを送信する(S67)。これまでで、装置10−Dと装置10−Cとは、通話中となる。   The device 10-D transmits INVITE Referred-By: device A to the device 10-C (S62). At this time, undecided is described in the SDP of the message body. The device 10-C transmits 200 OK to the device 10-D (S63). At this time, undecided is described in the message body. The device 10-D transmits ACK to the device 10-C (S64). The device 10-D transmits NOTIFY to the device 10-A (S66). The device 10-A transmits 200 OK to the device 10-D (S67). Up to now, the device 10-D and the device 10-C are busy.

装置10−Cは、装置10−Bに制御RTPを送信する(S68)。このとき、制御データは、conference:request:serverである。装置10−Bは、装置10−Cに制御RTPを送信する(S69)。このとき、制御データは、conference:responce:clientである。   The device 10-C transmits a control RTP to the device 10-B (S68). At this time, the control data is conference: request: server. The device 10-B transmits a control RTP to the device 10-C (S69). At this time, the control data is conference: response: client.

図20を参照して、親機の状態から退席するテレビ会議装置の処理フローを説明する。図20において、通信制御部102は、ユーザーからの設定を元に多地点接続テレビ会議を継続するかどうかの判定を行なう(S200)。多地点接続テレビ会議を継続して実施すると判定された場合(YES)、通信制御部102は、自装置が退席後に親機とする端末を多地点接続テレビ会議から切り離すため、切断処理を実施する(S201)。   With reference to FIG. 20, a processing flow of the video conference apparatus that leaves the base unit will be described. In FIG. 20, the communication control unit 102 determines whether to continue the multipoint video conference based on the setting from the user (S200). When it is determined that the multipoint connection video conference is to be continued (YES), the communication control unit 102 performs a disconnection process in order to disconnect the terminal that is the parent device from the multipoint connection video conference after leaving the device. (S201).

通信制御部102は、退席後に子機とする装置へ、次に親機として動作する装置に接続させるため、RAM103内に保存している転送先のSIP−URIをSIPの転送メッセージであるREFERメッセージに転送先として指定し、送信して(S202)、終了する。   The communication control unit 102 connects the SIP-URI of the transfer destination stored in the RAM 103 to the device that becomes the slave device after leaving the station and the device that operates as the parent device next, and the REFER message that is the SIP transfer message. Is designated as the transfer destination and transmitted (S202), and the process is terminated.

一方、ステップ200にて多地点接続テレビ会議を継続して実施しないと判定された場合(NO)、通信制御部102は、自装置に接続しているすべての装置に対して切断処理を実施する(S203)。   On the other hand, when it is determined in step 200 that the multipoint connection video conference is not continued (NO), the communication control unit 102 performs the disconnection process on all the devices connected to the own device. (S203).

このようにして、多地点接続テレビ会議実施中に親機が退席しなければならないような状況において、多地点接続テレビ会議を継続したい場合、新規に親機となる装置への接続変更処理を行なうことにより、多地点接続テレビ会議を継続することができる。   In this way, when a multipoint connection video conference is to be continued in a situation where the base unit must leave during a multipoint connection video conference, a connection change process is newly performed for the device that becomes the base unit. Thus, the multipoint connection video conference can be continued.

10…多地点接続テレビ会議装置、20…IP網、30…SDP内属性記述a設定対応テーブル、40…制御RTP設定対応テーブル、50…発信時自装置接続状態による送出SDP情報条件テーブル、60…自装置状態と、受信SDP内属性記述による動作条件テーブル、100…多地点接続テレビ会議システム、101…回線IF、102…通信制御部、103…RAM、104…音声入力IF、105…音声圧縮部、106…音声伸張部、107…音声合成部、108…音声出力IF、109…映像入力IF、110…映像デコード部、111、115…映像スケーリング部、112…映像圧縮部、113…映像伸張部、114…映像合成部、116…映像エンコード部、117…映像出力IF、301…SDP制御コード識別子、302…SDP通知情報、401…RTP制御コード識別子、402…RTP指示コード、403…RTP通知情報。   DESCRIPTION OF SYMBOLS 10 ... Multipoint connection video conference apparatus, 20 ... IP network, 30 ... In-SDP attribute description a setting correspondence table, 40 ... Control RTP setting correspondence table, 50 ... Transmission SDP information condition table by own device connection state at the time of outgoing call, 60 ... Operation condition table based on own device state and attribute description in received SDP, 100 ... multi-point connection video conference system, 101 ... line IF, 102 ... communication control unit, 103 ... RAM, 104 ... voice input IF, 105 ... voice compression unit , 106 ... audio expansion unit, 107 ... audio synthesis unit, 108 ... audio output IF, 109 ... video input IF, 110 ... video decoding unit, 111, 115 ... video scaling unit, 112 ... video compression unit, 113 ... video expansion unit , 114 ... Video composition unit, 116 ... Video encoding unit, 117 ... Video output IF, 301 ... SDP control code identifier, 3 2 ... SDP notification information, 401 ... RTP control code identifier, 402 ... RTP instruction code, 403 ... RTP notification information.

Claims (3)

IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、前記音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、前記映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMと、からなる多地点接続テレビ会議装置において、
1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、前記回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有することを特徴とする多地点接続テレビ会議装置。
A line IF for realizing input / output of data from the IP network, an audio input IF for taking in audio data from a microphone, an audio compression unit for compressing data from the audio input IF, and compressed audio Audio decompression unit for decompressing data, audio synthesis unit for synthesizing audio transmitted from multiple points, audio output IF unit for outputting audio data to a speaker, and capturing video data from a camera Video input IF, a video decoding unit for decoding data from the video input IF, a video scaling unit for scaling the decoded video data to a predetermined size, and a video compression for compressing the video data , Video decompression unit for decompressing compressed video data, and video composition unit for synthesizing video data transmitted from multiple points A video scaling unit for scaling the synthesized video to a predetermined size, a video encoding unit for encoding the scaled video, a video output IF for outputting the encoded video data to the TV, In a multipoint video conferencing apparatus comprising a RAM for storing SDP, RTP, and SIP information,
When another multipoint video conference apparatus participates in the video conference during the one-to-one video conference, the multipoint video conference is dynamically used by using the SDP and RTP received by the line IF. A multipoint videoconferencing apparatus comprising a communication control unit for determining a parent device in a system.
請求項1に記載の多地点接続テレビ会議装置であって、
1対2での子機としてテレビ会議実施中に、他の多地点接続テレビ会議からそのテレビ会議への参加メッセージを受信したとき、前記通信制御部は、親機のSIP−URIを含む転送メッセージを前記他の多地点接続テレビ会議に返信することを特徴とする多地点接続テレビ会議装置。
The multipoint videoconferencing device according to claim 1,
When a teleconference is being performed as a one-to-two slave unit and a message for joining the teleconference is received from another multipoint video conference, the communication control unit transmits a transfer message including the SIP-URI of the master unit. Is returned to the other multipoint video conference.
送信元の状態が未定状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに未定状態であることを記述して前記送信元へ返信し、前記状態を未定状態へ遷移し、
状態が未定状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、前記状態を親状態へ遷移し、
状態が親状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、
状態が子状態のときリダイレクトメッセージを前記送信元へ返信し、
送信元の状態が親状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに子状態であることを記述して前記送信元へ返信し、前記状態を子状態へ遷移し、
状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを前記送信元へ返信することを特徴とする多地点接続テレビ会議装置。
When a join message is received with the sender status being undetermined,
When the state is not connected, it is described in the response message that it is in an undetermined state, and is sent back to the transmission source.
When the state is undetermined state, it is described in the response message that it is the parent state, it is returned to the transmission source, the state is transitioned to the parent state,
When the status is the parent status, it is described in the response message that the status is the parent status, and is sent back to the sender.
When the status is a child status, a redirect message is returned to the sender,
When a join message with a parent status is received,
When the state is not connected, it is described in the response message that it is a child state, it is returned to the transmission source, the state is transitioned to a child state,
A multi-point connection video conference apparatus, wherein a busy message is returned to the transmission source when the state is any of an undecided state, a parent state, and a child state.
JP2011131280A 2011-06-13 2011-06-13 Multipoint video conferencing equipment Expired - Fee Related JP5579660B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011131280A JP5579660B2 (en) 2011-06-13 2011-06-13 Multipoint video conferencing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011131280A JP5579660B2 (en) 2011-06-13 2011-06-13 Multipoint video conferencing equipment

Publications (2)

Publication Number Publication Date
JP2013005031A JP2013005031A (en) 2013-01-07
JP5579660B2 true JP5579660B2 (en) 2014-08-27

Family

ID=47673179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011131280A Expired - Fee Related JP5579660B2 (en) 2011-06-13 2011-06-13 Multipoint video conferencing equipment

Country Status (1)

Country Link
JP (1) JP5579660B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6260926B2 (en) * 2013-06-12 2018-01-17 株式会社リコー COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION DEVICE OPERATION METHOD, AND PROGRAM
CN106500739B (en) * 2016-11-18 2019-01-25 威科达(东莞)智能控制有限公司 A method of it is communicated with absolute value encoder
CN111641602B (en) * 2020-05-13 2022-11-04 维沃移动通信有限公司 Session creation method and device and electronic equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033396A (en) * 2004-07-15 2006-02-02 Sony Corp Transmitter, receiver, communication system, transmission method, reception method, transmission program, reception program, and server device
JP2008288974A (en) * 2007-05-18 2008-11-27 Sony Corp Video conference system and video conference device
JP4613981B2 (en) * 2008-06-12 2011-01-19 ソニー株式会社 COMMUNICATION CONTROL DEVICE, COMMUNICATION TERMINAL DEVICE, COMMUNICATION SYSTEM AND COMMUNICATION CONTROL METHOD
JP2012029183A (en) * 2010-07-27 2012-02-09 Brother Ind Ltd Communication device, communication system, communication method, and communication program
JP2012119884A (en) * 2010-11-30 2012-06-21 Brother Ind Ltd Communication terminal, communication system and communication program

Also Published As

Publication number Publication date
JP2013005031A (en) 2013-01-07

Similar Documents

Publication Publication Date Title
CN113746808A (en) Converged communication method for online conference, gateway, electronic device, and storage medium
EP2130346B1 (en) Media stream setup in a group communication system
US7328240B2 (en) Distributed multipoint conferencing
WO2011109978A1 (en) Method and terminal for controlling lens
JP2009246994A (en) Method for providing early-media service based on session initiation protocol, and application server for providing early-media service based on session initiation protocol
US8384759B2 (en) Video conferencing apparatus and method for configuring a communication session
WO2015127799A1 (en) Method and device for negotiating on media capability
CN101483749A (en) Video meeting implementing method and system based on media server
JP5036527B2 (en) Connection apparatus and connection method
KR101589195B1 (en) METHOD AND APPARATUS FOR SEAMLESSlY IMPLEMENTING TRNASFERRING DUAL-PARTY CALL INTO CONFERENCE
JP2007318556A (en) Multipoint video conference system in communication network
JP5579660B2 (en) Multipoint video conferencing equipment
CN114095688A (en) Method and system for realizing global broadcast conference
US20120089680A1 (en) Communication apparatus, communication system and session control method
WO2016114967A1 (en) Systems and methods for adaptive context-aware control of multimedia communication sessions
JP2005311670A (en) Terminal, system and method for television conference, and program therefor
KR102093912B1 (en) Videoconference system and method thereof
WO2013175717A1 (en) Videoconference system
WO2016045496A1 (en) Media control method and device
JP2006229379A (en) Communications system among many person, client terminal, communication method among many person used for them, and program therefor
JP2005333446A (en) Teleconference system, teleconference method, and communication terminal
JP6692922B2 (en) Video conferencing server and method capable of providing multi-screen video conferencing using a plurality of video conferencing terminals
WO2011140744A1 (en) Multimedia conference system in next generation network and realization method thereof
JP4689500B2 (en) Information processing device
TWI259723B (en) Multi-location conference system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140709

R150 Certificate of patent or registration of utility model

Ref document number: 5579660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees