JP5579660B2 - Multipoint video conferencing equipment - Google Patents
Multipoint video conferencing equipment Download PDFInfo
- Publication number
- JP5579660B2 JP5579660B2 JP2011131280A JP2011131280A JP5579660B2 JP 5579660 B2 JP5579660 B2 JP 5579660B2 JP 2011131280 A JP2011131280 A JP 2011131280A JP 2011131280 A JP2011131280 A JP 2011131280A JP 5579660 B2 JP5579660 B2 JP 5579660B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- state
- data
- parent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、テレビ会議装置に係り、特に親機を自律的に決定する多地点接続テレビ会議装置に関する。 The present invention relates to a video conference apparatus, and more particularly to a multipoint connection video conference apparatus that autonomously determines a parent device.
現在、DSL、光ファイバ等を利用したIP(Internet Protocol)網の普及を背景として、このIP網を利用して多地点接続テレビ会議を行なう技術が知られている。 Currently, with the spread of the IP (Internet Protocol) network using DSL, optical fiber, etc., a technique for conducting a multipoint video conference using the IP network is known.
多地点接続テレビ会議の実現方法として、各装置から送信される音声データ、映像データを受信し、音声データについてはミキシング処理を実施し、映像データについては画面合成等の映像編集処理を実施し、処理を実施した音声データおよび映像データを各装置に配信するMCU(Multi point Control Unit)と呼ばれる専用装置を用いる手法が、特許文献1に記載されている。
As a method of realizing a multipoint connection video conference, audio data and video data transmitted from each device are received, mixing processing is performed on the audio data, video editing processing such as screen composition is performed on the video data,
一方、近年の汎用プロセッサの処理能力向上により、単一の汎用プロセッサによりMCU機能とテレビ会議装置機能とを実現できるようになってきた。このようなテレビ会議装置は、特許文献2に記載されるものが知られている。
On the other hand, with the recent improvement in processing capability of general-purpose processors, it has become possible to realize MCU functions and video conference device functions with a single general-purpose processor. As such a video conference apparatus, one described in
特許文献2に開示された技術では、あらかじめ親機となる端末を決め、子機は親機に向けて発信しなければならず、予め親機の情報を与えられていない子機は会議に参加することができない。
In the technique disclosed in
本発明は、以上のような課題を解決するもので、その目的は多地点接続テレビ会議をフレキシブルに実施することを可能とすることにある。 The present invention solves the above-described problems, and an object thereof is to make it possible to flexibly implement a multipoint connection video conference.
上述した課題を解決するため、多地点接続テレビ会議装置は、SDP(Session Description Protocol)、RTP(Real Time Protocol)を用いて、各装置が自装置の接続状態を接続先装置へ通知することで、親機を決定する。本発明によれば、親機、子機の情報が予め与えられていなくともフレキシブルに多地点接続テレビ会議を実施することができる。 In order to solve the above-described problem, the multipoint connection video conference apparatus uses SDP (Session Description Protocol) and RTP (Real Time Protocol) so that each apparatus notifies the connection destination apparatus of its own connection state. Determine the parent machine. ADVANTAGE OF THE INVENTION According to this invention, even if the information of a main | base station and a subunit | mobile_unit is not given previously, a multipoint connection video conference can be implemented flexibly.
多地点接続テレビ会議装置は、多地点接続テレビ会議に新たに接続される子機が、既に子機として動作している装置に対して接続し、多地点接続テレビ会議システム内に親機が競合してしまう誤った接続をした場合、SIPメッセージ内に含まれるSIP−URI(Session Initiation Protocol-Uniform Resources Identifiers)を元に着信を受けた子機が、発信した子機に対して親機に転送指示することで、親機、子機を利用者が意識することなく多数の装置と多地点接続テレビ会議を実施可能とする。 A multipoint videoconferencing device has a slave unit that is newly connected to a multipoint videoconferencing device connected to a device that is already operating as a slave unit, and the master unit competes in the multipoint videoconferencing system. If a wrong connection is made, the handset that received the call based on the SIP-URI (Session Initiation Protocol-Uniform Resources Identifiers) included in the SIP message forwards the call to the base unit. By instructing, a multipoint connection video conference can be performed with a large number of devices without the user being aware of the master unit and the slave unit.
上述した課題は、IP網からのデータの入出力を実現する回線IFと、マイクからの音声データを取り込むための音声入力IFと、音声入力IFからのデータを圧縮するための音声圧縮部と、圧縮された音声データを伸長するための音声伸張部と、多地点から送信される音声を合成するための音声合成部と、スピーカに音声データを出力するための音声出力IF部と、カメラからの映像データを取り込むための映像入力IFと、映像入力IFからのデータをデコードする映像デコード部と、デコードされた映像データを決まったサイズにスケーリングするための映像スケーリング部と、映像データを圧縮するための映像圧縮部と、圧縮された映像データを伸長するための映像伸張部と、多地点からの送信される映像データを合成するための映像合成部と、合成された映像を決まったサイズにスケーリングするための映像スケーリング部と、スケーリングされた映像をエンコードするための映像エンコード部と、エンコードされた映像データをテレビに出力するための映像出力IFと、SDP、RTP、SIPの情報を格納するRAMからなる多地点接続テレビ会議装置において、1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有する多地点接続テレビ会議装置により、達成できる。 The above-described problems are a line IF that realizes input / output of data from the IP network, an audio input IF for capturing audio data from a microphone, an audio compression unit for compressing data from the audio input IF, An audio decompression unit for decompressing compressed audio data, an audio synthesis unit for synthesizing audio transmitted from multiple points, an audio output IF unit for outputting audio data to a speaker, and a camera A video input IF for capturing video data, a video decoding unit for decoding data from the video input IF, a video scaling unit for scaling the decoded video data to a predetermined size, and for compressing the video data Video compression unit, a video expansion unit for expanding compressed video data, and a video unit for combining video data transmitted from multiple points. Compositing unit, video scaling unit for scaling the synthesized video to a fixed size, video encoding unit for encoding the scaled video, and video output for outputting the encoded video data to the TV In a multipoint videoconferencing device comprising a RAM that stores IF and SDP, RTP, and SIP information, other multipoint videoconferencing devices participate in the videoconference during a one-on-one videoconference. This can be achieved by a multipoint connection video conference apparatus having a communication control unit that dynamically determines the master unit in the multipoint connection videoconference system using the SDP and RTP received by the line IF.
また、参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して返信し、状態が未定状態または親状態のとき応答メッセージに親状態であることを記述して返信する多地点接続テレビ会議装置により、達成できる。 Also, when a join message is received, when the status is not connected, a response message is written indicating that the status is undetermined, and when the status is undetermined or parent status, the response message is described as being the parent status. This can be achieved with a multipoint videoconferencing device that responds with
さらに、送信元の状態が未定状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに未定状態であることを記述して送信元へ返信し、状態を未定状態へ遷移し、状態が未定状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態を親状態へ遷移し、状態が親状態のとき応答メッセージに親状態であることを記述して送信元へ返信し、状態が子状態のときリダイレクトメッセージを送信元へ返信し、送信元の状態が親状態の参加メッセージを受信したとき、状態が未接続のとき応答メッセージに子状態であることを記述して送信元へ返信し、状態を子状態へ遷移し、状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを送信元へ返信する多地点接続テレビ会議装置により、達成できる。 In addition, when a join message is received with the sender status being undetermined, when the status is not connected, the response message describes that the status is undetermined and returns to the sender, and the status transitions to the undetermined status. When the status is undetermined, the response message describes the parent status and returns to the sender. When the status is the parent status, the response message indicates that the status is the parent status. When the status is in the child state, the redirect message is sent back to the sender, and when the join status message is received in the parent status, the response message is in the child status when the status is not connected. Achieved by multipoint video conferencing equipment that writes and returns to the sender, transitions to the child state, and returns a busy message to the sender when the state is undecided, parent, or child Can .
多地点接続テレビ会議装置は、SDP、RTP、SIPの各プロトコルを用いて動的にシステム内の親機を決定することができる。また、装置がシステム内に親機が競合してしまうような接続を行なってしまっても、新たに接続してきた子機は親機へ転送され、多地点接続テレビ会議をフレキシブル且つ確実に実施する。 The multipoint connection video conference apparatus can dynamically determine the parent device in the system using each protocol of SDP, RTP, and SIP. In addition, even if the device makes a connection in which the parent device competes in the system, the newly connected child device is transferred to the parent device, and the multipoint connection video conference is performed flexibly and reliably. .
以下、本発明の実施の形態について、実施例を用い図面を参照しながら詳細に説明する。なお、実質同一部位には、同じ参照番号を振り、説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings using examples. Note that the same reference numerals are assigned to substantially the same parts, and description thereof will not be repeated.
本実施例の多地点接続テレビ会議装置は、多地点接続テレビ会議を実施する際にMCU機能(親機)とテレビ会議装置機能(子機)の両機能を有する。しかし、多地点接続テレビ会議装置は、親機、子機を意識することなく多数の装置と多地点接続テレビ会議を実施する。なお、本明細書または図面において、多地点接続テレビ会議装置を単に装置または多地点テレビ会議装置と記載することがある。 The multipoint connection video conference apparatus according to the present embodiment has both an MCU function (master unit) and a video conference apparatus function (slave unit) when a multipoint connection video conference is performed. However, the multipoint connection video conference apparatus performs the multipoint connection video conference with a large number of apparatuses without being aware of the master unit and the slave unit. Note that in this specification or the drawings, a multipoint video conference device may be simply referred to as a device or a multipoint video conference device.
多地点接続テレビ会議装置が親機として動作する場合には、自装置に接続したカメラからの入力映像データと他装置から受信する映像データの合成、スケーリングを実施し、その映像データを子機へ配信し、自装置に接続しているモニタへ出力する。また、音声も同様に自装置に接続したマイクからの音声データと他装置から受信した音声データをミキシングし、その音声データを子機へ配信し、自装置に接続しているスピーカへ出力する。 When a multipoint videoconferencing device operates as a parent device, the input video data from the camera connected to the device and the video data received from another device are combined and scaled, and the video data is sent to the child device. Distribute and output to monitor connected to own device. Similarly, the voice data from the microphone connected to the own apparatus and the voice data received from the other apparatus are mixed, the voice data is distributed to the slave unit, and output to the speaker connected to the own apparatus.
多地点接続テレビ会議装置が子機として動作する場合には、自装置に接続したカメラからの入力映像データを親機へ送信し、親機から配信された合成映像データを自装置に接続しているモニタへ出力する。また、自装置に接続したマイクからの入力音声データを親機へ送信し、親機から配信された音声データを自装置に接続しているスピーカへ出力する。 When a multipoint videoconferencing device operates as a slave unit, input video data from the camera connected to the host device is transmitted to the master unit, and the composite video data distributed from the master unit is connected to the host device. Output to the monitor. Also, the input voice data from the microphone connected to the own device is transmitted to the parent device, and the voice data distributed from the parent device is output to the speaker connected to the own device.
また、多地点接続テレビ会議装置は、IETF(The Internet Engineering Task Force)で標準化されたSIPを用いてIP網でつながれた装置間で呼制御を実施し、多地点接続テレビ会議を実現する。 The multipoint connection video conference apparatus performs call control between apparatuses connected by an IP network using SIP standardized by IETF (The Internet Engineering Task Force), thereby realizing a multipoint connection video conference.
図1を参照して、多地点接続テレビ会議装置システムのネットワーク構成を説明する。図1において、多地点接続テレビ会議装置システム100は、多地点接続テレビ会議装置10と、IP網20とから構成されている。多地点接続テレビ会議装置10は、映像データ、音声データ等のパケットを伝送するIP網20に接続されている。また、多地点接続テレビ会議装置10は、カメラ11と、モニタ12と、マイク13と、スピーカ14とが接続されている。カメラ11は、自拠点の映像を配信する。モニタ12は、多地点からの映像を映し出す。マイク13は、自拠点の音声を配信する。スピーカ14は、多地点の音声を出力する。
With reference to FIG. 1, a network configuration of a multipoint connection video conference apparatus system will be described. In FIG. 1, a multipoint connection video
図2を参照して、多地点接続テレビ会議装置の内部構成を説明する。図2において、多地点接続テレビ会議装置10は、回線IF101と、通信制御部102と、RAM103と、音声入力IF104と、音声圧縮部105と、音声伸張部106と、音声合成部107と、音声出力IF108と、映像入力IF109と、映像デコード部110と、映像スケーリング部111と、映像圧縮部112と、映像伸張部113と、映像合成部114と、映像スケーリング部115と、映像エンコード部116と、映像出力IF117とから構成される。
With reference to FIG. 2, an internal configuration of the multipoint connection video conference apparatus will be described. In FIG. 2, the multipoint connection
回線IF101は、当該多地点接続テレビ会議装置と他の多地点接続テレビ会議装置との間でIP網20を利用してデータ通信を行なうインタフェースである。回線IF101は、IP網20から受信したデータを通信制御部102へ出力する。また、回線IF101は、通信制御部102から受信したデータをIP網20へ出力する。
The line IF 101 is an interface that performs data communication using the
通信制御部102は、プロセッサ等で構成される。通信制御部102は、多地点接続テレビ装置間の通信に使用するSIP制御、装置の状態を通知するSDP制御、映像および音声データ、制御データを含んだRTP制御を行なう。通信制御部102は、それらデータをRAM103に入出力する。また、通信制御部102は、圧縮された音声データを音声伸張部106へ出力し、圧縮された映像データを映像伸張部113へ出力する。
The
RAM103は、IP網20経由で接続先多地点接続テレビ会議装置から送信されたSDP、RTP、SIPメッセージ内に含まれるSIP−URIの情報を格納するメモリである。RAM103に格納されたSDP、RTP、SIP−URIのデータを元に、多地点接続テレビ会議装置10は、多地点接続テレビ会議装置間の親子関係を決定する。
The
音声入力IF104は、当該装置に接続されるマイク13から入力される音声データを取り込むインタフェースである。音声圧縮部105は、音声入力IF104から入力された音声データをIP網20へ負荷のかからないように圧縮を行ない通信制御部102へ出力する。音声伸張部106は、音声圧縮部105にて圧縮された音声データを伸張する。当該装置が親機として機能する際に、音声伸張部106は、伸張した音声データを音声合成部107へ出力する。一方、子機として機能する場合、音声伸張部106は、伸張した音声データを音声出力IF108へ出力する。
The audio input IF 104 is an interface for capturing audio data input from the
音声合成部107は、当該装置が親機となる場合のみ機能する。音声合成部107は、各子機からと自装置のマイク13からの音声データを合成し、音声出力IF108と通信制御部102へ出力する。音声出力IF108は、装置内で処理された音声データを当該装置に接続されたスピーカ14に出力する。
The
映像入力IF109は、当該装置に接続されるカメラから入力される映像データを取り込むインタフェースである。映像デコード部110は、映像入力IF109から入力された映像データをデコードし、映像スケーリング部111へ出力する。映像スケーリング部111は、映像デコード部110から出力された映像データを接続形態によりスケーリングし、映像圧縮部112へ出力する。
The video input IF 109 is an interface for capturing video data input from a camera connected to the apparatus. The
映像圧縮部112は、映像スケーリング部111から出力されたデータをIP網20へ負荷のかからないように圧縮を行ない、通信制御部102へ出力する。映像伸張部113は、映像圧縮部112にて圧縮された映像データを伸張する。当該装置が親機として機能する際、映像伸張部113は、伸張した映像データを映像合成部114へ出力する。子機として機能する場合、映像伸張部113は、伸張した映像データを映像スケーリング部115へ出力する。
The
映像合成部114は、当該装置が親機となる場合のみ機能する。映像合成部114は、各子機からと自装置のカメラ11からの映像データを合成し、映像スケーリング部115へ出力する。映像スケーリング部115は、映像合成部114から出力された映像データを接続形態によりスケーリングし、映像エンコード部116および通信制御部102へ出力する。なお、映像スケーリング部115が通信制御部102へも出力するのは、親機の場合である。
The
映像エンコード部116は、映像スケーリング部115からの映像データを映像出力IF117へ出力する。映像出力IF117は、装置内で処理された映像データを当該装置に接続されたモニタ12に出力する。
The
多地点接続テレビ会議を実現するための、制御情報を含むSIP、SDP、RTPについて説明する。図3を参照して、多地点接続テレビ会議装置が送信するINVITEメッセージのボディに記載されたSDP記述を説明する。図3において、SDP記述のv行から、a=framerate:15までは、標準的な記述である。末尾のa=conference:serverが、本実施例で新たに定義された制御コードと通知情報である。具体的には、conferenceが制御コード識別子であり、serverが通知情報である。 SIP, SDP, and RTP including control information for realizing a multipoint connection video conference will be described. With reference to FIG. 3, the SDP description described in the body of the INVITE message transmitted by the multipoint connection video conference apparatus will be described. In FIG. 3, from the v line of the SDP description to a = framerate: 15 are standard descriptions. The suffix a = conference: server is the control code and notification information newly defined in this embodiment. Specifically, conference is a control code identifier, and server is notification information.
多地点接続テレビ会議装置10は、SDPによる通信のネゴシエーションを発着信と、応答のタイミングで実施する。通知する内容としてSDPのメディア記述へ自装置の状態を伝達する属性記述aを追加し、属性記述aに自装置の状態を設定し、接続先多地点接続テレビ会議装置10へ送信する。
The multipoint connection
図4を参照して、制御コード識別子と、通知情報とを記載した設定対応テーブル30を説明する。図4において、設定対応テーブル30は、制御コード識別子301のレコードと、通知情報302のレコードとを含む。設定対応テーブル30は、レコードに対応して、設定内容コラムと、意味コラムとを含む。制御コード識別子301の設定内容は、一つであり、conferenceのみである。conferenceは、ネゴシエーションデータであることを示す。一方、通知情報302の設定内容は、3種ある。それらは、undecidedと、serverと、clientとである。
With reference to FIG. 4, the setting correspondence table 30 in which the control code identifier and the notification information are described will be described. In FIG. 4, the setting correspondence table 30 includes a
undecidedは、自装置の状態は「未定」であることを意味する。undecidedは、1対1接続を意味する。serverは、自装置の状態が1対複数接続の「親」であることを意味する。clientは、自装置の状態が1対複数接続の「子」であることを意味する。 Undecided means that the state of the device itself is “undecided”. Undecided means a one-to-one connection. “server” means that the state of the own device is “parent” of one-to-multiple connection. The client means that the state of the own device is a “child” of one-to-multiple connection.
なお、制御コード識別子301、通知情報302の設定値は、任意に決定することができる。設定値は、他の値を設定したとしてもよい。図4に示すように、制御コード識別子301としてconferenceという固定値を使用し、この制御コード識別子301を使用している装置とのみSDPでのネゴシエーションを図る。
Note that the setting values of the
図5を参照して、2台の多地点接続テレビ会議装置間の接続処理を説明する。この接続処理は、SDPを利用した発着信シーケンスである。図5において、他の装置と未通信である装置10−Aは、同様に他の装置と未通信である装置10−B対して、呼接続要求を行なう。その時図4の設定対応テーブル30に従えば、装置10−Aと装置10−Bはお互い未通信からの接続となり1対1接続となるため、装置10−Aは、SDP内属性情報をundecidedとしたINVITEメッセージを装置10−Bへ送信する(S1)。装置10−Bもまた1対1接続となるため図4の設定対応テーブル30に従い、装置10−Bの通信制御部102はSDP内属性情報aをundecidedとした正常応答200 OKを装置10−Aに送信する(S2)。この時点では1対1通信であり、装置間に親子関係はない。
With reference to FIG. 5, a connection process between two multipoint connection video conference apparatuses will be described. This connection process is an outgoing / incoming sequence using SDP. In FIG. 5, the device 10-A not communicating with another device similarly makes a call connection request to the device 10-B not communicating with another device. At that time, according to the setting correspondence table 30 of FIG. 4, the device 10-A and the device 10-B are connected to each other from a non-communication and have a one-to-one connection. The transmitted INVITE message is transmitted to the apparatus 10-B (S1). Since the device 10-B also has a one-to-one connection, according to the setting correspondence table 30 in FIG. 4, the
図5で説明した通り、発信とその応答にはSDPを使用し装置の通信状態を通知し、通信のネゴシエーションを実施できる。しかし、通信中に装置の状態が変化した場合には相手側テレビ会議装置とのネゴシエーションにSDPを使用できない。これは、SDPを含むSIPメッセージは、セッションの開始時のINVITEメッセージ、200 OKメッセージのみの送信となるためである。そこで、音声RTPとは別に、装置の状態を通知するメッセージを図6に示す制御RTPとしてRTPに割り込ませる。このRTPによるネゴシエーションは、接続後に装置の状態が変わる度に実施する。 As described with reference to FIG. 5, the communication state of the apparatus can be notified by using SDP for transmission and its response, and communication negotiation can be performed. However, if the state of the device changes during communication, SDP cannot be used for negotiation with the other party's video conference device. This is because the SIP message including the SDP is a transmission of only the INVITE message and the 200 OK message at the start of the session. Therefore, apart from the voice RTP, a message notifying the state of the apparatus is interrupted in the RTP as the control RTP shown in FIG. This RTP negotiation is performed every time the state of the device changes after connection.
図6および図7を参照して、制御RTPのデータフォーマットと設定対応テーブル40とを説明する。図6において、制御データであるconference:request:serverの最初のコロンの前のconferenceは、制御コード識別子である。コロンに挟まれたrequestは、指示コードである。2番目のコロンの後のserverは、通知情報である。 The control RTP data format and the setting correspondence table 40 will be described with reference to FIGS. In FIG. 6, the conference before the first colon of the control: conference: request: server is a control code identifier. The request between the colons is an instruction code. The server after the second colon is notification information.
図7において、制御コード識別子401、指示コード402、通知情報403の設定値は、任意に決定することができる。図7の設定値は、他の値を設定したとしてもよい。制御RTPは、制御コード識別子401、指示コード402、通知情報403から構成される。制御コード識別子401は、conferenceという固定値を使用し、この制御コード識別子401を使用している装置とのみRTPでのネゴシエーションを実施する。
In FIG. 7, the setting values of the
指示コード402は、制御RTPを送信する装置から状態の通知を行なうために送信するrequestと、制御RTPを受信する装置がrequestに対する応答を示すために送信するresponseの2種類がある。 There are two types of instruction code 402: a request that is transmitted to notify the state from a device that transmits control RTP, and a response that is transmitted by a device that receives control RTP to indicate a response to the request.
通知情報403は4種類あり、それぞれ、1対1接続状態である装置同士の親子関係が未定であることを示すundecided、多地点接続を行なっている時に親機であることを示すserver、多地点接続を行なっている時に子機であることを示すclient、リクエスト受付不可の場合にレスポンスとしてのみ送信するxxxがある。
There are four types of
図8を参照して、図6および図7で説明した制御RTPを利用した装置間の親子関係ネゴシエーションを説明する。図8では初期状態において、装置10−Aと装置10−Bの1対1通信が行なわれている。装置10−Aと装置10−Bの装置状態は、ともにundecidedである。ここで、装置10−Cは、SDP内部属性情報aをundecidedとしたINVITEメッセージを装置10−Aに送信する(S3)。装置10−Aは、装置10−CからのINVITEメッセージに対する正常応答200 OKメッセージを装置10−Cに送信する(S4)。ステップ4にて送信するSDPの属性記述aは、serverであり、装置10−Cが装置10−Aに接続したことによって、装置10−Aの装置状態がundecidedからserver変化する。
With reference to FIG. 8, the parent-child relationship negotiation between apparatuses using the control RTP described in FIGS. 6 and 7 will be described. In FIG. 8, one-to-one communication between the device 10-A and the device 10-B is performed in the initial state. The device states of the devices 10-A and 10-B are both undecided. Here, the device 10-C transmits an INVITE message in which the SDP internal attribute information a is undecided to the device 10-A (S3). The device 10-A transmits a
このように通信中に親機となった装置10−Aの状態変化を契機に、装置10−Aは、制御RTPにて通知情報serverを装置10−Bに送信する(S5)。装置10−Bは、そのレスポンスとして制御RTPにて通知情報clientを送信する(S6)。この結果、装置10−A、装置10−B、装置10−C間の親子関係が決定され、通信中に遷移する。 As described above, the apparatus 10-A transmits the notification information server to the apparatus 10-B by the control RTP in response to the change in the state of the apparatus 10-A that becomes the parent device during communication (S5). The device 10-B transmits the notification information client as a response using the control RTP (S6). As a result, the parent-child relationship among the devices 10-A, 10-B, and 10-C is determined, and transition is made during communication.
図9を参照して、テレビ会議装置間で親子関係を如何に決定するかについて説明する。図9のフローチャートの処理は、装置10のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
With reference to FIG. 9, how to determine the parent-child relationship between the video conference apparatuses will be described. The process of the flowchart in FIG. 9 describes the operation of the
図9において、通信制御部102は、他のテレビ会議装置からの着信を受け付ける(S100)。通信制御部102は、自装置が他装置と通信中であるかどうかの判定を行なう(S101)。通信中でないとき(NO)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S102)。undecidedと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてundecidedと通知して(S104)、終了する。この時点では1対1通信であり、装置間の親子関係は未定である。
In FIG. 9, the
一方、ステップ102で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかどうかの判定を行なう(S103)。serverと判定された場合(YES)、通信制御部102は、相手端末に対してSDPの属性情報としてclientと通知して(S105)、終了する。ここで、1対複数の接続となるため、装置間の親子関係が決定する。
On the other hand, if it is determined in
一方、ステップ103で、受信したSDPの属性情報がserverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、本実施例では親機の競合が発生してしまうという理由から、子機(client)が発信することを許容しておらず、属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。ステップ101において、通信制御部102が自装置が他装置と通信中であると判定した場合(YES)、通信制御部102は、ステップ106に遷移する。
On the other hand, if it is determined in
図9Bに移って、ステップ106において、通信制御部102は。自装置の接続状態がundecidedであるかどうかの判定を行なう。自装置の接続状態がundecidedであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるかどうかの判定を行なう(S107)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知する(S109)。この時点で1対複数通信となり、装置間の親子関係が決定される。通信制御部102は、通信開始時にSDPの属性情報としてundecidedを送信したもう一つの接続装置へ、制御RTPにて自装置がserverを通知して(S110)、終了する。
9B, in
一方、ステップ107で、受信したSDPの属性情報がundecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S108)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S111)、終了する。
On the other hand, when it is determined in
一方、ステップ108で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信すると、親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
On the other hand, if it is determined in
ステップ106で、自装置の接続状態がundecidedではないと判定された場合(NO)、通信制御部102は、自装置の接続状態がserverであるか判定を行なう(S112)。serverであると判定された場合(YES)、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S113)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に対してSDPの属性情報としてserverと通知して(S115)、終了する。この時点では既に1対複数通信となっており、装置の親子関係は決定している。
If it is determined in
一方、ステップ113で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるかの判定を行なう(S114)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S116)、終了する。
On the other hand, if it is determined in
一方、ステップ114で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から、許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、ありえない接続となり、通信制御部102は、フローを終了する。
ステップ112において通信制御部102が、自装置の接続状態がserverではないと判定した場合(NO)、ステップ118に遷移する。
On the other hand, if it is determined in
If the
図9Cにおいて、通信制御部102は、受信したSDPの属性情報がundecidedであるか判定を行なう(S118)。undecidedと判定された場合(YES)、通信制御部102は、相手装置に、親機と接続させるためにSIPのリダイレクトメッセージである302 Moved Temporarilyメッセージを送信して(S120)、終了する。
In FIG. 9C, the
一方、ステップ118で、undecidedではないと判定された場合(NO)、通信制御部102は、受信したSDPの属性情報がserverであるか判定を行なう(S119)。serverと判定された場合(YES)、通信制御部102は、親機の競合を防ぐため接続を要求してきた装置に対し、SIPの話中のメッセージである486busyを送信して(S121)、終了する。
On the other hand, if it is determined in
一方、ステップ119で、serverではないと判断された場合(NO)、受信するSDP属性情報はclientとなる。しかし、子機(client)が発信することを親機の競合が発生してしまうという理由から許容しておらず属性情報がclientと宣言されたSDPを受信することはない。このため、通信制御部102は、フローを終了する。
On the other hand, if it is determined in
図10のフローチャートを参照して、装置が発信した際にどのようにしてテレビ会議装置間の親子関係を決定するかについて説明する。図10のフローチャートの処理は、装置のRAM103内に収められている通信先装置からのSDP属性情報データを用いた通信制御部102の動作について説明したものである。
With reference to the flowchart of FIG. 10, how the parent-child relationship between the video conference apparatuses is determined when the apparatus transmits is described. The process of the flowchart in FIG. 10 describes the operation of the
図10において、通信制御部102は、自装置が他装置と通信中であるか判定を行なう(S130)。通信中でないと判定された場合(NO)、通信制御部102は接続先装置へSDP内属性記述をundecidedとしたINVITEメッセージを送信して(S131)、終了する。
In FIG. 10, the
ステップ130で、通信中であると判定された場合(YES)、通信制御部102は、自装置の通信状態がundecidedか判定する(S132)。undecidedと判定された場合(YES)、通信制御部102は、通信状態をserverへ、遷移する(S135)。通信制御部102は、接続先装置へSDP内属性記述をserverとしたINVITEメッセージを送信して(S136)、終了する。なお、ステップ135と、ステップ136は、順序が逆でもよい。
If it is determined in
ステップ132で、undecidedではないと判定した場合(NO)、通信制御部102は、自装置の状態がsereverであるかを判定する(S133)。serverと判定した場合(YES)、通信制御部102は、接続先装置へSDP内部属性記述をserverとしたINVITEメッセージを送信して(S134)、終了する。
If it is determined in
ステップ133で、serverでないとき、通信制御部102は、そのまま終了する。これは、undecidedでもserverでもないときは、clientとなり、clientの発信を許容しないためである。
In
図11を参照して、発信時自装置接続状態による送出SDP情報条件テーブル50を説明する。図11において、接続状態には、未通信と通信中とがある。通信中の状態として、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを送信するときのSDP情報は、以下の通りである。 With reference to FIG. 11, the transmission SDP information condition table 50 according to the connection state of the own device at the time of transmission will be described. In FIG. 11, the connection state includes uncommunication and communication. The communication status further includes undecided, server, and client. The SDP information when transmitting INVITE from these four states is as follows.
未通信のとき、通信制御部102は、undecidedを送信する。undecidedのとき、通信制御部102は、serverを送信する。serverのとき、通信制御部102は、serverを送信する。clientのとき、通信制御部102は、発信しないので、発生しない。
When there is no communication, the
図12を参照して、装置10−A〜10−Dが4地点でテレビ会議を行なう際の接続シーケンスを説明する。図12において、装置10−Bは、装置10−Aに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S7)。このとき、NVITEメッセージのボディのSDPには属性記述をundecidedとして送信する。装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Bに送信する(S8)。このとき、メッセージのボディのSDPには属性記述をundecidedとして送信する。
With reference to FIG. 12, the connection sequence at the time of apparatus 10-A-10-D having a video conference in four places is demonstrated. In FIG. 12, the device 10-B sends a SIP INVITE message, which is a call connection request, to the device 10-A (S7). At this time, the attribute description is transmitted as undecided in the SDP of the body of the NVITE message. Upon receiving the INVITE message, the device 10-A transmits a
装置10−Bは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S9)。
Upon receiving the
装置10−Aは、装置10−Bから受信したSDP内の属性記述をRAM103内に保存する。また、装置10−Bも、同様にSDP内の属性記述をRAM103内に保存する。
The device 10 -A stores the attribute description in the SDP received from the device 10 -B in the
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Bに対して送信する。装置10−Bも、同様に装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Aは、受信した装置10−Bからのデータについて、装置10−Aに接続されるスピーカ14、モニタ12に対して出力する。また、装置10−Bが受信した装置10−Aからのデータは、装置10−Bによって装置10−Bに接続されるスピーカ14、モニタ12に対して出力される。
After the one-to-one connection is completed between the devices 10-A and 10-B, the device 10-A transmits the audio data of the
装置10−Aと装置10−Bにて1対1接続が完了した後、装置10−Cが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S10)。また、INVITEメッセージのボディのSDPの属性記述は、undecidedである。 After the one-to-one connection is completed between the devices 10-A and 10-B, the device 10-C sends a SIP INVITE message as a call connection request to the device 10-A (S10). The SDP attribute description of the body of the INVITE message is undecided.
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Cに送信する(S11)。このとき、1対2接続となり装置10−Aが音声、映像を合成し配信する親機となるため、装置10−Aが送信するSDPで宣言される属性記述は、serverである。
Upon receiving the INVITE message, the device 10-A transmits a
装置10−Cは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S12)。
When receiving the
この時装置10−Aを親機とした1対2接続になる為、装置間で初めて親子関係が決定する。多地点接続テレビ会議システムが1対2接続となることを契機として、決定した親子関係を元に、親機となる装置10−AはRAM103上の属性記述aがundecidedのままである装置10−Bに対して制御RTPを使用し、装置10−Aが親機となったとなったことを通知するrequestとしてserverと送信する(S13)。装置10−Bは、装置10−Aに対してrequestに対するresponseとして、clientを送信し(S14)、装置10−BのRAM103の接続状態情報が更新される。
At this time, since the one-to-two connection is made with the device 10-A as the parent device, the parent-child relationship is determined for the first time between the devices. On the basis of the one-to-two connection of the multipoint connection video conference system, based on the determined parent-child relationship, the device 10-A serving as the parent device has the attribute description a on the
装置10−A、装置10−B、装置10−Cにて1対2接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ1の映像データを装置10−Aに対して送信する、装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
After the one-to-two connection is completed in the device 10-A, the device 10-B, and the device 10-C, the device 10-B transmits the audio data of the
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
The apparatus 10-A includes the audio data of the
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−Cに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
Audio data and video data synthesized by the device 10-A are output by the
装置10−Aを親とする1対2接続が完了した後、装置10−Dが装置10−Aに対して呼接続要求であるSIPのINVITEメッセージを送出する(S15)。INVITEメッセージのボディのSDPの属性記述は、undecidedである。 After the one-to-two connection with the device 10-A as a parent is completed, the device 10-D sends a SIP INVITE message as a call connection request to the device 10-A (S15). The SDP attribute description of the body of the INVITE message is undecided.
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置Dに送信する(S16)。メッセージボディのSDP内属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S17)。
Upon receiving the INVITE message, the device 10-A transmits a
装置10−Aを親とする1対3接続が完了した後、装置10−Bは、装置10−Bに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Cも、同様に装置10−Cに接続されるマイク13の音声データ、カメラ11の映像データを装置10−Aに対して送信する。装置10−Dも、同様に装置10−Dに接続されるマイク31の音声データ、カメラ11の映像データを装置10−Aに対して送信する。
After the one-to-three connection with the device 10-A as a parent is completed, the device 10-B sends the audio data of the
装置10−Aは、装置10−Aに接続されるマイク13の音声データ、カメラ11の映像データと、装置10−Bから受信したマイク13の音声データ、カメラ11の映像データと、装置10−Cから受信したマイク13の音声データ、カメラ11の映像データと装置10−Dから受信したマイク13の音声データ、カメラ11の映像データをそれぞれ合成する。
The apparatus 10-A includes the audio data of the
装置10−Aによって合成された音声データ、映像データは、それぞれ装置10−Aに接続されるスピーカ14、モニタ12によって出力される。合成された音声データ、映像データは、また、同時に装置10−B、装置10−C、装置10−Dに対しても送信される。装置10−Bは、装置10−Aから受信した音声データ、映像データを接続しているスピーカ14、モニタ12に対して出力する。装置10−Cは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。装置10−Dは、装置10−Aから受信した音声データ、映像データを、接続しているスピーカ14、モニタ12に対して出力する。
Audio data and video data synthesized by the device 10-A are output by the
図13を参照して、多地点接続テレビ会議装置がRAM103上で管理する各装置の情報を示したテーブルを説明する。図12のシーケンスがステップ17まで完了し装置Aを親とする1対3の接続が完了した時、図13の通りのデータを各装置はRAM103上で管理する。すなわち、装置Aは、装置B、装置C、装置DのSIP−URIと、装置B、装置C、装置Dがそれぞれclientであることを管理する。また、装置B、装置C、装置Dは、それぞれ装置AのSIP−URIと、装置Aがserverであることを管理する。
With reference to FIG. 13, a table showing information of each device managed on the
図14を参照して、1対2での多地点接続テレビ会議中に子機として機能している装置10−Cに対して、新たな装置10−Dから発信した場合の処理について説明する。図14において、装置10−Aが親機として機能している。ステップ18からステップ25までは、図12のステップ7からステップ14までと同じなので、説明を省略する。
With reference to FIG. 14, processing when a new device 10 -D transmits to the device 10 -C functioning as a slave during a one-to-two multipoint connection video conference will be described. In FIG. 14, the device 10-A functions as a master unit.
装置10−Dは、装置10−Cに対して、呼接続要求であるSIPのINVITEメッセージを送出する(S26)。メッセージボディのSDPの属性記述はundecidedである。装置10−Cは、属性記述がundecidedとなったSDPを受信する。しかし、自装置がclientとして動作しており、着信を許可してしまうと多地点テレビシステム内に親機の競合が発生してしまう。そのため、装置10−Cの通信制御部102は、装置10−Dに対して、多地点接続テレビ会議システム内において、現時点で親機である装置10−Aに向けて装置10−Dを接続変更させるため、SIPのリダイレクトメッセージである302 Moved Temporarilyを装置10−Dへ送信する(S27)。なお、接続先変更の情報は、装置10−CのRAM103上で管理する各装置情報を示したテーブル内のSIP−URIであり、その装置10−Aに対応したSIP−URIを302 Moved Temporarilyメッセージ内のコンタクトヘッダ内で指定する。
The device 10-D sends a SIP INVITE message, which is a call connection request, to the device 10-C (S26). The SDP attribute description of the message body is undecided. The device 10-C receives the SDP whose attribute description is undecided. However, if the device is operating as a client and the incoming call is permitted, contention for the parent device occurs in the multipoint television system. Therefore, the
装置10−Dは、リダイレクトメッセージ 302 Moved Temporarilyを受信すると、リダイレクトメッセージ 302 Moved Temporarilyに対応した受信確認のACKメッセージを装置10−Cに送信する。(S28)
装置10−Dは、装置10−Cから受け取った302 Moved Temporarilyメッセージ中のコンタクトヘッダ内SIP−URIを参照し、転送先である装置10−Aに対して再度INVITEメッセージを送信する(S29)。メッセージボディのSDPの属性記述は、undecidedである。
Upon receiving the
The device 10-D refers to the SIP-URI in the contact header in the 302 Moved Temporary message received from the device 10-C, and transmits the INVITE message again to the device 10-A that is the transfer destination (S29). The SDP attribute description of the message body is undecided.
装置10−Aは、INVITEメッセージを受信すると、INVITEメッセージに対応する正常応答200 OKメッセージを装置10−Dに送信する(S30)。メッセージボディのSDPの属性記述は、serverである。装置10−Dは、正常応答200 OKメッセージを受信すると、正常応答200 OKメッセージに対応した受信確認のACKメッセージを装置10−Aに送信する(S31)。
Upon receiving the INVITE message, the device 10-A transmits a
以上の方法により、装置10−Aが親機、装置10−B、10−C、10−Dが子機と決定され、多地点接続テレビ会議にて1対4接続を実現する。本実施例では1対4接続の場合を説明したが、接続数が変わっても、親機を決定する方式は変わらない。 By the above method, the device 10-A is determined as the parent device, and the devices 10-B, 10-C, and 10-D are determined as the child devices, and the one-to-four connection is realized in the multipoint connection video conference. In this embodiment, the case of one-to-four connection has been described. However, even if the number of connections changes, the method for determining the parent device does not change.
以下、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加した場合の処理について説明する。 Hereinafter, the network in which the devices 10-C, 10-D, and 10-E perform one-to-two communication joins the network in which the devices 10-A and 10-B perform one-to-one communication. The processing in the case of having been performed will be described.
図15を参照して、装置10−Aと装置10−Bが1対1の通信を行なっているネットワークに、装置10−Cと装置10−Dと装置10−Eが1対2通信をしているネットワークが参加したケースを説明する。図15において、装置10−Aと装置10−Bが1対1の通信をしているので、装置10−Aと装置10−Bとは、undecided状態である。一方、装置10−Cと装置10−Dと装置10−Eが1対2通信しており、装置10−Cは、server状態、装置10−Dと装置10−Eとは、client状態である。また、装置10−Cは、装置10−Aに発信している
既に説明したように、この場合着信を受ける装置10−Aが親機になる。しかし、発信をした装置10−Cも親機であるため、多地点接続テレビ会議システム内に親機が2台存在することになり親機が競合してしまう。
Referring to FIG. 15, devices 10-C, 10-D, and 10-E perform one-to-two communication in a network in which devices 10-A and 10-B perform one-to-one communication. Explain the case where a network is participating. In FIG. 15, since the device 10-A and the device 10-B perform one-to-one communication, the device 10-A and the device 10-B are in an undecided state. On the other hand, the device 10-C, the device 10-D, and the device 10-E communicate one-to-two, the device 10-C is in the server state, and the device 10-D and the device 10-E are in the client state. . Further, the device 10-C is transmitting to the device 10-A. As described above, in this case, the device 10-A that receives an incoming call becomes the parent device. However, since the transmitting device 10-C is also a parent device, there are two parent devices in the multipoint connection video conference system, and the parent devices compete with each other.
図16を参照して、親機の競合を防ぐため受信したSDP内属性記述による動作条件テーブル60を説明する。図16において、INVITEを受信したテレビ会議装置10の状態は、未通信または通信中である。通信中の状態は、さらにundecidedとserverとclientとがある。これらの4状態からINVITEを受信したときのSDP情報は、以下の通りである。
With reference to FIG. 16, the operation condition table 60 based on the received attribute description in the SDP will be described in order to prevent contention of the parent device. In FIG. 16, the state of the
まず、INVITEを受信したときのSDP情報がclientは、許容しないので発生しない。
INVITEを受信したときのSDP情報がundecidedのとき、状態が未接続なら、多地点接続テレビ会議装置10は、undecided応答を返信して、undecided状態に遷移する。状態がundecidedなら、多地点接続テレビ会議装置10は、server応答を返信して、server状態に遷移する。状態がserverなら、多地点接続テレビ会議装置10は、server応答を返信する。状態がclientなら、多地点接続テレビ会議装置10は、302 Moved Temporarilyを送信する。
First, since the client does not allow the SDP information when INVITE is received, it does not occur.
When the SDP information when receiving INVITE is undecided and the state is not connected, the multipoint connection
INVITEを受信したときのSDP情報がserverのとき、状態が未接続なら、多地点接続テレビ会議装置10は、client応答を返信して、client状態に遷移する。状態がundecided、serverまたはclientなら、多地点接続テレビ会議装置10は、486 busyを送信する。
When the SDP information when receiving the INVITE is “server” and the state is not connected, the multipoint connection
図17を参照して、図15の接続が発生した場合の多地点接続テレビ会議装置10−Aと、多地点接続テレビ会議装置10−Cの接続シーケンスを説明する。図17において、装置10−Aは、装置10−Cからの接続要求INVETEメッセージを受信する(S36)。しかし、装置10−Cが送信したSDP内の属性記述がserverであり、装置10−A自身の装置状態がundecidedであるため、装置10−Aは装置10−Cに対して、話中であることを示す486 busyメッセージを送信し、接続を拒否する(S37)。486 busyメッセージを受信した装置10−Cは、受信確認のACKメッセージを装置10−Aに送信する(S38)
図12、図14の多地点接続についても、図16のテーブルに従い装置10−A、装置10−B、装置10−C、装置10−Dは、動作する。
このようにして、多地点接続テレビ会議システム上に親機の競合を防ぎ、会議開始前に事前に親機を会議参加者同士で決定するという煩雑な作業がなく、どの装置とでもフレキシブルに接続できる。
With reference to FIG. 17, the connection sequence of the multipoint connection video conference apparatus 10-A and the multipoint connection video conference apparatus 10-C when the connection of FIG. 15 occurs will be described. In FIG. 17, the device 10-A receives the connection request INVETE message from the device 10-C (S36). However, since the attribute description in the SDP transmitted by the device 10-C is “server” and the device state of the device 10-A itself is undecided, the device 10-A is busy with the device 10-C. A 486 busy message indicating this is transmitted, and the connection is rejected (S37). The device 10-C that has received the 486 busy message transmits an acknowledgment message ACK message to the device 10-A (S38).
Also for the multipoint connection of FIGS. 12 and 14, the device 10-A, the device 10-B, the device 10-C, and the device 10-D operate according to the table of FIG.
In this way, it is possible to connect to any device flexibly without any complicated work of preventing the conflict of the parent device on the multipoint connection video conference system and determining the parent device between the conference participants in advance before the start of the conference. it can.
図18ないし図20を参照して、装置10−Aを親機として、装置10−A⇔装置10−B、装置10−A⇔装置10−C、装置10−A⇔装置10−Dの1対3多地点接続テレビ会議を実施中に親機である装置10−Aが会議から退席する場合の処理について説明する。 Referring to FIGS. 18 to 20, device 10-A is used as a parent device, and device 10-A⇔device 10-B, device 10-A⇔device 10-C, device 10-A⇔device 10-D A process when the parent device 10-A leaves the conference during the 3 to 3 multi-point connection video conference will be described.
図18を参照して、装置10−Aを親機として装置A⇔装置B、装置A⇔装置C、装置A⇔装置Dの1対3多地点接続テレビ会議を実施中に、親装置である装置10−Aが会議から退席するケースを説明する。図18において、親装置である多地点接続テレビ会議装置10−Aは、退席するとき、多地点接続テレビ会議装置10−B、多地点接続テレビ会議装置10−C、多地点接続テレビ会議装置10−Dとの接続を切断する。多地点接続テレビ会議装置10−Cは、子装置から親装置に遷移する。 Referring to FIG. 18, the device 10-A is the parent device during the one-to-three multipoint connection video conference of device A⇔device B, device A⇔device C, and device A⇔device D using the device 10-A as the parent device. A case where the apparatus 10-A leaves the conference will be described. In FIG. 18, when the multipoint connection video conference apparatus 10 -A, which is the parent apparatus, leaves, the multipoint connection video conference apparatus 10 -B, the multipoint connection video conference apparatus 10 -C, and the multipoint connection video conference apparatus 10 -Disconnect from D. The multipoint connection video conference device 10-C transitions from the child device to the parent device.
図19を参照して、装置10−Aが退席後も装置10−B、10−C、10−D間で多地点接続テレビ会議を継続する場合の処理を説明する。図19において、装置10−Aは、次に親機とする装置10−CにBYEを送信する(S41)。装置10−Cは、装置10−Aに200 OKを送信する(S42)。装置10−Aは、装置10−BにREFER Refer−To:装置Cを送信する(S43)。装置10−Bは、装置10−Aに202 Acceptedを送信する(S44)。装置10−Aは、装置10−BにBYEを送信する(S46)。装置10−Bは、装置10−Aに200 OKを送信する(S47)。 With reference to FIG. 19, processing when the multipoint connection video conference is continued between the devices 10 -B, 10 -C, and 10 -D even after the device 10 -A leaves the seat will be described. In FIG. 19, the device 10 -A transmits BYE to the next device 10 -C as the parent device (S 41). The device 10-C transmits 200 OK to the device 10-A (S42). The device 10-A transmits REFER Refer-To: device C to the device 10-B (S43). The device 10-B transmits 202 Accepted to the device 10-A (S44). The device 10-A transmits BYE to the device 10-B (S46). The device 10-B transmits 200 OK to the device 10-A (S47).
装置10−Aは、装置10−Dに制御RTPを送信する(S48)。このとき、制御データは、conference:request:undecidedである。装置10−Dは、装置10−Aに制御RTPを送信する(S49)。このとき、制御データは、conference:responce:undecidedである。 The device 10-A transmits a control RTP to the device 10-D (S48). At this time, the control data is conference: request: undecided. The device 10-D transmits a control RTP to the device 10-A (S49). At this time, the control data is conference: response: undecided.
装置10−Bは、装置10−CにINVITE Referred−By:装置Aを送信する(S51)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Bに200 OKを送信する(S52)。このとき、メッセージボディには、undecidedが記載されている。装置10−Bは、装置10−CにACKを送信する(S53)。装置10−Bは、装置10−CにNOTIFYを送信する(S54)。NOTIFYは、転送を知らせるメッセージである。装置10−Cは、装置10−Bに200 OKを送信する(S56)。これまでで、装置10−Bと装置10−Cとは、通話中となる。 The device 10-B transmits INVITE Referred-By: device A to the device 10-C (S51). At this time, undecided is described in the SDP of the message body. The device 10-C transmits 200 OK to the device 10-B (S52). At this time, undecided is described in the message body. The device 10-B transmits ACK to the device 10-C (S53). The device 10-B transmits NOTIFY to the device 10-C (S54). NOTIFY is a message notifying the transfer. The device 10-C transmits 200 OK to the device 10-B (S56). Up to now, the device 10-B and the device 10-C are busy.
装置10−Aは、装置10−DにREFER Refer−To:装置Cを送信する(S57)。装置10−Dは、装置10−Aに202 Acceptedを送信する(S58)。装置10−Aは、装置10−DにBYEを送信する(S59)。装置10−Dは、装置10−Aに200 OKを送信する(S61)。 The device 10-A transmits REFER Refer-To: device C to the device 10-D (S57). The device 10-D transmits 202 Accepted to the device 10-A (S58). The device 10-A transmits BYE to the device 10-D (S59). The device 10-D transmits 200 OK to the device 10-A (S61).
装置10−Dは、装置10−CにINVITE Referred−By:装置Aを送信する(S62)。このとき、メッセージボディのSDPにはundecidedが記載されている。装置10−Cは、装置10−Dに200 OKを送信する(S63)。このとき、メッセージボディには、undecidedが記載されている。装置10−Dは、装置10−CにACKを送信する(S64)。装置10−Dは、装置10−AにNOTIFYを送信する(S66)。装置10−Aは、装置10−Dに200 OKを送信する(S67)。これまでで、装置10−Dと装置10−Cとは、通話中となる。 The device 10-D transmits INVITE Referred-By: device A to the device 10-C (S62). At this time, undecided is described in the SDP of the message body. The device 10-C transmits 200 OK to the device 10-D (S63). At this time, undecided is described in the message body. The device 10-D transmits ACK to the device 10-C (S64). The device 10-D transmits NOTIFY to the device 10-A (S66). The device 10-A transmits 200 OK to the device 10-D (S67). Up to now, the device 10-D and the device 10-C are busy.
装置10−Cは、装置10−Bに制御RTPを送信する(S68)。このとき、制御データは、conference:request:serverである。装置10−Bは、装置10−Cに制御RTPを送信する(S69)。このとき、制御データは、conference:responce:clientである。 The device 10-C transmits a control RTP to the device 10-B (S68). At this time, the control data is conference: request: server. The device 10-B transmits a control RTP to the device 10-C (S69). At this time, the control data is conference: response: client.
図20を参照して、親機の状態から退席するテレビ会議装置の処理フローを説明する。図20において、通信制御部102は、ユーザーからの設定を元に多地点接続テレビ会議を継続するかどうかの判定を行なう(S200)。多地点接続テレビ会議を継続して実施すると判定された場合(YES)、通信制御部102は、自装置が退席後に親機とする端末を多地点接続テレビ会議から切り離すため、切断処理を実施する(S201)。
With reference to FIG. 20, a processing flow of the video conference apparatus that leaves the base unit will be described. In FIG. 20, the
通信制御部102は、退席後に子機とする装置へ、次に親機として動作する装置に接続させるため、RAM103内に保存している転送先のSIP−URIをSIPの転送メッセージであるREFERメッセージに転送先として指定し、送信して(S202)、終了する。
The
一方、ステップ200にて多地点接続テレビ会議を継続して実施しないと判定された場合(NO)、通信制御部102は、自装置に接続しているすべての装置に対して切断処理を実施する(S203)。
On the other hand, when it is determined in
このようにして、多地点接続テレビ会議実施中に親機が退席しなければならないような状況において、多地点接続テレビ会議を継続したい場合、新規に親機となる装置への接続変更処理を行なうことにより、多地点接続テレビ会議を継続することができる。 In this way, when a multipoint connection video conference is to be continued in a situation where the base unit must leave during a multipoint connection video conference, a connection change process is newly performed for the device that becomes the base unit. Thus, the multipoint connection video conference can be continued.
10…多地点接続テレビ会議装置、20…IP網、30…SDP内属性記述a設定対応テーブル、40…制御RTP設定対応テーブル、50…発信時自装置接続状態による送出SDP情報条件テーブル、60…自装置状態と、受信SDP内属性記述による動作条件テーブル、100…多地点接続テレビ会議システム、101…回線IF、102…通信制御部、103…RAM、104…音声入力IF、105…音声圧縮部、106…音声伸張部、107…音声合成部、108…音声出力IF、109…映像入力IF、110…映像デコード部、111、115…映像スケーリング部、112…映像圧縮部、113…映像伸張部、114…映像合成部、116…映像エンコード部、117…映像出力IF、301…SDP制御コード識別子、302…SDP通知情報、401…RTP制御コード識別子、402…RTP指示コード、403…RTP通知情報。
DESCRIPTION OF
Claims (3)
1対1でのテレビ会議を実施中に、他の多地点接続テレビ会議装置がそのテレビ会議に参加するとき、前記回線IFが受信したSDP、RTPを利用して動的に多地点接続テレビ会議システム内の親機を決定する通信制御部を有することを特徴とする多地点接続テレビ会議装置。 A line IF for realizing input / output of data from the IP network, an audio input IF for taking in audio data from a microphone, an audio compression unit for compressing data from the audio input IF, and compressed audio Audio decompression unit for decompressing data, audio synthesis unit for synthesizing audio transmitted from multiple points, audio output IF unit for outputting audio data to a speaker, and capturing video data from a camera Video input IF, a video decoding unit for decoding data from the video input IF, a video scaling unit for scaling the decoded video data to a predetermined size, and a video compression for compressing the video data , Video decompression unit for decompressing compressed video data, and video composition unit for synthesizing video data transmitted from multiple points A video scaling unit for scaling the synthesized video to a predetermined size, a video encoding unit for encoding the scaled video, a video output IF for outputting the encoded video data to the TV, In a multipoint video conferencing apparatus comprising a RAM for storing SDP, RTP, and SIP information,
When another multipoint video conference apparatus participates in the video conference during the one-to-one video conference, the multipoint video conference is dynamically used by using the SDP and RTP received by the line IF. A multipoint videoconferencing apparatus comprising a communication control unit for determining a parent device in a system.
1対2での子機としてテレビ会議実施中に、他の多地点接続テレビ会議からそのテレビ会議への参加メッセージを受信したとき、前記通信制御部は、親機のSIP−URIを含む転送メッセージを前記他の多地点接続テレビ会議に返信することを特徴とする多地点接続テレビ会議装置。 The multipoint videoconferencing device according to claim 1,
When a teleconference is being performed as a one-to-two slave unit and a message for joining the teleconference is received from another multipoint video conference, the communication control unit transmits a transfer message including the SIP-URI of the master unit. Is returned to the other multipoint video conference.
状態が未接続のとき応答メッセージに未定状態であることを記述して前記送信元へ返信し、前記状態を未定状態へ遷移し、
状態が未定状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、前記状態を親状態へ遷移し、
状態が親状態のとき前記応答メッセージに親状態であることを記述して前記送信元へ返信し、
状態が子状態のときリダイレクトメッセージを前記送信元へ返信し、
送信元の状態が親状態の参加メッセージを受信したとき、
状態が未接続のとき応答メッセージに子状態であることを記述して前記送信元へ返信し、前記状態を子状態へ遷移し、
状態が未定状態、親状態、子状態のいずれかのとき話中メッセージを前記送信元へ返信することを特徴とする多地点接続テレビ会議装置。 When a join message is received with the sender status being undetermined,
When the state is not connected, it is described in the response message that it is in an undetermined state, and is sent back to the transmission source.
When the state is undetermined state, it is described in the response message that it is the parent state, it is returned to the transmission source, the state is transitioned to the parent state,
When the status is the parent status, it is described in the response message that the status is the parent status, and is sent back to the sender.
When the status is a child status, a redirect message is returned to the sender,
When a join message with a parent status is received,
When the state is not connected, it is described in the response message that it is a child state, it is returned to the transmission source, the state is transitioned to a child state,
A multi-point connection video conference apparatus, wherein a busy message is returned to the transmission source when the state is any of an undecided state, a parent state, and a child state.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131280A JP5579660B2 (en) | 2011-06-13 | 2011-06-13 | Multipoint video conferencing equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011131280A JP5579660B2 (en) | 2011-06-13 | 2011-06-13 | Multipoint video conferencing equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013005031A JP2013005031A (en) | 2013-01-07 |
JP5579660B2 true JP5579660B2 (en) | 2014-08-27 |
Family
ID=47673179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011131280A Expired - Fee Related JP5579660B2 (en) | 2011-06-13 | 2011-06-13 | Multipoint video conferencing equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5579660B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6260926B2 (en) * | 2013-06-12 | 2018-01-17 | 株式会社リコー | COMMUNICATION DEVICE, COMMUNICATION SYSTEM, COMMUNICATION DEVICE OPERATION METHOD, AND PROGRAM |
CN106500739B (en) * | 2016-11-18 | 2019-01-25 | 威科达(东莞)智能控制有限公司 | A method of it is communicated with absolute value encoder |
CN111641602B (en) * | 2020-05-13 | 2022-11-04 | 维沃移动通信有限公司 | Session creation method and device and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006033396A (en) * | 2004-07-15 | 2006-02-02 | Sony Corp | Transmitter, receiver, communication system, transmission method, reception method, transmission program, reception program, and server device |
JP2008288974A (en) * | 2007-05-18 | 2008-11-27 | Sony Corp | Video conference system and video conference device |
JP4613981B2 (en) * | 2008-06-12 | 2011-01-19 | ソニー株式会社 | COMMUNICATION CONTROL DEVICE, COMMUNICATION TERMINAL DEVICE, COMMUNICATION SYSTEM AND COMMUNICATION CONTROL METHOD |
JP2012029183A (en) * | 2010-07-27 | 2012-02-09 | Brother Ind Ltd | Communication device, communication system, communication method, and communication program |
JP2012119884A (en) * | 2010-11-30 | 2012-06-21 | Brother Ind Ltd | Communication terminal, communication system and communication program |
-
2011
- 2011-06-13 JP JP2011131280A patent/JP5579660B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013005031A (en) | 2013-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113746808A (en) | Converged communication method for online conference, gateway, electronic device, and storage medium | |
EP2130346B1 (en) | Media stream setup in a group communication system | |
US7328240B2 (en) | Distributed multipoint conferencing | |
WO2011109978A1 (en) | Method and terminal for controlling lens | |
JP2009246994A (en) | Method for providing early-media service based on session initiation protocol, and application server for providing early-media service based on session initiation protocol | |
US8384759B2 (en) | Video conferencing apparatus and method for configuring a communication session | |
WO2015127799A1 (en) | Method and device for negotiating on media capability | |
CN101483749A (en) | Video meeting implementing method and system based on media server | |
JP5036527B2 (en) | Connection apparatus and connection method | |
KR101589195B1 (en) | METHOD AND APPARATUS FOR SEAMLESSlY IMPLEMENTING TRNASFERRING DUAL-PARTY CALL INTO CONFERENCE | |
JP2007318556A (en) | Multipoint video conference system in communication network | |
JP5579660B2 (en) | Multipoint video conferencing equipment | |
CN114095688A (en) | Method and system for realizing global broadcast conference | |
US20120089680A1 (en) | Communication apparatus, communication system and session control method | |
WO2016114967A1 (en) | Systems and methods for adaptive context-aware control of multimedia communication sessions | |
JP2005311670A (en) | Terminal, system and method for television conference, and program therefor | |
KR102093912B1 (en) | Videoconference system and method thereof | |
WO2013175717A1 (en) | Videoconference system | |
WO2016045496A1 (en) | Media control method and device | |
JP2006229379A (en) | Communications system among many person, client terminal, communication method among many person used for them, and program therefor | |
JP2005333446A (en) | Teleconference system, teleconference method, and communication terminal | |
JP6692922B2 (en) | Video conferencing server and method capable of providing multi-screen video conferencing using a plurality of video conferencing terminals | |
WO2011140744A1 (en) | Multimedia conference system in next generation network and realization method thereof | |
JP4689500B2 (en) | Information processing device | |
TWI259723B (en) | Multi-location conference system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5579660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |