JPH09247643A - Multi-point video conference system - Google Patents

Multi-point video conference system

Info

Publication number
JPH09247643A
JPH09247643A JP7931496A JP7931496A JPH09247643A JP H09247643 A JPH09247643 A JP H09247643A JP 7931496 A JP7931496 A JP 7931496A JP 7931496 A JP7931496 A JP 7931496A JP H09247643 A JPH09247643 A JP H09247643A
Authority
JP
Japan
Prior art keywords
video conference
video
multipoint
information
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7931496A
Other languages
Japanese (ja)
Other versions
JP3554999B2 (en
Inventor
Giichi Watanabe
義一 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP07931496A priority Critical patent/JP3554999B2/en
Publication of JPH09247643A publication Critical patent/JPH09247643A/en
Application granted granted Critical
Publication of JP3554999B2 publication Critical patent/JP3554999B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve the image quality by using moving vector information in the case of conducting image synthesis with image segmentation based on coded moving image information. SOLUTION: Video conference terminal equipments 1, 19, 20 relating to the video conference system are connected to an ISDN by an ISDN line 18. Furthermore, video conference terminal equipments relating to the video conference system are not limited to the three terminal equipments. Moreover, a multi-point video conference controller 21 is connected to the ISDN by an ISDN line 31. The multi-point video conference controller 21 is provided with a means notifying a segmented area to each video conference terminal equipment. On the other hand, each video conference terminal equipment has a means to set an additional area of motion vector information based on the segmented area given from the multi-point video conference controller 21 and a means adding the motion vector information only to the set additional area and to send the result to the multi-point video conference controller 21.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】符号化されたままの伝送動画
情報の合成を伴う多地点テレビ会議システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multipoint video conference system involving synthesis of transmitted moving image information as encoded.

【0002】[0002]

【従来の技術】従来の多地点テレビ会議制御装置におい
ては動画情報の切り出し、合成を行う際には、特開平4
−63084号公報に見られるように、回線によって接
続された各テレビ会議端末からの受信動画情報を一旦復
号化した後に合成等の処理を行い、再符号化して送信し
ている。
2. Description of the Related Art In a conventional multipoint video conference control device, when cutting out and synthesizing moving image information, it is disclosed in Japanese Patent Laid-Open No.
As disclosed in Japanese Patent Laid-Open No. 63084, the moving image information received from each video conference terminal connected by a line is once decoded and then processed such as combining, re-encoded and transmitted.

【0003】しかしながら上記の方法では、多地点テレ
ビ会議制御装置は、接続されるテレビ会議端末数分の動
画復号化器を備える必要があり、装置のコストの増大を
招いていた。
However, in the above method, the multipoint video conference control device needs to be provided with the video decoders for the number of video conference terminals to be connected, resulting in an increase in the cost of the device.

【0004】そのため、ITU−T勧告草案T.128
の13.4.3項に示す様に、受信動画像の完全な復号
化を行わずに(完全な復号化とは、ITU−T勧告H.
261に示される復号化の手順を全て実行する事を指
す)、符号化されている動画情報の内、GOB番号のみ
を書き換える(この処理はT.128内には記述されて
いないが、H.261との整合を考えるとこの処理が必
要である)ことによって、4つのQCIF動画情報を1
つのFCIF動画情報へ合成する様な方法が提案されて
いる。
Therefore, the ITU-T Recommendation Draft T. 128
As described in Section 13.4.3, the received moving image is not completely decoded (complete decoding means ITU-T Recommendation H.264).
261 indicates that all the decoding procedures shown in FIG. 261 are executed), and only the GOB number is rewritten in the encoded moving image information (this processing is not described in T.128, but H.264). This processing is necessary in consideration of the matching with the H.261).
A method of combining two FCIF moving image information has been proposed.

【0005】しかしながら、上記の方法では、特開平4
−63084号公報に開示された多地点間テレビ会議シ
ステムの様に画像の一部分の切り出しを伴う様な場合
(ただし、この多地点間テレビ会議システムでは一旦復
号化を行ってから切り出し、合成を行っているので、本
発明の構成とは異なる)には、テレビ会議端末からの受
信動画情報において動きベクトルが切り出し領域の外を
参照している様な場合に対応する事ができない為、テレ
ビ会議端末側ではフレームの全体を動きベクトル情報無
しのまま符号化(ITU−T勧告H.261規定のMT
YPEをINTRAもしくはINTER)するしかな
く、符号量が増大し、ひいては画質の低下を招くという
不具合が発生する。
However, in the above method, the method disclosed in Japanese Patent Laid-Open No.
In the case where a part of an image is cut out like the multi-point video conference system disclosed in Japanese Patent Laid-Open No. 63084/1994 (however, in this multi-point video conference system, decoding is first performed and then cut-out and synthesis are performed. Therefore, it is not possible to deal with the case where the motion vector refers to the outside of the cut-out area in the received moving image information from the video conference terminal. On the side, the entire frame is coded without any motion vector information (MT specified in ITU-T Recommendation H.261).
There is no choice but to do YTRA INTRA or INTER), which causes an increase in the code amount and eventually a deterioration in image quality.

【0006】テレビ会議端末側で、切り出し領域の画像
のみを符号化して送信するような構成もあり得るが、そ
の場合にはITU−T勧告草案T.128の13.1項
に示されているスイッチクングサービスとの併用(ある
テレビ会議端末にはアレイプロセッサによる合成画像を
送信し、別のテレビ会議端末にはスイッチングサービス
によって、合成していないあるテレビ会議端末からの画
像を送信するような場合、例えば、発言者と前発言者の
テレビ会議端末にはお互いの画像をスイッチングサービ
スで提供し、それら以外のテレビ会議端末にはアレイプ
ロセッサで合成画像を提供する場合に対応することがで
きない。
There may be a configuration in which only the image in the cutout region is encoded and transmitted on the side of the video conference terminal. In that case, the ITU-T Recommendation Draft Combined use with the SwitchKung service described in Section 13.1 of 128 (a composite image by an array processor is transmitted to one video conference terminal and another video conference terminal is not composited by a switching service. In the case of transmitting an image from a video conference terminal, for example, the video conference terminals of the speaker and the former speaker are provided with each other's images by a switching service, and the video conference terminals other than those are synthesized by the array processor. We can't accommodate you if you provide.

【0007】また、多地点テレビ会議制御装置における
画像合成の方法には、ITU−T勧告草案T.128の
13.4項に示されているマルチプレクスモード、トラ
ンスコーダ及びアレイプロセッサの3通りの方法が提案
されている。
Further, as a method of synthesizing an image in a multipoint video conference control device, ITU-T recommended draft T. Three methods have been proposed: multiplex mode, transcoder and array processor, as described in 128, section 13.4.

【0008】これらのうち、マルチプレクスモード、ア
レイプロセッサにおいては、送信側テレビ会議端末に設
定される動画情報の通信帯域の容量を1とすると、受信
側のテレビ会議端末には動画情報のために容量4の通信
帯域を設定する事が前提となる。
Among these, in the multiplex mode and array processor, if the capacity of the communication band of the moving picture information set in the transmitting side video conference terminal is 1, the receiving side video conference terminal receives the moving picture information for the moving picture information. The premise is to set the communication band of capacity 4.

【0009】しかしながら、通常の回線交換による回線
(パケットではない)では、回線の持つ帯域は固定であ
り、その固定の帯域内を送信、受信で対称に、音声用、
データ用、動画用に分割して利用するのが常である。こ
れらの手順はITU−T勧告H.221・242に定義
される。勧告H.221では、送信、受信非対称の帯域
の設定も可能であるが、通常用いられない。また、動画
の帯城は音声及びデータで使われた残りが割り当てられ
るため、送信に対して正確に4倍の受信帯域を割り当て
る事はできない。
[0009] However, in a line (not a packet) that is normally exchanged by a line, the band of the line is fixed, and transmission and reception are symmetrical in the fixed band for voice,
It is usually used by dividing it for data and moving images. These procedures are described in ITU-T Recommendation H.264. 221 and 242. Recommendation H. In 221, a transmission / reception asymmetric band can be set, but it is not normally used. In addition, since the remaining part used for voice and data is allocated to the moving picture band, it is not possible to allocate exactly four times the reception band for transmission.

【0010】また、ITU−T勧告草案T.128の1
3.1項に示されているスイッチングサービスでは、ソ
ースとして選択された動画の帯城に受信側の帯域を合わ
せる必要があり、通常、スイッチングサービスに対応す
るために、各テレビ会議端末の送信、受信の帯城を対称
にし、かつ各端末での帯域も同一に合わせるような動作
が想定される。
The ITU-T draft recommendation T. 128 of 1
In the switching service shown in Section 3.1, it is necessary to match the band on the receiving side with the band of the video selected as the source. Usually, in order to support the switching service, transmission of each video conference terminal, It is assumed that the receiving band is symmetrical and the band of each terminal is the same.

【0011】以上を鑑みて、上記2通りの画像合成の方
法を考えると、マルチプレクスモードでは、 a)送信側及び受信側のテレビ会議端末に対称の通信帯
城を割り当てた場合には、多地点テレビ会議制御装置の
送信バッファのオーバーフローが発生する。つまり、対
称の通信帯域を割り当てた場合には、実用に供さない。 b)送信側及び受信側のテレビ会議端末に非対称の通信
帯域を割り当てた場合にも、通信帯域を正確に1:4に
設定する事はできない為、バッファのオーバーフローが
発生する(アンダーフローも発生しうるが、これは誤り
訂正フレームでのフィルビット挿入により回避できる:
ITU−T勧告H.261参照)。また、スイッチング
サービスとコンティニュアスプレゼンスモードの切り替
えの度にビデオ帯城を再設定する必要があり、切り替え
に時間がかかる。アレイプロセッサでは、 a)送信側及び受信側のテレビ会議端末に対称の通信帯
域を割り当てた場合には、多地点テレビ会議制御装置の
送信バッファにオーバーフローが発生する。つまり、対
象の通信帯城を割り当てた場合には、実用に供さない。 b)送信側及び受信側のテレビ会議端末に非対称の通信
帯城を割り当てた場合にも、通信帯域を正確に1:4に
設定する事はできない為、バッファのオーバーフローが
発生する。また、スイッチングサービスとコンティニュ
アスプレゼンスモードの切り替えの度にビデオ帯域を再
設定する必要があり、切り替えに時間がかかる。さら
に、多地点テレビ会議制御装において動画情報の切り出
しを伴うような場合には、GOB番号だけでなく、各層
でのアドレスや動きベクトル情報も書き換える必要があ
り、そのことによる符号量の増大によって、送信バッフ
ァのオーバーフローが発生する可能性がある。
In view of the above, when considering the above two image synthesizing methods, in the multiplex mode: a) In the case where symmetrical communication bands are assigned to the video conference terminals on the transmitting side and the receiving side, there are many cases. Overflow of the transmission buffer of the point video conference control device occurs. In other words, if a symmetrical communication band is assigned, it will not be put to practical use. b) Even if asymmetric communication bands are assigned to the video conference terminals on the transmitting side and the receiving side, the communication band cannot be accurately set to 1: 4, and therefore a buffer overflow occurs (underflow also occurs). This can be avoided by inserting fill bits in the error correction frame:
ITU-T Recommendation H.264. 261). In addition, it is necessary to reset the video band castle each time the switching service and the continuous presence mode are switched, which takes time. In the array processor: a) When symmetrical communication bands are allocated to the video conference terminals on the transmitting side and the receiving side, overflow occurs in the transmission buffer of the multipoint video conference control device. That is, when the target communication band is assigned, it is not put to practical use. b) Even when asymmetric communication bands are assigned to the video conference terminals on the transmitting side and the receiving side, the communication band cannot be accurately set to 1: 4, and a buffer overflow occurs. In addition, it is necessary to reset the video band each time the switching service and the continuous presence mode are switched, which takes time. Furthermore, in the case where the video information is cut out in the multipoint video conference control device, not only the GOB number but also the address and motion vector information in each layer need to be rewritten, which increases the code amount, A transmit buffer overflow may occur.

【0012】また、アレイプロセッサにより画像合成を
行っている多地点テレビ会議制御装置を介して各テレビ
会議端末が多地点会議を行っている場合に、あるテレビ
会議端末からVCU(ビデオコマンド−ファーストアッ
プデイトリクエスト:ITU−T勧告H.230参照)
の指示があると、多地点テレビ会議制御装置は回線を介
して接続されている全てのテレビ会議端末にVCUを発
行して各テレビ会議端末からのINTRAフレーム(1
フレーム全体がINTRAモードで符号化されたフレー
ムを指す:通常このようなフレームでは、ITU−T勧
告H.261に規定されているPTYPE−第3ビット
(Freeze Release)をオン(=1)し、
そのビットによりINTRAフレームか否かを判別す
る)の動画情報を合成してテレビ会議端末に送信するよ
うに動作する。
Further, when each video conference terminal conducts a multi-point conference via the multi-point video conference control device which synthesizes images by the array processor, a VCU (video command-first-up) is issued from a certain video conference terminal. Date request: See ITU-T Recommendation H.230)
Is issued, the multipoint video conference control device issues a VCU to all the video conference terminals connected via the line, and the INTRA frame (1
A whole frame refers to a frame coded in INTRA mode: Usually in such a frame, ITU-T Recommendation H.264 is used. PTYPE-third bit (Freeze Release) defined in H.261 is turned on (= 1),
Based on the bit, it determines whether or not the frame is an INTRA frame) and combines it with the moving image information and transmits it to the video conference terminal.

【0013】しかしながら、多地点テレビ会議制御装置
から発行されたVCUに対する各テレビ会議端末の応答
には時間的なズレがあるために、同一構成のテレビ会議
端末でかつ伝送バッファ状態が同様であったとしても、
最大(1/フレームレート)秒のズレが発生するため、
すべてのテレビ会議端末からのINTRAフレームの動
画情報が揃うまでは、合成後の動画情報をINTRAフ
レームとしてテレビ会議端末に送信できないケースが発
生する。
However, since the response of each video conference terminal to the VCU issued from the multipoint video conference control device has a time shift, the video conference terminals of the same configuration and the transmission buffer state are the same. Even if
Since a maximum (1 / frame rate) second gap occurs,
Until the video information of the INTRA frames from all video conference terminals is available, there is a case where the combined video information cannot be transmitted as an INTRA frame to the video conference terminals.

【0014】もっとも、多地点テレビ会議端末が伝送バ
ッファで全てのテレビ会議端末からのINTRAフレー
ムの動画情報を待つ事により、合成動画情報のINTR
Aフレームを構成する事はできるが、各テレビ会議端末
からの動画情報には、端末ごとに異なる大きな遅延が発
生することになるため、特別な処理を行わない限りIN
TRAフレームの送信後も、合成動画情報を構成する各
テレビ会議端末からの動画情報は、互いに時間的にズレ
たままになってしまう。
However, since the multipoint video conference terminal waits for the video information of the INTRA frame from all the video conference terminals in the transmission buffer, the INTR of the composite video information is obtained.
Although it is possible to configure an A frame, the video information from each video conference terminal will have a large delay that varies from terminal to terminal.
Even after the transmission of the TRA frame, the moving image information from each video conference terminal forming the combined moving image information is left temporally different from each other.

【0015】また、VCUを発行したテレビ会議端末
が、受信した動画データをデコードし続けていれば問題
なく動画像は復旧するが、通常、交信中にテレビ会議端
末がVCUを発行するのは、受信データにエラーが検出
された場合である。その場合、多くのテレビ会議端末
は、受信動画像をフリーズして多地点テレビ会議制御装
置からのINTRAフレームを待ち、INTRAフレー
ムの受信によってフリーズを解除する様に動作する。そ
のため、多地点テレビ会議制御装置の受信する各テレビ
会議端末からVCUに応答して送信されたINTRAフ
レームにズレが生じると、多地点テレビ会議制御装置か
ら各テレビ会議端末への合成動画情報のINTRAフレ
ームの送信も遅れることになり、その遅れの分だけ、V
CUを発行したテレビ会議端末は受信動画像のフリーズ
を解除する事ができずに一定時間動画が停止してしま
い、ITU−T勧告H.261に規定されたタイムアウ
トによりフリーズが解除されてしまうと、タイムアウト
によって復号化を再開しても、受信したINTERフレ
ームに対して参照すべき、INTRAフレームをまだ受
信していなため、その後の受信動画像が乱れた映像にな
ってしまう。
Also, if the video conference terminal that issued the VCU continues to decode the received moving image data, the moving image can be restored without any problem, but normally the video conference terminal issues the VCU during communication. This is the case when an error is detected in the received data. In that case, many video conference terminals operate to freeze the received moving image, wait for an INTRA frame from the multipoint video conference control device, and release the freeze by receiving the INTRA frame. Therefore, when the INTRA frame transmitted in response to the VCU from each video conference terminal received by the multi-point video conference control device is deviated, the INTRA of the composite video information from the multi-point video conference control device to each video conference terminal is changed. Frame transmission will also be delayed, and V will be delayed by the amount of the delay.
The video conference terminal that issued the CU cannot release the freeze of the received moving image, and the moving image is stopped for a certain period of time. When the freeze is released due to the timeout defined in H.261, even if the decoding is restarted due to the timeout, the INTRA frame that should be referred to for the received INTER frame has not yet been received. The image becomes a distorted image.

【0016】上記の場合とは逆に、多地点テレビ会議制
御装置で、あるテレビ会議端末からの受信動画データに
エラーを検出した場合には、通常、多地点テレビ会議制
御装置はテレビ会議端末に対してVCUを発行する。し
かし、多地点テレビ会議制御装置がアレイプロセッサに
より画像合成を行っている場合には、受信した動画デー
タの復号化を行っていないため、前述したテレビ会議端
末での受信動画像の処理の様に、受信動画像を暫時フリ
ーズするといった処理はできない。
On the contrary to the above case, when the multipoint video conference control device detects an error in the received moving image data from a certain video conference terminal, the multipoint video conference control device normally sends the video conference terminal to the video conference terminal. The VCU is issued in response. However, when the multi-point video conference control device is performing image composition by the array processor, it does not decode the received video data, so it is similar to the processing of the received moving image at the video conference terminal described above. However, it is impossible to freeze the received moving image for a while.

【0017】このような場合の多地点テレビ会議制御装
置の動作としては、 a)エラーフレームをそのまま、あるいはエラーを検出
したフレームのみを破棄する。 b)VCUのレスポンスがあるまで、無効データ(フィ
ルフレーム)を挿入する。 が考えられる。
The operation of the multipoint video conference control device in such a case is as follows: a) The error frame is left as it is or only the frame in which the error is detected is discarded. b) Insert invalid data (fill frame) until there is a VCU response. Can be considered.

【0018】しかし、a)の場合にはエラーフレームを
含む合成動画情報を受信したテレビ会議端末側でデコー
ドエラーが発生して画像が乱れる。また、b)の場合に
は画像の一部分だけが静止する。したがって、テレビ会
議端末では合成後の1端末分の画像領域のデータが欠落
した形になるので、その部分の画像は更新されず見た目
でフリーズするため、エラーなのか、本当に静止してい
るのかの判別ができない。
However, in the case of a), a decoding error occurs on the side of the video conference terminal that has received the composite moving image information including the error frame, and the image is disturbed. In the case of b), only a part of the image is stationary. Therefore, in the video conference terminal, the data of the image area for one terminal after the synthesis is lost, and the image of that part is not updated and freezes visually. Therefore, whether it is an error or is still still. Cannot be determined.

【0019】[0019]

【発明が解決しようとする課題】以上説明したように、
各テレビ会議端末から受信した動画像情報を多地点テレ
ビ会議制御装置が合成してその合成動画像画情報をテレ
ビ会議端末に送信する際には、上記したような種々の不
具合が生じ得る問題点があった。
As described above,
When the multipoint video conference control device synthesizes the moving image information received from each video conference terminal and sends the synthesized moving image information to the video conference terminal, various problems as described above may occur. was there.

【0020】本発明は、係る事情に鑑みてなされたもの
であり、各テレビ会議端末から受信した符号化されたま
まの動画像情報を多地点テレビ会議制御装置が合成して
その合成動画情報をテレビ会議端末に送信する際に生じ
る得る不具合を解消することができるテレビ会議システ
ムを提供することを目的とする。
The present invention has been made in view of the above circumstances, and the multi-point video conference control device synthesizes the moving image information, which has been encoded, received from each video conference terminal, and synthesizes the synthesized moving image information. It is an object of the present invention to provide a video conference system that can eliminate the problems that may occur when transmitting to a video conference terminal.

【0021】[0021]

【課題を解決するための手段】請求項1記載の多地点テ
レビ会議システムは、複数の地点に設けられたテレビ会
議端末を多地点テレビ会議制御装置に接続し、前記各テ
レビ会議端末から多地点テレビ会議制御装置に符号化さ
れた動画情報を伝送するとともに、前記多地点テレビ会
議制御装置が前記各テレビ会議端末からの動画情報の一
部を切り出して得た切り出し領域を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記切り出し領域を前記各テレビ会議端末へ通知する手
段を備える一方、前記各テレビ会議端末は、前記多地点
テレビ会議制御装置から通知された前記切り出し領域に
基づいて動きベクトル情報の付加領域を設定する手段
と、その設定された付加領域にのみ動きベクトル情報を
付加して前記多地点テレビ会議制御装置に送信する手段
とを備えたことを特徴とする。
A multipoint video conference system according to claim 1, wherein video conference terminals provided at a plurality of points are connected to a multipoint video conference control device, and each of the video conference terminals is connected to a multipoint. While transmitting the encoded moving image information to the video conference control device, the multipoint video conference control device synthesizes a cutout area obtained by cutting out a part of the video information from each of the video conference terminals, and the synthesized video In the multipoint video conference system for transmitting information to each video conference terminal, the multipoint video conference control device,
Means for notifying the respective video conference terminals of the cutout area, while each of the videoconference terminals sets an additional area of motion vector information based on the cutout area notified from the multipoint videoconference control device. And a means for adding motion vector information only to the set additional area and transmitting the motion vector information to the multipoint video conference control device.

【0022】請求項2記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記動画情報の合成方法を前記各テレビ会議端末に通知
する手段を備える一方、前記各テレビ会議端末は、前記
多地点テレビ会議制御装置から通知された合成方法に応
じて、前記多地点テレビ会議制御装置に伝送する符号化
された動画情報に所定量の無効情報を付加する手段を備
えたことを特徴とする。
In the multipoint video conference system according to the second aspect, the video conference terminals provided at a plurality of points are connected to the multi point video conference control device, and each of the video conference terminals codes the multi point video conference control device. In the multi-point video conference system that transmits the converted video information, the multi-point video conference control device synthesizes the video information from the video conference terminals, and sends the synthesized video information to the video conference terminals. The multipoint video conference control device,
While providing means for notifying each of the video conference terminals of the method of synthesizing the moving image information, each of the video conference terminals controls the multi-point video conference control according to the method of synthesis notified from the multi-point video conference control device. It is characterized by comprising means for adding a predetermined amount of invalid information to the encoded moving image information transmitted to the device.

【0023】請求項3記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記各テレビ会議端末から伝送される符号化された動画
情報からフレーム内圧縮された領域を検出する手段と、
前記各テレビ会議端末へ送信する動画情報を一時蓄積す
るための動画送信バッファの蓄積状況を監視する手段
と、その動画送信バッファの蓄積量が所定量以上になっ
た場合には、前記各テレビ会議端末から伝送される符号
化された動画情報を一時蓄積するための動画受信バッフ
ァに蓄積された動画像情報のうち、前記フレーム内圧縮
を検出した領域に相当する動画情報を削除する手段とを
備えたことを特徴とする。
According to another aspect of the present invention, there is provided a multipoint videoconference system, wherein videoconference terminals provided at a plurality of points are connected to a multipoint videoconference control device, and the multipoint videoconference control device codes from the respective videoconference terminals. In the multi-point video conference system that transmits the converted video information, the multi-point video conference control device synthesizes the video information from the video conference terminals, and sends the synthesized video information to the video conference terminals. The multipoint video conference control device,
Means for detecting an intra-frame compressed area from the encoded moving image information transmitted from each of the video conference terminals;
A means for monitoring the storage status of the video transmission buffer for temporarily storing the video information to be transmitted to each video conference terminal, and each video conference when the storage amount of the video transmission buffer exceeds a predetermined amount. A moving picture information stored in a moving picture receiving buffer for temporarily storing the coded moving picture information transmitted from the terminal, and deleting the moving picture information corresponding to the area in which the intra-frame compression is detected. It is characterized by that.

【0024】請求項4記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
所定の画像をフレーム内圧縮した画像情報を記憶する手
段と、前記各テレビ会議端末から強制画面更新の要求が
あった場合には、前記所定の画像をフレーム内圧縮した
画像情報を前記各テレビ会議端末に送信する手段とを備
えたことを特徴とする。
In the multipoint video conference system according to claim 4, the video conference terminals provided at a plurality of points are connected to the multi-point video conference control device, and the multi-point video conference control device codes from each of the video conference terminals. In the multi-point video conference system that transmits the converted video information, the multi-point video conference control device synthesizes the video information from the video conference terminals, and sends the synthesized video information to the video conference terminals. The multipoint video conference control device,
Means for storing image information in which a predetermined image is compressed in a frame, and image information in which the predetermined image is compressed in a frame is transmitted to each of the video conferences when a forced screen update request is made from each of the video conference terminals. Means for transmitting to the terminal.

【0025】請求項5記載の多地点テレビ会議システム
は、複数の地点に設けられたテレビ会議端末を多地点テ
レビ会議制御装置に接続し、前記各テレビ会議端末から
多地点テレビ会議制御装置に符号化された動画情報を伝
送するとともに、前記多地点テレビ会議制御装置が前記
各テレビ会議端末からの動画情報を合成し、その合成動
画情報を各テレビ会議端末へ送信する多地点テレビ会議
システムにおいて、前記多地点テレビ会議制御装置は、
前記各テレビ会議端末からの動面情報の伝送エラーを検
出する手段と、所定の画像をフレーム内圧縮した画像情
報を記憶する手段と、動画情報の伝送エラーを検出した
テレビ会議端末からの動画情報を、所定の画像をフレー
ム内圧縮した画像情報に差し替えて前記各テレビ会議端
末からの動画情報と合成し、その合成動画情報を各テレ
ビ会議端末へ送信する手段とを備えたことを特徴とす
る。
In the multipoint video conference system according to a fifth aspect of the present invention, the video conference terminals provided at a plurality of points are connected to the multi point video conference control device, and each of the video conference terminals codes the multi point video conference control device. In the multi-point video conference system that transmits the converted video information, the multi-point video conference control device synthesizes the video information from the video conference terminals, and sends the synthesized video information to the video conference terminals. The multipoint video conference control device,
Means for detecting a transmission error of moving surface information from each of the video conference terminals, means for storing image information in which a predetermined image is compressed in a frame, and moving image information from the video conference terminal for detecting a transmission error of moving image information. Is replaced with image information in which a predetermined image is compressed in a frame, is combined with the moving image information from each of the video conference terminals, and the combined moving image information is transmitted to each of the video conference terminals. .

【0026】請求項6記載の多地点テレビ会議システム
は、請求項5記載の多地点テレビ会議システムにおい
て、前記多地点テレビ会議制御装置は、前記所定の画像
をフレーム内圧縮した画像情報として、想定される伝送
レート、動画情報の合成数または/及びフレームレート
に応じた情報量の異なる複数の画像情報を記憶する手段
と、各テレビ会議端末との間に設定される伝送レート、
動画情報の合成数または/及びフレームレートに応じ
て、前記所定の画像をフレーム内圧縮した画像情報とし
て、前記情報量の異なる複数の画像情報のうちのいずれ
かを選択する手段とを備えたことを特徴とする。
A multipoint video conference system according to a sixth aspect is the multipoint video conference system according to the fifth aspect, wherein the multipoint video conference control device is assumed as image information in which the predetermined image is compressed in a frame. A transmission rate, a transmission rate set between each of the video conference terminals and a unit for storing a plurality of pieces of image information having different amounts of information according to the composite number of moving image information and / or the frame rate
A unit for selecting any one of a plurality of image information having different information amounts as image information obtained by intraframe-compressing the predetermined image according to the number of combined moving image information and / or the frame rate. Is characterized by.

【0027】[0027]

【発明の実施の形態】以下、添付図面を参照しながら本
発明の実施の形態に係るテレビ会議システムの制御方法
について詳細に説明する。
BEST MODE FOR CARRYING OUT THE INVENTION A control method for a video conference system according to an embodiment of the present invention will be described in detail below with reference to the accompanying drawings.

【0028】図1は、本実施の形態に係るテレビ会議シ
ステムの制御方法が適用されるテレテレビ会議システム
の構成を示している。
FIG. 1 shows the configuration of a tele-teleconference system to which the control method of the teleconference system according to this embodiment is applied.

【0029】同図において、1、19、20は、本発明
に関係する、同一構成のテレビ会議端末であり、ISD
N回線18により、ISDNネットワークに接続されて
いる。なお、図示していないが、本発明に関係するテレ
ビ会議端末は、1、19及び20の3装置に限られな
い。また、21は多地点テレビ会議制御装置であり、I
SDN回線31によりISDNネットワークに接続され
ている。
In the figure, reference numerals 1, 19 and 20 denote video conference terminals having the same configuration, which are related to the present invention, and are ISDs.
It is connected to the ISDN network by an N line 18. Although not shown, the video conference terminals related to the present invention are not limited to the three devices 1, 19, and 20. Reference numeral 21 is a multipoint video conference control device,
It is connected to the ISDN network by the SDN line 31.

【0030】図2は、本発明に関係するテレビ会議端末
のうちのテレビ会議端末1について、そのブロック構成
を示したものである。
FIG. 2 shows a block configuration of the video conference terminal 1 of the video conference terminals related to the present invention.

【0031】同図において、2はシステム全体の制御を
司り、CPU、メモリ、タイマー等からなるシステム制
御部、3は各種プログラムやデータを記憶するための磁
気ディスク装置、4はISDNのレイヤ1の信号処理と
Dチャネルのレイヤ2の信号処理とを行うISDNイン
ターフェイス部、5はITU−T勧告H.221に規定
された信号処理によって、複数メディアのデータの多重
・分離を行うマルチメデイア多重・分離部、6は音声入
力のためのマイク、7は、マイク6からの入力信号を増
幅した後A/D変換を行う音声入力処理部、8は音声信
号の符号化・復号化・エコーキャンセルを行う音声符号
・復号化部、9は音声符号・復号化部8で復号化された
音声信号をD/A変換の後増幅する、音声出力処理部、
10は音声出力処理部9からの音声を出力するためのス
ピーカ、11は映像入力のためのビデオカメラ、12は
ビデオカメラ11からの映像信号をNTSCデコード、
A/D変換等の信号処理を行う映像入力処理部、13は
ITU−T勧告H.261に準拠した動画像の符号化・
復号化を行う動画符号化・復号化部、14は、動画符号
化・復号化装置13で復号化された映像信号をD/A変
換、NTSCエンコード、グラフイックス合成等の信号
処理を行う映像出力処理部、15は受信動画映像やグラ
フィックス情報を表示するためのモニター、16はコン
ソールを制御するユーザーインターフェイス制御部、1
7は操作キー及び表示部よりなるコンソール、18はI
SDN回線である。
In FIG. 1, reference numeral 2 denotes a system control unit including a CPU, memory, timer, etc., which controls the entire system, 3 is a magnetic disk device for storing various programs and data, and 4 is a layer 1 of ISDN. The ISDN interface unit 5 which performs signal processing and D-channel layer 2 signal processing is ITU-T Recommendation H.264. 221 is a multimedia multiplexing / demultiplexing unit that multiplexes / demultiplexes data of a plurality of media, 6 is a microphone for audio input, 7 is an A / A after amplifying an input signal from the microphone 6. An audio input processing unit that performs D conversion, 8 is an audio encoding / decoding unit that performs encoding / decoding / echo cancellation of the audio signal, and 9 is an audio signal decoding unit that converts the audio signal decoded by the audio encoding / decoding unit 8 into a D / Audio output processing unit that amplifies after A conversion,
Reference numeral 10 denotes a speaker for outputting audio from the audio output processing unit 9, reference numeral 11 denotes a video camera for inputting video, and reference numeral 12 denotes NTSC decoding of a video signal from the video camera 11.
A video input processing unit 13 for performing signal processing such as A / D conversion is provided in accordance with ITU-T Recommendation H.264. Encoding of moving images conforming to H.261
A moving image encoding / decoding unit 14 for decoding is a video output for performing signal processing such as D / A conversion, NTSC encoding, and graphics synthesis on the video signal decoded by the moving image encoding / decoding device 13. A processing unit, 15 is a monitor for displaying the received moving image and graphics information, 16 is a user interface control unit for controlling a console, 1
7 is a console comprising operation keys and a display unit, 18 is I
SDN line.

【0032】図3は、多地点テレビ会議制御装置21の
ブロック構成を示している。同図において、22はシス
テム全体の制御を司りCPU、メモリ、タイマー等から
なるシステム制御部である。
FIG. 3 shows a block configuration of the multipoint video conference control device 21. In FIG. 1, reference numeral 22 denotes a system control unit that controls the entire system and includes a CPU, a memory, a timer, and the like.

【0033】23はISDNインターフェイス部、24
はマルチメデイア多重・分離部、25は音声信号の符号
化・復号化を行う音声符号・復号化部、26は送信する
動画データに訂正符号を付加してフレーム化する動画訂
正符号生成部(ITU−T勧告H.261参照)、27
は動画データの送信バッファ、28は受信した動画デー
タのフレーム同期を検出しエラー検出、訂正を行う動画
エラー訂正・検出部(ITU一T勧告H.261参
照)、29は、動画データの受信バッファであり、23
ないし29の構成要素により、通信チャネル1が構成さ
れている。
Reference numeral 23 is an ISDN interface section, and 24
Is a multimedia demultiplexing / separating unit, 25 is a voice encoding / decoding unit that encodes / decodes an audio signal, and 26 is a moving image correction code generating unit (ITU) that adds a correction code to moving image data to be framed. -T Recommendation H.261), 27
Is a moving image data transmission buffer, 28 is a moving image error correction / detection unit that detects and corrects frame synchronization of received moving image data (see ITU-T Recommendation H.261), and 29 is a moving image data reception buffer. And 23
The communication channel 1 is composed of the components 29 to 29.

【0034】以上の構成は、通信チャネル1の構成であ
るが、図示するように、多地点テレビ会議制御装置21
は、1ないしnの通信チャネルを備え、通信チャネル1
以外の通信チャネルも、図示を省略しているが通信チャ
ネル1と同一構成を備え、それぞれがISDN回線に接
続されている。
Although the above-mentioned configuration is the configuration of the communication channel 1, as shown in the drawing, the multipoint video conference control device 21 is provided.
Comprises 1 to n communication channels, communication channel 1
Although not shown, the other communication channels have the same configuration as the communication channel 1 and are connected to ISDN lines.

【0035】また、図3に示されている接続のうち、各
通信チャネルと音声・動画マルチプレクス部30間の接
続(音声データ送受、動画データ送受)は、詳細には、
図4に示される様に各チャネル毎に別々の接続となって
いる。なお、図4については、後述する。
Among the connections shown in FIG. 3, the connection between each communication channel and the audio / video multiplex section 30 (voice data transmission / reception, video data transmission / reception) is described in detail below.
As shown in FIG. 4, each channel has a separate connection. Note that FIG. 4 will be described later.

【0036】その音声・動画マルチプレクス部30は、
各通信チャネル1ないしnで復号化された音声および動
画のデータをチャネル間で合成し配送する者である。3
1は、各通信チャネルに接続されたISDN回線であ
る。
The audio / video multiplex section 30 is
The person who synthesizes and delivers the audio and video data decoded in each communication channel 1 to n between the channels. 3
1 is an ISDN line connected to each communication channel.

【0037】次に、テレビ会議システムの基本的な動作
について図5を参照して説明する。同図において、テレ
ビ会議を起動する際には、まず回線の接続を行う必要が
ある。これはLAPDを通じて行う通常の発呼手順に従
う。SETUP(呼設定メッセージ)は、伝達能力(B
C)を非制限デジタル、下位レイヤ整合性(LLC)を
H.221、高位レイヤ整合性(HLC)を会議として
送出する。
Next, the basic operation of the video conference system will be described with reference to FIG. In the figure, when activating a video conference, it is necessary to first connect a line. This follows the normal calling procedure done through LAPD. SETUP (call setup message) is a transmission capability (B
C) is unrestricted digital, lower layer integrity (LLC) is H.264. 221, send high layer consistency (HLC) as a conference.

【0038】相手端末がSETUPを解析し、通信可能
性が承認されると、相手端末はCONN(応答)を返
し、呼が確立される。ここで、下位レイヤ整合性におい
てH.221とは、図2におけるマルチメデイア多重・
分離部5で実行されるITU−T勧告H.221がイン
プリメントされていることを示している。
When the partner terminal analyzes SETUP and the communication possibility is approved, the partner terminal returns CONN (response) and the call is established. Here, in lower layer consistency, H.264 is used. Reference numeral 221 denotes the multimedia multiplexing / multiplexing in FIG.
The ITU-T Recommendation H.264 implemented in the separation unit 5 221 has been implemented.

【0039】呼が確立されると、システム制御部2はマ
ルチメデイア多重・分離部5を制御し、マルチフレーム
同期信号の送出を行いマルチフレーム同期を確立する。
更に、システム制御部2はITU一T勧告H.242に
従いマルチメデイア多重・分離部5を制御して能力通知
を行い、交信モードを確立する。これは、H.221上
のBAS信号上で行い、共通能力で必要なチャネルの設
定、ビットレートの割り当てを行う。本実施例では、音
声、動画、デー夕(MLP)の3つのチャネルがアサイ
ンされる。交信モードが確定すると、各チャネルは各々
独立したデータとして取り扱う事が可能となり、テレビ
会議としての動作を開始する。
When the call is established, the system control unit 2 controls the multimedia multiplexing / demultiplexing unit 5 to send a multiframe synchronization signal and establish multiframe synchronization.
Furthermore, the system control unit 2 uses the ITU-T Recommendation H.264. In accordance with H.242, the multimedia multiplexing / demultiplexing unit 5 is controlled to notify the capability and establish a communication mode. This is described in H. This is performed on the BAS signal on the H.221, and the necessary channel setting and bit rate allocation are performed with the common capability. In this embodiment, three channels of audio, moving image, and data (MLP) are assigned. When the communication mode is established, each channel can be treated as independent data, and the operation as a video conference starts.

【0040】以上の手順が、各テレビ会議端末と、多地
点テレビ会議制御装置21の各通信チャネルとの間で行
われることにより、多地点テレビ会議制御装置21を介
して多地点テレビ会議が可能となる。
By performing the above procedure between each video conference terminal and each communication channel of the multipoint video conference control device 21, a multipoint video conference can be performed via the multipoint video conference control device 21. Becomes

【0041】なお、動画データの通信帯城を送信、受信
とで非対称1:4に設定する為には、ダミーのデータチ
ャネル(LSD)を確立する。例えば、回線の通信帯城
がISDNのBRI:128kbpsであったとする
と、 受信側 : 3.2K(FAS/BAS)+6.4K
(MLP)+64K(音声)+54.4K(動画) 送信側 : 3.2K(FAS/BAS)+6.4K
(MLP)+64K(音声)+40K(LSD)+1
4.4K(動画) といった設定を行い、送信側の動画データの通信帯域
(14.4K)を、送信側の動画データの通信帯域(5
4.4K)の約4分の1に設定し、残りの約4分の3
(40k)をダミーのLSDに設定する。
A dummy data channel (LSD) is established in order to set the transmission / reception of moving image data communication channels to asymmetrical 1: 4. For example, if the communication zone of the line is ISDN BRI: 128 kbps, receiving side: 3.2K (FAS / BAS) + 6.4K
(MLP) + 64K (audio) + 54.4K (video) Sending side: 3.2K (FAS / BAS) + 6.4K
(MLP) + 64K (voice) + 40K (LSD) +1
4.4K (moving image) is set, and the communication band (14.4K) of the moving image data on the transmitting side is set to the communication band (5
4.4K), set to about 1/4, and the remaining 3/4
(40k) is set as a dummy LSD.

【0042】しかしながら、上記の例でも明らかなよう
に、LSDの取り得る通信帯域は、任意の容量を選択す
ることはできず、予め決められたものの中から選択する
しかない(ITU−T勧告H.221参照)ため、通信
帯域からその他のデータに配分される通信容量を差し引
いた残りの通信帯域が配分される動画データには、正確
に1:4の通信帯域を設定する事はできない。
However, as is clear from the above example, the communication band that can be taken by the LSD cannot select an arbitrary capacity, and there is no choice but to select from a predetermined band (ITU-T Recommendation H). .221), it is not possible to accurately set the communication band of 1: 4 in the moving image data to which the remaining communication band obtained by subtracting the communication capacity allocated to other data from the communication band is allocated.

【0043】テレビ会議が起動されると、システム制御
部2は、音声符号・復号化部8及び動画符号・復号化部
13を起動し、音声、動画、及びデータの双方向通信が
可能となる。
When the video conference is activated, the system control unit 2 activates the voice encoding / decoding unit 8 and the moving image encoding / decoding unit 13, and bidirectional communication of voice, moving image and data becomes possible. .

【0044】データチャネル(MLP)上では、ITU
−T勧告草案T.120シリーズに規定されている会議
運営にまつわる各種データの授受が行われる。データチ
ャネル上のデータは、マルチメデイア多重・分離部5
(多地点テレビ会議制御装置21側では24、以下同)
で音声、動画データと分離、合成される。システム制御
部2(あるいは22)は、マルチメディア多重・分離部
5(あるいは24)へデータの読み出し、書き込みを行
い、上記勧告草案で示される各プロトコルは、システム
制御部2(あるいは22)上において実行される。
On the data channel (MLP), the ITU
-T Recommendation Draft Various data related to the conference operation specified in the 120 series are exchanged. The data on the data channel is sent to the multimedia multiplexer / separator 5
(24 on the multipoint video conference control device 21 side, the same below)
Is separated and synthesized with audio and video data. The system control unit 2 (or 22) reads / writes data from / to the multimedia multiplexing / demultiplexing unit 5 (or 24), and each protocol shown in the above draft recommendation is on the system control unit 2 (or 22). To be executed.

【0045】テレビ会議終了時には、システム制御部2
は、音声符号・復号化部8及び動画符号・復号化部13
を停止すると共に、ISDNインターフェイス部4を制
御し図5に示した手順に従い呼を解放する。
At the end of the video conference, the system control unit 2
Are the audio encoding / decoding unit 8 and the video encoding / decoding unit 13
And the ISDN interface unit 4 is controlled and the call is released according to the procedure shown in FIG.

【0046】ユーザは、これまで述べた各動作(発呼、
会議終了)の起動を、コンソール17を操作して行う。
入力された操作データは、ユーザーインターフェイス制
御部16を介してシステム制御部2へ通知される。シス
テム制御部2は、操作データを解析し、操作内容に応じ
た動作の起動あるいは停止を行うと共に、ユーザーへの
ガイダンスの表示データを作成し、ユーザーインターフ
ェイス制御部16を介して、コンソール17上へ表示さ
せる。
The user uses the operations (calling,
The start of “end of meeting” is performed by operating the console 17.
The input operation data is notified to the system controller 2 via the user interface controller 16. The system control unit 2 analyzes the operation data, starts or stops an operation according to the operation content, creates display data of guidance to a user, and sends the guidance display data to the console 17 via the user interface control unit 16. Display.

【0047】多地点テレビ会議制御装置21側では、上
述した様な手順で、各通信チャネル毎に1つのテレビ会
議端末と接続し、多地点間でのテレビ会議を運営する。
なお、上述した例では、テレビ会議端末側からの発呼に
より接続する例について説明したが、あらかじめ定めら
れた時刻に定められたテレビ会議端末へ多地点テレビ会
議制御装置21側から発呼し、接続することもできる。
On the multipoint videoconference control device 21 side, one videoconference terminal is connected for each communication channel and a videoconference between multipoints is operated by the procedure described above.
In addition, in the above-mentioned example, an example of connecting by calling from the video conference terminal side has been described, but a call is made from the multipoint video conference control device 21 side to a video conference terminal set at a predetermined time, You can also connect.

【0048】次に、音声、動画のマルチプレクスの処理
について説明する。図4は、多地点テレビ会議制御装置
21の音声・動画マルチプレクス部30の構成を示して
いる。同図において、101は各通信チャネルからのデ
コードされた音声データの音量レベルを監視し、どのチ
ャネル(テレビ会議通信端末)からの音量レベルが最大
であるかを検出する話者検出部、102は各通信チャネ
ルからの音声データに重みづけを行ってミキシングを行
う音声ミキシング部、103はマトリクススイッチから
なり、各通信チャネルからの音声データ及び音声ミキシ
ング部102からのミキシングデータを各通信チャネル
に配信する音声切替部、104は各通信チャネルからの
動画データ(デコードはされておらず、符号データのま
ま)をITU−T勧告草案T128の13.4.3項に
示すような方法により合成を行うアレイプロセッサ部、
105はマトリクススイッチからなり、各通信チャネル
からの動画データ及びアレイプロセッサ部104からの
合成データを各通信チャネルに配信する動画切替部であ
る。
Next, the process of multiplexing audio and moving images will be described. FIG. 4 shows the configuration of the audio / video multiplex unit 30 of the multipoint video conference control device 21. In the figure, 101 is a speaker detection unit that monitors the volume level of decoded audio data from each communication channel and detects from which channel (video conference communication terminal) the volume level is maximum, and 102 is An audio mixing unit that weights and mixes audio data from each communication channel, 103 is a matrix switch, and distributes the audio data from each communication channel and the mixing data from the audio mixing unit 102 to each communication channel. The audio switching unit 104 is an array for synthesizing moving image data from each communication channel (not decoded, code data as it is) by a method as described in Section 13.4.3 of ITU-T draft draft T128. Processor part,
A matrix switch 105 is a moving image switching unit that distributes the moving image data from each communication channel and the combined data from the array processor unit 104 to each communication channel.

【0049】システム制御部22は、ITU−T勧告草
案T.120シリーズのプロトコルに従って、または/
及び、システム制御部22にあらかじめ設定されている
パラメータに基づく適応制御によって、音声、動画の合
成形態(音声ミキシング部102における各チャネルの
重みづけ、アレイプロセッサ部104における動画の合
成位置、形状、音声切替部103における配信形態、動
画切替部105における配信形態)を決定して、各部に
設定する。また、上記合成形態の決定要因として話者の
特定を行う必要のある場合には、話者検出部101から
話者と判別されたチャネル番号(端末番号)を読み出
し、要因として使用する。
The system control unit 22 uses the ITU-T recommended draft T. According to 120 series protocol, or /
Also, by the adaptive control based on the parameters set in advance in the system control unit 22, the form of synthesizing voice and moving image (weighting of each channel in the voice mixing unit 102, synthesizing position, shape, and voice of moving image in the array processor unit 104). The distribution form in the switching unit 103 and the distribution form in the moving image switching unit 105) are determined and set in each unit. When it is necessary to identify the speaker as a determinant of the above-mentioned combination form, the channel number (terminal number) determined to be the speaker is read from the speaker detection unit 101 and used as a factor.

【0050】一例として、9つのテレビ会議端末が接続
され会議を行っている際に、話者として端末番号2が、
また直前の話者として端末番号3が検出されていた場合
の、各チャネルへの出力データの例を図6に示す。ま
た、このときの音声ミキシング部102での合成形態
(比率)の例を図7に、アレイプロセッサ部104での
合成形態を図8に示す。
As an example, when nine video conference terminals are connected and a conference is held, the terminal number 2 as a speaker is
FIG. 6 shows an example of output data to each channel when the terminal number 3 is detected as the last speaker. Further, an example of the synthesizing form (ratio) in the audio mixing unit 102 at this time is shown in FIG. 7, and the synthesizing form in the array processor unit 104 is shown in FIG.

【0051】図8ではまた、画像切りだしを伴うアレイ
プロセッサ部104での処理の一例を示している。アレ
イプロセッサでは、送信する画像フォーマットに対して
1/4の画像(縦横とも1/2)の画像を受信して合成
を行うが、この例では更に受信した画像の一部を切り出
して合成している。ここでは、送信がFCIF、受信が
QCIFフォーマットの例を示している。図中「MB」
とあるのはマクロブロックを示しており、切りだし、合
成はこのMBを最小単位として処理される。
FIG. 8 also shows an example of processing in the array processor section 104 accompanied by image cutout. In the array processor, an image of 1/4 of the image format to be transmitted (horizontally and horizontally) is received and combined, but in this example, a part of the received image is further cut out and combined. There is. Here, an example is shown in which FCIF format is used for transmission and QCIF format is used for reception. "MB" in the figure
A macro block indicates a macro block, which is cut out and combined with this MB as a minimum unit.

【0052】符号データのまま(デコードせずに)図8
に示すような画像の合成を行うには、ITU−T勧告
H.261におけるフレーム構造中の各層でのアドレス
情報を書き換える必要がある。また、量子化ステップサ
イズの値も、必要に応じて(この値は必ずしもMB層で
付加されていないため、GOB層で付加された値や前に
MB層で変更された値を管理し、合成位置でのGOB層
や前の値と比較して必要に応じて付加する)書き換え
る。動きベクトルについては画像中の切りだし領域外が
指し示された場合に参照する術を持たない為、付加する
事はできない(テレビ会議端末側で全てのフレームを動
きベクトル無しで符号化する)。
FIG. 8 as it is as coded data (without decoding)
In order to synthesize the image as shown in FIG. It is necessary to rewrite the address information in each layer in the frame structure in 261. In addition, the value of the quantization step size is also adjusted as necessary (this value is not necessarily added in the MB layer, so the value added in the GOB layer or the value previously changed in the MB layer is managed and combined. Compare to the GOB layer at the position or the previous value, and add as necessary). A motion vector cannot be added because there is no way to refer to it when the area outside the cutout area in the image is pointed out (all frames are coded on the video conference terminal side without a motion vector).

【0053】次に、本発明に係るテレビ会議システムに
おけるいくつかの動作手順について、各実施形態に分け
て説明する。
Next, some operation procedures in the video conference system according to the present invention will be described separately for each embodiment.

【0054】先ず第1実施形態ついて説明する。第1実
施形態では、多地点テレビ会議制御装置装置は、アレイ
プロセッサで合成処理を行う際には、テレビ会議端末へ
切りだし領域を通知し、テレビ会議端末は、通知された
切りだし領域に基づいて動きベクトル付加領域を設定し
て動画の符号化を行う。
First, the first embodiment will be described. In the first embodiment, the multipoint video conference control device notifies the video conference terminal of the cutout area when the array processor performs the combining process, and the videoconference terminal is based on the notified cutout area. Then, the motion vector addition area is set to encode the moving image.

【0055】切り出し領域の通知は、アレイプロセッサ
部104の起動時及び同部での合成形態の変更時に、
H.221上のBASコマンド(MBE)を用いて通知
する(切りだしを行わない1フレーム全体を使用する場
合にも通知は行う)。そのため、第1実施形態では、図
5に示した能力交換の際にMBE能力有りとして能力交
換を行う。(他の方法としてMLP上のプロトコルを用
いても良い。)
The cutout area is notified when the array processor section 104 is activated and when the composition mode is changed in the section.
H. Notification is made using the BAS command (MBE) on 221 (notification is also performed when the entire one frame that is not cut out is used). Therefore, in the first embodiment, the capability exchange is performed with the MBE capability when performing the capability exchange shown in FIG. (As another method, a protocol on MLP may be used.)

【0056】多地点テレビ会議制御装置21からの切り
だし領域の通知に応じてテレビ会議端末が動きベクトル
付加領域を設定して動画の符号化を行う処理の手順につ
いて図9を参照して説明する。なお、多地点テレビ会議
制御装置装置に回線を介して接続されるテレビ会議端末
の代表として、テレビ会議端末1についてのみ説明する
が、その他のテレビ会議端末についても同様である(以
後説明する実施形態においても同様である)。
The procedure of the process in which the video conference terminal sets the motion vector addition region and encodes the moving image in response to the notification of the cut-out region from the multipoint video conference control device 21 will be described with reference to FIG. . Note that only the video conference terminal 1 will be described as a representative of the video conference terminals connected to the multipoint video conference control device via a line, but the same applies to the other video conference terminals (the embodiments described below). Is also the same).

【0057】図9において、テレビ会議端末1は、多地
点テレビ会議制御装置21からBASを受信すると、シ
ステム制御部2がそれをマルチメデイア多重・分離部5
から読み込み、それが切りだし領域の通知かどうかをチ
ェックする(判断1001)。
In FIG. 9, when the video conference terminal 1 receives a BAS from the multipoint video conference control device 21, the system control unit 2 sends it to the multimedia multiplexing / demultiplexing unit 5.
It is read from, and it is checked whether or not it is the notification of the cutout area (decision 1001).

【0058】図10にその場合のBASコマンドの例を
示す。同図において、最初のデータはMBEの開始を示
すH.221に規定されたデータ(コマンド:0xF
9)、続いてデータのバイト数(5byte)、データ
が切りだし領域通知であることを示す識別子(0x1
D)、切りだし領域を示すデータとなっている。切りだ
し領域を示すデータは、4角形の4頂点のうちの1つ
(左上の頂点)を切り出し開始位置としてそのx座標及
びy座標をマクロブロック(MB)単位で指定するため
のデータと4角形の大きさをx座標及びy座標方向のマ
クロブロック(MB)単位の長さで指定するためのデー
タにより構成されている。
FIG. 10 shows an example of the BAS command in that case. In the figure, the first data is H.264 indicating the start of MBE. 221 data (command: 0xF
9), followed by the number of bytes of data (5 bytes) and an identifier (0x1) indicating that the data is a cut-out area notification.
D) is data indicating the cutout area. The data indicating the cutout area is data for designating the x-coordinate and the y-coordinate in macroblock (MB) units with one of the four vertices of the quadrangle (top left vertices) as the cutout start position and the quadrangle. Of the macro block (MB) in the x-coordinate and y-coordinate directions.

【0059】さて、図9の手順において、受信したBA
Sが切りだし領域の通知であると(判断1001のYe
s)、システム制御部2は、動きベクトル情報の付加領
域を判定する(処理1002)。
Now, in the procedure of FIG. 9, the received BA
S is a notification of the cutout area (Yes in determination 1001)
s), the system control unit 2 determines the additional area of the motion vector information (process 1002).

【0060】設定する付加領域は、 (1)切りだし領域より1MB分画像の内側の領域を動
きベクトル付加領域とする。 (2)ただし、切りだし領域が画像領域の縁面に接する
場合には、その辺については切りだし領域と同一とす
る。 の2点の法則に従って判定する。
The additional area to be set is (1) The area inside the 1 MB image from the cut-out area is the motion vector additional area. (2) However, when the cutout area is in contact with the edge surface of the image area, its side is the same as the cutout area. Judgment according to the two-point rule.

【0061】図11に画像切りだし領域と動きベクトル
付加領域の関係について示す。切り出し領域の辺縁のマ
クロブロックは、その動きベクトルを求めるために切り
出し領域外を参照する場合があるため、多地点テレビ会
議制御装置21において、動きベクトルの復号化を保証
するために、同図(a)に示すように、動きベクトルの
付加領域は、切り出し領域の1マクロブロック幅分の辺
縁を除外した領域としている。これより、多地点テレビ
会議制御装置21においては、テレビ会議端末で付加さ
れた動きベクトルを確実に復号化できる(上記(1)の
場合)。
FIG. 11 shows the relationship between the image cutout area and the motion vector addition area. Since the macroblocks at the edges of the cutout area may refer to the outside of the cutout area in order to obtain the motion vector, in order to guarantee the decoding of the motion vector in the multipoint video conference control device 21, FIG. As shown in (a), the area to which the motion vector is added is an area excluding the edge of one macroblock width of the cutout area. As a result, in the multipoint video conference control device 21, the motion vector added by the video conference terminal can be reliably decoded (in the case of (1) above).

【0062】また、同図(b)、(c)及び(d)の例
が、上述した(2)の場合にあたり、切り出し領域のい
ずれかの辺が、元の画像のいずれかの辺と接する場合
は、その接する部分のマクロブロックには、元々動きベ
クトルは付加されていないため、その接する部分のマク
ロブロックは、動きベクトル付加領域とはしない。
Further, in the case of the above-mentioned (2), the examples of (b), (c) and (d) in the same figure correspond to any side of the cutout area and any side of the original image. In this case, since the motion vector is not originally added to the contacting macroblock, the contacting macroblock is not set as the motion vector addition area.

【0063】さて、図9の手順において、処理1002
により上記したように動きベクトル付加領域を判定した
システム制御部2は、判定した動きベクトル付加領域を
動画符号・復号化部13に設定する(処理1003)。
By the way, in the procedure of FIG.
The system control unit 2, which has determined the motion vector addition area as described above, sets the determined motion vector addition area in the moving image coding / decoding unit 13 (process 1003).

【0064】これにより、アレイプロセッサにより画像
切り出しを伴う画像合成を行う際にも、動きベクトル情
報を使用して画質の向上を図ることができる。
As a result, the image quality can be improved by using the motion vector information even when the array processor performs image combination accompanied by image cutout.

【0065】次に、第2実施形態について説明する。本
実施形態では、多地点テレビ会議制御装置21で行われ
る画像合成の方式をテレビ会議端末へ通知し、テレビ会
議端末は、通知された方式に基づいて符号化された動画
データに所定量の無効情報を付加して送信する。
Next, the second embodiment will be described. In the present embodiment, the method of image synthesis performed by the multipoint video conference control device 21 is notified to the video conference terminal, and the video conference terminal invalidates a predetermined amount of the video data encoded based on the notified system. Add information and send.

【0066】切り出し領域の通知は、通信の開始時及び
音声・動画マルチプレクス部30での合成方式の変更時
に、H.221上のBASコマンド(MBE)を用いて
通知する(合成を行わない場合にも通知は行う)。その
ため、第2実施形態では、図5に示した能力交換の際に
MBE能力有りとして能力交換を行う。(他の方法とし
てMLP上のプロトコルを用いても良い。)
The notification of the cut-out area is sent by the H.264 standard at the start of communication and at the time of changing the composition method in the audio / video multiplex unit 30. Notification is made using the BAS command (MBE) on the H. 221 (notification is performed even when composition is not performed). Therefore, in the second embodiment, the capability exchange is performed assuming that the MBE capability is present during the capability exchange shown in FIG. (As another method, a protocol on MLP may be used.)

【0067】第2実施形態の処理手順について、図12
を参照して説明する。同図において、、テレビ会議端末
1は、BASを受信すると、システム制御部2がそれを
マルチメディア多重・分離部5から読み込み、それが合
成方式の通知かどうかをチェックする(判断200
1)。
FIG. 12 shows the processing procedure of the second embodiment.
This will be described with reference to FIG. In the figure, when the video conference terminal 1 receives a BAS, the system control unit 2 reads it from the multimedia multiplexing / separating unit 5 and checks whether it is a notification of a combining method (decision 200).
1).

【0068】図13に、その場合のBASコマンドの例
を示す。同図において、最初のデータはMBEの開始を
示すH.221に規定されたデータ(コマンド)、続い
てデータのバイト数、データが合成方式通知であること
を示す識別子、合成方式を示すデータとなっている。
FIG. 13 shows an example of the BAS command in that case. In the figure, the first data is H.264 indicating the start of MBE. The data (command) defined in 221 is followed by the number of bytes of data, an identifier indicating that the data is a combination method notification, and data indicating the combination method.

【0069】さて、図12に示す手順において、受信し
たBASが合成方式の通知であると(判断2001のY
es)、システム制御部2は、あらかじめ記憶されてい
る図14に示すような、合成方法に対応した評価値Qを
判定する(処理2003)。そして、システム制御部2
は、判定して得た評価値から付加すべき無効情報量Ii
nvを算出する(処理2003)。
Now, in the procedure shown in FIG. 12, the received BAS is the notification of the combining method (Y in judgment 2001).
es), the system control unit 2 determines the evaluation value Q stored in advance as shown in FIG. 14 and corresponding to the combining method (process 2003). Then, the system control unit 2
Is the invalid information amount Ii to be added from the evaluation value obtained by the determination.
nv is calculated (process 2003).

【0070】無効情報量Iinvは、動画の送信伝送帯
域をBtx、受信伝送帯域をBrx、評価値をQとし、
以下の式1で示される。 Iinv=Btx−(Brx×Q)/100 −(式1)
For the invalid information amount Iinv, the transmission transmission band of the moving image is Btx, the reception transmission band is Brx, and the evaluation value is Q.
It is expressed by the following Equation 1. Iinv = Btx− (Brx × Q) / 100− (Formula 1)

【0071】なお、図14において、トランスコーダで
の評価値が80となっているのは、トランスコードの際
の縮小または/及び切りだしの際の画像の高周波成分の
増加に伴ってフレームレートが落ちてしまわないよう
に、あらかじめ端末からの送信時に情報量を削減してし
まうような動作を想定している。また、マルチプレクで
の評価値は、4つのソース画像がマルチプレクスで処理
される場合を想定している。
In FIG. 14, the evaluation value of 80 in the transcoder is that the frame rate increases as the high frequency component of the image is reduced or reduced during transcoding and / or cut out. To prevent it from dropping, it is assumed that the operation will reduce the amount of information when transmitting from the terminal in advance. The evaluation value in multiplex assumes that four source images are processed in multiplex.

【0072】さて、システム制御部2は、算出した無効
情報量Iinvを動画符号化・復号化部13に設定する
(処理2004)。動画符号化・復号化部13における
無効情報の付加の方法には、ITU−T勧告H.261
で規定されている2つの方法(マクロブロックフィル/
フィルビット挿入)のうちの、何れかあるいは両方を使
用する。
The system control unit 2 sets the calculated invalid information amount Iinv in the moving picture coding / decoding unit 13 (process 2004). As a method of adding invalid information in the moving picture encoding / decoding unit 13, ITU-T Recommendation H.264 is used. 261
Two methods (macro block fill /
Either or both of (fill bit insertion) are used.

【0073】以上の手順により、多地点テレビ会議制御
装置21における画像合成方式に応じて、多地点テレビ
会議制御装置21の動画送信バッファ27がオーバーフ
ローしないように、テレビ会議端末1側で本来の動画デ
ータに付加する無効情報を適応的に増減させるため、多
地点テレビ会議制御装置21における動画送信バッファ
のオーバーフロー回避することができる。
According to the above-mentioned procedure, according to the image synthesizing method in the multipoint video conference control device 21, the original video image is displayed on the video conference terminal 1 side so that the video transmission buffer 27 of the multipoint video conference control device 21 does not overflow. Since the invalid information added to the data is adaptively increased or decreased, the overflow of the moving image transmission buffer in the multipoint video conference control device 21 can be avoided.

【0074】次に第3実施形態について説明する。本実
施形態では、アレイプロセッサ(あるいはマルチプレク
ス)により画像合成が行われている際に、動画の送信バ
ッファのオーバーフローを避ける為に図15に示す手順
の処理を行う。
Next, a third embodiment will be described. In the present embodiment, when the image synthesis is being performed by the array processor (or multiplex), the processing of the procedure shown in FIG. 15 is performed in order to avoid overflow of the moving image transmission buffer.

【0075】同図において、通信中、アレイプロセッサ
(あるいはマルチプレクス)によって画像合成が開始さ
れると、多地点テレビ会議制御装置のシステム制御部2
2は、各通信チャネルの動画送信バッファ27の蓄積量
を監視する(処理3001、判断3002のNoルー
プ)。
In the figure, when image synthesis is started by the array processor (or multiplex) during communication, the system control unit 2 of the multipoint video conference control device.
2 monitors the accumulated amount of the moving image transmission buffer 27 of each communication channel (process 3001, No loop of determination 3002).

【0076】所定量以上の蓄積量が検出されると(判断
3002のYes)、システム制御部22は、画像合成
のソースとなっている通信チャネルの動画受信バッファ
29を検索する(処理3003)。INTRAモード
(フレーム内での符号化処理)で符号化されているマク
ロブロック(MB)を検出すると(判断3004のYe
s)、システム制御部22は、そのMBの合成後の画像
位置を求め、処理3001で検出した動画送信バッファ
27から、同じ画像位置の動画データを削除する(処理
3005)。
When the accumulated amount equal to or more than the predetermined amount is detected (Yes in determination 3002), the system control unit 22 searches the moving image reception buffer 29 of the communication channel which is the source of image synthesis (process 3003). When a macro block (MB) encoded in INTRA mode (encoding processing within a frame) is detected (Yes in determination 3004)
s), the system control unit 22 obtains the image position after the MB is combined, and deletes the moving image data at the same image position from the moving image transmission buffer 27 detected in process 3001 (process 3005).

【0077】システム制御部22は、以上の処理300
3〜3005までの処理を、ソースとなっている全通信
チヤネルに対して繰り返し行う(判断3006のNoル
ープ)。さらに、システム制御部22は、判断3002
で検出した動画送信バッファ27の蓄積量を確認し(判
断3007)、改善されていなければ(判断3007の
No)(まだ蓄積量が所定量以上であったら)従来のバ
ツファオーバーフロ一のエラー処理(例えば、動画送信
バッファ27をクリアし、ソースとなっている全通信チ
ャネル(テレビ会議端末)に対してVCUコマンドを発
行する)を行う(処理3008)。
The system control unit 22 executes the above processing 300.
The processes from 3 to 3005 are repeated for all the communication channels that are the sources (No loop of determination 3006). Furthermore, the system control unit 22 makes a determination 3002.
The accumulated amount of the moving image transmission buffer 27 detected in (1) is confirmed (decision 3007), and if it is not improved (No in the determined 3007) (if the accumulated amount is still more than the predetermined amount), the error of the conventional buffer overflow Processing (for example, clearing the moving image transmission buffer 27 and issuing a VCU command to all communication channels (video conference terminals) that are sources) is performed (processing 3008).

【0078】これにより、多地点テレビ会議制御装置2
1でアレイプロセッサにより画像合成を行う際に、送信
バッファの蓄積量が所定量以上になると、受信バッファ
からINTRA−MBのデータを検索し、合成画像上の
同位置のデータが送信バッファから削除されるため、動
画送信バッファ27のオーバーフローを回避することが
できる。
Thus, the multipoint video conference control device 2
When the image is synthesized by the array processor in 1 and the accumulated amount in the transmission buffer becomes equal to or more than a predetermined amount, the INTRA-MB data is searched from the reception buffer, and the data at the same position on the synthesized image is deleted from the transmission buffer. Therefore, overflow of the moving image transmission buffer 27 can be avoided.

【0079】次に、第4実施形態について説明する。本
実施形態では、アレイプロセッサにより画像合成が行わ
れている際に、テレビ会議端末からのVCUコマンドを
受信すると、そのレスポンスとして図16に示す手順の
処理を行う。
Next, a fourth embodiment will be described. In this embodiment, when the VCU command is received from the video conference terminal while the image synthesis is being performed by the array processor, the process of the procedure shown in FIG. 16 is performed as a response.

【0080】同図において、通信中、アレイプロセッサ
によって画像合成が開始されると、多地点テレビ会議制
御装置21のシステム制御部22は、画像合成された動
画を送信している各通信チャネルのマルチメディア多重
分離部24のC&I符号(ITU−T勧告H.230参
照:VCUコマンドはC&I符号の一つである)を読み
出し、監視する(処理4001及び判断4002のNo
ループ)。
In the figure, when image composition is started by the array processor during communication, the system control unit 22 of the multipoint video conference control device 21 makes the multi-channel of each communication channel transmitting the image-composed moving image. The C & I code of the media demultiplexing unit 24 (see ITU-T Recommendation H.230: VCU command is one of the C & I codes) is read and monitored (No in processing 4001 and determination 4002).
loop).

【0081】VCUコマンドが検出されると(判断40
02のYes)、システム制御部22は、画像合成のソ
ースとなっている全通信チャネル(テレビ会議端末)に
対してVCUコマンドを発行する(全通信チャネルのマ
ルチメデイア多重・分離部24にVCUコマンドのC&
I符号を書き込む)(処理4003)。
When a VCU command is detected (decision 40)
02), the system control unit 22 issues a VCU command to all communication channels (video conference terminals) that are sources of image synthesis (VCU command to the multimedia multiplexing / separation unit 24 of all communication channels). C &
Write the I code) (process 4003).

【0082】さらにシステム制御部22は、アレイプロ
セッサ部104に記憶画像データの送信を指示して、ア
レイプロセッサ部104は、あらかじめ同部の中の不揮
発性メモリ(ROM等)に記憶されている画像データ
(このデータは1フレーム分の画像データで、INTR
Aモードで符号化されている)を出力すると共に、画像
合成の処理を停止する(処理4004)。その後、シス
テム制御部22は画像合成のソースとなっていた全通信
チャネルの動画データを監視し(処理4005、判断4
006のNoループ)、INTRAフレームを検出する
と(判断4006のYes)、その通信チャネルの画像
合成を再開する(処理4007)。
Further, the system control unit 22 instructs the array processor unit 104 to transmit the stored image data, and the array processor unit 104 pre-stores the image stored in the nonvolatile memory (ROM etc.) in the unit. Data (This data is the image data for one frame.
(Encoded in A mode) is output, and the image combining process is stopped (process 4004). After that, the system control unit 22 monitors the moving image data of all the communication channels that have been the source of the image synthesis (process 4005, determination 4).
When the INTRA frame is detected (Yes in determination 4006), the image synthesis of the communication channel is restarted (process 4007).

【0083】以上の処理4005ないし4007の処理
を、画像合成のソースとなっていた全通信チャネルの画
像合成が再開されるまで繰り返す(判断4008のNo
ループ)。
The above processes 4005 to 4007 are repeated until the image composition of all communication channels, which has been the source of the image composition, is restarted (No in judgment 4008).
loop).

【0084】以上の処理中における、テレビ会議端末側
での画像の変化を、図17に示す。同図において、
(A)は上述した図16に示す手順における処理400
4での画像、(B)は処理4005ないし4007で一
部の通信チャネルの画像合成が再開されている画像、
(C)は全ての画像合成が再開されている画像(EN
D)を示している。
FIG. 17 shows changes in the image on the video conference terminal side during the above processing. In the figure,
(A) is the process 400 in the procedure shown in FIG. 16 described above.
4 is an image, and (B) is an image in which image synthesis of some communication channels is restarted in processes 4005 to 4007,
(C) is an image for which all image composition has been resumed (EN
D) is shown.

【0085】これにより、多地点テレビ会議制御装置2
1がテレビ会議端末からVCUコマンドを受信した場合
には、他のテレビ会議端末にVCUコマンドを発行する
と共に、一旦あらかじめ記憶されているINTRAフレ
ームの画像データを送信するため、多地点テレビ会議制
御装置21において合成される画像間の遅延差の発生を
回避することができる。まは、テレビ会議端末におけ
る、画像のロックあるいは画像乱れを回避することがで
きる。
Thus, the multipoint video conference control device 2
1 receives a VCU command from a video conference terminal, issues a VCU command to another video conference terminal and transmits image data of an INTRA frame that has been stored in advance. It is possible to avoid the occurrence of a delay difference between the images combined in 21. Moreover, it is possible to avoid image locking or image distortion in the video conference terminal.

【0086】次に、第5実施形態について説明する。本
実施形態では、アレイプロセッサにより画像合成が行わ
れている際に、そのソースとなっている通信チャネルで
伝送エラーを検出した際に、そのレスポンスとして図1
8に示す手順の処理を行う。
Next, a fifth embodiment will be described. In the present embodiment, when a transmission error is detected in the communication channel that is the source of the image synthesis performed by the array processor, the response is as shown in FIG.
The process of the procedure shown in 8 is performed.

【0087】同図において、通信中、アレイプロセッサ
によって画像合成が開始されると、多地点テレビ会議制
御装置21のシステム制御部22は、画像合成のソース
となっている各通信チャネルの動画エラー訂正・検出部
28のエラー情報を読み出し、監視する(処理500
1、判断5002のNoループ)。訂正不能な伝送エラ
ーが検出されると(判断5002のYes)、システム
制御部22は、エラーを検出した通信チャネル(テレビ
会議端末)に対してVCUコマンドを発行する(通信チ
ャネルのマルチメデイア多重・分離部24にVCUコマ
ンドのC&I符号を書き込む)(処理5003)。
In the figure, when image synthesis is started by the array processor during communication, the system control unit 22 of the multipoint video conference controller 21 corrects the moving image error of each communication channel which is the source of image synthesis. The error information of the detection unit 28 is read and monitored (process 500
1, No loop of judgment 5002). When an uncorrectable transmission error is detected (Yes in determination 5002), the system control unit 22 issues a VCU command to the communication channel (video conference terminal) in which the error was detected (communication channel multimedia multiplexing, The C & I code of the VCU command is written in the separation unit 24) (process 5003).

【0088】さらにシステム制御部22は、アレイプロ
セッサ部104に記憶画像データの合成を指示して、ア
レイプロセッサ部104は、あらかじめ同部の中の不揮
発性メモリ(ROM等)に記憶されている画像データ
(このデータは1フレーム分の画像データで、INTR
Aモードで符号化されている)をエラーを検出した通信
チャネルの画像データとして画像合成を行う(処理50
04)。その後、システム制御部22はエラーを検出し
た通信チヤネルの動画データを監視し(処理5005、
判断5005のNoループ)、INTRAフレームを検
出すると(判断5006のYes)、その通信チャネル
から受信したデータによる画像合成を再開する(処理5
007)。
Further, the system control unit 22 instructs the array processor unit 104 to synthesize the stored image data, and the array processor unit 104 pre-stores an image stored in a non-volatile memory (ROM or the like) in the unit. Data (This data is the image data for one frame.
Image synthesis is performed using (encoded in A mode) as image data of the communication channel in which an error is detected (process 50).
04). After that, the system control unit 22 monitors the moving image data of the communication channel in which the error is detected (process 5005,
If the INTRA frame is detected (No in decision 5005) (Yes in decision 5006), image composition based on the data received from the communication channel is restarted (process 5).
007).

【0089】以上の処理中における、テレビ会議端末側
での画像の変化を、図19に示す。同図において、
(A)は上述した処理5004での画像、(B)は、処
理5007において受信したデータによる画像合成が再
開されている画像(END)を示している。
FIG. 19 shows changes in the image on the video conference terminal side during the above processing. In the figure,
(A) shows an image in the processing 5004 described above, and (B) shows an image (END) in which the image synthesis by the data received in the processing 5007 is restarted.

【0090】これにより、多地点テレビ会議制御装置2
1がテレビ会議端末からの動画データに伝送エラーを検
出した場合には、テレビ会議端末にVCUコマンドを発
行すると共に、一旦あらかじめ記憶されているINTR
Aフレームの画像データを合成するため、テレビ会議端
末における、画像乱れを回避することができる、また、
テレビ会議端末において、ユーザーに画像更新中である
ことを明示することができる。
Thus, the multipoint video conference control device 2
When 1 detects a transmission error in the video data from the video conference terminal, the VCU command is issued to the video conference terminal and the INTR stored in advance is stored.
Since the image data of the A frame is combined, it is possible to avoid image distortion in the video conference terminal.
The video conference terminal can clearly indicate to the user that the image is being updated.

【0091】第5実施形態は、上記した利点を有する
が、あるテレビ会議端末からの受信動画データにエラー
が発すると、多地点テレビ会議制御装置21が、あらか
じめ記憶してある符号化された画像データを、エラーを
検出した受信動画データの代わりに伝送する場合に、そ
の画像データのサイズが一定であると(1つのテレビ会
議端末に割り当てられている(帯域/フレームレート)
以上であると)伝送バッファがオーバーフローしてしま
う(アレイプロセッサでは、フレームレートを落とす
(フレームスキップにより情報を削減する)ことができ
ないため)。
The fifth embodiment has the advantages described above, but when an error occurs in the received moving image data from a certain video conference terminal, the multipoint video conference control device 21 stores the encoded image stored in advance. When data is transmitted instead of the received moving image data in which an error is detected, if the size of the image data is constant (it is assigned to one video conference terminal (bandwidth / frame rate)
In the above case, the transmission buffer overflows (because the array processor cannot reduce the frame rate (reduce information by frame skipping)).

【0092】その問題を解決する、第6実施形態にいつ
て以下説明する。本実施形態では、第5実施形態に係る
図18に示した処理手順における処理5004で使用す
る画像データとして、それぞれデータ長の異なる複数の
画像データを持ち、動画送信の伝送レートと合成数に従
って適宜選択して使用する。
A sixth embodiment for solving the problem will be described below. In the present embodiment, a plurality of image data having different data lengths are provided as the image data used in the process 5004 in the process procedure shown in FIG. Select and use.

【0093】図20に記憶画像データのデータ長の例を
示す。多地点テレビ会議制御装置21のアレイプロセッ
サ部104には図20に示すような複数のデータ長の画
像データが、画像データ番号に対応してあらかじめ同部
の中の不揮発性メモリ(ROM等)に記憶されている。
なお、これらの画像データは内容は同一のもので、符号
化における圧縮率が異なる(精細度が異なる)ものであ
る。
FIG. 20 shows an example of the data length of the stored image data. In the array processor unit 104 of the multipoint video conference control device 21, image data having a plurality of data lengths as shown in FIG. 20 are stored in advance in a nonvolatile memory (ROM or the like) in the unit corresponding to the image data number. Remembered
It should be noted that these image data have the same contents and have different compression rates in encoding (different degrees of definition).

【0094】システム制御部22は、図18に示す処理
5004においてアレイプロセッサ部104に記憶画像
データの合成を指示する際に、(動画送信に割り当てら
れている帯域/合成数(画像合成のソースの数))を算
出し、それを基に、あらかじめシステム制御部22内に
記憶されている図20に示すテーブルを参照して、使用
する画像データ番号を決定してアレイプロセッサ部10
4に通知する。アレイプロセッサ部104は、通知され
た画像データ番号に従って、画像データを合成し出力す
る。
When instructing the array processor unit 104 to synthesize the stored image data in the process 5004 shown in FIG. 18, the system control unit 22 (bandwidth allocated to moving image transmission / number of synthesis (source of image synthesis) Number)) is calculated, and based on it, the image data number to be used is determined by referring to the table shown in FIG.
Notify 4. The array processor unit 104 synthesizes and outputs the image data according to the notified image data number.

【0095】なお、第6実施形態では、フレームレート
が15fps固定の場合について示したが、フレームレ
ートもオーバーフローの要因となるため、これに適応す
る複数の画像データを持つ事も有効である。同一内容で
圧縮率の異なる複数の画像データを記憶している例につ
いて示したが、画像内容そのものを異なるものとし、同
一の圧縮率でデータ長の異なるものを記憶しておいても
良い。
In the sixth embodiment, the case in which the frame rate is fixed at 15 fps has been described, but since the frame rate also causes an overflow, it is effective to have a plurality of image data adapted to this. Although an example in which a plurality of image data having the same content but different compression rates are stored has been shown, the image content itself may be different, and data having the same compression rate but different data length may be stored.

【0096】[0096]

【発明の効果】請求項1に係る発明によれば、多地点テ
レビ会議制御装置において符号化されたままの動画情報
を、画像切り出しを伴って画像合成を行う際には、画像
の切りだし領域を各テレビ会議端末通知し、各テレビ会
議端末では、通知された画像の切りだし領域に基づいて
動きベクトルの付加領域を設定し、その付加領域にのみ
動くベクトル情報を付加するため、符号化されたままの
動画情報を、画像切り出しを伴って画像合成を行う際に
も動きベクトル情報を使用して画質の向上を計ることが
できる。また、いわゆるアレイプロセッサにより画像切
りだしを伴う画像合成とスイッチングサービスとを併用
して運用することができる利点もある。
According to the first aspect of the present invention, when the moving image information which is still encoded in the multipoint video conference control device is subjected to image composition with image cutting, the image cutout area is used. To each video conference terminal, each video conference terminal sets a motion vector addition area based on the notified cut-out area of the image, and is coded in order to add moving vector information only to the addition area. It is possible to improve the image quality by using the motion vector information even when the moving image information as it is is combined with the image cutting. Further, there is an advantage that the so-called array processor can be used in combination with the image synthesis accompanied by the image cutout and the switching service.

【0097】請求項2に係る発明によれば、多地点テレ
ビ会議制御装置で画像合成を行う際には、合成方式を各
テレビ会議端末に通知し、各テレビ会議端末では、通知
された合成方式に応じて動画データに所定量の無効情報
を付加するように構成されているため、多地点テレビ会
議制御装置における動画送信バッファのオーバーフロー
を回避することができる。また、多地点テレビ会議制御
装置における画像合成とスイッチングモードとの切り替
えをスムーズに行うことができる利点もある。
According to the second aspect of the invention, when the multipoint video conference control device performs image synthesis, each video conference terminal is notified of the synthesis method, and each video conference terminal notifies the notified synthesis method. According to the above, since a predetermined amount of invalid information is added to the moving image data, overflow of the moving image transmission buffer in the multipoint video conference control device can be avoided. Further, there is an advantage that the image composition and the switching mode can be smoothly switched in the multipoint video conference control device.

【0098】請求項3に係る発明によれば、多地点テレ
ビ会議制御装置でいわゆるアレイプロセッサにより画像
合成を行う際に、動画送信バッファの蓄積量が所定量以
上になると、動画受信バッファからフレーム内圧縮され
た領域を検索し、合成画像上の対応する領域のデータを
動画送信バッファから削除するように構成されているた
め、多地点テレビ会議制御装置における動画送信バッフ
ァのオーバーフローを回避することができる。
According to the third aspect of the present invention, when the so-called array processor performs image composition in the multipoint video conference control device, if the accumulated amount in the moving image transmission buffer becomes a predetermined amount or more, the moving image reception buffer moves within the frame. Since it is configured to search the compressed area and delete the data of the corresponding area on the composite image from the video transmission buffer, the overflow of the video transmission buffer in the multipoint video conference control device can be avoided. .

【0099】請求項4に係る発明によれば、多地点テレ
ビ会議制御装置がテレビ会議端末から強制画面更新要求
があった場合には、他のテレビ会議端末に強制画面更新
要求を発行すると共に、一旦あらかじめ記憶されている
フレーム内圧縮された画像情報を各テレビ会議端末に送
信するように構成されているため、多地点テレビ会議制
御装置において、強制画面更新要求に応答して各テレビ
会議通信端末から伝送されてくる画像間の遅延差に起因
する弊害を回避することができる。また、各テレビ会議
端末においては、多地点テレビ会議制御装置から受信す
る動画情報のロックあるいは画像乱れを回避することが
できる利点もある。
According to the invention of claim 4, when the multipoint video conference control device issues a forced screen update request from a video conference terminal, the forced screen update request is issued to another video conference terminal, and Since the previously stored in-frame-compressed image information is transmitted to each video conference terminal, the multi-point video conference control device responds to the forced screen update request by each video conference communication terminal. It is possible to avoid the adverse effect caused by the delay difference between the images transmitted from the. Further, in each video conference terminal, there is an advantage that it is possible to avoid locking of the moving image information received from the multipoint video conference control device or image disturbance.

【0100】請求項5に係る発明によれば、多地点テレ
ビ会議制御装置が各テレビ会議端末からの動画データに
伝送エラーを検出した場合には、その動画データに伝送
エラーが発生したテレビ会議端末に強制画面更新要求を
発行すると共に、一旦あらかじめ記憶されているフレー
ム内圧縮された画像情報を、動画データに伝送エラーが
発生したテレビ会議端末からの動画情報と差し替えて、
他のテレビ会議端末からの動画情報と合成するように構
成されているため、各テレビ会議端末における画像乱れ
を回避することができる。また、各テレビ会議端末にお
いて、ユーザに画像更新中であることを明示することが
できる利点もある。
According to the invention of claim 5, when the multipoint video conference control device detects a transmission error in the video data from each video conference terminal, the video conference terminal in which the transmission error occurs in the video data. In addition to issuing a compulsory screen update request to, replace the previously stored in-frame-compressed image information with the video information from the video conference terminal in which the transmission error occurred in the video data,
Since it is configured to be combined with moving image information from another video conference terminal, it is possible to avoid image distortion in each video conference terminal. In addition, each video conference terminal has an advantage of being able to clearly indicate to the user that the image is being updated.

【0101】請求項6に係る発明によれば、請求項5記
載のテレビ会議システムにおいて、多地点テレビ会議制
御装置は、前記所定の画像をフレーム内圧縮した画像情
報として、想定される伝送レート、動画情報の合成数ま
たは/及びフレームレートに応じた情報量の異なる複数
の画像情報を記憶し、各テレビ会議端末との間に設定さ
れる伝送レート、動画情報の合成数または/及びフレー
ムレートに応じて適切なデータ量の画像情報を選択して
合成するように構成されているため、多地点テレビ会議
制御装置における、送信バッファのオーバーフローを回
避することができる。
According to the invention of claim 6, in the video conference system according to claim 5, the multipoint video conference control device has an assumed transmission rate as image information obtained by intra-frame compression of the predetermined image, A plurality of pieces of image information having different amounts of information according to the number of combined video information and / or frame rate are stored, and the transmission rate, the number of combined video information and / or frame rate set with each video conference terminal are stored. According to the configuration, the image information having an appropriate data amount is selected and combined, so that the overflow of the transmission buffer in the multipoint video conference control device can be avoided.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の形態に係るテレビ会議システム
の構成を示す図である。
FIG. 1 is a diagram showing a configuration of a video conference system according to an embodiment of the present invention.

【図2】本発明の実施の形態に係るテレビ会議端末のブ
ロック構成を示す図である。
FIG. 2 is a diagram showing a block configuration of a video conference terminal according to the embodiment of the present invention.

【図3】本発明の実施の形態に係る多地点地点テレビ会
議制御装置のブロック構成を示す図である。
FIG. 3 is a diagram showing a block configuration of a multipoint video conference control device according to an embodiment of the present invention.

【図4】本発明の実施の形態に係る多地点地点テレビ会
議制御装置のの音声・動画マルチプレクス部30の構成
を示している。
FIG. 4 shows a configuration of an audio / video multiplex unit 30 of the multipoint video conference control device according to the embodiment of the present invention.

【図5】本発明の実施の形態に係るテレビ会議システム
の基本的な動作を示す図である。
FIG. 5 is a diagram showing a basic operation of the video conference system according to the embodiment of the present invention.

【図6】各通信チャネルへ出力される音声及び動画デー
タの例を示す図である。
FIG. 6 is a diagram showing an example of audio and video data output to each communication channel.

【図7】音声ミキシング部での各通信チャネル別の重み
付けの合成形態(比率)の例を示す図である。
FIG. 7 is a diagram showing an example of a combination form (ratio) of weighting for each communication channel in the audio mixing unit.

【図8】アレイプロセッサ部での画像合成形態及び、画
像切り出しを伴うアレイプロセッサ部での処理の一例を
示す図である。
FIG. 8 is a diagram showing an example of an image synthesizing form in the array processor unit and an example of processing in the array processor unit with image clipping.

【図9】本発明に係るテレビ会議システムにおける第1
実施形態の処理手順を示すフローチャートである。
FIG. 9 is a first view of the video conference system according to the present invention.
It is a flow chart which shows a processing procedure of an embodiment.

【図10】第1実施形態に係る処理手順におけるBAS
コマンドの一例を示す図である。
FIG. 10 is a BAS in the processing procedure according to the first embodiment.
It is a figure which shows an example of a command.

【図11】第1実施形態に係る画像切りだし領域と動き
ベクトル付加領域の関係について示す図である。
FIG. 11 is a diagram showing a relationship between an image cutout area and a motion vector addition area according to the first embodiment.

【図12】本発明に係るテレビ会議システムにおける第
2実施形態の処理手順を示すフローチャートである。
FIG. 12 is a flowchart showing a processing procedure of the second embodiment in the video conference system according to the present invention.

【図13】第2実施形態に係る処理手順におけるBAS
コマンドの一例を示す図である。
FIG. 13 is a BAS in the processing procedure according to the second embodiment.
It is a figure which shows an example of a command.

【図14】第2実施形態に係る処理手順における合成方
法と評価値との対応例を示す図である。
FIG. 14 is a diagram showing an example of correspondence between a synthesis method and an evaluation value in the processing procedure according to the second embodiment.

【図15】本発明に係るテレビ会議システムにおける第
3実施形態の処理手順を示すフローチャートである。
FIG. 15 is a flowchart showing a processing procedure of the third embodiment in the video conference system according to the present invention.

【図16】本発明に係るテレビ会議システムにおける第
4実施形態の処理手順を示すフローチャートである。
FIG. 16 is a flowchart showing a processing procedure of the fourth embodiment in the video conference system according to the present invention.

【図17】第4実施形態に係る処理手順におけるテレビ
会議端末側での画像の変化を示す図である。
FIG. 17 is a diagram showing a change in image on the video conference terminal side in the processing procedure according to the fourth embodiment.

【図18】本発明に係るテレビ会議システムにおける第
5実施形態の処理手順を示すフローチャートである。
FIG. 18 is a flowchart showing a processing procedure of the fifth embodiment in the video conference system according to the present invention.

【図19】第4実施形態に係る処理手順におけるテレビ
会議端末側での画像の変化を示す図である。
FIG. 19 is a diagram showing a change in image on the video conference terminal side in the processing procedure according to the fourth embodiment.

【図20】第5実施形態に係る記憶画像データのデータ
長の一例を示す図である。
FIG. 20 is a diagram showing an example of a data length of stored image data according to the fifth embodiment.

【符号の説明】[Explanation of symbols]

1、19、20 テレビ会議端末 2 システム制御部 3 磁気ディスク装置 4 ISDNインターフェイス部 5 マルチメデイア多重・分離部 6 マイク 7 音声入力処理部 8 音声符号・復号化部 9 音声出力処理部 10 スピーカ 11 ビデオカメラ 12 映像入力処理部 13 動画符号化・復号化部 14 映像出力処理部 15 モニター 16 ユーザーインターフェイス制御部 17 コンソール 18、31 ISDN回線 22 システム制御部 23 ISDNインターフェイス部 24 マルチメデイア多重・分離部 25 音声符号・復号化部 26 動画訂正符号生成部 27 動画送信バッファ 28 動画エラー訂正・検出部 29 動画データ受信バッファ 30 音声・動画マルチプレクス部 101 話者検出部 102 音声ミキシング部 103 音声切替部 104 アレイプロセッサ部 105 動画切替部 1, 19 and 20 Video conference terminal 2 System control unit 3 Magnetic disk device 4 ISDN interface unit 5 Multimedia multiplexing / separating unit 6 Microphone 7 Audio input processing unit 8 Audio encoding / decoding unit 9 Audio output processing unit 10 Speaker 11 Video Camera 12 Video input processing unit 13 Video encoding / decoding unit 14 Video output processing unit 15 Monitor 16 User interface control unit 17 Console 18, 31 ISDN line 22 System control unit 23 ISDN interface unit 24 Multimedia multiplexing / separating unit 25 Audio Encoding / decoding section 26 Video correction code generation section 27 Video transmission buffer 28 Video error correction / detection section 29 Video data reception buffer 30 Audio / video multiplexing section 101 Speaker detection section 102 Audio mixing section 103 Audio switching section 04 array processor unit 105 video switching unit

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報の一部を切
り出して得た切り出し領域を合成し、その合成動画情報
を各テレビ会議端末へ送信する多地点テレビ会議システ
ムにおいて、 前記多地点テレビ会議制御装置は、前記切り出し領域を
前記各テレビ会議端末へ通知する手段を備える一方、前
記各テレビ会議端末は、前記多地点テレビ会議制御装置
から通知された前記切り出し領域に基づいて動きベクト
ル情報の付加領域を設定する手段と、その設定された付
加領域にのみ動きベクトル情報を付加して前記多地点テ
レビ会議制御装置に送信する手段とを備えたことを特徴
とする多地点テレビ会議システム。
1. Video conferencing terminals provided at a plurality of points are connected to a multipoint videoconference control device, and while each videoconference terminal transmits encoded video information to the multipoint videoconference control device, In the multipoint videoconference system in which the multipoint videoconference control device combines the cutout areas obtained by cutting out a part of the video information from each of the videoconference terminals, and transmits the combined video information to each videoconference terminal, The multipoint video conference control device comprises means for notifying each of the video conference terminals of the cutout region, while each of the videoconference terminals is based on the cutout region notified from the multipoint video conference control device. Means for setting an additional area of motion vector information, and the multipoint television by adding motion vector information only to the set additional area. Multipoint video conference system, characterized in that a means for transmitting to the discussions controller.
【請求項2】 複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、 前記多地点テレビ会議制御装置は、前記動画情報の合成
方法を前記各テレビ会議端末に通知する手段を備える一
方、前記各テレビ会議端末は、前記多地点テレビ会議制
御装置から通知された合成方法に応じて、前記多地点テ
レビ会議制御装置に伝送する符号化された動画情報に所
定量の無効情報を付加する手段を備えたことを特徴とす
る多地点テレビ会議システム。
2. Video conferencing terminals provided at a plurality of points are connected to a multipoint videoconference control device, and the encoded video information is transmitted from each of the videoconference terminals to the multipoint videoconference control device. The multipoint video conference control device synthesizes video information from each of the video conference terminals,
In the multipoint video conference system for transmitting the synthesized video information to each video conference terminal, the multi-point video conference control device includes means for notifying each video conference terminal of a method of synthesizing the video information. The video conference terminal comprises means for adding a predetermined amount of invalid information to the encoded moving image information to be transmitted to the multipoint videoconference control device, in accordance with the combining method notified from the multipoint videoconference control device. A multipoint video conferencing system characterized by
【請求項3】 複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、 前記多地点テレビ会議制御装置は、前記各テレビ会議端
末から伝送される符号化された動画情報からフレーム内
圧縮された領域を検出する手段と、前記各テレビ会議端
末へ送信する動画情報を一時蓄積するための動画送信バ
ッファの蓄積状況を監視する手段と、その動画送信バッ
ファの蓄積量が所定量以上になった場合には、前記各テ
レビ会議端末から伝送される符号化された動画情報を一
時蓄積するための動画受信バッファに蓄積された動画像
情報のうち、前記フレーム内圧縮を検出した領域に相当
する動画情報を削除する手段とを備えたことを特徴とす
る多地点テレビ会議システム。
3. Video conferencing terminals provided at a plurality of points are connected to a multipoint videoconference control device, and the encoded video information is transmitted from each of the videoconference terminals to the multipoint videoconference control device. The multipoint video conference control device synthesizes video information from each of the video conference terminals,
In the multipoint video conference system for transmitting the composite video information to each video conference terminal, the multi-point video conference control device is an area compressed in a frame from the encoded video information transmitted from each video conference terminal. Detecting means, a means for monitoring the storage status of the video transmission buffer for temporarily storing the video information to be transmitted to each of the video conference terminals, and when the storage amount of the video transmission buffer exceeds a predetermined amount. Of the moving picture information stored in the moving picture receiving buffer for temporarily storing the coded moving picture information transmitted from each video conference terminal, moving picture information corresponding to the area in which the intra-frame compression is detected. A multipoint video conference system comprising means for deleting.
【請求項4】 複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、 前記多地点テレビ会議制御装置は、所定の画像をフレー
ム内圧縮した画像情報を記憶する手段と、前記各テレビ
会議端末から強制画面更新の要求があった場合には、前
記所定の画像をフレーム内圧縮した画像情報を前記各テ
レビ会議端末に送信する手段とを備えたことを特徴とす
る多地点テレビ会議システム。
4. Video conferencing terminals provided at a plurality of points are connected to a multipoint videoconference control device, and the encoded video information is transmitted from each of the videoconference terminals to the multipoint videoconference control device. The multipoint video conference control device synthesizes video information from each of the video conference terminals,
In a multipoint videoconference system for transmitting the composite moving image information to each videoconference terminal, the multipoint videoconference control device stores means for storing image information in which a predetermined image is compressed in a frame, and from each of the videoconference terminals. A multipoint video conference system comprising: means for transmitting image information in which the predetermined image is compressed in a frame to each of the video conference terminals when a forced screen update is requested.
【請求項5】 複数の地点に設けられたテレビ会議端末
を多地点テレビ会議制御装置に接続し、前記各テレビ会
議端末から多地点テレビ会議制御装置に符号化された動
画情報を伝送するとともに、前記多地点テレビ会議制御
装置が前記各テレビ会議端末からの動画情報を合成し、
その合成動画情報を各テレビ会議端末へ送信する多地点
テレビ会議システムにおいて、 前記多地点テレビ会議制御装置は、前記各テレビ会議端
末からの動面情報の伝送エラーを検出する手段と、所定
の画像をフレーム内圧縮した画像情報を記憶する手段
と、動画情報の伝送エラーを検出したテレビ会議端末か
らの動画情報を、所定の画像をフレーム内圧縮した画像
情報に差し替えて前記各テレビ会議端末からの動画情報
と合成し、その合成動画情報を各テレビ会議端末へ送信
する手段とを備えたことを特徴とする多地点テレビ会議
システム。
5. A video conference terminal provided at a plurality of points is connected to a multi-point video conference control device, and while each video conference terminal transmits encoded video information to the multi-point video conference control device, The multipoint video conference control device synthesizes video information from each of the video conference terminals,
In the multipoint video conference system for transmitting the composite moving image information to each video conference terminal, the multipoint video conference control device detects a transmission error of moving surface information from each of the video conference terminals, and a predetermined image. Means for storing the image information compressed in the frame, and the moving image information from the video conference terminal that has detected the transmission error of the moving image information is replaced with the image information in which a predetermined image is compressed in the frame, A multipoint video conference system comprising: means for synthesizing video information and transmitting the synthesized video information to each video conference terminal.
【請求項6】 前記多地点テレビ会議制御装置は、前記
所定の画像をフレーム内圧縮した画像情報として、想定
される伝送レート、動画情報の合成数または/及びフレ
ームレートに応じた情報量の異なる複数の画像情報を記
憶する手段と、各テレビ会議端末との間に設定される伝
送レート、動画情報の合成数または/及びフレームレー
トに応じて、前記所定の画像をフレーム内圧縮した画像
情報として、前記情報量の異なる複数の画像情報のうち
のいずれかを選択する手段とを備えたことを特徴とする
請求項5記載の多地点テレビ会議システム。
6. The multipoint video conference control device has different information amounts according to an assumed transmission rate, a composite number of moving image information and / or a frame rate as image information in which the predetermined image is compressed in a frame. According to the transmission rate set between the means for storing a plurality of pieces of image information and each video conference terminal, the number of composites of moving image information and / or the frame rate, the predetermined image is intraframe-compressed as image information. 6. The multipoint video conference system according to claim 5, further comprising means for selecting one of a plurality of pieces of image information having different amounts of information.
JP07931496A 1996-03-08 1996-03-08 Multipoint video conference system Expired - Fee Related JP3554999B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07931496A JP3554999B2 (en) 1996-03-08 1996-03-08 Multipoint video conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07931496A JP3554999B2 (en) 1996-03-08 1996-03-08 Multipoint video conference system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003370539A Division JP3913726B2 (en) 2003-10-30 2003-10-30 Multipoint video conference control device and multipoint video conference system

Publications (2)

Publication Number Publication Date
JPH09247643A true JPH09247643A (en) 1997-09-19
JP3554999B2 JP3554999B2 (en) 2004-08-18

Family

ID=13686410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07931496A Expired - Fee Related JP3554999B2 (en) 1996-03-08 1996-03-08 Multipoint video conference system

Country Status (1)

Country Link
JP (1) JP3554999B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510556B1 (en) 1998-05-28 2003-01-21 Hitachi, Ltd. Video distributing apparatus and video distributing system
JP2007527128A (en) * 2003-06-19 2007-09-20 ソニー エリクソン モバイル コミュニケーションズ, エービー Mixing media streams
US8917985B2 (en) 2007-08-29 2014-12-23 Nintendo Co., Ltd. Imaging apparatus
CN112511768A (en) * 2020-11-27 2021-03-16 上海网达软件股份有限公司 Multi-picture synthesis method, device, equipment and storage medium

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510556B1 (en) 1998-05-28 2003-01-21 Hitachi, Ltd. Video distributing apparatus and video distributing system
JP2007527128A (en) * 2003-06-19 2007-09-20 ソニー エリクソン モバイル コミュニケーションズ, エービー Mixing media streams
US7907638B2 (en) 2003-06-19 2011-03-15 Sony Ericsson Mobile Communications, Ab Media stream mixing
US8917985B2 (en) 2007-08-29 2014-12-23 Nintendo Co., Ltd. Imaging apparatus
CN112511768A (en) * 2020-11-27 2021-03-16 上海网达软件股份有限公司 Multi-picture synthesis method, device, equipment and storage medium
CN112511768B (en) * 2020-11-27 2024-01-02 上海网达软件股份有限公司 Multi-picture synthesis method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP3554999B2 (en) 2004-08-18

Similar Documents

Publication Publication Date Title
JP3431373B2 (en) Coded area image decoding for multimedia communication systems
US5623312A (en) Compressed-domain bit rate reduction system
JP3659161B2 (en) Video encoding device and videophone terminal using the same
US5687095A (en) Video transmission rate matching for multimedia communication systems
EP1721462B1 (en) Arrangement and method for generating continuous presence images
KR20050052483A (en) Data processing method and data processing apparatus
US6313863B1 (en) Image communication apparatus and system
KR20040036936A (en) Picture and sound decoding device, picture and sound encoding device, and information transmission system
JP3913726B2 (en) Multipoint video conference control device and multipoint video conference system
JPH09247643A (en) Multi-point video conference system
JPH07203434A (en) Image transmitter
JP2002290973A (en) Multimedia communication equipment
JP3927606B2 (en) Image communication apparatus and system, image receiving apparatus and received image data processing method
JPH07298231A (en) Multi-point moving image communication system and its controller and moving communication terminal equipment
JPH0884329A (en) Image communication terminal equipment
JPH0746553A (en) Picture communication equipment and system therefor
JPH1028260A (en) Method for transmitting video data and multipoint video conference device
JPH1093942A (en) Multi-point controller
JPH08251567A (en) Television conference device
JPH09247644A (en) Multi-point controller and video conference communication terminal equipment
JPH0723377A (en) Picture transmitter
JPH0846792A (en) Image communication equipment and its system
JPH0918846A (en) Multi-spot communication equipment
JPH08130514A (en) Picture communication terminal equipment
JPH05300508A (en) Image communication device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees