JP3711685B2 - Multipoint video conference system and multipoint video conference device - Google Patents

Multipoint video conference system and multipoint video conference device Download PDF

Info

Publication number
JP3711685B2
JP3711685B2 JP07349097A JP7349097A JP3711685B2 JP 3711685 B2 JP3711685 B2 JP 3711685B2 JP 07349097 A JP07349097 A JP 07349097A JP 7349097 A JP7349097 A JP 7349097A JP 3711685 B2 JP3711685 B2 JP 3711685B2
Authority
JP
Japan
Prior art keywords
video conference
composite image
hierarchy
image
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07349097A
Other languages
Japanese (ja)
Other versions
JPH10271474A (en
Inventor
正治 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP07349097A priority Critical patent/JP3711685B2/en
Publication of JPH10271474A publication Critical patent/JPH10271474A/en
Application granted granted Critical
Publication of JP3711685B2 publication Critical patent/JP3711685B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、複数のテレビ会議端末を相互に接続し、多地点間で通信会議を行う多地点テレビ会議に関するものである。
【０００２】
【従来の技術】
図１２は従来の多地点テレビ会議システムを示すブロック図である。図１２において、１０１は多地点テレビ会議装置、１０２は多地点テレビ会議装置１０１に対して指示を与える操作装置、１０３は操作装置１０２と多地点テレビ会議装置１０１を接続する制御線、１１１〜１１４は各々テレビ会議端末装置、１２１〜１２４は各々テレビ会議端末装置１１１〜１１４と多地点間テレビ会議装置１０１を接続する回線である。
１３１〜１３４は多地点テレビ会議装置１０１に設けられて各々テレビ会議端末装置１１１〜１１４と呼制御を行う回線対応部、１４１〜１４４は多地点テレビ会議装置１０１に設けられて各々テレビ会議端末装置１１１〜１１４と送受信する映像、音声、データ等の各メディア信号を多重・分離する多重分離部、１５１〜１５４は多重分離部１４１〜１４４からの映像信号を復号化する映像復号化部、１６１〜１６４は各々復号化した映像信号を編集して出力する編集部、１６１ａ〜１６１ｄ、１６２ａ〜１６２ｄ、１６３ａ〜１６３ｄ、１６４ａ〜１６４ｄは個別処理部であり、各々編集部１６１〜１６４に設けられてテレビ会議端末装置１１１〜１１４毎の映像信号に縮小、切り出し、枠付加等々の編集処理を行う。１７１〜１７４は各々映像合成部であり、編集部部１６１〜１６４からの編集された映像を合成して合成画像を出力する。１８１〜１８４は映像符号化部であり、映像合成部１７１〜１７４からの合成画像を符号化する。
【０００３】
１９１は多地点テレビ会議装置１０１を制御するＣＰＵ、１９２はメモリ、１９３は各テレビ会議端末装置１１１〜１１４からの画像の復号化及び各テレビ会議端末装置１１１〜１１４へ分配する合成画像の作成及び符号化を行う画像処理部であり、上述の符号１５１〜１５４、１６１〜１６４、１７１〜１７４、１８１〜１８４を付した構成を含む。
１９４は各テレビ会議端末装置１１１〜１１４からの音声を処理する音声処理部、１９５は各テレビ会議端末装置１１１〜１１４からのデータを処理するデータ処理部である。なお、多地点テレビ会議装置１０１は上述の符号１３１〜１３４、１４１〜１４４、１９１〜１９５を付した構成を含む。１９６は多地点テレビ会議システムであり、上述の符号１０１〜１０３、１１１〜１１４、１２１〜１２４を付した構成を含む。
なお、この図１１においては、簡単のため、回線１２１〜１２４の回線構成においてテレビ会議端末装置１１１〜１１４との間にある伝送路および交換機等は省略してある。
【０００４】
次に動作を図により説明する。テレビ会議端末装置１１１〜１１４からの信号は、各々回線１２１〜１２４を介して多地点テレビ会議装置１０１の回線対応部１３１〜１３４に入力され、多重分離分離部１４１〜１４４により、映像、音声、データ等の各メディア信号に分離される。
分離された各メディア信号のうち映像信号は画像処理部１９３に、音声信号は音声処理部１９４に、データ信号はデータ処理部１９５に入力され、各々の処理部で必要な信号処理が行われる。
【０００５】
ここで、画像処理部１９３の動作を詳細に説明する。
映像復号化部１５１〜１５４は多重分離部１４１〜１４４からの映像信号を復号化し、ＣＰＵ１９１の指示により各々編集部１６１〜１６４の個別処理部１６１ａ〜１６１ｄ、個別処理部１６２ａ〜１６２ｄ、個別処理部１６３ａ〜１６３ｄ、個別処理部１６４ａ〜１６４ｄに出力する。
個別処理部１６１ａ〜１６１ｄ、個別処理部１６２ａ〜１６２ｄ、個別処理部１６３ａ〜１６３ｄ、個別処理部１６４ａ〜１６４ｄは各々映像の編集作業を行い、各々映像合成部１７１〜１７４に編集した映像信号を出力する。映像合成部１７１〜１７４は各々編集された映像信号を合成して合成画像信号を映像符号化部１８１〜１８４に出力する。
【０００６】
なお、ＣＰＵ１９１は所定の情報を入力して合成画像の表示パターンの変更を指示する。例えば、会議開催当初、会議に参加する端末がテレビ会議端末装置１１１〜１１３であったのが会議途中にテレビ会議端末装置１１４が会議に参加した場合に、ＣＰＵ１９１は参加端末数変更の情報を受け、メモリ１９２に記憶した合成画像の表示パターンの変更プログラムにより合成画像を３分割画面から４分割画面に変更するように個別処理部１６１ａ〜１６１ｄ、個別処理部１６２ａ〜１６２ｄ、個別処理部１６３ａ〜１６３ｄ、個別処理部１６４ａ〜１６４ｄに指示する。
映像符号化部１８１〜１８４は合成画像信号を符号化して多重分離部１４１〜１４４に出力する。
多重分離部１４１〜１４４は画像処理部１９３、音声処理部１９４、データ処理部１９５からのメディア信号を多重化して回線対応部１３１〜１３４及び回線１２１〜１２４を介して各テレビ会議端末に分配する。
【０００７】
【発明が解決しようとする課題】
従来の多地点テレビ会議システム１９６は以上のように構成されているので、合成画像の表示パターンを変更する場合、ＣＰＵ１９１は合成画像を変更するきっかけとなる情報を入力し（イベントの発生を検出）し、メモリ１９２に記憶している合成画像の表示パターンの変更プログラムにより合成画像の表示パターンの変更を指示する。ここで、表示パターンを変更するために画像をどのように加工処理するかを示す情報は変更プログラム上に組み込まれてメモリ１９２に記憶されているので、その情報量をそれほど多くできず合成画像の表示パターンが限られていた。
また、その情報を変更プログラム上に組み込んでメモリ１９２に記憶しているので、客先の要求等により、今までにないイベントに応じて今までと異なる表示パターンの合成画像が必要となる場合は、ソフトウェア技術者が逐一新たに必要な合成画像の表示パターンを変更する変更プログラムを作成しなければならなかった。また、通常は作成した変更プログラムの評価等も行わなければならず時間と費用がかかり、容易に客先の要求等に対応できなかった。
【０００８】
この発明は以上のような問題点を解決するためになされたもので、この発明の目的は、合成画像を変更するきっかけとなるイベントに対応する合成画像を容易に生成表示することのできる多地点テレビ会議システムを提供すること、また、複数の表示パターンの合成画像を生成できる多地点テレビ会議システムを提供することである。
【０００９】
【課題を解決するための手段】
この発明の多地点テレビ会議システムは、複数のテレビ会議端末装置と、複数のテレビ会議端末装置が伝送する画像信号から合成画像の信号を生成し複数のテレビ会議端末装置に伝送する多地点テレビ会議装置と、合成画像の分割表示様式を示す合成モードを多地点テレビ会議装置に指示する操作装置と、を備えた多地点テレビ会議システムにおいて、多地点テレビ会議装置は、第１の階層には合成モードを複数格納し、第２の階層には各合成モードに連なるとともに合成モードの表示パターンをイベントにより変更する変更条件を格納する、合成画像作成データ−ベースと、イベントを検出することにより合成画像作成データベースの第２の階層に格納された変更条件を選択するイベント検出手段と、操作装置により選択された合成モードとイベント検出手段により選択された変更条件とに基づいて合成画像を生成する画像処理手段と、を備えたものである。
【００１４】
【発明の実施の形態】
実施の形態１．
この発明の多地点テレビ会議システムの一実施の形態について説明する。図１は実施の形態１による多地点テレビ会議システムを示すブロック図、図２は記憶装置に記憶した合成画像作成データベースを示す説明図である。
図１において、２０１は多地点テレビ会議装置、２０２は多地点テレビ会議装置２０１に指示を与える操作装置、２０２ａは操作装置２０２に設けられて合成画像作成データベースを修正するデータベース修正部、２１１〜２１４はテレビ会議端末装置、２０３は操作装置２０２と多地点テレビ会議装置２０１を接続する制御線、２２１〜２２４は各々テレビ会議端末装置２１１〜２１４と多地点テレビ会議装置２０１を接続する回線である。
【００１５】
２３１〜２３４は多地点テレビ会議装置２０１に設けられて各々テレビ会議端末装置２１１〜２１４と呼制御を行う回線対応部、２４１〜２４４は多地点テレビ会議装置２０１に設けられて各々テレビ会議端末装置２１１〜２１４と送受信する映像、音声、データ等の各メディア信号を多重・分離する多重分離部、２５１〜２５４は多重分離部２４１〜２４４からの映像信号を復号化する映像復号化部、２６１〜２６４は映像復号化部２５１〜２５４からの復号化した映像信号を編集して出力する編集部、２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄは個別処理部であり、各々編集部２６１〜２６４に設けられてテレビ会議端末装置２１１〜２１４毎の映像信号にの縮小、切り出し、枠付加等々の編集を行う。２７１〜２７４は各々映像合成部であり、編集部２６１〜２６４からの編集された映像を合成して合成画像を出力する。２８１〜２８４は映像符号化部であり、映像合成部２７１〜２７４からの合成画像を符号化する。
２９１は多地点テレビ会議装置２０１を制御するＣＰＵ、２９２はメモリ、２９３は各テレビ会議端末装置２１１〜２１４からの画像の復号化及び各テレビ会議端末装置２１１〜２１４へ分配する合成画像の作成及び符号化を行う画像処理部であり、上述の符号２５１〜２５４、２６１〜２６４、２７１〜２７４、２８１〜２８４を付した構成を含む。
【００１６】
２９４は各テレビ会議端末装置２１１〜２１４からの音声を処理する音声処理部、２９５は各テレビ会議端末装置２１１〜２１４からのデータを処理するデータ処理部、２９６は合成画像作成データベースを記憶した記憶装置である。なお、多地点テレビ会議装置２０１は上述の符号２３１〜２３４、２４１〜２４４、２９１〜２９６を付した構成を含む。２９７は多地点テレビ会議システムであり、上述の符号２０１〜２０３、２１１〜２１４、２２１〜２２４を付した構成を含む。
なお、この図１においては、簡単のため、回線２２１〜２２４の回線構成において多地点テレビ会議装置２０１とテレビ会議端末装置２１１〜２１４各々との間にある伝送路および交換機等は省略してある。
【００１７】
図２に示す合成画像作成データベース３０７は、テレビ会議中に生じるイベント（合成画像を変更するきっかけとなるイベントを示す。以下、単にイベントと称す。）に対応した合成画像を作成するためのデータベースであり、イベントにより変更する変更条件及び合成画像を作成するための画像処理情報である複数の分割画像作成情報を階層化して格納して形成されている。以下その階層構造を説明する。
図２において、３０１は合成画像の分割表示様式を示す合成モード１〜Ｉを格納した第１の階層である。なお、分割表示様式とは、例えば、イベントに応じて合成画像中の特定の分割画像を強調表示したり、イベントに応じて合成画像中の分割画像の配列順序を変えて表示したりする分割画像の表示様式を言う。
３０２は画面変更イベント１〜Ｊを格納した第２の階層であり、第１の階層３０１の合成モード１〜Ｉの各々に連なって少しつづ異なる画面変更イベントが設けられている。これら画面変更イベント１〜Ｊは、イベントにより合成画像の表示パターンを変更するための変更条件を示す。
３０３は参加地点数１〜Ｋを格納した第３の階層であり、第２の階層３０２の画面変更イベント１〜Ｊの各々に連なって参加地点数１〜Ｋを設けている。なお、参加地点数１〜Ｋは画面変更イベント発生時に会議に参加しているテレビ会議端末装置２１１〜２１４の数と照合するためのものである。これら参加地点数１〜Ｋは、テレビ会議に参加している参加地点数により合成画像の表示パターンを変更するための変更条件を示す。
【００１８】
３０４は分割数と分割画像１〜Ｌとを格納した第４の階層であり、第３の階層３０３の参加地点数１〜Ｋの各々に連なって分割数と分割画像１〜Ｌとを設けている。この第４の階層３０４の分割数は合成画像上での分割画像数を指定するものであり、分割画像１〜Ｌはテレビ会議端末装置２１１〜２１４の各々から得られる映像信号を割り当てるためのものである。これら分割数、分割画像１〜Ｌは合成画像上の分割画像数により合成画像の表示パターンを変更するための変更条件を示す。
なお、分割数が第３の階層３０３の参加地点数未満の場合は、分割画像１〜Ｌに割り当てられた映像信号が分割画像作成の対象なる。したがって、自身の画像が合成画像上にないテレビ会議端末装置が発生する。また、分割数が参加端末数よりも多い場合は、その余分な分割画像にダミー映像が挿入される。但し、テレビ会議端末装置２１１〜２１４の各々から１つの映像信号でなく複数の映像信号が伝送された場合はダミー映像でなく、分割画像１〜Ｌに割り当てられた映像信号が分割画像作成の対象となる。
３０５は画面変更イベント発生時のテレビ会議端末装置２１１〜２１４の状態を識別するための状態種別１〜Ｍを格納した第５の階層であり、第４の階層３０４の分割画像１〜Ｌの各々に連なって状態種別１〜Ｍを設けている。これら状態種別１〜Ｍは画面変更イベント発生時のテレビ会議端末装置２１１〜２１４の状態により合成画像の表示パターンを変更するための変更条件を示す。
【００１９】
３０６は合成画面を作成するための画像処理情報である分割画像作成情報を格納した第６の階層であり、第５の階層３０５の状態種別１〜Ｍの各々に連なって分割画像作成情報を格納する。分割画像作成情報は、例えば、図２に示すように合成画像上での分割画像の「表示位置」（この表示位置は分割画像の左上角の合成画像上での座標で表わされる。）、テレビ会議端末装置からの映像信号による画像の「縮小率」、テレビ会議端末装置からの映像信号による画像から分割部面を切り出す場合の「切り出し位置」（この切り出し位置は分割画像の左上角の元データの映像上での座標で表わされる。）、分割画像に枠を付加するか否かを示す「枠有無」、分割画像に枠を付ける場合の色を示す「枠色」、分割画像を点滅表示するか否かを示す「点滅有無」、他の分割画像と重なる場合に見れるように表示するか隠すかを示す「優先順位」等々を格納する。
３０７は合成画像作成データベースであり、上述の第１の階層３０１〜第６の階層３０６より形成する。
【００２０】
このように階層化した合成画像作成データベース３０７によれば、第１の階層３０１の合成モード１〜Ｉの中から選択した合成モードに連なる第２の階層３０２の画面変更イベント及びこの画面変更イベントに連なる第３の階層３０３の参加地点数及びこの参加地点数に連なる第４の階層の分割数と分割画像及び分割画像に連なる第５の階層３０５の状態種別及びこの状態種別に連なる第６の階層３０６に格納した分割画像作成情報を抽出することができる。したがって、第１の階層３０１の合成モードの選択から第２の階層３０２〜第５の階層３０５の各階層の変更条件により第６の階層３０６に至るまで、複数の組合わせが可能でありその組合わせにより第６の階層３０６から様々な分割画像作成情報を抽出することができ、複数の表示パターンの合成画像を作成することが可能となる。
また、第２の階層３０２の画面変更イベント、第３の階層３０３〜第５の階層３０５の変更条件等、各階層毎の組合わせに応じて最終的に抽出される分割画像の作成情報は異なるので、１つの合成モードからでも複数の表示パターンの合成画像を作成することが可能となる。
【００２１】
次に、動作を図により説明する。なお、多地点テレビ会議装置２０１の回線対応部２３１〜２３４、多重分離部２４１〜２４４、映像復号化部２５１〜２５４、映像符号化部２８１〜２８４、音声処理部２９４、データ処理部２９５の動作は、各々図１２に示す従来の多地点テレビ会議装置１０１の回線応部１３１〜１３４、多重分離部１４１〜１４４、映像復号化部１５１〜１５４、映像符号化部１８１〜１８４、音声処理部１９４、データ処理部１９５の動作と同様であるので説明を省略し、多地点テレビ会議装置２０１からテレビ会議端末装置２１１〜２１４に分配する合成画像の変更動作について説明する。
【００２２】
図３は合成画像の表示パターン例を示す説明図であり、図３（ａ）は３地点会議の合成画像を示す説明図、図３（ｂ）、（ｃ）は４地点会議の合成画像を示す説明図である。なお、図３に示す合成画像の表示パターンは話者の映像を枠で囲って表示して強調するものである（以下、話者の映像を枠で囲って強調表示する合成画像を用いるテレビ会議を会議モード１と称す）。
図において、Ａは３地点会議の会議モード１の合成画像であり、テレビ会議端末装置２１１〜２１３からの映像から作成した分割画像ａ１〜ａ３を同一画面上に表示したものである。ａ１１は分割画像ａ１に設けられた枠であり、テレビ会議端末装置２１１が話者であることを示す。
また、Ａ１、Ａ２は４地点会議の会議モード１の合成画像であり、図３（ａ）に示す３分割の合成画像Ａにテレビ会議端末装置２１４（図１に示す）からの映像から作成した分割画像ａ４を加えて同一画面上に表示したものである。また、合成画像Ａ１、Ａ２において、各々テレビ会議端末装置２１１、２１２が話者であり、分割画像ａ１、ａ２はその枠ａ１１、ａ２１が設けられて強調表示されている。
【００２３】
図４は合成画像の他の表示パターン例を示す説明図であり、図４（ａ）は３地点会議の合成画像を示す説明図、図４（ｂ）は４地点会議の合成画像を示す説明図である。なお、図４に示す合成画像の表示パターンはテレビ会議端末装置２１１〜２１４の何れか１つの装置からの映像を大きく表示して強調するものである（以下、１つの映像を大きく表示する合成画像を用いるテレビ会議を会議モード２と称す）。
図において、Ｂは３地点会議の会議モード２の合成画像であり、テレビ会議端末装置２１１〜２１３（図１に示す）からの映像から作成した分割画像ｂ１〜ｂ３を同一画面上に表示したものである。この会議モード２ではテレビ会議端末装置２１１を代表者とし、分割画像ｂ１を他の分割画像ｂ２、ｂ３に比べて大きくすることにより強調表示している。
また、Ｂ１は４地点会議の会議モード２の合成画像であり、３分割の合成画像Ｂにテレビ会議端末装置２１４からの映像から作成した分割画像ｂ４を加えて同一画面上に表示したものである。
なお、図３、図４に示す合成画像の表示パターンは、イベントに応じて特定の分割画像を強調表示する分割表示様式に含まれるものである。
【００２４】
図５は図２に示す合成画像作成データベース３０７に格納した変更条件の一例を示す説明図である。図において、図２と同一符号は同一又は相当部分を示し説明を省略する。合成画像の表示パターンを選択する第１の階層３０１には表示パターンを選択するための合成モード１〜５を格納する。
第２の階層３０２には第１の階層３０１の「合成モード２」の下位に画面変更イベントとして「参加端末数変更、会議モード１の話者変更、会議モード変更」を格納する。
【００２５】
第３の階層３０３には第２の階層３０２の「第１の会議モードの話者変更」の下に参加端末数として「２〜４端末参加」を格納し、「会議モード変更」の下位に参加端末数として「２〜４端末参加」を格納する。
第４の階層３０４には各々第３の階層３０３の「４端末参加」の下位に分割画像数を示す「分割数４」、テレビ会議端末装置２１１〜２１４からの映像信号を割り当てた「端末２１１〜２１４」を格納する。
第５の階層３０５には第４の階層３０４の「端末２１１」の下位に状態種別として、テレビ会議端末装置２１１から音声が伝送されている／いないを示す「話者、非話者」を格納し、第４の階層３０４の「端末２１２」の下位に状態種別として、テレビ会議端末装置２１２が「会議モード１か２か、及び分配映像か非分配映像か」を格納する。
【００２６】
第６の階層３０６には第５の階層３０５の「話者」の下位に分割画像の作成情報として、分割画像の表示位置を示す「上１／２（０．０）」、元データの映像の縮小率を示す「縮小なし」、分割画像の元データの映像から切り出し位置を示す「上下１／４」、分割画像の枠有無を示す「枠有」、枠の色を示す「白」、分割画像の点滅有無を示す「点滅無」、分割画像の優先順位を示す「最優先」等々を格納し、第５の階層３０５の「会議モード２・非分配映像」の下位に分割画像の表示位置を示す「右下（３／４．３／４）」、元データの映像の縮小率を示す「１／９縮小」、分割画像の元データの映像からの切り出し位置を示す「上下右左１／４」、分割画像の枠有無を示す「枠無」、枠の色「（空欄）」、分割画像の点滅有無を示す「点滅無」、分割画像の優先順位を示す「最優先」等々を格納する。
【００２７】
なお、「会議モード１の話者変更」を上位とする第４の階層３０４「端末２１２〜２１４」の下位の各階層に各々図３（ｂ）、（ｃ）に示す分割画像ａ２〜ａ４を作成する情報が格納されている。
また、「会議モード変更」を上位とする第４の階層３０４の「端末２１１、２１３、２１４」の下位の各階層に各々図４（ｂ）に示す分割画像ｂ１、ｂ３、ｂ４を作成する情報が格納されている。
【００２８】
図６はテレビ会議の立ち上げと合成画像変更動作を示すフローチャートである。
まず、テレビ会議端末装置２１１〜２１４（図１に示す）が会議に参加する４地点会議及び会議開催当初の会議モードを会議モード１とした場合のテレビ会議の立ち上げ方法を図６により説明する。
操作装置２０２より合成画像作成データベース３０７（図５に示す）の第１の階層３０１の合成モード２を選択してモード選択信号を伝送する。多地点テレビ会議装置２０１（図１に示す）は制御線２０３を介してモード選択信号を受け、多地点テレビ会議装置２０１のＣＰＵ２９１はモード選択信号の示す合成モード２をメモリ２９２に登録する（ステップＳ１）。
なお、操作装置２０２（図１に示す）より合成モードを選択指示する場合、操作装置２０２の画面（図示せず）に合成モード毎の代表的な合成画像の表示パターンを表示しておくと合成モードの選択を容易にできる。
【００２９】
次にテレビ会議開始時は操作装置２０２からＣＰＵ２９１に対して会議モードの設定、参加端末数の通知、主催者側のテレビ会議端末装置の指定等々を行う。ＣＰＵ２９１は操作装置２０２からの指示をメモリ２９２に記憶すると共に、編集部２６１〜２６４（図１に示す）の個別処理部２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄに対して会議モード、参加端末数等々の分割画像の作成条件を指示する。
個別処理部２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄはＣＰＵ２９１の指示により、映像復号化部２５１〜２５４により復号化されたテレビ会議端末装置２１１〜２１４からの映像信号を各々編集して分割画像信号を映像合成部２７１〜２７４に出力する。映像合成部２７１〜２７４は上述の作成条件を基に分割画像信号を合成して合成画像を示す合成画像信号を出力する。映像合成部２７１〜２７４から出力された合成画像信号は、映像符号化部２８１〜２８４により符号化され、多重分離部２４１〜２４４により音声信号やデータ信号に多重化されて回線対応部２３１〜２３４により回線２２１〜２２４を介してテレビ会議端末装置２１１〜２１４に伝送される。テレビ会議端末装置２１１〜２１４は伝送された合成画像信号を合成画像としてモニターに表示して４地点会議のテレビ会議を開催する（ステップＳ２）。
【００３０】
次に、例えば、テレビ会議中に画面変更イベントとして、テレビ会議の発言者がテレビ会議端末装置２１２からテレビ会議端末装置２１１に切り替わった場合について説明する。即ち、図３（ｃ）に示す合成画像Ａ２から図３（ｂ）に示す合成画像Ａ１に合成画像の表示を変更する場合について説明する。
音声処理部２９４はテレビ会議に参加しているテレビ会議端末装置２１１〜２１４の音声データのレベルを検出して最大レベルのテレビ会議端末装置が切り替わった場合、例えば、音声データのレベルが最大のものがテレビ会議端末装置２１２からテレビ会議端末装置２１１に切り替わった場合、ＣＰＵ２９１に対して話者がテレビ会議端末装置２１２からテレビ会議端末装置２１１に変更したことを通知する（ステップＳ３）。この場合、音声処理部２９４はテレビ会議中に生じるイベントを検出するイベント検出手段に相当する。
【００３１】
ＣＰＵ２９１はその通知を受け、その話者切替の内容をメモリ２９２に記憶すると共にメモリ２９２に記憶した合成モード（合成モード２）を確認して合成画像作成データベース３０７にアクセスし、第１の階層３０１の合成モード２の下位の第２の階層３０２に「会議モード１の話者変更」（図５に示す）が格納されているか否か検出し（ステップＳ４）、格納されている場合はステップＳ５に進み、格納されていない場合はステップＳ３に戻り、合成画像変更イベント発生の通知を待つ。
【００３２】
ＣＰＵ２９１はステップＳ５において、現在会議に参加している地点数（テレビ会議端末装置２１１〜２１４の４端末参加）を確認する（ステップＳ５）。
次に、ＣＰＵ２９１は合成画像作成データベース３０７（図５に示す）の第２の階層３０２の「会議モード１の話者変更」の下位の第３の階層３０３の当該端末数を示す「４端末参加」の下位の第４の階層３０４に対して各テレビ会議端末装置２１１〜２１４からの映像毎にアクセスする。ＣＰＵ２９１は第４の階層３０４の表示画面数の「分割数４」を検出してテレビ会議端末装置２１１〜２１４の画像を割り当てた「端末２１１〜２１４」にアクセスする。
例えば、「端末２１１」にアクセスする場合について説明すると、ＣＰＵ２９１はテレビ会議端末装置２１１からの映像を示す「端末２１１」の下位の第５の階層３０５にアクセスすると共に、テレビ会議端末装置２１１の状態をメモリ２９２に問い合わせてテレビ会議端末装置２１１が話者であると確認して第５の階層３０５の「話者」の下位の第６の階層にアクセスする。ＣＰＵ２９１は第６の階層から、図３（ｂ）に示す分割画像ａ１を作成するための「上１／２（０．０）」、「縮小なし」、「上下１／４」等々の分割画像の作成情報を抽出して個別処理部２６１ａ、２６２ａ、２６３ａ、２６４ａに出力する（ステップＳ６）。
即ち、ＣＰＵ２９１は合成画像作成データベース３０７から分割画像作成情報を抽出する画像情報抽出手段に相当する。
【００３３】
なお、ＣＰＵ２９１は第４の階層３０４の「端末２１２〜２１４」に同様にアクセスして第６の階層３０６から各々図３（ｂ）に示す分割画像ａ２〜ａ４分割画像の作成情報を抽出してテレビ会議端末装置２１２の映像に対する分割画像の作成情報を個別処理部２６１ｂ、２６２ｂ、２６３ｂ、２６４ｂに出力し、テレビ会議端末装置２１３の映像に対する分割画像の作成情報を個別処理部２６１ｃ、２６２ｃ、２６３ｃ、２６４ｃに出力し、テレビ会議端末装置２１４の映像に対する分割画像の作成情報を個別処理部２６１ｄ、２６２ｄ、２６３ｄ、２６４ｄに出力する（ステップＳ６）。
【００３４】
以下、ステップＳ７での各部の動作を説明する。個別処理部２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄは各々ＣＰＵ２９１からの分割画像の作成情報に基づいて、映像復号化部２５１〜２５４により復号化されたテレビ会議端末装置２１１〜２１４からの映像信号を編集処理して分割画像信号を映像合成部２７１〜２７４に出力する。
映像合成部２７１〜２７４は各々個別処理部２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄからの分割画像信号を合成して生成した合成画像信号を映像符号化部２８１〜２８４に出力する。
【００３５】
映像符号化部２８１〜２８４は合成画像信号を符号化して多重分離部２４１〜２４４に出力し、多重分離部２４１〜２４４は符号化した映像信号を音声信号やデータと多重化して回線対応部２３１〜２３４に出力する。回線対応部２３１〜２３４は回線２２１〜２２４を介して各テレビ会議端末装置２１１〜２１４に多重化した伝送信号を分配する。
各テレビ会議端末装置２１１〜２１４では、図３（ｂ）に示すように分割画像ａ１が枠ａ１１を設けられて強調表示される。
【００３６】
また、画面変更イベントとして、例えば、操作装置２０２（図１に示す）より会議モード１から会議モード２に会議モードを変更指示する場合、即ち図３（ｂ）に示す合成画像Ａ１から図４（ｂ）に示す合成画像Ｂ１に表示パターンを変更する場合について説明する。
操作装置２０２は画面変更イベント「会議モード変更」を指示するイベント信号を多地点テレビ会議装置２０１（図１に示す）に伝送する（ステップＳ３）。多地点テレビ会議装置２０１のＣＰＵ２９１はそのイベント信号を受け、メモリ２９２に記憶した合成モード（合成モード２）を確認すると共に合成画像作成データベース３０７（図４に示す）にアクセスして第１の階層３０１の合成モード２の下位の第２の階層３０２に「会議モード変更」が格納されているか否か検出（ステップＳ４）し、格納されている場合はステップＳ５に進み、格納されていない場合はステップＳ３に戻り、画面変更イベント発生の通知を待つ。
【００３７】
ＣＰＵ２９１はステップＳ５において、現在会議に参加している地点数（テレビ会議端末装置２１１〜２１４の４端末参加）を確認する。
次に、ＣＰＵ２９１は合成画像作成データベース３０７の第２の階層３０２の「会議モード変更」の下位の第３の階層３０３の当該端末数を示す「４端末参加」の下位の第４の階層３０４に対して各テレビ会議端末装置２１１〜２１４からの映像毎にアクセスする。
ＣＰＵ２９１は第４の階層３０４の表示画像数の「分割数４」を検出してテレビ会議端末装置２１１〜２１４（図１に示す）からの画像を割り当てた「端末２１１〜２１４」にアクセスする。
例えば、「端末２１２」にアクセスする場合について説明すると、ＣＰＵ２９１は「端末２１２」の下位の第５の階層３０５にアクセスすると共にテレビ会議端末装置２１２の状態をメモリ２９２に問い合わせ、テレビ会議端末装置２１２の状態を確認（会議モード１、非分配映像）し、第５の階層３０５の会議モードの異なる「会議モード２、非分配映像」の下位の第６の階層にアクセスする。なお、会議モード等の情報はテレビ会議立ち上げ時にメモリ２９２に予め格納されている。
ＣＰＵ２９１は第６の階層から図４（ｂ）に示す分割画像ｂ２の作成情報を抽出して個別処理部２６１ｂ、２６２ｂ、２６３ｂ、２６４ｂに出力する（ステップＳ６）。
【００３８】
なお、ＣＰＵ２９１は「端末２１１、２１３、２１４」に対しても同様にアクセスして第６の階層３０６から各々分割画像ｂ１、ｂ３、ｂ４の作成情報を抽出してテレビ会議端末装置２１１からの映像に対する分割画像の作成情報を個別処理部２６１ａ、２６２ａ、２６３ａ、２６４ａに出力し、テレビ会議端末装置２１３からの映像に対する分割画像の作成情報を個別処理部２６１ｃ、２６２ｃ、２６３ｃ、２６４ｃに出力し、テレビ会議端末装置２１４からの映像に対する分割画像の作成情報を個別処理部２６１ｄ、２６２ｄ、２６３ｄ、２６４ｄに出力する。
【００３９】
ステップＳ７以降の動作は上述と同様であるので説明を省略する。
各テレビ会議端末装置２１１〜２１４では、図３（ｂ）に示す合成画像Ａ１から図４（ｂ）に示す合成画像Ｂ１に変更した合成画像が表示される。
【００４０】
次に、合成画像作成データベース３０７（図２、４に示す）の内容を修正した新たな合成画面データベースを用いて合成画像の表示パターンを変更する動作について説明する。
図７は合成画像作成データベースに追加した合成モードの内容を示す説明図である。図において図２、図５と同一符号は同一又は相当部分を示し説明を省略す合成画像の表示パターンを選択する第１の階層３０１には新たな合成モード６を格納する。
画面変更イベントを格納する第２の階層３０２には上位階層の「合成モード６」の下位に「参加端末数変更、会議モード１の話者変更、会議モード変更、会議終了５分前」を格納する。なお、ここで、新たな画面変更イベントは「会議終了５分前」であるが、この「会議終了５分前」とは、テレビ会議終了の５分前になった場合、合成画像中のテレビ会議の主催者側の画像を強調して表示し、テレビ会議の主催者に注目が集まるようにするものである。以下、この「会議終了５分前」の下位の階層について説明する。
【００４１】
参加端末数を格納する第３の階層３０３には上位階層の「会議終了５分前」の下位に「２〜４端末参加」を格納する。
分割画像数と分割画像を格納する第４の階層３０４には、例えば、上位階層の「４端末参加」の下位に分割画像数を示す「分割数４」、テレビ会議端末装置２１１〜２１４の映像をＣＰＵ２９１が任意に選択して割り当てる「任意端末１〜４」を格納する。
状態種別を格納する第５の階層３０５には、例えば、上位階層の「任意端末１」の下位にテレビ会議の主催者か否かを示す「主催、主催以外」を格納する。
【００４２】
分割画像の作成情報を格納する第６の階層３０６には、例えば、上位階層の「主催」の下位に分割画像の表示位置を示す「中央（１／４，１／４）」、元データの映像の縮小率を示す「１／４縮小」、分割画像の元データの映像から切り出し位置を示す「なし」（即ち、全画面表示を意味する。）、分割画像の枠有無を示す「枠有」、枠の色を示す「赤」、分割画像の点滅有無を示す「点滅有」、分割画像の優先順位を示す「最優先」等々を格納する。
【００４３】
なお、この第６の階層３０６に格納した分割画像の作成情報によれば、主催側からの映像を１／４に縮小して赤色の枠を設けて合成画像上の中央に点滅させて最優先で表示することになる。したがって、テレビ会議終了５分前にテレビ会議参加者に対して主催者が自動的にイニシアチブを取り易い状況を提供することができる。また、テレビ会議終了時間に回線が自動的に遮断されるシステム構成の場合は、回線遮断の警告表示として用いることもできる。
３０７ａは新たな合成画像作成データベースであり、上述の符号第１の階層３０１〜第６の階層３０６から形成する。
【００４４】
図８は合成画像データベース修正、テレビ会議の立ち上げ及び合成画像変更動作を示すフローチャートである。
次に動作を図により説明する。まず、ステップＳ０におけるの動作を説明す．。操作者の指示により、操作装置２０２は合成画像作成データベース３０７（図５に示す）のダウンロード要求信号を多地点テレビ会議装置２０１に伝送する。多地点テレビ会議装置２０１のＣＰＵ２９１はダウンロード要求信号を受けて、記憶装置２９６に記憶した合成画像作成データベース３０７を操作装置２０２にダウンロードする。
【００４５】
操作装置２０２のデータベース修正部２０２ａは操作者からの第１の階層３０１〜第６の階層３０６各々の合成モード、画面変更イベント、参加端末数、分割数、映像の割当、分割画像の作成情報等々を指示されて、第１の階層３０１〜第６の階層３０６までを階層化した部分的な新たなデータベースを作成すると共にこの新たなデータベースをダウンロードされた合成画像作成データベース３０７に追加登録して新たな合成画像データベース３０７ａを生成する。操作者の指示により操作装置２０２は新たな合成画像作成データベース３０７ａを多地点テレビ会議装置２０１に伝送する。
多地点テレビ会議装置２０１のＣＰＵ２９１は操作装置２０２からの新たな合成画像データベース３０７ａを記憶装置２９６に記憶する（ステップＳ０）。
【００４６】
次に、ステップＳ１以降の動作を説明する。操作装置２０２より合成画像作成データベース３０７ａの第１の階層３０１の合成モード６を選択する。操作装置２０２からの合成モード６を選択する旨を示すモード選択信号は制御線２０３を介して多地点テレビ会議装置２０１に伝送される。多地点テレビ会議装置２０１のＣＰＵ２９１はモード選択信号の示す合成モード６をメモリ２９２に登録する（ステップＳ１）。
次にテレビ会議開始時は操作装置２０２からＣＰＵ２９１に対して会議モードの設定、参加端末数の通知、主催者側のテレビ会議端末装置の指定等々を行う。なお、予めテレビ会議の終了時刻を決めている場合は、操作装置２０２から終了時刻を多地点テレビ会議装置２０１に指示する。
ＣＰＵ２９１は操作装置２０２からの指示をメモリ２９２に記憶すると共に編集部２６１〜２６４各々の個別処理部２６１ａ〜２６１ｃ、２６２ａ〜２６２ｃ、２６３ａ〜２６３ｃ、２６４ａ〜２６４ｄに会議モード、参加端末数等々の合成画像の作成条件を指示して合成画像を作成させてテレビ会議を開催する（ステップＳ２）。なお、ステップＳ２における多地点テレビ会議装置２０１の符号２３１〜２３４、２４１〜２４４、２５１〜２５４、２７１〜２７４、２８１〜２８４を付した構成の動作は図６に示すステップＳ２における各部の動作と同様であるので説明を省略する。
【００４７】
次に、例えば、画面変更イベントが「会議終了５分前」の場合について説明すると、テレビ会議の終了時刻がメモリ２９２に記憶してある場合は、ＣＰＵ２９１は内部クロックの時刻とメモリ２９２に記憶したテレビ会議終了時刻とが一致するか否かにより、画面変更イベント（会議終了５分前）が発生したか否かを検出する（ステップＳ３）。
また、テレビ会議の終了時刻がメモリ２９２に記憶していない場合は、操作装置２０２より合成モード６の第１の階層３０１の「会議終了５分前」を多地点テレビ会議装置２０１のＣＰＵ２９１に通知する（ステップＳ３）。
ステップＳ４以降の動作は図６に示す合成画像変更動作と同様であるので説明を省略する。
【００４８】
なお、新たなデータベースを追加登録した合成画像作成データベース３０７ａについて述べたが、記憶装置２９２の記憶容量を考慮して合成画像データベース３０７ａから不要なデータを削除しても良いし、第１の階層３０１の合成モードを増やさずに、既存の合成モードの下位の第２の階層３０２〜第６の階層３０６に格納する画面変更イベント、参加端末数、分割画像の作成情報等々を修正しても良いことは言うまでもない。
【００４９】
以上説明したように、この実施の形態１による多地点テレビ会議システムによれば、操作装置２０２から合成画像の表示パターンを選択する複数の合成モードを第１の階層３０１に格納し、合成画像を変更するきっかけとなる画面変更イベントを第２の階層３０２に格納し、第３の階層３０３〜第５の階層３０５に合成画像を変更する上での変更条件を格納して、第６の階層３０６に合成画像を作成するための分割画像の作成情報を格納して形成した合成画像作成データベース３０７を記憶装置２６２に記憶すると共に、ＣＰＵ２９１は外部から得る情報を第２の階層３０２〜第５の階層３０５から検出して、全ての階層の条件に適合する分割画像の作成情報を第６の階層３０６から抽出し、個別処理部２６１ａ〜２６１ｄ、２６２ａ〜２６２ｄ、２６３ａ〜２６３ｄ、２６４ａ〜２６４ｄはその分割画像の作成情報に基づいて各テレビ会議端末装置２１１〜２１４からの映像を処理して分割画像を作成し、映像合成部２７１〜２７４によりその分割画像を合成して合成画像を出力するので、合成画像を変更すべきイベントに対応して合成画像の表示パターンを変更でき、また、テレビ会議に要求される条件を満たす複数の合成画像を自動的に作成することができ、テレビ会議の利便性を向上させることができる。
【００５０】
また、記憶装置２９６に記憶した合成画像作成データベース３０７の内容を操作装置２０２に設けたデータベース修正部２０２ａにより修正することにより、ソフトウェア技術者等の特有の技術を有するものでなくても、容易に新たな合成画像の表示パターンを作成することができると共に容易に新たな画面変更イベントに適合する合成画像の表示パターンを作成できる。
【００５１】
実施の形態２．
この発明の多地点テレビ会議システムの他の実施の形態について説明する。この実施の形態２による多地点テレビ会議システム２９７（図１に示す）は会議途中でメモリ２９２（図１に示す）に記憶した合成モードを変更し、合成画像の表示パターンを変更するものである。
図９は実施の形態２による合成画像変更動作を示すフローチャートである。
次に、動作を図により説明する。なお、ステップＳ１、Ｓ２及びステップＳ３〜Ｓ７は図６に示すステップＳ１、Ｓ２及びステップＳ３〜Ｓ７に示す合成画像変更動作と同一であるので説明を省略し、ステップＳ２ａ、Ｓ２ｂ、Ｓ２ｃについて説明する。
【００５２】
当初予定していなかった画面変更イベントに対応して合成画像を変更するようにしたい場合、データベース修正部２０２ａ（図１に示す）は操作者の指示により操作装置２０２を介してメモリ２９２（図１に示す）に記憶する合成モードの変更を要求する合成モード変更信号を多地点テレビ会議装置２０１（図１に示す）に伝送する。なお、この実施の形態２において、データベース修正部２０２ａは合成モード変更手段に相当する。
多地点テレビ会議装置２０１のＣＰＵ２９１は、ステップＳ２ａにおいて合成モード変更信号を受けたか否か判定し、合成モード変更信号を受けていない場合はステップＳ３に進み、画面変更イベントの通知を待つ。また、合成モード変更信号を受けた場合、ステップＳ２ｂに進む。
【００５３】
次に、ステップＳ２ｂにおいて、データベース修正部２０２ａは操作者の指示により操作装置２０２を介して合成画像作成データベース３０７ａ（図７に示す）の第１の階層３０１の他の合成モードを選択するモード選択信号を多地点テレビ会議装置２０１に伝送する。
多地点テレビ会議装置２０１のＣＰＵ２９１はモード選択信号の示す他の合成モードをメモリ２９２に記憶すると共に先に記憶した合成モードを削除する（ステップＳ２ｂ）。
【００５４】
次に、新たにメモリ２９２に記憶した他の合成モードで作成される合成画像の表示パターンに変更したい場合は、操作装置２０２は操作者の指示によりＣＰＵ２９１に対して合成画像作成データベース３０７ａの第２の階層３０２〜第５の階層３０５までの条件を指示する。
ＣＰＵ２９１はその指示に基づいて合成画像作成データベース３０７ａにアクセスして第６の階層３０６に格納した分割画像の作成情報を抽出し、編集部２６１〜２６４（図１に示す）に出力する。編集部２６１〜２６４以降の合成画像の作成動作は上述の実施の形態１に示す合成画像の作成動作と同一であるので説明を省略する。各テレビ会議端末装置２１１〜２１４には操作装置２０２より指示した内容の合成画像が表示される（ステップＳ２ｃ）。
【００５５】
なお、この実施の形態３では、ステップＳ２ａ、ｂにおいて、操作装置２０２を介してデータベース修正部２０２ａより多地点テレビ会議装置２０１のメモリ２９２に記憶する合成モードの変更を指示したが、このステップＳ２ａ、ｂにおいて、即ち、テレビ会議中にデータベース修正部２０２ａより操作装置２０２を介して多地点テレビ会議装置２０１の記憶装置２９６に記憶する合成画像データベース３０７ａの内容を変更するようにしても良い。なお、合成画像作成データベース３０７ａの修正は、上述の実施の形態１に示したデータベース修正部２０２ａの動作と同等で良い。
【００５６】
以上説明した通り、テレビ会議開催中に会議開催当初には予定していない画面変更イベントに対応するために、操作装置２０２を介してデータベース修正部２０２ａよりメモリ２９２に記憶した合成画像作成データベース３０７ａの第１の階層３０１の合成モードを当該画面変更イベントを下位に有する他の合成モードに変更することにより、当該画面変更イベントに対応した合成画像を表示することができる。なお、この場合、データベース修正部２０２ａを用いて新たなデータベースを作成しなくても良く効率的に対応できる。
【００５７】
実施の形態３．
この発明の多地点テレビ会議システムの他の実施の形態について説明する。図１０は実施の形態３による多地点テレビ会議システムを示す説明図である。図において、図１と同一符号は同一又は相当部分を示し説明を省略する。
２１１ａ〜２１４ａは各々テレビ会議端末装置２１１〜２１４に設けられたデータベース修正部であり、合成画像作成データベース３０７（図２に示す）のダウンロード及び修正並びにメモリ２９２（図１に示す）に記憶する合成モードを指示する。２９７ａは多地点テレビ会議システムであり、上述の符号２１１ａ〜２１４ａを付した構成及び符号２０１〜２０３、２１１〜２１４、２２１〜２２４を付した構成を含む。
【００５８】
次に、動作を図により説明する。図１１は合成画像変更動作を示すフローチャートである。
次に動作を図により説明する まず、多地点テレビ会議装置２０１と各テレビ会議端末装置２１１〜２１４とを回線２２１〜２２４により接続する（ステップＳ０ａ）。
次に、操作装置２０２より指示して多地点テレビ会議装置２０１から合成画像作成データベース３０７をテレビ会議端末装置２１１にダウンロードする。なお、このダウンロードに際しては、ＩＴＵ−Ｔ勧告Ｈ２２１のＭＢＥを使用して記憶装置２９６に記憶した合成画像作成データベース３０７を多重分離部２４１、回線対応部２３１、制御線２２１を介してテレビ会議端末装置２１１に伝送する。（ステップＳ０ｂ）
【００５９】
次に、テレビ会議端末装置２１１に設けられたデータベース修正部２１１ａは、ダウンロードされた合成画像作成データベース３０７を各階層毎に繋がりが分かるようにテレビ会議端末装置２１１のモニター上（不図示）に表示させる。データベース操作部２１１ａは、例えば、図２、図５に示すような合成画像作成データベース３０７の階層構造を示す画像をテレビ会議端末装置２１１のモニター上に表示させる。
データベース修正部２１１ａは操作者より合成モードを選択指示されると、テレビ会議端末装置２１１を介して合成モード選択信号が多地点テレビ会議装置２０１に伝送される。多地点テレビ会議装置２０１のＣＰＵ２９１は指示された合成モードをメモリ２９２に記憶する（ステップＳ１ａ）。
なお、ステップＳ２以降の動作は上述の図６に示す合成画像変更動作と同様であるので説明を省略する。
【００６０】
また、ステップＳ０ｂにおいて、データベース修正部２１１ａは合成モードを選択指示するだけでなく、図８に示す合成画像変更動作のステップＳ０におけるデータベース修正部２０２ａの動作と同様に合成画像作成データベース３０７の修正を行って新たな合成画像データベース３０７を生成し、テレビ会議端末装置２１１から多地点テレビ会議装置２０１にアップロードして新たな合成画像作成データベースを記憶装置２９６に記憶しても良い。
【００６１】
また、上述のテレビ会議端末装置２１１からメモリ２９２に記憶する合成モードを変更させる動作及び記憶装置２９６に新たな合成画像作成データベース３０７を記憶する動作はテレビ会議開催前に限らず、図９に示すステップＳａ、ｂと同様にテレビ会議中に行っても良い。
【００６２】
なお、データベース修正部２１１ａの動作について述べたが、他のテレビ会議端末装置２１２〜２１４のデータベース修正部２１２ａ〜２１４ａによりメモリ２９２に記憶する合成モードの指示、記憶装置２９６に記憶する合成画像作成データベース３０７の内容の修正を行っても良いことは言うまでもない。
【００６３】
以上説明した通り、テレビ会議開催前に多地点テレビ会議装置２０１の記憶装置２９６に記憶した合成データベース３０７をテレビ会議端末装置２１１（テレビ会議端末装置２１１〜２１４の何れか１の装置）にダウンロードし、データベース修正部２１１ａにより合成モードを指示し多地点テレビ会議装置２０１のメモリ２９１にその合成モードを記憶するので、遠隔地にあるテレビ会議端末装置２１１側から会議形態を考慮した合成画像の表示パターンを選択でき、多地点テレビ会議システム２９７ａの利便性を向上することができる。
【００６４】
また、記憶装置２９６に記憶した合成画像作成データベース３０７の内容をデータベース操作部２１１ａにより修正した場合は、テレビ会議端末装置２１１側から新たな画面変更イベントに対応させて自動的にその新たな画面変更イベントに適合する合成画像を表示させることができる。
【００６５】
また、テレビ会議開催中に合成画像作成データベース３０７を多地点テレビ会議装置２０１からダウンロードし、データベース修正部２１１ａにより合成モードの変更を多地点テレビ会議装置２０１に指示してメモリ２９２に記憶した合成モードをデータベース修正部２１１ａの示した合成モードに変更した場合は、会議開催当初には予定していない画面変更イベントに急遽対応する必要が生じた場合に、他の合成モードの下位にその画面変更イベントを格納してあれば、容易に必要とする合成画像を表示することができる。
【００６６】
【発明の効果】
この発明の多地点テレビ会議システムによれば、複数のテレビ会議端末装置と、複数のテレビ会議端末装置が伝送する画像信号から合成画像の信号を生成し複数のテレビ会議端末装置に伝送する多地点テレビ会議装置と、合成画像の分割表示様式を示す合成モードを多地点テレビ会議装置に指示する操作装置と、を備えた多地点テレビ会議システムにおいて、多地点テレビ会議装置は、第１の階層には合成モードを複数格納し、第２の階層には各合成モードに連なるとともに合成モードの表示パターンをイベントにより変更する変更条件を格納する合成画像作成データ−ベースと、イベントを検出することにより合成画像作成データベースの第２の階層に格納された変更条件を選択するイベント検出手段と、操作装置により選択された合成モードとイベント検出手段により選択された変更条件とに基づいて合成画像を生成する画像処理手段と、を備えたので、テレビ会議中に生じるイベントに応じて抽出される分割画像作成情報を異なるように設定できる。したがって、そのイベントに応じた合成画像を容易に生成表示することができる。
【００７０】
また、この発明の多地点テレビ会議システムによれば、操作装置より指示された合成モードを会議中に他の合成モードに変更する合成モード変更手段を設け、画像情報抽出手段は他の合成モードとテレビ会議端末装置の数とイベントに応じて合成画像作成データベースから分割画像作成情報を抽出するので、合成モード変更手段により、イベントに適合した他の合成モードに変更してよりイベントに対応する合成画像を生成するとこができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の多地点テレビ会議システムを示す説明図でふる。
【図２】 合成画像作成データベースを示す説明図である。
【図３】 合成画像の表示パターン例を示す説明図であり、図３（ａ）は３地点会議の合成画像を示す説明図、図３（ｂ）、（ｃ）は４地点会議の合成画像を示す説明図である。
【図４】 合成画像の他の表示パターン例を示す説明図であり、図４（ａ）は３地点会議の合成画像を示す説明図、図４（ｂ）は４地点会議の合成画像を示す説明図である。
【図５】 合成画像作成データベースに格納したデータを示す説明図である。
【図６】 合成画像変更動作を示すフローチャートである。
【図７】 合成画像作成データベースに格納した他のデータを示す説明図である。
【図８】 合成画像作成データベース修正及び合成画像変更動作を示すフローチャートである。
【図９】 この発明の実施の形態２の合成画像変更動作を示すフローチャートである。
【図１０】 この発明の実施の形態３の多地点テレビ会議システムを示す説明図である。
【図１１】 この発明の実施の形態３の合成画像変更動作を示すフローチャートである。
【図１２】 従来の多地点テレビ会議システムを示す説明図である。
【符号の説明】
２０１ 多地点テレビ会議装置、 ２０２ 操作装置、 ２０２ａ データベース修正部、 ２０３ 制御線、 ２１１〜２１４ テレビ会議端末装置、 ２１１ａ〜２１４ａ データベース操作部、 ２２１〜２２４ 回線、 ２３１〜２３４ 回線対応部、 ２４１〜２４４ 多重分離部、 ２５１〜２５４ 映像復号化部、２６１〜２６４ 編集部、 ２７１〜２７４ 映像合成部、 ２８１〜２８４ 映像符号化部、 ２９１ ＣＰＵ、 ２９２ メモリ、 ２９３ 画像処理部、 ２９４ 音声処理部、 ２９５ データ処理部、 ２９６ 記憶装置、 ２９７、２９７ａ 多地点テレビ会議システム。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multipoint video conference in which a plurality of video conference terminals are connected to each other and a communication conference is performed between multipoints.
[0002]
[Prior art]
FIG. 12 is a block diagram showing a conventional multipoint video conference system. In FIG. 12, 101 is a multipoint video conference device, 102 is an operation device that gives instructions to the multipoint video conference device 101, 103 is a control line that connects the operation device 102 and the multipoint video conference device 101, and 111-114. Are video conference terminal devices, and 121 to 124 are lines connecting the video conference terminal devices 111 to 114 and the multipoint video conference device 101, respectively.
Reference numerals 131 to 134 are provided in the multipoint video conference apparatus 101 and perform line control with the video conference terminal apparatuses 111 to 114, respectively. Reference numerals 141 to 144 are provided in the multipoint video conference apparatus 101 and are each video conference terminal apparatus. 111-114 is a demultiplexing unit that multiplexes / demultiplexes media signals such as video, audio, and data transmitted / received, and 151-154 are video decoding units that decode video signals from the demultiplexing units 141-144, 161-154 Reference numeral 164 denotes an editing unit that edits and outputs the decoded video signal, and 161a to 161d, 162a to 162d, 163a to 163d, and 164a to 164d are individual processing units, which are provided in the editing units 161 to 164, respectively. Editing processing such as reduction, clipping, and frame addition is performed on the video signals for each of the conference terminal devices 111 to 114. Reference numerals 171 to 174 denote video composition units, which synthesize the edited videos from the editing units 161 to 164 and output a composite image. Reference numerals 181 to 184 denote video encoding units that encode the synthesized images from the video synthesis units 171 to 174.
[0003]
Reference numeral 191 denotes a CPU for controlling the multipoint video conference apparatus 101, reference numeral 192 denotes a memory, reference numeral 193 denotes decoding of images from the respective video conference terminal apparatuses 111 to 114, creation of composite images distributed to the respective video conference terminal apparatuses 111 to 114, and It is an image processing unit that performs encoding, and includes a configuration with the above-described codes 151 to 154, 161 to 164, 171 to 174, and 181 to 184.
Reference numeral 194 denotes an audio processing unit that processes audio from each of the video conference terminal devices 111 to 114, and 195 denotes a data processing unit that processes data from the respective video conference terminal devices 111 to 114. In addition, the multipoint video conference apparatus 101 includes a configuration denoted by the above-described symbols 131 to 134, 141 to 144, and 191 to 195. Reference numeral 196 denotes a multipoint video conference system, which includes a configuration denoted by the above-described symbols 101 to 103, 111 to 114, and 121 to 124.
In FIG. 11, for the sake of simplicity, the transmission path, the exchange, and the like between the video conference terminal apparatuses 111 to 114 in the line configurations of the lines 121 to 124 are omitted.
[0004]
Next, the operation will be described with reference to the drawings. Signals from the video conference terminal devices 111 to 114 are input to the line corresponding units 131 to 134 of the multipoint video conference device 101 via the lines 121 to 124, respectively, and the video / audio, It is separated into media signals such as data.
Among the separated media signals, the video signal is input to the image processing unit 193, the audio signal is input to the audio processing unit 194, and the data signal is input to the data processing unit 195, and each processing unit performs necessary signal processing.
[0005]
Here, the operation of the image processing unit 193 will be described in detail.
Video decoding units 151 to 154 decode video signals from the demultiplexing units 141 to 144, and according to instructions from the CPU 191, the individual processing units 161 a to 161 d, the individual processing units 162 a to 162 d, and the individual processing units of the editing units 161 to 164, respectively. 163a to 163d and the individual processing units 164a to 164d.
The individual processing units 161a to 161d, the individual processing units 162a to 162d, the individual processing units 163a to 163d, and the individual processing units 164a to 164d each perform video editing operations and output the edited video signals to the video synthesis units 171 to 174, respectively. To do. The video synthesis units 171 to 174 synthesize the edited video signals and output the synthesized image signals to the video encoding units 181 to 184.
[0006]
The CPU 191 inputs predetermined information and instructs to change the composite image display pattern. For example, if the terminals that participated in the conference were the video conference terminal devices 111 to 113 at the beginning of the conference, and the video conference terminal device 114 participated in the conference during the conference, the CPU 191 received information on the change in the number of participating terminals. The individual processing units 161a to 161d, the individual processing units 162a to 162d, and the individual processing units 163a to 163d so that the composite image is changed from the three-split screen to the four-split screen by the composite image display pattern change program stored in the memory 192. The individual processing units 164a to 164d are instructed.
The video encoding units 181 to 184 encode the composite image signal and output the resultant image signals to the demultiplexing units 141 to 144.
The demultiplexing units 141 to 144 multiplex the media signals from the image processing unit 193, the audio processing unit 194, and the data processing unit 195 and distribute the multiplexed media signals to the respective video conference terminals via the line corresponding units 131 to 134 and the lines 121 to 124. .
[0007]
[Problems to be solved by the invention]
Since the conventional multipoint video conference system 196 is configured as described above, when changing the composite image display pattern, the CPU 191 inputs information that triggers the change of the composite image (detects the occurrence of an event). Then, the composite image display pattern change program stored in the memory 192 is instructed to change the composite image display pattern. Here, since the information indicating how to process the image to change the display pattern is incorporated in the change program and stored in the memory 192, the amount of information cannot be increased so much, and the composite image The display pattern was limited.
In addition, since the information is incorporated in the change program and stored in the memory 192, a composite image with a different display pattern may be required depending on an unprecedented event due to a customer request or the like. Therefore, a software engineer had to create a change program for changing the display pattern of a necessary composite image one by one. In addition, it is usually time-consuming and expensive to evaluate the created change program, and it is difficult to easily respond to customer requests.
[0008]
The present invention has been made to solve the above-described problems, and an object of the present invention is to make it possible to easily generate and display a composite image corresponding to an event that causes a change in the composite image. It is to provide a video conference system and to provide a multipoint video conference system capable of generating a composite image of a plurality of display patterns.
[ 0009 ]
[Means for Solving the Problems]
The multipoint video conference system according to the present invention generates a composite image signal from a plurality of video conference terminal devices and image signals transmitted by the plurality of video conference terminal devices and transmits the composite image signals to the plurality of video conference terminal devices. In a multipoint video conference system comprising a device and an operation device that instructs the multipoint video conference device to display a composite mode indicating a composite image division display format, the multipoint video conference device is combined into the first layer. A plurality of modes are stored, and in the second layer, a composite image creation database for storing a change condition for changing a display pattern of the composite mode in accordance with an event, and a composite image by detecting the event is stored in the second layer. Event detection means for selecting a change condition stored in the second hierarchy of the created database, and a synthesis mode selected by the operating device Image processing means for generating a composite image based on the modified conditions selected by the event detection unit, those having a.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
An embodiment of the multipoint video conference system of the present invention will be described. FIG. 1 is a block diagram showing a multipoint video conference system according to Embodiment 1, and FIG. 2 is an explanatory diagram showing a composite image creation database stored in a storage device.
In FIG. 1, 201 is a multipoint video conference device, 202 is an operation device that gives instructions to the multipoint video conference device 201, 202 a is a database correction unit that is provided in the operation device 202 and corrects a composite image creation database, 211 to 214. Is a video conference terminal device, 203 is a control line for connecting the operation device 202 and the multipoint video conference device 201, and 221 to 224 are lines for connecting the video conference terminal devices 211 to 214 and the multipoint video conference device 201, respectively.
[0015]
Reference numerals 231 to 234 are provided in the multipoint video conference apparatus 201 to perform call control with the video conference terminal apparatuses 211 to 214, respectively, and reference numerals 241 to 244 are provided in the multipoint video conference apparatus 201 to each video conference terminal apparatus. Demultiplexing units for multiplexing / demultiplexing media signals such as video, audio, and data transmitted / received to / from 211 to 214, 251 to 254 are video decoding units for decoding video signals from the demultiplexing units 241 to 244, 261 to 261 H.264 is an editing unit that edits and outputs decoded video signals from the video decoding units 251 to 254, and 261a to 261d, 262a to 262d, 263a to 263d, and 264a to 264d are individual processing units, respectively. 261 to 264 provided for video conference terminal devices 211 to 214, such as reduction, cutout, frame addition, etc. It is carried out. Reference numerals 271 to 274 denote video synthesis units, which synthesize the edited videos from the editing units 261 to 264 and output a synthesized image. Reference numerals 281 to 284 denote video encoding units that encode the synthesized images from the video synthesis units 271 to 274.
Reference numeral 291 denotes a CPU for controlling the multipoint video conference apparatus 201, reference numeral 292 denotes a memory, reference numeral 293 denotes decoding of images from the respective video conference terminal apparatuses 211 to 214, creation of composite images distributed to the respective video conference terminal apparatuses 211 to 214, and This is an image processing unit that performs encoding, and includes a configuration with the above-described reference numerals 251 to 254, 261 to 264, 271 to 274, and 281 to 284.
[0016]
294 is an audio processing unit that processes audio from each of the video conference terminal devices 211 to 214, 295 is a data processing unit that processes data from each of the video conference terminal devices 211 to 214, and 296 is a memory that stores a composite image creation database. Device. In addition, the multipoint video conference apparatus 201 includes a configuration denoted by the above-described reference numerals 231 to 234, 241 to 244, and 291 to 296. Reference numeral 297 denotes a multipoint video conference system, which includes a configuration denoted by the reference numerals 201 to 203, 211 to 214, and 221 to 224 described above.
In FIG. 1, for the sake of simplicity, in the line configuration of lines 221 to 224, a transmission path, a switch, and the like between the multipoint video conference apparatus 201 and the video conference terminal apparatuses 211 to 214 are omitted. .
[0017]
A composite image creation database 307 shown in FIG. 2 is a database for creating a composite image corresponding to an event that occurs during a video conference (an event that causes the composite image to be changed. Hereinafter, simply referred to as an event). Yes, it is formed by layering and storing a plurality of divided image creation information, which is image processing information for creating a composite image and a change condition to be changed according to an event. The hierarchical structure will be described below.
In FIG. 2, reference numeral 301 denotes a first layer storing synthesis modes 1 to I that indicate a split display mode of a composite image. The divided display format is, for example, a divided image that highlights a specific divided image in the composite image according to an event, or changes the arrangement order of the divided images in the composite image according to an event. Say the display style.
Reference numeral 302 denotes a second layer that stores screen change events 1 to J, and screen change events that are slightly different from each other are provided for each of the synthesis modes 1 to I of the first layer 301. These screen change events 1 to J indicate change conditions for changing the display pattern of the composite image according to the event.
Reference numeral 303 denotes a third tier that stores the number of participating points 1 to K, and the number of participating points 1 to K is provided continuously to each of the screen change events 1 to J of the second tier 302. The number of participating points 1 to K is used for collating with the number of video conference terminal devices 211 to 214 participating in the conference when the screen change event occurs. These participation points 1 to K indicate changing conditions for changing the display pattern of the composite image according to the number of participating points participating in the video conference.
[0018]
Reference numeral 304 denotes a fourth layer storing the number of divisions and the divided images 1 to L. The number of divisions and the divided images 1 to L are provided in succession to each of the participation points 1 to K of the third layer 303. Yes. The number of divisions in the fourth layer 304 is to designate the number of divided images on the composite image, and the divided images 1 to L are for assigning video signals obtained from the video conference terminal devices 211 to 214, respectively. It is. The number of divisions and the divided images 1 to L indicate changing conditions for changing the display pattern of the composite image according to the number of divided images on the composite image.
Note that when the number of divisions is less than the number of participating points in the third hierarchy 303, the video signals assigned to the divided images 1 to L are the targets for creating divided images. Therefore, a video conference terminal device in which its own image is not on the composite image occurs. If the number of divisions is larger than the number of participating terminals, a dummy video is inserted into the extra divided image. However, when a plurality of video signals instead of one video signal are transmitted from each of the video conference terminal devices 211 to 214, the video signals assigned to the divided images 1 to L are not the dummy video, and the divided images are to be created. It becomes.
Reference numeral 305 denotes a fifth layer that stores state types 1 to M for identifying the states of the video conference terminal devices 211 to 214 when the screen change event occurs, and each of the divided images 1 to L of the fourth layer 304. State types 1 to M are provided in succession. These state types 1 to M indicate changing conditions for changing the display pattern of the composite image depending on the states of the video conference terminal devices 211 to 214 when the screen change event occurs.
[0019]
Reference numeral 306 denotes a sixth layer that stores divided image creation information, which is image processing information for creating a composite screen, and stores divided image creation information consecutively with each of the status types 1 to M of the fifth layer 305. To do. The divided image creation information includes, for example, “display position” of the divided image on the composite image (this display position is represented by coordinates on the composite image at the upper left corner of the divided image), as shown in FIG. “Reduction ratio” of the image from the video signal from the conference terminal device, “Cutout position” in the case of cutting out the divided surface from the image from the video signal from the video conference terminal device (this cutout position is the original data at the upper left corner of the divided image) ), “Frame presence / absence” indicating whether or not to add a frame to the divided image, “frame color” indicating the color when the divided image is framed, and blinking the divided image “Blinking presence / absence” indicating whether or not to perform, “priority order” indicating whether to display or hide so as to be seen when overlapping with other divided images, and the like are stored.
Reference numeral 307 denotes a composite image creation database, which is formed from the first hierarchy 301 to the sixth hierarchy 306 described above.
[0020]
According to the composite image creation database 307 hierarchized in this way, the screen change event of the second hierarchy 302 connected to the composite mode selected from the composite modes 1 to I of the first hierarchy 301 and the screen change event are displayed. The number of participating points of the third layer 303 connected, the number of divisions of the fourth layer connected to the number of participating points, the state type of the fifth layer 305 connected to the divided image and the divided image, and the sixth layer connected to this state type The divided image creation information stored in 306 can be extracted. Therefore, a plurality of combinations are possible from the selection of the synthesis mode of the first hierarchy 301 to the sixth hierarchy 306 depending on the change conditions of each hierarchy of the second hierarchy 302 to the fifth hierarchy 305. By combining them, various divided image creation information can be extracted from the sixth hierarchy 306, and a composite image of a plurality of display patterns can be created.
Further, the creation information of the divided image finally extracted differs depending on the combination of each layer, such as the screen change event of the second layer 302, the change conditions of the third layer 303 to the fifth layer 305, and the like. Therefore, it is possible to create a composite image of a plurality of display patterns even from one composite mode.
[0021]
Next, the operation will be described with reference to the drawings. The operations of the line corresponding units 231 to 234, the demultiplexing units 241 to 244, the video decoding units 251 to 254, the video encoding units 281 to 284, the audio processing unit 294, and the data processing unit 295 of the multipoint video conference apparatus 201. Are the line response units 131 to 134, the demultiplexing units 141 to 144, the video decoding units 151 to 154, the video encoding units 181 to 184, and the audio processing unit 194 of the conventional multipoint video conference apparatus 101 shown in FIG. Since the operation is the same as that of the data processing unit 195, the description thereof will be omitted, and an operation of changing the composite image distributed from the multipoint video conference apparatus 201 to the video conference terminal apparatuses 211 to 214 will be described.
[0022]
FIG. 3 is an explanatory view showing an example of a display pattern of a composite image, FIG. 3 (a) is an explanatory view showing a composite image of a three-point conference, and FIGS. 3 (b) and 3 (c) are composite images of a four-point conference. It is explanatory drawing shown. Note that the composite image display pattern shown in FIG. 3 is for emphasizing a speaker's video surrounded by a frame (hereinafter referred to as a video conference using a composite image that highlights a speaker's video surrounded by a frame. Is referred to as conference mode 1).
In the figure, A is a composite image of the conference mode 1 of the three-point conference, and the divided images a1 to a3 created from the video from the video conference terminal devices 211 to 213 are displayed on the same screen. a11 is a frame provided in the divided image a1, and indicates that the video conference terminal device 211 is a speaker.
A1 and A2 are composite images in the conference mode 1 of the four-point conference, and are created from the video from the video conference terminal device 214 (shown in FIG. 1) into the three-part composite image A shown in FIG. The divided image a4 is added and displayed on the same screen. In the composite images A1 and A2, the video conference terminal devices 211 and 212 are speakers, and the divided images a1 and a2 are highlighted with their frames a11 and a21.
[0023]
FIG. 4 is an explanatory view showing another display pattern example of the composite image, FIG. 4 (a) is an explanatory view showing a composite image of a three-point conference, and FIG. 4 (b) is an explanatory view showing a composite image of a four-point conference. FIG. The display pattern of the composite image shown in FIG. 4 is to display and emphasize a video from any one of the video conference terminal devices 211 to 214 (hereinafter, a composite image that displays one video large). Is referred to as conference mode 2).
In the figure, B is a composite image of the conference mode 2 of the three-point conference, and the divided images b1 to b3 created from the video from the video conference terminal devices 211 to 213 (shown in FIG. 1) are displayed on the same screen. It is. In the conference mode 2, the video conference terminal device 211 is a representative, and the divided image b1 is highlighted by making it larger than the other divided images b2 and b3.
B1 is a composite image in the conference mode 2 of the four-point conference, and is displayed on the same screen by adding the divided image b4 created from the video from the video conference terminal device 214 to the three-part composite image B. .
Note that the composite image display patterns shown in FIGS. 3 and 4 are included in the divided display format in which a specific divided image is highlighted in accordance with an event.
[0024]
FIG. 5 is an explanatory diagram showing an example of the change conditions stored in the composite image creation database 307 shown in FIG. In the figure, the same reference numerals as those in FIG. The first hierarchy 301 for selecting the display pattern of the composite image stores composite modes 1 to 5 for selecting the display pattern.
The second layer 302 stores “participating terminal number change, conference mode 1 speaker change, conference mode change” as a screen change event below “combining mode 2” of the first layer 301.
[0025]
In the third layer 303, “2-4 terminal participation” is stored as the number of participating terminals under “change speaker in first conference mode” in the second layer 302, and below “conference mode change”. “2-4 participation” is stored as the number of participating terminals.
“Terminal 211” in which “division number 4” indicating the number of divided images and video signals from the video conference terminal devices 211 to 214 are assigned to the fourth hierarchy 304 below “4 terminal participation” in the third hierarchy 303. ˜214 ”are stored.
The fifth layer 305 stores “speaker, non-speaker” indicating whether or not audio is transmitted from the video conference terminal device 211 as a status type below the “terminal 211” of the fourth layer 304. Then, in the lower hierarchy of “terminal 212” in the fourth hierarchy 304, the video conference terminal device 212 stores “conference mode 1 or 2 and whether the video is distributed video or non-distributed video”.
[0026]
In the sixth layer 306, “upper half (0.0)” indicating the display position of the divided image as the generation information of the divided image below the “speaker” of the fifth layer 305, the video of the original data "No reduction" indicating the reduction rate of the image, "Upper and lower 1/4" indicating the cutout position from the original data image of the divided image, "Frame present" indicating the presence or absence of the frame of the divided image, "White" indicating the color of the frame, “Flashing No” indicating whether the divided image is blinking, “Highest Priority” indicating the priority order of the divided images, and the like are stored, and the divided image is displayed below “Conference Mode 2 / Non-Distributed Video” in the fifth layer 305. “Lower right (3 / 4.3 / 4)” indicating the position, “1/9 reduction” indicating the reduction rate of the original data image, “Up / Down / Right / Left 1” indicating the cut-out position of the original image of the divided image from the image / 4 ”,“ no frame ”indicating the presence / absence of the frame of the divided image,“ (blank) ”of the frame color,“ dot ”indicating whether the divided image is blinking No ", indicating the priority of the divided image storing like" top priority ".
[0027]
It should be noted that the divided images a2 to a4 shown in FIGS. 3B and 3C are respectively displayed in the lower layers of the fourth layer 304 “terminals 212 to 214” having “conference mode 1 speaker change” as the upper layer. Stores information to be created.
Also, information for creating the divided images b1, b3, and b4 shown in FIG. 4B in each of the lower layers of “terminals 211, 213, and 214” of the fourth layer 304 having “conference mode change” as the upper layer. Is stored.
[0028]
FIG. 6 is a flowchart showing the start-up of the video conference and the composite image changing operation.
First, referring to FIG. 6, a video conference start-up method when the video conference terminal devices 211 to 214 (shown in FIG. 1) participate in the conference and the conference mode at the beginning of the conference is set to the conference mode 1 will be described. .
The mode selection signal is transmitted by selecting the synthesis mode 2 of the first hierarchy 301 of the synthesized image creation database 307 (shown in FIG. 5) from the operation device 202. The multipoint video conference apparatus 201 (shown in FIG. 1) receives the mode selection signal via the control line 203, and the CPU 291 of the multipoint video conference apparatus 201 registers the synthesis mode 2 indicated by the mode selection signal in the memory 292 (step). S1).
Note that, when the operation device 202 (shown in FIG. 1) instructs to select the synthesis mode, a composite image display pattern for each synthesis mode is displayed on the screen (not shown) of the operation device 202. Easy mode selection.
[0029]
Next, at the start of the video conference, the operation device 202 performs setting of the conference mode, notification of the number of participating terminals, designation of the video conference terminal device on the organizer side, and the like to the CPU 291. The CPU 291 stores an instruction from the operation device 202 in the memory 292, and conferences the individual processing units 261a to 261d, 262a to 262d, 263a to 263d, and 264a to 264d of the editing units 261 to 264 (shown in FIG. 1). Instructs the conditions for creating a divided image such as the mode and the number of participating terminals.
The individual processing units 261a to 261d, 262a to 262d, 263a to 263d, and 264a to 264d respectively edit the video signals from the video conference terminal devices 211 to 214 decoded by the video decoding units 251 to 254 according to instructions from the CPU 291. Then, the divided image signal is output to the video composition units 271 to 274. The video synthesizing units 271 to 274 synthesize the divided image signals based on the above-described creation conditions and output a synthesized image signal indicating the synthesized image. The synthesized image signals output from the video synthesizing units 271 to 274 are encoded by the video encoding units 281 to 284, multiplexed by the demultiplexing units 241 to 244 into audio signals and data signals, and line corresponding units 231 to 234. Is transmitted to the video conference terminal devices 211 to 214 via the lines 221 to 224. The video conference terminal devices 211 to 214 display the transmitted composite image signal as a composite image on the monitor and hold a four-point conference video conference (step S2).
[0030]
Next, for example, a case where a speaker of a video conference is switched from the video conference terminal device 212 to the video conference terminal device 211 as a screen change event during the video conference will be described. That is, the case where the display of the composite image is changed from the composite image A2 shown in FIG. 3C to the composite image A1 shown in FIG.
When the audio processing unit 294 detects the audio data level of the video conference terminal devices 211 to 214 participating in the video conference and the maximum level video conference terminal device is switched, for example, the audio data level is the highest. Is switched from the video conference terminal device 212 to the video conference terminal device 211, the CPU 291 is notified that the speaker has changed from the video conference terminal device 212 to the video conference terminal device 211 (step S3). In this case, the audio processing unit 294 corresponds to an event detection unit that detects an event that occurs during a video conference.
[0031]
In response to the notification, the CPU 291 stores the contents of the speaker switching in the memory 292, confirms the synthesis mode (synthesis mode 2) stored in the memory 292, accesses the composite image creation database 307, and performs the first hierarchy 301. It is detected whether or not “change speaker in conference mode 1” (shown in FIG. 5) is stored in the second hierarchy 302 lower than the synthesis mode 2 (step S4). If NO in step S3, the flow returns to step S3 to wait for notification of a composite image change event.
[0032]
In step S5, the CPU 291 confirms the number of points currently participating in the conference (4 terminal participation of the video conference terminal devices 211 to 214) (step S5).
Next, the CPU 291 displays “4 terminal participation” indicating the number of terminals in the third layer 303 lower than “change speaker in conference mode 1” in the second layer 302 of the composite image creation database 307 (shown in FIG. 5). ”Is accessed for each video from each of the video conference terminal devices 211 to 214. The CPU 291 detects “number of divisions 4” of the number of display screens of the fourth hierarchy 304 and accesses “terminals 211 to 214” to which the images of the video conference terminal devices 211 to 214 are assigned.
For example, the case where the “terminal 211” is accessed will be described. The CPU 291 accesses the fifth layer 305 below the “terminal 211” indicating the video from the video conference terminal apparatus 211, and the status of the video conference terminal apparatus 211. To the memory 292 and confirms that the video conference terminal device 211 is a speaker, and accesses the sixth layer below “speaker” in the fifth layer 305. From the sixth layer, the CPU 291 creates divided images such as “upper 1/2 (0.0)”, “no reduction”, “upper and lower 1/4”, and the like for creating the divided image a1 shown in FIG. Are extracted and output to the individual processing units 261a, 262a, 263a, 264a (step S6).
That is, the CPU 291 corresponds to an image information extraction unit that extracts divided image creation information from the composite image creation database 307.
[0033]
Note that the CPU 291 similarly accesses “terminals 212 to 214” of the fourth hierarchy 304, and extracts creation information of the divided images a2 to a4 shown in FIG. 3B from the sixth hierarchy 306, respectively. Split image creation information for the video of the video conference terminal device 212 is output to the individual processing units 261b, 262b, 263b, 264b, and split image creation information for the video of the video conference terminal device 213 is output to the individual processing units 261c, 262c, 263c. And the divided image creation information for the video of the video conference terminal device 214 is output to the individual processing units 261d, 262d, 263d, and 264d (step S6).
[0034]
Hereinafter, the operation of each unit in step S7 will be described. The individual processing units 261a to 261d, 262a to 262d, 263a to 263d, and 264a to 264d are each the video conference terminal devices 211 to 211 decoded by the video decoding units 251 to 254 based on the divided image creation information from the CPU 291. The video signal from 214 is edited and the divided image signals are output to the video synthesis units 271 to 274.
The video synthesizing units 271 to 274 output synthesized image signals generated by synthesizing the divided image signals from the individual processing units 261a to 261d, 262a to 262d, 263a to 263d, and 264a to 264d to the video encoding units 281 to 284, respectively. To do.
[0035]
The video encoding units 281 to 284 encode the composite image signal and output it to the demultiplexing units 241 to 244, and the demultiplexing units 241 to 244 multiplex the encoded video signal with an audio signal or data to multiplex the line corresponding unit 231. To 234. The line corresponding units 231 to 234 distribute the multiplexed transmission signals to the video conference terminal devices 211 to 214 via the lines 221 to 224.
In each of the video conference terminal devices 211 to 214, the divided image a1 is highlighted with a frame a11 as shown in FIG.
[0036]
In addition, as a screen change event, for example, when an operation device 202 (shown in FIG. 1) instructs to change the conference mode from the conference mode 1 to the conference mode 2, that is, from the composite image A1 shown in FIG. A case where the display pattern is changed to the composite image B1 shown in b) will be described.
The operation device 202 transmits an event signal instructing a screen change event “conference mode change” to the multipoint video conference device 201 (shown in FIG. 1) (step S3). The CPU 291 of the multipoint video conference apparatus 201 receives the event signal, confirms the synthesis mode (synthesis mode 2) stored in the memory 292, and accesses the composite image creation database 307 (shown in FIG. 4) to access the first hierarchy. It is detected whether or not “conference mode change” is stored in the second hierarchy 302 lower than composite mode 2 301 (step S4). If stored, the process proceeds to step S5. It returns to step S3 and waits for the notification of the screen change event occurrence.
[0037]
In step S <b> 5, the CPU 291 confirms the number of points currently participating in the conference (4 terminals participating in the video conference terminal devices 211 to 214).
Next, the CPU 291 displays the number of terminals in the third layer 303 below “Conference mode change” in the second layer 302 of the composite image creation database 307 in the fourth layer 304 below “4 terminal participation”. On the other hand, access is made for each video from each of the video conference terminal devices 211 to 214.
The CPU 291 detects “number of divisions 4” of the number of display images of the fourth layer 304 and accesses “terminals 211 to 214” to which images from the video conference terminal devices 211 to 214 (shown in FIG. 1) are assigned.
For example, the case of accessing the “terminal 212” will be described. The CPU 291 accesses the fifth layer 305 lower than the “terminal 212” and inquires of the memory 292 about the state of the video conference terminal device 212, and the video conference terminal device 212. Is checked (conference mode 1, non-distributed video), and the sixth layer below “conference mode 2, non-distributed video” having a different conference mode on the fifth layer 305 is accessed. Information such as the conference mode is stored in advance in the memory 292 when the video conference is started.
The CPU 291 extracts the creation information of the divided image b2 shown in FIG. 4B from the sixth hierarchy and outputs it to the individual processing units 261b, 262b, 263b, 264b (step S6).
[0038]
Note that the CPU 291 accesses the “terminals 211, 213, and 214” in the same manner, extracts the creation information of the divided images b1, b3, and b4 from the sixth layer 306, and the video from the video conference terminal device 211. The divided image creation information is output to the individual processing units 261a, 262a, 263a, 264a, and the divided image creation information for the video from the video conference terminal device 213 is output to the individual processing units 261c, 262c, 263c, 264c, The creation information of the divided images for the video from the video conference terminal device 214 is output to the individual processing units 261d, 262d, 263d, and 264d.
[0039]
Since the operation after step S7 is the same as described above, the description thereof is omitted.
In each of the video conference terminal devices 211 to 214, the composite image changed from the composite image A1 shown in FIG. 3B to the composite image B1 shown in FIG. 4B is displayed.
[0040]
Next, an operation of changing the display pattern of the composite image using a new composite screen database in which the content of the composite image creation database 307 (shown in FIGS. 2 and 4) is corrected will be described.
FIG. 7 is an explanatory diagram showing the contents of the composite mode added to the composite image creation database. In the figure, the same reference numerals as those in FIGS. 2 and 5 indicate the same or corresponding parts, and a new composition mode 6 is stored in the first hierarchy 301 for selecting a display pattern of a composite image that will not be described.
In the second layer 302 for storing the screen change event, “change the number of participating terminals, change the speaker in conference mode 1, change the conference mode, 5 minutes before the end of the conference” is stored in the lower layer of “synthesis mode 6”. To do. Here, the new screen change event is “5 minutes before the end of the conference”, but “5 minutes before the end of the conference” means that the TV in the composite image is displayed 5 minutes before the end of the video conference. The image on the conference organizer side is highlighted and displayed so that the video conference organizer is attracting attention. Hereinafter, a lower hierarchy of “5 minutes before the end of the conference” will be described.
[0041]
In the third layer 303 for storing the number of participating terminals, “2-4 terminal participation” is stored in the lower layer of “5 minutes before the end of the conference” in the upper layer.
The fourth layer 304 that stores the number of divided images and the divided images includes, for example, “division number 4” indicating the number of divided images below “4 terminal participation” in the upper layer, and video of the video conference terminal devices 211 to 214. The CPU 291 arbitrarily selects and assigns “arbitrary terminals 1 to 4”.
The fifth level 305 that stores the status type stores, for example, “host / other than host” indicating whether or not it is the host of the video conference below the “arbitrary terminal 1” in the upper level.
[0042]
In the sixth hierarchy 306 for storing the creation information of the divided image, for example, “center (1/4, 1/4)” indicating the display position of the divided image below the “host” in the upper hierarchy, the original data “1/4 reduction” indicating the reduction ratio of the video, “none” indicating the cut-out position from the video of the original data of the divided image (that is, indicating full screen display), “frame existence” indicating the presence or absence of the frame of the divided image ”,“ Red ”indicating the color of the frame,“ flashing present ”indicating whether the divided image is blinking,“ top priority ”indicating the priority order of the divided images, and the like.
[0043]
In addition, according to the creation information of the divided image stored in the sixth hierarchy 306, the video from the organizer is reduced to ¼, a red frame is provided, and blinking in the center on the composite image is given the highest priority. Will be displayed. Accordingly, it is possible to provide a situation in which the organizer can easily take the initiative for the video conference participants 5 minutes before the video conference ends. In the case of a system configuration in which the line is automatically cut off at the video conference end time, it can also be used as a line cut off warning display.
Reference numeral 307a denotes a new composite image creation database, which is formed from the above-described codes of the first hierarchy 301 to the sixth hierarchy 306.
[0044]
FIG. 8 is a flowchart showing composite image database correction, video conference start-up, and composite image change operation.
Next, the operation will be described with reference to the drawings. First, the operation in step S0 will be described. . In response to the operator's instruction, the operation device 202 transmits a download request signal for the composite image creation database 307 (shown in FIG. 5) to the multipoint video conference device 201. In response to the download request signal, the CPU 291 of the multipoint video conference device 201 downloads the composite image creation database 307 stored in the storage device 296 to the operation device 202.
[0045]
The database correction unit 202a of the operation device 202 includes a composition mode, screen change event, number of participating terminals, number of divisions, video allocation, divided image creation information, etc. for each of the first layer 301 to the sixth layer 306 from the operator. Is created, a partial new database is created in which the first hierarchy 301 to the sixth hierarchy 306 are hierarchized, and this new database is additionally registered in the downloaded composite image creation database 307 and newly created. A composite image database 307a is generated. The operating device 202 transmits a new composite image creation database 307a to the multipoint video conference device 201 in accordance with an instruction from the operator.
The CPU 291 of the multipoint video conference device 201 stores the new composite image database 307a from the operation device 202 in the storage device 296 (step S0).
[0046]
Next, the operation after step S1 will be described. The composition mode 6 of the first hierarchy 301 of the composite image creation database 307a is selected from the operation device 202. A mode selection signal indicating that the synthesis mode 6 is selected from the operation device 202 is transmitted to the multipoint video conference device 201 via the control line 203. The CPU 291 of the multipoint video conference apparatus 201 registers the synthesis mode 6 indicated by the mode selection signal in the memory 292 (step S1).
Next, at the start of the video conference, the operation device 202 performs setting of the conference mode, notification of the number of participating terminals, designation of the video conference terminal device on the organizer side, and the like to the CPU 291. If the end time of the video conference is determined in advance, the end time is instructed from the operation device 202 to the multipoint video conference device 201.
The CPU 291 stores an instruction from the operation device 202 in the memory 292 and combines the individual processing units 261a to 261c, 262a to 262c, 263a to 263c, and 264a to 264d of each of the editing units 261 to 264 into the conference mode, the number of participating terminals, and the like. A video conference is held by instructing image creation conditions to create a composite image (step S2). In addition, the operation | movement of the structure which attached | subjected the code | symbol 231-234, 241-244, 251-254, 271-274, 281-284 of the multipoint video conference apparatus 201 in step S2 is operation | movement of each part in step S2 shown in FIG. The description is omitted because it is similar.
[0047]
Next, for example, a case where the screen change event is “5 minutes before the end of the conference” will be described. When the end time of the video conference is stored in the memory 292, the CPU 291 stores the time of the internal clock and the memory 292. Whether or not a screen change event (5 minutes before the end of the conference) has occurred is detected based on whether or not the video conference end time matches (step S3).
If the video conference end time is not stored in the memory 292, the operation device 202 notifies the CPU 291 of the multipoint video conference device 201 of “5 minutes before the conference end” in the first hierarchy 301 in the synthesis mode 6. (Step S3).
The operations after step S4 are the same as the composite image changing operation shown in FIG.
[0048]
Although the composite image creation database 307a additionally registered with a new database has been described, unnecessary data may be deleted from the composite image database 307a in consideration of the storage capacity of the storage device 292, or the first hierarchy 301 may be deleted. The screen change event, the number of participating terminals, the creation information of divided images, etc. stored in the second hierarchy 302 to the sixth hierarchy 306 lower than the existing synthesis mode may be modified without increasing the number of synthesis modes. Needless to say.
[0049]
As described above, according to the multipoint video conference system according to the first embodiment, a plurality of synthesis modes for selecting a display pattern of a composite image from the operation device 202 are stored in the first hierarchy 301, and the composite image is stored. The screen change event that triggers the change is stored in the second hierarchy 302, the change conditions for changing the composite image are stored in the third hierarchy 303 to the fifth hierarchy 305, and the sixth hierarchy 306 is stored. In the storage device 262, a composite image creation database 307 formed by storing creation information of divided images for creating composite images is stored in the storage device 262, and the CPU 291 obtains information obtained from the outside from the second hierarchy 302 to the fifth hierarchy. The creation information of the divided image that is detected from the 305 and conforms to the conditions of all the layers is extracted from the sixth layer 306, and the individual processing units 261a to 261d and 262a to 26 are extracted. d, 263a to 263d, 264a to 264d process the video from each of the video conference terminal devices 211 to 214 based on the creation information of the divided images to create a divided image, and the video composition units 271 to 274 generate the divided images. Synthesizes and outputs a composite image, so the display pattern of the composite image can be changed in response to the event that the composite image should be changed, and multiple composite images that meet the requirements for video conferences can be automatically selected. It can be created and the convenience of the video conference can be improved.
[0050]
Further, by correcting the contents of the composite image creation database 307 stored in the storage device 296 by the database correction unit 202a provided in the operation device 202, it is easy even if it does not have a specific technique such as a software engineer. A new composite image display pattern can be created, and a composite image display pattern suitable for a new screen change event can be easily created.
[0051]
Embodiment 2. FIG.
Another embodiment of the multipoint video conference system of the present invention will be described. The multipoint video conference system 297 (shown in FIG. 1) according to the second embodiment changes the composite mode stored in the memory 292 (shown in FIG. 1) during the conference and changes the composite image display pattern. .
FIG. 9 is a flowchart showing a composite image changing operation according to the second embodiment.
Next, the operation will be described with reference to the drawings. Steps S1, S2 and steps S3 to S7 are the same as the combined image changing operation shown in steps S1, S2 and steps S3 to S7 shown in FIG. 6, and thus description thereof will be omitted. Steps S2a, S2b and S2c will be described. .
[0052]
When it is desired to change the composite image in response to a screen change event that was not originally scheduled, the database correction unit 202a (shown in FIG. 1) receives the memory 292 (FIG. 1) via the operation device 202 according to the operator's instruction. 1) is transmitted to the multipoint video conference apparatus 201 (shown in FIG. 1). In the second embodiment, the database correction unit 202a corresponds to a synthesis mode changing unit.
The CPU 291 of the multipoint video conference apparatus 201 determines whether or not a composite mode change signal has been received in step S2a. If the composite mode change signal has not been received, the CPU 291 proceeds to step S3 and waits for notification of a screen change event. If a synthesis mode change signal is received, the process proceeds to step S2b.
[0053]
Next, in step S2b, the database correction unit 202a selects another synthesis mode of the first hierarchy 301 of the composite image creation database 307a (shown in FIG. 7) via the operation device 202 according to the operator's instruction. The signal is transmitted to the multipoint video conference apparatus 201.
The CPU 291 of the multipoint video conference apparatus 201 stores the other combination mode indicated by the mode selection signal in the memory 292 and deletes the previously stored combination mode (step S2b).
[0054]
Next, when it is desired to change to a display pattern of a composite image created in another composition mode newly stored in the memory 292, the operation device 202 instructs the CPU 291 to store the second image in the composite image creation database 307a according to the operator's instruction. The conditions from the hierarchy 302 to the fifth hierarchy 305 are designated.
Based on the instruction, the CPU 291 accesses the composite image creation database 307a, extracts the creation information of the divided images stored in the sixth hierarchy 306, and outputs it to the editing units 261 to 264 (shown in FIG. 1). Since the composite image creation operation after the editing units 261 to 264 is the same as the composite image creation operation described in the first embodiment, the description thereof will be omitted. Each of the video conference terminal devices 211 to 214 displays a composite image having the content instructed from the operation device 202 (step S2c).
[0055]
In the third embodiment, in step S2a, b, the database correction unit 202a is instructed to change the composition mode stored in the memory 292 of the multipoint video conference apparatus 201 via the operation device 202. B, that is, during the video conference, the content of the composite image database 307a stored in the storage device 296 of the multipoint video conference device 201 may be changed from the database correction unit 202a via the operation device 202. The correction of the composite image creation database 307a may be equivalent to the operation of the database correction unit 202a described in the first embodiment.
[0056]
As described above, the composite image creation database 307a stored in the memory 292 is stored in the memory 292 by the database correction unit 202a via the operation device 202 in order to respond to a screen change event that is not scheduled at the beginning of the conference during the video conference. By changing the composition mode of the first hierarchy 301 to another composition mode having the screen change event at the lower level, a composite image corresponding to the screen change event can be displayed. In this case, it is not necessary to create a new database using the database correction unit 202a, and it can be efficiently handled.
[0057]
Embodiment 3 FIG.
Another embodiment of the multipoint video conference system of the present invention will be described. FIG. 10 is an explanatory diagram showing a multipoint video conference system according to the third embodiment. In the figure, the same reference numerals as those in FIG.
Reference numerals 211a to 214a denote database correction units provided in the video conference terminal devices 211 to 214, respectively. Download and correction of the composite image creation database 307 (shown in FIG. 2) and synthesis stored in the memory 292 (shown in FIG. 1). Indicates the mode. Reference numeral 297a denotes a multipoint video conference system, which includes a configuration denoted by reference numerals 211a to 214a and a configuration denoted by reference numerals 201 to 203, 211 to 214, and 221 to 224.
[0058]
Next, the operation will be described with reference to the drawings. FIG. 11 is a flowchart showing the composite image changing operation.
Next, the operation will be described with reference to the drawings. First, the multipoint video conference device 201 and the video conference terminal devices 211 to 214 are connected through the lines 221 to 224 (step S0a).
Next, the composite image creation database 307 is downloaded from the multipoint video conference device 201 to the video conference terminal device 211 in response to an instruction from the operation device 202. At the time of this download, the video conferencing terminal device 307 stores the composite image creation database 307 stored in the storage device 296 using the MBE of the ITU-T recommendation H221 via the demultiplexing unit 241, the line corresponding unit 231, and the control line 221. 211 is transmitted. (Step S0b)
[0059]
Next, the database correction unit 211a provided in the video conference terminal device 211 displays the downloaded composite image creation database 307 on the monitor (not shown) of the video conference terminal device 211 so that the connection can be understood for each layer. Let For example, the database operation unit 211a displays an image showing the hierarchical structure of the composite image creation database 307 as shown in FIGS. 2 and 5 on the monitor of the video conference terminal device 211.
When the database correction unit 211 a is instructed to select the synthesis mode by the operator, a synthesis mode selection signal is transmitted to the multipoint video conference apparatus 201 via the video conference terminal apparatus 211. The CPU 291 of the multipoint video conference apparatus 201 stores the instructed synthesis mode in the memory 292 (step S1a).
The operation after step S2 is the same as the combined image changing operation shown in FIG.
[0060]
In step S0b, the database correction unit 211a not only instructs to select the synthesis mode, but also corrects the composite image creation database 307 in the same manner as the operation of the database correction unit 202a in step S0 of the composite image change operation shown in FIG. Then, a new composite image database 307 may be generated, uploaded from the video conference terminal device 211 to the multipoint video conference device 201, and a new composite image creation database may be stored in the storage device 296.
[0061]
Further, the operation for changing the composition mode stored in the memory 292 from the video conference terminal device 211 and the operation for storing the new composite image creation database 307 in the storage device 296 are not limited to those before the video conference, but are shown in FIG. You may carry out during a video conference similarly to step Sa and b.
[0062]
Although the operation of the database correction unit 211a has been described, the instruction of the synthesis mode stored in the memory 292 by the database correction units 212a to 214a of the other video conference terminal devices 212 to 214, and the composite image creation database stored in the storage device 296 Needless to say, the contents of 307 may be corrected.
[0063]
As described above, the combined database 307 stored in the storage device 296 of the multipoint video conference device 201 before the video conference is downloaded to the video conference terminal device 211 (any one of the video conference terminal devices 211 to 214). Then, since the compositing mode is instructed by the database correction unit 211a and the compositing mode is stored in the memory 291 of the multipoint video conference device 201, the composite image display pattern considering the conference form from the remote video conference terminal device 211 side And the convenience of the multipoint video conference system 297a can be improved.
[0064]
Further, when the content of the composite image creation database 307 stored in the storage device 296 is corrected by the database operation unit 211a, the new screen change is automatically made in response to a new screen change event from the video conference terminal device 211 side. A composite image suitable for the event can be displayed.
[0065]
Further, the composite image creation database 307 is downloaded from the multipoint video conference apparatus 201 during the video conference, and the composite mode is stored in the memory 292 by instructing the multipoint video conference apparatus 201 to change the composite mode by the database correction unit 211a. Is changed to the composition mode indicated by the database correction unit 211a, and if it is necessary to respond immediately to a screen change event that is not scheduled at the beginning of the conference, the screen change event is displayed at the lower level of the other composition mode. Can be displayed, it is possible to easily display a necessary composite image.
[ 0066 ]
【The invention's effect】
According to the multi-point video conference system of the present invention, a multi-point video conference terminal device and a multi-point video signal that generates a composite image signal from image signals transmitted by the plurality of video conference terminal devices and transmits the signals to the plurality of video conference terminal devices. In a multipoint video conference system including a video conference device and an operation device that instructs the multipoint video conference device to display a composite mode indicating a composite image split display format, the multipoint video conference device is placed on the first layer. Stores a plurality of synthesis modes, and in the second layer, a synthesis image creation database that stores a change condition for changing a display pattern of the synthesis mode according to an event, and a synthesis image by detecting the event. Event detection means for selecting a change condition stored in the second hierarchy of the image creation database, and the synthesis model selected by the operating device. And image processing means for generating a composite image based on the change condition selected by the event detection means, so that the divided image creation information extracted according to the event occurring during the video conference is different. Can be set. Therefore, a composite image corresponding to the event can be easily generated and displayed.
[0070]
Further, according to the multipoint video conference system of the present invention, the synthesis mode changing means for changing the synthesis mode instructed by the operation device to another synthesis mode during the conference is provided, and the image information extracting means is provided with the other synthesis modes. Since the split image creation information is extracted from the composite image creation database according to the number of video conference terminal devices and the event, the composite image corresponding to the event is changed by changing to another composite mode suitable for the event by the composite mode changing means. Can be generated.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a multipoint video conference system according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a composite image creation database.
FIGS. 3A and 3B are explanatory diagrams showing an example of a display pattern of a composite image, FIG. 3A is an explanatory diagram showing a composite image of a three-point conference, and FIGS. 3B and 3C are composite images of a four-point conference. It is explanatory drawing which shows.
4A and 4B are explanatory diagrams showing another display pattern example of a composite image, in which FIG. 4A is an explanatory diagram showing a composite image of a three-point conference, and FIG. 4B is a composite image of a four-point conference. It is explanatory drawing.
FIG. 5 is an explanatory diagram showing data stored in a composite image creation database.
FIG. 6 is a flowchart showing a composite image changing operation.
FIG. 7 is an explanatory diagram showing other data stored in a composite image creation database.
FIG. 8 is a flowchart showing composite image creation database correction and composite image change operations.
FIG. 9 is a flowchart showing a composite image changing operation according to the second embodiment of the present invention.
FIG. 10 is an explanatory diagram showing a multipoint video conference system according to Embodiment 3 of the present invention;
FIG. 11 is a flowchart showing a composite image changing operation according to the third embodiment of the present invention.
FIG. 12 is an explanatory diagram showing a conventional multipoint video conference system.
[Explanation of symbols]
201 multipoint video conference device, 202 operation device, 202a database correction unit, 203 control line, 211-214 video conference terminal device, 211a-214a database operation unit, 221-224 line, 231-234 line correspondence unit, 241-244 Demultiplexing unit, 251 to 254 video decoding unit, 261 to 264 editing unit, 271 to 274 video synthesis unit, 281 to 284 video encoding unit, 291 CPU, 292 memory, 293 image processing unit, 294 audio processing unit, 295 Data processing unit, 296 storage device, 297, 297a Multipoint video conference system.

Claims (5)

複数のテレビ会議端末装置と、
この複数のテレビ会議端末装置が伝送する画像信号から合成画像の信号を生成しこの複数のテレビ会議端末装置に伝送する多地点テレビ会議装置と、
前記合成画像の分割表示様式を示す合成モードを多地点テレビ会議装置に指示する操作装置と、
を備えた多地点テレビ会議システムにおいて、
前記多地点テレビ会議装置は、
第１の階層には前記合成モードを複数格納し、第２の階層にはこの各合成モードに連なるとともに合成モードの表示パターンをイベントにより変更する変更条件を格納する、合成画像作成データ−ベースと、
前記イベントを検出することにより前記合成画像作成データベースの第２の階層に格納された変更条件を選択するイベント検出手段と、
前記操作装置により選択された合成モードと前記イベント検出手段により選択された変更条件とに基づいて合成画像を生成する画像処理手段と、
を備えたことを特徴とする多地点テレビ会議システムA plurality of video conference terminal devices;
A multipoint video conference device the plurality of television conference terminal device transmits the generated the plurality of television conference terminal devices a signal of a composite image from the image signal to be transmitted,
An operation device for instructing a multi-point video conference device to perform a synthesis mode indicating a divided display format of the synthesized image;
In a multipoint video conference system with
The multipoint video conference device is:
A first hierarchy stores a plurality of the synthesis modes, and a second hierarchy stores a change condition for changing the display pattern of the synthesis mode according to an event, which is connected to each of the synthesis modes. ,
Event detection means for selecting a change condition stored in a second hierarchy of the composite image creation database by detecting the event;
Image processing means for generating a composite image based on the composite mode selected by the operating device and the change condition selected by the event detection means;
Multipoint video conference system characterized by comprising 複数のテレビ会議端末装置と、
この複数のテレビ会議端末装置が伝送する画像信号から合成画像の信号を生成しこの複数のテレビ会議端末装置に伝送する多地点テレビ会議装置と、
前記テレビ会議端末装置の数と前記合成画像の分割表示様式を示す合成モードとを前記多地点テレビ会議装置に指示する操作装置と、
を備えた多地点テレビ会議システムにおいて、
多地点テレビ会議装置は、
テレビ会議中に生じるイベントを検出するイベント検出手段と、
前記複数の合成モードを格納した第１の階層、この各合成モードに連なってこの合成モードの表示パターンをイベントにより変更する変更条件を格納する第２の階層、この各変更条件に連なって複数のテレビ会議端末装置の接続数を示す情報を格納した第３の階層及びこの接続数を示す情報に連なって合成画像の分割表示条件を示す分割画像作成情報を格納した第４の階層からなる合成画像作成データベースと、
前記合成モード、前記テレビ会議端末装置の数及び前記イベントに応じて合成画像作成データベースから前記分割画像作成情報を抽出する画像情報抽出手段と、
この画像情報抽出手段により抽出された分割画像作成情報に基づいて合成画像を生成する画像処理手段と、
を備えたことを特徴とする多地点テレビ会議システムA plurality of video conference terminal devices;
A multipoint video conference device the plurality of television conference terminal device transmits the generated the plurality of television conference terminal devices a signal of a composite image from the image signal to be transmitted,
An operation device for instructing the multi-point video conference device of the number of the video conference terminal devices and a composite mode indicating a split display mode of the composite image;
In a multipoint video conference system with
Multipoint video conferencing equipment
Event detection means for detecting events that occur during a video conference;
First layer storing a plurality of synthesis modes, continuous with the respective combination mode second hierarchy to store the change condition for changing the display pattern of the combination mode by an event, a plurality of continuous with the respective change condition third tier and a fourth composite image consisting of the hierarchy storing the divided image creating information indicating the split display condition of continuous and composite image information indicating the number of connections that stores information indicating a connection number of the television conference terminal device Creation database,
Image information extraction means for extracting the divided image creation information from a composite image creation database in accordance with the synthesis mode, the number of video conference terminal devices and the event;
Image processing means for generating a composite image based on the divided image creation information extracted by the image information extraction means ;
Multipoint video conference system characterized by comprising 操作装置は、
第１の階層に格納された合成モードを変更するとともに、この第１の階層の変更に伴って第２の階層に格納された変更条件、第３の階層に格納された接続数を示す情報及び第４の階層に格納された分割画像作成情報を変更するデータベース修正手段
を備えたことを特徴とする請求項２に記載の多地点テレビ会議システム。The operating device
While changing the combination mode stored in the first hierarchy, and the first level of the stored change condition in the second hierarchy with the change, the information indicating the number of connections stored in the third hierarchy 3. The multipoint video conference system according to claim 2, further comprising a database correcting unit that changes the divided image creation information stored in the fourth hierarchy. テレビ会議端末装置は、
第１の階層に格納された合成モードを変更するとともに、この第１の階層の変更に伴って第２の階層に格納された変更条件、第３の階層に格納された接続数を示す情報及び第４の階層に格納された分割画像作成情報を変更するデータベース修正手段
を備えたことを特徴とする請求項２に記載の多地点テレビ会議システム。The video conference terminal device
While changing the combination mode stored in the first hierarchy, and the first level of the stored change condition in the second hierarchy with the change, the information indicating the number of connections stored in the third hierarchy 3. The multipoint video conference system according to claim 2, further comprising a database correcting unit that changes the divided image creation information stored in the fourth hierarchy. 複数のテレビ会議端末装置が伝送する画像信号から合成画像の信号を生成しこの複数のテレビ会議端末装置に伝送する多地点テレビ会議装置において、
前記多地点テレビ会議装置は、
第１の階層には前記合成画像の分割表示様式である合成モードを複数格納し、第２の階層にはこの各合成モードに連なるとともにこの合成モードの表示パターンをイベントにより変更する変更条件を格納する合成画像作成データ−ベースと、
この合成画像作成データベースの第１の階層に格納された複数の合成モードから合成モードを選択する操作手段と、
前記イベントを検出しこのイベントに基づいて前記合成画像作成データベースの第２の階層に格納された変更条件を選択するイベント検出手段と、
前記操作手段により選択された合成モードと前記イベント検出手段により選択された変更条件とに基づいて合成画像を生成する画像処理手段と、
を備えたことを特徴とする多地点テレビ会議装置。In a multipoint video conference device that generates a composite image signal from image signals transmitted by a plurality of video conference terminal devices and transmits the composite image signal to the plurality of video conference terminal devices,
The multipoint video conference device is:
The first hierarchy stores a plurality of synthesis modes, which are divided display formats of the synthesized image, and the second hierarchy stores change conditions that are connected to the respective synthesis modes and change the display pattern of the synthesis mode according to an event. A composite image creation database to be
Operating means for selecting a synthesis mode from a plurality of synthesis modes stored in the first hierarchy of the composite image creation database;
Event detection means for detecting the event and selecting a change condition stored in a second hierarchy of the composite image creation database based on the event;
Image processing means for generating a composite image based on the composite mode selected by the operation means and the change condition selected by the event detection means;
A multipoint video conferencing apparatus characterized by comprising:
JP07349097A 1997-03-26 1997-03-26 Multipoint video conference system and multipoint video conference device Expired - Fee Related JP3711685B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07349097A JP3711685B2 (en) 1997-03-26 1997-03-26 Multipoint video conference system and multipoint video conference device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07349097A JP3711685B2 (en) 1997-03-26 1997-03-26 Multipoint video conference system and multipoint video conference device

Publications (2)

Publication Number Publication Date
JPH10271474A JPH10271474A (en) 1998-10-09
JP3711685B2 true JP3711685B2 (en) 2005-11-02

Family

ID=13519776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07349097A Expired - Fee Related JP3711685B2 (en) 1997-03-26 1997-03-26 Multipoint video conference system and multipoint video conference device

Country Status (1)

Country Link
JP (1) JP3711685B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499075B2 (en) * 2004-09-28 2009-03-03 Seiko Epson Corporation Video conference choreographer
JP4768578B2 (en) * 2006-11-01 2011-09-07 Ｎｅｃアクセステクニカ株式会社 Video conference system and control method in video conference system
JP2014171157A (en) * 2013-03-05 2014-09-18 Ricoh Co Ltd Communication device and communication method
JP2015053613A (en) * 2013-09-06 2015-03-19 株式会社リコー Video distribution device and video distribution system

Also Published As

Publication number Publication date
JPH10271474A (en) 1998-10-09

Similar Documents

Publication Publication Date Title
US5825336A (en) Remote operation apparatus
JP3339284B2 (en) Large screen display method
US8217987B2 (en) Method for creating a videoconferencing displayed image
DE60316388T2 (en) Image display system, network interactive image display device, terminal and access control program
EP0572277B1 (en) Image communication apparatus
US20070041714A1 (en) Image and audio reproducing apparatus and method
JP4229127B2 (en) Video processing apparatus and time code adding method
JP4559976B2 (en) Video composition apparatus, video composition method, and video composition program
JPH02123881A (en) Video signal processor
JP3711685B2 (en) Multipoint video conference system and multipoint video conference device
CN115380539B (en) Apparatus and system for processing video
KR101562789B1 (en) Method for both routing and switching multi-channel hd/uhd videos and the apparatus thereof
JP2000115737A (en) Multi-point video conference system
CN113507641B (en) Client-based multi-channel video screen mixing method, system and equipment
JPH0983987A (en) Inter-multi-point communication controller
JP4388002B2 (en) Video server operation terminal device
JP2698100B2 (en) Multipoint video conference controller
JPH07131771A (en) Video conference system
JPH1188854A (en) Multispot video conference controller
JP2001197430A (en) Moving image editing device and editing method
JP2592983B2 (en) Video conference system
JPH10285457A (en) Edit device
JPH07288790A (en) Multi-spot videoconference system and its terminal
JP3899586B2 (en) Editing apparatus and editing method
JP2004282785A (en) Display controlling apparatus and display controlling method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080826

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees