JP2573177B2 - 電子会議システムにおける図形表示装置 - Google Patents

Description

【発明の詳細な説明】 ［発明の技術分野］ 本発明は遠隔地点間で会議を行なう電子会議システム
における図形表示装置に係り、特に会議出席者の動画テ
ータを出席者の数に対応させて分割表示するようにした
図形表示装置に関する。

［発明の技術的背景］ 従来から遠隔地に設置された会議ユニットシステム間
で会議通信を行なうシステムとして電子会議システムが
知られている。

このような電子会議システムに採用される会議ユニッ
トシステムとしては、たとえば第６図に示すようなもの
が考えられている。同図に示されるようにこの会議ユニ
ットシステムは、マイク１、スピーカ２、会議場を撮像
するテレビカメラ３、原稿を写すテレビカメラ４、テレ
ビモニタ５、ファクシミリ装置６、プリンタとしてのハ
ードコピー装置12、前記マイク１とスピーカ２の音声信
号を符号化、復号化する音声ユニット７、画像信号の符
号化、復号化を行なう画像ユニット８、画像ユニットを
制御する制御ユニット９、制御ユニット９の指示を入力
する操作ユニット10、音声信号、画像信号の送信および
受信を行なう伝送ユニット11より構成されている。

［背景技術の問題点］ ところで、このような電子会議シスにおいては発言者
の表示はテレビモニタ５で行なわれるが、テレビモニタ
の数が多くなり、システムが高価になるうえに、特に動
画テータはデータ量が多いためシステム構成が大型化し
システム価格が高価になるという問題があった。

またテレビモニタ５の表示画面を複数画面に分割して
テレビモニタ５を１台にすることも考えられるが、この
場合も分割された各画面に動画を表示する場合にはデー
タ量が多くなるためデータ処理部が複雑化し、やはりシ
ステム価格が高価になるという問題があった。

［発明の目的］ 本発明はこのような従来の難点を解決すべくなされた
もので、各会議出席者の動画テータを１画面上に分割表
示し、かつ分割表示領域に画面情報も表示することによ
り、システム構成の小型化し、かつデータ処理部の簡素
化に適し、運用上も有利な電子会議システムにおける図
形表示装置を提供することを目的とする。

［発明の概要］ すなわち本発明は、 自端末か遠隔地点の相手端末かを示す装置アドレス信
号と発言者を示す送話者切替信号とが付加され符号化さ
れた動画データが入力される入力部と、 前記動画テータから装置アドレス信号と送話者切替信
号とを検出する識別子検出部と、 動画データを復号化する動画復号化部と、 この動画復号化部にて復号化された動画データを記憶
するフレームメモリ部と、 前記フレームメモリ部に記憶された動画データの表示
を行なう図形表示部と、 前記動画復号化部にて復号化された動画データを、前
記送話者切替信号に応じて前記図形表示部の一画面の所
定の分割領域に動画として分割表示させるべく前記フレ
ームメモリ部に記憶させ、 前記図形表示部の一画面の前記所定の分割領域以外の
分割領域には静止状態の動画を分割表示させるべく前記
フレームメモリ部に記憶させ、かつ前記図形表示部の前
記分割領域に前記装置アドレス信号および前記送話者切
替信号に応じた画面情報を表示させるべく前き装置アド
レス信号および前記送話者切替信号に応じた画面情報デ
ータを前記フレームメモリ部に記憶させる表示制御部と を設けたものである。

［発明の実施例］ 以下、図面に基づいて本発明の実施例を詳細に説明す
る。

第１図は本発明の電子会議システムの一実施例に係る
会議ユニットシステムを示す構成ブロック図である。

制御装置900には描画系、静止画系、動画系、音声系
の入力装置が接続され、ソフトコピー系、ハードコピー
系、音声系の出力装置が接続されている。これらの入力
装置からの信号、出力装置への信号は幾つかの制御情報
信号により選択、多重化等の処置を施され、また伝送さ
れる。

入力装置としては、手書き文字や図形を入力するため
の複数の描画入力装置100、会議前あるいは会議中に書
類原稿を入力するための静止画入力装置200、会議出席
者や会議場の背景の画像を入力するための動画入力装置
300、および安声を入力するる音声入力装置400が接続さ
れている。

また出力装置は、自端末や伝送されて来る描画系、静
止画系の入力情報を表示する複数の平面表示装置150お
よび図形表示装置（１）160、図形表示装置（１）160の
コピーを取るハードコピー装置260、自端末や伝送され
て来る動画系の入力情報を表示する図形表示装置（２）
350、伝送されて来る音声系入力装置を出力する音声出
力装置450が接続されている。

また蓄積装置600により、これらの入出力情報は記録
読出が行なわれる。そして伝送装置700により遠隔地の
他の２つの会議ユニットシステムと接続されている。

以上の入出力情報は操作入力装置850、会議出席者の
離着席を検出する状態検出装置800、会話者の音声から
発言者を判定する話者識別装置510などの装置からの信
号により情報の流れ先がコントロールされている。

以下本発明の要部をなす各装置ごとにさらに詳細に説
明を行する。

第２図は動画入力装置300の一例を示す構成ブロック
図である。

この動画入力装置300は複数のテレビカメラにより発
言者を映し、この中の所定のテレビカメラを選択して映
された画像情報を制御装置900に送るものである。

この動画入力装置300は複数の動画入力部310a、310
b、310c、310dと、制御装置900からの送話者切替信号
（PID）によりこれら複数の動画入力部から一つの動画
入力部を選択する動画セレクタ部320と、この選択され
た動画入力信号（PIN）を圧縮符号化する動画符号化部3
30と、この符号化された動画データ（PSD）にフレーム
識別子（FID）と送話者切替信号（PID）を付加する識別
子付加部340から構成される。

以下、この動画入力装置300の動作を説明する。

会議出席者や会議場の背景等の動画像は複数の動画入
力部310a、310b、310c、310dにより電気信号に変換さ
れ、動画セレクタ部320に送出される。

回線の伝送容量を64kbpsとし、この回線には音声等の
データも送出せねばならないことを考えると、同時に複
数の動画入力は不可能である。そこで動画セレクタ部32
0は、制御装置900の送話者切替信号（PID）により発言
者を写すように該当する動画入力部を１つ選択し、この
動画入力信号（PIN）を動画符号化部300に送出する。

なお、送話者切替信号（PID）により、会議途中の退
席者の動画入力部を切放すこともできる。

動画符号化部330は動画入力信号（PIN）をフレーム駒
落し方式による標本化処理、フレーム間符号化方式によ
る予測符号化処理、コサイン変換符号化方式による直交
換符号化処理などにより32kbpsに圧縮符号化し、動画デ
ータ（PSD）として識別子付加部340に送出する。

識別子付加部340は、動画データであることを示すフ
レーム識別子（FID）と、複数の動画入力部の中からど
の動画入力部を選択したかを示す送話者切替信号（PI
D）とを動画データ（PSD）に付加し、送信データ（SX
D）として制御装置900に送出する。

次に動画符号化部330について説明する。

動画符号化部330の一例を第３図に示す。

この動画符号化部330は入力処理ユニット331と、送信
メモリユニット332と、コサイン変換ユニット333と、符
号化ユニット334とよりなる。

以下、この動画符号化部330の動作を説明する。

まず動画セレクタ部320で選択された動画入力信号（P
IN）は入力処理ユニット331に送出され、動画入力信号
からカラーバーストと同期信号が除去された後、８ビッ
トでA/D変換が行なわれる。さらに図示しないディジタ
ルフィルタにより各フレームの画素数は256×256から12
8×128へ、フレーム周波数も30フレーム／秒から10フレ
ーム／秒に減少される。

次に入力処理された各フレームのデータは、送信メモ
リユニット332に送出され、図示しない現用フレームメ
モリに入れられる。一つ前の書き換え済フレームのデー
タは、図示しない参照フレームメモリに入れられてお
り、８×８画素のブロック単位で現フレームと参照フレ
ームが比較され、書き換えるべきブロックが決められ
る。あるブロックが大きく変化していると参照メモリが
書き直されると共に、そのブロック情報がコサイン変換
ユニット333に入力される。あまり変化のないブロック
は何も処理されずに書き直しもされない。

さらにコサイン変換ユニット333は、２次元コサイン
変換により画素間の相関性を取り除き、得られた変換係
数を符号化ユニット334に送出する。

この変換係数はゼロをとる係数が多いため、ビット０
の長い列を送る代わりにランレングス符号化で圧縮す
る。

次に符号化ユニット334は、変換係数に対し画像の局
部エネルギーの予測に従ってハフマン符号化表中の実際
の符号を選択する。また、ブロックに関する情報も符号
化する。

この符号化データは図示しない送信バッファに入り、
ここから所定の伝送速度で識別子付加部340に動画デー
タ（PSD）として送出される。

また、符号化ユニット334は送信データのオーバフロ
ーや、アンダフローを防ぐため伝送レート制御を行な
う。

このように動画符号化部330ではスペクトル上、空間
上、時間上の三つの圧縮を組合わせて用いている。

即ち、スペクトル上は色成分の冗長度に対し、色成分
のフィルタリングにサブサンプリングを行い、空間上は
輝度あるいは振幅における冗長度に対し水平・垂直両方
向でのサンプリングと画素間の相関性を除くための２次
元コサイン変換符号化を行い、さらに時間上はフレーム
間の値における冗長度に対しフレーム飛び越しと内挿お
よび条件付き書き換えを行なっている。

第４図は図形表示装置（２）350の一例を示すブロッ
ク構成図である。

この図形表示装置（２）350は自端末や伝送されてく
る動画系の入力情報を表示するもので、制御装置900か
ら出力された受信データ（RXD）から装置アドレス（SA
D）、フレーム識別子（FID）および送話者切替信号（PI
D）を検出するための識別子検出部360と、動画データ
（PRD）の復号化を行なう動画復号部370a、370bと、復
号化された動画信号（POUT）を一時記憶合成するための
フレームメモリ部380と、複数の動画および静止状態の
動画を複数分割表示制御および分割された画面に所定の
画面番号の表示制御を行なう表示制御部385と、動画を
表示する図形表示部390から構成される。

以下、この図形表示装置（２）350の動作を説明す
る。

制御装置900から送出された受信データ（RXD）は制御
情報と画像情報から構成され、制御情報にはフレーム識
別子（FID）、装置アドレス（SAD）、送話者切替信号
（PID）等がある。ここで画像情報は動画データのみで
ある。

まず識別子検出部360は、このフレーム識別子（FID）
より動画データであることを検出し、つぎに装置アドレ
ス（SAD）を検出し、自端末か相手端末かを判定する。
さらに送話者切替信号（PID）よりどの動画入力部から
の動画テータであるかを判定する。

次にフレーム識別子（FID）と、識別子検出部360で装
置アドレス（SAD）および送話者切替信号（PID）を除去
された動画データ（PRD）は動画復号化部370aまたは370
bに送出され、32kbpsに圧縮符号化された動画データの
復号化が行なわれる。

この動画復号化部370aと370bは装置アドレス（SAD）
に対応して、自端末と相手端末、または相手端末と相手
端末が同時に入力しても遅延なく正しく復号化を行なう
ため、同一構成のものを２系統備えている。

この復号化された動画信号（POUT）は、フレームメモ
リ部380の所定領域に一時記憶され、表示画面が合成さ
れる。

なお識別子検出部360で検出された装置アドレス（SA
D）および送話者切替信号（PID）は表示制御部385に送
出され、フレームメモリ部380に対して同一画面上に自
端末と２つの相手端末のいずれか２端末の動画および静
止状態の動画を複数分割表示するための表示制御および
この分割表示された各画面に装置アドレス（SAD）と送
話者切替信号（PID）に対応した画面番号を同時に表示
するための表示制御が行なわれる。すなわち表示制御部
385は装置アドレス（SAD）と送話者切替信号（PID）と
により入力される複数の動画データを図形表示部390の
所定の位置に分割表示させる命令と、発言者のみを動画
とし発言者以外を静止画として表示させる命令と、図形
表示部390の分割された各画面に装置アドレス（SAD）お
よび送話者切替信号（PID）に応じた画面番号を表示さ
せる命令とを生成し、フレームメモリ部380にこれらの
命令を送りフレームメモリ部380の表示制御を行なう。

そしてフレームメモリ部380から所定のサイクルで動
画信号が読出され、図形表示部390に表示される。

しかして図形表示部390では第４図に示すように画面
が分割され発言者のみが動画で表示される。また分割さ
れた各画面には所定の画面番号が付加して表示される。
次に動画復号化部370a（370b）について説明を行な
う。

動画復号化部370aの一例を第３図に示す。

この動画復号化部370aは、動画データをブロック単位
に復号化する復号化ユニット371と、この復号化された
変換係数を逆コサイン変換する逆コサイン変換ユニット
372と、現フレームメモリと参照フレームメモリを有す
る受信メモリユニット373と、この現フレームメモリと
参照フレームメモリから動画フレームを出力する出力処
理ユニット374とから構成される。

以下、この動画復号化部370aの動作を説明する。

まず識別子検出部360から出力された動画データ（PR
D）は復号化ユニット371の図示しない受信バッファに入
れられる。つぎにブロック情報が復号化され、さらにハ
フマン符号化表と同じ表を利用して変換係数を得るため
復号化のステップサイズが決定されると共に、書き換え
るべきブロックの位置が決定される。

次に逆コサイン変換ユニット372は、復号化ユニット3
71で再生された変換係数に２次元逆コサイン変換を施
し、ブク単位のデータを出力する。

そして受信メモリユニット373は書き換えるべきブロ
ックの位置情報をもとに、８×８画素のブロック単位で
図示しない現フレームメモリの中の該当する領域を書き
直す。

また、図示しない参照フレームメモリには一つ前の書
き換え済のフレームのデータを入れておく。これは次に
くるフレームとの比較を行なうために使用する。

さらに出力処理ユニット374は受信メモリユニット373
の現フレームメモリと参照フレームメモリを用いて、フ
レーム周波数を10フレーム／秒から30フレーム／秒に戻
したり、再生したフレームの中の画素レベルが時間的に
滑かに変化するように計算によってフレームの内挿を行
なう。

最後に出力処理ユニット374で処理された動画信号（P
OUT）はフレームメモリ部380に送出される。

このように本実施例装置では、表示制御部385に図形
表示部390の表示画面を分割させる機能と、発言者のみ
を動画で表示させ、その他の者は静止画で表示させる機
能と、分割された画面に所定の画面番号を付加して表示
させる機能を持たせたので、システム構成を小型化し、
かつデータ処理部も簡素化することができる。また従来
のようにオペレータがいちいち画面の切替えを行なう必
要がなくなる。

［発明の効果］ 以上説明したように本発明では、表示画面を分割し、
発言者のみを動画で表示させ、その他の者は静止画で表
示させ、更に、分割された画面に所定の画面番号を付加
して表示させるようにしたため、システム構成を小形化
し、かつデータ処理部も簡素化することができる。ま
た、従来のようにオペレータがいちいち画面の切替えを
行なう必要がなくなる。

【図面の簡単な説明】

第１図は電子会議システムの構成ブロック図、第２図は
動画入力装置（２）の構成ブロック図、第３図は動画符
号化部の構成ブロック図、第４図は図形表示装置（２）
の構成ブロック図、第５図は動画復号部の構成ブロック
図、第６図は従来の電子会議システムの構成ブロック図
である。 300……動画入力装置 330……動画符号化部 350……図形表示装置（２） 360……識別検出部 370a、370b……動画復号部 380……フレームメモリ部 385……表示制御部 390……図形表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 工藤 憲昌 日野市旭が丘３丁目１番１号 株式会社 東芝日野工場内 (72)発明者 中村 升一 日野市旭が丘３丁目１番１号 株式会社 東芝日野工場内 (72)発明者 坂野 弘和 日野市旭が丘３丁目１番１号 株式会社 東芝日野工場内 (72)発明者 藍原 政芳 日野市旭が丘３丁目１番１号 株式会社 東芝日野工場内 (56)参考文献 特開 昭59−21186（ＪＰ，Ａ) 特開 昭54−31224（ＪＰ，Ａ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】自端末か遠隔地点の相手端末かを示す装置
   アドレス信号と発言者を示す送話者切替信号とが付加さ
   れ符号化された動画データが入力される入力部と、 前記動画データから装置アドレス信号と送話者切替信号
   とを検出する識別子検出部と、 動画データを復号化する動画復号化部と、 この動画復号化部にて復号化された動画データを記憶す
   るフレームメモリ部と、 前記フレームメモリ部に記憶された動画データの表示を
   行なう図形表示部と、 前記動画復号化部にて復号化された動画データを、前記
   送話者切替信号に応じて前記図形表示部の一画面の所定
   の分割領域に動画として分割表示させるべく前記フレー
   ムメモリ部に記憶させ、 前記図形表示部の一画面の前記所定の分割領域以外の分
   割領域には静止状態の動画を分割表示させるべく前記フ
   レームメモリ部に記憶させ、かつ前記図形表示部の前記
   分割領域に前記装置アドレス信号および前記送話者切替
   信号に応じた画面情報を表示させるべく前記装置アドレ
   ス信号および前記送話者切替信号に応じた画面情報デー
   タを前記フレームメモリ部に記憶させる表示制御部と を具備することを特徴とする電子会議システムにおける
   図形表示装置。