JPH10262229A - 通信システム、多地点制御装置および映像表示方法 - Google Patents
通信システム、多地点制御装置および映像表示方法Info
- Publication number
- JPH10262229A JPH10262229A JP6445597A JP6445597A JPH10262229A JP H10262229 A JPH10262229 A JP H10262229A JP 6445597 A JP6445597 A JP 6445597A JP 6445597 A JP6445597 A JP 6445597A JP H10262229 A JPH10262229 A JP H10262229A
- Authority
- JP
- Japan
- Prior art keywords
- information
- bit stream
- variable
- screen
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Digital Computer Display Output (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】多地点間のＴＶ会議を行う中で、各端末の表示
画面（分割された小画面）に映し出された人の中から話
者を確実に認識する。 【解決手段】このＴＶ会議システムのＭＣＵ６の輝度調
整部１２は、可変長符号化されたMPEG2 ビットストリー
ムデータを輝度情報のＤＣ成分を含む符号化情報までの
ビットストリームに可変長復号するMPEG2 VLD 部２１
と、符号化情報の中に含まれる輝度情報を抽出する輝度
情報抽出部２２と、話者を検出する話者検出部１０と、
検出された話者以外の人の画面の輝度情報のＤＣ成分に
オフセットを付加して符号化情報を変更する輝度オフセ
ット付加部２３と、変更された符号化情報と他の符号化
情報に基づいて１画面からなる符号化情報を再構築する
データ再構築部２４と、再構築された符号化情報を元の
MPEG2 ビットストリームデータに戻して各端末２〜５へ
出力するMPEG2 VLC 部２５とを具備する。
画面（分割された小画面）に映し出された人の中から話
者を確実に認識する。 【解決手段】このＴＶ会議システムのＭＣＵ６の輝度調
整部１２は、可変長符号化されたMPEG2 ビットストリー
ムデータを輝度情報のＤＣ成分を含む符号化情報までの
ビットストリームに可変長復号するMPEG2 VLD 部２１
と、符号化情報の中に含まれる輝度情報を抽出する輝度
情報抽出部２２と、話者を検出する話者検出部１０と、
検出された話者以外の人の画面の輝度情報のＤＣ成分に
オフセットを付加して符号化情報を変更する輝度オフセ
ット付加部２３と、変更された符号化情報と他の符号化
情報に基づいて１画面からなる符号化情報を再構築する
データ再構築部２４と、再構築された符号化情報を元の
MPEG2 ビットストリームデータに戻して各端末２〜５へ
出力するMPEG2 VLC 部２５とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば通信システ
ムとこの通信システムに利用される多地点制御装置およ
び映像表示方法に関する。
ムとこの通信システムに利用される多地点制御装置およ
び映像表示方法に関する。
【０００２】
【従来の技術】異なる地点に設置した複数の画像通信端
末を双方向通信回線で接続し、それぞれの端末間の動画
像通信を多地点制御装置が中継して行う通信システムで
は、多地点制御装置（ＭＣＵ）にデータが集中すること
から、ＭＣＵでデータが遅延しＴＶ会議などを行う上で
はこの遅延が問題になっている。
末を双方向通信回線で接続し、それぞれの端末間の動画
像通信を多地点制御装置が中継して行う通信システムで
は、多地点制御装置（ＭＣＵ）にデータが集中すること
から、ＭＣＵでデータが遅延しＴＶ会議などを行う上で
はこの遅延が問題になっている。
【０００３】近年、通信技術の進歩に伴い、離れた場所
にいながらにして会議を行うことができる遠隔地間の通
信システム（ΤＶ会議システム）の普及が進んでいる。
このようなΤＶ会議システムは、簡素な構成のものとし
て、２地点間の画像通信端末を双方向通信回線で接続し
てなるものがある。この場合、両方向の動画像通信を同
じ符号化方式および同じ伝送速度で伝送するのが一般的
である。動画像を符号化する方式としては、国際標準と
して、例えばH.261(ITU-T Rec.H.261)やMPEG2(ISO/IEC
138 18｜ITU-T Rec.H.261)などがある。
にいながらにして会議を行うことができる遠隔地間の通
信システム（ΤＶ会議システム）の普及が進んでいる。
このようなΤＶ会議システムは、簡素な構成のものとし
て、２地点間の画像通信端末を双方向通信回線で接続し
てなるものがある。この場合、両方向の動画像通信を同
じ符号化方式および同じ伝送速度で伝送するのが一般的
である。動画像を符号化する方式としては、国際標準と
して、例えばH.261(ITU-T Rec.H.261)やMPEG2(ISO/IEC
138 18｜ITU-T Rec.H.261)などがある。
【０００４】ところで、現在では、図４に示すように、
双方向通信回線５１に３地点以上に点在する複数の画像
通信端末５２ａ〜５２ｃなどと多地点制御装置（ＭＣ
Ｕ）５３とを接続した多地点ΤＶ会議システムを構成し
て通信が行われることもある。上記ＭＣＵ５３は、図５
に示すように、各端末５２ａ〜５２ｃなどから双方向通
信回線５１を通じて送られてきたビットストリームを画
面毎の情報に復号処理する複数のデコーダ６１ａ〜６１
ｃと、復号された画面毎の情報を編集する画面編集部６
２と、編集された画面毎の情報を符号化し各地点の端末
５２ａ〜５２ｃへ送るエンコーダ６３ａ〜６３ｃとから
構成されている。
双方向通信回線５１に３地点以上に点在する複数の画像
通信端末５２ａ〜５２ｃなどと多地点制御装置（ＭＣ
Ｕ）５３とを接続した多地点ΤＶ会議システムを構成し
て通信が行われることもある。上記ＭＣＵ５３は、図５
に示すように、各端末５２ａ〜５２ｃなどから双方向通
信回線５１を通じて送られてきたビットストリームを画
面毎の情報に復号処理する複数のデコーダ６１ａ〜６１
ｃと、復号された画面毎の情報を編集する画面編集部６
２と、編集された画面毎の情報を符号化し各地点の端末
５２ａ〜５２ｃへ送るエンコーダ６３ａ〜６３ｃとから
構成されている。
【０００５】この多地点ΤＶ会議システムの場合、複数
の端末５２ａ〜５２ｃから送信される映像情報（画像情
報）は、H.261 方式などでビットストリームに符号化さ
れ、その上で双方向通信回線５１に送信され、ある地点
に設置されたＭＣＵ５３が中継して通信を行うことにな
る。
の端末５２ａ〜５２ｃから送信される映像情報（画像情
報）は、H.261 方式などでビットストリームに符号化さ
れ、その上で双方向通信回線５１に送信され、ある地点
に設置されたＭＣＵ５３が中継して通信を行うことにな
る。
【０００６】ＭＣＵ５３では、各端末５２ａ〜５２ｃか
ら双方向通信回線５１を通じて送られてきたビットスト
リームが各デコーダ６１ａ〜６１ｃで一度復号処理され
てから画面編集部６２で画面の編集が行われ、編集後の
画面が対応する各エンコーダ６３ａ〜６３ｃで符号化さ
れて各地点の端末５２ａ〜５２ｃへ送られる。
ら双方向通信回線５１を通じて送られてきたビットスト
リームが各デコーダ６１ａ〜６１ｃで一度復号処理され
てから画面編集部６２で画面の編集が行われ、編集後の
画面が対応する各エンコーダ６３ａ〜６３ｃで符号化さ
れて各地点の端末５２ａ〜５２ｃへ送られる。
【０００７】この多地点間ΤＶ会議システムにおいて、
テレビ会議を行う中では、通常、図６に示すように、１
つの画面をいくつかの小画面に分割し、分割した各小画
面に各端末からの会議者映像を表示する。
テレビ会議を行う中では、通常、図６に示すように、１
つの画面をいくつかの小画面に分割し、分割した各小画
面に各端末からの会議者映像を表示する。
【０００８】この場合、上記ＭＣＵ５３において、各端
末５２ａ〜５２ｃから送られてきたビットストリームデ
ータをデコーダ６１ａ〜６１ｃで復号処理した後、各画
面毎に画面編集部６２にて画面編集を行い、編集処理後
の画面毎の情報を各エンコーダ６３ａ〜６３ｃで再びビ
ットストリームへ符号化を行い各端末へ伝送する処理が
行われる。
末５２ａ〜５２ｃから送られてきたビットストリームデ
ータをデコーダ６１ａ〜６１ｃで復号処理した後、各画
面毎に画面編集部６２にて画面編集を行い、編集処理後
の画面毎の情報を各エンコーダ６３ａ〜６３ｃで再びビ
ットストリームへ符号化を行い各端末へ伝送する処理が
行われる。
【０００９】
【発明が解決しようとする課題】しかしながら、従来の
多地点制御装置（ＭＣＵ）では、画面編集部で各端末か
ら送られてきたビットストリームデータを一度、１画面
毎の映像の状態までに復号し、各画面単位で画面を編集
し直すため、情報量が非常に多い動画像などの場合は、
情報の復号、画面編集および符号化などの処理に多くの
時間がかかってしまい、情報伝送に遅延が生じ、テレビ
会議のようにリアルタイム性が要求される通信では問題
がある。
多地点制御装置（ＭＣＵ）では、画面編集部で各端末か
ら送られてきたビットストリームデータを一度、１画面
毎の映像の状態までに復号し、各画面単位で画面を編集
し直すため、情報量が非常に多い動画像などの場合は、
情報の復号、画面編集および符号化などの処理に多くの
時間がかかってしまい、情報伝送に遅延が生じ、テレビ
会議のようにリアルタイム性が要求される通信では問題
がある。
【００１０】また多地点制御装置から各端末へ届けられ
た映像には、他の複数の端末の映像が分割された小画面
に表示されるが、小画面内に表示された映像（人の動
き）を見ただけでは、誰が話しているか判断し難いとい
う問題点があった。
た映像には、他の複数の端末の映像が分割された小画面
に表示されるが、小画面内に表示された映像（人の動
き）を見ただけでは、誰が話しているか判断し難いとい
う問題点があった。
【００１１】本発明は、このような課題を解決するため
になされたもので、その第１の目的は、各端末間で送受
する情報の中継を効率良く行うことにある。
になされたもので、その第１の目的は、各端末間で送受
する情報の中継を効率良く行うことにある。
【００１２】また本発明の第２の目的は、各端末におい
て小画面に映し出された複数の会議者映像の中で誰が話
をしているかを確実に認識できる通信システムを提供す
ることにある。
て小画面に映し出された複数の会議者映像の中で誰が話
をしているかを確実に認識できる通信システムを提供す
ることにある。
【００１３】
【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の発明の通信システムは、異なる
地点に配置された複数の画像通信端末を多地点制御装置
および双方向通信路を介して接続し、前記多地点制御装
置が、前記各画像通信端末にて所定符号化方式で可変長
符号化され前記双方向通信路を伝送されてきたそれぞれ
のビットストリームデータを少なくとも輝度情報を含む
符号化情報の状態までに可変長復号する可変長復号手段
と、前記双方向通信路を通じて送られてきた制御情報に
基づいて話者が存在する画像通信端末を検出する話者検
出手段と、前記話者検出手段の検出結果を基に、前記可
変長復号された符号化情報を変更して他の符号化情報と
共に１画面分の符号化情報を再構築する再構築手段と、
前記再構築手段により再構築された１画面の符号化情報
を元の可変長符号化状態に戻して前記各画像通信端末へ
出力する可変長符号化手段とを具備したことを特徴とし
ている。
ために、請求項１記載の発明の通信システムは、異なる
地点に配置された複数の画像通信端末を多地点制御装置
および双方向通信路を介して接続し、前記多地点制御装
置が、前記各画像通信端末にて所定符号化方式で可変長
符号化され前記双方向通信路を伝送されてきたそれぞれ
のビットストリームデータを少なくとも輝度情報を含む
符号化情報の状態までに可変長復号する可変長復号手段
と、前記双方向通信路を通じて送られてきた制御情報に
基づいて話者が存在する画像通信端末を検出する話者検
出手段と、前記話者検出手段の検出結果を基に、前記可
変長復号された符号化情報を変更して他の符号化情報と
共に１画面分の符号化情報を再構築する再構築手段と、
前記再構築手段により再構築された１画面の符号化情報
を元の可変長符号化状態に戻して前記各画像通信端末へ
出力する可変長符号化手段とを具備したことを特徴とし
ている。
【００１４】請求項２記載の発明の多地点制御装置は、
複数の画像通信端末にて所定符号化方式で可変長符号化
され双方向通信路を通じて伝送されてきたそれぞれのビ
ットストリームデータを少なくとも輝度情報を含む符号
化情報の状態までに可変長復号する可変長復号手段と、
前記双方向通信路を通じて送られてきた制御情報に基づ
いて話者が存在する画像通信端末を検出する話者検出手
段と、前記話者検出手段の検出結果を基に、前記可変長
復号された符号化情報を変更して他の符号化情報と共に
１画面分の符号化情報を再構築する再構築手段と、前記
再構築手段により再構築された１画面の符号化情報を元
の可変長符号化状態に戻して前記各画像通信端末へ出力
する可変長符号化手段とを具備したことを特徴としてい
る。
複数の画像通信端末にて所定符号化方式で可変長符号化
され双方向通信路を通じて伝送されてきたそれぞれのビ
ットストリームデータを少なくとも輝度情報を含む符号
化情報の状態までに可変長復号する可変長復号手段と、
前記双方向通信路を通じて送られてきた制御情報に基づ
いて話者が存在する画像通信端末を検出する話者検出手
段と、前記話者検出手段の検出結果を基に、前記可変長
復号された符号化情報を変更して他の符号化情報と共に
１画面分の符号化情報を再構築する再構築手段と、前記
再構築手段により再構築された１画面の符号化情報を元
の可変長符号化状態に戻して前記各画像通信端末へ出力
する可変長符号化手段とを具備したことを特徴としてい
る。
【００１５】請求項３記載の発明の映像表示方法は、所
定の動画符号化方式で圧縮符号化された複数の映像情報
から、それぞれの輝度情報を含む符号化情報を抽出し、
抽出した符号化情報の中で、話者映像またはこれ以外の
映像のいずれか一方の輝度情報を変更し、変更後の輝度
情報を含む符号化情報に基づいて、いくつかに分割した
中の一つの小画面に個々の映像を表示するように映像情
報の再構築を行い、再構築した映像情報を表示すること
を特徴としている。
定の動画符号化方式で圧縮符号化された複数の映像情報
から、それぞれの輝度情報を含む符号化情報を抽出し、
抽出した符号化情報の中で、話者映像またはこれ以外の
映像のいずれか一方の輝度情報を変更し、変更後の輝度
情報を含む符号化情報に基づいて、いくつかに分割した
中の一つの小画面に個々の映像を表示するように映像情
報の再構築を行い、再構築した映像情報を表示すること
を特徴としている。
【００１６】上記発明では、複数の画像通信端末から多
地点制御装置にビットストリームデータが伝送されてく
ると、多地点制御装置において、ビットストリームデー
タを符号化情報の段階まで可変長復号し、その符号化情
報の輝度情報を話者以外の映像（画面）の輝度が暗くな
るように操作して複数の小画面からなる１つの画面を構
成する符号化情報を再構築し元のビットストリームデー
タの状態へ符号化した後、各画像通信端末へ伝送するの
で、従来のようにビットストリームデータを映像画面の
状態までに可変長復号するのに比べて遅延時間が少なく
なり、画質の劣化も起さずにデータを中継することがで
きる。
地点制御装置にビットストリームデータが伝送されてく
ると、多地点制御装置において、ビットストリームデー
タを符号化情報の段階まで可変長復号し、その符号化情
報の輝度情報を話者以外の映像（画面）の輝度が暗くな
るように操作して複数の小画面からなる１つの画面を構
成する符号化情報を再構築し元のビットストリームデー
タの状態へ符号化した後、各画像通信端末へ伝送するの
で、従来のようにビットストリームデータを映像画面の
状態までに可変長復号するのに比べて遅延時間が少なく
なり、画質の劣化も起さずにデータを中継することがで
きる。
【００１７】すなわち、ビットストリームデータを完全
に復号せずに、符号化情報の状態の輝度情報にオフセッ
トを付加し符号化情報を変更した上で符号化情報の再構
築を行い、各画像通信端末へ送信するので、各端末間で
送受する情報の中継を効率良く行うことができる。
に復号せずに、符号化情報の状態の輝度情報にオフセッ
トを付加し符号化情報を変更した上で符号化情報の再構
築を行い、各画像通信端末へ送信するので、各端末間で
送受する情報の中継を効率良く行うことができる。
【００１８】また各画像通信端末に表示された小画面の
うち、話者の画面かまたはそれ以外の画面の輝度が変更
されるので、各画像通信端末において小画面に映し出さ
れた複数の会議者映像の中で誰が話をしているかを確実
に認識することができる。
うち、話者の画面かまたはそれ以外の画面の輝度が変更
されるので、各画像通信端末において小画面に映し出さ
れた複数の会議者映像の中で誰が話をしているかを確実
に認識することができる。
【００１９】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。
を参照して詳細に説明する。
【００２０】図１は本発明に係る一つの実施形態である
多地点ＴＶ会議システムの構成を示す概略図である。
多地点ＴＶ会議システムの構成を示す概略図である。
【００２１】同図において、１はＣＡＴＶなどの双方向
情報通信網（以下伝送路１と称す）である。この伝送路
１には、複数の端末２〜５がＭＣＵ６を介して接続され
ている。つまりこの多地点通信システムは各端末２〜５
からの映像信号をＭＣＵ６が中継するよう構成されてい
る。伝送路１は、例えばＩＳＤＮ回線などであり、デー
タ通信用の上りおよび下りの２本のＢ回線と制御用の１
本のＤ回線とを有している。
情報通信網（以下伝送路１と称す）である。この伝送路
１には、複数の端末２〜５がＭＣＵ６を介して接続され
ている。つまりこの多地点通信システムは各端末２〜５
からの映像信号をＭＣＵ６が中継するよう構成されてい
る。伝送路１は、例えばＩＳＤＮ回線などであり、デー
タ通信用の上りおよび下りの２本のＢ回線と制御用の１
本のＤ回線とを有している。
【００２２】各端末２〜５には、会議参加者に向けて配
置され、会議参加者を撮影しその映像を取得するカメラ
２ａ、３ａ、４ａ、５ａと、各カメラ２ａ、３ａ、４
ａ、５ａで撮影された映像信号をMPEG2 方式でビットス
トリームデータに圧縮符号化し伝送路１を通じてＭＣＵ
６へ送信する符号化器２ｂ、３ｂ、４ｂ、５ｂと、ＭＣ
Ｕ６から伝送路１を通じてMPEG2 ビットストリームデー
タを受信し、映像信号に復号する復号器２ｃ、３ｃ、４
ｃ、５ｃと、復号された映像信号を表示画面上に表示す
るモニタ２ｄ、３ｄ、４ｄ、５ｄとが設けられている。
ＭＣＵ６には、伝送路１のＤ回線を通じて送られてきた
制御信号に含まれる話者情報（端末情報）を基に話者を
検出する話者検出部１０と、話者検出部１０により検出
された話者映像を選択する映像選択部１１と、映像選択
部１１により選択された話者映像か、それ以外の映像か
のいずれか一方の輝度を調整する輝度調整部１２とが設
けられている。MPEG2 方式では、伝送する画面の輝度を
エンコーダ側で指定できるので、この実施形態では、画
像符号化方式としてMPEG2 方式を利用している。
置され、会議参加者を撮影しその映像を取得するカメラ
２ａ、３ａ、４ａ、５ａと、各カメラ２ａ、３ａ、４
ａ、５ａで撮影された映像信号をMPEG2 方式でビットス
トリームデータに圧縮符号化し伝送路１を通じてＭＣＵ
６へ送信する符号化器２ｂ、３ｂ、４ｂ、５ｂと、ＭＣ
Ｕ６から伝送路１を通じてMPEG2 ビットストリームデー
タを受信し、映像信号に復号する復号器２ｃ、３ｃ、４
ｃ、５ｃと、復号された映像信号を表示画面上に表示す
るモニタ２ｄ、３ｄ、４ｄ、５ｄとが設けられている。
ＭＣＵ６には、伝送路１のＤ回線を通じて送られてきた
制御信号に含まれる話者情報（端末情報）を基に話者を
検出する話者検出部１０と、話者検出部１０により検出
された話者映像を選択する映像選択部１１と、映像選択
部１１により選択された話者映像か、それ以外の映像か
のいずれか一方の輝度を調整する輝度調整部１２とが設
けられている。MPEG2 方式では、伝送する画面の輝度を
エンコーダ側で指定できるので、この実施形態では、画
像符号化方式としてMPEG2 方式を利用している。
【００２３】図２に示すように、輝度調整部１２は、入
力されたMPEG2 ビットストリームを情報の損失がなるべ
く発生しないように可変長復号（VLD ）のみを行い、例
えばスタートコードなどのへッダ情報や動きベクトル情
報および輝度情報のＤＣ成分情報などを持った符号化情
報までのビットストリームに可変長復号するMPEG2 VLD
部２１と、可変長復号（VLD ）のみが行われて得られた
符号化情報に含まれる輝度情報のＤＣ成分情報を抽出す
る輝度情報抽出部２２と、抽出されたＤＣ成分情報にオ
フセットを付加する輝度オフセット付加部２３と、その
後、各端末２〜５からの複数のMPEG2 ビットストリーム
を１画面とするようなデータへ再構築するデータ再構築
部２４と、１画面のデータに再構築されたMPEG2 ビット
ストリームを可変長符号化（VLC ）し元の伝送形態のMP
EG2 ビットストリームデータへ戻し伝送路１へ出力する
MPEG2 VLC 部２５とからなる。
力されたMPEG2 ビットストリームを情報の損失がなるべ
く発生しないように可変長復号（VLD ）のみを行い、例
えばスタートコードなどのへッダ情報や動きベクトル情
報および輝度情報のＤＣ成分情報などを持った符号化情
報までのビットストリームに可変長復号するMPEG2 VLD
部２１と、可変長復号（VLD ）のみが行われて得られた
符号化情報に含まれる輝度情報のＤＣ成分情報を抽出す
る輝度情報抽出部２２と、抽出されたＤＣ成分情報にオ
フセットを付加する輝度オフセット付加部２３と、その
後、各端末２〜５からの複数のMPEG2 ビットストリーム
を１画面とするようなデータへ再構築するデータ再構築
部２４と、１画面のデータに再構築されたMPEG2 ビット
ストリームを可変長符号化（VLC ）し元の伝送形態のMP
EG2 ビットストリームデータへ戻し伝送路１へ出力する
MPEG2 VLC 部２５とからなる。
【００２４】すなわち、この輝度調整部１２は、MPEG2
ビットストリーム上で輝度情報を変更し所定のデータ編
集を行った後、各端末２〜５へ送信するものである。
ビットストリーム上で輝度情報を変更し所定のデータ編
集を行った後、各端末２〜５へ送信するものである。
【００２５】この多地点ＴＶ会議システムの場合、各端
末２〜５のカメラ２ａ〜５ａで撮影された映像は、各端
末２〜５内の符号化器２ｂ〜５ｂでMPEG2 ビットストリ
ームデータに符号化される。符号化されたMPEG2 ビット
ストリームデータは、伝送路１を通してΜＣＵ６に伝送
される。
末２〜５のカメラ２ａ〜５ａで撮影された映像は、各端
末２〜５内の符号化器２ｂ〜５ｂでMPEG2 ビットストリ
ームデータに符号化される。符号化されたMPEG2 ビット
ストリームデータは、伝送路１を通してΜＣＵ６に伝送
される。
【００２６】ＭＣＵ６では、各端末２〜５からほぼ同時
に送られてきた各MPEG2 ビットストリームデータが話者
検出部１０を通じて映像選択部１１へ送られる。
に送られてきた各MPEG2 ビットストリームデータが話者
検出部１０を通じて映像選択部１１へ送られる。
【００２７】話者検出部１０では、上りの伝送路１であ
るＤ回線から送られたきた制御信号に含まれる話者情報
から現在の話者検出を行い、話者検出した結果は、映像
選択部１１へ通知され、検出された話者に対応するMPEG
2 ビットストリームデータが映像選択部１１において選
択され、それが輝度調整部１２の輝度オフセット付加部
２３に通知される。
るＤ回線から送られたきた制御信号に含まれる話者情報
から現在の話者検出を行い、話者検出した結果は、映像
選択部１１へ通知され、検出された話者に対応するMPEG
2 ビットストリームデータが映像選択部１１において選
択され、それが輝度調整部１２の輝度オフセット付加部
２３に通知される。
【００２８】輝度調整部１２では、MPEG2 VLD 部２１が
情報の損失がなるべく発生しないように、MPEG2 ビット
ストリームデータを符号化情報の状態まで可変長復号
（VLD）のみを行い、輝度情報抽出部２２でMPEG2 ビッ
トストリームの持つ輝度情報のＤＣ成分の抽出を行う。
そして抽出された輝度情報のＤＣ成分は、輝度オフセッ
ト付加部２３に送られる。
情報の損失がなるべく発生しないように、MPEG2 ビット
ストリームデータを符号化情報の状態まで可変長復号
（VLD）のみを行い、輝度情報抽出部２２でMPEG2 ビッ
トストリームの持つ輝度情報のＤＣ成分の抽出を行う。
そして抽出された輝度情報のＤＣ成分は、輝度オフセッ
ト付加部２３に送られる。
【００２９】輝度オフセット付加部２３では、選択され
たビットストリームまたはそれ以外のビットストリーム
の輝度情報のいずれかのＤＣ成分にオフセットを付加し
符号情報（輝度情報）を変更し、それをデータ再構築部
２４に受け渡す。なおこの実施形態では、話者映像以外
のビットストリームの輝度情報のＤＣ成分にオフセット
を付加する。
たビットストリームまたはそれ以外のビットストリーム
の輝度情報のいずれかのＤＣ成分にオフセットを付加し
符号情報（輝度情報）を変更し、それをデータ再構築部
２４に受け渡す。なおこの実施形態では、話者映像以外
のビットストリームの輝度情報のＤＣ成分にオフセット
を付加する。
【００３０】データ再構築部２４は、受け渡された符号
情報（輝度情報）と他の符号情報とを基にして、複数の
データを１画面のデータへ再構築し、再構築したデータ
をMPEG2 VLC 部２５へ渡す。MPEG2 VLC 部２５では、渡
されたデータを可変長符号化（VLC ）し、元のMPEG2 ビ
ットストリームデータとして各端末２〜５への下流の伝
送路１へ伝送する。
情報（輝度情報）と他の符号情報とを基にして、複数の
データを１画面のデータへ再構築し、再構築したデータ
をMPEG2 VLC 部２５へ渡す。MPEG2 VLC 部２５では、渡
されたデータを可変長符号化（VLC ）し、元のMPEG2 ビ
ットストリームデータとして各端末２〜５への下流の伝
送路１へ伝送する。
【００３１】各端末２〜５に届けられたMPEG2 ビットス
トリームデータは、各端末２〜５内のMPEG2 復号器２
ｃ、３ｃ、４ｃ、５ｃでMPEG2 ビットストリームから映
像データへ復号され、各モニタ２ｄ、３ｄ、４ｄ、５ｄ
に出力される。
トリームデータは、各端末２〜５内のMPEG2 復号器２
ｃ、３ｃ、４ｃ、５ｃでMPEG2 ビットストリームから映
像データへ復号され、各モニタ２ｄ、３ｄ、４ｄ、５ｄ
に出力される。
【００３２】このようにして各端末２〜５に届けられた
映像の表示例を図３に示す。
映像の表示例を図３に示す。
【００３３】この図３では、話者が会議参加者Ａの場
合、この話者Ａの以外の映像（画面）の輝度が落とされ
て会議参加者Ｂ〜Ｄの映像（画面）が暗くなるので、各
モニタ２ｄ、３ｄ、４ｄ、５ｄに小画面で映し出された
複数の会議参加者映像の中から話者Ａを一目で識別（認
識）することができる。なお話者Ａの映像の輝度を上
げ、話者映像を明るくすることにより他の映像と区別で
きるようにしても良い。
合、この話者Ａの以外の映像（画面）の輝度が落とされ
て会議参加者Ｂ〜Ｄの映像（画面）が暗くなるので、各
モニタ２ｄ、３ｄ、４ｄ、５ｄに小画面で映し出された
複数の会議参加者映像の中から話者Ａを一目で識別（認
識）することができる。なお話者Ａの映像の輝度を上
げ、話者映像を明るくすることにより他の映像と区別で
きるようにしても良い。
【００３４】このようにこの実施形態の多地点ΤＶ会議
システムによれば、各端末２〜５からＭＣＵ６にMPEG2
ビットストリームデータが伝送されてくると、ＭＣＵ６
において、MPEG2 ビットストリームデータを符号化情報
の段階まで可変長復号し、その符号化情報の輝度情報を
話者以外の映像（画面）の輝度が暗くなるように操作し
て複数の小画面からなる１つの画面を構成する符号化情
報を再構築し元のMPEG2 ビットストリームデータの状態
へ符号化した後、各端末２〜５へ伝送するので、従来の
ようにビットストリームデータを映像画面の状態までに
可変長復号するのに比べて遅延時間が少なくなり、画質
の劣化も起さずにデータを中継することができる。
システムによれば、各端末２〜５からＭＣＵ６にMPEG2
ビットストリームデータが伝送されてくると、ＭＣＵ６
において、MPEG2 ビットストリームデータを符号化情報
の段階まで可変長復号し、その符号化情報の輝度情報を
話者以外の映像（画面）の輝度が暗くなるように操作し
て複数の小画面からなる１つの画面を構成する符号化情
報を再構築し元のMPEG2 ビットストリームデータの状態
へ符号化した後、各端末２〜５へ伝送するので、従来の
ようにビットストリームデータを映像画面の状態までに
可変長復号するのに比べて遅延時間が少なくなり、画質
の劣化も起さずにデータを中継することができる。
【００３５】つまり各端末２〜５から送られてきた４つ
のMPEG2 ビットストリームをデコーダで映像画面の段階
にまで復号しそれぞれの画面の輝度を変更するのではな
いので、中継処理にかかる遅延時間の発生が少なく済
む。
のMPEG2 ビットストリームをデコーダで映像画面の段階
にまで復号しそれぞれの画面の輝度を変更するのではな
いので、中継処理にかかる遅延時間の発生が少なく済
む。
【００３６】また図３に示したように各端末２〜５のモ
ニタ２ｄ、３ｄ、４ｄ、５ｄの表示画面上に複数表示さ
れた小画面の中で話者Ａ以外の会議参加者Ｂ〜Ｄの映し
出された画面の輝度が暗くなるので、各端末２〜５にお
いて現在、誰が話しているかを一目で把握（認識）する
ことができる。
ニタ２ｄ、３ｄ、４ｄ、５ｄの表示画面上に複数表示さ
れた小画面の中で話者Ａ以外の会議参加者Ｂ〜Ｄの映し
出された画面の輝度が暗くなるので、各端末２〜５にお
いて現在、誰が話しているかを一目で把握（認識）する
ことができる。
【００３７】なお、本発明は、上述した実施形態に限定
されるものではない。例えば上述した実施形態では、符
号化方式としてMPEG2 を適用したが、これ以外の符号化
方式、例えばＨ．２６１などを適用しても良い。
されるものではない。例えば上述した実施形態では、符
号化方式としてMPEG2 を適用したが、これ以外の符号化
方式、例えばＨ．２６１などを適用しても良い。
【００３８】
【発明の効果】以上説明したように本発明によれば、ビ
ットストリームを符号化情報の状態まで復号して輝度情
報を変更するので、各端末間で送受する情報の中継を効
率良く行うことができる。
ットストリームを符号化情報の状態まで復号して輝度情
報を変更するので、各端末間で送受する情報の中継を効
率良く行うことができる。
【００３９】また、各端末に表示された小画面のうち、
話者の画面かまたはそれ以外の画面の輝度が変更される
ので、各端末において小画面に映し出された複数の会議
者映像の中で誰が話をしているかを確実に認識すること
ができる。
話者の画面かまたはそれ以外の画面の輝度が変更される
ので、各端末において小画面に映し出された複数の会議
者映像の中で誰が話をしているかを確実に認識すること
ができる。
【図１】本発明の一つの実施形態のΤＶ会議システムの
構成を示すブロック図。
構成を示すブロック図。
【図２】このΤＶ会議システムの輝度調整部の構成を示
すブロック図。
すブロック図。
【図３】このΤＶ会議システムによる画面表示例。
【図４】従来の多地点ΤＶ会議システムの構成を示すブ
ロック図である。
ロック図である。
【図５】従来の多地点ΤＶ会議システムの多地点制御装
置（ＭＣＵ）の構成を示す図。
置（ＭＣＵ）の構成を示す図。
【図６】従来の多地点ΤＶ会議システムによる画面表示
例。
例。
１…伝送路、２〜５…端末、６…多地点制御装置（ＭＣ
Ｕ）、２ａ、３ａ、４ａ、５ａ…カメラ、２ｂ、３ｂ、
４ｂ、５ｂ…MPEG2 符号化器、２ｃ、３ｃ、４ｃ、５ｃ
…MPEG2 復号器、２ｄ、３ｄ、４ｄ、５ｄ…モニタ、１
０…話者検出部、１１…映像選択部、１２…輝度調整
部、２１…MPEG2 VLD 部、２２…輝度情報抽出部、２３
…輝度オフセット付加部、２４…データ再構築部、２５
…MPEG2 VLC 部。
Ｕ）、２ａ、３ａ、４ａ、５ａ…カメラ、２ｂ、３ｂ、
４ｂ、５ｂ…MPEG2 符号化器、２ｃ、３ｃ、４ｃ、５ｃ
…MPEG2 復号器、２ｄ、３ｄ、４ｄ、５ｄ…モニタ、１
０…話者検出部、１１…映像選択部、１２…輝度調整
部、２１…MPEG2 VLD 部、２２…輝度情報抽出部、２３
…輝度オフセット付加部、２４…データ再構築部、２５
…MPEG2 VLC 部。
Claims (3)
- 【請求項１】 異なる地点に配置された複数の画像通信
端末を多地点制御装置および双方向通信路を介して接続
し、前記多地点制御装置が前記各画像通信端末間の通信
を中継する通信システムにおいて、 前記多地点制御装置が、 前記各画像通信端末にて所定符号化方式で可変長符号化
され前記双方向通信路を伝送されてきたそれぞれのビッ
トストリームデータを少なくとも輝度情報を含む符号化
情報の状態までに可変長復号する可変長復号手段と、 前記双方向通信路を通じて送られてきた制御情報に基づ
いて話者が存在する画像通信端末を検出する話者検出手
段と、 前記話者検出手段の検出結果を基に、前記可変長復号さ
れた符号化情報を変更して他の符号化情報と共に１画面
分の符号化情報を再構築する再構築手段と、 前記再構築手段により再構築された１画面の符号化情報
を元の可変長符号化状態に戻して前記各画像通信端末へ
出力する可変長符号化手段とを具備したことを特徴とす
る通信システム。 - 【請求項２】 複数の画像通信端末にて所定符号化方式
で可変長符号化され双方向通信路を通じて伝送されてき
たそれぞれのビットストリームデータを少なくとも輝度
情報を含む符号化情報の状態までに可変長復号する可変
長復号手段と、 前記双方向通信路を通じて送られてきた制御情報に基づ
いて話者が存在する画像通信端末を検出する話者検出手
段と、 前記話者検出手段の検出結果を基に、前記可変長復号さ
れた符号化情報を変更して他の符号化情報と共に１画面
分の符号化情報を再構築する再構築手段と、 前記再構築手段により再構築された１画面の符号化情報
を元の可変長符号化状態に戻して前記各画像通信端末へ
出力する可変長符号化手段とを具備したことを特徴とす
る多地点制御装置。 - 【請求項３】 所定の動画符号化方式で圧縮符号化され
た複数の映像情報から、それぞれの輝度情報を含む符号
化情報を抽出し、 抽出した符号化情報の中で、話者映像またはこれ以外の
映像のいずれか一方の輝度情報を変更し、 変更後の輝度情報を含む符号化情報に基づいて、いくつ
かに分割した中の一つの小画面に個々の映像を表示する
ように映像情報の再構築を行い、 再構築した映像情報を表示することを特徴とする映像表
示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6445597A JPH10262229A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置および映像表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6445597A JPH10262229A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置および映像表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10262229A true JPH10262229A (ja) | 1998-09-29 |
Family
ID=13258746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6445597A Withdrawn JPH10262229A (ja) | 1997-03-18 | 1997-03-18 | 通信システム、多地点制御装置および映像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10262229A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002094997A (ja) * | 2000-08-11 | 2002-03-29 | Thomson Licensing Sa | 画像シーケンスのフォーマット変換方法 |
| US7734104B2 (en) | 2005-11-30 | 2010-06-08 | Sony Computer Entertainment Inc. | Image coding apparatus, image decoding apparatus and image processing system |
| JP2014171157A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | 通信装置及び通信方法 |
-
1997
- 1997-03-18 JP JP6445597A patent/JPH10262229A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002094997A (ja) * | 2000-08-11 | 2002-03-29 | Thomson Licensing Sa | 画像シーケンスのフォーマット変換方法 |
| US7734104B2 (en) | 2005-11-30 | 2010-06-08 | Sony Computer Entertainment Inc. | Image coding apparatus, image decoding apparatus and image processing system |
| JP2014171157A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | 通信装置及び通信方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100316639B1 (ko) | 다지점 영상회의 시스템 및 그에 따른 구현방법 | |
| EP2469853B1 (en) | Method and device for processing video image data, system and terminal for video conference | |
| US5453780A (en) | Continous presence video signal combiner | |
| US8179420B2 (en) | Minimal decoding method for spatially multiplexing digital video pictures | |
| US10237548B2 (en) | Video transmission based on independently encoded background updates | |
| US10511766B2 (en) | Video transmission based on independently encoded background updates | |
| JP2001514826A (ja) | 静止画像の送信と表示の方法と装置 | |
| JPH1042261A (ja) | マルチメディア通信システム向け圧縮領域映像へのテキストオーバーレイ | |
| Lei et al. | Video bridging based on H. 261 standard | |
| JPH11164275A (ja) | テレビ会議制御装置、テレビ会議制御方法及びテレビ会議制御システム | |
| CN112003875A (zh) | 一种视讯焦点内容传输系统及方法 | |
| JPH10262229A (ja) | 通信システム、多地点制御装置および映像表示方法 | |
| JPH10262228A (ja) | 通信システム、多地点制御装置、映像情報表示方法 | |
| JPS62200883A (ja) | 電子会議システムにおける図形表示装置 | |
| JPH066781A (ja) | 多地点動画像符号化復号装置 | |
| JP3655363B2 (ja) | 情報通信システムおよびセンター局 | |
| JP4196085B2 (ja) | 映像信号符号化装置およびそれを用いたテレビ会議システム | |
| JPH10164542A (ja) | 画像多地点通信制御システム | |
| JP2988686B2 (ja) | 放射受信システム | |
| WO2007122907A1 (ja) | 画像コーデック装置 | |
| JPH0222986A (ja) | 画像伝送装置 | |
| JPH11187372A (ja) | 多地点テレビ会議システム | |
| JP3359143B2 (ja) | 画像処理装置及び方法 | |
| JP2592983B2 (ja) | テレビ会議方式 | |
| JPH08223582A (ja) | 圧縮画像データ選択システムおよび画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040601 |