JPH0779424A

JPH0779424A - 多地点映像通信装置

Info

Publication number: JPH0779424A
Application number: JP5220852A
Authority: JP
Inventors: Fumio Noda; 文雄野田; Koichi Shibata; 巧一柴田; Taizo Kinoshita; 泰三木下
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-09-06
Filing date: 1993-09-06
Publication date: 1995-03-20
Also published as: US5617135A

Abstract

(57)【要約】【目的】本発明の目的は、利用者の要求に応じた映像
品質の選択を可能にして映像情報量の過度の増大を招く
ことなく多地点映像通信の映像品質を向上し、映像特性
と通信網状況の双方を勘案した映像信号処理により、情
報量の割に品質の高い映像伝送が可能な多地点映像通信
装置及び映像信号処理方式を提供することにある。【構成】映像の空間周波数特性を制御する適応的フィ
ルタ部１と、各地点からの要求を総合して自地点から伝
送する映像品質を選択するフィルタ選択部２と、映像情
報量と通信網状況の双方を勘案してフィルタ特性を適応
的に制御するフィルタ制御部３とを多地点映像通信装置
に備え、適応的フィルタ部１で処理した映像信号を符号
化して通信網へ送出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の地点を結んで映
像情報の伝送を行う多地点映像通信装置に関し、特に、
映像品質の選択が可能な多地点映像通信装置及び映像信
号処理方式に関するものである。

【０００２】

【従来の技術】多地点映像通信の方式は様々であるが、
総じて複数の地点に映像通信装置を設置し、それらを通
信網で結んだ形式である。映像通信装置には、テレビカ
メラ等の映像機器から出力した映像信号をアナログ変調
又はディジタル符号化して通信網に送出する機能や、各
地点の映像情報を通信網から引き出して映像信号に再生
し、ディスプレイ等の映像機器へ出力する機能が備えら
れる。また、通信網は、各地点から送出された映像情報
をそれぞれ他の地点に分配する働きをする。

【０００３】従来の多地点映像通信では、接続地点数が
増えると映像情報量が増大し、高性能かつ高価な通信装
置が必要になることや、通信網の使用量や料金等が増大
して不経済になることなどから、映像情報量の削減が工
夫されている。例えば特開昭63−276938号公報には、映
像信号の画素数を対地点数分の１に減じて符号化する多
地点映像通信の一例が開示されている。図10は、この従
来例において５地点を結んだ場合の映像表示例を示した
もので、各地点からは映像信号の画素数を４分の１に縮
小した映像情報94〜98が各々伝送され、受信地点で対地
点の映像が合成され、ｍ×ｎ画素の画面99に表示され
る。

【０００４】また、特にディジタル符号化においては、
映像の動きやフレーム間の変化量などの特性に応じて映
像情報量の制御が行われている。例えば特開昭63−1213
74号公報には、空間解像度の高い成分を落とすローパス
フィルタを設け、映像の動きの大小によりローパスフィ
ルタのオン・オフを制御する符号化方式が記載されてい
る。更に、映像のフレーム間変化量に応じてローパスフ
ィルタの高域遮断特性を制御する適応的符号化制御方式
（例えば1990年電子情報通信学会秋季全国大会講演論文
D-228）も発表されている。

【０００５】

【発明が解決しようとする課題】上述のような従来の多
地点映像通信では、接続地点数が増えると映像信号の画
素数が減り、各地点から伝送される映像の品質が劣化す
るという問題がある。しかも、伝送される映像信号の画
素数が画一的に定められるので、必ずしも利用者の要求
にかなう映像品質が得られるとは限らない。また、従来
のような映像情報量制御では、映像の特性のみを評価し
て空間解像度の抑制が行われるため、真に必要な空間解
像度を保ったダイナミックな映像の伝送には不向きであ
り、通信網の状況にも応じた情報量制御ができないとい
う問題がある。

【０００６】本発明の目的は、利用者の要求に応じた映
像品質の選択を可能にして映像情報量の過度の増大を招
くことなく多地点映像通信の映像品質を向上し、かつ、
映像の特性と通信網の状況の双方を勘案して映像信号を
処理することにより、情報量の割に品質の高い映像伝送
が可能な多地点映像通信装置及び映像信号処理方式を提
供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に本発明においては、映像の空間周波数特性を適応的に
制御するフィルタ手段と、各地点の利用者からの要求を
総合して自地点から伝送する映像品質を選択する手段
と、映像情報量と通信網状況の双方を勘案してフィルタ
手段の特性を制御する手段とを多地点映像通信装置に備
え、フィルタ手段で処理した映像信号をアナログ変調又
はディジタル符号化して通信網へ送出するように構成す
る。上記各手段による映像信号処理においては、多数の
利用者が満足する映像品質となるようにフィルタ手段の
特性を選択し、映像情報量と映像品質が最適になるよう
にフィルタ手段の特性を適応的に制御する。

【０００８】

【作用】前記フィルタ手段は、映像信号の１フィールド
又は１フレームごとに処理を行い、映像の空間周波数特
性を適応的に補正する働きをする。映像品質を選択する
手段は、各地点の利用者からの要求を総合して、最適な
映像品質が得られるようなフィルタ特性を選択する。フ
ィルタ手段の特性を制御する手段は、映像情報量の検出
と通信網状況の把握を行い、映像の品質と情報量との釣
合いが最適になるようにフィルタ特性を制御する。これ
らの作用により、個々の利用者が所望する映像品質が選
択され、また、映像情報量と通信網状況の双方に応じて
空間周波数特性が適応的に補正された映像が伝送される
ことになる。

【０００９】

【実施例】図１は、本発明の一実施例である多地点映像
通信装置の映像処理機能ブロック図である。この装置
は、アナログ又はディジタル映像信号を入力して符号化
し、ディジタル通信網を介して複数の地点と通信するよ
うに構成したものである。

【００１０】適応的フィルタ部１は、入力された映像信
号を１フィールドまたは１フレームごとの画像に分解し
てディジタル信号処理を行い、画像の水平方向と垂直方
向の空間周波数特性を補正するものである。入力がＣＣ
ＩＲ（国際無線諮問委員会）Rec.601規格に準じたディ
ジタル映像信号の場合は、そのまま映像データを取り込
んで所定のフィルタ処理を行う。入力がアナログ映像信
号の場合は、Ａ/Ｄ変換部101で所定のディジタル映像信
号に変換してから処理を行う。外部の映像機器やコンピ
ューター映像機器の出力がＲＧＢ信号やＹＵＶ信号な
ど、上記と規格の異なる映像信号の場合には、入力の前
に映像信号の変換が必要であるが、特に、ディジタルコ
ンポーネント信号であれば、所定の入出力インタフェー
スを別途用いることにより、本発明の適応的フィルタ部
１をそのまま適用可能である。

【００１１】フィルタ選択部２は、各地点の利用者から
の要求に応じて自地点から送出する映像の品質を選定
し、適応的フィルタ部１のフィルタ特性を選択するもの
である。機能的には、各地点から伝送された映像品質要
求信号を受信する手段と、要求された映像品質のレベル
を各地点と対応づけて記憶する手段と、適応的フィルタ
部１へフィルタ特性の選択信号を出力する手段等を備え
て成り、選択したフィルタ特性により各地点に伝送する
映像の品質が与えれた通信条件の下で最適になるように
予め定めたアルゴリズムでフィルタ特性の選定を制御す
るように構成したものである。本実施例では、映像品質
を空間解像度で規定し、解像度の高さにより３種類のフ
ィルタ特性を選択する場合を説明するが、より多くの解
像度レベルや伝送フレーム数等で映像品質を規定し、映
像品質の選択範囲を広げて本発明を実施してもよい。ま
た、図１においては、各地点から伝送された映像品質要
求信号は通信路復号化部７を通してフィルタ選択部２で
受信する構成としたが、通信網インタフェース６から直
接割込みがかかるように構成してもよい。

【００１２】フィルタ制御部３は、情報源符号化部４に
おける映像情報量と通信網インタフェース６における通
信網状況を総合し、適応的フィルタ部１のフィルタ特性
を制御するものである。本実施例では、空間周波数特性
が異なる数種類のフィルタ係数セットを予め適応的フィ
ルタ部１に備えておき、フィルタ制御部３では、伝送す
る映像情報量が通信網の能力を超えない範囲で最適にな
るようなフィルタ特性を抽出し、適応的フィルタ部１の
フィルタ係数を選択制御するように構成する。なお、フ
ィルタ特性の抽出制御に際しては、通信路符号化５にお
ける映像情報量や通信網状況をも参照して制御するよう
に構成してもよい。

【００１３】情報源符号化部４、通信路符号化部５、通
信網インタフェース６、通信路復号化部７、及び情報源
復号化部８は、画像の統計的性質を利用して高能率符号
化する映像通信技術を本実施例に適用したものである。
情報源符号化部４では、適応的フィルタ部１で処理した
映像データを量子化・符号割当・階層的符号化して映像
情報を圧縮する。通信路符号化部５では、通信網に応じ
てヘッダー情報や誤り訂正符号等を付加し、通信網イン
タフェース６を介して映像情報を通信網へ送出する。通
信路復号化部７と情報源復号化部８ではそれとは反対
に、通信網インタフェース６を介して通信網から映像情
報を受け取り、各地点の映像データを復元する。特に本
実施例においては、多地点に対して各々異なる品質の映
像を符号化伝送できると共に、各地点からは各々自地点
から要求した品質の映像情報を受信できるような構成と
する。なお、図１には明示していないが、映像と同時に
音声で通信する機能や、各地点から伝送される映像情報
の品質を選択する要求信号等を伝送する機能も備えてい
る。また、この多地点映像通信装置には、通信の開始や
終了、多地点接続を制御する手段も設けてある。

【００１４】多地点映像合成部９は、各地点から伝送さ
れた映像データを１画面又は複数画面に合成し、ディジ
タル映像信号として出力するものである。合成する画面
の数は内蔵するフレームメモリの容量によって制約があ
るが、各画面内の多地点映像の配置は自在に操作できる
ように構成する。また、外部表示機器等の入力がアナロ
グ映像信号の場合には、Ｄ/Ａ変換部102で所定のアナロ
グ映像信号に変換して出力する。

【００１５】図２は、図１の実施例におけるフィルタ処
理の方法を示す図である。入力映像信号は１フィールド
または１フレームごとの２次元画像の連続として扱い、
各画像について以下の演算処理を行う。

【００１６】まず、処理する２次元画像の中の画素ｐ
(ｉ,ｊ）のまわりのｍ×ｎ画素（ｍ、ｎは自然数）を１
ブロックとして、ブロック内各画素のディジタル信号レ
ベルを一つの行列と考える。この行列に、フィルタ係数
ｃ(ｋ,l）で与えられる行列をマトリクス演算し、得ら
れた結果ｑ(ｉ,ｊ）を画素ｐ(ｉ,ｊ）に対するフィルタ
処理値とする。フィルタ係数ｃ(ｋ,l）は適応的フィル
タ部１のフィルタ特性を表すもので、フィルタ選択部２
及びフィルタ制御部３で選択制御された係数を演算に用
いる。この演算を２次元画像内のすべての画素について
行い、得られた処理値ｑ(ｉ,ｊ）で表される画像をフィ
ルタ処理後の映像データとする。ここで、ｍ×ｎ画素ブ
ロックの大きさは、選択したフィルタ係数行列の大きさ
によって自動的に決まるようにしておく。また、画像周
辺部の画素の演算でｍ×ｎ画素のブロックが確保できな
い場合には、不足の画素値を補間するかフィルタ係数を
変更して演算誤差が生じないように配慮する。

【００１７】なお、図２に示す処理方法では映像信号を
２次元画像として扱っているが、適応的フィルタ部１が
より高速・大容量の処理性能を有する場合には、映像信
号の数フレームをセットにして３次元画像として扱い、
３次元フィルタ処理する構成も可能である。この場合に
は、単に空間周波数特性を修正するばかりでなく、時間
解像度の修正や画像の動きに適応した空間解像度の修正
が可能になる。

【００１８】図３は、図１の実施例におけるフィルタ選
択の方法を示す図で、図３の（ａ）はフィルタ選択アル
ゴリズムの概略的流れを示したもの、図３の（ｂ）は、
選択するフィルタ特性と映像品質との関係を模式的に示
したものである。

【００１９】フィルタ選択部２では、各地点から伝送さ
れた映像品質要求信号を受信することによってフィルタ
選択アルゴリズムが起動する。本実施例における映像品
質要求信号は、指定の地点から所望の品質の映像情報を
伝送するように映像品質のレベルを指定する信号であ
る。この信号を受信すると、各地点ごとの映像品質レベ
ルを記憶した映像品質管理表を更新し、引き続きフィル
タ選択判定を行う。多地点映像通信の開始時や新たな参
加地点が加入する場合には、この要求信号が頻繁に伝送
されることになるが、予め標準値を納めた品質管理表を
用意しておけば、全地点からの要求更新が終わる前でも
映像伝送が可能である。フィルタ選択判定では、更新し
た品質管理表を参照して要求品質が同じ地点を分類し、
各々の品質に対応するフィルタ特性を選定する。フィル
タ選択判定が終わると、その結果を適応的フィルタ部１
へ出力し、次の結果が出るまで出力結果をホールドす
る。

【００２０】ここで選択するフィルタ特性は３種類あ
り、図３の（ｂ）のような空間周波数スペクトルで表さ
れる。これらは基本的には空間周波数の高い成分を除去
するローパスフィルタで、それぞれ高解像度、中解像
度、低解像度の３種類の映像品質に対応する。各解像度
のフィルタ特性は、所定の大きさのフィルタ係数行列
（例えば高解像度フィルタは５×３行列）として適応的
フィルタ部１に備えておき、更に、フィルタ制御部３の
制御に対応して空間解像度を適応的に変えられるよう
に、周波数スペクトル特性が異なる数種類のフィルタ係
数が各解像度ごとにセットで用意する。図３の（ａ）の
フィルタ選択判定では、これらのフィルタ係数セットの
中から映像品質に応じた係数セットを選択する。

【００２１】本実施例においては、情報源符号化部４が
３種類の解像度の映像データを符号化する性能を有して
いるので、フィルタ係数の選択アルゴリズムは比較的簡
単である。例えば、多地点映像通信の開始時にはすべて
の地点に対して中解像度フィルタを選択するようにして
おき、異なる３地点から各々高解像度、中解像度、低解
像度の映像品質の要求を受けた場合には、それぞれの地
点の要求に応じた解像度フィルタ係数セットを選択す
る。また、すべての地点が同じ映像品質を要求した場合
は、要求された解像度フィルタ係数セットを選択して、
全地点に同品質の映像情報を伝送する。このとき、解像
度が高いほど伝送する映像情報量が多くなるが、すべて
の利用者が満足する映像品質が得られるというメリット
の方が優先する。また、情報源復号化部８や多地点映像
合成部９の性能の限界により、１地点で受信再生できる
映像情報量にも限りがあり、映像情報量が過度に増大す
るということはない。

【００２２】なお、本発明を実施する別の場合において
は、情報源符号化部が例えば２種類の解像度の映像デー
タしか符号化できない場合もあり得る。このような場合
は、各地点からの映像品質要求を総合して、３種類のフ
ィルタ特性の中から最適な２種類を選択するフィルタ選
択アルゴリズムが種々考えられる。例えば、各地点から
の要求品質が３種類になったときには、要求地点の多い
順に選択を割り当てる等の規則を設ければよい。要は、
各地点に伝送する映像の品質が与えられた通信条件の下
で最適になるように、フィルタ選択アルゴリズムを設定
できることが本発明の特徴である。

【００２３】図４は、図１の実施例におけるフィルタ制
御の方法を示す図である。フィルタ制御部３では、情報
源符号化部４における映像データの空間周波数を複数の
帯域に分割し、各帯域ごとの映像情報量を算出してフィ
ルタ係数の制御に用いる。また、通信網状況を表す量と
して、通信網インタフェース６における単位時間当たり
の伝送情報量と伝送待ち情報量を参照する。なお、ここ
では簡単のため、空間周波数の代わりに映像信号の周波
数帯域を用いて説明するが、要は画像品質の高さを表す
量によって映像データを階層化し、各階層ごとの情報量
を把握することにあって、例えば、映像信号をフーリエ
変換して得られるフーリエ係数の大きさや、離散コサイ
ン変換（ＤＣＴ）して得られるＤＣＴ係数等を用いても
よい。

【００２４】まず、映像信号帯域を、例えば輝度信号に
ついては１ＭＨｚごとに区切って、ｎ番目の周波数帯域
に含まれる映像情報量と、それらを合計した映像情報総
量を１フィールドごと又は１フレームごとに集計する。
次に、得られた映像情報総量と通信網への送出可能量と
を比較し、フィルタ係数の変更が必要かどうかを判定す
る。ここで、通信網への送出可能量は、単位時間当たり
の伝送情報量と伝送待ち情報量から適当な安全係数をか
けて予測したもので、通信網の種類や使用時の混み具合
等により適宜予測を修正できるようにしておく。例え
ば、映像情報総量が送出可能量の０.５倍から１.５倍の
範囲にあればフィルタ係数の変更は不要と判定し、以前
のフィルタ制御出力結果をそのままホールドする。映像
情報総量が送出可能範囲を超える場合は、フィルタ係数
を変える手続きに移る。

【００２５】映像情報総量が多い場合には、例えば送出
可能量との比を取って情報削減率を算出し、各周波数帯
域の情報量がその情報削減率をかけて圧縮した量になる
ようなフィルタ特性を導出する。次に、そのフィルタ特
性を表すフィルタ係数を決定して、その結果をフィルタ
制御出力から適応的フィルタ手段１へ出力する。実際に
は、各周波数帯域ごとに空間周波数特性を色々と変えて
組み合わせたフィルタ係数セットを予め適応的フィルタ
手段１に備えておき、その中から最も近いフィルタ係数
を選ぶようにしてもよい。また、逆に映像情報総量が少
ない場合には、各周波数帯域の映像情報量と現在のフィ
ルタ特性による圧縮率とを比較して各帯域ごとの情報伸
長率を推定し、それに基づいて新しいフィルタ特性を導
出する。その後、フィルタ特性を表すフィルタ係数を決
定してフィルタ制御出力する。

【００２６】以上のような構成及び動作により、図１の
実施例においては、各地点の利用者からの要求に応じて
適応的フィルタ手段のフィルタ特性が変わり、映像の空
間周波数特性を補正して伝送するので、個々の利用者が
受け取る映像の品質を自由に選択することができる。こ
のとき、通信網を通じて伝送する映像情報の総量が受信
側の復号再生性能によって規制されるので、映像品質を
向上しても映像情報量の過度の増大を防止することがで
きる。また、映像の空間周波数特性を評価して得た映像
情報量と、通信網状況の双方を勘案して適応的フィルタ
手段のフィルタ特性を制御するので、通信条件に応じて
映像情報量を削減し、しかも必要な空間解像度を適度に
保った映像の伝送が可能である。適応的フィルタ手段で
は、選択されたフィルタ特性を表すフィルタ係数を用い
て演算を行うので、フィルタ係数行列の大きさや各係数
の値などを変えて映像信号処理することが容易にでき
る。また、適当な高速演算性能を備えておけば実時間処
理が十分可能であり、この信号処理によって通信遅延を
招く恐れはほとんどない。

【００２７】なお、本実施例では通常のテレビ放送規格
の映像信号を扱う構成としたが、より高精細な映像信号
やコンピュータ映像信号を扱うように構成すれば、上述
の動作が適用されて同様の効果が得られる。また、多地
点接続を行う通信網もディジタル通信網に限らず、アナ
ログ方式の映像伝送装置に本発明を実施してもよい。

【００２８】次に、本発明の他の実施例について図５〜
図８を用いて説明する。

【００２９】図５は、本発明の一実施例である多地点映
像通信装置の符号化処理ブロック図である。本実施例の
多地点映像通信装置は、パーソナルコンピュータやワー
クステーション等の制御装置に接続して多地点映像会議
システムを構築するもので、制御装置とはフィルタ制御
や符号化制御等の制御信号を授受し、また各地点からの
映像を合成して制御装置付属のディスプレイに出力す
る。自地点の映像は小型ビデオカメラ等を用いて撮像
し、この多地点映像通信装置に入力する。

【００３０】図５の実施例では、入力された映像信号を
適応的フィルタ回路11で処理した後、動き補償ＤＣＴ方
式により符号化し、パケット通信網を介して各地点に伝
送する。動き補償回路41では、映像信号の１フィールド
又は１フレーム前の画像と現在の画像とを比較して映像
の動きを検出し、現在の画像をそのまま符号化する（フ
ィールド内／フレーム内符号化）か、前の画像との差分
値をとってそれを符号化する（フィールド間／フレーム
間符号化）かを動きの大きさによって選択する。ＤＣＴ
量子化回路42では、動き補償回路41から送られた画像デ
ータを、例えば８×８画素ブロックごとに変換し、得ら
れたＤＣＴ係数を予め定めた量子化テーブルに従って量
子化する。ここで得られた結果は、局所復号化回路43と
可変長符号化回路51の両方へ送られる。局所復号化回路
43では、符号化したデータを再び元の画像データに戻
し、ループ内フィルタ回路44を通して局所的な解像度特
性を補正した後、動き補償回路41で次の画像の符号化に
用いる。可変長符号化回路51では、量子化データに予め
決められた符号を割り当て、データの内容を表すヘッダ
ーや誤り訂正符号を付加して通信網インタフェース61へ
送る。通信網インタフェース61では、パケット通信網の
状況を踏まえて符号化データを適当な大きさのパケット
にまとめ、ヘッダー情報を付加してパケット通信網へ送
出する。

【００３１】一方、他地点から伝送された映像パケット
は、通信網インタフェース61から可変長復号化回路71、
逆量子化逆ＤＣＴ回路81、多地点映像合成回路91を通し
て元の映像データに復号される。各地点からの映像デー
タは、多地点映像合成回路91に設けた画像メモリの適当
な領域に配置され、マルチ映像出力回路92に読み出され
て映像信号として出力される。

【００３２】本実施例における適応的フィルタ回路11の
特性制御は、図１の実施例の場合と異なり、複合制御回
路31を介して外部の制御装置から制御可能である。ここ
で、複合制御回路31は、マイクロプロセッサ、メモリ、
種々のインタフェース等で構成したもので、多地点接続
制御、適応的フィルタ制御、多地点映像合成制御、符号
化・復号化制御等について自律的な制御と受動的な制御
を行うものである。特に本実施例においては、適応的フ
ィルタ回路11の制御と符号化制御とを以下のように連動
して同時に行うことが特徴である。

【００３３】複合制御回路31では、動き補償回路41にお
ける映像の動き検出量、ＤＣＴ量子化回路42における各
ＤＣＴ係数の量子化符号量、可変長符号化回路51におけ
る符号量などを把握し、１フィールド又は１フレームご
との映像情報量を集計する。また、通信網インタフェー
ス61及び可変長符号化回路51からは、パケット通信網へ
の送出パケット量と送出待ちパケット量を検知し、パケ
ット通信網への送出可能量を予測する。得られた映像情
報量と送出可能量に基づいて、適応的フィルタ回路11の
フィルタ特性を決定すると同時に、動き検出精度や量子
化テーブルの変更、ループ内フィルタ特性の制御等を行
う。一方、各地点から伝送された映像品質要求信号も複
合制御回路31で総合して、各地点に伝送する映像品質に
見合った適応的フィルタ回路11のフィルタ特性を選択す
る。これにより、自地点から伝送する映像の空間周波数
特性が各地点からの要求に基づいて選択され、しかも、
適応的フィルタ回路11と符号化回路全体によって映像情
報量と通信網状況の双方を勘案した空間周波数特性の適
応的制御が行われることになる。例えば、本発明を実施
しない場合には量子化歪が目立つような映像でも、本実
施例では、量子化ステップの細かいテーブルに変更し、
その代りに適応的フィルタ回路11で空間周波数特性を滑
らかにすることにより、より歪の少ない符号化を実現で
きる。

【００３４】なお、以上の制御は複合制御回路31が自律
的に行うものであるが、例えば、外部の制御装置からフ
ィルタ特性や量子化テーブルの選び方について制御でき
るように構成してもよい。この場合には、映像の短期的
な特性変化に対しては複合制御回路31が追従し、映像シ
ーンやカメラアングルなどの変化のような映像の長期的
な特性変化に対して、利用者自身による調整が可能にな
る。

【００３５】図６は、図５の実施例における適応的フィ
ルタ回路11のブロック構成例を示す図である。この回路
の基本構成要素は、入力映像データを選択するセレクタ
111、１フィールドの画像の中から逐次ｍ×ｎ画素ブロ
ックのデータを選択する切出回路112、フィルタ係数の
乗数メモリ113、マトリクス演算器114、割り算器115、
及びフィールドメモリ116である。これらは複合制御回
路31からの制御信号によって各々制御され、選択された
フィルタ係数によるフィルタ処理を実行する。

【００３６】すなわち、乗数メモリ113は映像の１フィ
ールドごとにアドレス制御され、アドレスで指定された
フィルタ係数（乗数）がマトリクス演算器114に送られ
る。このアドレス制御は、例えばフィールド帰線期間の
間の適当な時に切り替えるようにしておく。マトリクス
演算器114では、セレクタ111で入力制御され、ブロック
切出回路112で選択された複数の画素データと、乗数メ
モリ113から送られたフィルタ係数とをそれぞれ乗算
し、それらの積の総和を出力する。この演算ブロックの
大きさは、選択するフィルタ特性によって予め決められ
ており、ブロック切出回路112の遅延制御とマトリクス
演算器114の演算制御により正しく制御される。割り算
器115では、マトリクス演算器114の積和結果をアドレス
制御と連動した除数制御によって指定された除数で割
り、フィルタ処理結果を出力する。なお、このマトリク
ス演算器114が浮動小数点演算が可能な場合には、乗数
メモリ113に予め除数を含めたフィルタ係数を保存して
おくことにより、割り算器115を省略することが可能で
ある。

【００３７】特に図６の適応的フィルタ回路11では、入
力映像の特定のフィールド画像のみを取り出して、連続
する２フィールドの間に繰り返し処理を行うことによ
り、各々異なる映像品質に対応する画像データを出力す
るようなフィルタ処理が可能である。例えば、入力映像
の奇数フィールドのみを処理する場合、奇数フィールド
の期間には入力データを、偶数フィールドの期間にはフ
ィールドメモリ116から１フィールド遅延したデータを
セレクタ111で選択するように制御する。奇数フィール
ドの入力データは、まず１度マトリクス演算器114を通
り、第１の映像品質に対応する解像度になるようフィル
タ処理される。この結果は適応的フィルタ回路11から出
力すると同時に、フィールドメモリ116にも保存してお
く。偶数フィールド期間には、１度フィルタ処理された
奇数フィールドデータが再度マトリクス演算器114を通
り、第２の映像品質に対応する解像度になるようフィル
タ処理される。こうして適応的フィルタ回路11から、奇
数フィールドの期間には第１の解像度の映像データが、
偶数フィールドの期間には第２の解像度の映像データが
続けて出力されることになる。このときフィルタ係数は
フィールドごとに変えてもよいし、たとえ変えなくても
第２の解像度は第１の解像度より一般に低解像度にな
る。なお、上記の作用は必ずしもフィールドごとの処理
に限らず、特定のフレーム画像のみを取り出して、連続
する２フレームの間に繰り返し処理を行う場合でも同様
である。

【００３８】図７は、図６の適応的フィルタ回路11から
動き補償回路41へ、異なる解像度のデータを送出すると
きの受け渡し回路構成例を示す図である。この例では、
動き補償回路41の前段に２つの切り替えスイッチ411、4
13と、その各々に対応する高解像度フレームメモリ41
2、低解像度フレームメモリ414と、第３の切り替えスイ
ッチ415を用意する。例えば、奇数フィールドの期間に
高解像度の映像データが、偶数フィールドの期間に低解
像度の映像データが出力される場合には、切り替えスイ
ッチ411、413をフィールドごとにオン・オフして、高解
像度の映像データは高解像度フレームメモリ412に、低
解像度の映像データは低解像度フレームメモリ414に蓄
えられるように制御する。また、第３の切り替えスイッ
チ415は、動き補償符号化の処理状況に応じて高解像度
フレームメモリ412と低解像度フレームメモリ414とを切
り替えて、符号化処理するデータを引き出すように制御
する。これにより、一つの符号化回路を時分割的に動作
させて、異なる解像度の映像を符号化することが可能に
なる。

【００３９】図８は、図５の実施例における映像表示例
を示す図である。本実施例では、例えば高解像度と低解
像度の２種類の映像品質を選択できるものとして、５地
点を結んだ映像会議を行った場合の表示画面93を示した
ものである。多地点映像合成回路91には２面のフレーム
メモリを備え、フレームメモリ１面には、高解像度の映
像なら１地点分、低解像度の映像なら４地点分蓄えられ
るように構成する。マルチ映像出力回路92は、多地点映
像合成回路91のフレームメモリの中から各地点の映像デ
ータをそれぞれ切り出し、制御装置付属のディスプレイ
にマルチウインドウ表示する働きをする。

【００４０】図８の（ａ）は、Ａ地点の映像を高解像度
表示し、Ｂ、Ｃ、Ｄの３地点は低解像度表示した場合で
ある。従来の多地点映像通信では、すべての地点の映像
を低解像度表示することしかできなかったが、本発明に
よれば、このように相手地点の映像品質を選んで各々異
なる解像度で表示することができる。この場合、Ａ地点
の映像データはフレームメモリ１面を使い、Ｂ、Ｃ、Ｄ
の３地点の映像データはもう一つのフレームメモリを使
うことによって画面に表示される。また、図８の（ｂ）
は、Ａ地点とＢ地点の映像のみを高解像度表示した場合
で、２面のフレームメモリが各々２地点の映像表示に使
用される。この場合、Ｃ、Ｄ地点の映像を表示すること
ができないが、多地点映像合成回路91のフレームメモリ
を増設すれば全地点の映像表示が可能になる。なお、こ
れらは図５の実施例における映像表示のほんの一例であ
って、実際にどのような映像をどう配置して表示するか
は各地点の利用者の好みに応じて自在である点が本発明
の特徴である。

【００４１】上述のように図５の実施例によれば、図１
の実施例と同様の多地点映像通信が可能なうえ、各地点
の利用者は、多地点映像通信装置を接続した制御装置付
属のキーボード等の操作により、多地点映像通信の開始
や終了、相手映像品質の選択、相手映像の合成等を指示
することができる。また、適応的フィルタ回路11の制御
と同時に、各種の符号化パラメータも適応的に制御する
ので、映像情報量の割により品質の高い映像を各地点に
伝送することができる。このとき、フィルタ係数はフィ
ールドごとやフレームごとに変えてもよいし、また、映
像の特性によっては数フィールドの間同じフィルタ係数
を用いてもよい。特に本実施例においては、実時間の映
像信号処理で２種類の解像度に対応する映像データが得
られるので、各地点に異なる品質の映像情報をほぼ同時
に伝送することができる。しかも、そのフィルタ処理に
は同一の回路を繰り返し用いるので、回路規模も最小の
構成でよいという利点がある。

【００４２】なお、図５の実施例では、高解像度と低解
像度の２種類の映像品質を選択するものとして説明した
が、３種類以上の映像品質を伝送する場合もほぼ同様で
ある。また、本実施例の多地点映像通信装置は、単に多
地点映像会議システムを構築できるばかりでなく、複数
の地点の要求に応じてそれぞれ異なる品質の映像を伝送
するデマンド型多地点映像伝送システムにも適用可能で
ある。

【００４３】図９は、本発明の他の実施例である多地点
映像通信装置の映像処理機能ブロック図である。この装
置は、アナログ映像信号を入力して符号化し、ディジタ
ル通信網を介して複数の地点と通信するように構成した
ものである。主な構成要素のうち、情報源符号化部40、
通信路符号化部50、通信網インタフェース60、通信路復
号化部70、情報源復号化部80、及び多地点映像合成部90
は、図１の実施例において対応する各部とほぼ同じ働き
をするものである。本実施例の特徴は、適応的フィルタ
部10がアナログフィルタ部12とディジタルフィルタ部13
とを有し、フィルタ選択部20がアナログフィルタ部12
を、フィルタ制御部30がディジタルフィルタ部13をそれ
ぞれ制御することにある。すなわち、フィルタ選択部20
は、各地点の利用者からの映像品質要求信号を受信して
それらの要求を総合し、自地点から伝送する映像品質を
規定するフィルタ特性を選択する。選択結果はアナログ
フィルタ部12に送られ、入力映像の空間周波数特性が選
択された映像品質に対応した特性になるようにフィルタ
処理される。また、フィルタ制御部30は、情報源符号化
部40における映像情報量と通信網インタフェース60にお
ける通信網状況を総合し、映像品質と情報量との釣合い
が最適になるようにディジタルフィルタ部13のフィルタ
特性を適応的に制御する。

【００４４】このように図９の実施例においては、アナ
ログフィルタ部12により映像の空間周波数特性を大まか
に制御し、ディジタルフィルタ部13により更に細かく制
御することが可能である。この場合、ディジタルフィル
タ部13の回路規模は、図１の実施例に比べて小さくする
ことができる。また、例えば空間周波数特性の高い成分
を除去する場合でも、まずアナログ的にフィルタ処理を
行うので、すべてディジタル的に処理する場合に比べて
折り返し歪等を軽減でき、フィルタ処理後の映像品質が
高いというメリットがある。更に、アナログフィルタ部
12は、いくつかのＬＣフィルタをスイッチで切り替える
ように構成してもよく、コスト的にも低廉化を実現でき
る。なお、本実施例においては、アナログフィルタ部12
とディジタルフィルタ部13の制御系統をそれぞれ分けて
実施したが、要は、自地点から伝送する映像の空間周波
数特性を各地点からの要求に基づいて選択し、更に映像
情報量と通信網状況の双方を勘案してその空間周波数特
性を適応的に制御することにあり、制御系統は実施状況
に応じて適宜変更してもよい。

【００４５】以上、本発明の実施例についてはディジタ
ル通信網を介して複数の地点を結び、映像情報の伝送を
行う例を示したが、公衆網や私設網を問わず、また、ア
ナログ回線を用いる多地点映像通信装置に適用する場合
においても要は同じである。

【００４６】

【発明の効果】本発明によれば、利用者の要求に応じて
自地点から伝送する映像の品質を選択することができる
ので、映像情報量の過度の増大を抑えながら各地点の利
用者が満足する映像品質の多地点映像通信が実現され
る。また、伝送する映像の特性と通信網の状況の双方を
勘案して映像信号のフィルタ処理を行うので、伝送する
映像の空間周波数特性が適応的に制御され、情報量の割
に品質の高い多地点映像通信が可能になるという効果が
ある。

【図面の簡単な説明】

【図１】本発明の一実施例である多地点映像通信装置の
映像処理機能ブロック図である。

【図２】図１の実施例におけるフィルタ処理の方法を示
す図である。

【図３】図１の実施例におけるフィルタ選択の方法を示
す図である。

【図４】図１の実施例におけるフィルタ制御の方法を示
す図である。

【図５】本発明の一実施例である多地点映像通信装置の
符号化処理ブロック図である。

【図６】図５の実施例における適応的フィルタ回路のブ
ロック構成例を示す図である。

【図７】図５の実施例における受け渡し回路構成例を示
す図である。

【図８】図５の実施例における映像表示例を示す図であ
る。

【図９】本発明の他の実施例である多地点映像通信装置
の映像処理機能ブロック図である。

【図１０】従来の多地点映像通信における映像表示例を
示す図である。

【符号の説明】

１…適応的フィルタ部、２…フィルタ選択部、３…フィ
ルタ制御部、４…情報源符号化部、５…通信路符号化
部、６…通信網インタフェース部、７…通信路復号化
部、８…情報源復号化部、９…多地点映像合成部。

Claims

【特許請求の範囲】

【請求項１】複数の地点を通信網で結び映像情報の伝送
を行う多地点映像通信装置において、映像の空間周波数
特性を制御するフィルタ手段と、各地点からの要求を総
合して自地点から伝送する映像品質を選択する手段と、
映像情報量と通信網状況の双方を勘案してフィルタ特性
を制御する手段とを備え、映像品質選択手段とフィルタ
特性制御手段とがフィルタ手段の特性を適応的に制御す
るように構成したことを特徴とする多地点映像通信装
置。
【請求項２】請求項１記載の多地点映像通信装置におい
て、映像信号の１フィールドごと又は１フレームごとに
フィルタ手段の特性を切り替えられるように構成したこ
とを特徴とする多地点映像通信装置。
【請求項３】請求項２記載の多地点映像通信装置におい
て、フィルタ手段の特性が映像信号のフィールド帰線期
間又はフレーム帰線期間の間に切り替えられることを特
徴とする多地点映像通信装置。
【請求項４】請求項１記載の多地点映像通信装置におい
て、フィルタ手段が映像の各画素のまわりのｍ×ｎ画素
を１ブロックとする演算領域でディジタル信号処理を行
うように構成され、フィルタ手段の特性に応じてその演
算領域の大きさが変わるように制御されることを特徴と
する多地点映像通信装置。
【請求項５】請求項１記載の多地点映像通信装置におい
て、自地点から伝送する映像品質を規定するアナログフ
ィルタがフィルタ手段に備えられ、映像品質選択手段に
よりアナログフィルタの特性が制御されることを特徴と
する多地点映像通信装置。
【請求項６】請求項１記載の多地点映像通信装置におい
て、フィルタ手段が映像の空間解像度特性を制御すると
共に、映像の時間解像度特性も合わせて適応的に制御す
るように構成したことを特徴とする多地点映像通信装
置。
【請求項７】請求項１記載の多地点映像通信装置におい
て、映像情報を複数の空間周波数帯域に分けて階層化
し、各階層ごとに映像情報量を適応的に制御するように
構成したことを特徴とする多地点映像通信装置。
【請求項８】請求項１記載の多地点映像通信装置がディ
ジタル符号化方式により映像情報を伝送するように構成
されて成り、映像情報量と通信網状況の双方を勘案して
フィルタ手段の特性と符号化パラメータとを同時に適応
的に制御するように構成したことを特徴とする多地点映
像通信装置。
【請求項９】複数の地点を通信網で結び映像情報の伝送
を行う多地点映像通信装置において、自地点から伝送す
る映像の空間周波数特性を各地点からの要求に基づいて
選択し、更に映像情報量と通信網状況の双方を勘案して
その空間周波数特性を適応的に制御することを特徴とす
る多地点映像通信装置。
【請求項１０】複数の地点を通信網で結び映像情報の伝
送を行う多地点映像通信の映像信号処理方式において、
空間周波数特性を制御するフィルタ手段を用いて、自地
点から伝送する映像の空間解像度特性を各地点からの要
求に基づいて選択し、映像情報量と通信網状況の双方を
勘案してその空間解像度特性を適応的に制御することを
特徴とする映像信号処理方式。
【請求項１１】請求項10記載の映像信号処理方式であっ
て、連続する２フィールド（又は２フレーム）の期間
に、映像の１フィールド（又は１フレーム）分の信号を
繰り返しフィルタ手段に通して処理を行い、空間周波数
特性の異なる信号をフィールド（又はフレーム）ごとに
交互に出力することを特徴とする映像信号処理方式。
【請求項１２】請求項１乃至２記載の多地点映像通信装
置の回路手段又は請求項10乃至11記載の映像信号処理方
式を実施した回路手段の一部又は全部を集積した回路装
置又は集積回路。
【請求項１３】請求項１乃至９記載の多地点映像通信装
置を用いた多地点映像会議システム。
【請求項１４】請求項１乃至９記載の多地点映像通信装
置を用いたデマンド型多地点映像伝送システム。