JPH09130798A

JPH09130798A - 情報合成装置および情報合成方法

Info

Publication number: JPH09130798A
Application number: JP28178995A
Authority: JP
Inventors: Osamu Okada; 理岡田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-10-30
Filing date: 1995-10-30
Publication date: 1997-05-16

Abstract

(57)【要約】【課題】センター局における画像合成処理のための遅延
時間を少なくし、かつ端末側が低コストなシステムを提
供する。【解決手段】このセンター局のＭＣＵは、可変長符号化
された画像ストリームデータを可変長復号し所定画素単
位のＤＣＴ係数を得る可変長復号部（ＶＬＤ）１と、こ
の可変長復号部（ＶＬＤ）１で得られた所定画素単位の
ＤＣＴ係数に逆ＤＣＴ処理を施し、所定画素単位毎の画
像を生成し、この所定画素単位毎の画像を所望の拡大倍
率で変倍し、変倍した拡大画像を所定画素単位の複数の
単位画像に分割し、分割した複数の単位画像に対してそ
の単位のＤＣＴ処理を順に施し前記拡大画像分の複数の
ＤＣＴ係数を得る画像合成部２と、画像合成部２により
得られた複数のＤＣＴ係数に対して可変長符号化処理を
施し画像ストリームデータを生成する可変長符号化部
（ＶＬＣ）３とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＭＰＥＧ
１，２などの動画像符号化方式あるいはＨ．２６１など
の通信用動画像符号化方式などを利用して通信を行うた
めの情報合成装置および情報合成方法に関する。

【０００２】

【従来の技術】近年、例えばＭＰＥＧ２など、動画像符
号化方式の標準化が行われたことによってビデオ・オン
・デマンド（ＶＯＤ）などのさまざまなアプリケーショ
ンが提案され、ケーブルテレビ（ＣＡＴＶ）などで事業
化が実現されつつある。

【０００３】一般に、リアルタイム動画像通信のアプリ
ケーションとしては、ＴＶ会議や映像監視などがある。
ここでは、通常、通信用動画像符号化方式であるＨ．２
６１などが利用されている。

【０００４】従来、このＨ．２６１方式を利用した多地
点間のＴＶ会議システムなどは、各地点に端末を設置す
ると共にある一つの地点にセンター局を設置し、このセ
ンター局と各端末とを双方向通信網により接続して構成
されている。

【０００５】この場合、各地点に設置した端末からセン
ター局へ送信される上り方向の画像データは、それぞれ
１端末分であるのに対して、センター局から各端末へ送
信される下り方向の画像データは、少なくとも１端末分
以上であり、最大全端末分となる。したがって、送信で
必要とする帯域よりも受信で必要とする帯域の方が、通
常、広く必要とされる。

【０００６】このため、送信側（センター局からの下り
方向）と受信側（各端末からの上り方向）で、それぞれ
適する符号化方式が異なる場合もあり得る。例えば受信
側ではＨ．２６１の伝送速度を越えてしまい、ＭＰＥＧ
２を使わなればならないこともある。このような場合
に、センター局のＭＣＵ（Multiple Control Unit)にお
いて、符号化方式の変換や画像合成などが行われる。

【０００７】ここで、例えばケーブルテレビ（ＣＡＴ
Ｖ）などのシステム上でＴＶ会議システムを実現する場
合について考えてみる。

【０００８】ＣＡＴＶのネットワークは、センター局か
ら各端末へ高画質の映像を伝送するために下り方向のチ
ャネルに広い帯域を割り当てているが、上り方向は、各
端末のユーザからの要求情報、つまり制御情報程度しか
伝送しないため狭い帯域で十分である。このように非対
称の帯域による双方向通信を行うシステムには、端末間
の相互映像通信を行う場合も含めて上記同様に符号化方
式の変換や画像合成などが必要となる。

【０００９】一方、このような多地点間におけるリアル
タイム通信では、符号化方式の変換や画像合成などの処
理を行う上で遅延量が多くなると、相互の会話が不自然
になるなどの問題が発生するため、遅延量をなるべく少
なくして行うことが要求される。

【００１０】図２１に示すように、例えば端末１０１と
端末１０２とを一対一で接続して構成した２地点間のＴ
Ｖ会議システムは、比較的に簡単な構成で実現可能であ
る。しかし、図２２に示すように、多くの端末１０１〜
１０４を接続して構成した多地点間のＴＶ会議システム
の場合は、各端末１０１〜１０４からの画像信号を集
め、編集した後に各端末１０１〜１０４に再分配するた
めのＭＣＵ（MultipleControl Unit)１０５が必要とな
る。このＭＣＵ１０５は、図２３に示すように、複数の
中の例えば端末１０１に一体化されたものもあるが、基
本的な機能は、図２２に示したものと同等である。

【００１１】ところで、この種の多地点間のＴＶ会議シ
ステムでは、各端末１０１〜１０４からＭＣＵ１０５へ
伝送する画像信号とＭＣＵ１０５から各端末１０１〜１
０４へ伝送する画像信号とを比較すると、上り方向には
１端末分の画像信号が伝送されるのに対して、下り方向
には複数端末分の画像信号が伝送されるため、上り方向
の信号より下り方向の信号の方が画素サイズが大きくな
ることが十分考えられる。したがって、このような場
合、下り方向の方が伝送レートが高くなる。

【００１２】このように上下方向の伝送レートが異なる
場合は、それぞれの伝送レートに適した符号化方式が採
用される。

【００１３】例えば上り方向にはＨ．２６１方式により
各端末１０１〜１０４から 1.5Ｍｂｐｓのデータが伝送
されるのに対し、下り方向には各端末１０１〜１０４か
らの４端末分のデータ（ 6Ｍｂｐｓ）となるため、デー
タはＭＰＥＧ２方式などで伝送される。

【００１４】また伝送路の構成から符号化方式が制限さ
れる場合もある。

【００１５】例えば図２４に示すように、複数の端末２
０１〜２０４とセンター局２０５とを双方向通信網２０
６を介して接続してなるＣＡＴＶ上でＴＶ会議を実現す
る場合を考えてみる。

【００１６】この場合、各端末２０１〜２０４からの上
り方向の伝送レートは、それほど大きくないので、 1.5
Ｍｂｐｓ以下のＨ．２６１方式のような符号化方式が適
している。

【００１７】一方、センター局２０５からの下り方向へ
は、映像サービスのために大きな帯域が割り当てられて
おり、さらに各端末２０１〜２０４には比較的安価な標
準ＭＰＥＧ復号器、例えばＭＰＥＧ２デコーダなどが組
み込まれているため、下り方向はＭＰＥＧ２方式で伝送
するのが自然である。

【００１８】また、この場合、センター局２０５からの
下り方向の画像データとして全端末２０１〜２０４の画
像データをセンター局２０５で合成してしまえば、下り
方向の回線が有する複数のチャネルのうち１チャネルを
利用して同報することができる。したがって、多地点間
におけるＴＶ会議を実現するためには、各端末２０１〜
２０４から送られてきた画像をセンター局２０５で合成
処理するのがよいことが解る。

【００１９】ここで、従来のセンター局２０５における
ＭＣＵの画像合成方法について説明する。

【００２０】従来の画像合成方法としては、図２５に示
すように、まず、受信した上り方向の信号をデコーダ
（dec ）２１０で一度画面（フレーム単位）の状態にま
で完全に復号し、合成部２１１がその画面を用いて下り
方向用の画面を再構成した後、エンコーダ（enc ）２１
２で下り方向に適合する符号化処理を行う方法がある。
この方法は、単純ではあるが画像の合成を比較的簡単に
できる。しかも完全に復号した画面を用いて下り用の画
面を自由に加工できるので、画像の拡大・縮小処理など
も復号画面上でフィルタ処理すればよいという利点もあ
る。また符号化方式を変換する上でも、画面に対する下
り用の符号化器（標準的な符号化器）を設けるだけでよ
い。

【００２１】しかしなから、この画像合成方法の場合、
画像の拡大・縮小処理を含めて画像の加工を一度に行お
うとすると、復号処理→画面再構成処理→フィルタ処理
→符号化処理というように多くの処理を要することから
信号処理のための遅延時間が増大してしまうという欠点
がある。各端末間における符号化遅延はほぼ 2倍とな
る。この遅延時間は、ＴＶ会議のようなリアルタイム通
信にとって非常に厳しいものである。この遅延時間は、
画面を完全に復号した後に画像を加工することから起こ
るものである。

【００２２】そこで、完全に復号した画面を用いずに画
像の拡大・縮小処理を行う方法がある。

【００２３】この方法は、復号時に 8× 8ＤＣＴ処理で
得られた係数を拡張して16×16ＤＣＴとしたり、その逆
に 4× 4ＤＣＴ係数を求める方法である。

【００２４】しかし、この方法の場合、受信端末側にお
いて、 8× 8画素単位ではない特殊な逆ＤＣＴ処理を行
う必要があり、特殊な逆ＤＣＴ処理用の復号器を受信端
末に新たに設定する必要がある。ＣＡＴＶのようなアプ
リケーションにおいて既に多数の受信端末に標準の復号
器が組み込まれているものでは、特殊な復号器を追加装
備することは、コスト的に問題があり、よい方法ではな
い。

【００２５】

【発明が解決しようとする課題】このように上述した従
来の情報合成方法では、異なる符号化方式で伝送されて
きた画像データをセンター局が中継する中で、画像合成
時に画像の拡大・縮小処理を行うためには、画像信号を
一度完全に復号し、復号した画面を用いて下り方向用の
画面を再構成し、それに対してフィルタ処理し、符号化
処理するという多くの処理手順を踏まえなけるばなら
ず、ＴＶ会議のようなリアルタイム通信を行う上では、
それぞれの処理による全体的な遅延時間が問題になる。

【００２６】また上記画像の拡大・縮小処理を復号画面
を用いずに行う方法はあるが、ＤＣＴ係数が拡張されて
2倍や 1/2倍などのＤＣＴ係数になるため、受信端末に
標準以外の特殊な復号器を新たに装備する必要があり、
ＣＡＴＶなどの事業化形態では、端末側にコストはかけ
られず、既存の復号器で処理を可能とすることが必須の
条件である。

【００２７】本発明はこのような課題を解決するために
なされたもので、各端末からの画像をセンター局で合成
および中継する際に遅延時間が少なく、かつ受信端末に
特殊な復号器を装備する必要のない低コストな情報合成
装置および情報合成方法を提供することを目的としてい
る。

【００２８】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の発明は、可変長符号化された画
像ストリームデータを可変長復号し所定画素単位のＤＣ
Ｔ係数を得る可変長復号手段と、前記可変長復号手段に
より得られた所定画素単位のＤＣＴ係数に逆ＤＣＴ処理
を施し、所定画素単位毎の画像を生成する単位画像生成
手段と、前記単位画像生成手段により生成された所定画
素単位毎の画像を所望の拡大倍率で変倍する変倍手段
と、前記変倍手段により変倍された拡大画像を前記所定
画素単位の複数の単位画像に分割する画像分割手段と、
前記画像分割手段により分割された複数の単位画像に対
してその単位のＤＣＴ処理を順に施し前記拡大画像分の
複数のＤＣＴ係数を得る新ＤＣＴ係数取得手段と、前記
新ＤＣＴ係数取得手段により得られた複数のＤＣＴ係数
に対して可変長符号化処理を施し画像ストリームデータ
を生成する可変長符号化手段とを具備したことを特徴と
している。

【００２９】この請求項１、４記載の発明では、可変長
符号化された画像ストリームデータが可変長復号されて
所定画素単位のＤＣＴ係数が得られると、所定画素単位
のＤＣＴ係数に逆ＤＣＴ処理が施されて、所定画素単位
毎の画像が生成される。この所定画素単位毎の画像は所
望の拡大倍率で変倍され、所定画素単位毎に拡大された
拡大画像とされる。この拡大画像は、変倍前の元の所定
画素単位の複数の単位画像に分割されて、それぞれの単
位画像に対してその単位のＤＣＴ処理が順に施されて拡
大画像分の複数のＤＣＴ係数が得られ、それらに可変長
符号化処理が施されて画像ストリームデータが生成され
る。

【００３０】つまり、ストリームデータを所定画素単位
毎の画像（マクロブロック）の状態まで復号して変倍処
理し符号化するので、従来のように画像を完全に復号
し、画面構築した後に拡大縮小処理する（フレーム単位
で処理する）のに比べて、処理の遅延時間が極めて少な
くなる。

【００３１】請求項２記載の発明は、請求項１記載の情
報合成装置において、前記変倍手段が、前記可変長復号
手段により得られた所定画素単位のＤＣＴ係数に逆ＤＣ
Ｔ処理を施して所定画素単位の画像を得る所定画素単位
画像取得手段と、前記所定画素単位画像取得手段により
得られた所定画素単位の画像にフィルタ処理を施して拡
大画像を得る手段とからなることを特徴としている。

【００３２】この請求項２記載の発明では、所定画素単
位毎の画像（マクロブロック）の変倍処理がフィルタ処
理により行われるので、比較的単純なハードウェアを利
用して変倍処理が行える。

【００３３】請求項３記載の発明は、請求項１記載の情
報合成装置において、前記変倍手段が、前記可変長復号
手段により得られた所定画素単位のＤＣＴ係数における
基底関数の高次成分に倍率係数を補間し、数倍の画素単
位のＤＣＴ係数を得る拡大ＤＣＴ係数取得手段と、前記
拡大ＤＣＴ係数取得手段により得られた数倍のＤＣＴ係
数に、対応する倍率の逆ＤＣＴ処理を施して拡大画像を
得る手段とからなることを特徴としている。

【００３４】この請求項３記載の発明では、所定画素単
位毎の画像（マクロブロック）の変倍処理を行う上で、
基底関数の補間演算によって拡大ＤＣＴ係数が求めら
れ、それから拡大画像が得られるので、上記フィルタ処
理を行う場合よりも処理量が少なくなり、遅延時間をさ
らに短縮できる。

【００３５】請求項４記載の発明は、可変長符号化され
た画像ストリームデータを可変長復号し所定画素単位の
ＤＣＴ係数を得る工程と、前記所定画素単位のＤＣＴ係
数に逆ＤＣＴ処理を施し、所定画素単位毎の画像を生成
する工程と、前記所定画素単位毎の画像を所望の拡大倍
率で変倍する工程と、変倍した拡大画像を前記所定画素
単位の複数の単位画像に分割する工程と、前記複数の単
位画像に対してその単位のＤＣＴ処理を順に施し前記拡
大画像分の複数のＤＣＴ係数を得る工程と、前記複数の
ＤＣＴ係数に対して可変長符号化処理を施し画像ストリ
ームデータを生成する工程とを具備したことを特徴とし
ている。

【００３６】上記により、各端末からの画像データをセ
ンター局で合成および中継する際に遅延を少なくでき
る。また各端末からの画像データをセンター局で合成お
よび中継するシステムにおいて、標準的な 8× 8画素単
位の逆ＤＣＴ処理用の復号器を用いることができ、特殊
な復号器を受信端末に装備する必要がなくなる。

【００３７】この結果、センター局における画像合成処
理のための遅延時間が少なくなり、リアルタイム通信が
可能となり、かつ低コストなシステムを提供できる。

【００３８】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００３９】図１は本発明に係る情報合成装置の一つの
実施形態であるテレビ会議システムのセンター局のＭＣ
Ｕ（Multiple Control Unit)の構成を示す図である。

【００４０】同図において、１は可変長復号部（ＶＬ
Ｄ）であり、遠隔地に点在する複数の端末から双方向通
信路（伝送路）の上り回線を通じて受信されたビットス
トリームデータを基に、動きベクトルの値や離散コサイ
ン変換係数（ＤＣＴ係数）などといったマクロブロック
の情報を得るものである。２は情報合成部であり、得ら
れたマクロブロックの情報を加工し、新たに形成する画
像の対応位置のマクロブロックの情報としてコピーする
ものである。ここで、加工とは、各端末からの複数の画
像を１画面に合成することや各画像の拡大・縮小処理な
どである。３は可変長符号化部（ＶＬＣ）であり、新た
な画像の位置に配置されたマクロブロックの情報をビッ
トストリームデータに戻すものである。このビットスト
リームデータは双方向通信路の下り回線を通じて各端末
に伝送される。

【００４１】各端末から上り回線を通じてセンター局に
受信される画像信号は、Ｈ．２６方式などで可変長符号
化されたデータ列（ビットストリーム）である。通常、
このビットストリームの状態では、画像の合成は不可能
である。

【００４２】そこで、本発明では、ビットストリームを
画像の合成が可能になる程度まで復号し、ストリーム変
換を行って画像の合成を行う。つまり画像信号をＤＣＴ
変換した状態にしてこのＤＣＴ領域で拡大・縮小処理を
行う。また拡大・縮小処理後も符号化されていたときと
同じ 8× 8のＤＣＴ係数とし、動きベクトルの値も拡大
・縮小処理にあわせて変換する。

【００４３】以下、図２〜図５を参照してこのＭＣＵの
第１の動作例について説明する。

【００４４】この場合、センター局に受信されたビット
ストリームデータは、まず、ＭＣＵの可変長復号部１に
より可変長復号される。これにより、図２に示すよう
に、例えば 8× 8ＤＣＴ係数Ｘi などが得られる。

【００４５】そして、この 8× 8ＤＣＴ係数Ｘi は、情
報合成部２により逆ＤＣＴ処理されて、図３に示すよう
に、 8× 8画素の動き補償の残差画像（マクロブロッ
ク）１０が得られる。この残差画像１０は、フィルタ処
理や補間処理などが行われて拡大・縮小される。

【００４６】例えば受信画像を 4倍などに拡大する場
合、残差画像の各データの補間処理を行うことにより、
図４に示すように、16×16画素に拡大された拡大残差画
像１１が得られる。この拡大残差画像１１は、元の 8×
8画素の残差画像１０を４個集合させて大きさとなる。

【００４７】続いて、この16×16画素の拡大残差画像１
１に対して分割処理が行われて、図５（ａ）に示すよう
に、 4組の 8× 8画素の画像１１ａ〜１１ｄに分割され
る。そして、分割されたそれぞれの 8× 8画素の画像１
１ａ〜１１ｄは、順にＤＣＴ処理されて、図５（ｂ）に
示すように、 4組の 8× 8ＤＣＴ係数Ｙ0 、Ｙ1 、Ｙ2
、Ｙ3 が得られる。

【００４８】これら 4組の 8× 8ＤＣＴ係数Ｙ0 、Ｙ1
、Ｙ2 、Ｙ3 は、可変長符号化部３により、順に可変
長符号化されてビットストリームデータに変換され、セ
ンター局から下り回線を通じて各端末に伝送される。

【００４９】このようにこのＭＣＵの第１の動作例によ
れば、センター局で画像合成後に各端末に伝送されるビ
ットストリームデータは、 8× 8画素単位に復号可能な
ので、各端末では標準化されている既存の復号器を利用
して画像を再生することができる。

【００５０】また画像データが圧縮符号化された動画像
の場合、動き補償は、前のデータを利用することにより
可能であり、動画像を従来のように画面単位（フレーム
単位）に戻したときのように動き予測はせずに済み、マ
クロブロック単位の処理の遅延が生じるだけであり、フ
レーム単位の処理のときに比べて画像処理時間が短縮さ
れる。つまりこの動作は、ビットストリームの復号を完
全には行わないことから、フレーム単位の遅延が発生せ
ず、リアルタイム通信に適したものと言える。以下、図
６〜図２０を参照してＭＣＵの第２の動作例について説
明する。

【００５１】この場合、上記第１の動作例では、画像を
動き補償の残差画像（マクロブロック）まで復号してか
ら拡大処理し分割し符号化するため、中間の処理でＤＣ
Ｔ処理、補間処理、逆ＤＣＴ処理などという処理手順が
増え、従来の画面単位の拡大・縮小に比べれば処理時間
は早くなるものの遅延時間が生じる。

【００５２】そこで、この第２の動作例では、この遅延
時間をさらに短く抑えるために、画素の補間やフィルタ
処理を行わずに画像の拡大・縮小を実現する。

【００５３】この場合、まず、可変長復号部（ＶＬＤ）
１から得られる動きベクトルや離散コサイン変換係数
（ＤＣＴ係数）といったマクロブロックの情報を求め
る。

【００５４】ここで、ある端末からの一つの画像を、例
えば4 倍などに拡大する場合、まず、図６（ａ）に示す
ように、拡大する画像のビットストリームを可変長復号
して得た 8× 8のＤＣＴ係数Ｘi を、図６（ｂ）に示す
ように、 4つの組Ｘi(p,q)に展開する。

【００５５】これら 4つの組Ｘi(p,q)の各成分を(0,0),
(0,1),(1,0),(1,1) とする。

【００５６】例えば図７に示すように、上記 (p,q)成分
を有する基底関数がある場合、この基底関数の高次成分
に係数“０”を補間すると、図８に示すように、16×16
のＤＣＴ係数が得られる。

【００５７】この16×16のＤＣＴ係数に16×16の逆ＤＣ
Ｔをかけると、図９に示すように、16×16画素に拡大さ
れた画像の数値データが得られる。

【００５８】この図９のデータを 8× 8画素の 4組に分
割すると、各(p,q) それぞれの左上のもの（s=0 ）が図
１０に示すようになり、右上のもの（s=1 ）が図１１に
示すようになり、左下のもの（s=2 ）が図１２に示すよ
うになり、右下のもの（s=3) のものが図１３に示すよ
うになり、分割した１組毎のデータＸi ₀₀〜Ｘi ₁₁が得
られる。

【００５９】そして、図１４に示すように、それぞれの
図１０〜図１３に分割したデータＸi ₀₀〜Ｘi ₁₁に対し
て、 8× 8画素単位のＤＣＴ処理を行うと、図１５〜図
１８に示すような 4組のＤＣＴ係数Ａ0 ₀₀〜Ａ3 ₁₁が得
られる。

【００６０】ここで、ＤＣＴ係数をＡｓ_pq（i,j)但し
(ｓ＝0,1,2,3),(i,j,p,q ＝0,1 〜7）とし、このときに
入力された 8× 8のＤＣＴ係数をＸ（i,j)とすると、こ
のＸ（i,j)を 4倍に拡大した画像の 4個のＤＣＴ係数Ｙ
ｓ（i,j)は、次の式（１）から得られ、この式（１）を
展開した計算は、図１９に示すような積和計算になる。

【００６１】 _{7 7} Ｙｓ(i,j) ＝ Σ Σ Ａｓ_pq(i,j) Ｘ(p,q) ………式（１） ^{p=0 q=0} 上記式（１）では、Ｙｓ(i,j) の１データあたり、64個
の積和計算が必要になる。したがって、入力された 8×
8のＤＣＴ係数１組に対して16384 回の積和計算が必要
になる。

【００６２】しかし、図１５〜図１８に示したＡｓ
_pq（i,j)のうち、(p,q) が共に偶数の行列は、１つの成
分が“１”、他は“０”となる行列になり、(p,q) のう
ち、いずれか一方が奇数の行列は、１行または１列のみ
が“０”ではない値をとる行列になり、p,q が共に奇数
の行列のみが全て“０”ではない値をとる行列になる。
また“０”ではない値を持つ行列についても、 sが異な
る 4組の行列の各成分の値は符号が異なるだけであるの
で、Ｘ（i,j)と積算したデータを共有できる。

【００６３】このことによって、入力された 8× 8のＤ
ＣＴ係数１組に対してＡｓ_pq(i,j)とＸ（i,j)との積を
求めるまでの積和計算が1296回、その後の加算（減算）
が最大16384 回で画像の拡大処理を終了できる。この演
算回数の場合、現在のＭＣＵの演算スピードではほとん
ど遅延なく行える。

【００６４】一方、動きベクトルの値については、拡大
処理後の 4つのマクロブロックのベクトルの値を、水平
・垂直方向のいずれも元のマクロブロックのベクトルの
値の2倍とすればよい。

【００６５】この情報合成装置により実際に画像のシミ
ュレーションを行った結果、画素補間による拡大画像と
比較しても画像自体には有意な差は見られず、端末間の
ストリーム伝送において遅延時間が短縮された分、効果
があることが判る。

【００６６】上記拡大処理による表示例として、例えば
3地点間のＴＶ会議などで、それぞれの端末から画像デ
ータがＨ．２６１方式でストリーム伝送されてきたとき
に、それぞれ 3つの画像のうち 1つの画像を拡大し、か
つ他の画像を合成し、その画像をＭＰＥＧ２ストリーム
データとして各端末に伝送し、各端末でＭＰＥＧ２スト
リームデータを復号することにより、図２０に示すよう
に、それぞれの画像を遅延させることなく画面の左側に
拡大した人物画像２０１を表示すると共に、画面の右側
に等倍の人物画像２０２、２０３を縦に並べるように表
示することができる。

【００６７】このようにこのＭＣＵの第２の動作によれ
ば、ビットストリームの復号を完全に行わないＤＣＴ係
数の状態から、各ＤＣＴ係数を複数の組に展開し、例え
ば 4倍に拡大する場合、画像を分割した 4個のＤＣＴ係
数Ｙｓ（i,j)を積和計算によって算出し、そのＤＣＴ係
数Ｙｓ（i,j)をビットストリームに戻すので、複合画面
を用いた合成処理が不要になりフレーム単位の遅延は発
生しなくなる。

【００６８】またこの第２の動作例では、画像を拡大す
るのにＤＣＴ係数Ｙｓ（i,j)を積和計算および加減算な
どの演算で求めるだけなので、第１の動作例のようにマ
クロブロック毎の画像をフィルタ処理で拡大・縮小する
よりも処理速度が向上し、合成処理の遅延時間をさらに
短縮できる。

【００６９】さらにビットストリームを復号する中でＤ
ＣＴ係数の演算処理が変えられるだけなので、受信端末
側で 8× 8の逆ＤＣＴ処理を行うことは従来と同様であ
り、受信端末側に特殊な復号器を増設せずに済み、従来
の端末（ハードウェア）を流用でき、コスト低減を図る
ことができると共に、ＣＡＴＶにおけるＴＶ会議システ
ムの展開に寄与することができる。

【００７０】上記第１および第２の動作例では、ストリ
ーム変換による画像の拡大処理についてのみ説明した
が、縮小処理も同様に行えることは言うまでもない。

【００７１】

【発明の効果】以上説明したように本発明によれば、ス
トリームデータを所定画素単位毎の画像（マクロブロッ
ク）の状態まで復号して変倍処理し符号化するので、従
来のように画像を完全に復号し、画面構築した後に拡大
・縮小処理する（フレーム単位で処理する）のに比べて
遅延時間が極めて少なくなる。

【００７２】またセンター局で加工したストリームデー
タは、標準的な 8× 8画素単位の逆ＤＣＴ処理で復号で
きるので、受信端末に特殊な復号器を装備する必要がな
くなりシステムを低コストに構成できる。

【図面の簡単な説明】

【図１】本発明に係る情報合成装置の一つの実施形態で
あるセンター局のＭＣＵの構成を示す図である。

【図２】ＭＣＵの可変長復号部１により可変長復号され
たある画像の 8× 8画素単位のＤＣＴ係数Ｘi を示す図
である。

【図３】図２のＤＣＴ係数Ｘi を逆ＤＣＴ処理して得ら
れた 8× 8画素の動き補償の残差画像１０を示す図であ
る。

【図４】図３の残差画像１０を拡大して得た16×16画素
の拡大残差画像１１を示す図である。

【図５】（ａ）は分割された 4組の 8× 8画素の画像１
１ａ〜１１ｄを示す図である。（ｂ）は分割画像１１ａ
〜１１ｄをＤＣＴ処理して得た 4組の 8× 8ＤＣＴ係数
Ｙ0 〜Ｙ3 を示す図である。

【図６】（ａ）はビットストリームを可変長復号して得
た 8× 8のＤＣＴ係数Ｘi を示す図である。（ｂ）は 4
つの組に展開したＤＣＴ係数Ｘi(p,q)を示す図である。

【図７】基底関数のデータの一例を示す図である。

【図８】上記データを16×16のＤＣＴ係数に拡大したデ
ータを示す図である。

【図９】図８のデータを逆ＤＣＴ処理して得た16×16画
素の画像データを示す図である。

【図１０】図９のデータを 8× 8画素の 4組に分割した
一つ（s=0 ）を示す図である。

【図１１】図９のデータを 8× 8画素の 4組に分割した
一つ（s=1 ）を示す図である。

【図１２】図９のデータを 8× 8画素の 4組に分割した
一つ（s=2 ）を示す図である。

【図１３】図９のデータを 8× 8画素の 4組に分割した
一つ（s=3 ）を示す図である。

【図１４】図１０〜図１４のデータに 8× 8画素単位の
ＤＣＴ処理を行う模式図である。

【図１５】ＤＣＴ処理して得た 1組のＤＣＴ係数Ａ0 ₀₀
〜Ａ0 ₁₁を示す図である。

【図１６】ＤＣＴ処理して得た 1組のＤＣＴ係数Ａ1 ₀₀
〜Ａ1 ₁₁を示す図である。

【図１７】ＤＣＴ処理して得た 1組のＤＣＴ係数Ａ2 ₀₀
〜Ａ2 ₁₁を示す図である。

【図１８】ＤＣＴ処理して得た 1組のＤＣＴ係数Ａ3 ₀₀
〜Ａ3 ₁₁を示す図である。

【図１９】式（１）を展開した積和計算式を示す図であ
る。

【図２０】各端末に表示した合成画像の一例を示す図で
ある。

【図２１】従来の２地点間ＴＶ会議システムを示す図で
ある。

【図２２】従来の多地点間ＴＶ会議システムを示す図で
ある。

【図２３】端末にＭＣＵを一体化した多地点間ＴＶ会議
システムを示す図である。

【図２４】ＣＡＴＶによるＴＶ会議を示す図である。

【図２５】従来の画像合成方法を示す図である。

【符号の説明】

１…可変長復号部（ＶＬＤ）、２…情報合成部、３…可
変長符号化部（ＶＬＣ）。

Claims

【特許請求の範囲】

【請求項１】可変長符号化された画像ストリームデー
タを可変長復号し所定画素単位のＤＣＴ係数を得る可変
長復号手段と、前記可変長復号手段により得られた前記所定画素単位の
ＤＣＴ係数に所望の倍率をかけて所望倍率分の所定画素
単位のＤＣＴ係数に変換するＤＣＴ係数変換手段と、前記ＤＣＴ係数変換手段により変換された所望倍率分の
所定画素単位のＤＣＴ係数に可変長符号化処理を施し画
像ストリームデータを生成する可変長符号化手段とを具
備したことを特徴とする情報合成装置。
【請求項２】請求項１記載の情報合成装置において、前記ＤＣＴ係数変換手段が、前記可変長復号手段により得られた所定画素単位のＤＣ
Ｔ係数に対して、所定変換係数に基づく演算を行い所望
倍率分の所定画素単位のＤＣＴ係数を得る演算手段であ
ることを特徴とする情報合成装置。
【請求項３】請求項１記載の情報合成装置において、前記ＤＣＴ係数変換手段が、前記可変長復号手段により得られた前記所定画素単位の
ＤＣＴ係数にその単位で逆ＤＣＴ処理を施し、所定画素
単位毎の画像を生成する単位画像生成手段と、前記単位画像生成手段により生成された所定画素単位毎
の画像を所望の拡大倍率で変倍する変倍手段と、前記変倍手段により変倍された拡大画像を前記所定画素
単位の複数の単位画像に分割する分割手段と、前記分割手段により分割された複数の単位画像に対して
その単位のＤＣＴ処理を順に施し前記拡大画像分の所定
画素単位のＤＣＴ係数を得て前記可変長符号化手段に供
給する新ＤＣＴ係数取得手段とを具備したことを特徴と
する情報合成装置。
【請求項４】請求項３記載の情報合成装置において、前記変倍手段が、前記単位画像生成手段により生成された所定画素単位毎
の画像にフィルタ処理を施して拡大画像を得るフィルタ
手段であることを特徴とする情報合成装置。
【請求項５】可変長符号化された画像ストリームデー
タを可変長復号し所定画素単位のＤＣＴ係数を得る工程
と、前記所定画素単位のＤＣＴ係数に所望の倍率をかけて所
望倍率分の所定画素単位のＤＣＴ係数に変換する工程
と、前記所望倍率分の所定画素単位のＤＣＴ係数に可変長符
号化処理を施し画像ストリームデータを生成する工程と
を有することを特徴とする情報合成方法。