JP4693096B2 - 多地点会議装置 - Google Patents

Description

本発明は、多地点のテレビ会議を実現する多地点会議装置に関し、特に、複数の端末からの画像を、効率よく解像度変換して合成することができる多地点会議装置に関する。

テレビ会議システムには、二種類の形態、すなわちサーバが存在する形態とサーバが存在しない形態がある。サーバが存在しない形態ではシステムの設定が容易であるが、利用者が増えるたびに新規な端末を他の全ての端末に接続する必要があるため、一対一以上の多地点を結ぶシステムとしては現実的でない。

一方、サーバが存在する形態では、利用者が増えても新規な端末をサーバだけに接続すればよいので、利用者数に関わらず簡単な接続でテレビ会議システムを実現できる。このため、一般に多地点を結ぶテレビ会議システムは、サーバが存在する形態となっている。

サーバが存在する形態の多地点テレビ会議システムでは、サーバには、多地点からの画像を再送信するという機能だけでなく、多地点からの画像を個々に加工し、接続環境に応じた画像にして送信するという機能が求められる。

例えば、サーバに、多地点からの複数の画像を合成し、１つの画像に構成し直して送信するという機能を持たせることにより、制御情報のオーバーヘッドを低減したり、回線の状況に応じてビットレートやフレームレートを適応的に変換したりすることができる。また、送信する合成画面の中で、発言者だけを大きくしたり、発言者だけを高画質に符号化したりすることにより、テレビ会議を分かり易く、スムーズに進行させることができる。

従来のサーバが存在する多地点テレビ会議システムには、サーバで受信した複数の画像の中から送信する画像を選択する方式と、サーバで受信した複数の画像を合成して１つの画像として送信する方式がある。

前者の方式は、特許文献１に記載されている。特許文献１に記載のテレビ会議システムでは、管理テーブルを備えて会議参加者の参加モードを対話者モードと観察者モードに区分した状態で管理し、対話者モードに区分された各利用者の端末装置と観察者モードに区分された各利用者の端末装置とで通信負荷の異なるデータをそれぞれ送信することにより、現状の通信インフラの能力を最大限利用して多地点間での遠隔地対話を実現する。

後者の方式は、特許文献２、３に記載されている。特許文献２に記載の多地点制御装置では、テレビ会議端末各々からの多重化データの中からビデオデータのピクチャヘッダを検出してフレーム内符号化されたイントラフレームビデオデータのみを抽出し、抽出されたイントラフレームビデオデータを合成する。これにより、複数のビデオデータを簡易に合成して表示することを可能にしている。

また、特許文献３に記載の多地点制御装置では、符号化されたビットストリームデータを、少なくとも動きベクトル情報を含む符号情報を持ったビットストリームへ復号し、動きベクトル情報に映像の位置変更による動き情報を付加した上で、１画面のビットストリームデータを再構築し符号化する。これにより、映像通信のリアルタイム性を落とすことなく、効率のよい映像位置の変更や配置換えを可能にしている。
特開２００４−７５６１号公報 特開２００１−６９４７４号公報 特開平１０−２６２２２８号公報

しかしながら、特許文献１に記載のテレビ会議システムのように、サーバで受信した画像の中から送信する画像を選択する方式では、対話に参加していない人の画像などのデータは伝送されないので、意見を述べるには発言権が回ってくるのを待たなければならず、活発な議論が阻害されるという課題がある。

特許文献２に記載の多地点制御装置では、イントラフレームビデオデータのみを抽出して合成するので、複数の画像の合成は簡易であるが、イントラフレームビデオデータのみを利用するので、合成されて出力される画像の動きが滑らかでないという課題がある。

特許文献３に記載の多地点制御装置では、サーバは受信された画像を連結して１画面の画像を再構築するので、サーバから送信される画像のビットレートは受信された画像のビットレートの合計となる。したがって、帯域が限られる接続環境では１画面として連結する画像の数が制限され、自由に合成ができないという課題がある。

本発明の目的は、上記課題を解決し、解像度変換を効率よく行って複数の端末からの画像を自由に１画面に合成することができる多地点会議装置を提供することにある。

前述の目的を達成するために、本発明は、複数の変換符号化された情報を受信し符号領域上で１つの変換符号化された情報に合成して送信する多地点会議装置において、変換符号化によって圧縮された複数の符号化動画像のそれぞれを入力として符号領域上で処理する複数の処理手段と、前記複数の処理手段で処理された複数の符号化動画像を合成して１つの符号化動画像に合成する合成手段を備え、前記合成手段は、前記複数の処理手段のうちの少なくとも１つに対して、手動あるいは自動で入力されるパラメータに従う倍率での解像度変換を指示するとともに、前記複数の処理手段で処理された複数の符号化動画像を合成して前記合成手段により解像度変換が指示された処理手段により解像度変換された符号化動画像を部分的に含む１つの符号化動画像を合成し、前記合成手段により解像度変換が指示された処理手段は、他の処理手段とは独立に前記倍率での解像度変換を符号領域上で実行することを基本的特徴としている。

本発明では、符号化動画像を画素領域(ベースバンド)まで復号することなく、符号領域上で処理し、合成して１つの符号化動画像に合成するので、画素領域まで復号しての合成のように復号処理および再圧縮処理を行う必要がないので、装置構成を簡単化することができる。なお、符号化動画像を画素領域まで復号しての処理では端末数と同数の復号装置を準備しておく必要がある。

また、符号情報を直接操作することにより、画像合成に際しての解像度変換などの処理に掛かる時間を短縮できるので、処理に伴う遅延を小さく抑え、高速化を図ることができる。

また、本発明によれば、イントラフレームビデオデータのみでなくインターフレームのビデオデータも生成できるので、合成されて出力される画像の動きを滑らかにすることができる。

また、複数の画像の合成と同時に解像度変換を施すことにより、合成する画像の数に依存せず、送信する映像のビットレートを一定に抑えることができるので、１画面に合成する画像の数が制限されず、自由に合成ができる。また、単純に解像度変換しただけで複数の画像を送信した場合には画像間で同期ずれが生じ、その後に合成するには同期ずれをなくすなどの処理が必要になるが、本発明では、１つの画像に合成して送信するため、複数の画像間での同期ずれの問題は生じない。

さらに、複数の画像の合成過程において、画像境界部分に任意の情報を埋め込み可能にし、該任意の情報を適宜選択することにより、圧縮効率の向上や会議での利用者の便宜を図ることができる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る多地点会議装置の一実施形態を示すブロック図である。クライアント(利用者端末。以下、単に端末と称する)１−１,１−２,１−３,・・・は利用者ごとに配置されており、それらの中央に位置するサーバ２に接続される。

各端末１−１,１−２,１−３,・・・は、カメラ３−１,３−２,３−３,・・・により撮影された動画像(入力動画像)を取り込み、変換符号化して圧縮符号化動画像を出力する符号化器(encoder)４−１,４−２,４−３,・・・と、この圧縮符号化動画像を伝送路を介してサーバ２に送信し、サーバ２から配信された圧縮符号化動画像を受信する送受信器５−１,５−２,５−３,・・・と、受信された圧縮符号化動画像を復号してディスプレイ６−１,６−２,６−３・・・に出力する復号器(decoder)７−１,７−２,７−３・・・から構成される。

サーバ２は、各端末１−１,１−２,１−３,・・・から送信された圧縮符号化動画像(入力圧縮符号化動画像)を受信し、サーバ２内で合成された圧縮符号化動画像を配信する送受信手段８−１,８−２,８−３,・・・と、複数の入力圧縮符号化動画像を１つ圧縮符号化動画像に合成するに際し、合成に供する入力圧縮符号化動画像動画像の選択や画面内配置、各種効果などを指示する合成制御手段９と、合成制御手段９からの指示に基づいて、複数の入力圧縮符号化動画像を１つ圧縮符号化動画像に合成する合成手段１０と、入力圧縮符号化動画像から所定領域の切り出し、解像度変換など、合成手段１０での合成に際して必要とされる処理を符号領域上で行う処理手段１１−１,１１−２,１１−３,・・・から構成される。

合成制御手段９は、手動あるいは自動で入力されるパラメータに従って複数の入力圧縮符号化動画像の合成を合成手段１０に指示する。この指示には、合成に使用する入力圧縮符号化動画像の選択、画面内配置、各種効果などが含まれる。レイアウト、解像度変換の倍率、切り出し、装飾用枠（後述）、その他の効果情報をデータベースとして格納しておき、手動あるいは自動で入力されるパラメータに従ってそれらの情報を呼び出して合成手段１０に指示することもできる。

合成手段１０は、合成制御手段９からの指示に従って複数の入力圧縮符号化動画像を符号領域上で１つ圧縮符号化動画像に合成する。また、合成に際して必要となる所定領域の切り出し、解像度変換などを処理手段１１−１,１１−２,１１−３,・・・に指示する。

処理手段１１−１,１１−２,１１−３,・・・は、合成手段１０からの所定領域の切り出し、解像度変換など指示に従って入力圧縮符号化動画像を処理する。処理手段１１−１,１１−２,１１−３,・・・での処理は、符号情報そのものまたはその一部を可変長復号した情報を再利用して符号領域上で行われ、入力圧縮符号化動画像は完全に画素領域までは復号されない。

符号領域上での解像度変換は、予め計算した変換行列との行列演算で実現できる。具体的には、符号領域上での解像度変換は、倍率を有理数の分数で表現したとき、分母に相当する個数の変換符号化係数の組を入力とし、分子に相当する個数の変換符号化係数の組を出力する。

解像度変換に用いる変換行列として、変換符号化係数を復号する変換符号化行列を分母の個数分だけ組み合わせた行列と、水平垂直それぞれの方向に対応した解像度変換を表現する行列と、画素を変換符号化する変換符号化行列を分子の個数分だけ組み合わせた行列との積を予め計算して求めておく。

符号領域上での解像度変換の処理自体は、入力圧縮符号化動画像の変換符号化係数ごとに高周波成分を強制的に０とした行列と変換行列との行列演算で実現することができる。つまり、入力圧縮符号化動画像の変換符号化係数の低周波成分に対して符号領域上での解像度変換を実現することができる。強制的に０とする高周波成分は倍率によって制御することができ、この操作によって画質を保ったまま計算量を抑えることができる。

また、本発明者らが特願２００３−３７２２２３号(先願１)で先に提案した手法を利用して符号領域上で解像度変換を行うこともできる。図２は、先願１で提案した解像度変換の機能ブロック図である。符号化係数取得部２１は、入力圧縮符号化動画像を部分的に復号して８×８ＤＣＴ係数の低域４×４ＤＣＴ成分を取得し、減算器２２と第１の縮小画像生成部２８に出力する。

減算器２２は、符号化係数取得部２１で取得された１フレーム分の低域４×４ＤＣＴ成分と動き補償された１フレーム分の予測４×４ＤＣＴ係数の差を求め、１フレーム分の４×４ＤＣＴ係数の差分値である予測誤差情報を出力する。動き補償された１フレーム分の予測４×４ＤＣＴ係数は、動き補償部２７から出力される。

量子化部２３は、減算器２２で得られた予測誤差情報を量子化し、量子化済み予測誤差情報（量子化済み低域４×４ＤＣＴ係数）を逆量子化部２４と基底変換部３１に出力する。逆量子化部２４は、量子化部２３で得られた量子化予測誤差情報を逆量子化し、量子化誤差を含んだ予測誤差情報を出力する。

加算器２５は、逆量子化部２４で得られた量子化誤差を含んだ予測誤差情報と動き補償された１フレーム分の予測４×４ＤＣＴ係数を加算し、１フレーム分の参照４×４ＤＣＴ係数を求め、フレームメモリ２６に出力する。ここで用いる動き補償された１フレーム分の予測４×４ＤＣＴ係数も後述の動き補償部２７から出力される。

フレームメモリ２６は、加算器２５で得られた１フレーム分の参照４×４ＤＣＴ係数を格納し、これを符号化する順序に応じて１フレーム分の参照４×４ＤＣＴ係数として動き補償部２７と第２の縮小画像生成部２９に出力する。

動き補償部２７は、フレームメモリ２６から得られた１フレーム分の参照４×４ＤＣＴ係数を動きベクトルを用いて４×４ＤＣＴ係数上で動き補償して前の１フレーム分の予測４×４ＤＣＴ係数を生成し、これを減算器２２と加算器２５に出力する。

第１の縮小画像生成部２８は、符号化係数取得部２１で取得された１フレーム分の低域４×４ＤＣＴ係数のうちの２×２ＤＣＴ係数を加減算のみからなる２×２ＩＤＣＴで処理して縮小画像を生成し、この縮小画像を動き予測部３０に出力する。

第２の縮小画像生成部２９は、フレームメモリ２６から得られた１フレーム分の低域４×４ＤＣＴ係数のうちの２×２ＤＣＴ係数を加減算のみからなる２×２ＩＤＣＴで処理して縮小画像を生成し、この縮小画像を動き予測部３０に出力する。

動き予測部３０は、第１の縮小画像生成部２８で得られた縮小画像と第２の縮小画像生成部２９で得られた縮小画像との間の動きベクトルを探索し、探索した動きベクトルを動き補償部２７に出力する。

基底変換部３１は、量子化部２３で得られた量子化済み予測誤差情報をＤＣＴ係数上で８×８ＤＣＴ係数に変換し、量子化済み８×８ＤＣＴ係数を可変長符号化部３２へ出力する。

可変長符号化部３２は、基底変換部３１で得られた量子化済み８×８ＤＣＴ係数と動き補償部３０で得られた動きベクトルを可変長符号化し、バッファ３３に出力する。

バッファ３３は、可変長符号化部３２で得られたデータを一時的に保持し、送出する。レート制御部３４は、バッファ３３に保持された符号量をもとに量子化パラメータを決定し、量子化部２３からの情報発生量を制御する。

符号領域上での解像度変換などの処理において、変換速度を優先させるか変換精度を優先させるかに応じて変換方式を切り替えるようにすることができる。符号領域上での動き補償では動き情報の取りうる値によって処理負荷が異なるので、変換速度を優先させる場合には、処理負荷の小さい値に動き情報を優先的に設定することが好ましい。 処理負荷を軽減するため動き探索処理を省略し、代わりに処理対象領域に存在する入力圧縮符号化動画像の動き情報の中央値を出力圧縮符号化動画像の動き情報として利用することもできる。

画像の選択や合成に際し、解像度変換することなく領域全体またはその一部領域だけを切り出す場合は、該当する領域の変換符号化係数を圧縮符号化動画像から抽出するだけでよい。ただし、入力圧縮符号化動画像が、動き補償による残差成分と動き情報だけを保持している場合は、切り出す領域外を参照する場合があるので、該当する領域だけを符号領域上でイントラブロックへ変換する。つまり、入力圧縮符号化動画像における必要な領域だけを別形式に変換する。

符号領域上で逆動き補償を行ってイントラブロックへ変換する処理には、例えば、本発明者らが特願２００４−５３８７号(先願２)で先に提案した手法を利用することができる。図３は、この処理を示す機能ブロック図であり、図４は、その様子を示す説明図である。

図３において、符号情報取得部３５は、変換符号化された入力圧縮符号化動画像の符号情報を部分的に復号して動き予測情報(動きベクトル)および量子化済み予測誤差情報（差分ＤＣＴ係数）を取得する。符号情報取得部３５で抽出された動きベクトルは、逆動き補償部３７に出力され、量子化済み差分ＤＣＴ係数は、逆量子化部３６に出力される。

逆量子化部３６は、符号情報取得部３５で取得された量子化済み差分ＤＣＴ係数を逆量子化する。逆量子化により生成された量子化誤差を含んだ差分ＤＣＴ係数は、逆動き補償部３７に出力される。

逆動き補償部３７はフレームメモリを含み、フレームメモリから得られる１フレーム前の参照ＤＣＴ係数と符号情報取得部３５で取得された動きベクトルと逆量子化部３６で得られた処理対象フレームの差分ＤＣＴ係数(８×８ＤＣＴ係数)を用いてＤＣＴ係数領域上で逆動き補償し、処理対象フレームのイントラＤＣＴ係数を導出する。

図４は、逆量子化部３６で生成された差分８×８ＤＣＴ係数の４組すなわちマクロブロックと、動きベクトルに基づいて参照される前フレームの参照ＤＣＴ係数との関係を示す。なお、Ｒ_００〜Ｒ_２２はそれぞれ、８×８ＤＣＴ係数のブロックである。

逆動き補償する場合、マクロブロック１つ分の４組の差分８×８ＤＣＴ係数は、最大で前フレームの９組の８×８ＤＣＴ係数Ｒ_００〜Ｒ_２２にまたがることがあるので、ＤＣＴ係数領域上で動きベクトルと９組の参照８×８ＤＣＴ係数から４組の差分８×８ＤＣＴ係数を逆動き補償する必要がある。

動きベクトルの水平成分，垂直成分ともに０を含んだ８の倍数である場合には、１つのブロック(ＤＣＴ係数ブロック)は前フレームのブロックと全く重なり、複数のブロックにまたがらないので、該当する場所の参照ＤＣＴ係数を取得すればよい。それ以外の場合、複数のブロックにまたがるのでＤＣＴ係数をそれらのブロックから取得して再構成する必要がある。

先願２には、動きベクトルの水平成分，垂直成分ごとおよび動きベクトルが取り得る数値ごとに異なる場合においても、予め計算された変換テーブルを用いて逆動き補償を行えることが記載されている。変換テーブルは、画素領域上での逆動き補償の演算式から導出される。符号領域上での逆動き補償での動き情報の再探索には、先願１での手法を利用することもできる。

合成手段１０(図１)により複数の画像を合成する際、個々の入力画像を任意の倍率で解像度変換して得られる複数の入力画像が重なり合わないように配置することもできるし、複数の入力画像の一部が重なり合うように配置することもできる。また、解像度変換せずに入力画像の一部を切り取って配置することもできる。

例えば４地点での会議の場合、４つの入力画像をそれぞれ縦横１／２倍した画像を重なり合わないように配置することも可能であるし、解像度変換をしない１つの入力画像の任意の位置に縦横１／８倍した３つの入力画像を重ね合うように配置することもできる。これは変換符号化係数を上書きすることで実現できる。また、４つの入力画像の縦横１／２の領域を任意の位置から切り出して重なり合わないように配置することもできる。

解像度変換を併用すれば、いずれの配置においても、受信した４つの圧縮符号化動画像のビットレートの合計よりサーバ２が送信する圧縮符号化動画像のビットレートを小さくすることができる。

さらに、画像の配置は、上記のように空間的だけでなく、時間的に変更することができる。例えば、発話者を大きな画面にして配置することで、注目される画像をより強調して提示することができる。

合成手段１０で、解像度変換された入力圧縮符号化動画像あるいは所定領域を切り出すことにより得られた入力圧縮符号化動画像を合成すると、画像境界部での不連続性に起因して圧縮効率が低下することがある。圧縮効率を改善するには、画像境界部に入力圧縮符号化動画像とは異なる任意の情報を符号領域上で埋め込み可能にし、該任意の情報で境界部での不連続性を軽減すればよい。

上記任意の情報を予め符号化された変換符号化係数とし、これで境界部を置き換えるようにすれば、合成処理自体の負荷を低減することができる。また、任意の情報はイントラフレームだけで置き換え、イントラフレーム以外は同じ変換符号化係数を再利用できるので、圧縮効率を改善することができる。圧縮効率が改善された分だけ他の領域の画質向上や高速化に振り向けることができる。

上記任意の情報として、端末に関連する情報や装飾用枠を表示する情報などを用いることができる。また、任意の情報を時間的に変化させて画像の境界部に変化を持たせることもできる。例えば、発話者には派手な装飾用枠を付与することによって注目画像を強調して提示することができるので、圧縮効率の改善や高速化だけでなく利用者の便宜を図ることができる。

各端末１−１,１−２,１−３,・・・は異なる環境に配置されるのが普通であり、このような場合にはカメラ３−１,３−２,３−３,・・・が出力する画像の輝度(明るさ)、コントラスト、色調などが異なる。輝度、コントラスト、色調などが異なる複数の画像を１つの画像に合成すると、全体的に統一感がなく、見にくい画像となる。全体的に統一感があり、見やすい画像を得るために、符号領域上で輝度やコントラスト、色調などを補正処理することが好ましい。

複数の入力圧縮符号化動画像において画面内明るさの平均値間に相違が認められる場合、イントラフレームに対して変換符号化係数の直流成分を調整するだけで、各画像の明るさを補正し、合成された画像全体における明るさを一定に保つことができる。各画像において明るさを暗くする場合は直流成分を減じ、明るくする場合には直流成分を増加させる。

コントラストの補正は、符号化係数の交流成分を調整することで実現できる。コントラストを弱める場合は交流成分を減じ、強める場合には交流成分を増加させる。

複数の画像を半透明に重なり合うようにして滑らか、かつ連続的に合成する効果を得ることもできる。これは、境界部分の変換符号化係数を符号領域上で重み付け平均することによって実現できる。

また、符号領域上で明るさやコントラスト、色調などを操作して、特定の領域だけを強調して提示することもできる。例えば、発話者以外の画像から色差成分を除去することによって発話者だけをカラー画像にして発話者を強調することができる。除去した色差成分に割り当てられていた情報量を発話者の画像に割り当て、その画質向上を図ることもできる。

図５は、合成手段１０による合成画像の具体例を示す図であり、いずれも４地点での会議の場合に４つの入力画像を合成した例である。同図(ａ)は、４つの入力画像をそれぞれ縦横１／２倍した画像を重なり合わないように配置した例であり、同図(ｂ)は、４つの入力画像をそれぞれ横１／４倍した画像を重なり合わないように配置した例であり、同図(ｃ)は、４つの入力画像のうち横２／３倍した画像と縦横１／３倍した画像を重なり合わないように配置した例であり、同図(ｄ)は、解像度変換しない１つの画像の任意の位置に縦横１／４倍した３つの画像を重なり合うように配置した例である。画像の重ね合わせは、変換符号化係数を上書きすることで実現できる。これらの合成画像では、画像境界部に縞模様や黒などの装飾用枠が付されている。なお、縞模様は、動きベクトルにより模様方向にスクロールさせることができる。

図５(ｅ)〜(ｈ)は、他の合成画像の例である。このように、４つの画像を種々のフォーマットで合成することができ、入力画像から任意の領域を切り出して合成することもできる。これらの合成画像では、画像境界部や各画像の人物を取り囲むように装飾が付されている。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々に変更可能である。

本発明に係る多地点会議装置の一実施形態を示すブロック図である。 先に提案した符号領域上での解像度変換処理の機能ブロック図である。 先に提案した符号領域上での逆動き補償およびイントラブロックへ変換処理の機能ブロック図である。 逆動き補償の説明図である。 合成手段による合成画像の具体例を示す図である。

符号の説明

１−１〜１−４・・・端末、２・・・サーバ、３−１〜３−４・・・カメラ、４−１〜４−４・・・符号化器、５−１〜５−４・・・送受信器、６−１〜６−４・・・ディスプレイ。７−１〜７−４・・・復号器、８−１〜８−４・・・送受信手段、９・・・合成制御手段、１０・・・合成手段、１１−１〜１１−４・・・処理手段、２１，３５・・・符号情報取得部、２２・・・減算器、２３・・・量子化部、２４，３６・・・逆量子化部、２５・・・加算器、２６・・・フレームメモリ、２７・・・動き補償部、２８，２９・・・縮小画像生成部、３０・・・動き予測部、３１・・・基底変換部、３２・・・可変長符号化部、３３・・・バッファ、３４・・・レート制御部、３７・・・逆動き補償部

Claims (11)

1. 複数の変換符号化された情報を受信し符号領域上で１つの変換符号化された情報に合成して送信する多地点会議装置において、
   変換符号化によって圧縮された複数の符号化動画像のそれぞれを入力として符号領域上で処理する複数の処理手段と、
   前記複数の処理手段で処理された複数の符号化動画像を合成して１つの符号化動画像に合成する合成手段を備え、
   前記合成手段は、前記複数の処理手段のうちの少なくとも１つに対して、手動あるいは自動で入力されるパラメータに従う倍率での解像度変換を指示するとともに、前記複数の処理手段で処理された複数の符号化動画像を合成して前記合成手段により解像度変換が指示された処理手段により解像度変換された符号化動画像を部分的に含む１つの符号化動画像を合成し、前記合成手段により解像度変換が指示された処理手段は、他の処理手段とは独立に前記倍率での解像度変換を符号領域上で実行することを特徴とする多地点会議装置。
2. 前記複数の処理手段はそれぞれ、符号化動画像の符号情報を符号領域上で直接操作して解像度変換処理する処理部を備えたことを特徴とする請求項１に記載の多地点会議装置。
3. 前記処理部は、必要な領域だけの符号化動画像の符号情報を別形式に変換する機能を有することを特徴とする請求項２に記載の多地点会議装置。
4. 前記処理部は、特定領域を抽出して指定サイズの符号化動画像を形成する機能を有することを特徴とする請求項２に記載の多地点会議装置。
5. 前記処理部は、変換速度と変換精度のいずれを優先させるかに応じて処理方式を切り替えることを特徴とする請求項２に記載の多地点会議装置。
6. 前記合成手段は、前記処理手段からの符号化動画像の符号情報を符号領域上で直接操作して処理する処理部を備えたことを特徴とする請求項１に記載の多地点会議装置。
7. 前記合成手段は、前記処理手段で処理された複数の符号化動画像を任意の空間的時間的配置で１つの符号化動画像に合成可能であることを特徴とする請求項６に記載の多地点会議装置。
8. 前記合成手段は、複数の符号化動画像を１つの符号化動画像に合成するに際し、画像境界部分に任意の情報を符号領域上で埋め込み処理できる埋め込み処理部を備えたことを特徴とする請求項６に記載の多地点会議装置。
9. 前記埋め込み処理部は、前記任意の情報として、埋め込み後に発生する符号量が最小限になる情報を選択できることを特徴とする請求項８に記載の多地点会議装置。
10. 前記埋め込み処理部は、前記任意の情報を符号領域上で操作して時空間的に変化させることが可能であること特徴とする請求項８に記載の多地点会議装置。
11. 前記合成手段は、輝度、コントラスト、色調のうちの少なくとも１つを符号領域上で補正することができる補正処理部を備えたことを特徴とする請求項６に記載の多地点会議装置。

Images