JPH08289296A - 画像通信システムおよびその伝送方法 - Google Patents

Abstract

(57)【要約】 【目的】 伝送効率を向上させることのできる画像通信
システムを提供。 【構成】 カメラ12および14にて撮像された映像信号は
それぞれアナログ・ディジタル変換回路(ADC)16 および
18にてそれぞれディジタル画像データに変換され、それ
ぞれさらに、フォーマット変換部20にて共通中間フォー
マットのCIFデータおよびQCIFデータに変換される。フ
ォーマット変換部20では各フレームのCIF データの所定
のグループ・オブ・ブロックに対しQCIFデータが合成さ
れて、合成された合成CIF データは、各フレームのグル
ープ・オブ・ブロックごとにH.261 変換部22に入力され
る。H.261 変換部22に入力された最初のフレームでは、
すべての合成CIF データが符号化および多重化される
が、これに続くフレームでは、とくにQCIFデータにて構
成されたグループ・オブ・ブロックのデータは、各フレ
ームについて同じデータであるため多重化されず実質的
に符号化されない。この結果、H.261 変換部22の出力21
8 には転送データ量が削減された符号化データが出力さ
れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を表わす画像デ
ータを圧縮符号化して伝送する画像通信システムおよび
その伝送方法に関するものである。

【０００２】

【従来の技術】近年、総合ディジタル通信網を利用した
テレビ会議装置やテレビ電話装置における圧縮符号化方
式がCCITT （現在、国際電気通信連合の電気通信標準化
部門、(ITU-T))にて国際標準として標準化された。この
ITU-T 勧告 H.261（国内では、TCC 標準JT-H261)は、NT
SC方式および PAL方式などのカメラにて撮影された動画
像を表わす画像データをCIF(Common Intermediate Form
at) と呼ばれる共通中間形式に変換した画像データを用
い、この画像データを所定のブロックに分割して情報圧
縮する符号化について規定したオーディオ・ビジュアル
通信用の画像符号化方式である。

【０００３】この共通中間形式CIF は、画像データの輝
度信号の縦横16×16画素（色差信号Cb,Cr はそれぞれ８
×８画素）をマクロブロック(MB)層のマクロブロックと
し、さらに、このマクロブロックが縦横11×３個配列し
たグループ・オブ・ブロック(GOB) 層のグループ・オブ
・ブロックとし、これらグループ・オブ・ブロックを縦
横２×６個配列して（ピクチャ層）、マクロブロックが
縦横にそれぞれ22×18個配列された352 画素×288 ライ
ンの１枚分の画像を階層的に表わす画像データを形成し
た形式である。一方、勧告 H.261では、CIF の1/4 の画
像サイズのQCIF(Quarter CIF) についても定め、QCIFの
画像データは、176 画素×144 ラインにて構成される。

【０００４】ITU-T 勧告 H.261に準拠したテレビ会議装
置やテレビ電話装置などの画像通信システムでは、この
ような形式(CIF,QCIF)に変換された画像データを、予測
符号化、動き補償、２次元離散コサイン変換(DCT) およ
び量子化などの圧縮符号化処理によって符号化する。符
号化されたデータは、総合ディジタル通信網を介して64
kb/s〜２Mb/sの範囲の伝送速度にて所望の相手先に伝送
される。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
画像通信システムにおける伝送方式では、画面全体を均
等に圧縮符号化していたので、伝送データを減らすこと
ができないという問題があった。たとえば、テレビ会議
やテレビ電話では、画面のほぼ中央部に発言者などの人
物像が配置される。したがって、画面の周辺に重要では
ない部分があっても、各部分全体の情報を圧縮符号化し
てしまうこととなり、この結果、伝送効率を向上させる
ことができなかった。

【０００６】このようにテレビ会議／電話などの画像通
信システムでは、画面全体の各箇所すべてを活用する使
い方は少なく、また、その発言者の顔が画面の所定の位
置に表示されていればよいが、このような画像を表わす
データを適切に伝送することができなかった。

【０００７】また、このような画像通信システムでは、
発言者の画像のみならず、会議や打ち合わせに用いる資
料映像などの静止画像を伝送する要求がある。このと
き、動画像および静止画像を伝送する場合とを画面ごと
に切り換えて伝送すると、その画面ごとに伝送データ量
が大きく変化する。この場合、静止画像伝送時には動画
像伝送時と比べてデータ量が減少される。しかし動画像
を伝送する際のデータ量の減少を図ることができず、た
とえば、限られた伝送速度のもとで単位時間あたりの伝
送フレーム数を多くすることができなかった。つまり動
画像にて構成された１画面を伝送する場合の伝送効率を
向上させることができなかった。

【０００８】本発明はこのような従来技術の欠点を解消
し、伝送効率を向上させることのできる画像通信システ
ムおよびその伝送方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上述の課題を解
決するために、所望の動画像を表わす画像データを符号
化して伝送する画像通信システムにおいて、このシステ
ムは、画像データを所定のブロックにて構成される所定
の画像サイズのデータに変換する変換装置と、変換装置
にて変換されたデータを符号化し、各ブロックの符号化
データを多重化する符号化装置とを有し、変換装置は、
動画像を表わす第１の画像データを複数のブロックにて
構成された第１の画像サイズに変換する第１の変換手段
と、所定の画像を表わす第２の画像データを複数のブロ
ックにて構成された第２の画像サイズに変換する第２の
変換手段と、第１の変換手段にて変換された各フレーム
の第１データの所定のブロックに、第２の変換手段にて
変換された第２データをそれぞれ合成して、この合成さ
れたデータを符号化装置に出力する合成手段とを含み、
符号化装置は、合成手段にて合成された画像を表わすデ
ータをブロックごとに符号化および多重化して出力する
ことを特徴とする。

【００１０】この場合、合成手段は、第１データを蓄積
する第１の蓄積手段と、第２データを蓄積する第２の蓄
積手段と、第１の蓄積手段または第２の蓄積手段を選択
する選択手段とを含み、この選択手段は、第１の蓄積手
段から読み出された第１データであって、所定のブロッ
クを除く第１のデータを選択して出力し、第１の蓄積手
段から所定のブロックの第１データが読み出されるタイ
ミングにて、第２の蓄積手段から読み出された第２デー
タを選択して符号化装置に出力するとよい。

【００１１】この場合さらに、合成手段は、第２の変換
手段にて変換された第２データを第２の蓄積手段に入力
させるスイッチ手段を有し、このスイッチ手段は、所望
の１フレームの画像を表わす第２データを第２の蓄積手
段に蓄積させ、第２の蓄積手段は、蓄積した第２データ
を選択手段にタイミングごとに繰り返し出力するとよ
い。

【００１２】また、合成手段は、第１の蓄積手段から所
定のブロックが読み出されるタイミングを表わすタイミ
ング情報を生成するタイミング生成手段を有し、選択手
段は、タイミング生成手段にて生成されたタイミング情
報に基づいて、第２の蓄積手段に蓄積された第２データ
を選択して符号化装置に出力するとよい。

【００１３】また、本発明は上述の課題を解決するため
に、所望の動画像を表わす画像データを所定のブロック
にて構成される所定の画像サイズの画像データに変換す
る変換装置と、この変換装置から出力されたデータを符
号化して伝送する符号化装置とを有した画像通信システ
ムの伝送方法において、この方法は、動画像を表わす第
１の画像データおよび所定の画像を表わす第２の画像デ
ータを変換装置に入力する入力工程と、複数フレームの
画像を表わす第１の画像データをそれぞれ複数のブロッ
クにて構成された第１の画像サイズの第１データに変換
する第１の変換工程と、所望の画像を表わす第２の画像
データを複数のブロックにて構成された第２の画像サイ
ズの第２データに変換する第２の変換工程と、第１デー
タの各フレームを選択し出力する際、この第１データの
所定のブロックに、第２データの所定のブロックを合成
する合成工程と、変換装置にて合成された画像を表わす
データを符号化装置に入力して、このデータの各フレー
ムをブロックごとに符号化および多重化する符号化工程
とを有したことを特徴とする。

【００１４】この場合、このシステムは、第１データを
蓄積する第１の蓄積装置と、第２データを蓄積する第２
の蓄積装置とを有し、合成工程は、第１データの各フレ
ームを第１の蓄積装置に蓄積して、各フレームごとに出
力する第１の蓄積工程と、第２データの所定のフレーム
を第２の蓄積装置に蓄積して、このフレームの第２デー
タを出力する第２の蓄積工程と、第１のデータの所定の
ブロックのデータを出力するタイミングにて、第２の蓄
積装置に蓄積された第２データの所定のブロックのデー
タを選択する選択工程とを有し、この合成工程は、選択
工程にて選択されたデータを出力するとよい。

【００１５】この場合、この方法は、任意のフレームの
第２データを第２の蓄積装置に入力させる入力工程を有
するとよい。

【００１６】

【作用】本発明の画像通信システムおよびその伝送方法
によれば、動画像を表わす第１の画像データが、複数の
ブロックにて構成された第１の画像サイズの第１データ
に第１の変換手段にて変換され、所定の画像を表わす第
２の画像データが、複数のブロックにて構成された第２
の画像サイズの第２データに第２の変換手段にて変換さ
れる。この第２データは第１データの所定のブロック
に、第１データの各フレームごとに合成手段によってそ
れぞれ合成され、この合成された画像を表わすデータは
それぞれのブロックごとに符号化装置にて符号化および
多重化される。

【００１７】

【実施例】次に添付図面を参照して本発明によるテレビ
会議装置の実施例を詳細に説明する。

【００１８】図１を参照すると、本発明が適用されたテ
レビ会議装置の一実施例が示されている。このテレビ会
議装置10は、カメラ12にて撮影された被写体像と、カメ
ラ14にて撮影された被写体像とをそれぞれ表わす画像信
号をアナログ・ディジタル変換部(ADC)16 および18にて
ディジタル変換し、これらADC16 および18にて変換され
たディジタル画像データをフォーマット変換部20にてそ
れぞれ所定の形式に変換し、変換された画像データをH.
261 変換部22にて所定の符号化方式によって符号化して
所望の相手先に伝送する装置である。本実施例ではテレ
ビ会議システムをその一例として説明するが、本発明は
これに限らず、たとえばテレビ電話装置などのように、
ディジタル画像を圧縮符号化して所望の相手先に伝送す
る装置にも適用される。なお、以下の説明において、本
発明に直接関係のない部分は、図示およびその説明を省
略し、また信号の参照符号はその現れる接続線の参照番
号で表わす。

【００１９】カメラ12および14は、被写体を撮像してそ
の被写体像を表わすカラー画像信号を出力する撮像装置
である。本実施例におけるカメラ12および14は、撮像に
より得られたRGB 原色信号から輝度信号(Y) および色差
信号(Cb,Cr) を作成し、これら輝度および色差信号に複
合同期信号を付加したNTSC複合映像信号を60フィールド
／秒のインタレース形式にて出力する。カメラ12および
14の出力100 および102 は、それぞれアナログ・ディジ
タル変換部(ADC) 16および18に接続されている。なお、
映像信号はNTSC方式に限らず、たとえばPAL 方式および
SECAM 方式などの方式でもよく、また、ノンスタンダー
ド信号でもよい。

【００２０】本実施例におけるカメラ14は、会議等にお
ける資料となるものを撮影する書画カメラとして用いら
れる。資料としては、文字やイラスト、グラフなどの情
報が記録された文書やサンプル品などの物品があり、こ
れらは、実際の会議において連続した動きを表わす情報
を伝達する必要のないものが利用できる。端的に言え
ば、本実施例では、カメラ14は静止物、または動く物体
でも、その静止画像から必要な情報が充分に得られるも
のを撮影するように構成される。一方、カメラ12は、主
として会議の参加者、とくに発言中の人物の表情などが
撮影されるように構成される。なお、本実施例では、カ
メラ14を用いたが、本発明はこれに限らず、カメラ14に
代えて、会議の資料となる画像を表わす映像信号を出力
するものでよい。たとえば、カメラ14の代わりに、磁気
テープや磁気ディスクなどの磁気記憶媒体や光ディスク
などの回転記憶媒体に記録された映像信号を再生して出
力する再生装置や、紙やフィルムなどの記録媒体に形成
された画像を読み取るイメージスキャナなどの装置を用
いてもよい。さらにコンピュータグラフィックスなどの
画像データを出力するコンピュータ装置からのディジタ
ル画像データが得られる場合には、そのディジタル画像
データをフォーマット変換部20の入力106 に直接入力さ
れるように接続してよい。

【００２１】アナログ・ディジタル変換部(ADC) 16およ
び18は、それぞれ、入力された映像信号をディジタル形
式のデータに変換する変換回路である。ADC16 および18
は、入力100 および102 に現れた映像信号から同期信号
を分離し、この同期信号に応じたタイミングにて輝度信
号(Y) および色差信号(Cb,Cr) をサンプリングする。具
体的にはADC16 および18は、映像信号のペデスタル・レ
ベルをクランプして所定の設定値に制御し、映像信号の
１フィールドを720 画素×240 ラインにて構成される画
面を表わすようにサンプル・ホールドする。

【００２２】ADC16 および18は、所定の基準電圧を基準
としてサンプル・ホールドされた電圧値をディジタル値
に変換する。本実施例ではADC16 および18は、アナログ
値の映像信号を10ビットディジタル画像データに変換
し、変換された画像データをそれぞれ出力104 および10
6 にビットパラレルに出力する。

【００２３】フォーマット変換部20は、入力された画像
データを所定の画素数に変換して所定の画面を構成する
変換回路である。本実施例におけるフォーマット変換部
20は、入力画像データをITU-T 勧告 H.261に基づく共通
中間フォーマット(CIFおよびQCIF) に変換するととも
に、２つのカメラから得られた画像を伝送する際の効率
が向上されるように、CIF のデータに、たとえばQCIFの
データを合成する機能を有した符号化処理前の前処理回
路である。

【００２４】詳しくはフォーマット変換部20は、図２に
示すように、ADC16 の出力104 に接続されたCIF 変換部
30とADC18 の出力106 に接続されたQCIF変換部32とを有
している。CIF 変換部30は、入力104 に入力した１画面
を構成する２フィールドの画像データの輝度成分を１フ
レームの横縦352 画素×288 ラインの画素配列に変換
し、同様に入力104 に入力した画像データの色差成分を
それぞれ横縦176 画素×144 ラインの画素配列に変換す
る。

【００２５】また、QCIF変換部32は入力106 に入力した
１画面を構成する２フィールドの画像データの輝度成分
を１フレームの横縦176 画素×144 ラインの画素配列に
変換し、同様に入力106 に入力した画像データの色差成
分をそれぞれ横縦88画素×72ラインの画素配列に変換す
る。このようにQCIF変換部32は、CIF 変換部30から出力
されるデータの１／４の画像サイズの画像データを出力
する。

【００２６】CIF 変換部30およびQCIF変換部32は、これ
ら共通中間フォーマットに変換したデータ（以下それぞ
れCIF データおよびQCIFデータと称す）を後述するグル
ープ・オブ・ブロックごとの走査線順次にそれぞれ出力
200 および202 に出力する。このCIF 変換部30の出力20
0 はメモリ34に接続され、QCIF変換部32の出力202 はス
イッチ36に接続されている。

【００２７】ここで、CIF データおよびQCIFデータの詳
細を図３および図４を用いて説明すると、１フレームの
CIF データは、図３に示すように横176 画素、縦48ライ
ンのグループ・オブ・ブロック(GOB) １〜12が配列さ
れ、横352 画素、縦288 ラインの画面を構成している。
図２に示したCIF 変換部30は、それぞれのブロック１〜
12ごとに順次画像データを出力する。また１フレームの
QCIFデータは、図４に示すように横176 画素、縦48ライ
ンのグループ・オブ・ブロック(GOB) １〜３が配列さ
れ、横176 画素、縦144 ラインの画面を構成している。
QCIF変換部32は、それぞれのブロック１〜３ごとに順次
画像データを出力する。

【００２８】これらグループ・オブ・ブロックは、後述
の多重化処理では、図５に示すように、画像データの輝
度成分については、符号化処理における処理単位の横縦
16画素×16ラインのマクロ・ブロック(MB)を横に11個、
縦に３個配列した構成である。また色差成分Cb,Cr で
は、マクロブロックは８×８画素にて構成されている。

【００２９】図２に戻って、本実施例におけるCIF 変換
部30はさらに、出力200 に出力する画像データの画素位
置を表わすタイミング情報を出力204 に出力する機能を
有している。この出力204 はタイミング生成回路38に接
続され、タイミング生成回路38は、入力されたタイミン
グ情報に基づいて、CIF 変換部30から出力されたデータ
とQCIF変換部32から出力されたデータとを切り換えるた
めのタイミング信号を生成する切換信号生成回路であ
る。

【００３０】詳しくはタイミング生成回路38は、入力20
4 に入力されたタイミング情報に基づいて、CIF 変換部
30から出力されているCIF データのグループ・オブ・ブ
ロック番号に対応したタイミング信号を出力206 に出力
する。本実施例ではタイミング生成回路38は、グループ
・オブ・ブロック番号８、10および12のCIF データの出
力タイミングに同期したタイミング信号を生成する。こ
のブロック番号８、10および12は、CIF 変換部30から出
力されるCIF データに、QCIF変換部32から出力されるQC
IFデータを切換えにより合成するブロックの番号であ
る。

【００３１】本実施例におけるタイミング生成回路38
は、上述のようにグループ・オブ・ブロック番号８、10
および12のCIF データが出力されるタイミングに同期し
たタイミング情報を出力するが、本発明はこれに限ら
ず、任意のブロックが出力されるタイミングに同期した
タイミング信号を出力してもよい。この場合、たとえ
ば、グループ・オブ・ブロック番号11および12のCIF デ
ータがCIF 変換部30から出力されるタイミングに同期し
たタイミング信号を生成してもよく、さらに所定のマク
ロブロックの出力タイミングに同期したタイミング信号
を生成してもよい。

【００３２】タイミング生成回路38は、生成したタイミ
ング信号をQCIF変換部32に接続された出力208 に出力す
る。

【００３３】CIF 変換部30の出力に接続されたメモリ34
は、CIF データを蓄積するフレームメモリである。メモ
リ34は、入力200 に入力されたグループ・オブ・ブロッ
クごとのCIF データを蓄積する記憶領域を有し、その記
憶領域にCIF データを順次格納する。またメモリ34は、
タイミング生成回路38にて生成されたタイミング信号に
同期して、記憶領域に格納されたCIF データをグループ
・オブ・ブロックごとに読み出し、そのマクロ・ブロッ
クごとに順次出力212 に出力する。

【００３４】QCIF変換部32の出力に接続されたスイッチ
36は、QCIFデータを任意のタイミングにてメモリ39に蓄
積させるために、QCIF変換部32の出力202 とメモリ39の
入力210 とを接続するオン／オフ回路である。このスイ
ッチ36は、たとえば、操作者による操作に応じてその接
続をオンまたはオフし、オン状態にて出力202 と入力21
0 とを導通させ、QCIF変換部32から出力されたQCIFデー
タをメモリ39に入力させる。

【００３５】スイッチ36の出力端子210 に接続されたメ
モリ39は、スイッチ36を介して入力したQCIFデータを蓄
積するフレームメモリである。メモリ39は、入力210 に
入力したQCIFデータを蓄積する記憶領域を有し、その記
憶領域にQCIFデータを格納する。またメモリ39は、タイ
ミング生成回路38にて生成されたタイミング信号に同期
して、記憶領域に格納したQCIFデータをグループ・オブ
・ブロックごとに読み出し、そのマクロ・ブロックごと
に順次出力214 に出力する。この場合、メモリ39は、ス
イッチ36がオフ状態となって、新たなフレームのQCIFデ
ータが入力されなくなると、蓄積されているQCIFデータ
をフリーズ状態にする。本実施例におけるメモリ39は、
後述するタイミング信号に同期したセレクタ40にて、メ
モリ39の出力214 が選択されると、フリーズしたQCIFデ
ータを読み出して出力するように構成されている。

【００３６】メモリ34の出力212 およびメモリ39の出力
214 は、それぞれセレクタ回路40に接続されている。セ
レクタ回路40は、タイミング生成回路38にて生成された
タイミング信号をその入力206 に入力し、そのタイミン
グ信号に同期してメモリ34の出力またはメモリ39の出力
を選択する選択回路である。

【００３７】詳しくは本実施例におけるセレクタ40は、
グループ・オブ・ブロックのブロック番号８、10および
12に同期したタイミング信号を入力206 に入力し、これ
らブロックのCIF データがメモリ34から読み出されるタ
イミングにメモリ39の出力214 を選択する。メモリ39
は、セレクタ40にてその出力が選択されると、蓄積した
QCIFデータをグループ・オブ・ブロックごとに出力す
る。それ以外のグループ・オブ・ブロック番号の出力タ
イミングではセレクタ40は、メモリ34の出力212 を選択
する。セレクタ40は、選択したメモリから読み出された
CIF データまたはQCIFデータを出力216 に出力する。

【００３８】このように、セレクタ40は、本実施例で
は、CIF データにて構成される画面の右下の領域に、QC
IFデータにて構成された画像を合成する。つまり、この
場合、QCIFデータは、CIF データのグループ・オブ・ブ
ロック番号８、10および12の領域に合成されてセレクタ
40から出力され、また、これら領域のCIF データはセレ
クタ40から出力されない。このようにしてフォーマット
変換部20にて合成した画像データは、共通中間フォーマ
ットに適合するCIF データである。

【００３９】もちろんCIF データおよびQCIFデータのい
ずれかをセレクタ40にて選択するようにフォーマット変
換部20を構成してもよい。この場合、このような構成
と、上述のグループ・オブ・ブロックごとにCIF データ
またはQCIFデータをセレクタ40にて選択する構成とを切
り換えるようにして、CIF データの表わす画面、QCIFデ
ータの表わす画面および、これらデータを合成した画面
のいずれかを任意に選択してもよい。

【００４０】セレクタ40の出力216 は、フォーマット変
換部20の出力を構成しH.261 変換部22に接続されてい
る。図１に戻ってH.261 変換部22は、入力されたCIF デ
ータおよびQCIFデータをそれぞれ符号化するITU-T 勧告
H.261に準拠した符号化および復号装置である。本実施
例におけるH.261 変換部22は、フォーマット変換部20か
ら出力された合成CIF データを符号化する。

【００４１】H.261 変換部22は、ピクチャ層、グループ
・オブ・ブロック層、マクロ・ブロック層およびブロッ
ク層の４つの階層構造にて表わされるCIF データまたは
QCIFデータをそれぞれ符号化し、さらにそれぞれの階層
ごとに多重化して、入力データを圧縮符号化する符号器
である。

【００４２】詳細にはH.261 変換部22は、入力されたCI
F データまたはQCIFデータを８×８画素ごとのブロック
単位に２次元離散コサイン変換(DCT) する直交変換器
と、直交変換器にて変換された変換係数を量子化する量
子化器と、可変長符号化などを制御する符号化制御器
（いずれも図示せず）とを備えている。さらにH.261 変
換部22は、フレーム間予測、フレーム内予測および動き
補償を行なうための逆量子化器と逆変換器と予測メモリ
とループ内メモリ（いずれも図示せず）とを有し、符号
化制御器の制御に応じた予測符号化（差分符号化）を行
なう。

【００４３】さらにH.261 変換部22は、量子化された変
換係数を階層構造のデータフォーマットに多重化して可
変長符号化するビデオ信号多重化符号器と、伝送速度を
一定にするための送信バッファおよび伝送データにダミ
ービットや誤り訂正符号を付加して伝送する伝送符号器
（いずれも図示せず）とを有している。また、H.261変
換部22は、伝送されたデータを復号してCIF データおよ
びQCIFデータを出力するビデオ復号器を有している。こ
のようにH.261 変換部22の構成は、標準化されたビデオ
符号器およびビデオ復号器にて構成されたビデオ・コー
デック(CODEC)と同じ構成でよい。

【００４４】H.261 変換部22による階層処理は、たとえ
ば図６に示したようにCIF データを４階層ごとに処理す
る手順に従う。

【００４５】ピクチャ層では、入力される１フレームの
画像データに共通な属性を示す情報を生成する。つまり
H.261 変換部22は、PSC （ピクチャ開始符号）、TR（タ
ーミナル・リファレンス）、PTYPE （ピクチャタイプ情
報）、PEI （ピクチャ層・エクストラ・インサーション
情報）およびPSPARE（ピクチャ層予備情報）などを表わ
す40ビットの符号を生成し、１つ下位の階層のグループ
・オブ・ブロック層の処理を実行する。

【００４６】グループ・オブ・ブロック(GOB) 層では、
１フレーム内の各グループ・オブ・ブロックに共通な属
性を示す情報を生成する。つまりH.261 変換部22は、GB
SC（GOB 開始符号）、GN（グループ・ナンバ）、GQUANT
（GOB 層量子化情報）、GEI（GOB 層・エクストラ・イ
ンサーション情報）およびGSPARE（GOB 層予備情報）な
どを表わす34ビットの符号を生成し、１つ下位の階層の
マクロブロック層の処理を実行する。

【００４７】マクロブロック(MB)層では、H.261 変換部
22は、マクロブロックの位置を表わすMBA （マクロブロ
ック・アドレス）を生成する。この場合、各グループ・
オブ・ブロック内の最初フレームのマクロブロックにつ
いては、そのマクロブロックの番号を示す情報を生成
し、それに続くフレームの各マクロブロックでは、１つ
前のフレームのマクロブロックの絶対アドレスとの差を
示すMBA を生成する。

【００４８】本実施例におけるH.261 変換部22には、各
フレームのグループ・オブ・ブロック番号８、10および
12内のデータが各フレーム同一の静止画状態で入力され
るので、これらグループ・オブ・ブロックの各マクロブ
ロックが各フレームにて変化しない。この場合、各マク
ロブロックに対し１ビットのMBA が割り当てられ、マク
ロブロック層および１つ下位の階層のブロック層におけ
る多重化処理がパスされる。この結果、グループ・オブ
・ブロック番号８、10および12内の各マクロブロックの
符号化データは、最初のフレームを除いて実質的に多重
化されず、H.261 変換部22の出力22の出力218 には出力
されないので、グループ・オブ・ブロック番号８、10お
よび12におけるデータ量が削減される。

【００４９】この状態を図６において、概念的に太線60
0 にて示している。同図には、符号化データを階層化す
る多重化処理系統図が示され、この図からグループ・オ
ブ・ブロック８、10および12の各マクロブロックについ
て符号化された変換係数は、多重化されないことがわか
る。

【００５０】また、マクロブロック層ではH.261 変換部
22は、マクロブロックの種別を表わすMTYPE （マクロブ
ロックタイプ情報）を生成する。この種別としては、そ
のマクロブロックについて予測方式がフレーム内予測か
フレーム間予測か、動き補償を行なうか否か、量子化特
性を変更するか否かなどの情報を含む。本実施例では、
最初の画面のフレームおよび画面が切り替わった場合の
最初のフレームではフレーム内予測を行ない、それ以外
のフレームではフレーム間予測を行なうように設定され
る。またMTYPE にて量子化特性が指示されている場合、
量子化特性を指定するためのMQUANT（量子化特性）を設
定する。

【００５１】さらにH.261 変換部22は、マクロブロック
の水平および垂直成分で表わしたMVD （動き・ベクトル
情報）を生成する。またH.261 変換部22は、１つ前のフ
レームの同じ位置のブロックのそれぞれに変化があるか
否かを示すCBP （有意ブロック・パターン）を生成す
る。さらに、H.261 変換部22は、符号発生量が少なくな
った場合を示すダミー信号としてのMBA （マクロブロッ
ク・アドレス）スタッフ符号を生成する。MBA スタッフ
符号は符号化されたマクロブロックの直後に挿入され
る。このようなマクロブロック層における処理の後、H.
261 変換部22は最下層のブロック層の処理に移行する。

【００５２】H.261 変換部22は、各マクロブロック内の
各ブロックデータを２次元直交変換した可変長のTCOEFF
（変換係数）を量子化する。ブロック層ではH.261 変換
部22は、量子化されたブロックの変換係数にEOB （終了
符号）付加して出力する。なおCBP にて変化のないブロ
ックに対してはEOB を付加しない。

【００５３】各グループ・オブ・ブロックの各マクロブ
ロックのそれぞれのブロックに対する多重化処理が終了
すると、H.261 変換部22は、１つ上位階層のマクロブロ
ック層に戻って、次のマクロブロックに対し多重化処理
を行なう。また、H.261 変換部22は、１つのグループ・
オブ・ブロックのすべてのマクロブロックに対する処理
が終了すると、１つ上位階層のグループ・オブ・ブロッ
クに戻って、次のグループ・オブ・ブロックに対する多
重化処理を行なう。このようにしてH.261 変換部22は、
フォーマット変換部20から出力された１フレームの合成
CIF データに対する符号化および多重化処理を終了し、
次のフレームに対する符号化および多重化処理を実行す
るとともに、多重化された符号化データを送信バッファ
および伝送符号器を通して伝送路218 に出力する。

【００５４】以上のような構成で、テレビ会議装置10の
動作を説明する。カメラ12にて撮像されて出力された映
像信号100 は、アナログ・ディジタル変換器16にてディ
ジタルの画像データに変換される。また、カメラ14にて
撮像されて出力された映像信号102 は、アナログ・ディ
ジタル変換器18にてディジタルの画像データに変換され
る。

【００５５】アナログ・ディジタル変換器16および18か
ら出力された画像データ104 および106 は、それぞれフ
ォーマット変換部20のCIF 変換部30およびQCIF変換部32
に入力される。CIF 変換部30に入力した画像データ104
は、CIF データに変換され、また、QCIF変換部32に入力
した画像データ106 は、QCIFデータに変換される。

【００５６】CIF 変換部30にて変換されたCIF データ20
0 は、グループ・オブ・ブロックごとにメモリ34に蓄積
される。図７には、メモリ34に蓄積されたCIF データの
一例を概念的に示している。一方、CIF 変換部30の出力
204 には、出力200 に出力されるCIF データの画素位置
に対応したタイミング情報が出力されタイミング生成回
路38に入力される。

【００５７】タイミング生成回路38では、入力したタイ
ミング情報からグループ・オブ・ブロック８、10および
12のCIF データ200 の出力タイミングが判定され、この
出力タイミングに応じたタイミング信号が生成される。
生成されたタイミング信号206 は、セレクタ40に供給さ
れる。また、生成されたタイミング信号208 はQCIF変換
部32にも供給される。

【００５８】QCIF変換部32にて変換されたQCIFデータ20
2 は、グループ・オブ・ブロックごとにスイッチ36に出
力される。ここで、操作者によってスイッチ36の接続が
オンとされると、QCIFデータ202 は接続線210 を介して
メモリ39に出力され、その記憶領域にグループ・オブ・
ブロックごとに蓄積される。１フレームのQCIFデータが
メモリ39に蓄積され、スイッチ36の接続がオフ状態とな
ると、メモリ39に蓄積されたQCIFデータがフリーズされ
る。図７にはメモリ39に蓄積されたQCIFデータの一例を
概念的に示し、各グループ・オブ・ブロックの境界を点
線にて表わしている。

【００５９】メモリ34に蓄積されたグループ・オブ・ブ
ロック番号１〜12のCIF データは、グループ・オブ・ブ
ロックごとに出力212 に出力される。このとき番号１〜
７と９および11のグループ・オブ・ブロックのデータ
は、入力206 に入力されるタイミング信号に応じてセレ
クタ40にて選択され、出力216 に出力される。また、メ
モリ36に蓄積されたQCIFデータは、グループ・オブ・ブ
ロック番号８、９および11のデータがメモリ34から出力
されるタイミングに同期してセレクタ40にて選択され、
出力216 に出力される。

【００６０】このようにして選択されたCIF データおよ
びQCIFデータは、図７に示すように合成CIF データとし
て、フォーマット変換部20の出力216 に出力され、H.26
1 変換部22に入力される。

【００６１】H.261 変換部22に合成CIF データが入力さ
れると、標準化された符号化および多重化方式に従って
合成CIF データが圧縮符号化され、符号化された符号化
データは伝送路218 に出力される。

【００６２】このようにして、最初のフレームの合成CI
F データが処理され次のフレーム以降では、とくに、グ
ループ・オブ・ブロック番号８、10および12の合成CIF
データがH.261 変換部22に入力されると、これらブロッ
クの各マクロブロックの符号化データは、前のフレーム
の同一位置（マクロブロック）の符号化データと同じで
あるので多重化処理にて多重化されず、H.261 変換部22
から出力されない。

【００６３】つまりこの場合、図６に示したように、グ
ループ・オブ・ブロック番号８、10および12の各マクロ
ブロックに対して、マクロブロック層およびブロック層
における多重化処理が施されず、これらブロックの変換
係数データはH.261 変換部22から出力されない。番号
８、10および12以外のグループ・オブ・ブロックの符号
化データについては、そのデータの値に応じて各層にて
多重化処理される。

【００６４】次に、スイッチ36が再びオンとされると、
QCIF変換部32にて変換されたQCIFデータがメモリ39に入
力され、メモリ39にフリーズされていたQCIFデータが新
しいQCIFデータに書き換えられる。その後、セレクタ40
にてメモリ39が選択されると記憶領域に蓄積されたQCIF
データが読み出され、読み出されたQCIFデータがH.261
変換部22に入力される。このH.261 変換部22に新たに入
力されたデータは符号化および多重化処理されてその出
力218 に出力され、それ以降のフレームに対してセレク
タ40にて選択されたQCIFデータの符号化データは、多重
化されないのでH.261 変換部22の出力218 に出力されな
い。

【００６５】このようにグループ・オブ・ブロックを構
成するマクロブロックのデータに変化がない場合には、
多重化された符号化データが生成されないことを利用し
て、本実施例では、静止画を表わすQCIFデータをCIF デ
ータに合成しているので、画面全体の伝送データを極端
に減らすことができる。この場合、CIF データに合成す
るデータはQCIFデータに限らず、他のCIF データの任意
のグループ・オブ・ブロックのデータでもよい。

【００６６】つまり、図２に示したQCIF変換部32に代え
て、CIF 変換部30と同様な構成のCIF 変換部を接続線10
6 および202 に接続してもよい。すなわち、２つのCIF
データの一方を資料映像用として、そのCIF データの任
意のグループ・オブ・ブロックのデータを他方のCIF デ
ータのグループ・オブ・ブロックに合成する。

【００６７】この場合、たとえば図９に示すように画面
のグループ・オブ・ブロック番号11および12のCIF デー
タを、他方のCIF データに合成した画面を作成する。こ
れにより人物像の画面に、たとえばタイトル、人物紹
介、説明文字などのテロップ文字をスーパーインポーズ
することができる。

【００６８】また、CIF データに合成するデータは、各
フレームにて変化のない画面を表わすグループ・オブ・
ブロック形式のデータを使用することができる。この場
合、図８(a) に示したように、たとえばセレクタ40は、
CIF データのグループ・オブ・ブロック番号８、10およ
び12の位置に、たとえば、各フレームについて同じ輝度
および色相の画像を表わす固定データを合成する。この
図において固定データの部分を斜線にて示している。

【００６９】固定データは、メモリ39の記憶領域にあら
かじめ蓄積しておいてもよい。またたとえば、所定のパ
ターンコードを生成するパターンジェネレータ50の出力
を、図２に点線で示した接続線214aに接続して、パター
ンコードを固定データとして用いると有利である。この
場合セレクタ40は、メモリ39に代えてパターンジェネレ
ータ50を選択するように構成される。このように構成し
た場合、固定データを符号化した符号化データは多重化
されず、上述の実施例と同様の効果がある。

【００７０】さらに、このようなデータを受信した側で
は、受信側の発言者などを撮影した画像を表わすQCIFデ
ータを作成して、このQCIFデータの表わす画像を図８
(b) に示すように、伝送された符号化データを復号した
受信画像に合成し、その合成画像を受信側のモニタ等に
表示させることができる。つまり送受双方の画像がモニ
タに表示される。

【００７１】さらに、タイミング生成回路38にて生成す
るタイミング信号を各マクロブロックの出力タイミング
に同期すように構成することによって、グループ・オブ
・ブロック単位ではなく、マクロブロック単位で画面合
成を行なうと有利である。

【００７２】ここで、動画像を表わすCIF データのみを
圧縮符号化した画像データの転送データ量を概算する
と、画像データの伝送速度が64kbit/sec、１秒あたりの
送信フレーム数が10の場合、

【００７３】

【数１】 64 [kbit/sec] ／10 [frame/sec]＝6.4 [kbit/frame] となる。

【００７４】しかし本発明によれば、たとえば、図７に
示したように、送信画面の１／４に対応するグループ・
オブ・ブロック番号８、10および12の３つのブロック
に、各フレームが同じデータのQCIFデータを合成した場
合、このQCIFデータに対する多重化処理は図６に示した
太線600 の経路をたどり、また１フレームの制御用デー
タは350 ビット程度となるので、

【００７５】

【数２】(6.4 [kbit/frame] −350 [bit])×３／４＋35
0 [bit] ＝4887.5 [bit/frame] となる。

【００７６】この結果、本発明による伝送データ削減量
は、

【００７７】

【数３】 4887.5 [bit/frame]／6.4 [kbit/frame]≒0.763 となって、従来のCIF データを符号化および多重化した
場合に較べて、本発明では76.3％の転送データ量とな
る。

【００７８】

【発明の効果】このように本発明によれば、符号化装置
にて符号化する画像データを作成する際に、第１の画像
サイズの第１データの各フレームの所定のブロックに対
し、第２データを合成しているので、動画像を表わす第
１データの各フレームに静止画像を表わす第２データが
各フレームにて合成される。この結果、符号化装置は、
所定のブロックが部分的に静止画像として構成されたデ
ータを符号化することとなって、とくに、各ブロックご
とに符号化および多重化する場合に、符号化装置から出
力される符号化データ量が削減され、符号化データの伝
送効率を向上させることができる。

【図面の簡単な説明】

【図１】本発明によるテレビ会議装置の一実施例を示す
ブロック図である。

【図２】図１に示したフォーマット変換部の構成例を示
すブロック図である。

【図３】共通中間フォーマット(CIF) における画素配列
を示す概念図である。

【図４】共通中間フォーマット(QCIF)における画素配列
を示す概念図である。

【図５】グループ・オブ・ブロック(GOB) におけるマク
ロブロック(MB)の配列を示す概念図である。

【図６】図１に示したH.261 変換部における符号化圧縮
の手順を示す多重化処理系統図である。

【図７】図２に示したセレクタによる合成処理を説明す
る概念図である。

【図８】固定データを作成した場合の画面構成例を示す
図である。

【図９】他のグループ・オブ・ブロックのデータを用い
た場合の実施例を示す図である。

【符号の説明】

10 テレビ会議装置 12,14 カメラ 16,18 アナログ・ディジタル変換部 20 フォーマット変換部 22 H.261 変換部 30 CIF 変換部 32 QCIF変換部 34,39 メモリ 36 スイッチ 38 タイミング生成回路 40 セレクタ 50 パターンジェネレータ

Claims (13)

【特許請求の範囲】
1. 【請求項１】 所望の動画像を表わす画像データを符号
   化して伝送する画像通信システムにおいて、該システム
   は、 前記画像データを所定のブロックにて構成される所定の
   画像サイズのデータに変換する変換装置と、 該変換装置にて変換されたデータを符号化し、各ブロッ
   クの符号化データを多重化する符号化装置とを有し、 前記変換装置は、 前記動画像を表わす第１の画像データを複数のブロック
   にて構成された第１の画像サイズに変換する第１の変換
   手段と、 所定の画像を表わす第２の画像データを複数のブロック
   にて構成された第２の画像サイズに変換する第２の変換
   手段と、 前記第１の変換手段にて変換された各フレームの第１デ
   ータの所定のブロックに、前記第２の変換手段にて変換
   された第２データをそれぞれ合成して、該合成されたデ
   ータを前記符号化装置に出力する合成手段とを含み、 前記符号化装置は、前記合成手段にて合成された画像を
   表わすデータを前記ブロックごとに符号化および多重化
   して出力することを特徴とする画像通信システム。
2. 【請求項２】 請求項１に記載の画像通信システムにお
   いて、前記合成手段は、 前記第１データを蓄積する第１の蓄積手段と、 前記第２データを蓄積する第２の蓄積手段と、 前記第１の蓄積手段または前記第２の蓄積手段を選択す
   る選択手段とを含み、該選択手段は、 前記第１の蓄積手段から読み出された第１データであっ
   て、前記所定のブロックを除く第１のデータを選択して
   出力し、前記第１の蓄積手段から前記所定のブロックの
   第１データが読み出されるタイミングにて、前記第２の
   蓄積手段から読み出された第２データを選択して前記符
   号化装置に出力することを特徴とする画像通信システ
   ム。
3. 【請求項３】 請求項２に記載の画像通信システムにお
   いて、前記合成手段は、 前記第２の変換手段にて変換された第２データを前記第
   ２の蓄積手段に入力させるスイッチ手段を有し、該スイ
   ッチ手段は、所望の１フレームの画像を表わす第２デー
   タを前記第２の蓄積手段に蓄積させ、 前記第２の蓄積手段は、蓄積した第２データを前記選択
   手段に前記タイミングごとに繰り返し出力することを特
   徴とする画像通信システム。
4. 【請求項４】 請求項２に記載の画像通信システムにお
   いて、前記合成手段は、前記第１の蓄積手段から所定の
   ブロックが読み出されるタイミングを表わすタイミング
   情報を生成するタイミング生成手段を有し、 前記選択手段は、前記タイミング生成手段にて生成され
   たタイミング情報に基づいて、前記第２の蓄積手段に蓄
   積された第２データを選択して前記符号化装置に出力す
   ることを特徴とする画像通信システム。
5. 【請求項５】 請求項１に記載の画像通信システムにお
   いて、前記第１の変換手段は、標準テレビジョン形式の
   第１の画像データを所定の画素数にて構成された第１の
   画像サイズの第１データに変換し、前記第２の変換手段
   は、標準テレビジョン形式の第２の画像データを所定の
   画素数にて構成された第２の画像サイズの第２データに
   変換することを特徴とする画像通信システム。
6. 【請求項６】 請求項５に記載の画像通信システムにお
   いて、前記第１の変換手段と前記第２の変換手段とは、
   それぞれ異なる画素数の第１データと第２データとを生
   成することを特徴とする画像通信システム。
7. 【請求項７】 請求項５に記載の画像通信システムにお
   いて、前記第１の変換手段と前記第２の変換手段とは、
   それぞれ同じ画素数の第１データと第２データとを生成
   することを特徴とする画像通信システム。
8. 【請求項８】 請求項５に記載の画像通信システムにお
   いて、該システムは、前記動画像を撮像する第１の撮像
   手段と、前記所定の画像を撮像する第２の撮像手段とを
   有し、 前記第１の変換手段は、前記第１の撮像手段にて得られ
   た第１の映像信号の表わす第１の画像データを第１デー
   タに変換し、前記第２の変換手段は、前記第２の撮像手
   段にて得られた第２の映像信号の表わす第２の画像デー
   タを第２データに変換することを特徴とする画像通信シ
   ステム。
9. 【請求項９】 請求項５に記載の画像通信システムにお
   いて、該システムは、前記動画像を表わす第１の映像信
   号をディジタル形式の第１の画像データに変換する第１
   のアナログディジタル変換手段と、前記所定の画像を表
   わす第２の映像信号をディジタル形式の第２の画像デー
   タに変換する第２のアナログディジタル変換手段とを有
   したことを特徴とする画像通信システム。
10. 【請求項１０】 請求項１に記載の画像通信システムに
    おいて、前記符号化装置は、前記第１の画像サイズの第
    １データおよび前記第２の画像サイズの第２データの少
    なくともいずれか一方を前記ブロックごとに符号化およ
    び多重化することを特徴とする画像通信システム。
11. 【請求項１１】 所望の動画像を表わす画像データを所
    定のブロックにて構成される所定の画像サイズの画像デ
    ータに変換する変換装置と、該変換装置から出力された
    データを符号化して伝送する符号化装置とを有した画像
    通信システムの伝送方法において、該方法は、 前記動画像を表わす第１の画像データおよび所定の画像
    を表わす第２の画像データを前記変換装置に入力する入
    力工程と、 複数フレームの画像を表わす第１の画像データをそれぞ
    れ複数のブロックにて構成された第１の画像サイズの第
    １データに変換する第１の変換工程と、 所望の画像を表わす第２の画像データを複数のブロック
    にて構成された第２の画像サイズの第２データに変換す
    る第２の変換工程と、 前記第１データの各フレームを選択し出力する際、該第
    １データの所定のブロックに、前記第２データの所定の
    ブロックを合成する合成工程と、 前記変換装置にて合成された画像を表わすデータを前記
    符号化装置に入力して、該データの各フレームを前記ブ
    ロックごとに符号化および多重化する符号化工程とを有
    したことを特徴とする画像通信システムの伝送方法。
12. 【請求項１２】 請求項１１に記載の画像通信システム
    の伝送方法において、該システムは、前記第１データを
    蓄積する第１の蓄積装置と、前記第２データを蓄積する
    第２の蓄積装置とを有し、 前記合成工程は、 前記第１データの各フレームを前記第１の蓄積装置に蓄
    積して、各フレームごとに出力する第１の蓄積工程と、 前記第２データの所定のフレームを前記第２の蓄積装置
    に蓄積して、該フレームの第２データを出力する第２の
    蓄積工程と、 第１のデータの所定のブロックのデータを出力するタイ
    ミングにて、前記第２の蓄積装置に蓄積された第２デー
    タの所定のブロックのデータを選択する選択工程とを有
    し、 該合成工程は、前記選択工程にて選択されたデータを出
    力することを特徴とする画像通信システムの伝送方法。
13. 【請求項１３】 請求項１２に記載の画像通信システム
    の伝送方法において、該方式は、任意のフレームの第２
    データを前記第２の蓄積装置に入力させる入力工程を有
    したことを特徴とする画像通信システムの伝送方法。