JPH04354489A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像符号化装置に係り、
特に送信側で合成画面の画像を作り、それを符号化して
伝送する画像符号化装置に関する。

【０００２】近年、テレビ会議，テレビ電話システム等
が開発されるに従って多様な機能，及び画質の向上が要
求されるようになった。特にこのテレビ会議，テレビ電
話システム等では、背景に全体画，前景に人物画といっ
た合成画面の画像を送信側で作成して符号化するが、重
要な画像情報である前景をより鮮明にすることが必要と
される。

【０００３】

【従来の技術】図１１は従来の画像符号化装置の一例の
ブロック図を示す。同図中、１は全景カメラ，２は人物
カメラで、例えばテレビ会議システムにおいて全景カメ
ラ１はテレビ会議の各会議者や会議場などの全体像を撮
像するテレビジョンカメラ，人物カメラ２はテレビ会議
における発言者等の人物をクローズアップした画像を撮
像するテレビジョンカメラである。

【０００４】全景カメラ１及び人物カメラ２から夫々取
り出されたアナログ映像信号は、ＡＤ変換器３に入力さ
れてアナログ・ディジタル変換（標本化）された後、画
面合成回路４に供給され、ここで全景カメラ１からの全
体画像データを背景とし、人物カメラ２からの人物画像
データを前景とする一枚の合成画面の画像データに合成
処理される。この合成画像データは符号化回路５に供給
されて符号化された後、伝送路へ送信される。

【０００５】

【発明が解決しようとする課題】しかるに、上記の従来
装置は画面合成回路４からの一枚の合成画面の合成画像
データ全体に対して同じ量子化ビット数で符号化回路５
で符号化を行なっているため、一枚の合成画面において
主要な画像情報である人物画像と補助的な画像情報であ
る背景画像とが同じ解像度で表示されてしまい、人物画
像の鮮明さが十分でないという問題がある。

【０００６】本発明は上記の点に鑑みなされたもので、
背景画の情報発生量を低減し、更にはその分前景画の情
報発生量を増加させることにより、上記の課題を解決し
た画像符号化装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】図１（Ａ），（Ｂ）は夫
々請求項１，３記載の発明の原理構成図を示す。図１（
Ａ）において、合成手段１１は背景画像と背景画像より
も動きの早い前景画像とが合成された一枚の合成画像を
示す合成画像データを生成する。第１の符号化手段１２
は上記合成画像データ中の背景画像データを所定フレー
ムに１回の割合で間引き、かつ、前景画像データは間引
くことなく夫々符号化を行なって符号化データを生成す
る。

【０００８】また、図１（Ｂ）の発明では、第２の符号
化手段１５は、前記背景画像データを前記前景画像デー
タに比し粗く量子化後符号化を行なって符号化データを
生成する。

【０００９】

【作用】テレビ会議システムで伝送される画像情報は、
図２に示す如く、背景画面領域１７の背景画像と前景画
面領域１８の前景画像とが一枚の合成画像を構成するよ
うに、互いに重ならないように合成されている。かかる
合成画像において、背景画像は会議場の全体画像である
のに対し、前景画像は発言者等の特定の人物画像である
ことが多く、前景画像は背景画像に比し動きが早く、鮮
明な画質を要求されるのに対し、背景画像は動きが少な
く、また補助的な画像情報であるから、それほど鮮明な
画質を要求されることはない。

【００１０】そこで、上記の点に着目し、請求項１記載
の発明では第１の符号化手段１２により背景画面領域１
７の背景画像データを間引いている（換言すると駒落と
ししている）ため、その間引き分だけ全体の画像データ
情報量を低減することができる。また、請求項３記載の
発明では、第２の符号化手段１５は背景画像データを前
景画像データに比し粗く量子化後符号化を行なって符号
化データを生成するため、背景画像データを粗く量子化
した分だけ全体の画像データ情報量を低減することがで
きる。

【００１１】また、第１の符号化手段１２は間引いた背
景画像データの代わりに前景画像データを割り当てても
よく、第２の符号化手段１５は１フレームの画像データ
情報量のうち前記背景画像データの情報量を除いた残り
の情報量を、前記前景画像データに割り当てるようにし
てもよく、それらの場合には前景画面領域１８の前景デ
ータの情報量を従来に比べて増加させることができる。

【００１２】

【実施例】図３は本発明の第１実施例のブロック図を示
す。同図中、図１（Ａ）及び図１１と同一構成部分には
同一符号を付し、その説明を省略する。図３において、
画面合成回路４は前記合成手段１１を構成している。ま
た、フレーム間差分予測回路２０，背景領域識別部３１
及び通常／差分０切換回路３２は前記第１の符号化手段
１３を構成している。フレーム間差分予測回路２０は減
算器２１，セレクタ２２，符号化回路２３，復号部２４
及びフレームメモリ２５からなる。

【００１３】次に本実施例の動作について説明するに、
画面合成回路４からの画像データに基づき、その画像デ
ータが例えば予め設定された背景領域内のデータか否か
識別される。通常／差分０切換回路３２は背景領域識別
部３１からの識別信号に基づき、背景領域の背景画像デ
ータ入力時は２フレームに１回の割合でセレクタ２２か
ら“０”を示す信号を選択出力させるセレクト信号を発
生する。

【００１４】ここで、セレクタ２２は画像合成データと
フレームメモリ２５からの画像データとの差分をとる減
算器２１からの差分画像データと、差分値“０”を示す
定数データとが入力され、前記切換回路３２からのセレ
クト信号に基づき、背景画像データは２フレームに１回
の割合で阻止し、その代りに差分値“０”の定数データ
を選択出力し、それ以外の期間では減算器２１からの差
分画像データを選択出力する。

【００１５】セレクタ２２からの差分画像データは後述
する如く符号化回路２３で量子化及び符号化された後、
復号部２４で復号されてフレームメモリ２５に１フレー
ム分格納される。減算器２１は画面合成回路４からの現
時点の合成画像データとフレームメモリ２５からの１フ
レーム前（過去）の画像データとの差分をとり、１フレ
ーム間で動きのある画像データのみ減算器２１より差分
画像データを出力する。これにより、符号化回路２３か
らはフレーム間差分予測符号化された符号化データが取
り出され、伝送路へ送信される。

【００１６】次に符号化回路２３の各実施例について更
に詳細に説明する。図４は符号化回路２３の一実施例の
ブロック図を示す。同図中、セレクタ２２からの差分画
像データは、１種類の量子化テーブルを有する量子化部
２３１により所定の量子化ビット数で量子化された後、
可変長符号化部２３３に入力される。

【００１７】可変長符号化部２３３は図９（Ａ）に模式
的に示す如く順次に量子化部２３１から入力される量子
化データ■〜■と同じ値のデータの所定単位時間におけ
る発生頻度を検出し、同図（Ｂ）に模式的に示すように
■のような発生頻度の多いデータには長いビットで符号
化を行ない、■のような発生頻度の少ないデータには短
いビットで符号化を行なう。これにより、図９（Ｃ）に
模式的に示す如く量子化データは発生頻度に応じたビッ
ト数の符号化データに詰め替えられた後、図４のバッフ
ァメモリ２３４に入力され、ここで一時保持される。

【００１８】なお、可変長符号化部２３３の入力量子化
データは差分画像データを量子化したものであるから“
０”である頻度が非常に高く、“０”付近のデータ（特
に“０”）は短いビット数の符号に変換される。量子化
を粗くすると“０”付近のデータは“０”に丸め込まれ
るように数種類の値に丸め込まれ、これを短いビット数
で符号化する可変長符号化によって発生情報量を抑える
ことができる。

【００１９】更に本実施例では、図１０（Ｂ）に模式的
に示す如く２フレーム間の発生情報量（総伝送ビット数
）のうち前景画像データが２回発生され、背景画像デー
タは１回間引かれるため、同図（Ａ）に模式的に示す図
１１の従来装置による２フレーム間の発生情報量に比し
、間引いた背景画像データ分だけ全体の発生情報量を低
減できる。これにより、小容量の伝送路でも伝送でき、
またメモリ容量を従来よりも低減できる。

【００２０】図５は符号化回路２３の他の実施例のブロ
ック図を示す。同図中、図４と同一構成部分には同一符
号を付し、その説明を省略する。図５において、バッフ
ァメモリ２３４に書き込まれる符号化データの数が書き
込みデータ数カウンタ２３５により計数され、またバッ
ファメモリ２３４より一定タイミングで読み出される符
号化データの数が読み出しデータ数カウンタ２３６で計
数される。

【００２１】書き込みデータ数カウンタ２３５の計数値
は発生情報量を示しており、一方読み出しデータ数カウ
ンタ２３６の計数値は伝送情報量を示している。減算器
２３７はこれらのカウンタ２３５及び２３６の出力計数
値を減算し、その減算値（これはバッファメモリ２３４
に格納されている符号化データ数、すなわちバッファ占
有量を示す）を量子化テーブルセレクタ２３８にセレク
ト信号として供給する。

【００２２】これにより、量子化テーブルセレクタ２３
８はＮ種類ある量子化テーブル２３９の中からバッファ
占有量が多くなるほど量子化ビット数が小なる（量子化
が粗い）量子化テーブルを選択して、量子化部２３１に
より量子化を行なわせる。従って、本実施例では、図３
に示したように２フレームに１回の割合で、１フレーム
画面中の背景画像データが間引きされて図５の量子化部
２３１に入力されるから、その間引きされた背景画像デ
ータ分だけ前景画像データの量子化を細かくすることが
できる。

【００２３】すなわち、本実施例によれば、図１０（Ｃ
）に模式的に示す如く、２フレーム間の発生情報量のう
ち１フレーム画面中の背景画像データが間引かれると共
に、その間引かれた背景画像データの情報量分だけ前景
画像データの情報量が多く発生されることとなる。 このため、本実施例によれば、図４に示した構成の符号
化回路を使用した場合に比し、より鮮明な前景画像を得
ることができる。なお、本実施例ではＮ種類の量子化テ
ーブルのどれを使用したかの識別データが付加されて伝
送される。

【００２４】次に本発明の第２実施例について説明する
。図６は本発明の第２実施例のブロック図を示す。同図
中、図１（Ｂ）及び図１１と同一構成部分には同一符号
を付し、その説明を省略する。図６において、第２の符
号化手段１５は背景領域識別部４０と符号化回路５０と
からなり、符号化回路５０は背景画面符号化回路５１及
び前景画面符号化回路５２よりなる。

【００２５】背景領域識別部４０は図３に示した背景領
域識別部３１と同様に、画面合成回路４から取り出され
る合成画像データが、背景領域内のデータか否か判定し
、背景領域内のデータのとき背景領域識別信号を発生し
、符号化回路５０へ出力する。符号化回路５０は背景画
面符号化回路５１と前景画面符号化回路５２とにより、
背景画像データに対しては前景画像データに比し粗い量
子化ビット数で量子化後、符号化を行なう。

【００２６】本実施例によれば、画面合成回路４からの
合成画像データが、背景領域識別部４０により背景領域
内のデータか否か識別される一方、上記合成画像データ
は符号化回路５０に入力されて量子化及び符号化が行な
われる。ここで、符号化回路５０は入力画像データが背
景画像データのときは、前景画像データのときよりも粗
い量子化を行なう。これにより、全体の発生情報量が低
減されるか又はより鮮明な前景画像が得られる。

【００２７】上記の符号化回路５０について更に詳細に
説明するに、図７は符号化回路５０の一実施例のブロッ
ク図を示す。同図中、５０１は量子化部で、背景用量子
化テーブル５０２及び前景用量子化テーブル５０３の一
方がセレクタ５０４で選択入力され、そのテーブルによ
る量子化ビット数で量子化を行なう。

【００２８】可変長符号化部５０５は前記した図４に示
した可変長符号化部２３３と同じ可変長符号化動作を行
なう。バッファメモリ５０６は可変長符号化部５０５か
らの可変長符号化データを順次格納し、その後順次読み
出す。

【００２９】次に本実施例の動作について説明する。量
子化部５０１に入力された画像データが背景領域内のデ
ータ（背景画像データ）であるときは、セレクタ５０４
は背景用量子化テーブル５０２を選択し、量子化部５０
１にこのテーブルに従った量子化ビット数で量子化を行
なわせる。

【００３０】一方、量子化部５０１の入力画像データが
背景領域外のデータ（前景画像データ）のときは、セレ
クタ５０４は前景用量子化テーブル５０３を選択し、量
子化部５０１にこのテーブルに従った量子化ビット数で
量子化を行なわせる。

【００３１】ここで，背景用量子化テーブル５０２は前
景用量子化テーブル５０３に比し、量子化ビット数が小
なるテーブルである。そのため、量子化部５０１から取
り出される量子化ビット数は背景画像データの方が前景
画像データよりも小である。この量子化データは可変長
符号化部５０５で可変長符号化された後、バッファメモ
リ５０６で一旦蓄積された後、伝送路へ送出される。

【００３２】本実施例によれば、図１０（Ｄ）に模式的
に示す如く、符号化データ１フレーム中の背景画像デー
タの情報量は、図１０（Ａ）に示した従来装置のそれに
比し、小とされる。これは従来に比し背景画像データを
粗く量子化した分だけ全体の発生情報量が少なくなるか
らである。これにより、本実施例は図４の実施例と同じ
効果を奏する。

【００３３】図８は符号化回路５０の他の実施例のブロ
ック図を示す。同図中、図５及び図７と同一構成部分に
は同一符号を付し、その説明を省略する。図８において
、５０７は量子化テーブルセレクタ，５０８はＮ種類あ
る背景用量子化テーブル，５０９はＮ種類ある前景用量
子化テーブルである。背景用量子化テーブル５０８の量
子化ビット数は、前景用量子化テーブル５０９のそれに
比し、同じＫ番目のものは小なるビット数に設定されて
いる。

【００３４】量子化テーブルセレクタ５０７は量子化部
５０１への入力画像データが背景領域内のデータか否か
を示す背景領域識別部４０からの信号と、減算器２３７
からのバッファメモリ５０６の占有量を示すデータとが
夫々入力され、背景画像データ入力時は背景用量子化テ
ーブル５０８の中からバッファ占有量に反比例した量子
化ビット数の一つのテーブルを選択して、量子化部５０
１により量子化を行なわせる。また、前景画像データ入
力時はセレクタ５０７により前景用量子化テーブル５０
９の中からバッファ占有量に反比例した量子化ビット数
の一つのテーブルが選択され、量子化部５０１で入力前
景画像データが量子化される。

【００３５】上記の構成により、各フレームの背景画像
データの量子化ビット数は同じバッファ占有量のときは
前景画像データの量子化ビット数に比べて小とされてい
るため、背景画像データの発生情報量は前景画像データ
の発生情報量より小となる。そこで、本実施例では、図
１０（Ｅ）に模式的に示す如く、各フレームの全体の発
生情報量は従来装置と同じとし、粗く量子化した背景画
像データの発生情報量低減分だけ前景画像データの発生
情報量が増加するように、背景用量子化テーブル５０８
と前景用量子化テーブル５０９の内容が設定されている
。

【００３６】これにより、本実施例によれば、従来に比
べてより鮮明な前景画像を得ることができる。

【００３７】なお、本発明はテレビ会議システムだけで
なく、その他テレビ電話システムなど背景画像が前景画
像に比べて動きの少ない画面の画像の符号化全般に適用
することができる。

【００３８】

【発明の効果】上述の如く、請求項１及び３の発明によ
れば、全体の画像データ情報量を低減することができる
ため、小容量の伝送路を使用することができると共に、
バッファメモリ等に小容量で安価なメモリを使用するこ
とができ、また請求項２及び４記載の発明によれば、背
景画像データの情報量低減分だけ前景画像データの情報
量を増加させているため、画面中の主情報である前景画
像を、従来と同じ伝送量でありながら従来よりもより鮮
明に表示させることができる等の特長を有するものであ
る。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】本発明の作用説明図である。

【図３】本発明の第１実施例のブロック図である。

【図４】図３中の符号化回路の一実施例のブロック図で
ある。

【図５】図３中の符号化回路の他の実施例のブロック図
である。

【図６】本発明の第２実施例のブロック図である。

【図７】図６中の符号化回路の一実施例のブロック図で
ある。

【図８】図６中の符号化回路の他の実施例のブロック図
である。

【図９】可変符号化の説明図である。

【図１０】従来装置及び各実施例の前景，背景の発生情
報量の割合について摸式的に示す図である。

【図１１】従来装置の一例のブロック図である。

【符号の説明】

１１　　合成手段 １２　　第１の符号化手段 １５　　第２の符号化手段 ２３，５０　　符号化回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　背景画像と、該背景画像よりも動きの
   早い前景画像とが合成された一枚の合成画像を示す合成
   画像データを生成する合成手段（１１）と、該合成画像
   データが入力され、該合成画像データ中の前記背景画像
   データを所定フレームに１回の割合で間引き、かつ、前
   記前景画像データは間引くことなく夫々符号化を行なっ
   て符号化データを生成する符号化手段（１２）とを有す
   ることを特徴とする画像符号化装置。
2. 【請求項２】　　前記第１の符号化手段（１２）は、前
   記間引きした背景画像データの代わりに、前記前景画像
   データを割り当て充当することを特徴とする請求項１記
   載の画像符号化装置。
3. 【請求項３】　　背景画像と、該背景画像よりも動きの
   早い前景画像とが合成された一枚の合成画像を示す合成
   画像データを生成する合成手段（１１）と、該合成画像
   データが入力され、該合成画像データ中の前記背景画像
   データを前記前景画像データに比し粗く量子化後符号化
   を行なって符号化データを生成する第２の符号化手段（
   １５）とを有することを特徴とする画像符号化装置。
4. 【請求項４】　　前記第２の符号化手段（１５）は、１
   フレームの画像データ情報量のうち前記背景画像データ
   の情報量を除いた残りの情報量を、前記前景画像データ
   に割り当てることを特徴とする請求項３記載の画像符号
   化装置。