JP3038684B2 - 画像伝送方法 - Google Patents

Description

【発明の詳細な説明】 〔技術分野〕 本発明は画像情報を狭帯域伝送する画像伝送方法に関
するものである。 〔背景技術〕 テレビ会議システムに於いては、毎秒６フレーム程度
のカラー画像の変化した部分のみを、電話回線で狭帯域
伝送するものが開発されているが、この場合、画像（51
2×512画素程度）をブロックに分けて変化したブロック
のみを伝送するもので、送信側、受信側共、共通のブロ
ックの標準パターンを有し、変化したブロックの標準パ
ターンに対するインデックスを伝送する方式であるた
め、送信側で各ブロック毎に標準パターンの照合が必要
になり、又画質を良くするためには多くの標準パターン
を記憶する必要があり、伝送符号量が少ない反面、送信
側のパターン照合の計算量が多く、送受信共多くの標準
パターンを記憶する必要があった。例えば16×16画素の
ブロックの場合、ブロック内には256画素があり、この
画素の各RGBの色成分の輝度を４ビットとすると、256×
16×16×16＝1048576通りの組み合わせの中から代表的
なパターンを256、つまり1/4096に絞ったとして、画素
当たり１ビットの圧縮率になる。通常のモノクロ画像の
圧縮率が、実用されているもので２〜３ビット／画素
（画像の冗長度の範囲では３ビット／画素程度まで）で
あるので、カラー画像の場合には標準パターンとして25
6通り以上必要と思われる。 一方モノクロ画像、即ち輝度情報のみを圧縮伝送する
方法において、変化画素領域のみを伝送する方式とし
て、フレーム間相関を利用するものが研究されており、
特に変化物体の動きをベクトルとして検出して予測し、
予測誤差を少なくすることが試みられているが、動きベ
クトルの検出や予測は計算量が多く研究段階か、高級な
画像伝送システムにしか用いられていない。 ところで一般にフレーム間差分は変化物体と背景物体
との差の情報であるため相関が少なく、線形演算では変
化物体が移動したとき元の場所に変化物体の姿が残り、
新しい場所に背景の画像が残るという問題もあった。 そこで本発明者らは変化画素領域の画像を粗い画像か
ら細かい画像に順次鮮明化させる狭帯域画像伝送方式を
提案したが、フレーム間差分によるものは現画像の変化
画素情報を零画素・零ライン圧縮するものに比べて符号
量が少ないが、画質が悪くなり、又現画像の変化画素を
予測圧縮して伝送し、伝送済みの画像に嵌め込んで合成
する場合には変化画素領域の各ライン毎に予測の初期値
と終端の符号を伝送しなければならなかったので、その
分符号が増した。上記の零画素・零ライン圧縮の場合、
変化画素については画素毎に６ビットの輝度情報と、２
ビットの識別コードを送るので、変化画素領域に８ビッ
ト／画素の符号を要した。 〔発明の目的〕 本発明は上述の問題点に鑑みて為されたもので、変化
画素領域の画像情報を始端、終端の符号を伝送せずに予
測圧縮できる画像伝送方式を提供することを主なる目的
とし、併せて変化画素領域の輝度情報と共に色情報も伝
送する画像伝送方式を提供することを目的とする。 〔発明の開示〕 本発明を以下実施例により説明する。 実施例 図面は本発明方式を用いた画像監視電話伝送装置の全
体を示しており、送信機Ａと、受信機Ｂとは交換機Ｃを
含む電話回線を介して接続されている。 送信機Ａにおいては監視領域を映すCCD撮像素子を用
いたTVカメラ１から入力された画像信号は信号の形式が
RGBか、NTSCかに応じてモジュレータ２で輝度信号と、
輝度信号に対して正規化されたRGBの色信号に分離され
る。A/D変換回路３は上記輝度信号を６〜８ビットのデ
ジタル信号に変換するためのもので、デジタル変換され
た輝度情報は輝度情報フレームメモリ４に記憶される。 この輝度情報は次のように圧縮伝送される。つまり前
画像フレームバッファ５又は基準画像フレームバッファ
６に記憶された前画像或いは基準画像のデータと輝度情
報フレームメモリ４に記憶された上記輝度情報との比較
が変化検知回路７で行なわれて変化検知が為される。変
化がある場合には伝送済みの画像に相当する予測画像フ
レームバッファ９に記憶された予測画像のフレームと上
記輝度情報フレームメモリ４に記憶した現画像フレーム
との差を変化画素抽出回路８で比較し、この差が設定値
より大きな画素を変化画素として検出して現画像の画素
値を持たせ、この差が設定値より小さな画素を零画素と
して値を零にする。 このようにして変化画素抽出回路８では変化画素に囲
まれた零画素を変化画素として扱う等のスムージング処
理を行ない、変化画素の集団が連続した島状になるよう
に整形する。 画像伝送のためには変化画素情報を伝送済みの前画フ
レームの復元画像の変化画素に対応する画素と置き換え
れば良いことになる。 この場合、動き補償をしていないので物体が画面を移
動する場合、前画像での位置と現画像での位置の両方の
領域が変化画素領域となるため、伝送しなければならな
い情報が増加する。 しかし移動物体に関して変化画素領域の現画像の画素
値はフレーム内で垂直水平方向の２次元的相関が強く、
動き補償をしない場合の前画像と現画像の同一の変化画
素域のフレーム間の差信号のフレーム内での２次元的相
関よりもフレーム内の相関の方が強いと考えられる。 相関が強い程予測符号化の圧縮率が高くなるので、動
き補償やフレーム間差分を符号化する高速で高価な符号
化装置と比べて、簡易なために比較的低速な回路でロー
コストな符号化装置が実現できる。 ここで零画素の領域は可変標本密度符号化後に、後述
の表１の零符号・零ライン圧縮により大幅に圧縮される
ので、変化画素領域が比較的小さな場合に、フレーム更
新時の伝送情報量を少なくすることができ、そして零画
素・零ラインの復元することにより変化画素の位置が分
かる。 次に本発明における変化画素圧縮について説明する。 変化画素の圧縮には２次元と１次元とがあるが、本実
施例ではライン間予測符号化回路10、ライン間予測復号
化回路12、ライン内予測残差計算回路11、ライン内予測
復号化回路13、及び予測画像フレームバッファ９とから
なる回路構成より行う２次元圧縮方式を採用しており、
変化画素領域についての伝送済みの前ラインの値に対し
て予測残差をライン間予測符号化回路10により予測残差
を計算するが、変化画素領域の端ではラインの予測値は
零で、ライン間予測残差は変化画素の値になる。次のラ
イン内予測残差計算回路11ではライン間予測残差をライ
ン方向に前値予測（DPCM）或いは可変標本密度圧縮す
る。ここでライン上の変化画素の始端では予測値とし
て、伝送済みの前ラインの対応する画素の値を用いる。
受信機Ｂ側ではライン内予測復号化回路14でライン間予
測残差を復号化する場合にこれが零から変化したときに
既に伝送された前ラインの値を初期値として用いること
で特別な始端符号や初期値を伝送する必要がない。 さて上記のライン内予測の予測残差を求め変化画素の
終端の零画素で予測残差を求め、変化画素の終端の零画
素で、予測残差が負の符号の最大のものにする。表３は
前値予測（DPCM）、表４は可変標本密度圧縮による符号
化の量子化特性の例を示し、変化画素の終端の符号はい
ずれの場合もオーバシュートさせる意味で“E"とする。
この場合、ライン間の予測残差のダイナミックレンジは
±256に制限されており、各画素の値は０〜256である。
従って送信機Ａ側や受信機Ｂ側でライン内予測復号化回
路13又は14で復号化した結果のライン間差分を、ライン
間予測復号化回路12又は18でライン間復号化を行い、変
化画素と零画素に復号化する場合、ライン上の変化画素
の終端の零画素の値がマイナスにオーバシュートして確
実に零にすることができる。この量子化特性（表３），
（表４）による輝度信号の圧縮符号は表１の零符号
［（表３）の７に相当］・零ライン圧縮により、零ライ
ン・零符号圧縮回路15で零画素や零符号をランレングス
圧縮して、変化画素領域の占有面積に応じ少ない符号量
で符号合成回路16、通信制御回路17を介して伝送する。
ここで復元された変化画素を送信機Ａにおいては予測画
像フレームバッファ９の画像データに嵌め込まれて合成
される。さて通信制御回路17から伝送された符号データ
は交換機Ｃを含む電話回線を介して受信機Ｂ側へ送ら
れ、受信機Ｂ側の通信制御回路19、符号分解回路20を介
して抽出される。そして零ライン・零符号伸張回路21に
より伸張され、更にライン内予測復号化回路14、ライン
間予測復号化回路18により変化画素が復元される。この
復元された変化画素のデータは輝度情報フレームメモリ
22に記憶されている輝度情報に嵌め込まれて合成され
る。この合成された輝度情報はD/Aコンバータ23により
アナログの輝度信号に変換され、デモジュレータ24に入
力する。 上述した本実施例のように２次元圧縮、伸張の場合に
は、変化画素領域のライン間の予測残差をライン方向に
可変標本密度符号化するので、ライン方向の始端に対応
するライン内の予測残差信号が、１ライン前の伝送済み
の復元画像を基準として振幅差値が零にならないように
可変標本密度符号化することにより、変化画素の始端位
置を正確に伝送でき、２次元圧縮により２次元に広がっ
た変化画素領域の画素情報を一層効率的に圧縮伝送でき
る。始端に関して、可変標本密度符号化の結果が始端で
振幅差値零にならないように少なくとも最小の振幅差値
の符号を伝送するように変化画素抽出回路８で変化画素
の値を加減し、また可変標本密度符号化部位で変化画素
領域の始端をチェックして始端で少なくとも最小の振幅
差値の符号を出力する必要がある。 尚零画素を含めて変化画素の全フレームを符号化する
ので、変化画素領域の位置情報を復元でき、変化画素ご
とに位置情報を伝送する必要がなくなるのである。 ここで本実施例では上記のように２次元の圧縮、伸張
を行っているが、輝度情報の１次元の圧縮、伸張の場合
では表1,表3,表４の符号化は同じであるが、ライン間の
予測とライン間予測の復号化を行わないので、変化画素
の予測値の初期値は、伝送済みの前フレームの画像の、
上記最初の変化画素と対応する画素の値となる。又変化
画素から零画素に変わったときは同様に圧縮符号“E"を
送れば復号値が零若しくはマイナスとなるので、マイナ
ス値を零に直すことで、零は零画素、他は変化画素とし
て識別できる。尚変化画素が零の場合には伝送されない
ので、これが問題となる場合には変化画素に予め一定
値、例えば“8"を加えて上限をオーバフローさせて255
に制限し、復号後に“8"を引いても良いし、変化画素が
零の部分だけ“4"とか“8"にして伝送してもよい。 ここで現画像の変化画素信号を１次元の可変標本密度
符号化で伝送する場合について第２図を用いて詳しく説
明する。 先ず第２図のイ線で示す現画像の変化画素信号を１次
元の可変標本化密度符号化で伝送する場合を説明する。 変化画素として切り出した画像は始端が零画素である
が、実際の画像は、一般に変化していない部分も相当の
輝度レベルをもっている。始端を零として変化画素を可
変標本密度符号化すると、予測符号化の初期値が実際と
大きく異なるために量子化誤差が終端で大きくなり、復
元したときに変化画素の終端が不自然になることが多
い。 そのために、初期値を画像標本の輝度レベルの中間値
に固定することによってある程度改善が可能であり、前
フレームの復元値を用いないことによってフレーム間に
誤差や伝送誤りが伝播する恐れがない。しかし初期値を
そのまま伝送すると画質は良くなるが符号量が増大す
る。 そこで初期値を伝送済みの復号された画像信号とす
ることにより量子化誤差が小さく変化画素の境界が、全
フレームを伝送した時と同様の画質が伝送できる。ここ
で初期値の伝送済みの復号された画像信号と変化画素
の始端の画素値が零に近い場合、可変標本密度符号化に
より振幅差値Ａが零に符号化され、零画素の連続と区別
がつかないために変化画素の始端位置がずれる可能性が
ある。従って送信側で変化画素の始端で振幅差値Ａが零
になる状態をチェックしてこの様な場合には最少の振幅
差値Ａの符号に置き換えて伝送することにより、変化画
素であることを明確にしている。 終端では、第２図のに示すように復号された画像信
号がマイナスになるように表３、表４の符号“E"を伝送
し、受信側では復元値がマイナスになったときに変化画
素の終端と判断し、伝送済みの復号された画像につな
げる。尚第２図中Ｂは時間差値を、Ｃは標本間隔を、ま
たロ線上の黒丸は復元された画像信号、また白丸は量子
化特性による符号を示し、Ｌは零レベルを示す。 次に色情報の圧縮・伸張について説明する。まず色情
報を圧縮する場合に、色画像をRGBに分けて、輝度情報
と同様に圧縮したのでは、量子化誤差や予測誤差（過負
荷等）によって、色ずれや、にじみを生じる恐れがあ
る。この点に鑑みて本発明方式では色情報は輝度情報と
は別に圧縮して誤差が少なくなるようしてある。RGB別
の輝度情報を含む信号は夫々４〜６ビットの情報を必要
とするが、輝度に対して正規化した場合の色情報はRGB
の色成分の比率となるので、RGBの色成分を夫々２〜３
ビットの情報で表現しても相当の伝送が可能である。本
実施例ではRGBの色成分を夫々２ビットの情報とし、零
画素の場合はRGBの色成分共総て“0"とし、色のある場
合には最も明るい色成分の輝度を３として、他の色成分
の比率を0,1,2,3で表すことで、（R,G,B）は例えば白で
は（3,3,3）、零画素では（0,0,0）というように表現で
き、その他の色は１×３×３と、白を含めて９色で表現
できる。尚各色成分を３ビットの情報で表現すると、１
×７×７−１＝48色となる。又各色成分を夫々２ビット
の情報で表現し、白を（2,2,2）で表して、合計を６に
すると、表せる色は白を含めて16色となる。勿論色成分
の１つが“0"になるものも含める。而して、送信機Ａ側
ではモジュレータ２により分離したRGBの色成分の和が
一定値となるように色情報符号化回路26で符号化を行
う。この場合各色成分の合計と、一定値との比率を各色
成分に掛けて、夫々の色成分を量子化するのである。さ
て色情報符号化回路26で符号化された色符号は色情報フ
レームメモリ27に書き込む。 さて色情報フレームメモリ27に書き込んだ色符号は更
に色符号圧縮回路28で表２のように圧縮される。ここで
８ビットの伝送コードの総てのビットが“0"のときは零
画素である。また上位２ビットが“0"のときは、色情報
を伝送することを示し、RGBの色成分を夫々２ビットで
表される。上位２ビットが（0,1）の場合には前の上位
２ビット（0,0）の色の画素が６ビットデータで表され
た個数だけ連続することを示す。上位２ビットが（1,
0）の場合には零画素ばかりの零ラインが６ビットのデ
ータ分だけ連続することを示す。上位２ビットが（0,
1）の場合のランレングスの６ビットの値は“0"のとき
に１が画素繰り返しを示し、“63"で64画素の繰り返し
を示している。上位２ビットが（1,1）の場合は表１と
同様にライン終了コードとフレーム終了コードを従わし
ている。このようにして符号化された色符号は符号合成
回路16、通信制御回路17を介して受信機Ｂ側へ伝送され
る。 さて通信制御回路17から伝送された色符号データは交
換機Ｃを含む電話回線を介して受信機Ｂ側へ送られ、受
信機Ｂ側の通信制御回路19、符号分解回路20を介して抽
出され、色符号伸張回路29で表２のよって復号化され
る。復号化された色符号は色情報フレームメモリ30に書
き込まれ、色情報復号化回路31によりRGBの色成分に伸
張される。そしてこの伸張された色成分をデモジュレー
タ24で上記輝度信号に応じて変調合成することで色ディ
スプレーからなる表示装置25にカラー画像を復元する。
ここで色成分の和が一定値になるように色情報を比例配
分させて輝度信号と合成する。 尚色成分を夫々２ビットで表すと、９〜10色になり、
色の量子化誤差を生じるが、色がにじんで位置がずれる
ことは無い。また色情報の符号長を11ビットにすると、
各色成分を３ビットで表現でき、自然色に近付けること
ができる。 又実施例では輝度情報のみの変化検知であるが、色情
報も変化検知に使うことも勿論よく、この場合輝度情報
と同様に実現できる。 第３図は第１図の８〜13の各回路を詳細に示した回路
図であり、この図からあきらかなように変化画素抽出回
路８では現画像のフレームと予測画像フレームバッファ
９内のフレーム復号バッファからの伝送済みの画像に相
当する予測画像のフレームとの差分をとって変化画素バ
ッファに取り込む。変化画素バッファには変化してない
画素を零、変化画素については現画像の画像データを格
納する。 そしてライン間予測符号化回路10では変化画素バッフ
ァからの画素データと、ライン間予測復号化回路12にお
いて復号された予測画像に変化画素との差分を取って得
られた予測残差をライン間予測残差バッファに格納す
る。この場合変化画素領域の端ではラインの予測残差の
値が零であるからライン間予測残差バッファには変化画
素の値が格納される。 ライン内予測残差計算回路11ではライン内予測復号化
回路13のライン予測残差復号バッファからのライン予測
残差の値との差分をとった後、可変標本密度符号化回路
により圧縮符号化する。 この場合上述したように変化画素領域の始端には前ラ
インの値を用いて符号化し、終端にはマイナスの値を用
いて符号化する。 ライン内予測復号化回路13はライン内予測残差計算回
路11で符号化された符号を可変標本密度復号化回路で復
号し、前ラインのライン予測残差の値に加算してライン
予測残差復号バッファに格納する。そしてライン間予測
復号化回路では、始端と、終端の値より、前ラインの対
応する画素の値を初期値として採用し、更に終端には零
の値を与えて変化画素を復号化して変化画素復号化バッ
ファに格納する。 予測画像フレームバッファ９では上記変化画素復号化
バッファからの変化画素を変化画素組み込み回路で取り
込んで、当該変化画素領域をフレーム復号バッファ内の
復号化済みの予測画像に組み込み新たな予測画像として
フレーム復号バッファに格納するようになっている。 〔発明の効果〕 本発明は、画像の輝度情報について２次元若しくは１
次元の予測圧縮を行う画像伝送方式において、送信側で
は、変化画素抽出回路により、現画像フレームと伝送済
みの画像に相当するフレームとの差を比較して現画像フ
レームの変化画像領域を判定し、該変化画素領域の画像
を抽出し且つ変化画素領域以外の画像を零として出力
し、上記変化画像抽出回路の出力を予測圧縮符号化する
に際し、上記変化画素領域における各ラインの最初の変
化画素に対する予測値の初期値として１次元の圧縮の場
合には伝送済みの前フレームの画像の、上記最初の変化
画素と対応する画素の値を用い、２次元の圧縮の場合に
は、上記各ラインの最初の変化画素に対応する伝送済み
の前ラインの画素の値を用い、可変標本密度符号化によ
り上記最初の変化画素に対して零でない最小の振幅差値
に対応する符号を与え、且つ変化画素領域における最後
の変化画素に続く最初の変化しない画素に対しては復元
値がマイナスになる符号を与えて符号化し、上記予測圧
縮符号化した符号中の零符号をランレングス圧縮して受
信側へ伝送し、上記ランレングス圧縮された受信データ
を伸長した後、上記の各画素の値を初期値として用いて
復号し、得られた復元値が零から変化するところを変化
画素領域の始点とし、マイナスの値のところを変化画素
領域の終点として変化画素領域を伝送済みの復号された
画像の対応する画素領域と置き換えるので、受信側で上
記の各値を初期値として用い、復元値が零の状態から変
化するところが変化画素領域の始点と判断できるため、
始点を示す特別な符号を送信側から伝送する必要がな
く、また始端の値が零に近く、符号化される際に振幅差
値が零になった場合のように受信側で零画素の連続と区
別がつかないという問題も起こらず、しかも終端もマイ
ナスの値で判別がつくから、特別に終端を示す符号を送
る必要がなくなり、そのため効率的に変化画素領域の伝
送が行え、その上変化画素領域を伝送済みの復号された
画像と置き換えるので、結果符号量が少なく且つ画質も
良くなるという効果がある。

【図面の簡単な説明】 第１図は本発明方式を用いて画像監視電話伝送装置の回
路構成図、第２図は１次元の可変標本密度符号化の説明
図、第３図は第１図回路の要部の詳細な回路構成図であ
り、１はTVカメラ、２はモジュレータ、３はA/D変化回
路、４は輝度情報フレームメモリ、５は前画像フレーム
バッファ、６は基準画像フレームバッファ、７は変化検
知開路、８は変化画素抽出開路、９は予測画像フレーム
バッファ、10はライン間予測残差計算回路、11はライン
内予測残差計算回路、12はライン間予測復号化回路、ラ
イン内予測復号化回路、26は色情報符号化回路、27は色
情報フレームメモリ、28は色符号圧縮回路である。

Claims (1)

1. (57)【特許請求の範囲】 １．画像の輝度情報について２次元若しくは１次元の予
   測圧縮を行う画像伝送方式において、送信側では、変化
   画素抽出回路により、現画像フレームと伝送済みの画像
   に相当するフレームとの差を比較して現画像フレームの
   変化画素領域を判定し、該変化画素領域の画像を抽出し
   且つ変化画素領域以外の画像を零として出力し、上記変
   化画像抽出回路の出力を予測圧縮符号化するに際し、上
   記変化画素領域における各ラインの最初の変化画素に対
   する予測値の初期値として１次元の圧縮の場合には伝送
   済みの前フレームの画像の、上記最初の変化画素と対応
   する画素の値を用い、２次元の圧縮の場合には、上記各
   ラインの最初の変化画素に対応する伝送済みの前ライン
   の画素の値を用い、可変標本密度符号化により上記最初
   の変化画素に対して零でない最小の振幅差値に対応する
   符号を与え、且つ変化画素領域における最後の変化画素
   に続く最初の変化しない画素に対しては復元値がマイナ
   スになる符号を与えて符号化し、上記予測圧縮符号化し
   た符号中の零符号をランレングス圧縮して受信側へ伝送
   し、上記ランレングス圧縮された受信データを伸長した
   後、上記の各画素の値を初期値として用いて復号し、得
   られた復元値が零から変化するところを変化画素領域の
   始点とし、マイナスの値のところを変化画素領域の終点
   として変化画素領域を伝送済みの復号された画像の対応
   する画素領域と置き換えることを特徴とする画像伝送方
   法。 ２．輝度情報とは別に輝度に対して正規化した色情報よ
   りRGB別に色成分を配分して夫々を必要なビット数に符
   号化して変化画素の色情報のみをランレングス圧縮して
   伝送することを特徴とする特許請求の範囲第１項記載の
   画像伝送方法。