JPH01245684A - 画像情報伝送システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像情報伝送システムに関し、特に、時間的に
相関性を有する画像群を連続的に伝送する画像情報伝送
システムに関する。

〔従来の技術〕

画像情報などの情報を伝送する場合、伝送情報量を如何
に少なくして原画像を忠実に再現するかが、問題とされ
、そのために多種多様な伝送方式が従来から提案されて
いる。例えば、サンプリング密度、即ち伝送する情報密
度を適宜に変化させる適応形可変密度サンプリング方式
がある。この方式は、−船釣な画像には空間周波数の高
い領域と低い領域が存在することに注目し、空間周波数
の高い領域ではサンプリング密度を高くし、空間周波数
の低い領域ではサンプリング密度を低くすることにより
伝送情報量を減らすものである。

この方式では、画面全体での伝送量を一定に保つために
、空間周波数その他の基準により、サンプリング密度の
高い領域と低い領域とに画面を区画することが行われる
が、相対的に空間周波数の低い部分が低密度でのサンプ
リング領域に割り当てられてしまうことがあり、動画部
分にはまだしも、静止画部分では人間の眼の解像度が高
くなることから画質の劣化が目立ってしまう。

他方、連続画像、例えば、通常のテレビジョン信号など
のような連続画像が、時間軸方向でも相関性を有するこ
とを利用し、その画質向上を図った伝送システムが提案
されている（昭和６２年特許出願公開第９０，０９２号
参照）。即ち、二次元的な拡がりを持つ画像情報に対し
、時間軸方向での相関性を加味し、少なくとも画面の静
止領域については受信側で画素データの更新を行う必要
が無いので、静止領域の伝送を省略し、その分、他の領
域の伝送密度を高め、もって画質の向上を図ろうとする
ものである。時間軸方向の相関性を利用するこの方式を
以下、三次元ＴＡＴ（Ｔｉｍｅ　Ａｘｉｓ　Ｔｒａｎｓ
ｆｏｒｍａｔｉｏｎ）方式と呼ぶことにする。

この三次元ＴＡＴ方式では、１画面を複数の画素ブロッ
クに区分し、１画面分の伝送情報量が各画面で一定（例
えば、１／２の圧縮率）となるように、各画素ブロック
に対し所定規則の下で、その構成画素データを全て伝送
するモード（以下、Ｃモードと呼ぶ）、構成画素の内の
基本的な一部の画素（基本画素）のデータのみを伝送す
るモード（以下、Ｃモードと呼ぶ）及び、既に伝送した
画面の対応ブロックのデータを流用するモード（以下、
ｐモードと呼ぶ）の何れかのモードを割り当て、受信側
で、各モードに対応する信号処理を行って画像を復元す
る。伝送モードの割り当てを示す信号をモード情報とし
て別に伝送する。また、ｐモードでは、Ｃモードと同様
に基本画素データのみを伝送し、受信側において前画面
の対応ブロックの受信データと同じ場合には、Ｃモード
ではなくｐモードと判定するようにもでき、以下では、
この従来例を説明する。

従来の三次元ＴＡＴ方式では先ず、間引き及び補間とい
う操作を行った後、真価と比較してＣモード伝送時のブ
ロック歪ＤＣを予め計算し、また、時間軸方向での相関
性を見るために、前画面の画像信号をフレーム・メモリ
に記憶しておき、各画素ブロックについて、前画面の画
素データと現画面の画素データとを比較してブロック歪
（時間相関度）Ｄｐを計算する。そしてＤＣとＤ２を比
較し、どちらが大きいかを示す識別信号Ｄｃ／Ｄｐと、
小さい方のブロック歪を伝送モード判定用のブロック歪
り、Ｉとする。つまり、各画素ブロック毎に、Ｃモード
伝送とｐモード伝送のどちらがよりブロック歪が小さい
かを判別し、ＤＣ＞Ｄｐの場合にはＣモードを選択せず
、ＤｃくＤｐの場合にはｐモードを選択しないようにす
る。但し、前画面でＣモード伝送されている画素ブロッ
クでは、現画面でｐモード伝送した場合、画質改善の効
果を期待できないので、前画面でＣモード伝送している
画素ブロックについて現画面ではｐモード伝送する。

このようにして１画面を構成する全画素ブロックのブロ
ック歪が計算された後、１画面の伝送量、即ち圧縮率が
、一定（例えば１／２）になるように、各画素ブロック
に伝送モードを割り当て、各画素ブロックの画素データ
を当該伝送モードに応じて順次伝送する。受信側では、
前画面の同じブロックの基本画素データと比較し、同じ
であるときにはｐモードと判定して前画面のデータを流
用し、異なるときにはＣモードと判定して補間処理によ
り画像を復元する。

第２図はブロック歪ＤＣ１ＤＩ、に対するモード分配を
示し、第３図は画像の時間相関による分配比率を示す。

動きの大きいブロック程、Ｄｐ軸で上方に位置し、また
、精細度の高いブロック、即ち二次元的に周波数の高い
ブロック程、ＤＣ軸上で右方向に位置する。ＤＣとＤｐ
の大小関係によりＣ又はｐモードが指定されるから、第
２図の直線ＤＣ＝Ｄｐより上の領域では基本的にＣモー
ドとなり、当該直線より下の領域ではｐモードとな６一 る。また、Ｘｃに位置する画素ブロックのり、の値は、
ＤＣ軸に垂線を下ろしたときのＤＣ軸上の値となり、Ｘ
２に位置する画素ブロックのり、の値は、Ｄｐ軸に垂線
をおろし、この垂線と直線り。−Ｄｐとの交点から更に
ＤＣ軸に垂線をおろしたときのＤＣ軸上の値となる。第
２図で６．軸を設け、Ｃモード選択用の闇値Ｔ１を考え
ると、ＤＣ、Ｄ、軸上では、閾値Ｔ２となる。つまり、
動きが激しく、且つ精細度の高い画素ブロックがＣモー
ドで伝送されることになる。

各モードの分配比率については、１画面全体のデータ圧
縮率を例えば１／２に固定する。ｃ、ｐモードで伝送す
る画素データを画素ブロックの構成画素データの１７４
とすると、Ｃモードで伝送する画素ブロック数は全体の
１７３になる。つまり、第３図に示すように、全体の１
７３のブロックをＣモードで伝送し、残りをブロック歪
ＤＣ，Ｄｐに応じてｐ又はＣモードで伝送する。第３図
の右辺をなす直線部分は前後の画面間に相関部分の無い
場合に相当し、二次元ＴＡＴ方式と同一の処理を行う。

第３図の左辺は完全静止画を伝送する場合に相当し、全
画素ブロックをＣモードで伝送したときと同じ解像度と
なる。成る画面に対するモード分配率は、図中Ａで示す
破線上で、ｅ、　　ｃ、　　ｐ各領域で区画される線分
の長さで示される。点線Ａの位置は画像情報の時間的な
相関度に依存する。

〔発明が解決しようとする課題〕

限られた伝送情報量の中でなるべく能率よく画像情報を
伝送するには、ｅ、ｐ、ｃの各モードの割り当てを、人
間の眼の視覚特性やシステムの特性にあったものにする
必要がある。しかし、従来の構成では、ブロック歪ＤＣ
，Ｄいを単純比較し、小さい方の値をモード判定用のド
ロップ歪り、とじて用いるに過ぎない。従って、Ｄｐが
ＤＣよりわずかに大きいだけでもその画素ブロックには
Ｃモードが割り当てられてしまう。また、サンプリング
・クロックにはハードウェア上、少なからずジッタが含
まれることを考慮すると、静止画像を処理する場合に、
当該ジッタの影響により、本来ｐモードに割り当てられ
るべき画素ブロックにＣモードが割り当てられてしまう
という問題点がある。また、信号源に含まれ北ノイズに
よっても、同じ問題が生じる。更に、仮にＤｐを正確に
求めることができたとしても、ＤいとＤＣの歪の性質が
異なるので、それらの値の小さい方を選択することが必
ずしも、視覚上の劣化を少なくすることにはならない。

そこで、本発明はこれらの問題点を解決し、人間の眼の
視覚特性を考慮に入れた高能率の画像情報伝送システム
を提示することを目的とする。

〔課題を解決するための手段〕 本発明に係る画像情報伝送システムは、複数の画素によ
り構成される１画面分の画像情報を１つの画素ブロック
が所定個の画素よりなる複数の画素ブロックに分割し、
各画素ブロックに対して、当該画素ブロックを構成す′
る全ての画素の画像情報を伝送する第１モード、画素ブ
ロックを構成する画素の内、一部の画素の画像情報を伝
送する第２モード、前画面の画像情報を流用する第３モ
ードの何れかの伝送モードを割り当て、画像情報を伝送
することにより、時間的に連続する複数の画面群を連続
的に伝送する伝送システムであって、前記第１モードに
て伝送した場合に対する前記第２モードにて伝送した場
合の受信側における伝送誤差と、前記第１モードにて伝
送した場合に対する前記第３モードにて伝送した場合の
受信側における伝送誤差とにより規定される１画面分の
全画素ブロックの分布に対して、人間の眼の視覚特性、
時間軸変動などにより決定される６つのパラメータに基
づいて３つの区画に分割し、当該３つの区画に対して前
記３つの伝送モードを割り当て伝送することを特徴とす
る。

〔作用〕

上記画素ブロックの分布をくかくする６つのパラメータ
を人間の眼の視覚特性、時間軸変動等の要求に応じて適
切に設定することにより、各伝送モードを適切に割り当
て、効率の良い画像情報伝送を行うことができる。

〔実施例〕

以下、図面を参照して本発明の詳細な説明す第１図は本
発明の一実施例の送信側の構成ブロック図を示す。尚、
伝送路はアナログ伝送路を用いる。伝送すべきアナログ
画像信号は、Ａ／Ｄ変換器１０によりディジタル信号に
変換される。Ａ／Ｄ変換器１０からの全画素データは、
間引き回路１２に印加され、そこで上記基本画素を除く
画素のデータが間引かれる。即ち、間引き回路１２はＣ
モードの画素データを出力する。補間回路１４は、間引
き回路１２により間引かれた画素データを前記基本画素
を用いて補間してそのブロックを復元する。ブロック歪
演算回路１６は、Ａ／Ｄ変換器１０から出力される画素
データと、補間回路１４から出力される復元されたブロ
ックの画素データとを比較し、ブロック歪ＤＣを画素ブ
ロック毎に演算する。

Ａ／Ｄ変換器１０の出力はまた、フレーム・メモリ１８
にも印加される。フレーム・メモリ１８は１画面分の遅
延手段として機能する。つまり、フレーム・メモリ１８
には、直前画面の全データが記ｔなされ、ブロック歪演
算回路２０は、現在の画面の画素データとフレーム・メ
モリ１８からの前画面の画素データとを、対応するブロ
ック毎に比較、ブロック歪Ｄ２を計算する。このブロッ
ク歪は、時間軸方向での相関度を示している。

比較回路２２は、詳細は後述するが所定の重みを加えて
ＤＣとＤｐを比較し、比較結果を選択モード・データＤ
ｃ／Ｄｐとして出力すると共に、小さい方を伝送モード
判定用のブロック歪り、としてを出力する。

本実施例では、ｐモード伝送のブロックについては、基
本画素データのみを伝送する。そして、受信側では、前
画面の同じブロックの基本画素データと比較し、同じで
あるときにはｐモードと判定して前画面のデータを流用
し、異なるときにはＣモードと判定して補間処理により
画像を復元する。また、前画面でＣモード伝送されてい
る画素ブロックでは、現画面でｐモード伝送した場合、
画質改善の効果を期待できないので、前画面でＣモード
伝送している画素ブロックについては親画面ではｐモー
ド伝送することになる。

従って、送信側では、１画面分の伝送量を一定にするた
めに、各画素ブロックに対し、Ｃモード伝送か又は、ｐ
若しくはＣモード伝送かを割り当てることになる。モー
ド判定回路２４は比較回路２２の出力に従いその割り当
てを行い、判定信号を出力する。当該判定信号に従いス
イッチ２６を制御し、各画素ブロックについて、Ｃモー
ドの場合には、バッファ２８を介してＡ／Ｄ変換器１０
からの全画素データを、Ｃ２ｐモードの場合には、バ・
７フア３０を介して間引き回路１２からの基本′　　　
画素データをＤ／Ａ変換器３２に供給する。Ｄ／Ａ変換
器３２は、ディジタル画素データをアナログ信号に変換
して、伝送路に送出する。Ｃモード伝送の場合には、フ
レーム・メモリ１８の該当する画素ブロックのデータを
書き換える必要が無いので、モード判定回路２４から出
力される判定信号に従い、フレーム・メモリ１８を書込
禁止にする。

モード判定回路２４から出力される判定信号は−１３〜 また、モード情報として、バッファ３４を介して伝送路
に送出される。

第１Ｂ図は比較回路２２の詳細を示す。、ブロック歪演
算回路１６からのＤＣに乗算器４０で定数ＨｐＣを乗算
した後、加算器４２で定数Ｓ、Ｃを加算する。比較回路
４４は、ブロック歪演算回路２０からのＤいと加算器４
２の出力とを比較し、その比較結果を選択モード・デー
タＤｃ／Ｄｐとして出力する。入力のＤＣに乗算器４６
で定数Ｈ１を乗算し、入力のＤ２に乗算器４８で定数Ｈ
８Ｃを乗算する。加減算器５０は入力のＤ２に乗算器４
６の出力を加算すると共に定数ＳＴ□を減算し、乗算器
５２は加減算器５０の出力に定数ＨＴＨを乗算する。加
算器５４は入力のＤＣに乗算器４８の出力を加算する。

スイッチ５６は、比較回路４４の出力に従い乗算器５２
及び加算器５４の出力を選択し、Ｄ、とじて出力する。

比較回路２２により、ＤＣ−Ｄｐ平面においてｅ＋　　
ｐ＋　　Ｃの各モードがどのように割り当てられるかを
第４図に示す。各モードの割り当て領域は＝１４− ３本の直線Ｌ　Ｐｃｔ　　Ｌ　ａＰ＋　　Ｌ　ａｃによ
って区画され、直線Ｌ　ｅｃはＤＣ軸上でＴＨを通り、
その傾きは１／Ｈ１ｌｃである。ＴＨはＤｌｌを基にし
てＣモードを割り当てるときに用いる闇値である。直線
Ｌ　ｅｐはＤｐ軸上で（ＴＨ／　ｊ（ＴＯ＋　Ｓ　ＴＨ
）を通り、その傾きはＨ■である。直線Ｌ　ｐｃばＤｐ
軸上でＳ　ＤＣを通り、その傾きはＨｐｃである。

静止した被写体をノイズやサンプリング・クロックにジ
ッタの無い撮影カメラで撮影し、処理した場合、ＤＣ，
−Ｄｐ平面でブロック歪は第５図の斜線部分のように分
布する。ところが、実際には、撮像部や伝送路は有限の
Ｓ／Ｎ比を持つので、完全な静止被写体であってもノイ
ズがのり、これがフレーム間の差信号となって現れ、ブ
ロック歪分布は第６図の斜線部分のようになる。また、
サンプリング・クロックにジッタが含まれる場合には、
フレーム間で同一点をサンプリングすることが不可能に
なり、これによってもフレーム間に差が生じる。この差
は、画像のレベルが均一なところでは殆ど現れず、レベ
ル変換の急な所はど大きく現れる。従って、この場合の
ブロック歪分布は第７図の斜線部分のようになる。

第６図及び第７図におけ斜線部分の領域では、ｐモード
が当然割り当てられるべきであるが、従来のようにＤＣ
とＤいを単純比較する場合には、そうならない。第４図
と対比すれば容易に分かるように、本実施例によればｐ
モードが割り当てられる。定数ＨｐＣ＋　　Ｈｅｐ＋　
　ＨＧＣＩ　　ＨＴＩＩＩ　　ｓｌ’ｃ、　　ＳｔＨは
、信号源のＳ／Ｎ比やサンプリング・クロック中のジッ
タの大きさ及びその他の外乱などによって最適値が異な
る。

比較回路２２の別の構成を第８図に示す。ｐモード割り
当ての基準としては、前フレーム（前画面）でｅ又はｐ
モードの画素ブロックに対してのみ現フレームでｐモー
ドを割り当てる方法や、Ｃモードで伝送した画素ブロッ
クが受信側で誤ってｐモードと判定されることを防ぐた
めに、基本画素のフレーム差が小さい場合にはｐモード
で伝送するという方法もある。第８図ではこれらの方法
を加味している。第１Ｂ図と同じ回路要素には同し符号
を付しである。５８は、前フレームの対応画素ブロック
の伝送モードがＣか否かを示す識別データを記憶するモ
ード・メモリであり、論理演算回路６０は、モート・メ
モリ５８からのＣ識別信号と比較回路４４の出力とを論
理演算し、スイッチ５６を制御する。この演算結果は選
択モード・データＤＣ／Ｄ、となる。論理演算回路６１
は、フレーム間の基本画素の差が大きい又は小さいと判
定した結果信号ｆ（Ｄｂ）、モード・メモリ５８からの
Ｃ識別信号及び論理演算回路６０の出力を論理演算して
、スイッチ６２を制御する。スイッチ６２は、受信側で
Ｃモードが誤ってｐモードと判定される恐れが無い場合
には、スイッチ５６の出力を選択し、誤判定の恐れがあ
る場合には、加減算器５０の出力を選択する。

第９図は受信系の構成例を示す。第１図の送信系から送
信されたアナログ・ヒデオ信号は、Ａ／Ｄ変換器７０で
ディジタル信号に変換される。スイッチ７２は受信した
モード情報によって制御され、各画素ブロックについて
、Ｃモード伝送されている場合には、そのまま全画素デ
ータを出力し、それ以外の場合には、補間回路７４によ
り補間された画素データを出力する。従って、スイッチ
７２は常に、各画素ブロックについて全画素データを出
力し、これは全画素用フレーム・メモリ７３に書き込ま
れる。スイッチ７６も受信モード情報によって制御され
、Ｃモード伝送の場合、Ｃモード伝送の画素ブロックか
ら基本画素データを取り出す間引き回路７８の出力を選
択し、それ以外の場合にはＡ／Ｄ変換器７０の出力を選
択する。従って、スイッチ７６の出力は常に、基本画素
データであり、基本画素用フレーム・メモリ８０に書き
込まれる。

ブロック歪演算回路８２は、スイッチ７６からの基本画
素データと、フレーム・メモリ８０からの前画面の基本
画素データとの差を計算し、画素ブロック毎にこの差の
合計（以下、ブロック歪り、という）を出力する。この
ブロック歪Ｄｂは比較回路８４で闇値ＴＨと比較される
。Ｄ、がＴＨより小さければ、その画素ブロックはＣモ
ードではなくｐモードで伝送されてきたと判断する。演
算回路８６は、受信モード情報と比較回路８４の出力と
から、ｐモードか否かを示すｐ識別信号をフレーム・メ
モリ７３．８０を印加する。これにより、ｐモードで伝
送された画素ブロックについてフレーム・メモリ７３．
８０の書き換えが禁止され、１画面前のデータがそのま
ま残ることになる。このようにしてフレーム・メモリ７
３のデータ更新を行うと共に、Ｄ／Ａ変換器８８に読み
出す。Ｄ／Ａ変換器８８からは高解像度のアナログ・ビ
デオ信号が得られる。

尚、本実施例では６つのパラメータの全てを用いたが、
実際には製造コストなどの関係で特に効果のある一部の
パラメータだけを用いて構成することもある。それは、
本実施例において該当するパラメータを０″又は”１”
等の値に設定することと等価であり、当然に、本発明の
技術的範囲に含まれる。また、第１Ｂ図において、Ｄｐ
を比較回路４４に直接入力しているが、ＤＣを比較回路
４４に直接入力し、Ｄ９を相応する演算を施した後に比
較回路４４に入力するようにしてもよい。

〔発明の効果〕

以上の説明から容易に理解できるように、本発明によれ
ば、人間の眼の視覚特性を加味した領域分割により伝送
モードを割り当てるので、効率的なモード割り当てを実
現でき、また、限られた伝送容量でより高い品質の画像
を伝送できる。

【図面の簡単な説明】

第１図は本発明のシステムの送信系の一実施例の構成例
、第１Ｂ図は第１図の比較回路２２の詳細な構成例、第
２図及び第３図は従来のモード割り当ての説明図、第４
図は第１Ｂ図によるモード割り当ての説明図、第５図、
第６図及び第７図はＤＣ−Ｄ、平面でのブロック歪分布
、第８図は第１図の比較回路２２の変更例、第９図は受
信系の構成例である。 １６．２０−−ブロック歪演算回路　２２−比較回路　
２４−モード判定回路 第２図 八 □　　〇 第３図 第４図 Ｏ ｃ 第５図

Claims (1)

【特許請求の範囲】
1. 複数の画素により構成される１画面分の画像情報を１つ
   の画素ブロックが所定個の画素よりなる複数の画素ブロ
   ックに分割し、各画素ブロックに対して、当該画素ブロ
   ックを構成する全ての画素の画像情報を伝送する第１モ
   ード、画素ブロックを構成する画素の内、一部の画素の
   画像情報を伝送する第２モード、前画面の画像情報を流
   用する第３モードの何れかの伝送モードを割り当て、画
   像情報を伝送することにより、時間的に連続する複数の
   画面群を連続的に伝送する伝送システムであって、前記
   第１モードにて伝送した場合に対する前記第２モードに
   て伝送した場合の受信側における伝送誤差と、前記第１
   モードにて伝送した場合に対する前記第３モードにて伝
   送した場合の受信側における伝送誤差とにより規定され
   る１画面分の全画素ブロックの分布に対して、人間の眼
   の視覚特性、時間軸変動などにより決定される６つのパ
   ラメータに基づいて３つの区画に分割し、当該３つの区
   画に対して前記３つの伝送モードを割り当て伝送するこ
   とを特徴とする画像情報伝送システム。