JPS6298887A - 画像情報伝送システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 本発明は画像情報伝送システムに関し、特に時間的に相
関性を有する画面群を連続して伝送する画像情報伝送シ
ステムに関する。

〈従来の技術〉 画像情報等の情報を伝送する場合、いかに伝送する情報
量を少なくして原情報を忠実に再現できる様にするかと
いうことが常にテーマとされ、そのために多重多様な伝
送方式が従来より提案されている。

上述のテーマに対してサンプリング密度、即ち伝送する
情報密度を適宜変化させる適応形可変密度サンプリング
方式がある。この方式の一例として既に発表されている
時間軸変換帯域圧縮方式％式％ 下簡巾に説明する。

第６図はＴＡＴの基本的な考え方を説明するだめの図で
ある。原信号は点線にて示す如く所定の期間毎に分割さ
れ、分割されたブロック毎に含まれる情報が粗であるか
密であるかを判別する。そして密と判断されたブロック
については原信号をサンプリングして得たデータの全て
を伝送データとして伝送し、粗と判断されたブロックに
ついては全てのデータ中一部のみを伝送データとし、他
を間引きデータとして伝送しないものとする。

−ｈ述の如き考え方によって単位時間当りに伝送される
データ数は減少することになり、伝送信号の帯域圧縮が
可能となる。この様にして伝送されたデータは受信側に
於いて１間引きデータに対応するデータの形成に用いら
れる。即ち伝送されてきたデータを用いて間引きデータ
に近似する補間データを演算する。この補間データは情
報が粗な部分に対応しているので間引きデータに極めて
近似し７たデータとなる。そのため全てのデータを伝送
した場合に比べて復元した信号の原信号に対する忠実性
についてはほとんど変化させず、伝送帯域については大
幅に圧縮できる。即ち伝送する情報量を減少させること
ができる。

一方、各ブロックについて、全てのサンプリングデータ
を伝送するか、データの一部を伝送するかの判定は原信
号の詳細さを調べて行い、この判定情報も伝送モード情
報として何らかの形で同時に伝送する。

さて、上述の如き考え方を画像情報の伝送に対して適用
することを考える。画像情報は二次元的な拡がりを持ち
、水平垂直両方向に相関性を有するものであるから、水
平方向のサンプリング間隔だけでなく垂直方向のサンプ
リング間隔も可変とすれば、より効果的な伝送が可ＩＥ
となる。この考え方を以下２次元ＴＡＴと称し、以下こ
れについて簡単に説明する。尚、この２次元ＴＡＴにつ
いての考え方は既に本出願人に係る特願昭６０−１４８
１１２号等にて開示している。

第７図は２次元ＴＡＴに於けるデータ伝送パターンを示
す図である。２次元ＴＡＴに於いては１つの画面をｍＸ
ｎの画素よりなる画素ブロックに分割し、この画素ブロ
ック毎に伝送データの密度を変化せしめるものである。

第７図に於いては画素ブロックが４×４の画素を有する
ものとし、２種類の伝送モードを示している。

図中Ｏは伝送画素、×は間引画素を夫々示している。Ｅ
は図示の如く全画素データを伝送するパターンを示して
おり、Ｃは全画素データ中一部のみを伝送するパターン
を示している。以下、これらの伝送パターンによる伝送
モードを夫々Ｅモード、Ｃモードと称する。図より明ら
かな如くＣモードはＥモードに対して１／４の情＋ｊｉ
密度で伝送を行うことが分かる。

Ｃモードで伝送された画素ブロックの間引画素について
は、受信側に於いて、伝送された画素データ中それに近
接する画素データを用いて補間画素データを形成し、原
画面を復元する。

以ド、この様な２次元ＴＡＴによる伝送を実現するだめ
の構成について説明する。第８図は２次元ＴＡＴによる
伝送システムの送信側の概略構成例を示す図である。第
８図に示す例ではアナログ伝送系を例にとって説明して
いる。

人力されたビデオ信号はアナログディジタル変換器（Ａ
／Ｄ）］で全両画についてサンプリングされ、全画素デ
ータを発生する。この全画素データが間引き回路２に供
給されると、第７図のＣ千−ドパター二／に対応する間
引きが行われ、Ｃモード画素データを得る。このＣモー
ド画素データは補間回路３に供給ｙれ、間引画素データ
に対応する補間画素データが演算される。

この補間画素ｆ−夕はＡ／Ｉ）１より出力される企画末
データと共にモード判別回路４に供給され、各画素ブロ
ックについてＣモードで伝送するかＥモードで伝送する
かが決定される。モード判別回路４ではＡ／Ｄ　１より
出力される画素データと補間画素データとの差を演算し
、各画素ブロック毎にこの差の合計（以下ブロック歪と
称す）を演算しこれを１フイ一ルド分、メモリに蓄えて
おく。

そｌｌ、て次のフィールドのデータが入力されるまでの
間に、全ての画素ブロックのブロック歪の分布を求める
。ここでＣモードで伝送する画素ブロック数と、Ｅモー
ドで伝送する画素ブロック数との比は常に一定とする必
要がある。例えばＣモーＩ゛で伝送する画素ブロックを
全体の％、Ｅモードで伝送する画素ブロックを全体の月
に設定すれば、全体として伝送するデータ数（圧縮率）
は（’ＭＸＸ＋ｊ４Ｘ　Ｌ＝）’Ａとなる。そこで全画
素ブロックのブロック歪の分布により、どの程度のブロ
ック歪を境にＣモード、Ｅモー　ドの分配を行うかを決
定するための全閾値を求めておく。

そし、−（次のフィールドのビデオ信号が入力されるタ
イミングで蓄えられたブロック歪を順次読出し、全閾値
と比較して伝送モードを決定する。読出されたブロック
歪が全閾値と一致した場合には、前述の如き所定の割合
にＣモードで伝送される画素ブロックと、Ｅモードで伝
送される画素ブロックとの比が一致する様伝送モードが
決定される。

Ｌ述の如くして得たモード判別信号はスイッチ７へ供給
され、Ｅモード画素データ用のバッファ５と、Ｃモード
画素データ用のバッファ６から択一的に画素データが読
出される。このスイッチ７の出力データは伝送データと
してディジタルアナログ変換器（Ａ／Ｄ）８に入力され
、ここで再度アナログビデオ信号とされ伝送路へ出力さ
れる。

またモード判別信号もバッファ９を介してモード情報と
して伝送路へ出力される。

第９図は２次元ＴＡＴ伝送システムの受信側の概略構成
例を示す図である。伝送路を介して入力される前述の処
理の施されたビデオ信号にＡ、　、／　Ｄｌｏにてディ
ジタル信号に戻される。　Ａ、／’Ｉ）　１０の出力は
Ｃモード補間回路１１に供給され、Ｃモードによる間引
画素データに対応する補間データが演算される。。

一方、伝送されたモード情報はスイッチ１２を刊御し、
モード情報がＥモードを示す時はＥ側に接続し、Ｃモー
ドを示す時はＣ側に接続する。これによってＥＥモモ−
画素データ、Ｃモード画素データ及び補間画素データを
含む全画素データがフレームメモリ１３に格納されてい
く、フレームメモリ１３からは例えばテレビジョン信号
に準拠した順序で全画素データが読出され、Ｄ／Ａ　１
４を介して出力される。

Ｊ二連の如く２次元ＴＡＴの伝送システムに於いては、
極めて効果的に画像情報を伝送できる。

〈発明の解決しようとする問題点〉 ところで一般に時間的に相関性のある画面群に於いては
、通常、再生画面上に於ける静止画領域が存在する。こ
の様な画面上の静止領域については時間軸方向の相関性
が高いということになり、この時間軸方向の相関性を利
用したビデオ信−（処理の手法は近年進みつつある。

前述した２次元ＴＡＴの伝送システムに於いては時間的
に相関性を有する画面群を連続して伝送する場合に於い
ても、画面上の静止領域と動画領域とを特に区別するこ
とはなかった。即ち、静止領域中に存在する画素ブロッ
クについては現在伝送しようとしている画面の情報をわ
ざわざ伝送する意味が薄れてしまうものである。

ところが静止領域と一口に言っても、完全な静止領域も
あれば、ある程度の動きが存在する領域まで存在する。

ここで各画ニにブロックの情報を伝送するか、しないか
を決定することは極めて難しい。

今、ある画素ブロックに於いて、時間的に連続する２つ
の画面間で比較を行い、各画素について差を求め、更に
ブロック全体についての合、ｉ−ｔ　Ｌで時間的な相関
性に係るデータ（時間的歪）を求めたとする。このデー
タに基いて、各画素ブロックの情報を伝送するか否かを
決定することが考えられるがこの場合、以下の如き不都
合が生じる。

例えば２次元周波数の低い背景の如き画面がゆっくりと
動いた場合と、極めて小さな移動物が画面−Ｌを移動す
る場合、前述の時間的歪は１１ｊ者の方がｋきくなって
しまう。ここでは前者の画面については情報を伝送せず
、後者の画面について情報を伝送した方が画面−Ｌでは
目立ち難いものであり、前述の時間的歪のデータとは矛
盾が生じてしまう。

本発明は上述の如き問題点に鑑みてなされ、時間的に相
関性を有する画面群を連続して伝送する際に画素データ
の伝送漬を最小限に小さく、解像度は最大限に良好にす
ることのできる画像情報伝送システを提供することを目
的とし、ている。

く問題点を解決するための手段〉 かかる目的下に於いて本発明の画像情報伝送システノ・
に於いては、１つの画面を分割して得た複数のブロック
を当該画面の情報を伝送するブロックと伝送しないブロ
ックとに分割して伝送する様になＬ２、これらのブロッ
クの快足を前記画面の時間的な相関性に基くデータと、
平面的な相関性に基くデータとを用いて行う様に構成し
ている。

く作　用〉 上述の如く構成することにより１時間的な相関性が比較
的小さくても情報を伝送すべき画素ブロックと、時間的
な相関性が比較的大きくても情報を伝送しないことによ
る画質劣化の大きい画素ブロックとを平面的な相関性に
基いて判断できる様になった。

〈実施例〉 以下、本発明の一実施例について説明する。

本実施例に於いては前述の２次元ＴＡＴによる伝送シス
テムに、更に画像情報の時間的な相関性いる。即ち本実
施例の３次元ＴＡＴによる伝送システムに於いては、画
面の静止領域については受信側で画素データの更新を行
う必要がないことに着］１して、２次元ＴＡＴによる伝
送システムと同一量のデータを伝送した場合には更に画
質の向上を図ろうとするものである。

以下、本実施例の基本的な考え方について説明していく
、静止領域内にある画素ブロックについて一度全画素デ
ータを伝送すれば、以後の画面を伝送する際にはこの画
素ブロックについてはその画面の画素データは伝送せず
に、先に伝送しであるデータを繰り返し利用しようとい
うものである。この様に伝送している画面の画素データ
については伝送しない伝送モードを以下ｐモードと称し
、２次元ＴＡＴに於けるＥモード、Ｃモードと対応する
伝送モードを２次元ＴＡＴの場合と区別するために夫々
Ｃモード、Ｃモードと称する。

２次元ＴＡＴの場合と同一量のデータを伝送することを
考えた時ｐモードの画素ブロックが増加すると、ｐモー
ド以外の画素ブロックの数が減少する。その中で情報密
度の高い画素ブロックをＣモードで伝送することができ
る。従って静止領域が増加すればする程、受信側で高解
像度を得ることができる画素ブロック数を増大させるこ
とができ、再現画質は更に向上する。

第１図は本発明の一実施例としての伝送システムの送信
側の概略構成を示す図であり、本例に於いてもアナログ
伝送系を対象としている。

入力されたアナログビデオ信号はＡ／Ｄ　１００により
ディジタル信号とされ、全画素データが出力される。こ
の全画素データは２次元ＴＡＴの場合と同様に間引き回
路１０１に供給され、Ｃモートパターンに対応する間引
きが行われ、Ｃモード画素データ（基本画素データ）を
得る。Ｃモード画素データは補間回路３に供給され、間
引画素データに対応する補間画素データが演算される。

ここでｅ、ｃ、ｐ３つのモードのいずれのモードを用い
て画素ブロックを伝送するかをＩ定する「程について説
明する。まず２次元ＴＡＴの場合と同様にＣモードで伝
送した場合と、Ｃモードで伝送した場合との再現画素デ
ータの差をＡ／Ｄ１００の出力と補間回路１０２の出力
とを用いることにより演算し、各画素ブロック毎にこの
差の合計（以下ブロック歪Ｄｃと称す）をブロック歪Ｄ
ｃ演算回路１０３にてｒｆ算する。

他方、フレームメモリ１０４に格納されている過去の画
面に於ける各画素データと原画面の各画素データの差を
演算し、同様に各画素ブロックｉσにこの差の合計（以
下ブロック歪Ｄｐと称す）をブロック歪Ｄｐ演算回路１
０５にて演算する。

比較器１０６はこれらＤｃとＤｐとを比較している。

即ち比較器１０６では各画素ブロック毎に、Ｃモードで
伝送した場合とｐモードで伝送した場合とで、いずれが
Ｃモードで伝送した場合に対して忠実に画面を再現でき
るかを検出していることになる。従ってＤｃ＞Ｄｐの場
合にはＣモードとはならず、Ｄａ　＜Ｄｐの場合にはｐ
モードとはならない様にするものである。

比較器１０ＢからはＤＣとＤｐのいずれが大きいかを示
すデータ（Ｄａ／Ｄｐ）と共に、これらの小さい方の値
を複合ブロック歪（Ｄａ）としてモード判定回路１０７
に供給する。

モード判定回路１０７に於いてはＤａの大きい順に所定
数の画素ブロックに対しＣモードを割り当ててゆく。こ
の割当ての手順は前述の２次元ＴＡＴに於ける場合と同
様に全画素ブロックのＤｌｍの分布に基いてＤａの閾値
を求め、Ｄｌｌがこの閾値を超えるものについてはＣモ
ード、Ｄｌｌが閾値より小さい場合にはＣモード以外の
モードとする。Ｄｌｌが悶イ１より小さい場合には当然
Ｄｐ＞Ｄｃの時Ｃモード、Ｄｐ　＜Ｄｃの時ｐモードが
割り当てられる。これに従いモード判定回路１０７から
はＣモードかそれ以外かというデータ（ｅ／τ）とＤｐ
／Ｄｃとが出力される。

本実施例の伝送システムに於いては、モード情報はｅ／
τのみを伝送する。この時Ｃモードではない画素ブロッ
クの伝送モードがＣモードであるかｐモードであるかは
以下の如く画素データとして伝送する。

即ち、ｐモードで伝送する画素ブロックについては受信
側で再現される前画面の基本画素データを伝送する様に
している。受信側で再現される前両面の全画素データは
フレームメモリ１０４に格納されており、これを間引き
回路１０８で間引き回路１０１と同様に間引くことによ
り前画面の基本画素データが得られる。この様にして得
た間引き回路１０８の出力データを以後ｐモード画素デ
ータと称す、受信側では後述する様に連続する画面に於
いである画素ブロックの基本画素データが同じものであ
れば、後の画面の当該画素ブロックについてはｐモード
で伝送されたものと判断する。

尚、フレームメモリ１０４に格納されているデータにつ
いては、受信側で再現される前画面の全画素データとな
る。即ち前画面がｐモードの画素ブロックの画素データ
についてはメモリ１０４のデータ書換えを禁止しなけれ
ばならない。また前画面がＣモードの画素ブロックにつ
いてはｐモードとしても画質改善効果は得られない、従
ってフレームメモリ１０４のデータの書換えはモード判
定回路１０７によりＣモードと判定した時のみ行えばよ
い。そこで本実施例に於いてはモード判定回路１０７よ
り得られるｅ　／　ｅでメモリ１０４の書き換えを制御
している。

バッファ１０９，１１０，１１１からはこの様にして夫
々ｐモード画素データ、Ｃモード画素データ、Ｃモード
画素データが得られ、スイッチ１１３はｅ　／　ｅ及び
Ｄｃ／Ｄｐを用いてこれらを択一的にＤ／Ａ　Ｌ　１４
に供給している。従ってＤ／Ａ１１４は３次元ＴＡＴ伝
送システムによるアナログビデオ信号を出力することに
なる。またｅ　／　ｅもバッファ１１２を介してモード
情報として伝送される。

に述の実施例に於ける各モードの分配比率について以下
考察する。第２図はブロック歪Ｄｐ及びＤｃに対するモ
ード分配の様子を示す図、第３図は画像の性格による分
配比率の変化を示す図である。

第２図に於いである画素ブロックのＤ　ｃ、Ｄ　ｐにつ
いて考察するに動きの大きいブロック程、　ＤＰ軸上で
上方に行く。また、精細度の高い部分即ち２次元的に周
波数の高いブロック程、Ｄｃ軸上で右側に行＜、Ｄ＋ｉ
はＤｃとＤｐの小さい方の値をとるのであるから、図示
の如＜Ｘｃに位置するＤ　ｃ、Ｄ　ｐを持つ画素ブロッ
クのＤｌｌはＤｃ軸に垂線をおろした時のＤｃ軸上の値
となる。一方、ＸＰに位置するＤ　ｃ、Ｄ　ｐを持つ画
素ブロックのＤａはＤｐ軸に垂線をおろし、この垂線と
直線Ｄｃ　＝Ｄｐとの交点から更にＤｃ軸に垂線をおろ
した時のＤｃ軸上の値となる。

今、第２図に於いてＤＩｌ軸を設け、閾値Ｔ、を考えた
時、Ｄ　ｃ、Ｄ　ｐ座標に於いてはＴ２の如く位置し、
図示の如くＣモードの領域が定まる。つまり、一般的に
は動きが激しくかつ精細度の高い画素ブロックがＣモー
ドで伝送される。

各モードの分配比率については、１つの画面全体のデー
タ圧縮率を局に固定した場合の様子を第３図に示してい
る。ここではｐモードに於いて伝送する画素データは全
体の只で、Ｃモードのそれと等しいと仮定しているので
Ｃモードで伝送できる画素ブロック数は常に全体の局と
なる。

第３図に於いて右辺をなす直線部分は２次元ＴＡＴの分
配比率を示していることになる。つまり３次元ＴＡＴの
伝送システムで、前後の画面間に全く相関性がない場合
には２次元ＴＡＴと同一処理を行うことになる。これに
反して完全静止画面を伝送する場合にはＣモードで伝送
する画素ブロックはなくなっていき、再現画面は全ての
画素ブロックをＣモードで伝送した場合と同じ解像度と
なる。ある画面に対するモード分配比率は図中Ａにて示
す点線上に於いて、ｅ＋　Ｃ＋　Ｐ各領域と交わってい
る部分の線分の長さで示される。この点線Ａの位置はＬ
述の説明から明らかな様に伝送する画像情報の時間的な
相関性に依存する。

第４図は本実施例による伝送システムの受信側の概略構
成を示す図である。第１図に示す送信側より伝送された
アナログビデオ信号はＡ／Ｄ２００に於いてディジタル
データに戻される。スイッチ２０５は伝送されてきたモ
ード情報によって制御され、各画素ブロックについて、
Ｃモードで伝送されている場合にはそのまま全画素デー
タを出力する。それ以外のモードで伝送されている場合
にはスイッチ２０５の下側より補間回路２０４にて形成
されている補間画素デ・−タを出力する。この補間画素
データは送信側で間引かれた間引画素データに対応して
いるのは云うまでもない、この様にしてスイッチ２０５
よりは伝送されてき画素データに基く全画素データが出
力される。

一方、スイッチ２０９はＣモードで伝送された画素ブロ
ックの基本画素データのみを間引き回路２０８を介して
出力し、それ以外のモードで伝送された画素ブロックに
ついてはそのまま基本画素データを出力する。このスイ
ッチ２０９も伝送されてきたモード情報により制御され
る。従ってスイッチ２０９からは基本画素データが出力
され、基本画素用フレームメモリ２０１に供給される。

またスイッチ２０９より出力される基本画素データとフ
レームメモリ２０１より得られる前画面の基本画素デー
タとの差が演算され、更に各画素ブロック毎にこの差の
合計（以下ブロック歪Ｄｂと称す）をブロック歪Ｄｂ演
算回路で演算する。

このブロック歪Ｄｂは比較器２０３に供給され、ご６の
Ｄｂが閾値ＴＨより小きければ、その画素グロックはｐ
モードで伝送されてきたと判断する。これによって出力
されるｐモードかそれ以外かというモード情報（ｐ／ｐ
）はフレームメモリ２０１．２０６に供給される。これ
によりフレームメモリ２０１，２０６の書換えはｐモー
ドで伝送された画素ブロックについて禁止されることに
なり、１画面前のデータがそのまま残ることになる。こ
の残されたデータがｅモード画素データであれば良好な
再現画面が得られるものである。

この様にして全画素用２１／−ムメモリ２０６のデータ
更新が行われると共に、Ｄ／Ａ、２０７に対して読出す
ことによりＤ／Ａ　２０７から高解像度のアナログビデ
オ信号が出力されることになる。

１−二連の実施例に於いては、フレーム内相関に係るデ
・−タＤＣとフレーム間相関に係るデータＤｐとを用い
てＣモードとｐモードのいずれで伝送するかを決定して
いる。これに伴ってｐモードで伝送を行った場合の解像
度の劣化の度合が掌握でき、効果的にＰモードを用いる
ことができる様になった。

尚、」−述の実施例の伝送システムに於いてはＴ）モー
ドを示すモード情報は伝送しなかったが、これを伝送し
、前画面の画素データは伝送しない構成とすることも可
箋である。この場合に於いて月゛縮率を腸に固定する場
合の各モードの分配比率を第５図にて示す０図より明ら
かな様にこの場合に於いても前後の画面に全く相関性が
なければ２次元ＴＡＴと同一の処理が行われる。またこ
の場合時間軸方向の相関性が高ければＣモードで伝送す
る画素ブロック数が増加する。

〈発明の効果〉 以に説明し７た様に本発明によれば時間的に相関性を有
する画面群を連続して伝送する際に、束、該画面の画素
情報を伝送するか否かを極めて効果的に決定し、画素デ
ータの伝送量を最小限に小さく、解像度を最大限に良好
にすることのできる画像情報伝送システムを得ることが
できるものである。

【図面の簡単な説明】

′！ｆＳ１図は本発明の一実施例とじての伝送シ（デム
の送信側の概略構成を示す図、 第２図は第１図の実施例に於いて各画素ブロックの性質
に伴うモード分配の様子を示す図、第３図は第１図の実
施例に於いて画像の時間的な相関によるモード分配比率
の変化を示す図。 第４図は本実施例による伝送システムの受信側の概略構
成を示す図、 第５図は前画面の画素データを伝送しない場合に於いて
、画像の時間的な相関によるモード分配比率の変化を示
す図、 第６図はＴＡＴの基本的な考え方を説明するための図、 第７図は２次元ＴＡＴに於けるデータ伝送パターンを示
す図、 第８図は２次元ＴＡＴによる伝送システムの送信側の概
略構成を示す図。 第９図は第８図の送信側に対応する受信側の概略構成を
示す図である。 １０１は間引き回路、１０２は補間回路。 １０３はモ面的相関性を示すブロック歪Ｄｃの演算回路
、１０４はフレームメモリ、１０５は時間的相関性を示
すブロック歪Ｄｐの演算回路。 １０７はモード判定回路、１１３はスイッチである。

Claims (1)

【特許請求の範囲】
1. 時間的に相関性を有する画面群を連続して伝送するシス
   テムであって、１つの画面を分割して得た複数のブロッ
   クを、当該画面の情報を伝送するブロックと伝送しない
   ブロックとに分割して伝送する様になし、これらのブロ
   ックの決定を、前記画面の時間的な相関性に基くデータ
   と、平面的な相関性に基くデータとを用いて行うことを
   特徴とする画像情報伝送システム。