JPS6298886A - 画像情報伝送システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 本発明は画像情報伝送システムに関し、特に時間的に相
関性を有する画面群を連続して伝送する際、１つの画面
を分割して得た複数のブロックの一部を他に比べ高い情
報密度で伝送する画像情報伝送システムに関する。

〈従来の技術〉 画像情報等の情報を伝送する場合、いかに伝送する情報
量を少なくして原情報を忠実に再現できる様にするかと
いうことが常にテーマとされ、そのために多種多様な伝
送方式が従来より提案されている。

上述のテーマに対してサンプリング密度、即ち伝送する
情報密度を適宜変化させる適応形可変密度サンプリング
方式がある。この方式の一例として既に発表されている
時間軸変換帯域圧縮方式％式％） 以下簡単に説明する。

第６図はＴＡＴの基本的な考え方を説明するための図で
ある。原信号は点線にて示す如く所定の期間毎に分割さ
れ１分割されたブロック毎に含まれる情報が粗であるか
密であるかを判別する。そして密と判断されたブロック
については原信号をサンプリングして得たデータの全て
を伝送データとして伝送し、粗と判断されたブロックに
ついては全てのデータ中一部のみを伝送データとし、他
を間引きデータとして伝送しないものとする。

上述の如き考え方によって単位時間当りに伝送されるデ
ータ数は減少することになり、伝送信号の帯域圧縮が可
能となる。この様にして伝送されたデータは受信側にお
いて、間引きデータに対応するデータの形成に用いられ
る。即ち伝送されてきたデータを用いて間引きデータに
近似する補間データを演算する。この補間データは情報
が粗な部分に対応しているので、間引きデータに極めて
近似したデータとなる。そのため全てのデータを伝送し
た場合に比べて復元した信号の原信号に対する忠実性に
ついてはほとんど変化させず、伝送帯域については大幅
に圧縮できる。即ち伝送する情報量を減少させることが
できる。

一方、各ブロックについて、全てのサンプリングデータ
を伝送するかデータの一部を伝送するかの判定は原信号
の詳細さを調べて行い、この判定情報も伝送モード情報
として何らかの形で同時に伝送する。

さて、上述の如き考え方を画像情報の伝送に対して適用
することを考える０画像情報は二次元的な拡がりを持ち
、水平垂直両方向に相関性を有するものであるから、水
平方向のサンプリング間隔だけでなく垂直方向のサンプ
リング間隔も可変とすれば、より効果的な伝送が可能と
なる。この考え方を以下２次元ＴＡＴと称し、以下これ
について簡単に説明する。尚、この２次元ＴＡＴについ
ての考え方は既に本出願人に係る特願昭６０−１４８１
１２号等にて開示している。

第７図は２次元ＴＡＴにおけるデータ伝送パターンを示
す図である。２次元ＴＡＴにおいては１つの画面をｍＸ
ｎの画素よりなる画素ブロックに分割し、この画素ブロ
ック毎に伝送データの密度を変化せしめるものである。

第７図においては画素ブロックが４×４の画素を有する
ものとし、２種類の伝送モードを示している。

図中Ｏは伝送画素、Ｘは間引き画素を夫々示している。

Ｅは図示の如く全画素データを伝送するパターンを示し
ており、Ｃは全画素データ中一部のみを伝送するパター
ンを示している。以下、これらの伝送パターンによる伝
送モードを夫々Ｅモード、Ｃモードと称する。図より明
らかな如くＣモードはＥモードに対して局の情報密度で
伝送を行うことが分かる。

Ｃモードで伝送された画素ブロックの間引き画素につい
ては、受信側において、伝送された画素データ中それに
近接する画素データを用いて補間画素データを形成し、
原画面を復元する。

以下、この様な２次元ＴＡＴによる伝送を実現するため
の構成について説明する。第８図は２次元ＴＡＴによる
伝送システムの送信側の概略構成例を示す図である。第
８図に示す例ではアナログ伝送系を例にとって説明して
いる。

入力されたビデオ信号はアナログディジタル変換器（Ａ
／Ｄ）１で全画素についてサンプリングされ、全画素デ
ータを発生する。この全画素データが間引き回路２に供
給されると、第７図のＣモードパターンに対応する間引
きが行われ、Ｃモード画素データを得る。このＣモード
画素データは補間回路３に供給され、　１１ｉ′Ｉ引き
画素データに対応する補間画素データが演算される。

この補間画素データはＡ／Ｄ　１より出力される全画素
データと共にモード判別回路４に供給され、各画素ブロ
ックについてＣモードで伝送するかＥモードで伝送する
かが決定される。モード判別回路４ではＡ／Ｄ　Ｉより
出方される画素データと補間画素データとの差を演算し
、各画素ブロック毎にこの差の合計（以下ブロック歪と
称す）を演算し、これを１フイ一ルド分メモリに蓄えて
おく。

そして次のフィールドのデータが入力されるまでの間に
、全ての画素ブロックのブロック歪の分布を求める。こ
こでＣモードで伝送する画素ブロック数と、Ｅモードで
伝送する画素ブロック数との比は常に一定とする必要が
ある。例えばＣモードで伝送する画素ブロックを全体の
％、Ｅモードで伝送する画素ブロックを全体の局に設定
すれば、全体として伝送するデータ数（圧縮率）は（％
Ｘｌ＋％Ｘ　１　＝）　局となる。そこで全画素ブロッ
クのブロック歪の分布により、どの程度のブロック歪を
境にＣモード、Ｅモードの分配を行うかを決定するため
の歪閾値を求めておく。

そして次のフィールドのビデオ信号が入力されるタイミ
ングで蓄えられたブロック歪を順次読出し、歪悶値と比
較して伝送モードを決定する。

読出されたブロック歪が歪閾値と一致した場合には、前
述の如き所定の割合にＣモードで伝送される画素ブロッ
クと、Ｅモードで伝送される画素ブロックとの比が一致
する様伝送モードが決定される。

上述の如くして得たモード判別信号はスイッチ７へ供給
され、Ｅモード画素データ用のバッファ５と、Ｃモード
画素データ用のバッファ６から択一的に画素データが読
出される。このスイッチ７の出力データは伝送データと
してディジタルアナログ変換器ＣＤ／Ａ）８に入力され
、ここで再度アナログビデオ信号とされ伝送路へ出力さ
れる。

またモード判別信号もバッファ９を介してモード情報と
して伝送路へ出力される。

第９図は２次元ＴＡＴ伝送システムの受信側の概略構成
例を示す図である。伝送路を介して入力される前述の処
理の施されたビデオ信号にＡ／Ｄ１０にてディジタル信
号に戻される。Ａ／Ｄ　１０の出力はＣモード補間回路
１１に供給され、Ｃモードによる間引き画素データに対
応する補間データが演算される。

一方、伝送されたモード情報はスイッチ１２を制御し、
モード情報がＥモードを示す時はＥ側に接続し、Ｃモー
ドを示す時はＣ側に接続する。

これによってＥモード画素データ、Ｃモード画素データ
及び補間画素データを含む全画素データがフレームメモ
リ１３に格納されていく。フレームメモリエ３からは例
えばテレビジョン信号に準拠した順序で全画素データが
読出され、Ｄ／Ａ１４を介して出力される。

上述の如く２次元ＴＡＴの伝送システムにおいては、極
めて効果的に画像情報を伝送できる。

〈発明の解決しようとする問題点〉 ところで上述の如きテレビジョン信号をディスプレイし
た場合、再生画面中の動画領域においては解像度は悪く
とも気にならないが、静Ｉヒ領域については解像度の劣
化は目立ち易い。画面上の静止望域については時間軸方
向の相関性が高いということになり、この時間軸方向の
相関性を利用したビデオ信号処理の手法は近年進みつつ
あるものである。

そこで静置領域については直前に伝送した画面のデータ
をそのまま用いて再現画面を構成する等の時間的相関性
を用いた処理を受信側で行うことが考えられる。ところ
がこの様な処理を行う伝送システムにおいて、前述の２
次元ＴＡＴと同様にＥモード伝送するブロックとＣモー
ドで伝送するブロックとを決定したのでは以下の如き問
題が生じる。

今、画面中の２つの画素ブロックについて考察する。一
方は、高精細画の部分に対応するが、前画面と殆ど勺同
−の画面となる画素ブロックであり、他方は精細度は中
程度であり、前画面とは異なる画面となる画素ブロック
であるとする。この時前述の２次元ＴＡＴの処理では前
者がＥモード、後者はＣモードで伝送されてしまう。と
ころが前者の画素ブロックについては時間的相関性を用
いた処理を受信側で行えば、殆どＥモードで伝送した場
合と同様の画像が再現可能である。また後者の画素ブロ
ックについてＣモードで伝送した場合には、空間的な補
間処理や時間的相関性を用いた処理を行っても高解像度
で再現することはできない、つまり後者の画素ブロック
の方をＥモードで伝送した方が高解像度の再現画面が得
られることになり、２次元ＴＡＴにおける各ブロックの
伝送モードの決定は不合理と帰してしまう。

本発明は上述の如き問題に鑑み、時間的に相関性を有す
る画面群を連続して伝送する際に、１つの画面を分割し
て得た複数のブロック中佐に比べ高い情報密度で伝送す
るブロックの決定を再現画質が最良のものとなる様選定
することのできる画像情報伝送システムを提供すること
を目的としている。

〈問題点を解決するための手段〉 かかる目的下において本発明においては、１つのブロッ
ク内の平面的相関性と該ブロックの時間的相関性との強
い方の相関性に係るデータを１つの画面を分割して得た
複数のブロックの夫々について形成し、これらのデータ
を用いて前記複数のブロック中高い情報密度で伝送する
ブロックを選定する構成としている。

〈作　用〉 上述のデータは各ブロックを高い情報密度で伝送しなか
った場合に受信側で再現したブロックの忠実度を示す、
そのため１つの画面内において最も効果的に再現画の向
上につながるブロックについて高い情報密度で伝送でき
る様になった。

〈実施例〉 以下、本発明の一実施例について説明する。

本実施例においては前述の２次元ＴＡＴによる伝送シス
テムに、更に画像情報の時間的な相関性いる。即ち本実
施例の３次元ＴＡＴによる伝送システムにおいては、画
面の静１Ｆ領域については受信側で画素データの更新を
行う必要がないことに着目して、２次元ＴＡＴによる伝
送システムと同−Ｍのデータを伝送した場合には更に画
質の向りを図ろうとするものである。

以下、本実施例の基本的な考え方について説明していく
。静と領域内にある画素ブロックについて一度全画素デ
ータを伝送すれば、以後の画面を伝送する際にはこの画
素ブロックについてはその画面の画素データは伝送せず
に、先に伝送しであるデータを繰り返し利用しようとい
うものである。この様に伝送している画面の画素データ
については伝送しない伝送モードを以下ｐモードと称し
、２次元ＴＡＴにおけるＥモード、Ｃモードと対応する
伝送モードを２次元ＴＡＴの場合と区別するために夫々
Ｃモード、Ｃモードと称する。

２次元ＴＡＴの場合と同一量のデータを伝送することを
考えた時ｐモードの画素ブロックが増加すると、ｐモー
ド以外の画素ブロックの数が減少する。その中で情報密
度の高い画素ブロックをＣモードで伝送することができ
る。従って静止領域が増加すればする程、受信側で高解
像度を得ることができる画素ブロック数を増大させるこ
とができ、再現画質は更に向トする。

第１図は本発明の一実施例としての伝送システムの送信
側の概略構成を示す図であり、本例においてもアナログ
伝送系を対象としている。

入力されたアナログビデオ信号はＡ／Ｄ　１００［こよ
りディジタル信号とされ、全画素データが出力される。

この全画素データは２次元ＴＡＴの場合と同様に間引き
回路１０１に供給され、Ｃモードパターンに対応する間
引きが行われ、Ｃモード画素データ（基本画素データ）
を得る。Ｃモード画素データは補間回路３に供給され、
間引画素データに対応する補間画素データが演算される
。

ここでｅ、ｃ、ｐ３つのモードのいずれのモードを用い
て画素ブロックを伝送するかを判定する工程について説
明する。まず２次元ＴＡＴの場合と同様にＣモードで伝
送した場合と、Ｃモードで伝送した場合との再現画素デ
ータの差をＡ／Ｄ１００の出力と補間回路１０２の出力
とを用いることにより演算し、各画素ブロック毎にこの
差の合計（以下ブロック歪ＤＣと称す）をブロック歪Ｄ
ｃ演算回路１０３にて演算する。

他方、フレームメモリ１０４に格納されている過去の画
面における各画素データと原画面の各画素データの差を
演算し、同様に各画素ブロック毎にこの差の合計（以下
ブロック歪Ｄｐと称す）をブロック歪Ｄｐ＠算回路１０
５にて演算する。

比較器１０６はこれらＤｃとＤＰとを比較している。

即ち比較器１０Ｂでは各画素ブロック毎に、Ｃモードで
伝送した場合とｐモードで伝送した場合とで、いずれが
Ｃモードで伝送した場合に対して忠実に画面を再現でき
るかを検出していることになる。従ってＤｃ　＞Ｄｐの
場合にはＣモードとはならず、Ｄｃ　＜Ｄｐの場合には
ｐモードとはならない様にするものである。

比較器１０６からはＤａとＤｐの大小を示すデータ（Ｄ
ｃ／Ｄｐ）と共に、これらの小さい方の値を複合ブロッ
ク歪（Ｄ　ｍ）としてモード判定回路１０７に供給する
。

モード判定回路１０７においてはＤｍの大きり）ｍｎに
所定数の画素ブロックに対しＣモードを割り当ててゆく
。この割当ての手順は前述の２次元ＴＡＴに於ける場合
と同様に全画素ブロックのＤＩＩ＋の分布に基いてＤｆ
ｌ＋の閾値を求め、Ｄ！ｌがこの閾値を超えるものにつ
いてはＣモード、Ｄｍかス１値より小さい場合にはＣモ
ード以外のモードとする。Ｄｍが閾値より小さい場合に
は当然Ｄｐ＞Ｄｃの時Ｃモード、Ｄｐ＜ＤＣの時ｐモー
ドが割り当てられる。これに従いモード判定回路１０７
からはＣモードかそれ以外かというデータ（ｅ／石）と
Ｄｐ／Ｄａとが出力される。

本実施例の伝送システムにおいては、モード情報のみを
伝送する。この時Ｃモードではない画素ブロックの伝送
モードがＣモードであるかｐモードであるかは以下の如
く画素データとして伝送する。

即ち、ｐモードで伝送する画素ブロックについては受信
側で再現される前画面の基本画素データを伝送する様に
している。受信側で再現される前画面の全画素データは
フレームメモリ１０４に格納されており、これを間引き
回路１０Ｂで間引き回路１０１と同様に間引くことによ
り前画面の基本画素データが得られる。この様にして得
た間引き回路１０８の出力データを以後ｐモード画素デ
ータと称す、受信側では後述する様に連続する画面にお
いである画素ブロックの基本画素データが同じものであ
れば、後の画面の当該画素ブロックについてはｐモード
で伝送されたものと判断する。

尚、フレームメモリ１０４に格納されているデータにつ
いては、受信側で再現される前画面の全画素データとな
る。即ち前画面がｐモードの画素ブロックの画素データ
についてはメモリ１０４のデータ書換えを禁止しなけれ
ばならない。また前画面がＣモードの画素ブロックにつ
いてはｐモードとしても画質改善効果は得られない。従
ってフレームメモリ１０４のデータの書換えはモード判
定回路１０７によりＣモードと判定した時のみ行えばよ
い。そこで本実施例においてはモート１１定回路１０７
より得られるｅ　／　ｅでメモリ１０４の書き換えを制
御している。

八ツファ１０９，１１０，１１１からはこの様にして夫
々ｐモード画素データ、Ｃモード画素データ、Ｃモード
画素データが得られ、スイッチ１１３はｅ　／　ｅ及び
Ｄｃ／Ｄｐを用いてこれらをＩＲ−的にＤ／Ａ　１１４
に供給している。従ってＤ／Ａ　ｌ　１４は３次元ＴＡ
Ｔ伝送システムによるアナログビデオ信号を出力するこ
とになる。またｅ　／　ｅも八ツファ１１２を介してモ
ード情報として伝送される。

１述の実施例における各モードの分配比率について以下
考察する。第２図はブロック歪Ｄｐ及びＤＣに対するモ
ード分配の様子を示す図、第３図は画像の性格による分
配比率の変化を示す図である。

第２図においである画素ブロックのＤ　ｃ、Ｄ　ｐにつ
いて考察するに動きの大きいブロック程、Ｄｐ輪軸上上
方に行く。即ちＤｐは時間的な相関性に係るデータであ
る。また、精細度の高い部分即ち２次元的に周波数の高
いブロック程、Ｄｃ軸上で右側に行く。即ちＤＣは平面
的な相関性に係るデータである。ＤｉはＤａとＤｐの小
さい方の値をとるのであるから、平面的もしくは時間的
な相関性の強い方の相関性に係るデータである。図示の
如＜Ｘｃに位置するＤ　ｃ、Ｄ　ｐを持つ画素ブロック
のＤｍはＤＣ軸に垂線をおろした時のＤｃ軸上の値とな
る。一方、ｘｐに位置するＤｃ、Ｄｐを持つ画素ブロッ
クのＤｍはｏｐ軸に垂線をおろし、この垂線と直線Ｄｃ
＝Ｄｐとの交点から更にＤＣ軸に垂線をおろした時のＤ
ｃ軸上の値となる。

今、第２図においてＤｍ軸を設け、閾値Ｔ１を考えた時
、Ｄ　ｃ、Ｄ　ｐ座標においてはＴ２の如く位置し、図
示の如くＣモードの領域が定まる。つまり、一般的には
動きが激しくかつ精細度の高い画素ブロックがＣモード
で伝送される。

各モードの分配比率については、１つの画面全体のデー
タ圧縮率を局に固定した場合の様子を第３図に示してい
る。ここではＰモードにおいて伝送する画素データは全
体の３で、Ｃモードのそれと等しいと仮定しているので
Ｃモードで伝送できる画素ブロック数は常に全体の届と
なる。

第３図において右辺をなす直線部分は２次元ＴＡＴの分
配比率を示していることになる。つまり３次元ＴＡＴの
伝送システムで、前後の画面間に全く相関性がない場合
には２次元ＴＡＴと同一処理を行うことになる。これに
反して完全静ＩＦ画面を伝送する場合にはＣモードで伝
送する画素ブロックはなくなっていき、再現画面は全て
の画素ブロックをＣモードで伝送した場合と同じ解像度
となる。ある画面に対するモード分配比率は図中Ａにて
示す点線上において、ｅ、ｃ、ｐ各領域と交わっている
部分の線分の長さで示される。この点線Ａの位置は上述
の説明から明らかな様に伝送する画像情報の時間的な相
関性に依存する。

第４図は本実施例による伝送システムの受信側の概略構
成を示す図である。第１図に示す送信側より伝送された
アナログビデオ信号はＡ／Ｄ２００においてディジタル
データに戻される。スイッチ２０５は伝送されてきたモ
ード情報によって制御され、各画素ブロックについて、
Ｃモードで伝送されている場合にはそのまま全画素デー
タを出力する。それ以外のモードで伝送されている場合
にはスイッチ２０５のｉ側より補間回路２０４にて形成
されている補間画素データを出力する。この様にしてス
イッチ２０５よりは伝送されてき画素データに基〈全画
素データが出力される。

一方、スイッチ２０９はＣモードで伝送された画素ブロ
ックの基本画素データのみを間引き回路２０８を介して
出力し、それ以外のモードで伝送された画素ブロックに
ついてはそのまま基本画素データを出力する。このスイ
ッチ２０９も伝送されてきたモード情報により制御され
る。従ってスイッチ２０９からは基本画素データが出力
され、基本画素用フレームメモリ２０１に供給される。

またスイッチ２０９より出力される基本画素データとフ
レームメモリ２０１より得られる前画面の基本画素デー
タとの差が演算され、更に各画素ブロック毎にこの差の
合計（以下ブロック歪Ｄｂと称す）をブロック歪Ｄｂ演
算回路で演算する。

このブロック歪Ｄｂは比較器２０３に供給され、このＤ
ｂが閾値ＴＨより小さければ、その画素ブロックはｐモ
ードで伝送されてきたと判断する。これによって出力さ
れるｐモードかそれ以外かというモード情報（ｐ／ｐ）
はフレームメモリ２０１．２０６に供給される。これに
よりフレームメモリ２０１，２０６の書換えはｐモード
で伝送された画素ブロックについて禁止されることにな
り、１画面前のデータがそのまま残ることになる。この
残されたデータがｅモード画素データであれば良好な再
現画面が得られるものである。

この様にして全画素用フレームメモリ２０６のデータ更
新が行われると共に、Ｄ／Ａ　２０７に対して読出すこ
とによりＤ／Ａ　２０７から高解像度のアナログビデオ
信号が出力されることになる。

上述の実施例においては、各ブロック内の平面的相関に
係るＤｃと時間的相関性に係るＤＰとの小さい方のデー
タとしてのＤｍを用い、このＤｍが１画面上において大
きな画素ブロックから順にＣモードとしているので、Ｃ
モード補間または前画面のデータを用いることにより高
解像度の再現が可能な画素ブロックについてはＣモード
としないことになる。従って極めて効率よくＣモードを
割り当てることができ高解像度の再現画面が得られる様
になった。

尚、上述の実施例の伝送システムにおいてはｐモードを
示すモード情報は伝送しなかったが、これを伝送し、前
画面の画素データは伝送しない構成とすることも可能で
ある。この場合において圧縮率を局に固定する場合の各
モードの分配比率を第５図にて示す０図より明らかな様
にこの場合においても前後の画面に全く相関性がなけれ
ば２次元ＴＡＴと同一の処理が行われる。またこの場合
時間軸方向の相関性が高ければＣモードで伝送する画素
ブロック数が増加する。

また特にｐモードを設けず受信側のみで時間的な相関性
を判別し、これによって以前に伝送されてきたデータを
適宜利用する様な構成とすることも可能である。

〈発明の効果〉 以上説明した様に本発明によれば、１つの画面を分割し
て得た複数のブロック中低に比べ高い情報雀度で伝送す
るブロックの決定を再現画質が最良のものとなる様選定
することのできる画像情報伝送システムを得ることがで
きる。

【図面の簡単な説明】

第１図は本発明の一実施例としての伝送システムの送信
側の概略構成を示す図、 第２図は第１図の実施例において各画素ブロックの性質
に伴うモード分配の様子を示す図、第３図は第１図の実
施例において画像の時間的な相関によるモード分配比率
の変化を示す図、第４図は本実施例による伝送システム
の受信側の概略構成を示す図、 第５図は前画面の画素データを伝送しない場合において
、画像の時間的な相関によるモード分配比率の変化を示
す図、 第６図はＴＡＴの基本的な考え方を説明するための図、 第７図は２次元ＴＡＴに於けるデータ伝送パターンを示
す図、 第８図は２次元ＴＡＴによる伝送システムの送信側の概
略構成を示す図、 第９図は第８図の送信側に対応する受信側の概略構成を
示す図である。 １０１は間引き回路、１０２は補間回路、１０３は平面
的相関性を示すブロック歪Ｄｃの演算回路、１０４はフ
レームメモリ、１０５は時間的相関性を示すブロック歪
Ｄｒａの演算回路。 １０６は比較回路、１０７はモード判定回路、１１３は
スイッチである。

Claims (1)

【特許請求の範囲】
1. 時間的に相関性を有する画面群を連続して伝送する際、
   １つの画面を分割して得た複数のブロツクの一部を他に
   比べ高い情報密度で伝送するシステムであつて、１つの
   ブロツク内の平面的相関性と該ブロツクの時間的相関性
   との強い方の相関性に係るデータを前記複数のブロツク
   の夫々について形成し、これらのデータを用いて前記複
   数のブロツク中高い情報密度で伝送するブロツクを選定
   する画像情報伝送システム。