JPH0337352B2 - - Google Patents

Description

【発明の詳細な説明】

（技術分野） 本発明はTV監視システム等のための画像情報
を狭帯域伝送するもので、特に画像の変化部分を
粗い画素から細かい画素に順次鮮明化させる画像
伝送方式に関するものである。 （背景技術） この種の画像伝送方式には例えば特願昭50−
69747号に見られる「狭帯域テレビジヨン方式」
があつた。この方式は画像の変化部分を２値画信
号で伝送して、受信側で白又は黒信号に変換され
た差画像を形成し、更に必要に応じて変化部分を
アナログ画信号によつて低速伝送するもので、変
化部分の位置情報をランレングス符号化で先に送
り、しかる後に変化部分の細部を伝送する方式
で、初めに送られてくる変化部分の位置情報を２
値画像表示するため、変化部分の外形しか分から
ないという問題があつた。 このような欠点を解消しようとして本発明者等
は変化情報を粗い画像から細かい画像に順次鮮明
化させるものを提案した。この順次鮮明化の方法
は２通りあり、第１の方法は第２図ａの基準（予
測）画像と第２図ｂの現画像とのフレーム間予測
残差を求め、その変化部分を変化画素、その他を
零画素として、零画素のランレングス符号化で圧
縮して伝送し、受信側で変化画素を元の復元（予
測）画像の画素データと置き換えるもので、変化
画素が例えば64×64画素のような粗い画素により
一定間隔Ｐで第２図ｃに示すように送られたとき
は、この間隔Ｐで隣接した変化画素を補間して、
この間の画素データを第２図ｄに示すように置き
換えて表示するものであつた。しかしながらこの
方法の場合、画像全体がぼやけてしまうととも
に、変化画素の情報は圧縮されないため、変化領
域が広くなる場合には伝送情報量が多くなるとい
う問題があつた。他方第２の方法は変化部分のフ
レーム間残差を変化残差と零残差に分け、予測量
子化した符号を予測誤差零の符号のランレングス
符号化で更に圧縮して伝送するもので、粗い画素
から細かい画素に鮮明化させると共に、予測量子
化を可変標本密度符号化によつて行う場合、量子
化特性の時間差値、振幅差値の選択によつても粗
い画像（２ビツト／画素程度）から細かい画像
（４ビツト／画素程度）の選択が可能である。こ
の第２の方法で粗い画素のフレーム間残差を第２
図ｅに示すように補間し、第２図ｆのように元の
復元画像に加えると、伝送された粗い画素は正し
く復元されるが、この粗い画素の間は正しく復元
されないため、変化部分は元の背景と、送られた
変化部分とが重なつたような、ぼやけた画像にな
つた。 またこの第２の方法で画素を間引かないで、量
子化特性の選択による場合は、フレーム間差分が
変化部分の総ての画素について予測符号化され
て、受信側で復元されるので、変化部分の画質は
良くなる一方で、４画素間隔に間引いたときに伝
送情報量が1/16になるのと比べて、量子化特性の
選択では１ビツト／画素の場合でも粗い画像が1/
４の情報量（時間）で、２画素間隔程度間引いた
のと同じ情報量で、変化部分の画質がはつきりと
するものであつた。 （発明の目的） 本発明は上述の問題点に鑑みて為されたもの
で、その目的はフレーム間予測残差を伝送し、画
像の変化部分を粗い画素間隔から細かい画素間隔
に伝送して変化部分の粗い画像が短時間に伝送
し、画質を向上させる画像伝送方式を提供するこ
とである。 （発明の開示） 本発明は前画面や背景画面のような基準となる
画像フレームと現画像フレームとの間で変化のあ
つた領域の画像のみを粗い画像から細かい画像に
順次鮮明化させる画像伝送方式において、所定間
隔に粗く間引かれた画素のフレーム間の予測残差
が第１の設定値以上の大きさの変化残差と、この
第１の設定値より小さな零残差に分けて、零残差
の予測残差を零にして圧縮符号化して伝送し、受
信側で粗く間引かれた画素のフレーム間予測残差
を復元して、このフレーム間予測残差が、第２の
設定値以上の大きさの変化残差と、この第２の設
定値より小さな零残差に分けてこの零残差のフレ
ーム間予測残差を零とし、粗く間引かれた画素の
間隔で隣接するフレーム間予測残差が変化残差で
あるときのみこの間隔の間を補間して復元画像と
するとともに、送信側でも粗く間引かれた画素の
フレーム間予測残差を復元して、このフレーム間
予測残差が、第２の設定値以上の大きさの変化残
差と、この第２の設定値より小さな零残差に分け
てこの零残差のフレーム間予測残差を零とし、粗
く間引かれた画素の間隔で隣接するフレーム間予
測残差が変化残差であるときのみこの間隔の間を
補間して上記の基準画像を復元することを特徴と
する。 以下本発明を実施例により説明する。 実施例 第１図ａ，ｂは本実施例の回路構成を示し、同
図ａは送信側、同図ｂは受信側である。 まず送信側について説明すると、第１図ａに設
けたデジタル標本化回路２は撮像装置１にて撮像
された画像を６〜８ビツト／画素のデジタル値に
Ａ／Ｄ変換するためのもので、デジタル変換した
データを256×256画素の現画像フレームバツフア
３に書き込む。乗算回路４は現画像フレームバツ
フア３からの標本のデジタル値にＭ１なる所定値
を掛け合わせるためのものである。基準（予測）
画像フレームバツフア５は、前画面や背景画面の
ような基準となる画像フレームを記憶するための
ものであり、その基準画像データはそのデジタル
値に乗算回路６にて所定値Ｍ１が掛け合わされて
フレーム間予測回路７に取り込まれる。フレーム
間予測回路７は予測回路７ａと画像ラインバツフ
ア７ｂとから構成され、予測回路７ａによりフレ
ーム間予測がなされてその予測値を画像ラインバ
ツフア７ｂに記憶させるとともに差分回路８に入
力させる。差分回路８は現画像フレームと上記予
測値との誤差、つまりフレーム間予測残差を算出
するためのものである。変化残差判定回路９は上
記フレーム間予測残差の大きさを第１の設定値Ｒ
４Ａと比較して、この設定値Ｒ４Ａ以上の大きさ
のものを変化残差とし、設定値Ｒ４Ａより小さい
ものを零残差と判定し、零残差のフレーム間残差
を零とするものである。可変標本密度圧縮回路
（又はDPCMの圧縮回路）１０は変化残差判定回
路９により変化残差と零残差とされたものを表１
乃至表４に示すような量子化特性により符号化す
るものであり、ラインバツフア１０ａと、可変標
本密度符号化回路１０ｂから構成されている。零
符号圧縮回路１２は可変標本密度圧縮回路１０
（又はDPCMの圧縮回路）よりの符号を更に表５
のような零符号のランレングス符号化を行うため
のもので、出力符号は適宜伝送手段により例えば
公衆電話回線を介して受信側へ送られる。可変標
本密度伸張回路（又はDPCMの伸長回路）１３
は可変標本密度圧縮回路１０（又はDPCMの圧
縮回路）よりの出力符号からフレーム間予測残差
を復元するためのもので、可変標本密度複号化回
路１３ａと、ラインバツフア１３ｂとから構成さ
れている。変化残差判定回路１４は上記復元され
たフレーム間予測残差と第２の設定値Ｒ４Ｂとを
比較して、この設定値Ｒ４Ｂ以上のものを変化残
差とし、設定値Ｒ４Ｂより小さいものを零残差と
するためのものである。補間合成回路１５は変化
領域の画像を64×64画素或いは128×128画素で粗
い画像を伝送する際に有効なもので、変化残差判
定回路１４による変化残差の検出に基づいて、画
像ラインバツフア７ｂに記憶されている予測値の
間引かれた間隔Ｐの間の変化残差に対応する画素
の値を補間回路１５ａで第２図ｈのように復元す
るとともに、さらに間隔Ｐで隣接する変化残差の
間を第２図ｇのように補間して加算回路１５ｂで
両者を加えるものであり、この補間合成回路１５
によつて変化部分のみが補間することで、変化部
分を粗い画像で単時間に画質良く伝送することを
可能とし、更に隣接する変化画素の間のみ補間さ
れるから変化部分がぼやけず、且つ孤立する変化
画素が目立たないのである。除算回路１７は補間
合成回路１５の出力値を所定値Ｍ１で除して基準
（予測）画像バツフア５に記憶させるデータとす
るものである。尚所定値Ｍ１の乗算、除算はスケ
ールアツプによる演算精度の向上を行なうもので
ある。２次予測部１６はフレーム間残差をライン
間に予測し、ライン内の予測量子化で２次元圧
縮、伸張を行なうために差分回路１６ａと、ライ
ン間差ラインバツフア１６ｂと、予測回路１６
ｃ、加算回路１６ｄとから構成されたもので、
256×256画素のフレーム間残差を伝送し、画素毎
の補間が必要ない場合にSW₁〜SW₆のスイツチの
接点ａを閉じ、接点ｂを開くことによつて使用す
るもので、256×256画素の場合に変化残差を２次
元的に圧縮して画質の向上や圧縮率の向上を図つ
て256×256画素の画像を仕上げるために使われ
る。

【表】

【表】

【表】

【表】

【表】

【表】

【表】 さて第１図ｂに示す受信側は送信側から送られ
てきた符号の零符号を復号する零符号伸張回路１
８と、可変標本密度圧縮（又はDPCM）による
符号からフレーム間予測残差を復元する可変標本
密度伸張回路（又はDPCMの伸長回路）１９と
256×256画素の伝送時に使用される２次予測部１
６に対応した２次復元部２０と、復元されたフレ
ーム間残差の変化残差を上述の変化残差判定回路
１４と同様に第２の設定値Ｒ４Ｂにて判定する変
化残差判定回路２１と、送信側の補間合成回路１
５と同様に予測回路２２の予測値の補間合成を行
い復元（予測）画像フレームバツフア２３に記憶
させる補間合成回路２４と、除算回路２５と、乗
算回路２６と、上述のスイツチSW₁〜SW₆と同様
に２次復元部２０を使用する際の切り換えを行う
ためのスイツチSW₅，SW₆から構成されている。
ここで可変標本密度伸張回路１９は可変標本密度
復号化回路１９ａと、ラインバツフア１９ｂとか
ら構成され、又２次復元部２０はラインバツフア
２０ａ、加算回路２０ｂ、予測回路２０ｃとから
構成され、補間合成回路２４は補間回路２４ａ
と、加算回路２４ｂとから構成される。 しかして最初の画像伝送時は全画面が64×64画
素→128×128画素→256×256画素と、粗い４画素
間隔→２画素間隔→細かい１画素間隔で伝送され
る。 まず64×64画素の画像を圧縮伝送すると共に基
準（予測）画像フレームバツフア５及び受信側の
復元（予測）画像フレームバツフア２３に64×64
画素の復元画像が書き込まれる。 次に128×128画素の２画素間隔で現画像フレー
ムバツフア３と基準（予測）画像フレームバツフ
ア５との間のフレーム間の予測残差が伝送され、
同時に送信側では基準（予測）画像フレームバツ
フア５のデータにフレーム間の予測残差が加え合
わされて128×128画素のデータが記憶され、同様
に受信側では復元（予測）画像フレームバツフア
２３のデータに伝送されてきたフレーム間の予測
残差が加え合わされて128×128画素の画像を復元
される。 次に256×256画素の１画素間隔で、同様にフレ
ーム間の予測残差が伝送され、256×256画素の画
像が基準（予測）画素フレームバツフア５と復元
（予測）フレームバツフア２３において復元され
る。 次に新しい画像が撮像装置１→デジタル標本化
回路２→現画像フレームバツフア３と取り込ま
れ、現画像フレームバツフア３と基準（予測）画
像フレームバツフア５のフレーム間の予測残差が
64×64画素→128×128画素→256×256画素と順次
鮮明化する。 ここで本発明方式では変化残差判定回路１４又
は２１で復元されたフレーム間の予測差がある設
定値Ｒ４Ｂ以上の大きなものを変化残差とし、Ｒ
４Ｂよりも小さなものを零残差として復元された
零残差のフレーム間予測残差を零とするものであ
り、さらに補間合成回路１５又は２４によりフレ
ーム間残差の間隔Ｐで隣接する変化残差のみを第
２図ｇのように補間して、この区間に対応する基
準（予測）画像フレームや復元（予測）画像フレ
ームの変化画素の間を第２図ｈのように予め補間
してから第２図ｉのように加え合わせることによ
り、変化部分の画像を復元するので、変化部分を
粗い画像で短時間に画質良く伝送することを可能
とし、更に隣接する変化画素の間のみ補間される
から変化部分がぼけやすく、且つ孤立する変化画
素が目立たない画像を復元でき、しかもフレーム
間残差と基準（予測）画像との補間が別々にでき
て回路構成やプログラム構成上簡単にすることが
できるのである。 尚第２図ｅのように補間されたフレーム間予測
残差により、ｅの点ａから点ｂの間を変化残差と
見なしてａ点、ｂ点、ｃ点、ｄ点の変化画素を復
元して、この変化画素間を補間することも可能
で、この場合には実際よりも変化部分が大きく表
示され、変化部分の周辺が背景と補間されて、ぼ
やけることになるので、第２図ｇのような点ｂと
点ｃの間を補間する方が望ましいと思われるが、
変化部分が強調される効果がある。尚また送信側
で変化残差の間に間隔Ｐ（Ｐには１も含む）で１
〜２個の零残差がある場合はこの零残差も変化残
差として、零にしないで伝送することで、変化部
分の歯抜けを防止して画質を向上させるために変
化残差形成回路１１を設けてある。 （発明の効果） 本発明にあつては上述のように所定間隔に粗く
間引かれた画素のフレーム間の予測残差が第１の
設定値以上の大きさの変化残差と、この第１の設
定値より小さな零残差に分けて、零残差の予測残
差を零にして圧縮符号化して伝送し、受信側で粗
く間引かれた画素のフレーム間予測残差を復元し
て、このフレーム間予測残差が、第２の設定値以
上の大きさの変化残差と、この第２の設定値より
小さな零残差に分けてこの零残差のフレーム間予
測残差を零とし、粗く間引かれた画素の間隔で隣
接するフレーム間予測残差が変化残差であるとき
のみこの間隔の間を補間して復元画像とするとと
もに、送信側でも粗く間引かれた画素のフレーム
間予測残差を復元して、このフレーム間予測残差
が、第２の設定値以上の大きさの変化残差と、こ
の第２の設定値より小さな零残差に分けてこの零
残差のフレーム間予測残差を零とし、粗く間引か
れた画素の間隔で隣接するフレーム間予測残差が
変化残差であるときのみこの間隔の間を補間して
上記の基準画像を復元するので、変化部分の短時
間伝送と画質の向上、特に変化部分のぼやけを無
くすことができ、しかも順次鮮明化となるように
伝送するための情報量が少なくなつて伝送効率も
向上するという効果がある。

【図面の簡単な説明】

第１図ａは本発明の実施例の送信側の回路構成
図、第１図ｂは同上の実施例の受信側の回路構成
図、第２図は本発明及び従来方式の動作説明図で
あり、３は現画像フレームバツフア、５は基準
（予測）画像フレームバツフア、９，１４，２１
は変化残差判定回路、１１は変化残差成形回路、
１５，２４は補間合成回路、Ｒ４Ａは第１の設定
値、Ｒ４Ｂは第２の設定値、Ｐは間隔である。

Claims (1)

1. 【特許請求の範囲】 １ 前画面や背景画面のような基準となる画像フ
   レームと現画像フレームとの間で変化のあつた領
   域の画像のみを粗い画像から細かい画像に順次鮮
   明化させる画像伝送方式において、所定間隔に粗
   く間引かれた画素のフレーム間の予測残差が第１
   の設定値以上の大きさの変化残差と、この第１の
   設定値より小さな零残差に分けて、零残差の予測
   残差を零にして圧縮符号化して伝送し、受信側で
   粗く間引かれた画素のフレーム間予測残差を復元
   して、このフレーム間予測残差が、第２の設定値
   以上の大きさの変化残差と、この第２の設定値よ
   り小さな零残差に分けてこの零残差のフレーム間
   予測残差を零とし、粗く間引かれた画素の間隔で
   隣接するフレーム間予測残差が変化残差であると
   きのみこの間隔の間を補間して復元画像とすると
   ともに、送信側でも粗く間引かれた画素のフレー
   ム間予測残差を復元して、このフレーム間予測残
   差が、第２の設定値以上の大きさの変化残差と、
   この第２の設定値より小さな零残差に分けてこの
   零残差のフレーム間予測残差を零とし、粗く間引
   かれた画素の間隔で隣接するフレーム間予測残差
   が変化残差であるときのみこの間隔の間を補間し
   て上記の基準画像を復元することを特徴とする画
   像伝送方式。 ２ 上記間隔の隣接する変化残差の間のフレーム
   間予測残差を補間すると共に対応する区間の前画
   像の基準となる画像による予測画像を補間したも
   のに、上記の補間されたフレーム間予測残差を加
   算して、現画像の基準となる基準画像を復元する
   ことを特徴とする特許請求の範囲第１項記載の画
   像伝送方式。 ３ 上記間隔の隣接する変化残差の間と、変化残
   差に隣接する零残差の間を補間してこの変化残差
   と隣接する零残差に対応する画素の間を変化部分
   として補間して復元することを特徴とする特許請
   求の範囲第１項または第２項記載の画像伝送方
   式。 ４ 伝送される変化残差は伝送される画像の間隔
   で、変化残差と変化残差の間に１〜２個の零残差
   があつた場合にこの零残差を変化残差として扱つ
   てフレーム間予測残差を伝送することを特徴とす
   る特許請求の範囲第１項、第２項又は第３項記載
   の画像伝送方式。