JPH07118809B2 - Image transmission method - Google Patents

Image transmission method

Info

Publication number
JPH07118809B2
JPH07118809B2 JP60060012A JP6001285A JPH07118809B2 JP H07118809 B2 JPH07118809 B2 JP H07118809B2 JP 60060012 A JP60060012 A JP 60060012A JP 6001285 A JP6001285 A JP 6001285A JP H07118809 B2 JPH07118809 B2 JP H07118809B2
Authority
JP
Japan
Prior art keywords
image
frame
value
pixel
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP60060012A
Other languages
Japanese (ja)
Other versions
JPS61219277A (en
Inventor
啓義 湯浅
晃 安田
皓一 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP60060012A priority Critical patent/JPH07118809B2/en
Priority to US06/794,228 priority patent/US4679077A/en
Priority to EP85114228A priority patent/EP0183106B1/en
Priority to DE198585114228T priority patent/DE183106T1/en
Priority to CA000494988A priority patent/CA1246711A/en
Priority to DE8585114228T priority patent/DE3579564D1/en
Publication of JPS61219277A publication Critical patent/JPS61219277A/en
Publication of JPH07118809B2 publication Critical patent/JPH07118809B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】 〔技術分野〕 本発明はTV監視システムのための画像情報の伝送、特に
画像が変化したときに変化部分のみを狭帯域伝送する画
像伝送方法に関するものである。
Description: TECHNICAL FIELD The present invention relates to transmission of image information for a TV monitoring system, and more particularly to an image transmission method for narrow band transmission of only a changed portion when an image changes.

〔背景技術〕[Background technology]

画像の変化検出とその伝送方法においては、従来よりTV
会議システムのように動画像を伝送するために画像フレ
ーム間の差分、つまりその変化部分のみを伝送するもの
が実用化されている。即ち一般のNTSC方式のTV画像のよ
うにインターレースで、1秒間に30コマ伝送するような
フレーム周期(1/60秒)の速度で、フレームを更新する
場合を実時間の動画と言うならば、生画像では画素当た
り6ビットに量子化すると約50Mビット/秒の伝送帯域
を必要とするが、画像フレームを256×256画素に量子化
する場合、毎秒30フレームの画像を伝送すると約11.8M
ビット/秒の伝送帯域となるが、画素間の相関(0.9程
度)か、画像フレーム間の相関(0.8程度)による冗長
度を除いて、画質を落とさずに情報圧縮する場合は1ビ
ット/画素で2Mビット/秒の伝送帯域を必要とすると思
われる。ここで日本電信電話公社から報告されているテ
レビ会議実験システムでは伝送帯域が1.5Mビット/秒、
また会話型ビデオテックスでは伝送帯域が8Kビット/秒
となっている。ところで現時点ではINS化されていない
ため、電話回線でデータを伝送する場合、1.2Kビット/
秒〜9.6Kビット/秒の伝送帯域となる。従って画像フレ
ームの画質を落とさずに1.2Kビット/秒で伝送するため
には30/(2M/1.2K)=0.02フレーム/秒で、約56秒/フ
レームの伝送速度が限度である。
TVs have traditionally been used in image change detection and transmission methods.
In order to transmit a moving image like a conference system, a system that transmits only a difference between image frames, that is, only a changed portion thereof has been put into practical use. That is, if the frame is updated at a frame cycle (1/60 second) such that 30 frames are transmitted per second by interlacing like a general NTSC system TV image, if it is called a real-time moving image, A raw image requires a transmission band of about 50 Mbits / sec when quantized to 6 bits per pixel, but when quantized an image frame to 256 × 256 pixels, it is about 11.8 M when transmitted at 30 frames per second.
The transmission bandwidth is bit / second, but 1 bit / pixel when compressing information without degrading image quality except redundancy due to pixel correlation (approximately 0.9) or image frame correlation (approximately 0.8). It seems that it requires a transmission bandwidth of 2 Mbit / sec. Here, in the video conference experimental system reported by Nippon Telegraph and Telephone Public Corporation, the transmission band is 1.5 Mbit / sec,
Also, in the conversational videotex, the transmission band is 8 Kbit / sec. By the way, since it is not INS at this time, 1.2Kbit /
The transmission band is from seconds to 9.6 Kbits / second. Therefore, 30 / (2M / 1.2K) = 0.02 frames / sec for transmission at 1.2 Kbits / sec without degrading the image quality of image frames, and the transmission rate of about 56 sec / frame is the limit.

TV監視システムでは9.6Kビット/秒の伝送帯域で、静止
画像が20〜30秒で伝送できるものが実用化されている
が、画素の変化を伝えるために変化領域のみを伝送する
場合、変化領域が画像全体の1/5程度(フレーム間の相
関0.8)では4〜6秒/フレームのフレーム周期とな
る。ここでローコスト化のために1.2Kビット/秒のモデ
ムで伝送すると、9.6Kビット/秒の8倍の時間が必要で
静止画像が2ビット/画像に圧縮されている場合でも、
1画像フレームの伝送時間は約130秒にもなる。
In the TV surveillance system, a still image can be transmitted in 20 to 30 seconds in a transmission band of 9.6 Kbits / second, but it has been put into practical use. Is about 1/5 of the entire image (correlation between frames is 0.8), the frame period is 4 to 6 seconds / frame. If you use a 1.2Kbit / sec modem for low cost transmission, it takes 8 times as long as 9.6Kbit / sec and even if a still image is compressed to 2bit / image,
The transmission time for one image frame is about 130 seconds.

そこで本発明者らは可変標本密度予測符号化による情報
圧縮方式を用いたもの(特願昭59−130583号)を提案し
たが、このものは1ビット/画素以下に圧縮しても静止
画像の主な輪郭が再現でき、画像の概要が分かるフレー
ム内圧縮符号化方式により1.2Kビット/秒の伝送帯域に
より約60秒で静止画像を伝送できるものである。また本
発明者らは変化領域のみの画像データを可変標本密度予
測符号化で伝送するもの(特願昭59−18310号)も提案
したが、このものは変化領域が画像全体の1/5の場合、
1.2Kビット/秒にてフレーム周期が約12秒で伝送できる
ものである。ところで変化があった領域のみの画像デー
タを伝送する場合には、変化していない領域は前に受け
取った静止画像であるため画質の良い画像を必要とする
時点では256×256画素の静止画像を1.2Kビット/秒で伝
送するようにすると、約130秒かかるという欠点があっ
た。
Therefore, the present inventors have proposed a method (Japanese Patent Application No. 59-130583) that uses an information compression method based on variable sample density predictive coding. The still image can be transmitted in about 60 seconds with the 1.2Kbit / sec transmission band by the intraframe compression coding method that can reproduce the main contours and give an overview of the image. The present inventors also proposed a method (patent application No. 59-18310) for transmitting image data only in the changing region by variable sampling density predictive coding. If
It can be transmitted at a frame cycle of about 12 seconds at 1.2 Kbits / second. By the way, when transmitting the image data of only the changed area, the area that has not changed is the still image received previously, so a 256 × 256 pixel still image is required at the time when a high quality image is required. There was a drawback that it took about 130 seconds when transmitting at 1.2 Kbits / second.

一方動画伝送の場合は変化していない部分のフレーム間
差分値が小さくなってフレーム周期を繰り返すと画質が
良くなるため、画質の良い画像を必要とする場合も、変
化領域を含めて同上の条件で60秒程度で伝送できると思
われる。ところが従来の動画像は1.2Kビット/秒で、伝
送できしかも実用上問題の無い画質になるように高率に
圧縮する方式については検討されていなかった。
On the other hand, in the case of moving image transmission, the difference value between frames in the unchanged portion becomes small and the image quality improves when the frame cycle is repeated. It seems that it can be transmitted in about 60 seconds. However, conventional moving images have been studied at 1.2 Kbit / sec, and a method of compressing at a high rate so that the moving image can be transmitted and has practically no problem.

第5図は本発明方式の最も基本例となる特願昭59−1831
0号の全体構成を示したものである。同図において、ま
ずITVなどのカメラ1で撮像された映像信号を同期分離
回路2で同期信号と画像信号とに分離し、画像信号をA/
D変換器3で8ビットデータに変換し、アドレスカウン
タ4からのアドレスとスイッチ5とによって、2個のフ
レームメモリ6a6bのうち指定されたフレームメモリに書
き込まれる。スイッチ5は1フレーム分を書き込む毎に
フレームメモリ6a6bを交互に切り換えて、前画面と現画
面との差をとるためのものである。絶対値化回路7は両
画面の対応する画像データ(8ビット)の差から符号を
除去するか、あるいは2乗することにより差を絶対値化
するものである。射影計算回路8は各座標軸と平行な各
ライン毎に各画素の差の絶対値を累加算するものであ
り、第6図に示すように、X軸にはY軸と平行な各ライ
ン上の差の絶対値データの合計(あるいはそれを1ライ
ンの画素数で割ったもの)が射影され、Y軸にはX軸と
平行な各ライン上のデータの合計が射影される。変化領
域判定回路9は累加算値が第6図の変化検知設定レベル
を超えたラインに対応するXおよびYの各最小値および
最大値X1,X2とY1,Y2を検出して、 X1≦X≦X2かつY1≦Y≦Y2 で定まる変化領域を決定する。この変化領域内の画像情
報は圧縮符号化回路10で圧縮符号化されて、送信コント
ローラ11およびモデム12を介して電話回線15により狭帯
域伝送される。また累常判定回路13で予め設定されてい
る異常判定領域内のいずれかのラインの累加算値が第6
図に示した異常検知設定レベルを超えたときは、警報発
生回路14から警報信号が送り出される。受信側では伝送
信号がモデム16を介して受信コントローラ17で受信さ
れ、警報信号の場合は警報報知回路18へ送られてブザー
やランプで異常を報知する。画像情報の場合はまず変化
領域設定回路19に送られて変化領域(X1,Y1)(X2
Y2)が検出され、伸張復号化回路20で情報が伸張復号化
されて、フレームメモリ21に書き込まれる。フレームメ
モリ21の内容はアドレスカウンタ22により読み出され
て、D/A変換器23へ入力されると共に、この画像信号に
同期発生回路24からの周期信号が同期合成回路25で合成
されて、モニタTV26に表示される。
FIG. 5 shows a Japanese Patent Application No. 59-1831 which is the most basic example of the method of the present invention.
It shows the overall structure of No. 0. In the figure, first, a video signal captured by a camera 1 such as an ITV is separated into a sync signal and an image signal by a sync separation circuit 2, and the image signal is A /
It is converted into 8-bit data by the D converter 3, and is written into a designated frame memory among the two frame memories 6a6b by the address from the address counter 4 and the switch 5. The switch 5 is for alternately switching the frame memories 6a6b every time one frame is written to obtain the difference between the previous screen and the current screen. The absolute value conversion circuit 7 removes the sign from the difference between corresponding image data (8 bits) on both screens or squares the difference to convert the difference into an absolute value. The projection calculation circuit 8 cumulatively adds the absolute value of the difference of each pixel for each line parallel to each coordinate axis. As shown in FIG. 6, the X axis is on each line parallel to the Y axis. The total of the absolute value data of the difference (or it is divided by the number of pixels of one line) is projected, and the total of the data on each line parallel to the X axis is projected on the Y axis. The change area determination circuit 9 detects the minimum and maximum values X 1 , X 2 and Y 1 , Y 2 of X and Y corresponding to the line whose cumulative addition value exceeds the change detection setting level in FIG. , X 1 ≦ X ≦ X 2 and Y 1 ≦ Y ≦ Y 2 are determined. The image information in the change area is compression-encoded by the compression-encoding circuit 10 and narrow-band transmitted by the telephone line 15 via the transmission controller 11 and the modem 12. Further, the cumulative addition value of any line in the abnormality judgment area preset by the cumulative judgment circuit 13 is the sixth value.
When the abnormality detection set level shown in the figure is exceeded, an alarm signal is sent from the alarm generation circuit 14. On the receiving side, the transmission signal is received by the reception controller 17 via the modem 16, and in the case of an alarm signal, it is sent to the alarm notification circuit 18 to notify the abnormality by a buzzer or a lamp. In the case of image information, it is first sent to the change area setting circuit 19 and the change area (X 1 , Y 1 ) (X 2 ,
Y 2 ) is detected, the decompression decoding circuit 20 decompresses the information, and the information is written in the frame memory 21. The contents of the frame memory 21 are read by the address counter 22 and input to the D / A converter 23, and at the same time, the periodic signal from the synchronization generating circuit 24 is combined with this image signal by the synchronization combining circuit 25, and the result is monitored. Displayed on TV26.

第7図(a)は圧縮符号化回路10、同図(b)は伸張復
号化回路20の各具体回路を示したものである。(a)図
の圧縮符号化回路10は可変標本密度符号化回路と前値予
測回路とを組み合わせて構成した可変標本密度予測符号
化回路であり、前値予測回路27の外側の帰還ループ内に
可変標本密度方式による可変標本密度圧縮回路28および
可変標本密度伸張回路29を挿入し、さらに前値予測回路
27の内側の帰還ループ内に1ライン分のラインバッファ
30を設けて、このラインバッファ30と次のラインからの
標本値を用いて前値予測を行なうようにしたものであ
る。第7図(b)の可変標本伸張復号化回路20は可変標
本密度復号化回路と前値予測復号化回路とを組み合わせ
て構成した可変標本密度予測復号化回路であり、可変標
本密度方式による伸張回路31で伸張されたデータから標
本を復元するための予測回路32のループ内にラインバッ
ファ33を設けたものである。
FIG. 7A shows each concrete circuit of the compression encoding circuit 10 and FIG. 7B shows each concrete circuit of the decompression decoding circuit 20. The compression coding circuit 10 in the figure (a) is a variable sample density prediction coding circuit configured by combining a variable sample density coding circuit and a previous value prediction circuit, and is provided in a feedback loop outside the previous value prediction circuit 27. A variable sample density compression circuit 28 and a variable sample density decompression circuit 29 by the variable sample density method are inserted, and further, a previous value prediction circuit
Line buffer for 1 line in feedback loop inside 27
30 is provided, and the previous value prediction is performed using the line buffer 30 and the sampled value from the next line. The variable-sample-expansion decoding circuit 20 of FIG. 7B is a variable-sample-density prediction decoding circuit configured by combining a variable-sample-density decoding circuit and a previous-value prediction decoding circuit. The line buffer 33 is provided in the loop of the prediction circuit 32 for restoring the sample from the data expanded by the circuit 31.

第8図(a)および(b)は可変標本密度符号化方式の
1例を図解したもので、標本化の周期と標本値との関係
を三角形で規定し、この三角形を図示のように移動させ
て矢印で示した差分を伝送することにより、受信側では
この差分値と三角形とから標本化間隔が求まり原波形が
復元される。標本値の変動が小さい程標本化間隔が伸び
データが圧縮されるようになっている。
FIGS. 8 (a) and 8 (b) illustrate an example of the variable sampling density coding method. The relationship between the sampling period and the sample value is defined by a triangle, and the triangle is moved as shown. Then, by transmitting the difference indicated by the arrow, the sampling interval is obtained from the difference value and the triangle on the receiving side, and the original waveform is restored. The smaller the variation of the sample value, the longer the sampling interval and the more the data is compressed.

第9図は水平走査の画面を水平方向に前値予測し、垂直
方向に並んだ予測残差を垂直方向に可変標本密度符号化
する様子を示したものである。各画素の予測値は、ルー
プ内で可変標本密度復号化した前値予測残差をラインバ
ッファ30に保持されていた前値に加え、それに予測係数
を掛けたものである。実際には予測係数を1.0として乗
算は行なっていない。
FIG. 9 shows a state in which a previous value is predicted in the horizontal direction on a horizontal scanning screen, and prediction residuals arranged in the vertical direction are subjected to variable sample density coding in the vertical direction. The prediction value of each pixel is obtained by adding the previous value prediction residual, which has been subjected to variable sample density decoding in the loop, to the previous value held in the line buffer 30, and multiplying it by the prediction coefficient. Actually, the prediction coefficient is set to 1.0 and multiplication is not performed.

ところで上述の基本例を更に改良した方式を本発明者ら
は既に提案している。次にこの方式を説明する。第10図
はその回路構成の一例を示しており、同図(a)は送信
側に設けるフレーム間可変標本密度予測圧縮符号化回路
34を示し、同図(b)は本実施例の受信側に設けられる
フレーム間可変標本密度予測伸張復号化回路38を示した
ものである。フレーム間可変標本密度予測圧縮符号化回
路34はフレーム内可変標本密度予測圧縮符号化回路39
と、予測フレームバッファ35と、フレーム間前値予測回
路36とから構成され、標本を現画像フレームバッファ37
を介して取り込むようになっている。ここでハード構成
によりリアルタイム処理が可能になれば画像入力側の現
画像フレームバッファ37は不要となる。マイクロコンピ
ュータでソフト的に処理した場合には1フレームの処理
に秒オーダの時間を要するので、1画面分のフレームバ
ッファとして現画像フレームバッファ37を設けた。標本
はリニアスケールで、6ビット〜8ビットのディジタル
値で256×256画素の場合、1画素の標本周期を200nse c
としてある。而して撮像装置(図示せず)から現画像フ
レームバッファ37を介して入力する現画像の標本と、予
測フレームバッファ35の前画像予測領域35bに書き込ま
れている伝送済みの前画像からの予測画像の標本との差
分がフレーム間前値予測回路36の外側の帰還ループにあ
るフレーム内可変標本密度予測圧縮回路39に入り、圧縮
された符号が受信側に伝送される。このフレーム内可変
標本密度予測圧縮回路39は第7図(a)の圧縮符号化回
路10と同様な構成と動作をなすものであり、次のような
特徴を有する。つまり第9図に示したように2次元の冗
長度を除去し、しかも第8図に示すように標本の間隔が
予測残差が1/2になると2倍というように長くできるの
で、圧縮率を高くする事ができるものである。またこの
予測残差と標本間隔との関係は予測残差の増大に伴っ
て、標本間隔が短くなる1対1の対応関係(量子化特性
と称する)があり、予測残差のみを伝送すれば、受信側
で量子化特性に基づいて復号化できるため伝送情報量を
少なくすることができる。更にこの量子化特性の時間方
向の伸縮度合が予測残差が同じ時に標本間隔が長くなる
ように制御すれば圧縮の度合が高くなるようにできる。
更にまたこの量子化特性の振幅方向の量子化は予測残差
の分布に応じて小さな残差に成る程密になるように非線
形に量子化するが、これは視覚特性に合わせて変化の大
きなところを粗く、小さなところを密に量子化すること
に相当するいうことになり、量子化特性の形を時間軸に
対して短くすると、DPCMに近くなるものである。しかも
第9図に示したように2次元的に冗長度を除くために予
測残差が小さくなって圧縮率を高くすることができ、第
9図に示した前値予測の方向に予測残差がラインごとに
求められるため、冗長度以上に圧縮した場合でも主な輪
郭を乱されず、細かい部分が伝送されなくなるので、画
像の輪郭が単に画素を少なくした場合よりも、元の輪郭
を正確に伝送できるという特徴がある。そして“可変標
本密度符号化の一方式”、電子通信学会論文誌'75/2 Vo
l58 A No 2、P97(1975)に述べられているように可変
標本密度符号化方式は特に小さな変化が少ない信号に対
して有利で、画像信号のフレーム差分信号にこれを適用
することにより、更に大幅な帯域圧縮ができるという特
徴があり、フレーム間の加えた3次元の予測によれば冗
長度以上に圧縮率を高くしても、主要な輪郭情報を伝送
することができることになる。
The present inventors have already proposed a method in which the above basic example is further improved. Next, this method will be described. FIG. 10 shows an example of the circuit configuration. FIG. 10A shows an inter-frame variable sample density predictive compression coding circuit provided on the transmission side.
34, and FIG. 14B shows an inter-frame variable sample density predictive decompression / decoding circuit 38 provided on the receiving side of the present embodiment. The inter-frame variable sample density predictive compression encoding circuit 34 is an intra-frame variable sample density predictive compression encoding circuit 39.
, A prediction frame buffer 35, and an inter-frame previous value prediction circuit 36, and a sample is stored in the current image frame buffer 37.
It is designed to be taken in via. If the hardware configuration enables real-time processing, the current image frame buffer 37 on the image input side becomes unnecessary. Since the processing of one frame requires a time on the order of seconds when processed by a microcomputer, the current image frame buffer 37 is provided as a frame buffer for one screen. The sample is a linear scale, and if it is a digital value of 6 bits to 8 bits and 256 × 256 pixels, the sampling period of 1 pixel is 200 nse c
There is. Thus, a sample of the current image input from the image pickup device (not shown) via the current image frame buffer 37 and prediction from the transmitted previous image written in the previous image prediction area 35b of the prediction frame buffer 35 The difference from the image sample enters the intra-frame variable sample density prediction compression circuit 39 in the feedback loop outside the inter-frame prior value prediction circuit 36, and the compressed code is transmitted to the reception side. This intra-frame variable sample density prediction compression circuit 39 has the same structure and operation as the compression encoding circuit 10 of FIG. 7 (a), and has the following features. In other words, as shown in FIG. 9, the two-dimensional redundancy is removed, and as shown in FIG. 8, the interval between samples can be doubled when the prediction residual becomes 1/2. Can be raised. In addition, the relationship between the prediction residual and the sampling interval has a one-to-one correspondence (called a quantization characteristic) in which the sampling interval becomes shorter as the prediction residual increases, and if only the prediction residual is transmitted. Since the receiving side can perform decoding based on the quantization characteristic, the amount of transmission information can be reduced. Furthermore, if the degree of expansion / contraction of the quantization characteristic in the time direction is controlled so that the sampling interval becomes longer when the prediction residuals are the same, the degree of compression can be increased.
Furthermore, the quantization in the amplitude direction of this quantization characteristic is nonlinearly quantized according to the distribution of the prediction residual so that the smaller the residual becomes, the denser it becomes. It is equivalent to quantizing a rough and small part densely, and if the shape of the quantization characteristic is shortened with respect to the time axis, it becomes close to DPCM. Moreover, as shown in FIG. 9, since the redundancy is removed two-dimensionally, the prediction residual can be reduced and the compression rate can be increased, and the prediction residual in the direction of the previous value prediction shown in FIG. Since it is calculated for each line, the main contour is not disturbed even when compressed to more than the redundancy and the fine details are not transmitted.Therefore, the contour of the image is more accurate than the original contour with less pixels. There is a feature that can be transmitted to. And "One Method of Variable Sampling Density Coding", IEICE Transactions '75 / 2 Vo
As described in l58 A No 2, P97 (1975), the variable sampling density coding method is particularly advantageous for a signal with a small change, and by applying it to the frame difference signal of the image signal, It has a characteristic of being able to perform a large band compression, and according to the three-dimensional prediction added between frames, even if the compression rate is higher than the redundancy, the main contour information can be transmitted.

さてフレーム内可変標本密度予測圧縮符号化回路39の外
側の帰還ループでは受信側と同様に可変標本密度伸張回
路29により伸張(復号)され、フレーム間可変標本密度
予測圧縮符号化回路34の外側の帰還ループで、フレーム
間可変標本密度予測圧縮符号化回路34の内側の帰還ルー
プからの上述した前画像の予測値と加算することによっ
て、受信側と同様に伸張(復号)されて、予測フレーム
バッファ35の現画像予測値領域35aに格納される。従っ
てフレーム間、フレーム内の複合予測で3次元的に冗長
度を除き、しかも可変標本密度符号化により伝送標本数
が少なくなっているため高効率の圧縮が可能となるので
ある。さらに送信側で受信側と同じ予測画像を前フレー
ムの画像として用いているので、伝送誤差を予測残差と
して伝送するから、静止している部分はフレーム周期を
繰り返すことにより現画像に漸近的に近付くので、先の
静止画像伝送に比べて緩やかな変化に対しては画質の良
い画像が早く送れることになり、しかも急激な変化でも
主要な輪郭情報を失うことなく概略画像を短時間に伝送
できることになる。可変標本密度符号化の量子化特性で
は振幅の量子化レベルは予測残差が小さいほど圧縮率が
高く、しかも画質が良くなる。このため対象の監視画像
のフレーム間相関に合わせたフレーム間前値予測回路36
の予測係数に設定することが望ましい。この点はフレー
ム内の前値予測回路27についても同様である。特にフレ
ーム間前値予測回路36の内側の帰還ループに第10図
(a)のようにラインバッファ40を設けると、予測フレ
ームバッファ35の予測値は受信側と同じになる。この場
合、モニタTV26で予測フレームバッファ35の内容を見
て、静止画像(1フレーム)の伝送が最適の画像となる
ようにフレーム間前値予測回路36、前値予測回路27の予
測係数を0.6、0.7、0.8、0.9、1.0といった中から選択
するようにしてある。この結果より良い画質の画像を早
く伝送することができる。
In the feedback loop outside the intra-frame variable sample density predictive compression coding circuit 39, the variable sample density expansion circuit 29 expands (decodes) in the same way as the receiving side, and the outside of the inter-frame variable sample density predictive compression coding circuit 34. In the feedback loop, by adding with the above-described predicted value of the previous image from the feedback loop inside the inter-frame variable sample density predictive compression encoding circuit 34, it is expanded (decoded) in the same manner as the receiving side, and the predicted frame buffer is obtained. It is stored in the current image predicted value area 35a of 35. Therefore, since the redundancy is three-dimensionally removed by inter-frame and intra-frame composite prediction, and the number of transmission samples is reduced by the variable sample density coding, highly efficient compression is possible. Furthermore, since the transmitting side uses the same predicted image as the receiving side as the image of the previous frame, the transmission error is transmitted as the prediction residual, so the stationary part asymptotically becomes the current image by repeating the frame period. Since it approaches, it is possible to send an image with good image quality faster for a gentle change compared to the previous still image transfer, and it is possible to transfer a rough image in a short time without losing the main contour information even for a sudden change. become. In the quantization characteristics of variable sample density encoding, the smaller the prediction residual of the amplitude quantization level, the higher the compression rate and the better the image quality. Therefore, the inter-frame previous value prediction circuit 36 that matches the inter-frame correlation of the target monitoring image
It is desirable to set the prediction coefficient of. This also applies to the previous value prediction circuit 27 in the frame. In particular, when the line buffer 40 is provided in the feedback loop inside the inter-frame previous value prediction circuit 36 as shown in FIG. 10 (a), the predicted value of the predicted frame buffer 35 becomes the same as that on the receiving side. In this case, looking at the contents of the prediction frame buffer 35 on the monitor TV 26, the prediction coefficients of the inter-frame previous value prediction circuit 36 and the previous value prediction circuit 27 are set to 0.6 so that the transmission of a still image (one frame) becomes the optimum image. , 0.7, 0.8, 0.9, 1.0 and so on. As a result, an image with better image quality can be transmitted faster.

第10図(b)に示す受信側のフレーム間可変標本密度予
測伸張復号化回路38は第7図(b)に示す伸張復号化回
路20と同等のフレーム内可変標本密度予測伸張復号化回
路41と、現画像予測領域42a、前画像予測領域42bを持つ
予測フレームバッファ42と、フレーム間前値予測回路43
とからなり、伝送された符号を復号して標本を復元す
る。尚送信側と同様に各予測回路32、43の予測係数が選
択できるようになっている。
The inter-frame variable sample density predictive decompression / decoding circuit 38 on the receiving side shown in FIG. 10 (b) is the same as the decompressing / decoding circuit 20 shown in FIG. 7 (b). A prediction frame buffer 42 having a current image prediction region 42a and a previous image prediction region 42b, and an inter-frame previous value prediction circuit 43.
, And decodes the transmitted code to restore the sample. The prediction coefficients of the prediction circuits 32 and 43 can be selected similarly to the transmitting side.

第10図(c)はフレーム間可変標本密度予測圧縮符号化
回路34の別の例を示しており、この例では予測フレーム
バッファ35の内容はフレーム間前値予測回路36で予測係
数が掛かったものとなっている。
FIG. 10 (c) shows another example of the inter-frame variable sample density predictive compression encoding circuit 34. In this example, the content of the prediction frame buffer 35 is multiplied by the prediction coefficient in the inter-frame previous value prediction circuit 36. It has become a thing.

〔発明の目的〕[Object of the Invention]

本発明は上述の問題点に鑑みて為されたもので、画像の
フレーム間の変化の有意と判断できるレベル以上のもの
のみに限定して、フレーム周期を短くして変化量の多い
場合でも、概略を短時間に伝送することができる画像伝
送方法を提供することを目的とし、併せて変化量がすく
なくなれば変化した画素のデータを効率良く伝送するこ
とができる画像伝送方法を提供するにある。
The present invention has been made in view of the above-mentioned problems, and is limited to only a level at which it can be determined that the change between frames of an image is significant, even when the frame period is short and the amount of change is large. An object of the present invention is to provide an image transmission method capable of transmitting an outline in a short time, and at the same time, to provide an image transmission method capable of efficiently transmitting changed pixel data when the amount of change is small. .

〔発明の開示〕[Disclosure of Invention]

実施例1 第1図(a),(b)の本発明の実施例の送信側の回路
と受信側の回路を示しており、外部同期型のTVカメラ1
は同期信号発生回路44より同期信号を得、画像伝送はシ
ーケンサ45で制御管理され、新しい画像を伝送する場合
に64×64画素の画像→128×128画素の画像→256×256画
素の画像というように粗い画像より細かい画像に徐々に
画質を改善し、変化の様子をできるだけ早く伝えること
ができるようになっている。この場合伝送画素数、圧縮
パラメータ(後述の圧縮モードの選択に必要)や、全画
面/変化部分選択などのパラメータをパラメータテーブ
ル46より得ている。TVカメラ1からの映像信号はA/D変
換器3でディジタル値(通常6乃至8ビット)に変換さ
れアドレスカウンタ4で示されるフレームメモリ6に書
き込まれる。実施例では256×256画素を標準としてい
る。フレームメモリ6はCPUのような演算制御回路47に
よりアクセスされるようになっており、アドレスセレク
タ50は演算制御回路47のアドレスデータかアドレスカウ
ンタ4からのアドレスデータかを切り換える為のもので
ある。フレームメモリ6から出力する現画像標本は現画
像フレームバッファ37に取り込まれる。この現画像フレ
ームバッファ37は上記フレームメモリ6と共用できるも
のであるが、実施例ではTVカメラ1を複数台使用する場
合を考慮して別にしてある。この現画像フレームバッフ
ァ37に書き込まれた現画像のデータは次の変化検知回路
48にて伝送済みの前画像に対して変化したのかどうかと
基準の背景画像に対して変化したのかどうかの2段階の
検定がなされる。前画像データバッファ49は該検定に使
用する伝送済みの前画像(予測画像ではない)のデータ
を書き込むバッファであり、基準画像データバッファ51
は上述の基準となる変化のない背景画像のデータを書き
込むバッファである。無論前画像に対する変化検知のみ
の設定でもよく、この場合の方が基準の背景画像に対す
るものと比べてフレーム間残差は小さくなる。
Embodiment 1 Shows a circuit on the transmitting side and a circuit on the receiving side in the embodiment of the present invention shown in FIGS.
The sync signal is obtained from the sync signal generation circuit 44, and image transmission is controlled and controlled by the sequencer 45. When transmitting a new image, it is called a 64 × 64 pixel image → 128 × 128 pixel image → 256 × 256 pixel image. As described above, the image quality is gradually improved from a coarse image to a fine image, and the state of change can be transmitted as soon as possible. In this case, parameters such as the number of pixels to be transmitted, a compression parameter (necessary for selecting a compression mode described later), and full screen / changed part selection are obtained from the parameter table 46. The video signal from the TV camera 1 is converted into a digital value (usually 6 to 8 bits) by the A / D converter 3 and written in the frame memory 6 indicated by the address counter 4. In the embodiment, the standard is 256 × 256 pixels. The frame memory 6 is accessed by an arithmetic control circuit 47 such as a CPU, and the address selector 50 is for switching between the address data of the arithmetic control circuit 47 and the address data from the address counter 4. The current image sample output from the frame memory 6 is loaded into the current image frame buffer 37. The current image frame buffer 37 can be shared with the frame memory 6, but in the embodiment, it is separately provided in consideration of the case of using a plurality of TV cameras 1. The data of the current image written in the current image frame buffer 37 is the next change detection circuit.
At 48, a two-step test is performed to determine whether it has changed with respect to the transmitted previous image and whether it has changed with respect to the reference background image. The previous image data buffer 49 is a buffer for writing the data of the transmitted previous image (not the predicted image) used for the test, and the reference image data buffer 51.
Is a buffer for writing the background image data that does not change and serves as the above-mentioned reference. Of course, only the change detection for the previous image may be set, and in this case, the inter-frame residual is smaller than that for the reference background image.

第2図は変化検知回路73の変化検定にかかる動作のフロ
ーチャートを示しており、このフローチャートから分か
るようにシーケンス制御が為され、例えばにて前画像デ
ータバッファ49から前画面(予測画像ではない原面レベ
ルの画像を例えば4画素ごとに抜き取ったもの)と現画
面の対応する画素の差の絶対値で各画素毎の変化の大き
さを順次求める。そして次に画素毎の変化の大きさが予
め定めた第1の基準値R1を超えているか否かを検定し、
X座標及びY座標への変化の大きさの累加算値(射影
[投影])を求め、この累加算値が第2の基準値R2より
大きな矩形領域の座標(X1,Y1)(X2,Y2)を第6図の
場合と同様に求める。この変化領域の座標は最終的には
前画像に対するものか、基準となる背景画像に対するも
のかを指定でき、変化検知のシーケンスを最初に基準と
なる背景画像、次に前画像とすると前画像に対する座標
が得られる。さて次に求めた変化領域が予め定めた第3
の基準値R3よりも大きいか否かを検定し、該基準値R3
りも大きなときに変化有りと判定して、その判定結果と
変化領域の座標データを出力するのである。この結果出
力は圧縮方式切換回路52に取り込まれ、圧縮方式切換回
路52はその変化領域の大きさ或いは変化画素数に応じて
後述のように圧縮方式を切り換えられる。
FIG. 2 shows a flow chart of the operation relating to the change verification of the change detection circuit 73. As can be seen from this flow chart, sequence control is performed. The magnitude of the change for each pixel is sequentially obtained by the absolute value of the difference between the surface level image (for example, extracted every four pixels) and the corresponding pixel on the current screen. Then, it is examined whether or not the magnitude of the change for each pixel exceeds a predetermined first reference value R 1 .
The cumulative addition value (projection [projection]) of the magnitude of the change to the X coordinate and the Y coordinate is obtained, and the cumulative addition value is larger than the second reference value R 2 The coordinates (X 1 , Y 1 ) ( X 2 , Y 2 ) is calculated in the same way as in the case of FIG. It is possible to specify whether the coordinates of this change area are finally for the previous image or for the reference background image. If the change detection sequence is first for the reference background image, then for the previous image, then for the previous image. The coordinates are obtained. Now, the change area obtained next is the third predetermined area.
Is larger than the reference value R 3 , and when larger than the reference value R 3 , it is determined that there is a change, and the determination result and the coordinate data of the changed area are output. As a result, the output is fetched by the compression method switching circuit 52, and the compression method switching circuit 52 can switch the compression method according to the size of the changing area or the number of changing pixels, as described later.

尚変化の有無の基準値R3とは別に変換領域を求めるため
に別の基準値R3′(R3′=1/2・R3としてもよい)に分
ける方が夫々を最適にできる。
It should be noted that, in order to obtain the conversion area separately from the reference value R 3 indicating the presence or absence of change, it is possible to optimize each by dividing it into another reference value R 3 ′ (R 3 ′ = 1/2 · R 3 ).

変化画素判定回路53は現画像フレームバッファ37からの
現画像フレームと伝送済みの前画像に基づく1次予測部
54の予測画像フレームバッファ55の予測画像フレームと
の間のフレーム間残差が予め定めた第4の基準値±R4
上(差の絶対値がR4以上)の時に変化画素とし、R4未満
なら零画素として扱い、1ラインが総て零画素のときに
は零ラインとして扱うになっている。第3図は上述の検
定の説明図であって、同図(a)はフレーム間残差を、
同図(b)は検定後のフレーム間残差を示している。こ
こで基準値R4は変化検知に用いた基準値R1に対して小さ
く設定しており、このことにより変化検知による変化領
域の矩形領域よりはみ出した部分も変化画素として伝送
できると共に、この矩形領域の中の多くの零画素を伝送
しないようにできるのである。つまり変化検知の感度を
低くし、例えば監視する部屋の明るさの変化や、TVカメ
ラ1の自動絞りによる影響を小さくするとともに画像伝
送のための変化画素の抽出の欠落を無くす事ができるの
である。ここで基準値R1は変化の有無に最適な値とし、
基準値R4は変化画素の判定に最適な値に設定するのは勿
論である。
The changed pixel determination circuit 53 is a primary prediction unit based on the current image frame from the current image frame buffer 37 and the transmitted previous image.
When the inter-frame residual between the predicted image frame buffer 54 and the predicted image frame of the 55 is a predetermined fourth reference value ± R 4 or more (absolute value of the difference is R 4 or more), the pixel is changed and R 4 If it is less than zero, it is treated as a zero pixel, and if one line is all zero pixels, it is treated as a zero line. FIG. 3 is an explanatory diagram of the above-described test, and FIG. 3A shows the inter-frame residual,
The same figure (b) has shown the residual between frames after a test. Here, the reference value R 4 is set to be smaller than the reference value R 1 used for the change detection, which allows the portion outside the rectangular area of the change area by the change detection to be transmitted as a change pixel, and this rectangle It is possible to avoid transmitting many zero pixels in the area. That is, the sensitivity of change detection can be lowered, for example, the change in the brightness of the room to be monitored and the influence of the automatic aperture of the TV camera 1 can be reduced, and the lack of extraction of changed pixels for image transmission can be eliminated. . Here, the reference value R 1 is an optimum value with or without change,
Needless to say, the reference value R 4 is set to an optimum value for determining the changed pixel.

さて変化画素判定回路53における変化画素判定では変化
画素/零画素を論理値1/0に夫々対応させて2値画像と
して画像の連結の有無により孤立点を縮退除去し、変化
画素の中の孤立点的な零画素は変化画素を伝播させて除
去することにより変化領域を効率よく且つ正しく伝送で
きるようにしており、このため回路内には2値画像フレ
ームバッファとつながり検出による孤立点除去の論理演
算開路を内蔵してある。圧縮方式切換回路52は変化領域
が前画面の何パーセントであるかを判定して圧縮方式を
選択切換させるためもので、判定基準値として、50%
と、20%とを設定しており、変化検知で得られた矩形領
域の広さ(巾)によって変化画素が20%より少ない場合
には零画素、零ライン圧縮、伸張を行い、20%以上の場
合には可変標本密度圧縮伸張で、予測符号化(対数圧
縮)と時間方向の圧縮を表1,表2のような量子化特性に
よって行う。第1図実施例では圧縮標本密度圧縮伸張を
20%以上で50%までの範囲に適用する場合はフレーム間
残差を1次元方向に圧縮し、50%を超えるときは全画面
のフレーム間残差を2次元方向に圧縮する。この1次、
2次の切り換えは2次予測部を設けた場合に行うわけ
で、第1図実施例では2次予測部56を設けており2次予
測が行えるようになっている。ここで第1次予測部54は
フレーム前値予測回路57を上記予測画像フレームバッフ
ァ55とを備え、可変標本密度圧縮回路28′と可変標本密
度伸張回路29′とで1次のフレーム間可変標本密度予測
符号化回路を構成し、また2次予測部56は予測フレーム
バッファを含んだ前値予測回路58と予測残差ラインバッ
ファ59とから構成され、上記フレーム内可変標本密度予
測符号化回路と組み合わせて2次のフレーム間可変標本
密度予測伸張復号化回路と同等の回路を構成する。
Now, in the change pixel determination in the change pixel determination circuit 53, the change pixel / zero pixel is made to correspond to the logical value 1/0, respectively, and the isolated point is degenerated and removed by the presence / absence of image connection as a binary image, so that the isolated pixel in the change pixel is isolated. The dotted zero pixels propagate the changed pixels and remove them so that the changed area can be transmitted efficiently and correctly. Therefore, in the circuit, a binary image frame buffer and a logic for removing isolated points by connection detection are provided. Built-in arithmetic circuit. The compression method switching circuit 52 is for determining which percentage of the previous screen is in the change area and selectively switching the compression method.
And 20% are set, and if the number of changed pixels is less than 20% due to the width (width) of the rectangular area obtained by change detection, zero pixels, zero line compression and expansion are performed, and 20% or more. In this case, the variable sample density compression / expansion is used to perform predictive coding (logarithmic compression) and compression in the time direction according to the quantization characteristics shown in Tables 1 and 2. In the embodiment shown in FIG.
When applied to the range of 20% or more and up to 50%, the inter-frame residual is compressed in the one-dimensional direction, and when it exceeds 50%, the inter-frame residual of the entire screen is compressed in the two-dimensional direction. This primary
The secondary switching is performed when the secondary predictor is provided. In the embodiment of FIG. 1, the secondary predictor 56 is provided so that the secondary prediction can be performed. Here, the primary prediction unit 54 includes a frame pre-value prediction circuit 57 and the predicted image frame buffer 55, and a variable sample density compression circuit 28 'and a variable sample density decompression circuit 29' provide a primary inter-frame variable sample. The secondary prediction unit 56 is composed of a predictive value prediction circuit 58 including a prediction frame buffer and a prediction residual line buffer 59, and the intra-frame variable sample density prediction coding circuit. Combined to form a circuit equivalent to the secondary inter-frame variable sample density predictive decompression decoding circuit.

而して上述の圧縮方式切換回路52において変化画素数が
20%より少ないと判定されると、例えば表4に基づいて
零画素、零ラインの符号化圧縮方式により現画像フレー
ムを圧縮して伝送させるわけである。つまり変化画素ラ
インバッファ60に取り込まれたデータを零画素・零ライ
ン圧縮回路61により8ビットコードにて表4のように上
位2ビットが“00"のとき変化画素、“01"のとき零画素
の数、“10"のとき零ラインの数、“11"のときライン終
了コード或いはフレームの終了コードが続くことを示
し、下位6ビットに変化画素のフレーム間残差の符号付
6ビットのデータ若しくは変化画素の上位6ビットのデ
ータ、或いは零画素、零ラインの数又はライン終了コー
ド、フレーム終了コードを入れる。この場合変化領域が
10%程度の狭いときに変化画素の情報を忠実に伝送する
ことができる。尚同時に伸張回路62によりフレーム前値
予測回路56において予測した予測画像の零でない画素の
値を現画像の値に置き換える。
Thus, in the compression method switching circuit 52 described above, the number of changed pixels is
If it is determined to be less than 20%, the current image frame is compressed and transmitted by the coding compression method of zero pixels and zero lines based on Table 4, for example. That is, the data taken into the change pixel line buffer 60 is converted into an 8-bit code by the zero pixel / zero line compression circuit 61 when the upper 2 bits are “00” as shown in Table 4, and when the value is “01”, the change pixel is zero pixel. Number, the number of zero lines when "10", and the line end code or the frame end code when "11" are continued, and the lower 6 bits are the signed 6-bit data of the inter-frame residual of the change pixel. Alternatively, the upper 6-bit data of the changed pixel, the number of zero pixels, the number of zero lines, the line end code, or the frame end code is inserted. In this case, the change area is
It is possible to faithfully transmit the information of the changing pixel when the width is narrow at about 10%. At the same time, the decompression circuit 62 replaces the value of the non-zero pixel of the predicted image predicted by the previous frame value prediction circuit 56 with the value of the current image.

次に変化画素数が20%を越える場合圧縮方式切換回路52
の信号により切換部63,64,65により信号の流れを切り換
え、またその範囲が50%を越えない場合には1次・2次
切換回路66は2次予測部56を切り離し、50%以上の場合
は該2次予測部56を接続するのである。そして夫々の場
合においてフレーム間残差の可変標本密度圧縮符号化が
行なわれる。この場合フレーム間残差の画素間の相関が
小さいために、表2のような時間差値の小さな量子化特
性を使う。つまり表1の場合量子化レベルが「7」の場
合時間差値が8で、量子化レベル6,8のときの時間差値
が4であるため急激な画像変化(エッジ)が最大で4画
素分の位置誤差を生じるが表2の場合最大で1画素しか
位置誤差を生じない。
Next, when the number of changed pixels exceeds 20% Compression method switching circuit 52
Signal switching by the switching units 63, 64, 65, and when the range does not exceed 50%, the primary / secondary switching circuit 66 disconnects the secondary predicting unit 56, and if the range exceeds 50%. In this case, the secondary prediction unit 56 is connected. In each case, the variable sample density compression coding of the inter-frame residual is performed. In this case, since the correlation between pixels of the inter-frame residual is small, the quantization characteristic with a small time difference value as shown in Table 2 is used. That is, in the case of Table 1, the time difference value is 8 when the quantization level is “7”, and the time difference value is 4 when the quantization level is 6, 8; Although a position error is generated, in the case of Table 2, only a maximum of 1 pixel causes a position error.

符号圧縮回路68は例えば表3のように、表2のような振
幅差値が0のときの時間差値が2の場合でも、零画素、
零ラインで振幅差値が0の符号を圧縮できるように符号
圧縮を行って伝送効率を良くするもので、得られた符号
には符号ヘッダ作成回路67で伝送画素数、圧縮パラメー
タや全画/変化部分選択を示すための符号ヘッダをフレ
ーム毎に付されてパケットデータ編集回路66を介して通
信データとしで伝送される。尚符号圧縮回路68において
符号量を判定して多い場合再度圧縮方式の切換を行うよ
うにしてもよい。第1図(b)は第1図(a)の送信側
に対応する実施例受信側の復号回路を示しており、伝送
されてきた通信データはパケットデータ分離回路69で伝
送画素数、圧縮パラメータ、全画/変化部分選択の符号
を分離してパラメータテーブル70に取り込み、零画素、
零ラインの個数伝送か、フレーム間残差の伝送かを示す
データを圧縮方式切換回路71に入力し、該圧縮方式切換
回路71からの切換制御によって切換部72,73を動作させ
信号を夫々に対応する伸張回路74、75に振り分けてい
る。又変化画素数に対応する圧縮方式に対応して1次・
2次切換回路85により、1次のフレーム間可変標本密度
予測圧縮伸張復号化回路か2次のフレーム間可変標本密
度予測圧縮伸張復号化回路を構成させるかを切り換え、
1次予測部76と2次予測部77との接続切換を行うように
なっている。1次予測部77はフレーム間予測回路78と予
測画像フレームバッファ79とから構成され、また2次予
測部77は予測回路80と予測残差ラインバッファ81とから
構成されている。さて復号された画像データは表示画像
フレームバッファ82を介して表示装置84で画像表示さ
れ、また保存画像メモリ83により記憶保存されるのであ
る。
Even if the time difference value when the amplitude difference value is 0 as shown in Table 2 is 2 as shown in Table 3 for example, the code compression circuit 68 has zero pixels,
Code compression is performed so that a code having an amplitude difference value of 0 on a zero line can be compressed to improve transmission efficiency. The number of pixels to be transmitted, the compression parameter and the total image / A code header for indicating the changed portion selection is added to each frame and transmitted as communication data via the packet data editing circuit 66. The code compression circuit 68 may determine the code amount, and if the code amount is large, the compression method may be switched again. FIG. 1 (b) shows a decoding circuit on the receiving side of the embodiment corresponding to the transmitting side of FIG. 1 (a). The transmitted communication data is transmitted by the packet data separation circuit 69 to the number of transmission pixels and compression parameters. , The whole image / change part selection code is separated and loaded into the parameter table 70,
Data indicating the transmission of the number of zero lines or the transmission of the residual between frames is input to the compression system switching circuit 71, and the switching units 72 and 73 are operated by the switching control from the compression system switching circuit 71 to output signals respectively. It is distributed to the corresponding expansion circuits 74 and 75. In addition, the first-order
The secondary switching circuit 85 switches between configuring a primary inter-frame variable sample density predictive compression / decompression decoding circuit or a secondary inter-frame variable sample density predictive compression / decompression decoding circuit,
The connection between the primary prediction unit 76 and the secondary prediction unit 77 is switched. The primary prediction unit 77 is composed of an inter-frame prediction circuit 78 and a prediction image frame buffer 79, and the secondary prediction unit 77 is composed of a prediction circuit 80 and a prediction residual line buffer 81. The decoded image data is displayed as an image on the display device 84 via the display image frame buffer 82, and stored and stored in the stored image memory 83.

実施例2 上記実施例1は変化画素数を3段階分け、フレーム間残
差を伝送する場合1次、2次の予測圧縮符号化を行って
いたが、1次のみの場合が本実施例で、圧縮符号化及び
復号化の回路は第4図(a)、(b)に示すように構成
される。尚第1図回路と共通の記号番号のものは同様な
構成及び動作を為すものである。
Second Embodiment In the first embodiment, the number of changed pixels is divided into three stages, and primary and secondary predictive compression encoding is performed when transmitting the inter-frame residual. However, in the present embodiment, only the primary compression is performed. The compression encoding and decoding circuits are configured as shown in FIGS. 4 (a) and 4 (b). The same reference numerals as those in the circuit of FIG. 1 have the same configuration and operation.

尚全画伝送の場合は可変標本密度圧縮回路28′と伸張回
路29′と2次予測部56を通すが変化画素の判定は行わな
い。
In the case of full image transmission, the variable sample density compression circuit 28 ', the expansion circuit 29', and the secondary prediction unit 56 are passed, but the change pixel is not determined.

〔発明の効果〕〔The invention's effect〕

本発明は伝送済みの前画像フレームを基準画像とし、こ
の基準画面の画像フレームと現画像フレームとの差を求
めて変化のあった領域の画像のみを情報圧縮して狭帯域
伝送するものであるから、受信側は前画像のみで、固定
された背景画像が無いことを特徴とし、伝送済みの前画
像フレームと現画像フレームとの比較によるため毎回の
伝送量に変動が少なく、フレーム更新周期をほとんど一
定レベル以下に短く保つことができるものであって、し
かも各画素の濃度情報をNビット(Nは整数)の画素デ
ータとして伝送するにあたり、各画素の基準画面との差
の大きさを求める過程と、この求めた差の大きさが変化
検知に有意と見なせる第1の基準値以下のときに差の大
きさを零とするところの画素毎の変化の大きさを検定す
る過程と、各画素毎の変化の大きさを検定した結果から
各ライン毎に各画素の大きさをX,Yの各方向に累加算す
る過程と、第2の基準値を超えた累積加算値の内、X,Y
の方向において夫々の最小値及び最大値を検出する過程
と、各最小値及び最大値で定まる矩形領域の大きさが、
第3の基準値を超えるときに変化有りと判定する過程
と、上記画像情報を伝送する過程を現画像フレームと伝
送済みの前画像フレームに基づく予測値との誤差である
フレーム間残差が上記第1の基準値より小さい第4の基
準値を超えた現画像フレームの画素の値を伝送する過程
と構成され、フレーム間残差が上記第4の基準値より小
さな画素のフレーム間残差を零としてフレーム内の可変
標本密度符号化により伝送するので、変化検知及び変化
領域の検知が的確に行われ、その上変化検知の感度を低
くし、部屋の明るさの変化やTVカメラの自動絞りによる
影響を小さくすることができ、また変化画素の孤立点除
去により画像伝送の為の変化画素の抽出の歯抜けを無く
すことが出来、変化流域の画質が良くなるという効果が
ある。
The present invention uses the transmitted previous image frame as a reference image, obtains the difference between the image frame of the reference screen and the current image frame, and compresses only the image of the changed area for narrow band transmission. Therefore, the receiving side has only the previous image and there is no fixed background image.Because it compares the previous image frame and the current image frame that have already been transmitted, there is little fluctuation in the amount of transmission each time, and the frame update cycle is It can be kept short below a certain level, and when the density information of each pixel is transmitted as N-bit (N is an integer) pixel data, the magnitude of the difference between each pixel and the reference screen is obtained. And a step of testing the magnitude of change for each pixel where the magnitude of the difference is zero when the magnitude of the obtained difference is less than or equal to a first reference value that can be regarded as significant for change detection, Pixel A step of adding the size of each pixel size of the change from the results of the assay for each line X, in each direction of the Y accumulated among the accumulated value exceeds the second reference value, X, Y
The process of detecting the respective minimum and maximum values in the direction of, and the size of the rectangular area determined by the respective minimum and maximum values,
In the process of determining that there is a change when the third reference value is exceeded and the process of transmitting the image information, the inter-frame residual error, which is an error between the current image frame and the predicted value based on the transmitted previous image frame, is described above. The process comprises transmitting a pixel value of a current image frame that is smaller than a first reference value and exceeds a fourth reference value, and detects an interframe residual error of a pixel whose interframe residual is smaller than the fourth reference value. Since it is transmitted by variable sampling density encoding within the frame as zero, change detection and change area detection are performed accurately, and the sensitivity of change detection is reduced, and changes in room brightness and automatic aperture of TV cameras are performed. The effect of can be reduced, and the removal of the isolated points of the changed pixels can eliminate the omission of the extracted changed pixels for image transmission, thus improving the image quality in the changed basin.

【図面の簡単な説明】[Brief description of drawings]

第1図(a)は本発明の実施例1の送信側の回路構成
図、第1図(b)は同上の受信側の回路構成図、第2図
は同上の動作説明用フローチャート、第3図は同上の動
作説明用のタイムチャート、第4図(a)は本発明の実
施例2の送信側の要部回路構成図、第4図(b)は同上
の受信側の要部回路構成図、第5図は従来例の回路構成
図、第6図は同上の動作説明図、第7図(a)(b)は
同上の要部回路構成図、第8図(a)(b)は可変標本
密度符号化方式の説明図、第9図は可変標本密度予測符
号化方式の説明図、第10図(a)(b)はフレーム間可
変標本密度予測圧縮符号化回路,フレーム間可変標本密
度予測伸張復号化回路の回路構成図、第10図(c)は別
のフレーム間可変標本密度予測圧縮符号化回路の回路構
成図であり、48は変化検知回路、52は圧縮方式切換回
路、53は変化画素判定回路、54は1次予測部、56は2次
予測部、R1乃至R4は基準値である。
FIG. 1 (a) is a circuit configuration diagram on the transmitting side according to the first embodiment of the present invention, FIG. 1 (b) is a circuit configuration diagram on the receiving side, and FIG. FIG. 4 is a time chart for explaining the operation of the above, FIG. 4 (a) is a circuit diagram of a main circuit on the transmitting side according to the second embodiment of the present invention, and FIG. 4 (b) is a circuit diagram of the main circuit on the receiving side. 5 and 5 are circuit configuration diagrams of a conventional example, FIG. 6 is an operation explanatory diagram of the same as above, FIGS. 7 (a) and 7 (b) are main circuit configuration diagrams of the same as above, and FIGS. Is an explanatory diagram of the variable sample density coding system, FIG. 9 is an explanatory diagram of the variable sample density predictive coding system, and FIGS. 10A and 10B are interframe variable sample density predictive compression encoding circuits and interframe variable FIG. 10C is a circuit configuration diagram of the sample density prediction decompression decoding circuit, FIG. 10C is a circuit configuration diagram of another inter-frame variable sample density prediction compression encoding circuit, and 48 is a change. Knowledge circuit, 52 a compression system switching circuit 53 is changed pixel determination circuit, the primary prediction unit 54, 56 the secondary prediction unit, R 1 to R 4 is a reference value.

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭51−80711(JP,A) 特開 昭59−152785(JP,A) 吹抜敬彦「画像のディジタル信号通信」 (昭58)(日刊工業新聞社)P.208−216 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-51-80711 (JP, A) JP-A-59-152785 (JP, A) Takahiko Fukibuki "Digital Signal Communication for Images" (Sho-58) Newspaper company) P. 208-216

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】伝送済みの前画像フレームを基準画像と
し、この基準画面の画像フレームと現画像フレームとの
差を求めて変化のあった領域の画像のみを情報圧縮して
狭帯域伝送する方法において、各画素の濃度情報をNビ
ット(Nは整数)の画素データとして伝送するにあた
り、各画素の基準画面との差の大きさを求める過程と、
この求めた差の大きさが変化検知に有意と見なせる第1
の基準値以下のときに差の大きさを零とするところの画
素毎の変化の大きさを検定する過程と、各画素毎の変化
の大きさを検定した結果から各ライン毎に各画素の大き
さをX,Yの各方向に累加算する過程と、第2の基準値を
超えた累積加算値の内、X,Yの方向において夫々の最小
値及び最大値を検出する過程と、各最小値及び最大値で
定まる矩形領域の大きさが、第3の基準値を超えるとき
に変化有りと判定する過程と、上記画像情報を伝送する
過程を現画像フレームと伝送済みの前画像フレームに基
づく予測値との誤差であるフレーム間残差が上記第1の
基準値より小さい第4の基準値を超えた現画像フレーム
の画素の値を伝送する過程とで構成され、フレーム間残
差が上記第4の基準値より小さな画素のフレーム間残差
を零としてフレーム内の可変標本密度符号化により伝送
することを特徴とする画像伝送方法。
1. A method of performing narrow band transmission by compressing information of only an image of a changed area by obtaining a difference between an image frame of a reference screen and a current image frame by using a transmitted previous image frame as a reference image. In the process of transmitting the density information of each pixel as N-bit (N is an integer) pixel data, the step of obtaining the difference between each pixel and the reference screen,
The magnitude of the obtained difference can be regarded as significant for change detection.
When the difference is zero when the difference is less than the reference value, the process of testing the magnitude of change for each pixel and the result of testing the magnitude of change for each pixel The process of cumulatively adding the magnitudes in each of the X and Y directions, and the process of detecting the respective minimum and maximum values in the X and Y directions among the cumulatively added values exceeding the second reference value, The process of determining that there is a change when the size of the rectangular area determined by the minimum value and the maximum value exceeds the third reference value and the process of transmitting the image information are performed on the current image frame and the transmitted previous image frame. And a value of a pixel of the current image frame in which the inter-frame residual error, which is an error from the predicted value based on the fourth reference value, is smaller than the first reference value is transmitted. Within the frame, the inter-frame residual of pixels smaller than the fourth reference value is set to zero. Image transmission method characterized by transmitting the variable sampling density coding.
【請求項2】フレーム間残差が上記第4の基準値より大
きなフレーム間残差若しくは現画像フレームの画素の値
をそのまま伝送し、上記第4の基準値より小さなフレー
ム間残差である現画像フレームの値を零とする際に零に
なる画素の個数と総ての画素が零になるラインの個数と
を符号化して伝送して予測画像フレームの零でない画素
の値を現画像フレームの画素の値に置き換えることを特
徴とする特許請求の範囲第1項記載の画像伝送方法。
2. An interframe residual whose interframe residual is larger than the fourth reference value or a pixel value of a current image frame is transmitted as it is, and is an interframe residual smaller than the fourth reference value. When the value of the image frame is zero, the number of pixels that become zero and the number of lines in which all the pixels become zero are encoded and transmitted, and the values of non-zero pixels of the predicted image frame are The image transmission method according to claim 1, wherein the image value is replaced with a pixel value.
【請求項3】フレーム間残差が上記第4の基準値より小
さな画素のフレーム間残差を零としてフレーム内の可変
標本密度予測符号化により伝送することを特徴とする特
許請求の範囲第2項記載の画像伝送方法。
3. A variable sample density predictive coding within a frame is transmitted by setting the inter-frame residual of pixels whose inter-frame residual is smaller than the fourth reference value to zero. The image transmission method described in the item.
JP60060012A 1984-11-10 1985-03-25 Image transmission method Expired - Lifetime JPH07118809B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP60060012A JPH07118809B2 (en) 1985-03-25 1985-03-25 Image transmission method
US06/794,228 US4679077A (en) 1984-11-10 1985-11-01 Visual Image sensor system
EP85114228A EP0183106B1 (en) 1984-11-10 1985-11-08 Visual image sensor system
DE198585114228T DE183106T1 (en) 1984-11-10 1985-11-08 VISUAL IMAGE SENSOR SYSTEM.
CA000494988A CA1246711A (en) 1984-11-10 1985-11-08 Visual image sensor system
DE8585114228T DE3579564D1 (en) 1984-11-10 1985-11-08 VISUAL IMAGE SENSOR SYSTEM.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP60060012A JPH07118809B2 (en) 1985-03-25 1985-03-25 Image transmission method

Publications (2)

Publication Number Publication Date
JPS61219277A JPS61219277A (en) 1986-09-29
JPH07118809B2 true JPH07118809B2 (en) 1995-12-18

Family

ID=13129728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP60060012A Expired - Lifetime JPH07118809B2 (en) 1984-11-10 1985-03-25 Image transmission method

Country Status (1)

Country Link
JP (1) JPH07118809B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5180711A (en) * 1975-01-13 1976-07-14 Nippon Telegraph & Telephone TEEBUISHINGOFUGOKAHOSHIKI
JPS59152785A (en) * 1983-02-18 1984-08-31 Mitsubishi Electric Corp Coding system of picture signal

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吹抜敬彦「画像のディジタル信号通信」(昭58)(日刊工業新聞社)P.208−216

Also Published As

Publication number Publication date
JPS61219277A (en) 1986-09-29

Similar Documents

Publication Publication Date Title
JP2744871B2 (en) Image signal encoding method and image signal encoding device
JP5693540B2 (en) Method used in block transform based coding system
JPH0686262A (en) Apparatus for encoding of image
JPH09182084A (en) Moving image encoding and decoding device
KR20000036099A (en) Bit allocation for sequence image compression
JPH05328333A (en) Moving vector detector
JP2911682B2 (en) Motion compensation using the minimum number of bits per motion block as a criterion for block matching
US5526295A (en) Efficient block comparisons for motion estimation
KR100327952B1 (en) Method and Apparatus for Segmentation-based Video Compression Coding
JPH07118809B2 (en) Image transmission method
JP3906770B2 (en) Digital image signal processing apparatus and method
JPH10224779A (en) Method and device for detecting scene change of moving image
JPH10164596A (en) Motion detector
JPH0622301A (en) Picture corder
JPH0785287A (en) Predictive coding device and its decoding device
KR100242832B1 (en) Apparatus for generating quantization step value
JPS61171287A (en) Picture transmission system
JP4035281B2 (en) Moving object shape encoding device
JP2001238220A (en) Moving picture coding apparatus and moving picture coding method
JP2000102006A (en) Image data converter and image data conversion method
JPH0583704A (en) Picture transmitter
JPS61145978A (en) Picture transmission system
JPH02274080A (en) Image encoding transmission system
JPH10126782A (en) Motion vector detector
JPH06276512A (en) Picture communication equipment