JPH06319134A - Picture communication system - Google Patents
Picture communication systemInfo
- Publication number
- JPH06319134A JPH06319134A JP13112493A JP13112493A JPH06319134A JP H06319134 A JPH06319134 A JP H06319134A JP 13112493 A JP13112493 A JP 13112493A JP 13112493 A JP13112493 A JP 13112493A JP H06319134 A JPH06319134 A JP H06319134A
- Authority
- JP
- Japan
- Prior art keywords
- region
- interest
- image
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、画像通信システムに関
し、特に画像信号を符号化して伝送する画像符号化装置
を用いた画像通信システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image communication system, and more particularly to an image communication system using an image coding apparatus for coding and transmitting an image signal.
【０００２】[0002]
【従来の技術】ＴＶ電話システム、ＴＶ会議システム、
遠隔監視システム等の画像通信システムには、入力画像
データをブロックに分割してブロック毎に直交変換及び
量子化を行った後、可変長符号化をしてデータを伝送す
る画像符号化装置が一般的に用いられる。従来、この種
の画像符号化装置としては、例えば特開平４−１７６２
９０号公報に開示されたものが知られている。図９に、
その構成例を示す。図９において、入力部１０１に入力
された画像データはその内部メモリに一時的に記憶さ
れ、ブロック毎に読み出される。読み出されたブロック
データは、直交変換部１０２にて直交変換され、さらに
量子化部１０３にて量子化される。2. Description of the Related Art TV telephone systems, TV conference systems,
2. Description of the Related Art In image communication systems such as remote monitoring systems, an image encoding device that divides input image data into blocks, performs orthogonal transform and quantization for each block, and then performs variable length encoding to transmit the data is generally used. Used for. Conventionally, as this kind of image coding apparatus, for example, Japanese Patent Laid-Open No. 4-1762
The one disclosed in Japanese Patent Publication No. 90 is known. In Figure 9,
An example of the configuration will be shown. In FIG. 9, the image data input to the input unit 101 is temporarily stored in the internal memory and read out for each block. The read block data is orthogonally transformed by the orthogonal transformation unit 102 and further quantized by the quantization unit 103.
【０００３】この量子化データは、動き検出・補償部１
０４にて逆量子化及び逆直交変換されることにより、入
力画像データに対する再生画像データとして得られる。
動き検出・補償部１０４ではさらに、この再生画像デー
タと次フレームの入力画像データとに基づいてブロック
毎の動きベクトルを計算し、再生画像データ及び動きベ
クトルに基づいて次フレームの入力画像データに対する
予測画像データを求める処理が行われる。次フレーム以
降の画像データに対しては、入力画像データ又は入力画
像データと予測画像データとの差分の画像データを直交
変換部１０２に入力して処理が継続される。This quantized data is used by the motion detection / compensation unit 1
By performing the inverse quantization and the inverse orthogonal transformation in 04, it is obtained as reproduced image data for the input image data.
The motion detection / compensation unit 104 further calculates a motion vector for each block based on the reproduced image data and the input image data of the next frame, and predicts the input image data of the next frame based on the reproduced image data and the motion vector. Processing for obtaining image data is performed. For the image data on and after the next frame, the input image data or the image data of the difference between the input image data and the predicted image data is input to the orthogonal transformation unit 102 and the processing is continued.
【０００４】量子化データはマルチプレクサ部１０５に
て量子化ステップ情報等の制御情報が付加されて可変長
符号化される。この可変長符号化されたデータは送信バ
ッファ１０６に記憶され、通信路へ伝送される また、伝送画像の品質を決定する量子化ステップの制御
は、ブロック毎の動きベクトルに応じて行われる。すな
わち、ブロック分類部１０７はブロック毎の動きベクト
ルに基づいて各ブロックを分類し、量子化ステップ制御
部１０８はブロック分類部１０７によるブロック分類に
応じて各ブロック毎に量子化ステップを決定する。した
がって、動きの大きい部分の画質が良好になるように、
量子化ステップを決定することにより、視覚特性に応じ
た画像符号化が可能となる。The quantized data is variable length coded by the multiplexer 105 with control information such as quantization step information added. The variable-length coded data is stored in the transmission buffer 106 and transmitted to the communication channel. Also, the control of the quantization step that determines the quality of the transmission image is performed according to the motion vector for each block. That is, the block classification unit 107 classifies each block based on the motion vector for each block, and the quantization step control unit 108 determines the quantization step for each block according to the block classification performed by the block classification unit 107. Therefore, in order to improve the image quality of the part with large movement,
By determining the quantization step, it is possible to perform image coding according to visual characteristics.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記構
成の画像符号化装置を用いた従来の画像通信システムで
は、伝送画像の品質を決定する量子化ステップを、画像
データのブロック毎の動きベクトルに応じて制御する構
成となっていたので、伝送画像の品質が送信側にて一方
的に決定され、受信側の関心の高い画像領域を詳細に伝
送することができないという問題点があった。本発明
は、上記課題に鑑みてなされたものであり、その目的と
するところは、受信側の関心の高い画像領域について高
画質の画像伝送を可能とした画像通信システムを提供す
ることにある。However, in the conventional image communication system using the image encoding device having the above configuration, the quantization step for determining the quality of the transmitted image is performed according to the motion vector for each block of the image data. However, since the quality of the transmitted image is unilaterally determined by the transmitting side, there is a problem that the image area of high interest on the receiving side cannot be transmitted in detail. The present invention has been made in view of the above problems, and an object of the present invention is to provide an image communication system that enables high-quality image transmission in an image area of high interest on the receiving side.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の画像通信システムでは、画像信号を
符号化して送信する送信装置と、この送信装置から送信
された符号化信号を受信し復号化して画像信号を出力す
る受信装置と、送信装置と受信装置とを接続する通信路
とからなる画像通信システムにおいて、送信装置から送
信される伝送画像の関心領域に関する関心領域情報を指
示して通信路へ出力する関心領域指示部を受信装置側に
設け、通信路から入力される関心領域情報に基づいて量
子化ステップを制御する量子化ステップ制御部と、この
量子化ステップに応じて画像信号を符号化する符号化部
とを送信装置側に設けた構成となっている。In order to achieve the above object, in an image communication system according to claim 1, a transmitter for encoding and transmitting an image signal and an encoded signal transmitted from the transmitter are provided. In an image communication system including a receiving device that receives and decodes and outputs an image signal, and an image communication system including a communication path that connects the transmitting device and the receiving device, indicating region of interest information regarding a region of interest of a transmission image transmitted from the transmitting device A region of interest instruction unit for outputting to the communication channel is provided on the receiving device side, and a quantization step control unit that controls the quantization step based on the region of interest information input from the communication channel, and in accordance with this quantization step An encoding unit that encodes an image signal is provided on the transmission device side.
【０００７】請求項２記載の画像通信システムでは、送
信装置がさらに、通信路から入力される関心領域情報に
基づいて関心領域中の動体を追尾しつつこの関心領域情
報を補正して量子化ステップ制御部へ供給する関心領域
補正部を有している。請求項３記載の画像通信システム
では、受信装置がさらに、関心領域指示部によって指示
される関心領域情報に基づいて関心領域中の動体を追尾
しつつこの関心領域情報を補正する関心領域補正部を有
している。According to another aspect of the image communication system of the present invention, the transmitter further corrects the region of interest information while tracking the moving body in the region of interest based on the region of interest information input from the communication path, and performs a quantization step. It has a region-of-interest correction unit that supplies the control unit. In the image communication system according to claim 3, the receiving device further includes a region-of-interest correction unit that corrects the region-of-interest information while tracking a moving object in the region of interest based on the region-of-interest information designated by the region-of-interest designating unit. Have
【０００８】[0008]
【作用】請求項１記載の画像通信システムにおいて、送
信装置側から画像が伝送されると、受信装置側からその
伝送画像の関心の高い領域についての関心領域情報を指
示して通信路へ出力する。一方、送信装置側では、通信
路を介して入力される関心領域情報に基づいて量子化ス
テップを制御する。これによれば、送信装置が伝送画像
の品質を一方的に決定する従来システムとは異なり、受
信側の関心の高い画像領域について高画質にて画像を伝
送できる。In the image communication system according to the first aspect, when an image is transmitted from the transmitting device side, the receiving device side instructs the region of interest information on the region of high interest in the transmitted image and outputs it to the communication path. . On the other hand, on the transmission device side, the quantization step is controlled based on the ROI information input via the communication path. According to this, unlike the conventional system in which the transmitting device unilaterally determines the quality of the transmitted image, the image can be transmitted with high image quality in the image area of high interest on the receiving side.
【０００９】請求項２記載の画像通信システムでは、送
信装置側において、通信路から入力される関心領域情報
に基づいて関心領域中の動体を追尾しつつこの関心領域
情報を補正して量子化ステップ制御部に与える。量子化
ステップ制御部では、この補正された関心領域情報に基
づいて量子化ステップを制御する。これによれば、送信
装置が関心領域中の動体の動き量に応じて該関心領域の
位置を補正するので、受信側の関心の対象が動体である
場合にも対応できる。請求項３記載の画像通信システム
では、受信装置側において、関心領域指示部によって指
示される関心領域情報に基づいて関心領域中の動体を追
尾しつつこの関心領域情報を補正して通信路へ出力す
る。送信装置側では、この補正された関心領域情報に基
づいて量子化ステップを制御する。これによれば、受信
装置が関心領域中の動体の動き量に応じて該関心領域の
位置を補正するので、受信側の関心の対象が動体である
場合にも対応できる。In the image communication system according to the second aspect of the present invention, on the transmitter side, the moving object in the region of interest is tracked based on the region of interest information input from the communication channel, and the region of interest information is corrected and the quantization step is performed. Give to the control unit. The quantization step control unit controls the quantization step based on the corrected ROI information. According to this, the transmitter corrects the position of the region of interest in accordance with the amount of movement of the moving body in the region of interest, so that it is possible to deal with the case where the target of interest on the receiving side is the moving body. In the image communication system according to claim 3, on the receiving device side, the moving body in the ROI is tracked based on the ROI information indicated by the ROI instructing unit, and the ROI information is corrected and output to the communication path. To do. On the transmitter side, the quantization step is controlled based on this corrected region of interest information. According to this, the receiving device corrects the position of the region of interest in accordance with the amount of movement of the moving body in the region of interest, so that it is possible to deal with the case where the target of interest on the receiving side is the moving body.
【００１０】[0010]
【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図１は、本発明による画像通信システムの
第１の実施例を示すブロック図である。図１において、
本画像通信システムは、画像信号を符号化して送信する
送信装置１０と、この送信装置１０から送信された符号
化信号を受信し復号化して画像信号を出力する受信装置
２０と、送信装置１０と受信装置２０とを接続する通信
路３０とから構成されている。通信路３０は、送信装置
１０から受信装置２０へ入力画像の符号化データを伝送
するとともに、受信装置２０から送信装置１０へ後述す
る関心領域情報を伝送する。Embodiments of the present invention will now be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a first embodiment of an image communication system according to the present invention. In FIG.
The image communication system includes a transmitter 10 that encodes and transmits an image signal, a receiver 20 that receives an encoded signal transmitted from the transmitter 10, decodes the encoded signal, and outputs an image signal, and a transmitter 10. It is composed of a communication path 30 that connects the receiving device 20. The communication path 30 transmits encoded data of an input image from the transmission device 10 to the reception device 20, and also transmits region-of-interest information, which will be described later, from the reception device 20 to the transmission device 10.
【００１１】送信装置１０は、画像信号を入力して一時
的に記憶する入力部１１と、この入力部１１から画像デ
ータをブロック毎に読み出して直交変換する直交変換部
１２と、直交変換されたデータを後述する量子化ステッ
プに基づいて量子化する量子化部１３と、量子化された
データと量子化ステップ等の制御情報とを混合して可変
長符号化するマルチプレクサ部１４と、可変長符号化さ
れたデータを一時的に記憶して通信路３０へその空き状
況等に応じて出力する送信バッファ１５と、通信路３０
から入力される関心領域情報と送信バッファ１５の残量
とに基づいて量子化ステップを計算して量子化部１３及
びマルチプレクサ部１４へ与える量子化ステップ制御部
１６とから構成されている。The transmitting apparatus 10 has an input section 11 for inputting and temporarily storing an image signal, an orthogonal transform section 12 for reading out image data block by block from the input section 11 and orthogonally transforming the image data, and an orthogonal transform. A quantizer 13 that quantizes data based on a later-described quantization step, a multiplexer 14 that mixes the quantized data with control information such as a quantization step to perform variable-length coding, and a variable-length code. A transmission buffer 15 for temporarily storing the converted data and outputting it to the communication path 30 according to the availability of the communication path 30;
It is composed of a quantization step controller 16 which calculates a quantization step based on the region-of-interest information input from and the remaining amount of the transmission buffer 15 and gives it to the quantization section 13 and the multiplexer section 14.
【００１２】一方、受信装置２０は、通信路３０から入
力される符号化データを復号化する画像復号部２１と、
この復号化された画像データに基づく再生画像を表示す
る表示部２２と、表示画像上のある矩形領域の位置情報
及び関心度情報からなる関心領域情報を指示して通信路
３０へ出力する関心領域指示部２３とから構成されてい
る。次に、上記構成の本実施例による画像通信システム
の動作について、図１に基づいて説明する。先ず、送信
装置１０において、その入力画像信号として、例えばＴ
Ｖカメラからのアナログ画像信号が入力されると、入力
部１１はこのアナログ画像信号をディジタル信号に変換
した後入力画像データとして一時的に記憶する。On the other hand, the receiving device 20 includes an image decoding unit 21 for decoding encoded data input from the communication channel 30,
A display unit 22 for displaying a reproduced image based on the decoded image data, and a region of interest for instructing region of interest information including position information and degree of interest information of a rectangular region on the display image to output to the communication path 30. And an instruction unit 23. Next, the operation of the image communication system having the above-described configuration according to this embodiment will be described with reference to FIG. First, in the transmitter 10, as the input image signal, for example, T
When the analog image signal from the V camera is input, the input unit 11 converts the analog image signal into a digital signal and then temporarily stores it as input image data.
【００１３】次に、直交変換部１２は、入力部１１から
入力画像データをブロック単位で読出しながら直交変換
（例えば、離散コサイン変換）を行う。量子化部１３
は、この直交変換された画像データを、量子化ステップ
制御部１６から出力される量子化ステップに基づいて量
子化する。この量子化の手法としては、従来公知の手法
を用いれば良く、例えば、量子化ステップをｑ、直交変
換データをｄin、量子化データをｄout として、ｄout
＝ｄin／ｑを計算することによって量子化が実現され
る。Next, the orthogonal transformation section 12 performs orthogonal transformation (for example, discrete cosine transformation) while reading the input image data from the input section 11 in block units. Quantizer 13
Quantizes the orthogonally transformed image data based on the quantization step output from the quantization step control unit 16. As the quantization method, a conventionally known method may be used. For example, the quantization step is q, the orthogonal transformation data is din, the quantization data is dout, and dout is
Quantization is achieved by calculating = din / q.
【００１４】次に、マルチプレクサ部１４は、量子化部
１３からの量子化データと量子化ステップ、フレーム開
始データ等の制御情報とを混合した後、可変長符号化
（例えば、ハフマン符号化）を行い、符号化データを送
信バッファ１５を介して通信路３０へ出力する。この符
号化データは、通信路３０によって受信装置２０へ伝送
される。受信装置２０において、画像復号部２１は送信
装置１０とは逆の動作、すなわち可変長復号化、量子化
データと制御情報の分離、逆量子化及び逆直交変換を行
って画像データを再生し、表示部２２へ供給する。表示
部２２は、この画像データに基づいて再生画像を表示す
る。Next, the multiplexer unit 14 mixes the quantized data from the quantization unit 13 with control information such as a quantization step, frame start data, etc., and then performs variable length coding (for example, Huffman coding). Then, the encoded data is output to the communication path 30 via the transmission buffer 15. This encoded data is transmitted to the receiving device 20 via the communication path 30. In the receiving device 20, the image decoding unit 21 reproduces the image data by performing operations reverse to those of the transmitting device 10, that is, variable length decoding, separation of quantized data and control information, inverse quantization, and inverse orthogonal transform. It is supplied to the display unit 22. The display unit 22 displays a reproduced image based on this image data.
【００１５】受信装置２０側において、オペレータは表
示部２２に表示される再生画像を観察しながら関心領域
指示部２３に対し、関心の高い矩形領域の位置情報及び
関心度情報からなる関心領域情報を指示する。この関心
領域情報の指示は、表示画像に対応するポインティング
デバイス（例えば、マウス）を用いて関心の高い矩形領
域の位置情報及び関心度情報を入力することにより行わ
れる。関心領域情報が入力されると、関心領域指示部２
３はこの関心領域情報を通信路３０へ出力する。On the side of the receiving device 20, the operator observes the reproduced image displayed on the display unit 22 and provides the region of interest indicating unit 23 with the region of interest information including the position information of the rectangular region of high interest and the degree of interest information. Give instructions. The instruction of the region-of-interest information is performed by inputting position information and degree-of-interest information of a rectangular region of high interest using a pointing device (for example, a mouse) corresponding to the display image. When the ROI information is input, the ROI instructing unit 2
3 outputs this ROI information to the communication path 30.
【００１６】図２に、表示部２２の表示画面の一例を示
す。同図において、表示画面２０１上には、再生画像２
０２と、オペレータがポインティングデバイスで指定す
る関心度Ａ（Ａ＝１，２，……，５）の選択メニューウ
ィンドウ２０３とが表示されている。この再生画像２０
２において、今、図の斜線領域２０４を関心領域として
オペレータがポインティングデバイスを用いて指定する
ものとする。この関心領域２０４の位置は、ｘ，ｙ，
ｗ，ｈの４パラメータによって表される。関心領域指示
部２３は、ポインティングデバイスによって入力された
関心領域情報（ｘ，ｙ，ｗ，ｈ，Ａ）を通信路３０へ出
力する。FIG. 2 shows an example of the display screen of the display unit 22. In the figure, the reproduced image 2 is displayed on the display screen 201.
02 and a selection menu window 203 of the interest degree A (A = 1, 2, ..., 5) designated by the operator with the pointing device are displayed. This playback image 20
2, the operator designates the shaded area 204 in the figure as a region of interest using a pointing device. The position of this region of interest 204 is x, y,
It is represented by 4 parameters of w and h. The ROI instructing unit 23 outputs the ROI information (x, y, w, h, A) input by the pointing device to the communication path 30.
【００１７】送信装置１０において、量子化ステップ制
御部１６は、通信路３０を介して関心領域情報（ｘ，
ｙ，ｗ，ｈ，Ａ）が入力されると、次式に基づいて量子
化ステップｑを計算し、量子化部１３及びマルチプレク
サ部１４へ出力する。In the transmitter 10, the quantization step control unit 16 controls the region of interest information (x,
When y, w, h, A) are input, the quantization step q is calculated based on the following equation and output to the quantization unit 13 and the multiplexer unit 14.
【数１】 但し、ｑ0 は送信バッファ１５の残量ＢＺ等に基づいて
計算される量子化ステップであって、従来公知の手法に
より計算して求めることができるが、ここでは適当な正
の定数をＬとして、ｑ0 ＝Ｌ・ＢＺとする。また、
（Ｘ，Ｙ）は対象ブロックの位置、Ｋは適当な正の定数
である。[Equation 1] However, q 0 is a quantization step calculated based on the remaining amount BZ of the transmission buffer 15 and the like, and can be calculated by a conventionally known method. Here, an appropriate positive constant is set to L. , Q 0 = L · BZ. Also,
(X, Y) is the position of the target block, and K is an appropriate positive constant.
【００１８】（１）式によれば、入力画像中のブロック
毎に、各ブロックが関心領域（ｘ，ｙ，ｗ，ｈ）に含ま
れる場合には、量子化ステップを関心度Ａに比例した量
Ａ・Ｋだけ減ずることにより、受信側で指定した関心領
域が受信装置２０で再生されたときに他の部分と比べて
鮮明になる。したがって、本画像通信システムによれ
ば、受信側からの指示によって送信画像中の関心領域を
鮮明に伝送できることによって、受信者側の目的に適し
た効率の良い画像伝送を実現できる。According to the equation (1), for each block in the input image, when each block is included in the region of interest (x, y, w, h), the quantization step is proportional to the degree of interest A. By reducing the amount A · K, the region of interest designated on the receiving side becomes clearer when reproduced by the receiving device 20 than other parts. Therefore, according to the image communication system, the region of interest in the transmitted image can be transmitted clearly according to the instruction from the receiving side, so that efficient image transmission suitable for the purpose of the receiving side can be realized.
【００１９】なお、本実施例においては、画像伝送の方
向を単一方向とした場合の構成について説明したが、本
発明は、双方向画像伝送の場合にも適用可能である。図
３は、双方向画像伝送に適用された場合の本発明に係る
送受信装置の構成例を示すブロック図である。本変形例
においては、当該送受信装置を２セット用意して双方を
通信路で接続することにより、本実施例と同等の効果を
有する画像通信システムを実現できる。この場合には、
図３に示すように、受信画像の関心領域情報を送信装置
１０内のマルチプレクサ部１４へ入力して送信符号化デ
ータに含める一方、画像復号部２１において受信符号化
データから送信画像の関心領域情報を得て送信画像の量
子化ステップを制御するように構成すれば良い。In this embodiment, the configuration in which the image transmission direction is a single direction has been described, but the present invention is also applicable to the bidirectional image transmission. FIG. 3 is a block diagram showing a configuration example of a transmitting / receiving device according to the present invention when applied to bidirectional image transmission. In the present modified example, an image communication system having the same effect as that of the present embodiment can be realized by preparing two sets of the transmission / reception devices and connecting the two via a communication path. In this case,
As shown in FIG. 3, the region-of-interest information of the received image is input to the multiplexer unit 14 in the transmitter 10 to be included in the transmission encoded data, while the image decoding unit 21 converts the region-of-interest information of the transmission image from the received encoded data. Then, the quantization step of the transmitted image may be controlled.
【００２０】図４は、本発明の第２の実施例を示すブロ
ック図であり、図中、図１と同等部分には同一符号を付
して示し、その説明については重複するので省略する。
本実施例においては、送信装置１０内に、通信路３０か
ら入力される関心領域情報に基づいて関心領域中の動体
を追尾しつつこの関心領域情報を補正する関心領域補正
部１７を追加した構成となっている。この関心領域補正
部１７は、入力部１１から読み出される入力画像データ
の１次元方向の加算値を関心領域の位置情報に基づいて
計算する加算値計算部１７１と、通信路３０から入力さ
れる関心領域情報を初期情報とし、加算値計算部１７１
で求められる第１の時刻における加算値と第２の時刻に
おける加算値の相関を計算することによって動体の動き
量を検出し、上記関心領域情報を補正する相関計算部１
７２とから構成されている。FIG. 4 is a block diagram showing a second embodiment of the present invention. In the figure, the same parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted to avoid duplication.
In the present embodiment, a configuration is provided in which a region-of-interest correction unit 17 that corrects the region-of-interest information while tracking a moving object in the region-of-interest based on the region-of-interest information input from the communication path 30 in the transmission device 10. Has become. The region-of-interest correction unit 17 calculates an additional value in the one-dimensional direction of the input image data read from the input unit 11 based on position information of the region of interest, and an interest value input from the communication path 30. Using the area information as the initial information, the additional value calculation unit 171
The correlation calculation unit 1 that detects the motion amount of the moving object by calculating the correlation between the added value at the first time and the added value at the second time, which is obtained by
And 72.
【００２１】この関心領域補正部１７においては、通信
路３０を介して関心領域情報（ｘ，ｙ，ｗ，ｈ，Ａ）が
入力されると、以下の動作を行う。先ず、相関計算部１
７２は、関心領域情報を量子化ステップ制御部１６へ出
力するとともに、関心領域の位置情報（ｘ，ｙ，ｗ，
ｈ）を加算値計算部１７１へ出力する。加算値計算部１
７１は、関心領域に対応した入力画像データｐ（Ｘ，
Ｙ）（但し、（Ｘ，Ｙ）は画素位置）を入力部１１から
読み出して水平及び垂直方向の加算値Ｈ1(Ｙ）及びＶ
1(Ｘ）を次式により求めて一時的に記憶する。In the region of interest correction section 17, when the region of interest information (x, y, w, h, A) is input via the communication path 30, the following operation is performed. First, the correlation calculator 1
72 outputs the ROI information to the quantization step control unit 16 and also outputs the position information (x, y, w,
h) is output to the added value calculation unit 171. Addition value calculation unit 1
71 is input image data p (X,
Y) (where (X, Y) is the pixel position) is read from the input unit 11 and the added values H 1 (Y) and V in the horizontal and vertical directions are read.
1 (X) is calculated by the following equation and temporarily stored.
【数２】 [Equation 2]
【数３】 [Equation 3]
【００２２】また、関心領域補正部１７は、通信路３０
から関心領域情報が入力されない場合には一定時間間
隔、例えば入力部１１が１フレーム分の画像データを入
力する時間間隔で以下の動作を行う。先ず、加算値計算
部１７１が相関計算部１７２から関心領域の位置情報
（ｘ，ｙ，ｗ，ｈ）を入力し、この関心領域に対応した
入力画像データを入力部１１から読み出して、（２）式
及び（３）式に基づいて水平方向及び垂直方向の加算値
Ｈ2(Ｙ）及びＶ2(Ｘ）を計算する。Further, the ROI correcting section 17 has a communication path 30.
When the ROI information is not input, the following operation is performed at a constant time interval, for example, at a time interval when the input unit 11 inputs image data for one frame. First, the added value calculation unit 171 inputs the position information (x, y, w, h) of the region of interest from the correlation calculation unit 172, reads the input image data corresponding to this region of interest from the input unit 11, and (2 ) And equation (3), the added values H 2 (Y) and V 2 (X) in the horizontal and vertical directions are calculated.
【００２３】相関計算部１７２は、加算値計算部１７１
から加算値Ｈ1(Ｙ），Ｖ1(Ｘ）及びＨ2(Ｙ），Ｖ2(Ｘ）
を読み出してＨ1(Ｙ）とＨ2(Ｙ）の相関値ＣＨ（ｄＹ）
及びＶ1(Ｘ）とＶ2(Ｘ）の相関値ＣＶ（ｄＸ）を計算す
る。この相関の計算方法としては、従来公知の方法を用
いることができるが、ここでは、次式により計算する。The correlation calculation unit 172 is the addition value calculation unit 171.
From the added value H 1 (Y), V 1 (X) and H 2 (Y), V 2 (X)
To read the correlation value CH (dY) between H 1 (Y) and H 2 (Y)
And the correlation value CV (dX) between V 1 (X) and V 2 (X) is calculated. As a method of calculating this correlation, a conventionally known method can be used, but here, it is calculated by the following equation.
【数４】 [Equation 4]
【数５】 （４）式及び（５）式によれば、Ｈ1(Ｙ）とＨ2(Ｙ）の
相関が強い程ＣＨ（ｄＹ）は小さい値をとり、同様にＶ
1(Ｘ）とＶ2(Ｘ）の相関が強い程ＣＶ（ｄＸ）は小さい
値をとる。[Equation 5] According to the equations (4) and (5), the stronger the correlation between H 1 (Y) and H 2 (Y), the smaller the value of CH (dY).
The stronger the correlation between 1 (X) and V 2 (X), the smaller the value of CV (dX).
【００２４】そこで、相関計算部１７２は、ＣＨ（ｄ
Ｙ）及びＣＶ（ｄＸ）が最小となる場合のｄＹ＝Δｙ及
びｄＸ＝Δｘを検出し、関心領域の動き量を（Δｘ，Δ
ｙ）として関心領域情報を次式のように補正して記憶す
る。Therefore, the correlation calculation unit 172 uses CH (d
Y) and CV (dX) are minimized, dY = Δy and dX = Δx are detected, and the motion amount of the region of interest is calculated as (Δx, Δ
As y), the ROI information is corrected and stored as in the following equation.
【数６】 相関計算部１７２は、補正された関心領域情報を量子化
ステップ制御部１６へ出力する。加算値計算部１７１
は、Ｈ2(Ｙ），Ｖ2(Ｘ）のデータをＨ1(Ｙ），Ｖ1(Ｘ）
として一時的に記憶する。図５は、関心領域補正部１７
の動作説明図である。図中、５０１，５０２は第１の時
刻における関心領域及び動体を表し、５０３は第２の時
刻における動体を表わす。[Equation 6] The correlation calculator 172 outputs the corrected ROI information to the quantization step controller 16. Addition value calculation unit 171
Shows the data of H 2 (Y) and V 2 (X) as H 1 (Y) and V 1 (X).
Temporarily store as. FIG. 5 shows a region of interest correction unit 17
FIG. 7 is an operation explanatory diagram of FIG. In the figure, 501 and 502 represent the region of interest and the moving body at the first time, and 503 represents the moving body at the second time.
【００２５】加算値計算部１７１は、図５に示すよう
に、第１の時刻及び第２の時刻において、動体５０２，
５０３に対応した加算値Ｈ1(Ｙ），Ｖ1(Ｘ）及びＨ
2(Ｙ），Ｖ2(Ｘ）を計算する。一方、相関計算部１７２
は、第２の時刻において、（４）式及び（５）式に基づ
き相関値ＣＨ（ｄＹ）及びＣＶ（ｄＸ）を計算して、そ
の最小値位置より関心領域の動き量（Δｘ，Δｙ）を検
出する。そして、（６）式に基づいて関心領域情報を補
正する。その結果、動体５０３の位置に応じて新たな関
心領域５０４が設定される。As shown in FIG. 5, the added value calculation unit 171 determines that the moving object 502, the moving object 502, at the first time and the second time.
Addition values H 1 (Y), V 1 (X) and H corresponding to 503
Calculate 2 (Y) and V 2 (X). On the other hand, the correlation calculator 172
At the second time, the correlation values CH (dY) and CV (dX) are calculated based on the equations (4) and (5), and the movement amount (Δx, Δy) of the region of interest is calculated from the minimum value position. To detect. Then, the ROI information is corrected based on the equation (6). As a result, a new region of interest 504 is set according to the position of the moving body 503.
【００２６】すなわち、関心領域補正部１７の作用によ
り、関心領域内の動体の動きに応じて関心領域の位置が
適切に補正されることになる。この関心領域補正部１７
から関心領域情報（ｘ，ｙ，ｗ，ｈ，Ａ）が量子化ステ
ップ制御部１６へ入力されると、量子化ステップ制御部
１６は、第１の実施例の場合と同様に、（１）式に基づ
いて量子化ステップｑを計算し、量子化部１３及びマル
チプレクサ部１４へ出力する。以降、第１の実施例の場
合と同様の動作が行われる。That is, by the action of the region-of-interest correction unit 17, the position of the region of interest is appropriately corrected according to the movement of the moving body in the region of interest. This ROI correction unit 17
When the region-of-interest information (x, y, w, h, A) is input to the quantization step control unit 16 from, the quantization step control unit 16 performs (1) as in the case of the first embodiment. The quantization step q is calculated based on the formula and output to the quantization unit 13 and the multiplexer unit 14. After that, the same operation as in the case of the first embodiment is performed.
【００２７】図６は、第２の実施例の変形例を示すブロ
ック図であり、画像伝送の方向を単一方向とした本実施
例に対し、双方向画像伝送に適用した場合における送受
信装置の構成例を示している。本変形例においては、当
該送受信装置を２セット用意して双方を通信路で接続す
ることにより、本実施例と同等の効果を有する画像通信
システムが実現できる。この場合には、図６に示すよう
に、受信画像の関心領域情報を送信装置１０内のマルチ
プレクサ部１４へ入力して送信符号化データに含める一
方、画像復号部２１において受信符号化データから送信
画像の関心領域情報を得て関心領域補正部１７の相関計
算部１７２に供給し、送信画像の量子化ステップを制御
するように構成すれば良い。FIG. 6 is a block diagram showing a modification of the second embodiment. In contrast to the present embodiment in which the direction of image transmission is unidirectional, a transmitter / receiver in the case of being applied to bidirectional image transmission is shown. A configuration example is shown. In the present modified example, an image communication system having the same effect as that of the present embodiment can be realized by preparing two sets of the transmission / reception devices and connecting both sets through a communication path. In this case, as shown in FIG. 6, the region-of-interest information of the received image is input to the multiplexer unit 14 in the transmission device 10 and included in the transmission encoded data, while the image decoding unit 21 transmits from the reception encoded data. The region of interest information of the image may be obtained and supplied to the correlation calculation unit 172 of the region of interest correction unit 17, and the quantization step of the transmission image may be controlled.
【００２８】図７は、本発明の第３の実施例を示すブロ
ック図であり、図中、図１と同等部分には同一符号を付
して示し、その説明については重複するので省略する。
本実施例においては、受信装置２０内に、関心領域指示
部２３で指示された関心領域情報に基づいて関心領域中
の動体を追尾しつつこの関心領域情報を補正する関心領
域補正部２４を追加した構成となっている。この関心領
域補正部２４は、画像復号部２１から読み出される再生
画像データの１次元方向の加算値を関心領域の位置情報
に基づいて計算する加算値計算部２４１と、関心領域指
示部２３から入力される関心領域情報を初期情報とし、
加算値計算部２４１で求められる第１の時刻における加
算値と第２の時刻における加算値の相関を計算すること
によって動体の動き量を検出し、上記関心領域情報を補
正する相関計算部２４２とから構成されている。FIG. 7 is a block diagram showing a third embodiment of the present invention. In the figure, the same parts as those in FIG. 1 are designated by the same reference numerals and the description thereof will be omitted to avoid duplication.
In the present embodiment, a region-of-interest correction unit 24 that corrects the region-of-interest information while tracking a moving object in the region-of-interest based on the region-of-interest information designated by the region-of-interest designating unit 23 is added to the receiving device 20. It has been configured. The region-of-interest correction unit 24 is input from the region-of-interest indicating unit 23 and the additional-value calculation unit 241 that calculates the additional value of the reproduction image data read from the image decoding unit 21 in the one-dimensional direction based on the position information of the region of interest. Area of interest information to be the initial information,
A correlation calculation unit 242 that detects the motion amount of the moving object by calculating the correlation between the addition value at the first time and the addition value at the second time, which is obtained by the addition value calculation unit 241, and corrects the region of interest information. It consists of
【００２９】この関心領域補正部２４においては、関心
領域指示部２３から関心領域情報（ｘ，ｙ，ｗ，ｈ，
Ａ）が入力されると、以下の動作を行う。先ず、相関計
算部２４２が関心領域の位置情報（ｘ，ｙ，ｗ，ｈ）を
加算値計算部２４１へ出力する。加算値計算部２４１
は、関心領域に対応した再生画像データｐ（Ｘ，Ｙ）
（但し、（Ｘ，Ｙ）は画素位置）を画像復号部２１から
読み出して水平方向及び垂直方向の加算値Ｈ1(Ｙ）及び
Ｖ1(Ｘ）を、第２の実施例の場合と同様に、（２）式及
び（３）式により求めて一時的に記憶する。In the ROI correction unit 24, the ROI information (x, y, w, h,
When A) is input, the following operation is performed. First, the correlation calculation unit 242 outputs the position information (x, y, w, h) of the region of interest to the added value calculation unit 241. Addition value calculation unit 241
Is reproduced image data p (X, Y) corresponding to the region of interest.
(However, (X, Y) is a pixel position) is read from the image decoding unit 21, and the added values H 1 (Y) and V 1 (X) in the horizontal and vertical directions are the same as in the case of the second embodiment. Then, it is obtained by the equations (2) and (3) and temporarily stored.
【００３０】また、関心領域補正部２４は、関心領域指
示部２３から関心領域情報が入力されない場合には一定
時間間隔、例えば画像復号部２１が１フレーム分の画像
データを復号する時間間隔で以下の動作を行う。先ず、
加算値計算部２４１が相関計算部２４２から関心領域の
位置情報（ｘ，ｙ，ｗ，ｈ）を入力し、この関心領域に
対応した再生画像データを画像復号部２１から読み出し
て、第２の実施例の場合と同様に、（２）式及び（３）
式に基づいて水平方向及び垂直方向の加算値Ｈ2(Ｙ）及
びＶ2(Ｘ）を計算する。相関計算部２４２は、加算値計
算部２４１から加算値Ｈ1(Ｙ），Ｖ1(Ｘ）及びＨ
2(Ｙ），Ｖ2(Ｘ）を読み出してＨ1(Ｙ）とＨ2(Ｙ）の相
関値ＣＨ（ｄＹ）及びＶ1(Ｘ）とＶ2(Ｘ）の相関値ＣＶ
（ｄＸ）を計算する。この相関の計算方法としては、第
２の実施例と同様の方法が用いられる。In addition, the ROI correcting unit 24 sets a predetermined time interval when no ROI information is input from the ROI instructing unit 23, for example, a time interval at which the image decoding unit 21 decodes one frame of image data. The operation of. First,
The addition value calculation unit 241 inputs the position information (x, y, w, h) of the region of interest from the correlation calculation unit 242, reads the reproduced image data corresponding to this region of interest from the image decoding unit 21, and outputs the second image data. As in the case of the embodiment, the expressions (2) and (3) are used.
Based on the formula, the added values H 2 (Y) and V 2 (X) in the horizontal and vertical directions are calculated. The correlation calculation unit 242 receives the addition values H 1 (Y), V 1 (X) and H from the addition value calculation unit 241.
2 (Y), V 2 (X) are read out and the correlation value CH (dY) between H 1 (Y) and H 2 (Y) and the correlation value CV between V 1 (X) and V 2 (X)
Calculate (dX). As the method of calculating this correlation, the same method as in the second embodiment is used.
【００３１】相関計算部２４２は、ＣＨ（ｄＹ）及びＣ
Ｖ（ｄＸ）が最小となる場合のｄＹ＝Δｙ及びｄＸ＝Δ
ｘを検出し、関心領域の動き量を（Δｘ，Δｙ）として
関心領域情報を（６）式のように補正して記憶するとと
もに、関心領域指示部２３へ出力する。関心領域指示部
２３は、補正された関心領域情報を相関計算部２４２よ
り入力して通信路３０へ出力する。加算値計算部２４１
は、Ｈ2(Ｙ），Ｖ2(Ｘ）のデータをＨ1(Ｙ），Ｖ1(Ｘ）
として一時的に記憶する。なお、関心領域補正部２４の
具体的な動作については、図５に基づいて説明した第２
の実施例における関心領域補正部１７の動作と全く同じ
であり、その説明については重複するので省略する。The correlation calculation unit 242 calculates CH (dY) and C
DY = Δy and dX = Δ when V (dX) is minimum
x is detected, the amount of movement of the region of interest is set as (Δx, Δy), the region of interest information is corrected and stored as in equation (6), and is output to the region of interest instructing unit 23. The ROI instructing unit 23 inputs the corrected ROI information from the correlation calculating unit 242 and outputs it to the communication path 30. Addition value calculation unit 241
Shows the data of H 2 (Y) and V 2 (X) as H 1 (Y) and V 1 (X).
Temporarily store as. The specific operation of the region-of-interest correction unit 24 will be described with reference to FIG.
The operation is exactly the same as that of the region-of-interest correction unit 17 in this embodiment, and the description thereof will be omitted to avoid duplication.
【００３２】この関心領域補正部２４の作用により、関
心領域内の動体の動きに応じて関心領域の位置が適切に
補正されることになる。この関心領域補正部２４によっ
て補正された関心領域情報（ｘ，ｙ，ｗ，ｈ，Ａ）が関
心領域指示部２３から出力され、通信路３０を介して量
子化ステップ制御部１６へ入力されると、量子化ステッ
プ制御部１６は、第１の実施例の場合と同様に、（１）
式に基づいて量子化ステップｑを計算し、量子化部１３
及びマルチプレクサ部１４へ出力する。以降、第１の実
施例の場合と同様の動作が行われる。By the operation of the region of interest correcting section 24, the position of the region of interest is appropriately corrected according to the movement of the moving body in the region of interest. The ROI information (x, y, w, h, A) corrected by the ROI correcting unit 24 is output from the ROI instructing unit 23 and input to the quantization step control unit 16 via the communication path 30. Then, the quantization step control unit 16 performs (1) as in the case of the first embodiment.
The quantization step q is calculated based on the equation, and the quantization unit 13
And to the multiplexer unit 14. After that, the same operation as in the case of the first embodiment is performed.
【００３３】図８は、第３の実施例の変形例を示すブロ
ック図であり、画像伝送の方向を単一方向とした本実施
例に対し、双方向画像伝送に適用した場合における送受
信装置の構成例を示している。本変形例においては、当
該送受信装置を２セット用意して双方を通信路で接続す
ることにより、本実施例と同等の効果を有する画像通信
システムが実現できる。この場合には、図８に示すよう
に、受信装置２０において関心領域補正部１７によって
補正されかつ関心領域指示部２３から出力される受信画
像の関心領域情報を送信装置１０内のマルチプレクサ部
１４へ入力して送信符号化データに含める一方、画像復
号部２１において受信符号化データから送信画像の関心
領域情報を得て送信画像の量子化ステップを制御するよ
うに構成すれば良い。FIG. 8 is a block diagram showing a modification of the third embodiment. In contrast to the present embodiment in which the image transmission direction is a single direction, a transmitter / receiver in the case of being applied to bidirectional image transmission is shown. A configuration example is shown. In the present modified example, an image communication system having the same effect as that of the present embodiment can be realized by preparing two sets of the transmission / reception devices and connecting both sets through a communication path. In this case, as shown in FIG. 8, the region-of-interest information of the received image corrected by the region-of-interest correction unit 17 in the receiving device 20 and output from the region-of-interest designating unit 23 is sent to the multiplexer unit 14 in the transmitting device 10. The image decoding unit 21 may be configured to obtain the region-of-interest information of the transmission image from the reception encoded data and control the quantization step of the transmission image while inputting and including it in the transmission encoded data.
【００３４】なお、上記第１乃至第３の各実施例では、
受信装置２０における関心領域指示部２３を、ポインテ
ィングデバイスによって関心領域情報を入力するように
構成する構成の場合について説明したが、他の構成、例
えば複数の関心領域情報の組をあらかじめ用意し、これ
らの中から任意の１つの組を選択するような構成であっ
ても良く、上記各実施例と同等の効果を得ることができ
る。さらに、関心領域情報として関心領域の位置情報及
び関心度情報を用いるとしたが、これに限定されるもの
ではなく、関心領域情報を関心領域の位置情報のみと
し、量子化ステップ制御部１６における量子化ステップ
の計算に当たっては関心度Ａ＝１として処理するように
しても良く、この場合においても、上記各実施例と同等
の効果を得ることができる。In each of the first to third embodiments,
The case where the ROI designating section 23 in the receiving device 20 is configured to input the ROI information with the pointing device has been described, but other configurations, for example, a set of a plurality of ROI information are prepared in advance, and The configuration may be such that any one set is selected from among the above, and the same effect as each of the above-described embodiments can be obtained. Furthermore, although the position information and the degree-of-interest information of the ROI are used as the ROI information, the present invention is not limited to this. The ROI information is only the positional information of the ROI, and the quantization step controller 16 uses the quantum information. The calculation of the conversion step may be performed with the interest level A = 1, and even in this case, the same effect as each of the above embodiments can be obtained.
【００３５】また、上記第２，第３の実施例において
は、相関計算部１７２，２４２における相関の計算方法
を（４）式及び（５）式で定義したが、この計算方法と
しては、他の任意好適な方法を用いても良い。例えば、
相関値ＣＨ（ｄＹ），ＣＶ（ｄＸ）を求める式として次
式を適用して良い。Further, in the second and third embodiments, the correlation calculating method in the correlation calculating units 172 and 242 is defined by the equations (4) and (5). Any suitable method may be used. For example,
The following equation may be applied as an equation for obtaining the correlation values CH (dY) and CV (dX).
【数７】 [Equation 7]
【数８】 この場合には、Ｈ1(Ｙ）とＨ2(Ｙ）の相関が強い程ＣＨ
（ｄＹ）は大きな値をとり、同様に、Ｖ1(Ｘ）とＶ
2(Ｘ）の相関が強い程ＣＨ（ｄＸ）は大きな値をとる。
したがって、相関計算部１７２を、ＣＨ（ｄＹ）及びＣ
Ｖ（ｄＸ）が最大となる場合のｄＹ＝Δｘ及びｄＸ＝Δ
ｙを関心領域の動き量として処理するように構成すれば
良い。[Equation 8] In this case, the stronger the correlation between H 1 (Y) and H 2 (Y), the more CH
(DY) takes a large value, and similarly V 1 (X) and V 1 (X)
The stronger the correlation of 2 (X), the larger the value of CH (dX).
Therefore, the correlation calculation unit 172 is set to CH (dY) and C
DY = Δx and dX = Δ when V (dX) is maximum
It may be configured to process y as the amount of movement of the region of interest.
【００３６】またさらに、第２，第３の実施例では、関
心領域補正部１７，２４を入力画像の１次元の加算値に
基づいて動体を追尾し、関心領域情報を補正するように
構成した場合について説明したが、関心領域中の動体を
従来公知の手法によって追尾し、これにより関心領域情
報を補正するように関心領域補正部１７，２４を構成し
ても、第２，第３の実施例と同等の効果を得ることがで
きる。関心領域中の動体を追尾する他の手法としては、
例えば、入力画像をブロックに分割し、各ブロックの動
き量を検出した後、関心領域に含まれるブロックの動き
量の全部又は一部に基づいて関心領域の動き量を計算す
ることができる。Furthermore, in the second and third embodiments, the region-of-interest correction units 17 and 24 are configured to track the moving body based on the one-dimensional added value of the input image and correct the region-of-interest information. Although the case has been described, even if the region-of-interest correction units 17 and 24 are configured to track a moving object in the region of interest by a conventionally known method and thereby correct the region-of-interest information, the second and third embodiments are performed. The same effect as the example can be obtained. Other methods for tracking moving objects in the region of interest include:
For example, the input image may be divided into blocks, the amount of motion of each block may be detected, and then the amount of motion of the region of interest may be calculated based on all or part of the amount of motion of the block included in the region of interest.
【００３７】この場合、関心領域に含まれるブロック番
号をｉ（ｉ＝１，２，……，Ｉ）、各ブロックの動き量
をΔｖi 、関心領域の動き量をΔＶとすると、関心領域
の動き量ΔＶは、例えば次式のようにして計算される。In this case, if the block number included in the region of interest is i (i = 1, 2, ..., I), the amount of movement of each block is Δv i , and the amount of movement of the region of interest is ΔV, the region of interest is The movement amount ΔV is calculated, for example, by the following equation.
【数９】 但し、ｗi はブロックｉに対する重み係数であって、こ
のブロックｉが関心領域の中心に近い程大きい値をとる
定数パラメータである。[Equation 9] However, w i is a weighting coefficient for the block i, and is a constant parameter that takes a larger value as the block i is closer to the center of the region of interest.
【００３８】動画像符号化装置では一般に、入力画像を
ブロック分割し、各ブロックの動き量を検出してこれに
基づき符号化を行う構成となっている。したがって、第
２の実施例の場合にあっては、関心領域補正部１７で直
接各ブロックの動き量を検出しなくても所期の目的を達
成できるので、本画像通信システムの装置全体の構成を
簡略化できる。一方、第３の実施例の場合にあっては、
関心領域補正部２４は、通信路３０から入力される符号
化データに含まれる関心領域に対応したブロックの動き
量に基づいて（９）式の計算を行うようにすれば良い。In general, a moving picture coding apparatus is constructed so that an input picture is divided into blocks, a motion amount of each block is detected, and coding is performed based on this. Therefore, in the case of the second embodiment, the intended purpose can be achieved without directly detecting the motion amount of each block by the region-of-interest correction unit 17, so that the entire configuration of the image communication system is configured. Can be simplified. On the other hand, in the case of the third embodiment,
The region-of-interest correction unit 24 may calculate the equation (9) based on the motion amount of the block corresponding to the region of interest included in the encoded data input from the communication path 30.
【００３９】[0039]
【発明の効果】以上詳細に説明したように、請求項１記
載の画像通信システムによれば、送信装置側から画像が
伝送されると、受信装置側からその伝送画像の関心の高
い領域についての位置情報や関心度情報の関心領域情報
を指示して通信路へ出力する一方、送信装置側では通信
路を介して入力される関心領域情報に基づいて量子化ス
テップを制御するように構成したので、送信装置が伝送
画像の品質を一方的に決定する従来システムとは異な
り、受信側の関心の高い画像領域について高画質にて画
像を伝送できることになる。As described in detail above, according to the image communication system of the first aspect, when an image is transmitted from the transmitting device side, the image data transmitted from the receiving device side to the region of high interest in the transmitted image is transmitted. While the region of interest information of the position information and the degree of interest information is instructed and output to the communication channel, the transmitter side is configured to control the quantization step based on the region of interest information input via the communication channel. Unlike the conventional system in which the transmitting device unilaterally determines the quality of the transmitted image, the image can be transmitted with high image quality in the image region of high interest on the receiving side.
【００４０】請求項２記載の画像通信システムによれ
ば、送信装置側において通信路から入力される関心領域
情報に基づいて関心領域中の動体を追尾しつつこの関心
領域情報を補正して量子化ステップ制御部に与える一
方、量子化ステップ制御部ではこの補正された関心領域
情報に基づいて量子化ステップを制御するように構成し
たので、送信装置が関心領域中の動体の動き量に応じて
該関心領域の位置を補正でき、受信側の関心の対象が動
体である場合にも対応できることになる。According to the image communication system of the second aspect, while tracking the moving object in the region of interest based on the region of interest information input from the communication channel on the side of the transmitter, the region of interest information is corrected and quantized. On the other hand, since the quantization step control unit is configured to control the quantization step based on the corrected region of interest information, the transmission device is configured to control the quantization step according to the amount of motion of the moving object in the region of interest. The position of the region of interest can be corrected, and the case where the target of interest on the receiving side is a moving body can be dealt with.
【００４１】請求項３記載の画像通信システムによれ
ば、受信装置側において関心領域指示部によって指示さ
れる関心領域情報に基づいて関心領域中の動体を追尾し
つつこの関心領域情報を補正して通信路へ出力する一
方、送信装置側ではこの補正された関心領域情報に基づ
いて量子化ステップを制御するように構成したので、受
信装置が関心領域中の動体の動き量に応じて該関心領域
の位置を補正でき、受信側の関心の対象が動体である場
合にも対応できることになる。According to the image communication system of the third aspect, the region-of-interest information is corrected while tracking the moving body in the region-of-interest based on the region-of-interest information designated by the region-of-interest indicator on the receiving device side. While outputting to the communication channel, the transmitting device side is configured to control the quantization step based on the corrected ROI information. Therefore, the receiving device is configured to control the quantization step according to the motion amount of the moving object in the ROI. The position of can be corrected, and the case where the target of interest on the receiving side is a moving body can be dealt with.
【００４２】したがって、本発明による画像通信システ
ムをＴＶ電話システム、ＴＶ会議システム、遠隔監視シ
ステム等に適用すれば、受信側の関心に応じて伝送画像
の特定領域の画質を向上させることができると同時に、
上記特定領域外の符号量を相対的に少なく抑えることが
できるので、受信者側の目的に応じた効率の良い画像伝
送が可能となる。Therefore, if the image communication system according to the present invention is applied to a TV telephone system, a TV conference system, a remote monitoring system, etc., the image quality of a specific area of the transmitted image can be improved according to the interest of the receiving side. at the same time,
Since the code amount outside the specific area can be suppressed to be relatively small, efficient image transmission according to the purpose on the receiver side becomes possible.
【図１】本発明による画像通信システムの第１の実施例
を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment of an image communication system according to the present invention.
【図２】動作説明に供する表示部の表示画面の一例を示
す図である。FIG. 2 is a diagram showing an example of a display screen of a display unit used for explaining the operation.
【図３】第１の実施例の変形例を示すブロック図であ
る。FIG. 3 is a block diagram showing a modification of the first embodiment.
【図４】本発明による画像通信システムの第２の実施例
を示すブロック図である。FIG. 4 is a block diagram showing a second embodiment of the image communication system according to the present invention.
【図５】関心領域補正部の動作説明図である。FIG. 5 is an operation explanatory diagram of a region of interest correction unit.
【図６】第２の実施例の変形例を示すブロック図であ
る。FIG. 6 is a block diagram showing a modification of the second embodiment.
【図７】本発明による画像通信システムの第３の実施例
を示すブロック図である。FIG. 7 is a block diagram showing a third embodiment of the image communication system according to the present invention.
【図８】第３の実施例の変形例を示すブロック図であ
る。FIG. 8 is a block diagram showing a modification of the third embodiment.
【図９】画像通信システムの従来例を示すブロック図で
ある。FIG. 9 is a block diagram showing a conventional example of an image communication system.
１０ 送信装置 １１ 入力部 １３ 量子化部 １４ マルチプレクサ部 １６ 量子化ステップ制御部 １７，２４ 関心領域補正部 ２０ 受信装置 ２１ 画像復号部 ２２ 表示部 ２３ 関心領域指示部 ３０ 通信路 DESCRIPTION OF SYMBOLS 10 transmitter 11 input part 13 quantization part 14 multiplexer part 16 quantization step control part 17, 24 ROI correction part 20 receiving device 21 image decoding part 22 display part 23 ROI instructing part 30 communication path
Claims (3)
と、前記送信装置から送信された符号化信号を受信し復
号化して画像信号を出力する受信装置と、前記送信装置
と前記受信装置とを接続する通信路とからなる画像通信
システムにおいて、 前記受信装置は、前記送信装置から送信される伝送画像
の関心領域に関する関心領域情報を指示して前記通信路
へ出力する関心領域指示部を有し、 前記送信装置は、前記通信路から入力される前記関心領
域情報に基づいて量子化ステップを制御する量子化ステ
ップ制御部と、前記量子化ステップに応じて画像信号を
符号化する符号化部とを有することを特徴とする画像通
信システム。1. A transmitting device for encoding and transmitting an image signal, a receiving device for receiving and decoding an encoded signal transmitted from the transmitting device, and outputting an image signal, the transmitting device and the receiving device. In the image communication system including a communication path connecting the above, the receiving device has a region-of-interest instructing unit that instructs the region of interest information regarding the region of interest of the transmission image transmitted from the transmitting device and outputs the region of interest to the communication channel. However, the transmitting device controls a quantization step based on the region-of-interest information input from the communication channel, and a coding section that codes an image signal according to the quantization step. An image communication system comprising:
入力される前記関心領域情報に基づいて関心領域中の動
体を追尾しつつ前記関心領域情報を補正して前記量子化
ステップ制御部へ供給する関心領域補正部を有すること
を特徴とする請求項１記載の画像通信システム。2. The transmitter further corrects the region of interest information while tracking a moving object in the region of interest based on the region of interest information input from the communication path, and supplies the corrected region of interest information to the quantization step controller. The image communication system according to claim 1, further comprising a region-of-interest correction unit that operates.
報に基づいて関心領域中の動体を追尾しつつ前記関心領
域情報を補正する関心領域補正部を有することを特徴と
する請求項１記載の画像通信システム。3. The receiver according to claim 1, further comprising a region-of-interest correction unit that corrects the region-of-interest information while tracking a moving object in the region of interest based on the region-of-interest information. Image communication system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13112493A JP2915248B2 (en) | 1993-05-07 | 1993-05-07 | Image communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13112493A JP2915248B2 (en) | 1993-05-07 | 1993-05-07 | Image communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06319134A true JPH06319134A (en) | 1994-11-15 |
| JP2915248B2 JP2915248B2 (en) | 1999-07-05 |
Family
ID=15050550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13112493A Expired - Fee Related JP2915248B2 (en) | 1993-05-07 | 1993-05-07 | Image communication system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2915248B2 (en) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233475A (en) * | 1996-02-23 | 1997-09-05 | Tsushin Hoso Kiko | Image coder |
| JPH10271515A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
| JPH11146395A (en) * | 1997-11-05 | 1999-05-28 | Nec Eng Ltd | Image transmission system and image coder |
| WO1999040725A1 (en) * | 1998-02-10 | 1999-08-12 | Nihon Computer Co., Ltd. | High-resolution high-value-added video transfer method by using pseudo natural image, high-resolution high-value-added video processor, high-resolution high-value-added video processing method, high-resolution high-value-added transfer system, and storage medium |
| JP2001045476A (en) * | 1999-08-02 | 2001-02-16 | Sharp Corp | Image encoding device considering slave picture display |
| JP2003174645A (en) * | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Method for transforming video image by wavelet transform processing |
| JP2003224850A (en) * | 2002-01-29 | 2003-08-08 | Nippon Hoso Kyokai <Nhk> | Video relay system, encoding information instruction apparatus, program thereof, encoded video image transmission apparatus, and program thereof |
| JP2003264839A (en) * | 2002-03-11 | 2003-09-19 | Kddi Research & Development Laboratories Inc | Bit rate conversion apparatus for encoded moving picture data |
| JP2004187023A (en) * | 2002-12-04 | 2004-07-02 | Nec Corp | Moving image encoding device and moving image decoding device |
| WO2005104552A1 (en) * | 2004-04-23 | 2005-11-03 | Sumitomo Electric Industries, Ltd. | Moving picture data encoding method, decoding method, terminal device for executing them, and bi-directional interactive system |
| JP2005341076A (en) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium |
| JP2005348438A (en) * | 2005-07-29 | 2005-12-15 | Sanyo Electric Co Ltd | Image encoding method |
| JP2008532429A (en) * | 2005-03-01 | 2008-08-14 | クゥアルコム・インコーポレイテッド | Region of interest coding using background skipping for videophones. |
| JP2008532428A (en) * | 2005-03-01 | 2008-08-14 | クゥアルコム・インコーポレイテッド | Quality Measure Bias Region of Interest Coding for Videophones |
| JP2009122599A (en) * | 2007-11-19 | 2009-06-04 | Fujifilm Corp | Image display device |
| JP2009246642A (en) * | 2008-03-31 | 2009-10-22 | Kddi Corp | Video transmission device, video display and video transmission system |
| JP2012100281A (en) * | 2005-03-09 | 2012-05-24 | Qualcomm Inc | Region-of-interest extraction for video telephony |
| JP2013062824A (en) * | 2005-03-01 | 2013-04-04 | Qualcomm Inc | Region-of-interest coding in video telephony using rho domain bit allocation |
| JP2014057128A (en) * | 2012-09-11 | 2014-03-27 | Nippon Hoso Kyokai <Nhk> | Video encoding controller, program of the same and video transmission device |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| JP2015208021A (en) * | 2015-06-10 | 2015-11-19 | レノボ・イノベーションズ・リミテッド（香港） | Moving image communication system |
| JP2015231145A (en) * | 2014-06-05 | 2015-12-21 | 日本放送協会 | Transmitter, receiver and programs thereof |
| US9667980B2 (en) | 2005-03-01 | 2017-05-30 | Qualcomm Incorporated | Content-adaptive background skipping for region-of-interest video coding |
| JP2018129621A (en) * | 2017-02-07 | 2018-08-16 | 富士通株式会社 | Transmission control program, transmission control method, and transmission control device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4578197B2 (en) * | 2004-09-29 | 2010-11-10 | 三洋電機株式会社 | Image display device |
-
1993
- 1993-05-07 JP JP13112493A patent/JP2915248B2/en not_active Expired - Fee Related
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09233475A (en) * | 1996-02-23 | 1997-09-05 | Tsushin Hoso Kiko | Image coder |
| JPH10271515A (en) * | 1997-03-26 | 1998-10-09 | Sanyo Electric Co Ltd | Noticed area tracing method, noticed area tracing device using the method and image coding method |
| JPH11146395A (en) * | 1997-11-05 | 1999-05-28 | Nec Eng Ltd | Image transmission system and image coder |
| WO1999040725A1 (en) * | 1998-02-10 | 1999-08-12 | Nihon Computer Co., Ltd. | High-resolution high-value-added video transfer method by using pseudo natural image, high-resolution high-value-added video processor, high-resolution high-value-added video processing method, high-resolution high-value-added transfer system, and storage medium |
| JP2001045476A (en) * | 1999-08-02 | 2001-02-16 | Sharp Corp | Image encoding device considering slave picture display |
| JP2003174645A (en) * | 2001-11-30 | 2003-06-20 | Inst For Information Industry | Method for transforming video image by wavelet transform processing |
| JP2003224850A (en) * | 2002-01-29 | 2003-08-08 | Nippon Hoso Kyokai <Nhk> | Video relay system, encoding information instruction apparatus, program thereof, encoded video image transmission apparatus, and program thereof |
| JP2003264839A (en) * | 2002-03-11 | 2003-09-19 | Kddi Research & Development Laboratories Inc | Bit rate conversion apparatus for encoded moving picture data |
| JP2004187023A (en) * | 2002-12-04 | 2004-07-02 | Nec Corp | Moving image encoding device and moving image decoding device |
| WO2005104552A1 (en) * | 2004-04-23 | 2005-11-03 | Sumitomo Electric Industries, Ltd. | Moving picture data encoding method, decoding method, terminal device for executing them, and bi-directional interactive system |
| US7983497B2 (en) | 2004-04-23 | 2011-07-19 | Sumitomo Electric Industries, Ltd. | Coding method for motion-image data, decoding method, terminal equipment executing these, and two-way interactive system |
| JP2005341076A (en) * | 2004-05-26 | 2005-12-08 | Nippon Telegr & Teleph Corp <Ntt> | Image communication system, communication conference system, hierarchical encoder, server device, image communication method, image communication program, and image communication program recording medium |
| JP2008532429A (en) * | 2005-03-01 | 2008-08-14 | クゥアルコム・インコーポレイテッド | Region of interest coding using background skipping for videophones. |
| JP2008532428A (en) * | 2005-03-01 | 2008-08-14 | クゥアルコム・インコーポレイテッド | Quality Measure Bias Region of Interest Coding for Videophones |
| US9667980B2 (en) | 2005-03-01 | 2017-05-30 | Qualcomm Incorporated | Content-adaptive background skipping for region-of-interest video coding |
| JP2012110002A (en) * | 2005-03-01 | 2012-06-07 | Qualcomm Inc | Region-of-interest coding with background skipping for video telephony |
| JP2012147431A (en) * | 2005-03-01 | 2012-08-02 | Qualcomm Inc | Quality metric-biased region-of-interest coding for video telephony |
| JP2013062824A (en) * | 2005-03-01 | 2013-04-04 | Qualcomm Inc | Region-of-interest coding in video telephony using rho domain bit allocation |
| US8693537B2 (en) | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
| US8768084B2 (en) | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| JP2012100281A (en) * | 2005-03-09 | 2012-05-24 | Qualcomm Inc | Region-of-interest extraction for video telephony |
| JP2015122768A (en) * | 2005-03-09 | 2015-07-02 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Region-of-interest extraction for video telephony |
| JP2005348438A (en) * | 2005-07-29 | 2005-12-15 | Sanyo Electric Co Ltd | Image encoding method |
| JP2009122599A (en) * | 2007-11-19 | 2009-06-04 | Fujifilm Corp | Image display device |
| JP2009246642A (en) * | 2008-03-31 | 2009-10-22 | Kddi Corp | Video transmission device, video display and video transmission system |
| JP2014057128A (en) * | 2012-09-11 | 2014-03-27 | Nippon Hoso Kyokai <Nhk> | Video encoding controller, program of the same and video transmission device |
| JP2015231145A (en) * | 2014-06-05 | 2015-12-21 | 日本放送協会 | Transmitter, receiver and programs thereof |
| JP2015208021A (en) * | 2015-06-10 | 2015-11-19 | レノボ・イノベーションズ・リミテッド（香港） | Moving image communication system |
| JP2018129621A (en) * | 2017-02-07 | 2018-08-16 | 富士通株式会社 | Transmission control program, transmission control method, and transmission control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2915248B2 (en) | 1999-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2915248B2 (en) | Image communication system | |
| US4816906A (en) | Method for motion-compensated frame-to-frame prediction coding | |
| US7738715B2 (en) | Image distribution apparatus, communication terminal apparatus, and control method thereof | |
| US7072397B2 (en) | Optimal encoding of motion compensated video | |
| KR100292475B1 (en) | Device for compensating digital image shake | |
| US6931064B2 (en) | Motion picture data converter, and computer product | |
| EP0557007A2 (en) | Picture processing apparatus | |
| JPS58197984A (en) | Adaptive forecasting encoding device of television signal | |
| US6680974B1 (en) | Methods and apparatus for context selection of block transform coefficients | |
| US5537147A (en) | Apparatus and method for intraframe and interframe coding a digital video signal | |
| EP0771117A3 (en) | Method and apparatus for encoding and decoding a video signal using feature point based motion estimation | |
| US7729558B2 (en) | Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program | |
| US20020141501A1 (en) | System for performing resolution upscaling on frames of digital video | |
| US5686956A (en) | Object-by background information coding apparatus and method | |
| JP2002044644A (en) | Method and device for encoding live image obtained through microscope | |
| JPH08265764A (en) | Video signal encoding device | |
| JP2678066B2 (en) | Digital signal processor | |
| JP3665212B2 (en) | Remote monitoring device and remote monitoring method | |
| KR20150045951A (en) | Receiving device, transmission device, and image transmission method | |
| JP3115866B2 (en) | Image encoding device and image decoding device | |
| US20050036542A1 (en) | Computation of compressed video information | |
| JPH0563074B2 (en) | ||
| KR930006522B1 (en) | Video signal band compression apparatus | |
| JPH0583704A (en) | Picture transmitter | |
| JPH0998422A (en) | Motion detection method and data transmitter using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |