JPH0879759A - Image coder and image decoder - Google Patents

Image coder and image decoder

Info

Publication number
JPH0879759A
JPH0879759A JP6210099A JP21009994A JPH0879759A JP H0879759 A JPH0879759 A JP H0879759A JP 6210099 A JP6210099 A JP 6210099A JP 21009994 A JP21009994 A JP 21009994A JP H0879759 A JPH0879759 A JP H0879759A
Authority
JP
Japan
Prior art keywords
image
contour
moving
reference image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6210099A
Other languages
Japanese (ja)
Inventor
Hiroyuki Katada
裕之 堅田
Hiroshi Kusao
寛 草尾
Tomoko Aono
友子 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP6210099A priority Critical patent/JPH0879759A/en
Publication of JPH0879759A publication Critical patent/JPH0879759A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE: To generate an excellent predicted image by matching a grating point on a predicted reference image with a moving contour part in a prediction coding system where an image is divided into rectangular blocks by a rectangular grating and a moving vector at the grating point is used to convert the shape of each rectangular block. CONSTITUTION: A moving contour detection section 1 detects a moving contour based on a reference image and other decoded image. A grating point determination section 2 sets grating points in matching the moving contour obtained by the moving contour detection section 1. A motion estimate section 3 estimates to which on a coded object image the grating points on a referenced image obtained by the grating point determination section 2 are moved. A prediction section 4 obtains a predicted image by using the reference image and the grating point moving vector on the reference image. Thus, the moving contour detection section 1 obtains the moving contour and the grating points used for the prediction match the moving contour, then the efficiency for estimating the motion is improved and an excellent predicted image is generated.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、画像符号化装置及び画
像復号装置に関し、より詳細には、画像を四角形格子に
よって四角形ブロックに分割し、その格子点の動ベクト
ルを用いて四角形ブロックの形状変換を行う予測符号化
方式において、予測参照画像上の格子点を動きある輪郭
に合わせることによって良好な予測画像を作成するよう
にした画像符号化装置及び画像復号装置に関する。例え
ば、ディジタル画像処理の分野における画像データの高
能率符号化に適用されるものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding apparatus and an image decoding apparatus, and more particularly, it divides an image into rectangular blocks by a rectangular grid and uses the motion vector of the grid points to form the shape of the rectangular block. The present invention relates to an image coding apparatus and an image decoding apparatus that create a good predicted image by matching a grid point on a predicted reference image with a moving contour in a predictive coding method that performs conversion. For example, it is applied to high-efficiency encoding of image data in the field of digital image processing.

【0002】[0002]

【従来の技術】従来より、ディジタル動画像を、フレー
ム間予測、直交変換、量子化、可変長符号化等の技術を
用いて高能率符号化する方式が提案されている。例え
ば、公知文献「MPEG2フレーム間予測方式」(テ
レビジョン学会技術報告Vol.16.No61.pp.37-42,19
92年10月15日)に述べられている方法がある。
2. Description of the Related Art Conventionally, there has been proposed a method for highly efficient encoding of a digital moving image by using techniques such as inter-frame prediction, orthogonal transformation, quantization, variable length encoding and the like. For example, the publicly known document "MPEG2 Interframe Prediction Method" (Technical Report of the Television Society, Vol. 16, No 61. pp. 37-42, 19).
There is a method described in October 15, 1992).

【0003】また、フレーム間予測の方式として、アフ
ィン変換を用いた予測方法が検討されている。例えば、
公知文献「Very Low Bitrate Video Coder usin
g Warping Prediction」(1993年画像符号化シンポジ
ウム8-7,pp.167-168)や、公知文献「A Novel Vid
eo Coding Scheme Based on Temporal Prediction
Using Digital Image Warping」(IEEE Inter
national Conferenceon Consumer Electronics,199
3)に述べられている方法では、図6に示すように、変
形格子によって画像の動きを表現し、参照画像(通常、
符号化装置では局所復号されフレームメモリに蓄えられ
ている画像であり、復号装置ではすでに復号されフレー
ムメモリに蓄えられている画像である)からの幾何学変
換によって予測画像が作成される。ここで、●は格子点
を表す。
As a method of interframe prediction, a prediction method using affine transformation has been studied. For example,
Known document "Very Low Bitrate Video Coder usin
g Warping Prediction ”(1993 Image Coding Symposium 8-7, pp.167-168) and the known document“ A Novel Vid ”.
eo Coding Scheme Based on Temporal Prediction
Using Digital Image Warping "(IEEE Inter
national Conferenceon Consumer Electronics, 199
In the method described in 3), as shown in FIG. 6, the motion of the image is expressed by a modified grid, and the reference image (usually,
In the encoding device, the image is locally decoded and stored in the frame memory, and in the decoding device, it is the image already decoded and stored in the frame memory). Here, ● represents a grid point.

【0004】図7は、従来の画像符号化装置における予
測画像作成回路の構成図で、図中、21は輪郭検出部、
22は格子点決定部、23は動き推定部、24は予測部
である。輪郭検出部21では参照画像の輪郭を検出す
る。輪郭検出のためには、例えば、1次差分や勾配オペ
レータを用いる方法、又はSobelオペレータを用いる方
法などがある。これらについては、公知文献「コンピ
ュータビジョン」(谷内田編、丸善株式会社(1990))に
詳しく述べられている。
FIG. 7 is a block diagram of a predictive image creating circuit in a conventional image coding apparatus. In the figure, 21 is a contour detecting section,
Reference numeral 22 is a grid point determination unit, 23 is a motion estimation unit, and 24 is a prediction unit. The contour detector 21 detects the contour of the reference image. For contour detection, for example, there is a method using a primary difference or a gradient operator, a method using a Sobel operator, or the like. These are described in detail in the publicly known document "Computer Vision" (edited by Taniuchida, Maruzen Co., Ltd. (1990)).

【0005】格子点決定部22では、参照画像上の格子
点を輪郭検出部21で求めた輪郭に合わせて設定する。
例えば、初期の格子を16画素×16画素の正方格子に
とっておき、各格子点を最近傍の輪郭に移動させる。た
だし、移動させた後にできる格子(以後、「変形格子」
と呼ぶ)の各辺が重なり合わないようにする。また、格
子点があまり遠くの最近傍点に移動しないようにする。
すなわち、格子点が初期の格子点から移動できる範囲を
限定しておく。このようにして作成した参照画像上の変
形格子の例を図8に示す。
The grid point determining unit 22 sets grid points on the reference image in accordance with the contour obtained by the contour detecting unit 21.
For example, the initial grid is a square grid of 16 pixels × 16 pixels, and each grid point is moved to the nearest contour. However, a grid that can be created after moving
Call each side) so that they do not overlap. In addition, the grid point should not be moved too far to the nearest point.
That is, the range in which the grid points can move from the initial grid points is limited. An example of the modified grid on the reference image created in this way is shown in FIG.

【0006】動き推定部23では、前記格子点決定部2
2で求めた参照画像上の格子点が、符号化対象画像上の
どの位置に動いたかを推定する。動き推定の方法として
は、参照画像上の格子点とその近傍の画素からなる領域
をとり、この領域が符号化対象画像上のどの領域と一致
するかを調べる方法(以下、「ブロックマッチング」と
呼ぶ)が用いられる。具体的には参照画像上の格子点を
中心としたM画素×N画素の領域を考え、符号化対象画
像上で同じ大きさの領域との一致度を調べ、最も一致度
の良い領域の中心を、格子点の移動先とする。このとき
の移動をあらわすベクトルを動ベクトルと呼ぶ。領域の
一致度としては、領域内の画素値の絶対値誤差和や絶対
値誤差の加重和が用いられる。
In the motion estimation unit 23, the grid point determination unit 2
It is estimated to which position on the encoding target image the grid point on the reference image obtained in 2 has moved. As a method of motion estimation, a method is used in which an area made up of grid points on the reference image and pixels in the vicinity thereof is taken and which area on the image to be encoded matches this area (hereinafter referred to as “block matching”). Call) is used. Specifically, consider an area of M pixels × N pixels centered on a grid point on the reference image, check the degree of coincidence with an area of the same size on the image to be encoded, and determine the center of the area with the best degree of coincidence. Is the destination of the grid point. A vector representing the movement at this time is called a motion vector. As the degree of coincidence between regions, the sum of absolute value errors of pixel values in the region or the weighted sum of absolute value errors is used.

【0007】予測部24では、参照画像上の格子点、動
ベクトル及び参照画像を用いて予測画像を求める。予測
画像を求める方法としては、三角形ブロックを用いたア
フィン変換や、四角形ブロック内での動ベクトルの補間
などによるものがある。これらについては前述した公知
文献「Very Low Bitrate Video Coder usingWa
rping Prediction」に詳しく述べられている。予測部
24で求められた予測画像と符号化対象画像との差分デ
ータが、図示しない符号化部において符号化され、符号
化データに組み込まれて伝送あるいは蓄積される。又、
符号化データは図示しない復号部において復号され、予
測画像と足し合わされて復号画像が得られる。復号画像
は図示しないフレームメモリに蓄えられ、以後の符号化
の際の参照画像として用いられる。
The prediction unit 24 obtains a predicted image using the lattice points on the reference image, the motion vector and the reference image. As a method of obtaining a predicted image, there are methods such as affine transformation using a triangular block and motion vector interpolation in a rectangular block. Regarding these, the publicly known document “Very Low Bitrate Video Coder using Wa” is mentioned.
rping Prediction ”. The difference data between the prediction image obtained by the prediction unit 24 and the image to be encoded is encoded by an encoding unit (not shown), incorporated into the encoded data, and transmitted or accumulated. or,
The encoded data is decoded by a decoding unit (not shown) and added to the predicted image to obtain a decoded image. The decoded image is stored in a frame memory (not shown) and used as a reference image in the subsequent encoding.

【0008】図9は、従来の画像復号装置における予測
画像作成回路の構成図で、図中、31は輪郭検出部、3
2は格子点決定部、33は動ベクトル復号部、34は予
測部である。輪郭検出部31、格子点決定部32、予測
部34は、図7の符号化装置と同様の動きをするので説
明を省略する。動ベクトル復号部33は、符号化データ
中に組み込まれている動ベクトルの符号を取り出して復
号する部分である。出力は復号された動ベクトルであ
り、予測部34に入力される。
FIG. 9 is a block diagram of a predictive image forming circuit in a conventional image decoding apparatus.
2 is a grid point determination unit, 33 is a motion vector decoding unit, and 34 is a prediction unit. Since the contour detection unit 31, the grid point determination unit 32, and the prediction unit 34 operate in the same manner as the encoding device in FIG. 7, their description will be omitted. The motion vector decoding unit 33 is a unit that extracts and decodes the code of the motion vector incorporated in the encoded data. The output is the decoded motion vector and is input to the prediction unit 34.

【0009】復号装置では、符号化装置と同じ参照画像
が得られているため、輪郭検出部31、格子点決定部3
2によって符号化装置で得られた変形格子点と同一のも
のが得られる。また、動ベクトル復号部33において得
られる動ベクトルも、符号化装置で得られるものと同一
である。従って、予測部34で得られる予測画像も、符
号化装置で得られるものと同一となる。予測部34で求
められた予測画像と図示しない復号部で得られた差分デ
ータの復号値が足し合わされて復号画像が得られる。復
号画像はディスプレイなどに表示されると共に図示しな
いフレームメモリに蓄えられ、以後の復号の際の参照画
像として用いられる。
Since the decoding apparatus obtains the same reference image as that of the encoding apparatus, the contour detecting section 31 and the lattice point determining section 3
The same as the modified grid point obtained by the encoding device is obtained by 2. The motion vector obtained by the motion vector decoding unit 33 is also the same as that obtained by the encoding device. Therefore, the prediction image obtained by the prediction unit 34 is the same as that obtained by the encoding device. The predicted image obtained by the prediction unit 34 and the decoded value of the difference data obtained by the decoding unit (not shown) are added together to obtain a decoded image. The decoded image is displayed on a display or the like and is also stored in a frame memory (not shown) to be used as a reference image in the subsequent decoding.

【0010】[0010]

【発明が解決しようとする課題】前述のように、従来の
画像符号化装置及び画像復号装置においては、参照画像
上の格子点を決定する際に参照画像上の輪郭を求め、そ
の輪郭に合わて格子点を設定する。しかしながら、求め
た輪郭のなかには実際には動いていないものがあり、格
子点をこれら静止した輪郭に合わせるのは効率が悪い。
例えば、初期の格子点の近傍に静止した輪郭と動きのあ
る輪郭が存在し、静止した輪郭の方が近い場合、従来法
によれば格子点は静止した輪郭に移動する。このため
に、動き推定部において、動きのある輪郭の動きが推定
できないことがあり、予測効率が低下する。
As described above, in the conventional image coding apparatus and image decoding apparatus, when determining the grid points on the reference image, the contour on the reference image is obtained and the contour is matched with the contour. To set grid points. However, some of the obtained contours do not actually move, and it is inefficient to match the grid points with these stationary contours.
For example, when a stationary contour and a moving contour exist near the initial grid point and the stationary contour is closer, the grid point moves to the stationary contour according to the conventional method. For this reason, the motion estimation unit may not be able to estimate the motion of a moving contour, and the prediction efficiency may decrease.

【0011】特に人間の顔画像等では、情報が目や口な
どの動きに集中するが、このような時に格子点を動きの
ない顔の輪郭部に設定するのは都合が悪い。また、顔画
像以外の画像でも、画像を見る場合は視覚特性上、動き
のあるところに注意が向けられるので、動き部分で予測
効率が低下すると全体として画質が低下するように感じ
られる。従来法ではこのように、動き推定部において動
きのある輪郭の動きが推定できないことがあり、予測効
率が低下するという問題があった。
Particularly in a human face image and the like, information concentrates on the movement of the eyes and mouth, but at such a time, it is inconvenient to set the lattice points on the contour portion of the face that does not move. Further, even in the case of images other than face images, when looking at an image, attention is paid to the place where there is motion due to the visual characteristics, so it seems that the overall image quality deteriorates if the prediction efficiency decreases in the moving part. In the conventional method, there is a problem in that the motion estimation unit may not be able to estimate the motion of a moving contour, thus reducing the prediction efficiency.

【0012】本発明は、このような実情に鑑みてなされ
たもので、画像を四角形格子によって四角形ブロックに
分割し、その格子点の動ベクトルを用いて、四角形ブロ
ックの形状変換を行う予測符号化方式において、予測参
照画像上の格子点を動きのある輪部に合わせることによ
って良好な予測画像を作成するようにした画像符号化装
置及び画像復号装置を提供することを目的としている。
The present invention has been made in view of the above circumstances, and predictive coding is performed in which an image is divided into quadrilateral blocks by a quadrilateral lattice and the motion vector of the lattice points is used to perform the shape conversion of the quadrilateral block. In the method, it is an object to provide an image encoding device and an image decoding device that create a good prediction image by matching the lattice points on the prediction reference image with the moving limbus.

【0013】[0013]

【課題を解決するための手段】本発明は、上記課題を解
決するために、(1)画像を四角形格子によって四角形
ブロックに分割し、該格子点の動ベクトルを用いて四角
形ブロックの形状変形を行い、予測画像とする動画像予
測符号化装置における予測画像作成回路において、予測
に用いる参照画像と該参照画像以外の少なくとも1フレ
ーム以上の既に処理された復号画像を用いて動きのある
輪郭を検出する動輪郭検出手段と、該動輪郭検出手段に
より求めた輪郭に合わせて、参照画像上の格子点を設定
する格子点決定手段と、該格子点決定手段で求めた参照
画像上の格子点が符号化対象画像上のどの位置に動いた
かを推定する動き推定手段と、前記参照画像上の格子
点、動ベクトル及び参照画像を用いて予測画像を求める
予測手段とを備えたこと、更には、(2)前記動輪郭検
出手段を、予測に用いる参照画像と該参照画像以外の少
なくとも1フレーム以上の既に処理された復号画像を用
いて動領域を検出する動領域検出手段と、予測に用いる
参照画像上の輪郭を検出する輪郭検出手段と、動きのあ
る輪郭を選択する動輪郭選択手段とによって構成するこ
と、更には、(3)前記(2)において、前記動領域検
出手段を、予測に用いる参照画像と該参照画像以外の既
に処理された復号画像の差をとる差分手段と、該差分手
段により得られた差分データの絶対値をとる絶対値算出
手段と、該絶対値算出手段による絶対値からしきい値処
理によって領域を検出する領域検出手段とによって構成
すること、更には、(4)前記(1)において、前記動
輪郭検出手段を、予測に用いる参照画像と該参照画像以
外の少なくとも1フレーム以上の既に処理された復号画
像を用いて前記輪郭の動きを推定する動き推定手段と、
動きのある輪郭を選択する動輪郭選択手段とによって構
成すること、或いは、(5)画像を四角形格子によって
四角形ブロックに分割し、該格子点の動ベクトルを用い
て四角形ブロックの形状変形を行い、予測画像とする動
画像予測復号装置における予測画像作成回路において、
予測に用いて参照画像と該参照画像以外の少なくとも1
フレーム以上の既に処理された復号画像を用いて動きの
ある輪郭を検出する動輪郭検出手段と、該動輪郭検出手
段で求めた輪郭に合わせて、参照画像上の格子点を設定
する格子点決定手段と、符号化データ中に組み込まれて
いる動ベクトルを取り出し、復号する動ベクトル復号手
段と、前記参照画像上の格子点、動ベクトル及び参照画
像を用いて予測画像を求める予測手段とを備えること、
更には、(6)前記(5)において、前記動輪郭検出手
段を、予測に用いる参照画像と該参照画像以外の少なく
とも1フレーム以上の既に処理された復号画像を用いて
動領域を検出する動領域検出手段と、予測に用いる参照
画像上の輪郭を検出する輪郭検出手段と、動きのある輪
郭を選択する輪郭選択手段とによって構成すること、更
には、(7)前記(6)において、前記動領域検出手段
を、予測に用いる参照画像と該参照画像以外の既に処理
された復号画像の差をとる差分手段と、該差分手段によ
り得られた差分データの絶対値をとる絶対値算出手段
と、該絶対値算出手段による絶対値からしきい値処理に
よって領域を検出する領域検出手段とによって構成する
こと、更には、(8)前記(5)において、前記動輪郭
検出手段を、予測に用いる参照画像と該参照画像以外の
少なくとも1フレーム以上の復号画像を用いて前記輪郭
の動きを推定する動き推定手段と、動きのある輪郭を選
択する動輪郭選択手段を備えることを特徴としたもので
ある。
In order to solve the above-mentioned problems, the present invention (1) divides an image into rectangular blocks by a rectangular grid, and uses a motion vector of the grid points to transform the shape of the rectangular block. In the predictive image generation circuit in the moving image predictive coding apparatus that uses a predictive image, a moving contour is detected using a reference image used for prediction and a decoded image of at least one frame other than the reference image that has already been processed. The moving contour detecting means, the grid point determining means for setting the grid points on the reference image in accordance with the contour obtained by the moving contour detecting means, and the grid point on the reference image obtained by the grid point determining means. A motion estimation means for estimating a position on the target image to be encoded, and a prediction means for obtaining a predicted image using the lattice points on the reference image, the motion vector and the reference image are provided. And (2) moving area detecting means for detecting a moving area using a reference image used for prediction and a decoded image of at least one frame other than the reference image which has already been processed. A contour detecting means for detecting a contour on a reference image used for prediction, and a moving contour selecting means for selecting a moving contour, and (3) the moving area detection in (2). The means includes a difference means for obtaining a difference between a reference image used for prediction and a decoded image other than the reference image, an absolute value calculating means for obtaining an absolute value of difference data obtained by the difference means, and the absolute means. Area detection means for detecting an area by threshold processing from the absolute value by the value calculation means, and (4) in (1), the moving contour detection means used for prediction. A motion estimation means for estimating a motion of the contour by using the previously processed decoded image over at least one frame other than the reference image,
Or a moving contour selecting means for selecting a moving contour, or (5) the image is divided into rectangular blocks by a rectangular grid, and the shape of the rectangular block is deformed using the motion vector of the grid points, In the predictive image generation circuit in the moving image predictive decoding device as a predictive image,
Reference image and at least one other than the reference image used for prediction
Moving contour detecting means for detecting moving contours using already processed decoded images of frames or more, and grid point determination for setting grid points on the reference image in accordance with the contours obtained by the moving contour detecting means Means, a motion vector decoding means for taking out and decoding a motion vector incorporated in the encoded data, and a prediction means for obtaining a prediction image using the lattice points on the reference image, the motion vector and the reference image. thing,
Further, (6) in (5) above, the moving contour detecting means detects a moving region using a reference image used for prediction and a decoded image of at least one frame other than the reference image which has already been processed. And a contour detecting means for detecting a contour on a reference image used for prediction, and a contour selecting means for selecting a moving contour, and (7) in (6) above. A moving area detecting means, a difference means for calculating a difference between a reference image used for prediction and a decoded image other than the reference image, and an absolute value calculating means for calculating an absolute value of difference data obtained by the difference means. A region detecting means for detecting a region by threshold processing from the absolute value by the absolute value calculating means, and (8) in (5), the moving contour detecting means is used for prediction. A motion estimation means for estimating the movement of the contour using a reference image and a decoded image of at least one frame other than the reference image, and a moving contour selection means for selecting a contour having motion. Is.

【0014】[0014]

【作用】前述のように構成された符号化装置によれば、
予測に用いる参照画像とそれ以上の少なくとも1フレー
ム以上の既に処理された復号画像を用いて動きのある輪
郭を検出し、格子点を動輪郭に合わせて設定し、設定さ
れた格子点の動きを推定するので、画像の動きをより忠
実に表現できるようになる。動輪郭を検出する際、動領
域検出と輪郭検出を独立して行い、これらの結果によっ
て動輪郭を求めるので、簡単に動輪郭を求めることがで
きる。動領域の検出においては、予測に用いる参照画像
とそれ以上の既に処理された復号画像の差の絶対値をと
り、しきい値処理によって動領域を検出するので、簡単
に動領域を求めることができる。さらに、動輪郭を検出
する際、予測に用いる参照画像上の輪郭を検出し、予測
に用いる参照画像とそれ以外の少なくとも1フレーム以
上の既に処理された復号画像を用いて上記輪郭の動きを
推定し、これによって動きのある輪郭を選択するので、
正確に動輪郭を求めることができる。
According to the encoding device configured as described above,
A moving contour is detected using a reference image used for prediction and a decoded image of at least one frame that is more than that, and grid points are set according to the moving contour, and the movement of the set grid points is detected. Since it is estimated, the motion of the image can be represented more faithfully. When the moving contour is detected, the moving area detection and the contour detection are performed independently, and the moving contour is obtained from these results, so that the moving contour can be easily obtained. In the detection of the moving area, the absolute value of the difference between the reference image used for prediction and the decoded image that has already been processed is taken, and the moving area is detected by the threshold processing, so that the moving area can be easily obtained. it can. Further, when detecting a moving contour, the contour on the reference image used for prediction is detected, and the movement of the contour is estimated using the reference image used for prediction and the decoded image of at least one frame other than that. And this will select a moving contour,
The moving contour can be accurately obtained.

【0015】また、前述のように構成された復号装置に
よれば、予測に用いる参照画像とそれ以外の少なくとも
1フレーム以上の既に処理された復号画像を用いて動き
のある輪郭を検出し、格子点を動輪郭に合わせて設定す
るので、符号化装置で得られたものと同一の格子が求め
られる。動輪郭を検出する際、動領域検出と輪郭検出を
独立して行い、これらの結果によって動輪郭を求めるの
で、簡単に動輪郭を求めることができ、これを用いて符
号化装置で得られたものと同一の格子が求められる。
Further, according to the decoding apparatus configured as described above, a moving contour is detected using the reference image used for prediction and the decoded image of at least one frame other than that, and the grid is detected. Since the points are set according to the moving contour, the same grid as that obtained by the encoding device is required. When detecting a moving contour, moving area detection and contour detection are performed independently, and the moving contour is obtained from these results. Therefore, the moving contour can be easily obtained. The same grid as the one is required.

【0016】動領域の検出においては、予測に用いる参
照画像とそれ以外の既に処理された復号画像の差の絶対
値をとり、しきい値処理によって動領域を検出するの
で、簡単に動領域を求めることができ、これを用いて符
号化装置で得られたものと同一の格子が求められる。さ
らに、動輪郭を検出する際、予測に用いる参照画像上の
輪郭を検出し、予測に用いる参照画像とそれ以外の少な
くとも1フレーム以上の既に処理された復号画像を用い
て上記輪郭の動きを推定し、これによって動きのある輪
郭を選択するので、正確に動領誠を求めることができ、
これを用いて符号化装置で得られたものと同一の格子が
求められる。
In the detection of the moving area, the absolute value of the difference between the reference image used for prediction and the other decoded image that has already been processed is obtained, and the moving area is detected by the threshold processing. It can be found and is used to find the same grid as that obtained in the encoder. Further, when detecting a moving contour, the contour on the reference image used for prediction is detected, and the movement of the contour is estimated using the reference image used for prediction and the decoded image of at least one frame other than that. Then, by selecting a contour with movement by this, it is possible to accurately determine the movement territory,
This is used to find the same grid as that obtained with the encoder.

【0017】[0017]

【実施例】実施例について、図面を参照して以下に説明
する。図1は、本発明による画像符号装置の一実施例
(請求項1)を説明するための構成図で、図中、1は動
輪郭検出部、2は格子点決定部、3は動き推定部、4は
予測部である。動き推定部3及び予測部4は、図7で述
べたものと同様の働きをする。動輪郭検出部1は、本発
明の手法により参照画像とそれ以外の復号画像から、動
きのある輪郭を検出する部分である。現在、符号化中の
フレームのフレーム番号をnとすると、動き補償予測の
参照画像としては、例えば、フレーム番号n−1の復号
画像が用いられる。又、参照画像以外の復号画像として
はフレーム番号n−2の復号画像が用いられる。ここ
で、時間的に過去のフレームほどフレーム番号は小さい
ものとする。
Embodiments will be described below with reference to the drawings. FIG. 1 is a block diagram for explaining an embodiment (Claim 1) of an image coding apparatus according to the present invention. In the figure, 1 is a moving contour detection unit, 2 is a grid point determination unit, and 3 is a motion estimation unit. 4 is a prediction unit. The motion estimation unit 3 and the prediction unit 4 have the same functions as those described in FIG. 7. The moving contour detection unit 1 is a portion that detects a moving contour from the reference image and the decoded images other than the reference image by the method of the present invention. Assuming that the frame number of the frame currently being encoded is n, the decoded image of frame number n-1 is used as the reference image for motion compensation prediction. The decoded image of frame number n-2 is used as the decoded image other than the reference image. Here, it is assumed that the frame number is smaller as the frame is older in time.

【0018】格子点を動きのある輪郭に合わせて設定
し、その動きを推定することによって予測効率を向上す
るのが目的であるので、符号化対象画像と参照画像を用
いて動輪郭を検出することも考えられる。ただし、一般
に非可逆符号化を用いる場合、復号装置では符号化対象
画像そのものは得られない。その場合には復号装置で符
号化装置と同一の格子点を得るために、参照画像上の変
形格子の情報を符号化し、符号化データに組み込む必要
がある。もちろん、本発明をこのように構成して予測効
率を向上させることは可能である。
Since the purpose is to improve the prediction efficiency by setting the grid points according to the contour with motion and estimating the motion, the motion contour is detected using the image to be coded and the reference image. It is also possible. However, in general, when lossy encoding is used, the decoding target image itself cannot be obtained by the decoding device. In that case, in order for the decoding device to obtain the same lattice points as the encoding device, it is necessary to encode the information of the modified lattice on the reference image and incorporate it into the encoded data. Of course, it is possible to improve the prediction efficiency by configuring the present invention in this way.

【0019】図1に示す実施例は、前述した参照画像の
格子点情報の符号化を不要にするために、参照画像とそ
れ以外の既に処理された復号画像を用いて動輪郭を求め
るようにしている。動画像における動きはほとんどの場
合、時間的に連続していると見なせるので、符号化対象
画像を用いずに動輪郭を検出しても、実際の動輪郭に近
いものが得られると考えられるからである。
In the embodiment shown in FIG. 1, in order to eliminate the need for encoding the grid point information of the reference image described above, the moving contour is obtained using the reference image and the other already decoded image. ing. In most cases, the motion in a moving image can be regarded as temporally continuous, so even if the moving contour is detected without using the image to be coded, it is possible to obtain something close to the actual moving contour. Is.

【0020】格子点決定部2では、動輪郭検出部1によ
って得られた動輪郭に合わせて格子点を設定する。例え
ば、初期の格子を16画素×16画素の正方格子にとっ
ておき、各格子点を最近傍の動輪郭に移動させる。ただ
し、移動させた後にできる変形格子の各辺に重なり合わ
ないようにし、かつ、格子点があまり遠くの最近傍点に
移動しないようにする。すなわち、格子点が初期の格子
点から移動できる範囲を限定しておく。以上のようにし
て符号化装置において、動輪郭を求め、格子点を動輪郭
に合わせて設定することで予測効率を改善し、これによ
って符号化効率を向上させることができる。
The grid point determination unit 2 sets grid points according to the moving contours obtained by the moving contour detection unit 1. For example, the initial grid is a square grid of 16 pixels × 16 pixels, and each grid point is moved to the nearest moving contour. However, it should not be overlapped with each side of the deformed lattice formed after the movement, and the lattice point should not be moved too far to the nearest point. That is, the range in which the grid points can move from the initial grid points is limited. As described above, in the encoding device, the moving contour is obtained, and the grid points are set according to the moving contour, whereby the prediction efficiency is improved, and thus the coding efficiency can be improved.

【0021】図2は、図1における動輪郭検出部の構成
(請求項2)で、図中、5は動領域検出部、6は輪郭検
出部、7は動輪郭選択部である。輪郭検出部6は、図7
で述べたものと同様の働きをする。動領域検出部5で
は、参照画像とそれ以上の既に処理された復号画像か
ら、動領域を検出する。検出された動領域の情報は、動
輪郭選択部7に入力される。動輪郭選択部7では、輪郭
検出部6で検出された参照画像上の輪郭と動領域検出部
5で検出された動領域から動輪郭を検出する。すなわ
ち、輪郭点のうちで動領域に含まれるものを動領域と判
定して動輪郭を検出する。以上のようにして、動輪郭を
検出する際、動領域検出と輪郭検出を独立して行い、こ
れらの結果によって動輪郭を求めるので、簡単に動輪郭
を求めることができる。
FIG. 2 shows the structure of the moving contour detecting section in FIG. 1 (claim 2). In the figure, 5 is a moving area detecting section, 6 is a contour detecting section, and 7 is a moving contour selecting section. The contour detector 6 is shown in FIG.
Works the same as described in. The moving area detection unit 5 detects a moving area from the reference image and the decoded images that have already been processed. Information on the detected moving area is input to the moving contour selecting unit 7. The moving contour selecting unit 7 detects a moving contour from the contour on the reference image detected by the contour detecting unit 6 and the moving region detected by the moving region detecting unit 5. That is, of the contour points, the one included in the moving area is determined as the moving area, and the moving contour is detected. As described above, when the moving contour is detected, the moving area detection and the contour detection are performed independently, and the moving contour is obtained from these results, so that the moving contour can be obtained easily.

【0022】図3は、図2における動領域検出部の構成
図(請求項3)で、図中、8は絶対値算出部、9は領域
検出部である。絶対値算出部8では、参照画像とそれ以
外の既に処理された復号画像の差分データの絶対値が算
出される。算出された絶対値は領域検出部9に出力され
る。領域検出部9では、絶対値算出部8で算出された絶
対値と定められたしき値とを比較し、絶対値がしき値以
上となる点を動領域と判定する。検出された動領域は動
輪郭選択部7に入力される。以上のようにして、動領域
の検出においては、予測に用いる参照画像とそれ以外の
既に処理された復号画像の差の絶対値をとり、しきい値
処理によって動領域を検出するので、簡単に動領域を求
めることができる。
FIG. 3 is a block diagram (claim 3) of the moving area detecting section in FIG. 2, in which 8 is an absolute value calculating section and 9 is an area detecting section. The absolute value calculation unit 8 calculates the absolute value of the difference data between the reference image and the other decoded images that have already been processed. The calculated absolute value is output to the area detection unit 9. The area detection unit 9 compares the absolute value calculated by the absolute value calculation unit 8 with a predetermined threshold value, and determines a point where the absolute value is equal to or greater than the threshold value as a moving area. The detected moving area is input to the moving contour selecting unit 7. As described above, in the detection of the moving area, the absolute value of the difference between the reference image used for prediction and the other decoded image that has already been processed is taken, and the moving area is detected by the threshold processing, so that it is easy. The moving area can be obtained.

【0023】図4は、図1における動輪郭検出部の他の
構成図(請求項4)で、図中、10は動き推定部、15
は動輪郭選択部で、その他、図2と同じ作用をする部分
は同一の符号を付してある。輪郭検出部6は、図7で述
べたものと同様の働きをする。動き推定部10は、輪郭
検出部6で検出された輪郭点の動きを推定する部分であ
る。動きの推定方法は、各輪郭点において図1の動き推
定部3で行うのと同様のブロックマッチングを用いたも
のである。
FIG. 4 is another configuration diagram (claim 4) of the moving contour detecting unit in FIG. 1, in which 10 is a motion estimating unit and 15 is a motion estimating unit.
Is a moving contour selection unit, and other parts having the same operations as in FIG. 2 are denoted by the same reference numerals. The contour detection unit 6 has the same function as that described with reference to FIG. The motion estimation unit 10 is a unit that estimates the motion of the contour point detected by the contour detection unit 6. The motion estimation method uses the same block matching as that performed by the motion estimation unit 3 in FIG. 1 at each contour point.

【0024】すなわち、参照画像上の輪郭点を中心とし
たM画素×N画素の領域を考え、参照画像以外の復号画
像上で同じ大きさの領域との一致度を調べ、最も一致度
の良い領域の中心を、輪郭点の移動先とする。このとき
の移動ベクトルが、輪郭点の動ベクトルとなる。2つの
領域の一致度としては領域内の画素値の絶対値誤差和や
絶対値誤差の加重和等が用いられる。動輪郭選択部15
は、各輪郭点の動ベクトルの大きさと定められたしきい
値とを比較し、動ベクトルの大きさがしきい値以上にな
る時、この輪郭点を動輪郭と判定して選択する。以上の
ように、動輪郭を検出する際、予測に用いる参照画像上
の輪郭を検出し、予測に用いる参照画像とそれ以外の復
号画像を用いて輪郭点の動きを推定し、これによって動
きのある輪郭を選択するので、正確に動輪郭を求めるこ
とができる。
That is, considering a region of M pixels × N pixels centered on the contour point on the reference image, the degree of coincidence with the region of the same size on the decoded image other than the reference image is examined, and the highest degree of coincidence is obtained. The center of the area is the destination of the contour point. The movement vector at this time becomes the motion vector of the contour point. As the degree of coincidence between the two areas, a sum of absolute value errors of pixel values in the areas, a weighted sum of absolute value errors, or the like is used. Moving contour selection unit 15
Compares the magnitude of the motion vector of each contour point with a predetermined threshold value, and when the magnitude of the motion vector is equal to or larger than the threshold value, the contour point is determined as a motion contour and selected. As described above, when detecting a moving contour, the contour on the reference image used for prediction is detected, and the motion of the contour point is estimated using the reference image used for prediction and other decoded images, and Since a certain contour is selected, the moving contour can be accurately obtained.

【0025】次に、本発明の画像復号装置について説明
する。図5は、本発明による画像復号装置の一実施例
(請求項5)を説明するための構成図で、図中、11は
動輪郭検出部、12は格子点決定部、13は動ベクトル
復号部、14は予測部である。動ベクトル復号部13及
び予測部14は、図9で述べたものと同様の働きをす
る。動輪郭検出部11は、本発明の手法により、参照画
像とそれ以外の復号画像から動きのある輪郭を検出する
部分である。この動作は対応する符号化装置の動輪郭検
出部1と同一である。これによって、符号化装置で得ら
れる動輪郭と同一のものが復号装置で得られる。
Next, the image decoding apparatus of the present invention will be described. FIG. 5 is a block diagram for explaining an embodiment (Claim 5) of the image decoding apparatus according to the present invention. In the figure, 11 is a moving contour detecting unit, 12 is a lattice point determining unit, and 13 is a moving vector decoding. The part 14 is a prediction part. The motion vector decoding unit 13 and the prediction unit 14 have the same functions as those described in FIG. The moving contour detection unit 11 is a portion that detects a moving contour from the reference image and the decoded image other than the reference image by the method of the present invention. This operation is the same as that of the moving contour detecting unit 1 of the corresponding encoding device. As a result, the same moving contour obtained by the encoding device is obtained by the decoding device.

【0026】格子点決定部12では、動輪郭検出部11
によって得られた動輪郭に合わせて格子点を設定する。
例えば、初期の格子を16画素×16画素の正方格子に
とっておき、各格子点を最近傍の動輪郭に移動させる。
ただし、移動させた後にできる変形格子の各辺が重なり
合わないようにし、かつ、格子点があまり遠くの最近傍
点に移動しないようにする。すなわち、格子点が初期の
格子点から移動できる範囲を限定しておく。以上のよう
に、復号装置において、動輪郭を求め、格子点を動輪郭
に合わせて設定することができる。また、復号装置で得
られる変形格子点は符号化装置で得られたものと同一と
なる。
In the grid point determination unit 12, the moving contour detection unit 11
The grid points are set according to the moving contour obtained by.
For example, the initial grid is a square grid of 16 pixels × 16 pixels, and each grid point is moved to the nearest moving contour.
However, each side of the deformed grid formed after the movement is prevented from overlapping with each other, and the grid point is not moved to the nearest point far away. That is, the range in which the grid points can move from the initial grid points is limited. As described above, in the decoding device, the moving contour can be obtained and the grid points can be set according to the moving contour. Also, the modified lattice points obtained by the decoding device are the same as those obtained by the encoding device.

【0027】次に、請求項6に記載の実施例について説
明する。図5の動輪郭検出部11を、図2に示した構成
にすることによって得られる。すなわち、動輪郭を検出
する際、動領域検出と輪郭検出を独立して行い、これら
の結果によって動輪郭を求めるので、簡単に動輪郭を求
めることができる。また、この動輪郭に合わせて変形格
子点を決定するので、復号装置で得られる変形格子点は
符号化装置で得られたものと同一となる。
Next, an embodiment described in claim 6 will be described. The moving contour detecting unit 11 of FIG. 5 can be obtained by the configuration shown in FIG. That is, when the moving contour is detected, the moving area detection and the contour detection are performed independently, and the moving contour is obtained based on these results, so that the moving contour can be obtained easily. Further, since the modified grid points are determined according to this moving contour, the modified grid points obtained by the decoding device are the same as those obtained by the encoding device.

【0028】次に、請求項7に記載の実施例について説
明する。図5の動輪郭検出部11を、図2の構成にし、
かつ、図2の動領域検出部5を図3の構成にすることに
よって得られる。すなわち、動領域の検出においては、
予測に用いる参照画像とそれ以外の復号画像の差の絶対
値をとり、しきい値処理によって動領域を検出するの
で、簡単に動領域を求めることができる。また、この動
領域を用いて動輪郭を選択し、動輪郭に合わせて変形格
子点を決定するので、復号装置で得られる変形格子点は
符号化装置で得られたものと同一となる。
Next, an embodiment described in claim 7 will be described. The moving contour detection unit 11 of FIG. 5 has the configuration of FIG.
In addition, it can be obtained by configuring the moving area detection unit 5 of FIG. 2 with the configuration of FIG. That is, in detecting the moving area,
Since the absolute value of the difference between the reference image used for prediction and the other decoded image is taken and the moving region is detected by the threshold processing, the moving region can be easily obtained. Further, since the moving contour is selected using this moving region and the modified grid point is determined according to the moving contour, the modified grid point obtained by the decoding device is the same as that obtained by the encoding device.

【0029】次に、請求項8に記載の実施例について説
明する。図5の動輪郭検出部11を、図4に示した構成
にすることによって得られる。すなわち、動輪郭を検出
する際、予測に用いる参照画像上の輪郭を検出し、予測
に用いる参照画像とそれ以外の復号画像を用いて輪郭点
の動きを推定し、これによって動きのある輪郭を選択す
るので、正確に動輪郭を求めることができる。また、こ
の動輪郭に合わせて変形格子点を決定するので、復号装
置で得られる変形格子点は符号化装置で得られたものと
同一となる。
Next, an embodiment described in claim 8 will be described. The moving contour detecting unit 11 of FIG. 5 can be obtained by using the configuration shown in FIG. That is, when detecting a moving contour, the contour on the reference image used for prediction is detected, the movement of the contour point is estimated using the reference image used for prediction and the decoded image other than that, and the contour with motion is determined by this. Since the selection is made, the moving contour can be accurately obtained. Further, since the modified grid points are determined according to this moving contour, the modified grid points obtained by the decoding device are the same as those obtained by the encoding device.

【0030】なお、本実施例中で用いられているしきい
値は、理論的又は経験的に定められる値であり、これら
はあらかじめ定めておいても良いし、手動あるいは自動
で適宜変化させてもよい。以上のようにして符号化装置
で作成されたと同一の変形格子点を求め、これを用いて
予測画像作成するので、符号化装置で得られたのと同一
の予測画像を得ることができる。
The threshold values used in this embodiment are values theoretically or empirically determined, and these may be determined in advance, or may be manually or automatically changed as appropriate. Good. As described above, the same modified grid point as that created by the coding apparatus is obtained, and the predicted image is created using this, so that the same predicted image as that obtained by the coding apparatus can be obtained.

【0031】[0031]

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 (1)請求項1に対応する効果:本発明の画像符号化装
置では、予測に用いる参照画像とそれ以外の少なくとも
1フレーム以上の既に処理された復号画像を用いて動き
のある輪郭を検出し、格子点を動輪郭に合わせて設定
し、設定された格子点の動きを推定するので、画像の動
きをより忠実に表現できるようになる。特に、人間の顔
画像等では、情報が目や口などの動きに集中するが、こ
のような時にも格子点を動きのある輪郭部に設定でき
る。また、顔画像以外の画像でも、画像を見る場合は視
覚特性上、動きのあるところに注意が向けられるが、本
発明によって動き部分の輪郭に格子点を設定し全体とし
て画質が向上するようにできる。 (2)請求項2,3に対応する効果:動輪郭を検出する
際、本発明の符号化装置では、動領域検出と輪郭検出を
独立して行い、これらの結果によって動輪郭を求めるの
で、簡単に動輪郭を求めることができ、また、動領域の
検出においては、予測に用いる参照画像とそれ以外の復
号画像の差の絶対値をとり、しきい値処理によって動領
域を検出するので、簡単に動領域を求めることができ
る。 (3)請求項4に対応する効果:さらに、動輪郭を検出
する際、予測に用いる参照画像上の輪郭を検出し、予測
に用いる参照画像とそれ以外の少なくとも1フレーム以
上の既に処理された復号画像を用いて上記輪郭の動きを
推定し、これによって動きのある輪郭を選択するので、
正確に動輪郭を求めることができる。 (4)請求項5に対応する効果:また、本発明の画像復
号装置では、予測に用いる参照画像とそれ以外の少なく
とも1フレーム以上の既に処理された復号画像を用いて
動きのある輪郭を検出し、格子点を動輪郭に合わせて設
定するので、符号化装置で得られたものと同一の格子が
求められる。 (5)請求項6,7に対応する効果:画像復号装置にお
いても動輪郭を検出する際、動領域検出と輪郭検出を独
立して行い、これらの結果によって動輪郭を求めるの
で、簡単に動輪郭を求めることができ、これを用いて符
号化装置で得られたものと同一の格子が求められる。ま
た、動領域の検出においては、予測に用いる参照画像と
それ以外の既に処理された復号画像の差の絶対値をと
り、しきい値処理によって動領域を検出するので、簡単
に動領域を求めることができ、これを用いて符号化装置
で得られたものと同一の格子が求められる。 (6)請求項8に対応する効果:さらに、動輪郭を検出
する際、予測に用いる参照画像上の輪郭を検出し、予測
に用いる参照画像とそれ以外の少なくとも1フレーム以
上の既に処理された復号画像を用いて上記輪郭の動きを
推定し、これによって動きのある輪郭を選択するので、
正確に動領域を求めることができ、これを用いて符号化
装置で得られたものと同一の格子が求められる。 (7)請求項1〜8に対応する効果:予測画像として良
好なものが得られれば、その後の予測誤差の符号化処理
で発生する符号量が少なくなり、全体として少ないデー
タ量で符号化することができる。また、使用できるデー
タ容量が少ない、伝送容量が小さいなどの理由で予測誤
差の符号として十分なデータ量が使えない場合にも、予
測画像が良好であれば復号される画像も良好になる。従
って、本発明によれば、従来の方式の問題を解決し、歪
みの少ない良好な画質を与える画像符号化装置及び画像
復号装置を提供することができる。
As is apparent from the above description, the present invention has the following effects. (1) Effect corresponding to claim 1: In the image encoding device of the present invention, a moving contour is detected using a reference image used for prediction and a decoded image of at least one frame other than that. Since the grid points are set according to the moving contour and the movement of the set grid points is estimated, the movement of the image can be represented more faithfully. In particular, in a human face image or the like, the information concentrates on the movements of the eyes and mouth, but even in such a case, the grid points can be set in the moving contour portion. Further, even when an image other than a face image is viewed, attention is paid to a place where there is a motion due to visual characteristics. However, according to the present invention, grid points are set on the contour of a moving part so that the image quality is improved as a whole. it can. (2) Effects corresponding to claims 2 and 3: When detecting a moving contour, the coding apparatus of the present invention independently performs moving area detection and contour detection, and obtains the moving contour based on these results. The moving contour can be easily obtained, and in detecting the moving area, the absolute value of the difference between the reference image used for prediction and the decoded image other than that is taken, and the moving area is detected by the threshold processing, The moving area can be easily obtained. (3) Effect corresponding to claim 4: Further, when detecting a moving contour, a contour on a reference image used for prediction is detected, and a reference image used for prediction and at least one frame other than that are already processed. The motion of the contour is estimated using the decoded image, and the contour with motion is selected by this,
The moving contour can be accurately obtained. (4) Effect corresponding to claim 5: Further, in the image decoding device of the present invention, a moving contour is detected using a reference image used for prediction and a decoded image of at least one frame other than that. However, since the grid points are set according to the moving contour, the same grid as that obtained by the encoding device can be obtained. (5) Effects corresponding to claims 6 and 7: When the moving contour is also detected in the image decoding device, the moving area detection and the contour detection are performed independently, and the moving contour is obtained based on these results, so that the moving movement can be performed easily. The contour can be determined, which is used to determine the same grid as obtained by the coding device. Further, in the detection of the moving area, the absolute value of the difference between the reference image used for prediction and the decoded image that has already been processed other than that is taken, and the moving area is detected by the threshold processing, so that the moving area is easily obtained. Which can be used to find the same grid as that obtained in the encoder. (6) Effect corresponding to claim 8: Further, when detecting a moving contour, a contour on a reference image used for prediction is detected, and a reference image used for prediction and at least one frame other than that are already processed. The motion of the contour is estimated using the decoded image, and the contour with motion is selected by this,
The moving region can be accurately obtained, and the same grid as that obtained by the encoding device can be obtained using this. (7) Effects corresponding to claims 1 to 8: If a good prediction image is obtained, the amount of code generated in the subsequent encoding process of the prediction error is small, and the entire image is encoded with a small amount of data. be able to. Further, even when a sufficient data amount cannot be used as a code for the prediction error due to a small usable data capacity, a small transmission capacity, etc., a good predicted image results in a good decoded image. Therefore, according to the present invention, it is possible to provide a picture coding apparatus and a picture decoding apparatus that solve the problems of the conventional method and provide good image quality with less distortion.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明による画像符号化装置の一実施例を説明
するための構成図である。
FIG. 1 is a configuration diagram for explaining an embodiment of an image encoding device according to the present invention.

【図2】図1における動輪郭検出部の構成図である。FIG. 2 is a configuration diagram of a moving contour detection unit in FIG.

【図3】図2における動領域検出部の構成図である。FIG. 3 is a configuration diagram of a moving area detection unit in FIG.

【図4】図1における動輪郭検出部の他の構成図であ
る。
FIG. 4 is another configuration diagram of the moving contour detection unit in FIG.

【図5】本発明による画像復号装置の一実施例を説明す
るための構成図である。
FIG. 5 is a configuration diagram for explaining an example of an image decoding apparatus according to the present invention.

【図6】幾何学変換による動き補償予測を説明するため
の図である。
[Fig. 6] Fig. 6 is a diagram for describing motion compensation prediction by geometric transformation.

【図7】従来の画像符号化装置における予測画像作成回
路の構成図である。
FIG. 7 is a configuration diagram of a predictive image generation circuit in a conventional image encoding device.

【図8】参照画像上の変形格子の例を示す図である。FIG. 8 is a diagram showing an example of a modified grid on a reference image.

【図9】従来の画像復号装置における予測画像作成回路
の構成図である。
FIG. 9 is a configuration diagram of a prediction image creation circuit in a conventional image decoding device.

【符号の説明】[Explanation of symbols]

1…動輪郭検出部、2…格子点決定部、3…動き推定
部、4…予測部、5と動領域検出部、6…輪郭検出部、
7…動輪郭選択部、8…絶対値算出部、9…領域検出
部、10…動き推定部、11…動輪郭検出部、12…格
子点決定部、13…動ベクトル復号部、14…予測部、
15…動輪郭選択部。
DESCRIPTION OF SYMBOLS 1 ... Moving contour detecting unit, 2 ... Lattice point determining unit, 3 ... Motion estimating unit, 4 ... Predicting unit, 5 and moving region detecting unit, 6 ... Contour detecting unit,
7 ... Moving contour selecting unit, 8 ... Absolute value calculating unit, 9 ... Region detecting unit, 10 ... Motion estimating unit, 11 ... Moving contour detecting unit, 12 ... Lattice point determining unit, 13 ... Motion vector decoding unit, 14 ... Prediction Department,
15 ... Moving contour selection section.

─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───

【手続補正書】[Procedure amendment]

【提出日】平成6年9月2日[Submission date] September 2, 1994

【手続補正1】[Procedure Amendment 1]

【補正対象書類名】図面[Document name to be corrected] Drawing

【補正対象項目名】図8[Correction target item name] Figure 8

【補正方法】変更[Correction method] Change

【補正内容】[Correction content]

【図8】 [Figure 8]

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 画像を四角形格子によって四角形ブロッ
クに分割し、該格子点の動ベクトルを用いて四角形ブロ
ックの形状変形を行い、予測画像とする動画像予測符号
化装置における予測画像作成回路において、予測に用い
る参照画像と該参照画像以外の少なくとも1フレーム以
上の既に処理された復号画像を用いて動きのある輪郭を
検出する動輪郭検出手段と、該動輪郭検出手段により求
めた輪郭に合わせて、参照画像上の格子点を設定する格
子点決定手段と、該格子点決定手段で求めた参照画像上
の格子点が符号化対象画像上のどの位置に動いたかを推
定する動き推定手段と、前記参照画像上の格子点、動ベ
クトル及び参照画像を用いて予測画像を求める予測手段
とを備えたことを特徴とする画像符号化装置。
1. A predictive image creating circuit in a moving picture predictive coding apparatus, wherein an image is divided into rectangular blocks by a rectangular grid, and the shape of the rectangular block is deformed using motion vectors of the grid points to obtain a predictive image. A moving contour detecting means for detecting a moving contour by using a reference image used for prediction and a decoded image of at least one frame other than the reference image, and a contour matching the contour obtained by the moving contour detecting means. A grid point determining means for setting grid points on the reference image, and a motion estimating means for estimating at which position on the target image the grid point on the reference image obtained by the grid point determining means has moved, An image coding apparatus, comprising: a prediction unit that obtains a predicted image using the grid points on the reference image, a motion vector, and the reference image.
【請求項2】 前記動輪郭検出手段を、予測に用いる参
照画像と該参照画像以外の少なくとも1フレーム以上の
既に処理された復号画像を用いて動領域を検出する動領
域検出手段と、予測に用いる参照画像上の輪郭を検出す
る輪郭検出手段と、動きのある輪郭を選択する動輪郭選
択手段とによって構成することを特徴とする請求項1記
載の画像符号化装置。
2. A moving area detecting means for detecting a moving area using a reference image used for prediction and a decoded image of at least one frame other than the reference image, the moving area detecting means for predicting. The image coding apparatus according to claim 1, wherein the image coding apparatus is configured by a contour detecting unit that detects a contour on a reference image to be used and a moving contour selecting unit that selects a moving contour.
【請求項3】 前記動領域検出手段を、予測に用いる参
照画像と該参照画像以外の既に処理された復号画像の差
をとる差分手段と、該差分手段による得られた差分デー
タの絶対値をとる絶対値算出手段と、該絶対値算出手段
による絶対値からしきい値処理によって領域を検出する
領域検出手段とによって構成することを特徴とする請求
項2記載の画像符号化装置。
3. The moving area detection means calculates a difference between a reference image used for prediction and a decoded image other than the reference image which has already been processed, and an absolute value of difference data obtained by the difference means. 3. The image coding apparatus according to claim 2, wherein the image coding apparatus comprises an absolute value calculating means and an area detecting means for detecting an area from the absolute value by the absolute value calculating means by threshold processing.
【請求項4】 前記動輪郭検出手段を、予測に用いる参
照画像と該参照画像以外の少なくとも1フレーム以上の
既に処理された復号画像を用いて前記輪郭の動きを推定
する動き推定手段と、動きのある輪郭を選択する動輪郭
選択手段とによって構成することを特徴とする請求項1
記載の画像符号化装置。
4. A motion estimation means for estimating the motion of the contour using the moving contour detection means, using a reference image used for prediction and a decoded image of at least one frame other than the reference image. And a moving contour selecting means for selecting a certain contour.
The image encoding device described.
【請求項5】 画像を四角形格子によって四角形ブロッ
クに分割し、該格子点の動ベクトルを用いて四角形ブロ
ックの形状変形を行い、予測画像とする動画像予測復号
装置における予測画像作成回路において、予測に用いて
参照画像と該参照画像以外の少なくとも1フレーム以上
の既に処理された復号画像を用いて動きのある輪郭を検
出する動輪郭検出手段と、該動輪郭検出手段で求めた輪
郭に合わせて、参照画像上の格子点を設定する格子点決
定手段と、符号化データ中に組み込まれている動ベクト
ルを取り出し、復号する動ベクトル復号手段と、前記参
照画像上の格子点、動ベクトル及び参照画像を用いて予
測画像を求める予測手段とを備えることを特徴とする画
像復号装置。
5. An image is divided into quadrilateral blocks by a quadrilateral lattice, the quadrilateral block is deformed using the motion vector of the lattice points, and a prediction is performed in a prediction image generation circuit in a moving image prediction decoding apparatus that makes a prediction image. A moving contour detecting means for detecting a moving contour using a reference image and a decoded image of at least one frame other than the reference image, and a contour obtained by the moving contour detecting means. A grid point determining means for setting grid points on the reference image, a motion vector decoding means for extracting and decoding a motion vector incorporated in the encoded data, a grid point on the reference image, a motion vector and a reference An image decoding apparatus, comprising: a prediction unit that obtains a predicted image using an image.
【請求項6】 前記動輪郭検出手段を、予測に用いる参
照画像と該参照画像以外の少なくとも1フレーム以上の
既に処理された復号画像を用いて動領域を検出する動領
域検出手段と、予測に用いる参照画像上の輪郭を検出す
る輪郭検出手段と、動きのある輪郭を選択する輪郭選択
手段とによって構成することを特徴とする請求項5記載
の画像復号装置。
6. A moving area detecting means for detecting a moving area using a reference image used for prediction and a decoded image of at least one frame other than the reference image, the moving area detecting means The image decoding apparatus according to claim 5, wherein the image decoding apparatus is configured by a contour detecting unit that detects a contour on a reference image to be used and a contour selecting unit that selects a moving contour.
【請求項7】 前記動領域検出手段を、予測に用いる参
照画像と該参照画像以外の既に処理された復号画像の差
をとる差分手段と、該差分手段により得られた差分デー
タの絶対値をとる絶対値算出手段と、該絶対値算出手段
による絶対値からしきい値処理によって領域を検出する
領域検出手段とによって構成することを特徴とする請求
項6記載の画像復号装置。
7. The moving area detecting means calculates difference between a reference image used for prediction and a decoded image other than the reference image which has already been processed, and an absolute value of difference data obtained by the difference means. 7. The image decoding apparatus according to claim 6, wherein the image decoding apparatus comprises an absolute value calculating means and an area detecting means for detecting an area by threshold processing from an absolute value by the absolute value calculating means.
【請求項8】 前記動輪郭検出手段を、予測に用いる参
照画像と該参照画像以外の少なくとも1フレーム以上の
復号画像を用いて前記輪郭の動きを推定する動き推定手
段と、動きのある輪郭を選択する動輪郭選択手段を備え
ることを特徴とする請求項5記載の画像復号装置。
8. The moving contour detection means estimates a movement of the contour using a reference image used for prediction and a decoded image of at least one frame other than the reference image; The image decoding apparatus according to claim 5, further comprising moving contour selecting means for selecting.
JP6210099A 1994-09-02 1994-09-02 Image coder and image decoder Pending JPH0879759A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6210099A JPH0879759A (en) 1994-09-02 1994-09-02 Image coder and image decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6210099A JPH0879759A (en) 1994-09-02 1994-09-02 Image coder and image decoder

Publications (1)

Publication Number Publication Date
JPH0879759A true JPH0879759A (en) 1996-03-22

Family

ID=16583806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6210099A Pending JPH0879759A (en) 1994-09-02 1994-09-02 Image coder and image decoder

Country Status (1)

Country Link
JP (1) JPH0879759A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215319A (en) * 1999-01-22 2000-08-04 Canon Inc Method and device for extracting image, and storage medium
WO2011145282A1 (en) * 2010-05-21 2011-11-24 株式会社Jvcケンウッド Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method and image decoding program
JP2012010314A (en) * 2010-05-21 2012-01-12 Jvc Kenwood Corp Image decoding device, image decoding method and image decoding program
JP2012010313A (en) * 2010-05-21 2012-01-12 Jvc Kenwood Corp Image coding device, image coding method and image coding program
CN103039075A (en) * 2010-05-21 2013-04-10 Jvc建伍株式会社 Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method and image decoding program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215319A (en) * 1999-01-22 2000-08-04 Canon Inc Method and device for extracting image, and storage medium
WO2011145282A1 (en) * 2010-05-21 2011-11-24 株式会社Jvcケンウッド Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method and image decoding program
JP2012010314A (en) * 2010-05-21 2012-01-12 Jvc Kenwood Corp Image decoding device, image decoding method and image decoding program
JP2012010313A (en) * 2010-05-21 2012-01-12 Jvc Kenwood Corp Image coding device, image coding method and image coding program
CN103039075A (en) * 2010-05-21 2013-04-10 Jvc建伍株式会社 Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method and image decoding program
CN103039075B (en) * 2010-05-21 2015-11-25 Jvc建伍株式会社 Picture coding device, method for encoding images and picture decoding apparatus, picture decoding method
US9277220B2 (en) 2010-05-21 2016-03-01 JVC Kenwood Corporation Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes

Similar Documents

Publication Publication Date Title
US6483877B2 (en) Method of coding and decoding image
US7542623B2 (en) Image processing apparatus and method, and computer program and computer-readable storage medium
JP4724459B2 (en) Motion vector detection using adaptive time prediction
JP3277111B2 (en) Video encoding device and video decoding device
JPH08307873A (en) Video signal coding method
JPH08242453A (en) Movement vector presumption device
JPH1075457A (en) Moving object detector in moving image
JP3633159B2 (en) Moving picture signal encoding method and apparatus, and moving picture signal transmission method
US6526095B1 (en) Inter-frame predicted image synthesizing method
JP2000224593A (en) Method and device for interpolating frame and recording medium recording the method
US20030152150A1 (en) Information processing apparatus and method, recording medium, and program
KR100254667B1 (en) Method and apparatus for detecting occulusion
JPH0879759A (en) Image coder and image decoder
JPH0865680A (en) Image encoding device and image decoding device
JP3812808B2 (en) Skip region detection type moving image encoding apparatus and recording medium
JP3150627B2 (en) Re-encoding method of decoded signal
JPH0746595A (en) Moving image encoder and decoder
JPH07177519A (en) Motion vector detection method
JP2004364333A (en) Image encoding apparatus
JP2888152B2 (en) Video coding device using warping motion compensation
JPH10150665A (en) Method for generating predictive image, and method and device for image encoding
JPH07203425A (en) Coding and decoding device for dynamic image
JPH08228351A (en) Motion compensative prediction encoding method for moving image
JPH08172631A (en) Image prediction coding method
JPH10145795A (en) Method for coding dynamic image, method for decoding, device for coding dynamic image and device for decoding dynamic image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051115

A131 Notification of reasons for refusal

Effective date: 20080226

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080820

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees