JP2500439B2 - Moving picture predictive encoding scheme - Google Patents

Moving picture predictive encoding scheme

Info

Publication number
JP2500439B2
JP2500439B2 JP11258093A JP11258093A JP2500439B2 JP 2500439 B2 JP2500439 B2 JP 2500439B2 JP 11258093 A JP11258093 A JP 11258093A JP 11258093 A JP11258093 A JP 11258093A JP 2500439 B2 JP2500439 B2 JP 2500439B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
block
motion
prediction
blocks
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11258093A
Other languages
Japanese (ja)
Other versions
JPH06327003A (en )
Inventor
義弘 宮本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding, e.g. from bit-mapped to non bit-mapped
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は動画像の動き補償フレーム間予測符号化に関するものである。 The present invention relates to relates to predictive coding motion compensation inter-frame of the moving image.

【0002】 [0002]

【従来の技術】従来の技術では、入力画像をあらかじめ定めた大きさのブロックに分割し、ブロック単位で動き補償フレーム間予測を実行することが一般的であった。 In a conventional art, is divided into blocks of predetermined size of the input image, it has been common to perform the motion compensated inter-frame prediction in units of blocks.
例として、ISO-IEC/JTC1 SC29 で国際標準化した動画像符号化復号化方式(ISO-IEC IS11172)では、16画素16ラインの固定サイズのブロック単位で動き補償フレーム間予測処理を実行している。 As an example, in ISO-IEC / JTC1 SC29 in international standardized video encoding and decoding schemes (ISO-IEC IS11172), running prediction processing motion compensation inter-frame blocks of a fixed size of 16 pixels 16 lines .

【0003】 [0003]

【発明が解決しようとする課題】従来の動き補償フレーム間予測符号化方式では画像の内容に関係なくあらかじめ定めた大きさのブロックに分割し、ブロック単位で動き補償フレーム間予測処理を行う。 In THE INVENTION to be solved INVENTION Conventional motion compensation interframe prediction coding method is divided into blocks of a size predetermined regardless of the contents of the image, it performs a prediction process motion compensation inter-frame blocks. このためフレーム内で不連続な動きの変化があってもブロック単位でしか対応できない。 Only accommodate in block units even if a change in discontinuous motion in this order in the frame. 個々のブロックの位置は画像内の被写体の位置に関係なく固定しているため、動きの異なる被写体間にまたがるブロックでは高々一方の被写体の動きにしか対応できず予測効率が低下するなどの問題点があった。 Since the positions of the individual blocks is fixed regardless of the position of the subject in the image, problems such as the prediction efficiency is not only able to support the motion of at most one object is a block spanning between the motion of different subjects decreased was there.

【0004】 [0004]

【課題を解決するための手段】本発明の目的は、動きの異なる複数の被写体間にまたがるブロックを細分割し、 An object of the present invention In order to achieve the above object, according to a block that spans between the movement of different objects subdividing,
分割した領域毎に別々の動きベクトルを用いて動き補償フレーム間予測を行うことで、予測効率が高い動画像の動き補償フレーム間予測符号化方式を提供することにある。 By performing the motion compensation inter-frame prediction using separate motion vector for each divided region, to provide a predictive coding method between motion compensation frames of a higher moving picture prediction efficiency.

【0005】本発明の動画像の予測符号化方式は、動画像の動き補償フレーム間予測符号化において、入力画像から異なる被写体領域間の境界線を検出する手段と、入力画像の参照画像に対するフレーム間動きベクトルと動き補償フレーム間予測誤差とをブロック単位で検出する手段と、あらかじめ定めた閾値より前記予測誤差が大きなブロックに対し前記境界線でブロックを細分割し、かつ該ブロックに隣接する複数のブロックの動きベクトルを用いて前記分割部分を別々に動き補償フレーム間予測することの有効性を判定する手段と、前記動きベクトルと前記境界線および前記判定手段による判定結果を用い、入力画像のブロック単位あるいはブロックを細分割した部分単位での適応的な動き補償フレーム間予測符号化を実行する手段と [0005] predictive video coding scheme of the present invention, in the motion compensation inter-frame predictive coding of a moving picture, comprising: means for detecting the boundary lines between different object region from the input image, the frame with respect to the reference image of the input image means for detecting a between motion vectors and motion-compensated interframe prediction errors in blocks, a plurality said prediction error than a predetermined threshold to block the subdivision in the boundary line with respect to large blocks and adjacent to the block the means for determining the effectiveness of the prediction between the blocks of the motion vector the divided parts separately motion compensated frame using, using the determination result by said motion vector the boundary line and said determining means, the input image and means for performing adaptive motion compensation inter-frame prediction coding of the block or blocks subdivided portions unit 備えることを特徴とする。 Characterized in that it comprises.

【0006】本発明の動画像の予測符号化方式は、動画像の動き補償フレーム間予測符号化において、入力画像の参照画像に対するフレーム間動きベクトルと動き補償フレーム間予測誤差とをブロック単位で検出する手段と、あらかじめ定めた閾値より前記予測誤差が大きなブロックに対しブロックを細分割しかつ該ブロックに隣接する複数のブロックの動きベクトルを用いて前記分割部分を別々に動き補償フレーム間予測したときの予測誤差が最小となる分割境界線を検出するとともに、前記最小予測誤差に基づいてブロックの細分割の有効性を判定する手段と、前記動きベクトルと前記境界線および前記判定手段による判定結果を用い、入力画像のブロック単位あるいはブロックを細分割した部分単位での適応的な動き補償フレーム間予 [0006] predictive video coding scheme of the present invention, in the motion compensation inter-frame predictive coding of a moving picture, detecting the inter-frame motion vector for the reference image of the input image and the motion compensated interframe prediction errors in blocks It means for, when the prediction error than a predetermined threshold is predicted between separately motion compensated frame the division portion using motion vectors of a plurality of blocks adjacent to the block to One only subdivision the block to a large block together with the prediction error is detected the smallest division boundary line, means for determining the validity of the subdivision of the blocks on the basis of the minimum prediction error, the judgment result by said motion vector the boundary line and said determining means used, inter adaptive motion compensated frame of the block unit or block of the input image in subdivision portion units pre 符号化を実行する手段とを備えることを特徴とする。 Characterized in that it comprises a means for performing the coding.

【0007】 [0007]

【作用】本発明の第1 の動画像の動き補償フレーム間予測符号化方式を図1を用いて説明する。 [Action] The first motion compensation inter-frame prediction coding method of a moving picture of the present invention will be described with reference to FIG. まず領域境界検出回路101 で入力画像121 から複数の被写体領域の境界線を検出し領域境界情報122 として出力する。 First detecting the boundaries of a plurality of the subject region from the input image 121 in the region boundary detecting circuit 101 outputs as the region boundary information 122.

【0008】動き検出回路102 では入力画像121 の参照画像123 に対するフレーム間動きベクトル124 をあらかじめ定めた大きさのブロック単位で検出する。 [0008] detected in blocks of size determined inter-frame motion vector 124 with respect to the reference image 123 of the motion detection circuit 102, the input image 121 in advance of. 検出した動きベクトル124 を用いた場合の、該ブロックの動き補償フレーム間予測誤差データ125 を同時に出力する。 In the case of using the motion vector 124 detected, and outputs the motion-compensated interframe predictive error data 125 of the block at the same time.

【0009】ブロック分割判定回路103 は、誤差データ [0009] Block division determining circuit 103, the error data
125 があらかじめ定めた閾値よりも大きなブロックに対し、ブロックを細分割した動き補償を実行するか否かを判定し予測制御情報126 を出力する。 125 to larger blocks than a predetermined threshold value, and outputs the prediction control information 126 to determine whether or not to perform motion compensation blocks and subdivision.

【0010】適応動き補償予測符号化回路104 は前記検出された領域境界情報122 、動きベクトル124 、予測制御情報126 を利用した適応的な動き補償フレーム間予測により参照画像123 から予測画像を生成し、これと入力画像121 との差分値を符号変換した符号化データ127 を出力する。 [0010] Adaptive motion compensation prediction coding circuit 104 generates a prediction image from the detected region boundary information 122, motion vector 124, the reference image 123 by the prediction prediction control information 126 adaptive motion compensated frames using , and it outputs the encoded data 127 code conversion a difference value between this and the input image 121. ここで制御情報126 でブロック分割が指示されている場合には、境界情報122 を参照してブロックを細分割し、分割領域にはそれぞれ隣接ブロックの動きベクトルの値から該領域の動きベクトルを求めて動き補償フレーム間予測を実行する。 Here, if the block division is indicated in the control information 126, block subdivision by referring to the boundary information 122, obtains the motion vector of the region from each of the divided areas the value of the motion vectors of the neighboring blocks performing a motion compensation inter-frame prediction Te. 一方、ブロック分割が指示されていない場合には、ブロック単位での動き補償を実行する。 On the other hand, if the block division is not instructed, it performs motion compensation on a block basis. また適応動き補償予測符号化回路104 は符号化データ127 を局部復号した画像128 を出力する。 The adaptive motion compensated predictive coding circuit 104 outputs an image 128 obtained by locally decoding encoded data 127. これは次のフレームの入力画像121 に対する参照画像123 として画像メモリ105 に保持する。 This holds the image memory 105 as a reference image 123 with respect to the input image 121 of the next frame.

【0011】本発明の第2 の動画像の動き補償フレーム間予測符号化方式を図4を用いて説明する。 [0011] The second motion compensated interframe predictive video coding scheme of the present invention will be described with reference to FIG. まず動き検出回路401 で入力画像421 の参照画像422 に対するフレーム間動きベクトル423 をあらかじめ定めた大きさのブロック単位で検出する。 First detected in blocks of the inter-frame motion vector 423 a predetermined size by the motion detection circuit 401 for the reference image 422 of the input image 421. 検出した動きベクトル423 を用いた場合の、該ブロックの動き補償フレーム間予測誤差データ424 を同時に出力する。 In the case of using the motion vector 423 detected, and outputs the motion-compensated interframe predictive error data 424 of the block at the same time.

【0012】次にブロック分割制御回路402 で、前記誤差データ424 があらかじめ定めた閾値よりも大きなブロックに対し、ブロックを細分割した動き補償を実行するか否かを判定し予測制御情報426 を出力する。 [0012] Next, at block division control circuit 402, the error with respect to larger blocks than a threshold data 424 is predetermined, to determine whether to execute a motion compensation block and subdividing outputs the prediction control information 426 to. このとき併せて、注目ブロックを細分割する最適な境界線を検出し分割境界情報425 として出力する。 Together this time, the block of interest by detecting the optimal boundaries subdividing output as the division boundary information 425.

【0013】適応動き補償予測符号化回路403 は前記検出した分割境界情報425 、動きベクトル423 、予測制御情報426 を利用した適応的な動き補償フレーム間予測により参照画像422 から予測画像を生成し、これと入力画像421 との差分値を符号変換して符号化データ427 を出力する。 [0013] Adaptive motion compensation prediction coding circuit 403 generates a prediction image from the detected division boundary information 425, motion vector 423, adapted to utilize the prediction control information 426 motion compensation inter-frame reference image 422 by the prediction, a difference value between this and the input image 421 with code conversion and outputs the encoded data 427. 前記予測画像の生成に際し、制御情報426 でブロック分割が指示されている場合には領域境界情報425 Upon generation of the predicted image, if the block division is indicated in the control information 426 area boundary information 425
と隣接ブロックの動きベクトル423 を参照してブロックを細分割し別々に動き補償フレーム間予測を実行する。 And a block with reference to the motion vectors 423 of the neighboring blocks subdivided run separately motion-compensated interframe prediction.
またブロック分割が指示されない場合には、ブロック単位での動き補償を実行する。 Further, when block division is not instructed, it performs motion compensation on a block basis. なお適応動き補償予測符号化回路403 は図2,3 を用いて前記説明したようなアンカバードバックグランド処理機能を組み合わせた形で実現してもよい。 Note adaptive motion compensated predictive coding circuit 403 may be implemented in the form of a combination of the uncovered background processing function as described above explained with reference to FIGS. また適応動き補償予測符号化回路403 は符号化データ427 を復号した局部復号画像428 を出力する。 The adaptive motion compensated predictive coding circuit 403 outputs a local decoded image 428 obtained by decoding the encoded data 427. 局部復号画像428 は画像メモリ404 に保持し、次のフレームの入力画像421 に対する参照画像422 として用いる。 Local decoded image 428 is stored in the image memory 404 is used as a reference picture 422 with respect to the input image 421 of the next frame.

【0014】 [0014]

【実施例】図1は本発明の第1の動画像の動き補償フレーム間予測符号化方式を実現する一実施例のブロック図である。 DETAILED DESCRIPTION FIG. 1 is a block diagram of one embodiment for realizing the first motion compensated interframe predictive video coding scheme of the present invention. 図1ではまず領域境界検出回路101 で入力画像 Figure 1 The first input region boundary detection circuit 101 image
121 から複数の被写体領域の境界線を検出し領域境界情報122 として出力する。 121 detects the boundaries of a plurality of the subject region from and outputs as the region boundary information 122. ここで領域の境界線は入力画像上での輝度または色相が急激に変化する部分の境界線として検出することができる。 Wherein the boundary of the area line can be detected as a border portion where the luminance or hue on the input image changes abruptly. 領域境界情報122 は付加情報として符号化するので、発生符号量を抑制するために、実際に検出された領域境界線を簡略なパタンに置き換えて領域境界情報122 としてもよい。 Since region boundary information 122 is encoded as additional information, in order to suppress the amount of generated code may be a region boundary information 122 by replacing the actual simple pattern the detected region boundaries. 図5は簡略化した領域境界情報122 の一例を説明する図である。 Figure 5 is a diagram illustrating an example of a region boundary information 122 simplified. 図5のケース1は検出した境界線の形状をそのまま用いる例である。 Case 1 of FIG. 5 is an example of using as the shape of the boundary line detected. 図5のケース2は検出した境界線を最も類似した任意の直線に置き換えた例である。 Case 2 of Figure 5 is an example of substituting the arbitrary straight line was most similar to the detected border. また図5のケース3 The case 3 of FIG. 5
は最も類似した水平または垂直の直線に置き換えた例である。 Is an example obtained by replacing the linear most similar horizontal or vertical. 領域境界情報122 の符号量を抑制したい場合には、図5のケース2またはケース3の簡略化したパタンを用いる。 If you want to suppress the code amount of area boundary information 122, using the simplified pattern of the case 2 or case 3 of FIG.

【0015】また動き検出回路102 で入力画像121 の参照画像123 に対するフレーム間動きベクトル124 をあらかじめ定めた大きさのブロック単位で検出する。 [0015] detected in blocks of the inter-frame motion vector 124 a predetermined size by the motion detection circuit 102 for the reference image 123 of the input image 121. 同時に動きベクトル124 を用いた場合の、該ブロックの動き補償フレーム間予測誤差データ125 を出力する。 At the same time when using the motion vector 124, and outputs the motion-compensated interframe predictive error data 125 of the block. なお図1 It should be noted that FIG. 1
では動き検出のための参照画像123 として画像メモリ10 In the image memory 10 as the reference image 123 for motion detection
5 に保持した前フレームの局部復号画像128 を用いているが、前フレームの入力画像を1 フレーム期間遅延して用いても良い。 Although 5 to uses a local decoded image 128 of the previous frame held, it may be using the input image of the previous frame by one frame period delay.

【0016】次にブロック分割判定回路103 で、前記誤差データ125 があらかじめ定めた閾値よりも大きなブロックに対し、ブロックを細分割した動き補償を実行するか否かを判定し予測制御情報126 を出力する。 [0016] Next at block division determination circuit 103, the error with respect to larger blocks than a threshold data 125 is predetermined, to determine whether to execute a motion compensation block and subdividing outputs the prediction control information 126 to. この判定処理の動作を図6と図7を用いて説明する。 The operation of this determination process will be described with reference to FIGS. 6 and 7. 図6では注目ブロックBcをブロック単位で動き補償フレーム間予測した時の予測誤差Dcがあらかじめ定めた閾値Thよりも大きく、かつブロック内に境界線Ecが検出された場合を示している。 Greater than the threshold value Th to the prediction error Dc is predetermined when the motion compensation inter-frame prediction in units of blocks of interest block Bc in FIG. 6, and shows a case where the boundary line Ec is detected in the block. 本発明ではいずれかの一方の条件を満たさないブロックは分割判定の対象としない。 Blocks that do not satisfy any of one of the conditions in the present invention is not subject to the division determination. またBcに隣接するブロックBl,Br, Bu, Bdでそれぞれ動きベクトルVl, V The block Bl adjacent to Bc, Br, Bu, motion respectively Bd vector Vl, V
r, Vu, Vdが検出されているものとする。 r, Vu, Vd is assumed to have been detected. 図6のケース1はブロックBcを垂直な境界線Ecで左右に2分割する場合を示す。 Case 1 of FIG. 6 shows the case where divided into two right and left block Bc a vertical boundary line Ec. Ecを境にしてブロックBcの左側には動きベクトルVlを、右側には動きベクトルVrをそれぞれ隣接ブロックBl,Br から代入し、別々に動き補償フレーム間予測を実行する。 The motion vector Vl to the left of the block Bc in the boundary ec, by substituting motion vectors Vr on the right side respectively adjacent blocks Bl, from Br, separately executes motion compensation inter-frame prediction. このときブロックBc部分での予測誤差Ddが前記予測誤差Dcよりも小さければ、ブロックBcを2分割して動き補償をおこなうことを決定する。 If the prediction error Dd in this case block Bc portion is smaller than the prediction error Dc, it determines to perform the two divided by the motion compensation block Bc. 図6のケース2はブロックBcを水平な境界線Ecで上下2分割する場合である。 Case 2 of FIG. 6 is a case of vertically divided into two blocks Bc in a horizontal boundary line Ec. Ecを境にしてブロックBcの上側には動きベクトルVuを、下側には動きベクトルVdをそれぞれ隣接ブロックBu,Bd から代入して動き補償フレーム間予測誤差Ddを測定し、ブロックの2分割を実行するか否かを判定する。 The motion vector Vu for the upper block Bc in the boundary ec, by substituting motion vectors Vd respectively adjacent blocks Bu, from Bd measured prediction error Dd motion compensation inter-frame on the lower side, the two divided blocks determining whether or not to execute. また図7はブロック単位での動き補償フレーム間予測誤差Dcがあらかじめ定めておいた閾値Thより大きなブロックBcを斜めの境界線Ecで2分割する場合を示す。 The Figure 7 shows the case where divided into two large blocks Bc than the threshold value Th for motion compensation inter-frame prediction error Dc in block units is previously determined at an oblique boundary line Ec. 2
分割後の領域それぞれにはBcに隣接する複数のブロックの動きベクトルから計算した動きベクトルの値Vs1, Vs The value of the motion vectors calculated in each region of the divided from the motion vectors of a plurality of blocks adjacent to Bc Vs1, Vs
2,Vs3, Vs4を代入して動き補償フレーム間予測を実行する。 2, Vs3, Vs4 by substituting executes motion compensation inter-frame prediction. このときブロックBc部分の予測誤差DdがDcより小さければブロックの2分割を決定する。 In this case the prediction error Dd block Bc portion determines the two divided blocks is smaller than Dc. 図7で動きベクトルを計算する関数f(a,b,c)はa,b,c の重み付け平均値またはいずれか1つの値を選択する関数である。 Figure 7 functions to calculate the motion vector f (a, b, c) is a function for selecting a, b, a weighted average or any one of the values ​​of c. 図1のブロック分割判定回路103 で細分割を決定したブロックでは、該ブロックの付加情報として領域境界情報122 を符号化するが、該ブロックの動きベクトル124 は符号化しない。 In block determining the subdivision is a block division determining circuit 103 of FIG. 1, but encode the region boundary information 122 as additional information of the block, the motion vector 124 of the block are not encoded. 一方、細分割しないブロックでは動きベクトル12 On the other hand, the motion vector 12 is subdivided not block
4 を符号化し、領域境界情報122 は符号化しない。 4 was encoded, the region boundary information 122 is not encoded. ここで注意すべき点として注目ブロックBcを細分割する場合には動きベクトルを隣接参照ブロックBrefから代入するため、Brefは細分割せず動きベクトルを符号化する必要がある。 To assign a motion vector from neighboring reference block Bref when subdividing the target block Bc It should be noted, Bref is required for encoding motion vector without subdivision. そこで注目ブロックBcの細分割を決定する前に隣接参照ブロックBrefの細分割の要否をあらかじめ調べておく。 So we know the necessity of subdivision of the neighboring reference block Bref advance before determining the subdivision of the target block Bc. 具体的にはBcと複数のBrefをそれぞれ細分割した場合の動き補償予測誤差の改善量を調べ、Bcにおける改善量が最も大きい場合にのみBcの細分割を決定する。 Specifically examines the improvement amount of motion compensated prediction error in the case where each subdivision Bc and a plurality of the Bref, determining the subdivision of Bc only if the amount of improvement is greatest in Bc.
なお注目ブロックBcに対する隣接参照ブロックBrefは次のように限定する事ができる。 Incidentally adjacent reference block Bref for the target block Bc is able to limit as follows. 図6のケース1のように As is the case 1 in FIG. 6
Bcを左右2分割する場合は左右隣接ブロックBl, Brが、 If the left and right divided Bc right and left adjacent blocks Bl, Br is
図6のケース2のようにBcを上下2分割する場合には上下隣接ブロックBu,Bd がそれぞれ検証の必要なBrefである。 Vertically adjacent blocks Bu, Bd is necessary Bref verification respectively in the case of vertically divided into two Bc as Case 2 in FIG. また図7のように斜めに2分割する場合には、図7 Also in the case of two divided diagonally as shown in FIG. 7, FIG. 7
の関数f(a,b,c)を用いた計算で実際に参照する動きベクトルを有する隣接ブロックがBrefである。 Function f (a, b, c) is adjacent blocks having a motion vector that references actually in calculations using a Bref.

【0017】適応動き補償予測回路104 は前記検出された領域境界情報122 、動きベクトル124 、予測制御情報 [0017] Adaptive motion compensation prediction circuit 104 the detected region boundary information 122, motion vector 124, the prediction control information
126 を利用した適応的な動き補償フレーム間予測により参照画像123 から予測画像を生成し、入力画像121 と予測画像との差分値を符号変換して符号化データ127 を出力する。 126 generates a predicted image from the reference image 123 by predictive inter adaptive motion compensated frames using, by code conversion and outputs the encoded data 127 a difference value between the input image 121 and the prediction image. 同時に符号化データ127 を復号した局部復号画像128 を出力する。 At the same time outputs a local decoded image 128 which decodes the encoded data 127. これは画像メモリ105 に保持しあらたな入力画像121 に対する参照画像123 として用いる。 It is used as a reference picture 123 for new input image 121 held in the image memory 105.

【0018】図2は図1の適応動き補償予測符号化回路 [0018] Figure 2 is adaptive motion compensated predictive coding circuit of Figure 1
104 においてアンカバードバックグランド処理機能を実現する、本発明の第1の実施例を示す基本構成図である。 Realizing uncovered background processing function at 104, it is a basic configuration diagram showing a first embodiment of the present invention. 図2で適応動き補償予測符号化回路204 の予測画像生成部分はブロック単位の動き補償予測回路205 とブロック分割動き補償予測回路206 と適応選択回路207 とで構成される。 Prediction image generating portion of the adaptive motion compensated predictive coding circuit 204 in FIG. 2 is composed of a motion compensation prediction circuit 205 and block division motion compensation prediction circuit 206 in block units with the adaptive selection circuit 207. 動き補償予測回路205 は注目ブロックの動きベクトル124 を用いて動き補償フレーム間予測値を出力する。 The motion compensation prediction circuit 205 outputs the prediction value between the motion-compensated frame using the motion vector 124 of the target block. またブロック分割動き補償予測回路206はブロックの細分割位置を示す領域境界情報122 と注目ブロックに隣接するブロックの動きベクトルの値124 を参照し、細分割した領域毎に異なる動き補償を行ったフレーム間予測値を出力する。 The frame block dividing motion compensation prediction circuit 206 refers to the value 124 of the motion vector of a block adjacent to the target block and area boundary information 122 indicating the subdivision position of the block, was different motion compensation for each subdivided region output between the predicted value. 適応選択回路207 では予測制御情報126 に従っていずれかのフレーム間予測値または0 Either inter-frame prediction value or 0 according to the prediction control information 126 in the adaptive selection circuit 207
値を選択し、予測画像227 として出力する。 Select a value, and outputs a predicted image 227. ここで0値を選択することはフレーム間予測をせずフレーム内符号化処理を実行することを意味する。 Here by selecting the 0 value means to perform intraframe coding without interframe prediction. 0値の選択はブロックを細分割する領域境界線近傍にアンカバードバックグランド領域が発生した場合に行う。 Selection of 0 value is carried out when the uncovered background area the block in the vicinity of region boundary lines subdividing occurs.

【0019】図8はアンカバードバックグランド領域の判別の機構を説明する図である。 [0019] FIG. 8 is a diagram for explaining the mechanism of the determination in the uncovered background area. 注目ブロックBcではブロック単位での動き補償フレーム間予測誤差が大きく、 Subject block larger motion compensation inter-frame prediction error of the block units in Bc,
かつ領域境界線Ecが検出されているものとする。 And shall region boundary line Ec is detected. ブロックBcはEcで左右に2分割し、分割領域それぞれに対して隣接するブロックと同じ動きベクトルを代入して動き補償フレーム間予測を実行する。 Block Bc is divided into left and right Ec, by substituting the same motion vector with the adjacent blocks to perform the motion compensation inter-frame for each divided region. ここでEcを境に隣接する2領域SlとSrとの間が広がる場合には、Ecの周りにアンカバードバックグランド領域が発生すると判定する。 Determines that wherein when the spread between the 2 areas Sl and Sr adjacent boundary Ec is uncovered background area is generated around the Ec. 具体的には、SlとSrのそれぞれの動きベクトルの水平方向成分をv xl ,v xrとしたとき、v xlが左向きでかつv xr Specifically, when the horizontal component of the respective motion vectors of Sl and Sr v xl, and v xr, v xl and the faces left v xr
が右向きであるか、両方とも左向きで、v xlがより大きいか、両方とも右向きでv xrがより大きいかの、いずれかの場合にアンカバードバックグランド領域が発生する。 There either rightward, both at left, v xl is greater than both of or v xr is greater than in the right, uncovered background area when either occurs. 一方、それ以外の場合にはアンカバードバックグランド領域は発生しない。 On the other hand, the uncovered background area in other cases does not occur. 図8のケース1は左側の領域Sl Case 1 of Figure 8 is left area Sl
が右側の領域Srより動きが大きくかつ該画像を撮影したカメラに近い位置にある場合で、境界線Ecの右側にベクトルVub の幅のアンカバードバックグランド領域UBが発生する。 There when located closer to the cameras taking large and the image moves from the right side of the area Sr, uncovered background area UB width vector Vub occurs right border Ec. ベクトルVub は左右2 隣接ブロックの動きベクトルVl,Vr の差分ベクトルとして求めることができる。 Vector Vub motion vector Vl of left and right adjacent blocks can be calculated as a difference vector of Vr.
また図8のケース2は左側の領域Slが右側の領域Srより動きは大きいが前記カメラから遠い位置にある場合で、 The case 2 of FIG. 8 in the case but left area Sl is the greater movement than the right area Sr located farther from the camera,
境界線Ecの左側にベクトルVub の幅のアンカバードバックグランド領域UBが発生する。 Uncovered background area UB width vector Vub occurs on the left side of the boundary line Ec. これらアンカバードバックグランド領域では原理的にフレーム間相関が低いので動き補償フレーム間予測は行わずフレーム内符号化処理に切り替える。 Because of the low principle interframe correlation in these uncovered background area motion compensation inter-frame prediction is switched to the intra-frame coding process without performing. 領域境界線Ecの左右いずれ側をアンカバードバックグランド領域とするかの判定は、Ecを右辺としたベクトルVub の幅の領域と、Ecを左辺としたベクトルVub の幅の領域とをそれぞれ切り出し、動き補償フレーム間相関が小さい方を選ぶことで簡単に実現できる。 Determining whether the uncovered background area the right or left side of the region boundary line Ec cuts out a region of the width of the vector Vub that the right to Ec, a region having a width of vector Vub where the Ec and left, respectively, It can be easily realized by selecting whichever motion-compensated inter-frame correlation is low.
この判定情報は付加情報として符号化しても良く、また図8ではいずれのケースによらず領域境界線Ecの代わりにアンカバードバックグランド領域UBの左側の境界線El The determination information may be encoded as side information, also left boundary line El of uncovered background area UB instead region boundary line Ec regardless of any of the case in FIG. 8
を固定的に(あるいは右側の境界線Erを固定的に) 符号化してもよい。 The (fixedly to or right border Er) fixedly may be encoded. アンカバードバックグランド領域の幅を示すベクトルVub は2 つの隣接ブロックの動きベクトルの値Vl,Vr から計算で求められるので別途符号化する必要はない。 It is not necessary to separately coding since vector Vub indicating the width of the uncovered background area is calculated from the values ​​Vl, Vr of the motion vectors of two adjacent blocks. なお図8では注目ブロックBcを領域境界線Ec Incidentally region boundary line focus block Bc in FIG. 8 Ec
で左右に2分割する場合のみを示したが、上下または斜めに分割する場合にも同様の手順でアンカバードバックグランド領域を判別することができる。 In showed only when bisected into right and left, it is possible to determine the uncovered background area in the same procedure also in the case of divided vertically or diagonally.

【0020】図3もまた図1の適応動き補償予測符号化回路104 においてアンカバードバックグランド処理機能を実現する、本発明の第2の実施例を説明する基本構成図である。 [0020] Figure 3 also realize uncovered background processing function in the adaptive motion compensated predictive coding circuit 104 in FIG. 1 is a basic configuration diagram illustrating a second embodiment of the present invention. 図3で適応動き補償予測符号化回路304 の予測画像生成部分は背景予測回路305 とブロック単位の動き補償予測回路306 とブロック分割動き補償予測回路30 Prediction image generating portion of the adaptive motion compensated predictive coding circuit 304 in FIG. 3 the background prediction circuit 305 and the block-based motion compensation prediction circuit 306 and block division motion compensation prediction circuit 30
7 と適応選択回路308 とで構成する。 7 and constituted by an adaptive selection circuit 308. 背景予測回路305 Background prediction circuit 305
は内蔵の背景メモリに保持した背景画像を予測値として出力する。 Outputs the background image held in the built-in background memory as the predicted value. 適応選択回路308 では予測制御情報26に従っていずれかのフレーム間予測値または背景予測値を選択し、予測画像327 として出力する。 Choose the expected value or background prediction value between one of the frame according to the prediction control information 26 in the adaptive selection circuit 308, and outputs it as the predicted image 327. 背景予測は細分割ブロック中のアンカバードバックグランド領域に対して選択する。 Background prediction is selected for the uncovered background area in the subdivision blocks. アンカバードバックグランド領域は図8を参照して説明した方法で検出する。 Uncovered background area is detected in the manner described with reference to FIG. また背景メモリに保持する背景画像は局部復号画像128 の中の静止領域またはアンカバードバックグランド領域と判定された部分の画素データを用いて更新する。 The background image held in the background memory is updated with the pixel data of the still area or the uncovered background area determined to be part of in the local decoded image 128.

【0021】図4は本発明の第2の動画像の動き補償フレーム間予測符号化方式を実現する一実施例のブロック図である。 [0021] FIG. 4 is a block diagram of one embodiment for realizing the second motion compensated interframe predictive video coding scheme of the present invention. 動き検出回路401 で入力画像421 の参照画像 Reference image of the input image 421 in the motion detection circuit 401
422に対するフレーム間動きベクトル423 をあらかじめ定めた大きさのブロック単位で検出する。 Detected in blocks of the inter-frame motion vector 423 a predetermined size with respect to 422. 同時に動きベクトル423 を用いた場合の、該ブロックの動き補償フレーム間予測誤差データ424 を出力する。 At the same time when using the motion vector 423, and outputs the motion-compensated interframe predictive error data 424 of the block. なお図4では動き検出のための参照画像422 として画像メモリ404 に保持した前フレームの局部復号画像428 を用いているが、 Although uses a local decoded image 428 of the previous frame held in the image memory 404 as the reference image 422 for FIG. 4, motion detection,
前フレームの入力画像を1フレーム期間遅延して用いても良い。 Input image of the previous frame may be used by one frame period delay.

【0022】次にブロック分割制御回路402 で、前記誤差データ424 があらかじめ定めた閾値よりも大きなブロックに対し、ブロックを細分割した動き補償を実行するか否かを判定し予測制御情報426 を出力する。 [0022] Next, at block division control circuit 402, the error with respect to larger blocks than a threshold data 424 is predetermined, to determine whether to execute a motion compensation block and subdividing outputs the prediction control information 426 to. このとき併せて注目ブロックを細分割する最適な分割境界線を検出し分割境界情報425 として出力する。 The time to output the same time the block of interest as an optimum detects division boundary line dividing boundary information 425 subdividing. 具体的には注目ブロックを任意の境界線で細分割し、分割した領域部分それぞれに図6または図7を参照して説明した方法で動きベクトルを代入し、動き補償フレーム間予測誤差を計算する。 Specifically subdividing the target block on any border, each divided area portion with reference to FIG. 6 or FIG. 7 by substituting motion vectors in the manner described, to calculate the prediction error between the motion compensated frames . この試行操作を様々な境界線に対して実行し、 The trial operation was performed on various boundary,
予測誤差が最小となる境界線を選択する。 Selecting a boundary prediction error is minimized. この最小予測誤差が誤差データ424 よりも小さければ最終的にブロックを細分割することを決定する。 The minimum prediction error is determined that the smaller it eventually block than the error data 424 subdivides. なお分割境界線は注目ブロックの付加情報として符号化するので、符号量を抑制しかつ試行操作の回数を削減するために分割境界線を図5のケース2,3のような直線のみに限定することができる。 Note Since division boundary line is coded as additional information of the target block, is limited to a straight line, such as in the case 2 of FIG. 5 the division boundary line in order to reduce the number of suppressing the amount of codes and trial operation be able to. またブロック分割制御回路402 で細分割を決定したブロックでは、該ブロックの付加情報として領域境界情報425 を符号化し、該ブロックの動きベクトル423 In the block determining the subdivision in the block division control circuit 402 encodes the region boundary information 425 as additional information of the block, the motion of the block vector 423
は符号化しない。 Not coding. 一方、分割しないブロックでは動きベクトル423 を符号化し、領域境界情報425 は符号化しない。 On the other hand, the motion vector 423 encoded in the block is not divided, the area boundary information 425 is not encoded. このため注目ブロックBcを細分割する場合には動きベクトルを参照する隣接ブロックBrefは細分割せず動きベクトルを符号化しておく必要がある。 Adjacent blocks Bref referencing the motion vector if the order noted block Bc subdividing it is necessary to encode the motion vectors without subdivision. そこで注目ブロックBcの分割判定を決定する前に隣接参照ブロックBref Therefore attention block adjacent reference blocks before determining the division determination of Bc Bref
の細分割の要否をあらかじめ調べておく。 We know the necessity of the subdivision in advance. 具体的には図6と図7を用いて前記説明したようにBcと複数のBrefとをそれぞれ細分割し動き補償フレーム間予測誤差の改善量を調べ、Bcにおける改善量が最も大きい場合にのみBc Specifically, the description was as Bc and a plurality of the Bref respectively subdividing examined improvement amount of the prediction error between the motion compensated frames with reference to FIGS. 6 and 7, only when the amount of improvement in Bc largest Bc
の細分割を決定する。 To determine the subdivision.

【0023】適応動き補償予測符号化回路403 は前記検出した分割境界情報425 、動きベクトル423 、予測制御情報426 を利用した適応的な動き補償フレーム間予測により参照画像422 から予測画像を生成し、入力画像421 The adaptive motion compensated predictive coding circuit 403 generates a prediction image from the detected division boundary information 425, motion vector 423, adapted to utilize the prediction control information 426 motion compensation inter-frame reference image 422 by the prediction, the input image 421
と予測画像の差分値を符号変換した符号化データ427 を出力する。 And it outputs the encoded data 427 obtained by code conversion of the difference value between the predicted image. 同時に符号化データ427 を復号した局部復号画像432 を出力する。 At the same time outputs a local decoded image 432 obtained by decoding the encoded data 427. これは画像メモリ404 に保持しあらたな入力画像421 に対する参照画像422 として用いる。 It was held at the image memory 404 is used as a reference picture 422 for new input image 421.

【0024】 [0024]

【発明の効果】以上説明したように本発明では、動きの異なる複数の被写体にまたがるブロックを細分割し、分割した領域に別々の動きベクトルを用いて動き補償フレーム間予測を行うことで、予測効率を改善するのに効果がある。 In the present invention, as described in the foregoing, a block spanning movement of different objects subdividing, by performing motion compensation inter-frame prediction using separate motion vector on the divided regions, the predicted there is an effect to improve the efficiency. またブロック単位の付加情報として分割ブロックでは分割境界線を、非分割ブロックでは動きベクトルのそれぞれ一方のみを符号化するため付加情報の大幅な増加を伴わず、符号化効率全体としての改善効果がある。 The addition division boundary line is divided block as additional information for each block, without a significant increase in the additional information for encoding one respective motion vectors only in non-divided block, there is the effect of improving the overall coding efficiency .

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の動画像の予測符号化方式の基本構成図である。 1 is a basic configuration diagram of a predictive coding method of the first moving image of the present invention.

【図2】本発明の第1の実施例の構成図である。 2 is a configuration diagram of a first embodiment of the present invention.

【図3】本発明の第1の実施例の構成図である。 3 is a configuration diagram of a first embodiment of the present invention.

【図4】本発明の第2の動画像の予測符号化方式の基本構成図である。 It is a basic configuration diagram of a predictive coding method of the second moving image in the present invention; FIG.

【図5】ブロック内の複数の被写体領域を分割する境界線を簡略化する方法を説明する図である。 5 is a diagram for explaining how to simplify the boundary line that divides the plurality of object region within a block.

【図6】ブロック内に動きの異なる複数の被写体領域がある場合に、ブロックの細分割と分割領域の動き補償の手順を説明する図である。 If there are multiple object area having different motion [6] in the block diagrams for explaining a procedure of motion compensation subdivision the divided region of the block.

【図7】ブロック内に動きの異なる複数の被写体領域がある場合に、ブロックの細分割と分割領域の動き補償の手順を説明する図である。 If there are multiple object area having different motion [7] in the block diagrams for explaining a procedure of motion compensation subdivision the divided region of the block.

【図8】ブロック内に動きの異なる複数の被写体領域がある場合に、分割境界線近傍でのアンカバードバックグランド領域を検出する手順を説明する図である。 If the 8 in the block has a plurality of object area having different motion is a diagram illustrating a procedure for detecting the uncovered background area in the division boundary line near.

【符号の説明】 DESCRIPTION OF SYMBOLS

101 領域境界検出回路 102,401 動き検出回路 103 ブロック分割判定回路 402 ブロック分割制御回路 104,204,304,403 適応動き補償予測符号化回路 305 背景予測回路 205,306 動き補償予測回路 206,307 ブロック分割動き補償予測回路 207,308 適応選択回路 105,404 画像メモリ 121,421 入力動画像 122 領域境界情報 123,422 参照画像 425 分割境界情報 124,423 動きベクトル 125,424 動き補償フレーム間予測誤差データ 126,426 予測制御情報 227,327 予測画像 127,427 符号化データ 128,428 局部復号画像 101 area boundary detection circuits 102,401 motion detecting circuit 103 block division determination circuit 402 block division control circuit 104,204,304,403 adaptive motion compensated predictive coding circuit 305 background prediction circuitry 205,306 motion compensation prediction circuit 206,307 block division motion compensation prediction circuit 207,308 adaptive selection circuit 105,404 image memory 121,421 input video 122 area boundary information 123,422 reference image 425 partition boundary information 124,423 motion vector 125,424 motion compensation inter-frame prediction error data 126,426 prediction control information 227,327 predictive picture 127,427 coded data 128,428 local decoded image

Claims (2)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 動画像の動き補償フレーム間予測符号化において、入力画像から異なる被写体領域間の境界線を検出する手段と、入力画像の参照画像に対するフレーム間動きベクトルと動き補償フレーム間予測誤差とをブロック単位で検出する手段と、あらかじめ定めた閾値より前記予測誤差が大きなブロックに対し前記境界線でブロックを細分割し、かつ該ブロックに隣接する複数のブロックの動きベクトルを用いて前記分割部分を別々に動き補償フレーム間予測することの有効性を判定する手段と、前記動きベクトルと前記境界線および前記判定手段による判定結果を用い、入力画像のブロック単位あるいはブロックを細分割した部分単位での適応的な動き補償フレーム間予測符号化を実行する手段とを備えることを特徴とした動画像の予 1. A motion compensation inter-frame of the moving picture prediction coding, a means for detecting the boundary lines between different object region from the input image, the inter-frame motion vector and the motion compensated interframe prediction error with respect to a reference image of the input image the resolved using means for detecting in units of blocks, the block to the subdivision said prediction error than a predetermined threshold value at the boundary line with respect to large blocks and the motion vectors of a plurality of blocks adjacent to the block attack means for determining effectiveness of prediction between separately motion compensation frame portions, said motion vector and the boundary line and the use of a determination result by the determining means, the block or blocks of the input image subdivision portions unit pre the moving image; and a means for performing adaptive motion compensation interframe prediction coding in 測符号化方式。 Measurement encoding scheme.
  2. 【請求項2】 動画像の動き補償フレーム間予測符号化において、入力画像の参照画像に対するフレーム間動きベクトルと動き補償フレーム間予測誤差とをブロック単位で検出する手段と、あらかじめ定めた閾値より前記予測誤差が大きなブロックに対しブロックを細分割しかつ該ブロックに隣接する複数のブロックの動きベクトルを用いて前記分割部分を別々に動き補償フレーム間予測したときの予測誤差が最小となる分割境界線を検出するとともに、前記最小予測誤差に基づいてブロックの細分割の有効性を判定する手段と、前記動きベクトルと前記境界線および前記判定手段による判定結果を用い、入力画像のブロック単位あるいはブロックを細分割した部分単位での適応的な動き補償フレーム間予測符号化を実行する手段とを備えるこ 2. A motion compensation inter-frame predictive coding of a moving picture, and means for detecting the inter interframe motion vector and the motion-compensated frame to the reference image of the input image prediction errors in blocks, the more predetermined threshold dividing border prediction error is minimized when the prediction error is predicted between separately motion compensated frame the division portion using motion vectors of a plurality of blocks adjacent to the block to One only subdivision the block to a large block It detects the, means for determining the validity of the subdivision of the blocks on the basis of the minimum prediction error, using the determination result by said motion vector the boundary line and said determining means, the block or blocks of the input image this and means for performing adaptive motion compensation interframe prediction coding in subdivided portions unit とを特徴とした動画像の予測符号化方式。 Predictive video coding scheme characterized by and.
JP11258093A 1993-05-14 1993-05-14 Moving picture predictive encoding scheme Expired - Lifetime JP2500439B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11258093A JP2500439B2 (en) 1993-05-14 1993-05-14 Moving picture predictive encoding scheme

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11258093A JP2500439B2 (en) 1993-05-14 1993-05-14 Moving picture predictive encoding scheme

Publications (2)

Publication Number Publication Date
JPH06327003A true JPH06327003A (en) 1994-11-25
JP2500439B2 true JP2500439B2 (en) 1996-05-29

Family

ID=14590286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11258093A Expired - Lifetime JP2500439B2 (en) 1993-05-14 1993-05-14 Moving picture predictive encoding scheme

Country Status (1)

Country Link
JP (1) JP2500439B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862369B2 (en) 2000-04-25 2005-03-01 Canon Kabushiki Kaisha Image processing apparatus and method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347954B2 (en) * 1995-11-02 2002-11-20 三菱電機株式会社 Video encoding apparatus and video decoding apparatus
JP3560958B2 (en) 2002-04-17 2004-09-02 三菱電機株式会社 Video encoding control method and apparatus
WO2008016609A3 (en) * 2006-08-02 2008-10-09 Thomson Licensing Adaptive geometric partitioning for video encoding
CN101822064A (en) * 2007-10-16 2010-09-01 汤姆逊许可公司 Methods and apparatus for video encoding and decoding geometrically partitioned super blocks
WO2011134642A1 (en) * 2010-04-26 2011-11-03 Panasonic Corporation Predictive coding with block shapes derived from a prediction error
JP2012023597A (en) * 2010-07-15 2012-02-02 Sony Corp Image processing device and image processing method
JP2012095099A (en) * 2010-10-27 2012-05-17 Jvc Kenwood Corp Moving image encoding device, moving image encoding method, moving image encoding program, moving image decoding device, moving image decoding method, and moving image decoding program
JP2014183544A (en) * 2013-03-21 2014-09-29 Fujitsu Ltd Image processing unit and image processing method
WO2017094216A1 (en) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Image decoding method, image encoding method, image decoding apparatus, image encoding apparatus, and image encoding/decoding apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862369B2 (en) 2000-04-25 2005-03-01 Canon Kabushiki Kaisha Image processing apparatus and method

Also Published As

Publication number Publication date Type
JPH06327003A (en) 1994-11-25 application

Similar Documents

Publication Publication Date Title
US5689305A (en) System for deinterlacing digitally compressed video and method
US5973755A (en) Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US7643559B2 (en) Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US20060072662A1 (en) Improved Video Coding
US20110090964A1 (en) Methods and apparatus for adaptively choosing a search range for motion estimation
US20060222074A1 (en) Method and system for motion estimation in a video encoder
WO2011046008A1 (en) Video coding device and video decoding device
US20100284465A1 (en) Method for compressing data in a video sequence
JP2010010950A (en) Image coding/decoding method and apparatus
JP2004129191A (en) Direct mode motion vector calculation method for b picture
JP2007053799A (en) Moving picture decoding method and device
US5387938A (en) Adaptive interframe/intraframe block coding method and apparatus
US20040091048A1 (en) Fast motion vector prediction method
JPH09200763A (en) Motion compensating method for moving image encoding
JP2007124564A (en) Image coding apparatus, method, and program
JPH11112994A (en) Motion vector coding method of mpeg-4
JP2005510985A (en) Adaptive frame / field coding at the macroblock level of the digital video content
JP2002094987A (en) Video signal encoder
JP2004056823A (en) Motion vector encoding/decoding method and apparatus
KR19990027469A (en) Motion vector coding method and apparatus
JPH10276439A (en) Moving image encoding and decoding device using motion compensation inter-frame prediction system capable of area integration
US20060039476A1 (en) Methods for efficient implementation of skip/direct modes in digital video compression algorithms
JPH05328333A (en) Moving vector detector
JPH10224800A (en) Motion vector coding method and decoding method
JP2003037844A (en) Moving picture coding apparatus

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19960116