JP6496166B2

JP6496166B2 - Predictive coding determination device, coding device, and program

Info

Publication number: JP6496166B2
Application number: JP2015050991A
Authority: JP
Inventors: 康孝松尾; 慎平根本; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2015-03-13
Filing date: 2015-03-13
Publication date: 2019-04-03
Anticipated expiration: 2035-03-13
Also published as: JP2016171510A

Description

本発明は、予測符号化方式を判定する予測符号化判定装置、符号化装置、及びプログラムに関する。 The present invention relates to a predictive coding determination device, a coding device, and a program for determining a predictive coding method.

映像の符号化方式として、ＩＴＵ−ＴＨ．２６４／ＭＰＥＧ−４ＡＶＣや、ＩＴＵ−ＴＨ．２６５／ＭＰＥＧ−ＨＨＥＶＣなどが知られている。これらの符号化方式では、インター予測（フレーム間予測、画面間予測）、及びイントラ予測（フレーム内予測、画面内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像との差分を符号化する予測符号化方式である。 As a video encoding method, ITU-T H.264 is used. H.264 / MPEG-4 AVC and ITU-T H.264. H.265 / MPEG-H HEVC is known. In these encoding methods, inter prediction (inter-frame prediction, inter-screen prediction) and intra prediction (intra-frame prediction, intra-screen prediction) are used. Inter prediction is a predictive coding method in which a prediction image is generated from reference frames that are temporally changed and a difference from the original image is encoded. Intra prediction is a predictive coding method in which a prediction image is generated from pixels of adjacent blocks that have been encoded for a block to be intraframe-encoded, and a difference from the original image is encoded.

また、特許文献１には、画像符号化方法において、ブロックごとに動き補償のサイズ、画像のサイズ、局部復号時のフレームレートを基準に符号化難易度を判定し、ブロックが双方向インター予測を行うＢピクチャに属する場合は順方向及び逆方向のいずれかだけをインター予測の方向とする技術が開示されている。 Further, in Patent Document 1, in the image coding method, the coding difficulty level is determined for each block based on the size of motion compensation, the size of the image, and the frame rate at the time of local decoding, and the block performs bi-directional inter prediction. In the case of belonging to a B picture to be performed, a technique is disclosed in which only the forward direction or the reverse direction is set as the direction of inter prediction.

また、特許文献２には、低フレームレート映像にフレームを補間内挿して高フレームレート映像を生成する装置であり、フレーム内の任意ブロック内の輝度値の分散からブロック領域内の画像が平坦かどうかを調べることで動き検出難易度を判定する技術が開示されている。 Further, Patent Document 2 is a device that generates a high frame rate video by interpolating a frame to a low frame rate video, and whether the image in the block area is flat due to the dispersion of luminance values in an arbitrary block in the frame. A technique for determining a motion detection difficulty level by examining whether or not is disclosed.

特許第４７５５０９３号公報Japanese Patent No. 4755093 特開２０１０−２８８００６号公報JP 2010-288006 A

しかしながら、従来の符号化技術は、符号化対象フレームがインター予測を行うのに適しているか否かを判定していないという課題があった。そのため、「火花が飛び散る」、「稲穂が揺れる」、「水しぶき」などのような動きがランダムな特殊映像でインター予測を行うと、インター予測の精度が低くなり、符号化画質が低くなる可能性が高かった。 However, the conventional coding technique has a problem that it is not determined whether or not the encoding target frame is suitable for performing inter prediction. Therefore, if inter prediction is performed on special images with random movements such as “sparks scatter”, “rice shakes”, “splashing”, etc., the accuracy of inter prediction may be reduced and the encoded image quality may be reduced. Was expensive.

かかる事情に鑑みてなされた本発明の目的は、符号化対象フレームがインター予測を行うのに適しているか否かを判定することが可能な予測符号化判定装置、符号化装置、及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide a predictive coding determination device, a coding device, and a program capable of determining whether a coding target frame is suitable for performing inter prediction. There is to do.

上記課題を解決するため、本発明に係る予測符号化判定装置は、映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部と、前記動きベクトルから、前記符号化対象フレームのインター予測の難度を算出するインター予測難度測定部と、前記インター予測の難度から、前記符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定するインター／イントラ予測判定部と、を備え、前記動き推定部は、ＳＵＲＦ特徴量のマッチングを行うことにより前記動きベクトルを生成することを特徴とする。 In order to solve the above problem, a predictive coding determination apparatus according to the present invention inputs a video, generates a motion vector between a coding target frame and a reference frame, and the motion vector, An inter prediction difficulty level measurement unit that calculates an inter prediction difficulty level of the encoding target frame, and whether the encoding target frame is suitable for performing inter prediction based on the inter prediction difficulty level, is suitable for performing intra prediction. and a inter / intra prediction judgment unit judges dolphin, the motion estimation unit is characterized that you generate the motion vector by performing matching of SURF feature quantity.

さらに、本発明に係る予測符号化判定装置において、前記インター予測難度測定部は、前記動きベクトルの分散値を前記インター予測の難度として算出することを特徴とする。 Furthermore, in the predictive coding determination apparatus according to the present invention, the inter prediction difficulty level measurement unit calculates a variance value of the motion vector as the difficulty level of the inter prediction.

さらに、本発明に係る予測符号化判定装置において、前記インター／イントラ予測判定部は、前記インター予測の難度を閾値判定することにより、前記符号化対象フレームがインター予測を行うのに適しているか否かを判定することを特徴とする。 Furthermore, in the predictive coding determination device according to the present invention, the inter / intra prediction determination unit determines whether the encoding target frame is suitable for performing inter prediction by determining the threshold of the difficulty level of the inter prediction. It is characterized by determining.

また、上記課題を解決するため、本発明に係る符号化装置は、上記予測符号化判定装置を備え、前記インター／イントラ予測判定部により、前記符号化対象フレームがインター予測を行うのに適していると判定された場合には、前記符号化対象フレームをインター予測して符号化し、前記符号化対象フレームがインター予測を行うのに適していないと判定された場合には、前記符号化対象フレームをイントラ予測して符号化することを特徴とする。 In order to solve the above problem, an encoding apparatus according to the present invention includes the predictive encoding determination apparatus, and is suitable for the inter / intra prediction determination unit performing inter prediction on the encoding target frame. If it is determined that the encoding target frame is inter-predicted and encoded, and if it is determined that the encoding target frame is not suitable for performing inter prediction, the encoding target frame Is encoded by intra prediction.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記予測符号化判定装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the predictive coding determination apparatus.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the encoding device.

本発明の予測符号化判定装置によれば、インター予測の難度を判定して符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定することができる。また、本発明の符号化装置によれば、インター予測の難度に応じてインター予測とイントラ予測とを切り替えることにより、動きがランダムな映像の符号化画質を向上させることが可能となる。 According to the predictive coding determination apparatus of the present invention, it is possible to determine the degree of difficulty of inter prediction and determine whether the encoding target frame is suitable for performing inter prediction or intra prediction. Also, according to the encoding apparatus of the present invention, it is possible to improve the encoded image quality of a video with random motion by switching between inter prediction and intra prediction according to the degree of inter prediction.

本発明の第１の実施形態に係る予測符号化判定装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the prediction encoding determination apparatus which concerns on the 1st Embodiment of this invention. ＳＵＲＦ特徴量の算出方法を説明する図である。It is a figure explaining the calculation method of SURF feature-value. 参照フレーム間の予測構造例を示す図である。It is a figure which shows the example of a prediction structure between reference frames. 本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding apparatus which concerns on the 2nd Embodiment of this invention.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（第１の実施形態）
図１は、本発明の第１の実施形態に係る予測符号化判定装置の構成例を示すブロック図である。図１に示す例では、予測符号化判定装置１は、動き推定部１１と、インター予測難度測定部１２と、インター／イントラ予測判定部１３とを備える。予測符号化判定装置１は、映像（原画像群）を入力し、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定する。すなわち、符号化対象フレームに対して、インター予測を適用させるかイントラ予測を適用させるかを決定する。 (First embodiment)
FIG. 1 is a block diagram showing a configuration example of a predictive coding determination apparatus according to the first embodiment of the present invention. In the example illustrated in FIG. 1, the predictive coding determination apparatus 1 includes a motion estimation unit 11, an inter prediction difficulty measurement unit 12, and an inter / intra prediction determination unit 13. The predictive coding determination apparatus 1 inputs a video (original image group) and determines whether the encoding target frame is suitable for performing inter prediction or intra prediction. That is, it is determined whether to apply inter prediction or intra prediction to the encoding target frame.

動き推定部１１は、映像（原画像群）を入力して、符号化対象フレーム（基準フレーム）と参照フレームとの間で動き推定を行って動きベクトルを生成し、動きベクトル情報をインター予測難度測定部１２に出力する。ここで動き推定では、本発明が対象とする「火花が飛び散る映像」のような動きがランダムな映像を高精度に動き推定するため、拡大・縮小、回転、照明変動に強いＳＵＲＦ（Speeded-Up Robust Features）特徴量を用いるのが好適である。 The motion estimation unit 11 receives a video (original image group), performs motion estimation between the encoding target frame (base frame) and the reference frame, generates a motion vector, and converts motion vector information into the inter prediction difficulty level. Output to the measurement unit 12. Here, in the motion estimation, since a motion with random motion such as “sparkling image” targeted by the present invention is accurately estimated, SURF (Speeded-Up) that is resistant to enlargement / reduction, rotation, and illumination fluctuation is used. It is preferable to use feature values.

図２は、ＳＵＲＦ特徴量の算出方法を説明する図である。ＳＵＲＦ特徴量は、原画像に分散値を可変としたガウシアンフィルタを適用した画像において、ヘッセ（Hessian）行列値の極大点を探すことで複数の特徴点を抽出する。図２では左図に示すように、８×８画素のブロックの中心点を特徴点としている。次に、各特徴点においてハールウェーブレット（Haar wavelet）を用いて強度の強い方向を求める。そして、強度の強い方向を原方向として、図２の右図に示すように２×２画素の領域ごとに、ハールウェーブレットを用いて水平方向の微分値ｄｘ及び垂直方向の微分値ｄｙを求めることにより、Σdx、Σ|dx|、Σdy、及びΣ|dy|の４つの特徴量を算出する。 FIG. 2 is a diagram for explaining a method of calculating the SURF feature quantity. For the SURF feature value, a plurality of feature points are extracted by searching for a maximum point of a Hessian matrix value in an image in which a Gaussian filter having a variable dispersion value is applied to the original image. In FIG. 2, as shown in the left figure, the center point of an 8 × 8 pixel block is used as a feature point. Next, a direction with strong intensity is obtained at each feature point using a Haar wavelet. Then, using the direction of strong intensity as the original direction, the horizontal differential value dx and the vertical differential value dy are obtained for each 2 × 2 pixel area using a Haar wavelet as shown in the right diagram of FIG. Thus, four feature quantities Σdx, Σ | dx |, Σdy, and Σ | dy | are calculated.

図２に示すように特徴点を中心とする８×８画素のブロック単位で特徴量を算出すると、８×８画素のブロックには２×２画素の領域が４×４個存在するので、１つの特徴点において６４（＝４×４×４）次元の特徴量が得られる。なお、ＳＵＲＦの詳細については、例えば H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。 As shown in FIG. 2, when the feature amount is calculated in units of 8 × 8 pixel blocks centering on the feature point, there are 4 × 4 2 × 2 pixel areas in the 8 × 8 pixel block. A feature quantity of 64 (= 4 × 4 × 4) dimensions is obtained at one feature point. For details of SURF, see, for example, H. Bay, A. Ess, T. Tuytelaars, and LV Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359. , Jun. 2008.

ＳＵＲＦ特徴量を用いる場合、動き推定部１１は、符号化対象フレームと参照フレームとの間でＳＵＲＦ特徴量のマッチングを行うことにより、特徴点ごとに動きベクトルを求める。具体的には、符号化対象フレーム内の任意の特徴点Ａにおける特徴量に対して６４次元のユークリッド距離が最小となる参照フレーム内の特徴点Ｂをマッチング点として抽出し、特徴点ＡＢ間の水平方向及び垂直方向の位置ずれ量を動きベクトルとして算出する。ＳＵＲＦ特徴量のマッチングを用いた動き推定により、ランダムな動きが多い映像におけるインター予測精度（動き推定精度）を向上させることが可能となる。 When using the SURF feature value, the motion estimation unit 11 obtains a motion vector for each feature point by matching the SURF feature value between the encoding target frame and the reference frame. Specifically, the feature point B in the reference frame that minimizes the 64-dimensional Euclidean distance with respect to the feature quantity at an arbitrary feature point A in the encoding target frame is extracted as a matching point, and between the feature points AB The amount of displacement in the horizontal and vertical directions is calculated as a motion vector. By motion estimation using SURF feature value matching, it is possible to improve inter prediction accuracy (motion estimation accuracy) in videos with many random motions.

図３は、参照フレーム間の予測構造例を示す図である。動き推定部１１は、インター予測の参照フレームを、参照フレーム間の予測構造情報を基に判定する。図３に示す例では、Ｐ₁ピクチャを符号化対象フレームとすると、Ｉ₀ピクチャが参照フレームとなるため、Ｐ₁ピクチャとＩ₀ピクチャ位置の原画像間でＳＵＲＦ特徴量によるマッチングを行う。また、Ｂ₂ピクチャを符号化対象フレームとすると、Ｉ₀ピクチャとＰ₁ピクチャが参照フレームとなるため、Ｂ₂ピクチャとＩ₀ピクチャ位置、及びＢ₂ピクチャとＰ₁ピクチャ位置の原画像間で動き推定を行う。 FIG. 3 is a diagram illustrating an example of a prediction structure between reference frames. The motion estimation unit 11 determines a reference frame for inter prediction based on prediction structure information between reference frames. In the example shown in FIG. 3, if the P ₁ picture is the encoding target frame, the I ₀ picture becomes the reference frame, and therefore matching is performed between the P ₁ picture and the original image at the I ₀ picture position based on the SURF feature amount. Also, if the B ₂ picture is the encoding target frame, the I ₀ picture and the P ₁ picture are reference frames, and therefore, between the B ₂ picture and the I ₀ picture position, and between the original images at the B ₂ picture and the P ₁ picture position, Perform motion estimation.

なお、参照フレームの予測構造情報の入力は必須ではなく、参照フレームの予測構造情報を入力しないで、常に符号化対象フレームの１フレーム前（過去）の時間位置との原画像間で動き推定を行うようにしてもよい。 Note that the input of the prediction structure information of the reference frame is not essential, and the motion estimation is always performed between the original images at the time position one frame before (the past) of the encoding target frame without inputting the prediction structure information of the reference frame. You may make it perform.

インター予測難度測定部１２は、動き推定部１１により生成された動きベクトルから、符号化対象フレームのインター予測の難度を算出して、インター予測難度情報をインター／イントラ予測判定部１３に出力する。画面間符号化難度は、例えば動き推定部１１により生成された動きベクトルの分散値、平均値、中央値、又はこれらの組み合わせとする。特に、動きのランダム性を解析するために、動きベクトルの分散値を用いるのが簡便である。 The inter prediction difficulty level measurement unit 12 calculates the inter prediction difficulty level of the encoding target frame from the motion vector generated by the motion estimation unit 11, and outputs the inter prediction difficulty level information to the inter / intra prediction determination unit 13. The inter-screen coding difficulty level is, for example, a variance value, an average value, a median value, or a combination of these motion vectors generated by the motion estimation unit 11. In particular, it is convenient to use a variance value of motion vectors in order to analyze motion randomness.

インター／イントラ予測判定部１３は、インター予測難度測定部１２からインター予測難度情報を入力して、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定し、判定結果を示す判定情報（例えば、１ビットのフラグ）を外部に出力する。 The inter / intra prediction determination unit 13 receives the inter prediction difficulty information from the inter prediction difficulty measurement unit 12, and determines whether the encoding target frame is suitable for inter prediction or intra prediction. Then, determination information (for example, a 1-bit flag) indicating the determination result is output to the outside.

インター／イントラ予測判定部１３は、例えばインター予測難度情報が動きベクトルの分散値の場合は、分散値が閾値Ｔｍを越えれば当該符号化対象フレームは動きがランダムであると判定して、イントラ予測を行うのに適していると判定し、分散値が閾値Ｔｍ以下であればインター予測を行うのに適していると判定する。閾値Ｔｍの値は、例えば１００００とする。 For example, when the inter prediction difficulty information is a variance value of a motion vector, the inter / intra prediction determination unit 13 determines that the motion of the coding target frame is random if the variance value exceeds the threshold value Tm, and performs intra prediction. If the variance value is equal to or less than the threshold value Tm, it is determined to be suitable for performing inter prediction. The value of the threshold value Tm is, for example, 10,000.

上述したように、予測符号化判定装置１は、動き推定部１１により、符号化対象フレームと参照フレームとの間の動きベクトルを生成し、インター予測難度測定部１２により、動きベクトルから符号化対象フレームのインター予測の難度を算出し、インター／イントラ予測判定部１３により、インター予測の難度から符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定する。かかる構成により、予測符号化判定装置１は、インター予測の難度を判定し、符号化対象フレームがインター予測を行うのに適しているかイントラ予測を行うのに適しているかを判定することが可能となる。 As described above, in the predictive coding determination apparatus 1, the motion estimation unit 11 generates a motion vector between the encoding target frame and the reference frame, and the inter prediction difficulty measurement unit 12 determines the encoding target from the motion vector. The degree of inter prediction difficulty of the frame is calculated, and the inter / intra prediction determining unit 13 determines whether the encoding target frame is suitable for performing inter prediction or intra prediction based on the degree of difficulty of inter prediction. . With this configuration, the predictive coding determination apparatus 1 can determine the difficulty level of inter prediction and determine whether the encoding target frame is suitable for performing inter prediction or intra prediction. Become.

なお、上述した予測符号化判定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、予測符号化判定装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。 It should be noted that a computer can be suitably used for causing the computer to function as the predictive coding determination apparatus 1 described above, and such a computer can store a program that describes processing contents for realizing each function of the predictive coding determination apparatus 1. It can be realized by storing the program in a storage unit of a computer and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

（第２の実施形態）
つぎに、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。図４に示す例では、符号化装置２０は、上述した予測符号化判定装置１と、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、デブロッキングフィルタ２７と、メモリ２８と、イントラ予測部２９と、動き補償部３０と、切替えスイッチ３１と、可変長符号化部３２とを備える。符号化装置２０は、従来のＩＴＵ−ＴＨ．２６４／ＭＰＥＧ−４ＡＶＣや、ＩＴＵ−ＴＨ．２６５／ＭＰＥＧ−ＨＨＥＶＣなどの符号化方式による符号化装置と比較して、予測符号化判定装置１を更に備える点と、イントラ予測部２９、動き補償部３０、及び可変長符号化部３２が予測符号化判定装置１から判定情報を入力して動作する点が相違する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. FIG. 4 is a block diagram showing a configuration example of an encoding apparatus according to the second embodiment of the present invention. In the example illustrated in FIG. 4, the encoding device 20 includes the above-described predictive coding determination device 1, the subtraction unit 21, the orthogonal transform unit 22, the quantization unit 23, the inverse quantization unit 24, and the inverse orthogonal transform. Unit 25, addition unit 26, deblocking filter 27, memory 28, intra prediction unit 29, motion compensation unit 30, changeover switch 31, and variable length coding unit 32. The encoding device 20 is a conventional ITU-T H.264 standard. H.264 / MPEG-4 AVC and ITU-T H.264. Compared with an encoding apparatus using an encoding method such as H.265 / MPEG-H HEVC, the prediction encoding determination apparatus 1 further includes an intra prediction unit 29, a motion compensation unit 30, and a variable length encoding unit 32. The difference is that operation is performed by inputting determination information from the predictive coding determination apparatus 1.

減算部２１は、原画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像との差分を算出し、差分画像を直交変換部２２に出力する。 The subtraction unit 21 calculates a difference between the original image and a prediction image input from the intra prediction unit 29 or the motion compensation unit 30 via the changeover switch 31, and outputs the difference image to the orthogonal transformation unit 22.

直交変換部２２は、減算部２１から入力される差分画像に対してブロック単位で直交変換処理を施し、得られる直交変換係数を量子化部２３に出力する。 The orthogonal transform unit 22 performs orthogonal transform processing on the difference image input from the subtraction unit 21 in units of blocks, and outputs the obtained orthogonal transform coefficients to the quantization unit 23.

量子化部２３は、直交変換部２２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、量子化された直交変換係数を逆量子化部２４及び可変長符号化部３２に出力する。 The quantization unit 23 selects a quantization table for the orthogonal transform coefficient input from the orthogonal transform unit 22 and performs a quantization process. The quantized orthogonal transform coefficient is converted into an inverse quantization unit 24 and a variable length code. To the conversion unit 32.

逆量子化部２４は、量子化部２３から入力される量子化された直交変換係数に対して逆量子化処理を行い、得られる直交変換係数を逆直交変換部２５に出力する。 The inverse quantization unit 24 performs inverse quantization processing on the quantized orthogonal transform coefficient input from the quantization unit 23 and outputs the obtained orthogonal transform coefficient to the inverse orthogonal transform unit 25.

逆直交変換部２５は、逆量子化部２４から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Inverse Discrete Cosine Transform）処理を施し、逆直交変換した画像を加算部２６に出力する。 The inverse orthogonal transform unit 25 performs an inverse orthogonal transform (for example, IDCT; Inverse Discrete Cosine Transform) process on the orthogonal transform coefficient input from the inverse quantization unit 24 and outputs an inversely orthogonally transformed image to the addition unit 26. To do.

加算部２６は、逆直交変換部２５から入力される逆直交変換した画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像とを加算して局部復号画像を生成し、生成した局部復号画像をデブロッキングフィルタ２７に出力する。 The adding unit 26 adds the inverse orthogonal transformed image input from the inverse orthogonal transform unit 25 and the predicted image input from the intra prediction unit 29 or the motion compensation unit 30 via the changeover switch 31 to locally decode the image. And the generated locally decoded image is output to the deblocking filter 27.

デブロッキングフィルタ２７は、符号化によりブロックの境界に発生するブロックノイズを除去するために、ブロック境界強度に応じて適応的にフィルタリング処理を施し、メモリ２８に出力する。 The deblocking filter 27 adaptively performs filtering processing according to the block boundary strength in order to remove block noise generated at the block boundary due to encoding, and outputs the result to the memory 28.

予測符号化判定装置１は、上述したように映像を入力して判定情報を生成し、イントラ予測部２９、動き補償部３０、及び可変長符号化部３２に出力する。 As described above, the predictive coding determination apparatus 1 inputs video and generates determination information, and outputs the determination information to the intra prediction unit 29, the motion compensation unit 30, and the variable length coding unit 32.

イントラ予測部２９は、予測符号化判定装置１から入力される判定情報がイントラ予測を行うのに適している旨を示していた場合には、メモリ２８に記憶された局部復号画像を参照し、イントラ予測モードを選択してイントラ予測画像を生成する。そして、生成したイントラ予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力し、イントラ予測モードを可変長符号化部３２に出力する。 The intra prediction unit 29 refers to the locally decoded image stored in the memory 28 when the determination information input from the predictive coding determination device 1 indicates that it is suitable for performing intra prediction, An intra prediction image is generated by selecting an intra prediction mode. Then, the generated intra prediction image is output to the subtraction unit 21 and the addition unit 26 via the changeover switch 31, and the intra prediction mode is output to the variable length encoding unit 32.

動き補償部３０は、予測符号化判定装置１から入力される判定情報がインター予測を行うのに適している旨を示していた場合には、原画像に対して、メモリ２８に記憶された過去及び／又は未来のフレームを参照し、動き推定により動きベクトルを生成し、生成した動きベクトルを可変長符号化部３２に出力する。また、動き補償部３０は、メモリ２８に記憶された復号画像に対し、生成した動きベクトルを用いて動き補償を行ってインター予測したインター予測画像を生成し、生成したインター予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力する。 When the determination information input from the predictive coding determination apparatus 1 indicates that it is suitable for performing inter prediction, the motion compensation unit 30 stores the past stored in the memory 28 with respect to the original image. Then, referring to a future frame, a motion vector is generated by motion estimation, and the generated motion vector is output to the variable length encoding unit 32. In addition, the motion compensation unit 30 performs motion compensation on the decoded image stored in the memory 28 using the generated motion vector to generate an inter-predicted image, and switches the generated inter-predicted image to the changeover switch 31. To the subtractor 21 and the adder 26.

切替えスイッチ３１は、イントラ予測部２９から入力されるイントラ予測画像と、動き補償部３０から入力されるインター予測画像とを切替えて、減算部２１及び加算部２６に出力する。 The changeover switch 31 switches between the intra prediction image input from the intra prediction unit 29 and the inter prediction image input from the motion compensation unit 30, and outputs the result to the subtraction unit 21 and the addition unit 26.

可変長符号化部３２は、量子化部２３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施し、得られる符号化データを外部に出力する。また、可変長符号化部３２は、イントラ予測部２９から入力される予測モード、動き補償部３０から入力される動きベクトルの情報、及び予測符号化判定装置１から入力される判定情報に可変長符号化処理を施し、得られる符号化データを外部に出力する。 The variable length encoding unit 32 scans the quantized orthogonal transform coefficient input from the quantization unit 23 to perform variable length encoding processing, and outputs the obtained encoded data to the outside. Further, the variable length coding unit 32 has variable lengths for the prediction mode input from the intra prediction unit 29, the motion vector information input from the motion compensation unit 30, and the determination information input from the prediction coding determination device 1. Encoding processing is performed, and the obtained encoded data is output to the outside.

このように、符号化装置２０は予測符号化判定装置１を備え、インター／イントラ予測判定部１３により、符号化対象フレームがインター予測を行うのに適していると判定された場合には、符号化対象フレームをインター予測して符号化し、符号化対象フレームがインター予測を行うのに適していないと判定された場合には、符号化対象フレームをイントラ予測して符号化する。このため、動きがランダムなフレームではインター予測を避けてイントラ予測を行うことができ、符号化画質を向上させることができるようになる。 As described above, the encoding device 20 includes the predictive encoding determination device 1, and when the inter / intra prediction determination unit 13 determines that the encoding target frame is suitable for performing inter prediction, The encoding target frame is inter-predicted and encoded. If it is determined that the encoding target frame is not suitable for inter prediction, the encoding target frame is encoded by intra prediction. For this reason, intra prediction can be performed while avoiding inter prediction in frames with random motion, and the encoded image quality can be improved.

ここで、上述した符号化装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。 Here, a computer can be suitably used to cause the above-described encoding device 20 to function, and such a computer can store a program describing processing contents for realizing each function of the encoding device 20 in the computer. It can be realized by storing the program in a storage unit and reading and executing the program by the CPU of the computer. This program can be recorded on a computer-readable recording medium.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 Although the above embodiment has been described as a representative example, it will be apparent to those skilled in the art that many changes and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes can be made without departing from the scope of the claims. For example, a plurality of constituent blocks described in the embodiments can be combined into one, or one constituent block can be divided.

１予測符号化判定装置
１１動き推定部
１２インター予測難度測定部
１３インター／イントラ予測判定部
２０符号化装置
２１減算部
２２直交変換部
２３量子化部
２４逆量子化部
２５逆直交変換部
２６加算部
２７デブロッキングフィルタ
２８メモリ
２９イントラ予測部
３０動き補償部
３１切替えスイッチ
３２可変長符号化部 DESCRIPTION OF SYMBOLS 1 Prediction coding determination apparatus 11 Motion estimation part 12 Inter prediction difficulty measurement part 13 Inter / intra prediction determination part 20 Encoding apparatus 21 Subtraction part 22 Orthogonal transformation part 23 Quantization part 24 Inverse quantization part 25 Inverse orthogonal transformation part 26 Addition Unit 27 deblocking filter 28 memory 29 intra prediction unit 30 motion compensation unit 31 changeover switch 32 variable length coding unit

Claims

A motion estimation unit that inputs video and generates a motion vector between the encoding target frame and the reference frame;
An inter prediction difficulty level measurement unit that calculates an inter prediction difficulty level of the encoding target frame from the motion vector;
An inter / intra prediction determination unit that determines whether the encoding target frame is suitable for performing inter prediction or intra prediction from the degree of difficulty of inter prediction;
Equipped with a,
The motion estimation unit, predictive coding determination apparatus characterized that you generate the motion vector by performing matching of SURF feature quantity.

The predictive coding determination apparatus according to claim 1, wherein the inter prediction difficulty level measurement unit calculates a variance value of the motion vector as the difficulty level of the inter prediction.

The inter / intra prediction determination unit determines whether or not the encoding target frame is suitable for performing inter prediction by determining a threshold of the difficulty level of the inter prediction. Or the prediction encoding determination apparatus of 2.

A predictive coding determination apparatus according to any one of claims 1 to 3 ,
When the inter / intra prediction determination unit determines that the encoding target frame is suitable for performing inter prediction, the encoding target frame is inter predicted and encoded, and the encoding target frame is encoded. Is determined to be suitable for performing inter prediction, the encoding target frame is encoded by performing intra prediction on the encoding target frame.

The program for functioning a computer as a prediction coding determination apparatus as described in any one of Claim 1 to 3 .

A program for causing a computer to function as the encoding device according to claim 4 .