JP4484910B2 - Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium - Google Patents

Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium Download PDF

Info

Publication number
JP4484910B2
JP4484910B2 JP2007217734A JP2007217734A JP4484910B2 JP 4484910 B2 JP4484910 B2 JP 4484910B2 JP 2007217734 A JP2007217734 A JP 2007217734A JP 2007217734 A JP2007217734 A JP 2007217734A JP 4484910 B2 JP4484910 B2 JP 4484910B2
Authority
JP
Japan
Prior art keywords
image
filter processing
motion
filtered
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007217734A
Other languages
Japanese (ja)
Other versions
JP2009055145A (en
Inventor
卓 佐野
淳 嵯峨田
充郎 池田
次郎 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007217734A priority Critical patent/JP4484910B2/en
Publication of JP2009055145A publication Critical patent/JP2009055145A/en
Application granted granted Critical
Publication of JP4484910B2 publication Critical patent/JP4484910B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は，入力画像に対する時間方向のフィルタ処理によりノイズを除去する動き補償付きテンポラルフィルタ処理装置，処理方法，処理プログラムおよびコンピュータ読み取り可能な記録媒体に関するものである。   The present invention relates to a motion-compensated temporal filter processing apparatus, a processing method, a processing program, and a computer-readable recording medium that remove noise by temporal filtering on an input image.

動画像の連続するフレーム（フィールドを含む。以下，同様）に時間方向のフィルタ処理を施すことによりノイズを除去することが行われている。このようなフィルタをテンポラルフィルタという。   Noise is removed by applying a time-direction filtering process to successive frames (including fields; hereinafter the same) of a moving image. Such a filter is called a temporal filter.

さらに，効果的にフィルタ処理を行うために，時間的に前のフレームを参照画像として動き予測を行い，現フレームの画素と動きベクトルで示される参照画像の画素との間で，時間方向のフィルタ処理を行う動き補償付きテンポラルフィルタも用いられている。   Furthermore, in order to perform filtering effectively, motion prediction is performed using the temporally previous frame as a reference image, and a temporal filter is performed between the current frame pixel and the reference image pixel indicated by the motion vector. A temporal filter with motion compensation that performs processing is also used.

図４は，動き補償付きテンポラルフィルタの利用例を示す図である。図４において，１００は動き補償付きテンポラルフィルタ処理部，２００は符号化器を表す。符号化器２００は，例えばＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６４等の符号化方式により動画像を符号化する装置である。動き補償付きテンポラルフィルタ処理部１００は，符号化器２００へ入力する前の画像信号に含まれるノイズを除去するためのものであり，入力画像に対する動きベクトルの検出による動き補償を行って，時間方向のフィルタ処理を行い，フィルタ後画像を符号化器２００へ送る。本発明は，このような動き補償付きテンポラルフィルタの改良に関するものである。   FIG. 4 is a diagram illustrating a usage example of the temporal filter with motion compensation. In FIG. 4, 100 represents a temporal filter processing unit with motion compensation, and 200 represents an encoder. The encoder 200 is, for example, MPEG-2, MPEG-4, H.264. This is an apparatus that encodes a moving image by an encoding method such as H.264. The temporal filter processing unit 100 with motion compensation is for removing noise included in the image signal before being input to the encoder 200, performs motion compensation by detecting a motion vector for the input image, and performs temporal compensation. The filtered image is sent to the encoder 200. The present invention relates to an improvement of such a temporal filter with motion compensation.

従来，以上のような動き補償付きテンポラルフィルタの例としては，例えば特許文献１に記載されている適応フィルタ装置がある。特許文献１の適応フィルタ装置では，４フィールド前後あるいは２フィールド前後の処理対象画像に対して，異なる２つの画像データから相関の強い方の動きベクトルに対応した参照画素と処理画素との間の差分値を求め，その差分値に応じて参照画素の処理画素に対するミクシング値を可変にすることにより，ノイズ除去を図っている。
特開平１０−８４４９９号公報 Conventionally, as an example of the temporal filter with motion compensation as described above, there is an adaptive filter device described in Patent Document 1, for example. In the adaptive filter device of Patent Document 1, for a processing target image around 4 fields or around 2 fields, a difference between a reference pixel and a processing pixel corresponding to a motion vector having a stronger correlation from two different image data. The noise is removed by obtaining the value and making the mixing value of the reference pixel the processing pixel variable according to the difference value.
JP 10-84499 A

特許文献１に記載されているような従来の動き補償付きテンポラルフィルタでは，動き予測によって検出した動きベクトルのすべてに対してテンポラルフィルタ処理を行っている。しかし，入力画像において動きが大きい領域では，残像が残ってしまうことがある。このような動きが大きい領域では，動き補償付きテンポラルフィルタ処理を行うと，フィルタ処理を行わない場合よりもかえって主観画質が劣化してしまうことがある。   In the conventional temporal filter with motion compensation as described in Patent Document 1, temporal filter processing is performed on all motion vectors detected by motion prediction. However, an afterimage may remain in an area where the motion is large in the input image. In such an area with a large amount of motion, if the temporal filter processing with motion compensation is performed, the subjective image quality may be deteriorated rather than when the filtering processing is not performed.

そこで本発明は，上記課題の解決を図り，動き補償付きテンポラルフィルタにおける残像の発生を抑止し，主観画質を向上させるフィルタ処理を実現することを目的とする。   In view of the above, an object of the present invention is to solve the above-described problems and to realize a filter process that suppresses the occurrence of an afterimage in a temporal filter with motion compensation and improves the subjective image quality.

本発明は，上記課題を解決するため，フィルタ処理対象のブロックと，動き予測によって見つけられた参照画像中の動き補償対象ブロックのそれぞれの輝度平均値を算出し，それらの輝度平均値の差が，予め設定された所定の閾値以上であった場合に，動き補償付きテンポラルフィルタの処理をスキップし，そのブロックについてはフィルタ処理を行わないようにすることを特徴とする。   In order to solve the above-mentioned problem, the present invention calculates the average luminance value of each of the block to be filtered and the motion compensation target block in the reference image found by motion prediction, and the difference between the average luminance values is calculated. When the predetermined threshold value is not less than a preset threshold value, the process of the temporal filter with motion compensation is skipped, and the filter process is not performed for the block.

入力画像の動きの大きい領域では，動き探索範囲において動き予測誤差が最も小さいブロックでも，処理対象画像のブロックと参照画像のブロックとの間の輝度平均値に差が生じる傾向にある。そこで，本発明では，このような輝度平均値の差が大きいブロックに対しては，動き補償付きテンポラルフィルタの処理を行わないようにすることにより，残像の発生を抑止し，主観画質の向上を図る。   In the region where the motion of the input image is large, even in the block where the motion prediction error is the smallest in the motion search range, there is a tendency that a difference occurs in the average brightness value between the block of the processing target image and the block of the reference image. Therefore, in the present invention, the generation of afterimages is suppressed and the subjective image quality is improved by not performing the temporal filter processing with motion compensation for such a block having a large difference in luminance average value. Plan.

本発明によれば，動き補償付きテンポラルフィルタにおいて，動きが大きい領域についてはフィルタ処理をスキップするので，残像の発生が抑止され，主観画像品質が向上する。   According to the present invention, in the temporal filter with motion compensation, since the filtering process is skipped for a region with large motion, the occurrence of afterimage is suppressed and the subjective image quality is improved.

図１は，本発明の動き補償付きテンポラルフィルタ処理装置の構成例を示すブロック図である。この動き補償付きテンポラルフィルタ処理装置は，例えば図４に示す符号化器２００の前の動き補償付きテンポラルフィルタ処理部１００として用いられる。   FIG. 1 is a block diagram showing a configuration example of a temporal filter processing apparatus with motion compensation according to the present invention. This temporal filter processing apparatus with motion compensation is used, for example, as the temporal filter processing unit 100 with motion compensation in front of the encoder 200 shown in FIG.

図１（Ａ）は，フィルタ後の画素値を次のフレームのフィルタ処理の参照画像とするＩＩＲ（Infinite Inpulse Response ）型のテンポラルフィルタ構成の場合の例を示し，図１（Ｂ）は，フィルタ前の入力画像を次のフレームのフィルタ処理の参照画像とするＦＩＲ (Finite Inpulse Response)型のテンポラルフィルタ構成の場合の例を示している。どちらの場合でも本発明を実施することができる。   FIG. 1A shows an example of an IIR (Infinite Impulse Response) type temporal filter configuration in which a pixel value after filtering is used as a reference image for filtering processing of the next frame, and FIG. An example in the case of a FIR (Finite Impulse Response) type temporal filter configuration in which the previous input image is a reference image for the filter processing of the next frame is shown. In either case, the present invention can be implemented.

図１（Ａ）において，画像メモリ１０は，フィルタ処理対象となる画像を入力し，記憶する。入力画像は，フレーム単位の画像であってもフィールド単位の画像であってもどちらでもよい。ここではフレーム画像として説明する。画像メモリ１０には，１フレームまたは複数フレームの過去のフレーム画像についても保持される。   In FIG. 1A, an image memory 10 inputs and stores an image to be filtered. The input image may be either a frame unit image or a field unit image. Here, it will be described as a frame image. The image memory 10 also holds a past frame image of one frame or a plurality of frames.

動き予測部１１は，フィルタ処理対象の画像についてブロック単位で，過去のフレーム画像を参照画像として動き予測を行う。ここでは，説明を簡単にするために，直前のフレーム画像だけを動き補償付きテンポラルフィルタの処理に用いるものとし，動き予測も直前のフレーム画像に対してだけ行うものとする。ブロックのサイズは任意であり，例えば４×４画素ないし８×８画素が適当である。   The motion prediction unit 11 performs motion prediction on a filter processing target image in units of blocks using a past frame image as a reference image. Here, in order to simplify the explanation, it is assumed that only the immediately preceding frame image is used for the temporal filter processing with motion compensation, and motion prediction is performed only for the immediately preceding frame image. The block size is arbitrary, for example, 4 × 4 pixels to 8 × 8 pixels is appropriate.

動き予測では，予め定められた探索範囲内で照合する参照画像におけるブロックの位置を動かしながら，参照画像とフィルタ処理対象画像とのブロック間の画素毎の差分絶対値の和または二乗誤差の和（これらを動き予測誤差という）を算出し，動き予測誤差が最小となるブロックの位置関係を，動きベクトルとして検出する。   In motion prediction, the position of the block in the reference image to be collated within a predetermined search range is moved, and the sum of absolute differences or sum of square errors for each pixel between the block of the reference image and the image to be filtered ( These are referred to as motion prediction errors), and the positional relationship between the blocks having the smallest motion prediction error is detected as a motion vector.

フィルタ処理判定部１２では，動き予測部１１により動きベクトルを検出したならば，その動きベクトルが示す参照画像のブロック内の全画素の輝度値の平均値Ｙave-pst を算出する。また，フィルタ処理判定部１２は，動き予測部１１による動き予測と同時に，入力した原画像におけるフィルタ処理対象のブロック内の全画素の輝度値の平均値Ｙave-cur についても算出しておく。 When the motion prediction unit 11 detects the motion vector, the filter processing determination unit 12 calculates the average value Y ave-pst of the luminance values of all the pixels in the block of the reference image indicated by the motion vector. Further, the filter processing determination unit 12 calculates the average value Y ave-cur of the luminance values of all the pixels in the block to be filtered in the input original image simultaneously with the motion prediction by the motion prediction unit 11.

次に，フィルタ処理判定部１２は，算出した原画像輝度平均値Ｙave-cur と参照画像輝度平均値Ｙave-pst との差が，予め定められた所定の閾値ＴＨ以上かどうか判定する。この輝度平均値の差が所定の閾値ＴＨ以上である場合，フィルタ処理判定部１２は，出力切替え部１４に対して，切替え信号“１”を出力し，それ以外の場合には切替え信号“０”を出力する。 Next, the filter processing determination unit 12 determines whether the difference between the calculated original image luminance average value Y ave-cur and the reference image luminance average value Y ave-pst is greater than or equal to a predetermined threshold TH. When the difference between the luminance average values is equal to or greater than a predetermined threshold value TH, the filter processing determination unit 12 outputs a switching signal “1” to the output switching unit 14, and otherwise, the switching signal “0”. "Is output.

フィルタ処理部１３は，動き予測部１１が検出した動きベクトルに従って，画像メモリ１０を参照し，動き補償付きテンポラルフィルタの処理を実行する。フィルタ処理部１３が行う動き補償付きテンポラルフィルタの処理は，従来行われている処理と同様であるので，ここでのその詳しい説明は省略する。フィルタ処理部１３によるフィルタ処理後の画像は，出力切替え部１４に出力される。   The filter processing unit 13 refers to the image memory 10 according to the motion vector detected by the motion prediction unit 11 and executes a temporal filter process with motion compensation. Since the process of the temporal filter with motion compensation performed by the filter processing unit 13 is the same as the conventional process, the detailed description thereof is omitted here. The image after the filter processing by the filter processing unit 13 is output to the output switching unit 14.

出力切替え部１４は，フィルタ処理判定部１２が出力する切替え信号が“０”の場合に，フィルタ処理部１３が出力するフィルタ後画像を最終的なフィルタ後画像として出力する。一方，フィルタ処理判定部１２が出力する切替え信号が“１”の場合には，フィルタ処理部１３が出力するフィルタ後画像ではなく，画像メモリ１０から読み出したフィルタ処理前の原画像をそのまま最終的なフィルタ後画像として出力する。なお，最終的なフィルタ後画像は，次のフレームの参照画像に反映させるために，画像メモリ１０に書き戻される。   The output switching unit 14 outputs the filtered image output from the filter processing unit 13 as a final filtered image when the switching signal output from the filter processing determination unit 12 is “0”. On the other hand, when the switching signal output by the filter processing determination unit 12 is “1”, the original image before the filter processing read from the image memory 10 is not used as the final image but the post-filter image output by the filter processing unit 13. Output as a filtered image. Note that the final filtered image is written back to the image memory 10 to be reflected in the reference image of the next frame.

この実施例では，フィルタ処理判定部１２が出力する切替え信号によって出力切替え部１４による出力の切替えを行っているが，出力切替え部１４を設けるのではなく，切替え信号をフィルタ処理部１３へ送り，フィルタ処理部１３内で，切替え信号が“０”の場合にはフィルタ処理を実行し，切替え信号が“１”の場合にはフィルタ処理を行わないように構成する実施も可能である。同じ結果が得られる。   In this embodiment, output switching by the output switching unit 14 is performed by the switching signal output by the filter processing determination unit 12, but instead of providing the output switching unit 14, a switching signal is sent to the filter processing unit 13, In the filter processing unit 13, it is possible to perform a filter process when the switching signal is “0” and not perform the filter process when the switching signal is “1”. The same result is obtained.

図１（Ｂ）に示すＦＩＲ型のテンポラルフィルタ構成の場合，フィルタ処理部２３が用いる参照画像は，フィルタ処理が行われない画像である。そのため，フィルタ処理部２３による処理結果は，フィルタ後画像として出力されるが，画像メモリ２０に書き戻されることはない。それ以外の動き予測部２１，フィルタ処理判定部２２，出力切替え部２４などの構成および動作は，図１（Ａ）で説明したものと同様である。   In the case of the FIR temporal filter configuration shown in FIG. 1B, the reference image used by the filter processing unit 23 is an image that is not subjected to filter processing. Therefore, the processing result by the filter processing unit 23 is output as a filtered image, but is not written back to the image memory 20. Other configurations and operations of the motion prediction unit 21, the filter processing determination unit 22, the output switching unit 24, and the like are the same as those described with reference to FIG.

図２は，本発明の実施の形態の処理フローチャートである。フィルタ処理対象画像の各ブロックごとに，以下のステップＳ１〜Ｓ８を実行する。ステップＳ１〜Ｓ４が動き予測部１１，２１の処理，ステップＳ５〜Ｓ７がフィルタ処理判定部１２，２２の処理，ステップＳ８がフィルタ処理部１３，２３の処理である。   FIG. 2 is a process flowchart according to the embodiment of the present invention. The following steps S1 to S8 are executed for each block of the filter processing target image. Steps S1 to S4 are processing of the motion prediction units 11 and 21, steps S5 to S7 are processing of the filter processing determination units 12 and 22, and step S8 is processing of the filter processing units 13 and 23.

ステップＳ１では，フィルタ処理対象となっている原画像ブロック内の全画素の輝度平均値Ｙave-cur を算出し，レジスタまたはメモリに記憶しておく。 In step S1, the luminance average value Y ave-cur of all the pixels in the original image block to be filtered is calculated and stored in a register or memory.

ステップＳ２では，所定の動き探索範囲内で，参照画像とフィルタ処理対象画像のブロック間の動き予測誤差を計算し，動き探索を行う。ここでは，動き予測誤差として絶対値誤差和（ＳＡＤ：Sum of Absolute Difference）を算出するものとする。二乗誤差和を算出してもよい。なお，探索開始前に動き予測誤差最小値ＳＡＤmin の値を，最大値に初期化しておく。 In step S2, a motion search error is calculated by calculating a motion prediction error between the blocks of the reference image and the filtering target image within a predetermined motion search range. Here, an absolute value error sum (SAD: Sum of Absolute Difference) is calculated as a motion prediction error. A square error sum may be calculated. Note that the value of the motion prediction error minimum value SAD min is initialized to the maximum value before starting the search.

ステップＳ３では，ステップＳ２で算出した動き予測誤差ＳＡＤとこれまでに記憶した動き予測誤差最小値ＳＡＤmin の大小を比較し，動き予測誤差ＳＡＤが小さい場合，ステップＳ４へ進み，そうでなければ，ステップＳ５へ進む。 In step S3, the motion prediction error SAD calculated in step S2 is compared with the motion prediction error minimum value SAD min stored so far. If the motion prediction error SAD is small, the process proceeds to step S4. Proceed to step S5.

ステップＳ４では，動き予測誤差ＳＡＤを，新たな動き予測誤差最小値ＳＡＤmin として記憶し，また，そのときの動きベクトルＭＶをレジスタまたはメモリに記憶する。 In step S4, the motion prediction error SAD is stored as a new motion prediction error minimum value SAD min , and the motion vector MV at that time is stored in a register or memory.

ステップＳ５では，所定の探索範囲内の探索が終了したかどうかを判定する。探索が終了していない場合には，参照画像における次の探索位置について同様にステップＳ２〜Ｓ４の処理を繰り返す。探索が終了したならば，次のステップＳ６へ移る。   In step S5, it is determined whether or not the search within the predetermined search range has been completed. If the search has not ended, the processes of steps S2 to S4 are repeated for the next search position in the reference image. When the search is completed, the process proceeds to the next step S6.

ステップＳ６では，動き探索により得られた動きベクトルＭＶが指す参照画像ブロック内の全画素の輝度平均値Ｙave-pst を算出する。 In step S6, the luminance average value Y ave-pst of all the pixels in the reference image block indicated by the motion vector MV obtained by the motion search is calculated.

ステップＳ７では，原画像ブロックの輝度平均値Ｙave-cur と参照画像ブロックの輝度平均値Ｙave-pst との差が，所定の閾値ＴＨより小さいかどうかを判定し，小さい場合には，ステップＳ８へ進み，小さくない場合には，ステップＳ８のフィルタ処理をスキップする。 In step S7, it is determined whether the difference between the luminance average value Y ave-cur of the original image block and the luminance average value Y ave-pst of the reference image block is smaller than a predetermined threshold TH. The process proceeds to S8, and if not smaller, the filtering process in step S8 is skipped.

ステップＳ８では，ステップＳ４で記憶した動きベクトルＭＶを用いて，動き補償付きテンポラルフィルタ処理を実行し，フィルタ後画像を出力する。なお，ステップＳ７の判定結果によりフィルタ処理を実行しなかったブロックについては，原画像ブロックをフィルタ後画像として出力する。   In step S8, temporal filter processing with motion compensation is executed using the motion vector MV stored in step S4, and a filtered image is output. For the blocks that have not been subjected to the filter processing according to the determination result of step S7, the original image block is output as a filtered image.

図３は，動き補償付きテンポラルフィルタ処理装置の詳細な構成例を示す図である。画像メモリ１０，フィルタ処理部１３，出力切替え部１４は，図１で説明したもの同じである。   FIG. 3 is a diagram illustrating a detailed configuration example of the temporal filter processing apparatus with motion compensation. The image memory 10, the filter processing unit 13, and the output switching unit 14 are the same as those described with reference to FIG.

原画像ブロック輝度平均値算出部１２１は，フィルタ処理対象の原画像ブロック内の画素の輝度平均値Ｙave-cur を算出する。また，参照画像ブロック輝度平均値算出部１２２は，動き予測部１１で算出された動きベクトルが示す参照画像のブロック内の画素の輝度平均値Ｙave-pst を算出する。減算器１２３は，原画像ブロック内の画素の輝度平均値Ｙave-cur と，参照画像のブロック内の画素の輝度平均値Ｙave-pst との差の値を比較部１２５へ出力する。 Original image block luminance average value calculation section 121 calculates a luminance average value Y ave-cur of pixels of the original image block of the filter processing target. Further, the reference image block luminance average value calculation unit 122 calculates the luminance average value Y ave-pst of the pixels in the block of the reference image indicated by the motion vector calculated by the motion prediction unit 11. The subtractor 123 outputs a difference value between the luminance average value Y ave-cur of the pixels in the original image block and the luminance average value Y ave-pst of the pixels in the block of the reference image to the comparison unit 125.

閾値ＴＨ記憶部１２４は，予め多くのサンプル画像を用いた視覚実験などにより定められた閾値ＴＨを記憶する。比較部１２５は，原画像ブロック輝度平均値Ｙave-cur と参照画像ブロック輝度平均値Ｙave-pst との差と，閾値ＴＨとの大小を比較し，差の値が閾値ＴＨ以上の場合には，出力切替え部１４に対して，切替え信号“１”を出力し，それ以外の場合には切替え信号“０”を出力する。 The threshold TH storage unit 124 stores a threshold TH determined in advance by a visual experiment using many sample images. The comparison unit 125 compares the difference between the original image block luminance average value Y ave-cur and the reference image block luminance average value Y ave-pst with the threshold value TH, and if the difference value is greater than or equal to the threshold value TH. Outputs a switching signal “1” to the output switching unit 14, and outputs a switching signal “0” otherwise.

出力切替え部１４は，その切替え信号が“０”の場合に，フィルタ処理部１３が出力するフィルタ後画像を最終的なフィルタ後画像として出力し，切替え信号が“１”の場合には，フィルタ処理部１３が出力するフィルタ後画像ではなく，画像メモリ１０から読み出したフィルタ処理前の原画像をそのまま最終的なフィルタ後画像として出力する。   The output switching unit 14 outputs the filtered image output from the filter processing unit 13 as the final filtered image when the switching signal is “0”, and the filtering signal is output when the switching signal is “1”. Instead of the filtered image output from the processing unit 13, the original image before the filtering process read from the image memory 10 is output as it is as the final filtered image.

フィルタ処理部１３で実行するフィルタ処理の最も一般的な例としては，フィルタ対象画素と参照画素との平均値を取る方法がある。計算式を式（１）に示す。ここで，Ｙcur はフィルタ対象画素値，Ｙref はフィルタ参照画素値，Ｙ′はフィルタ処理後の画素値を示している。 As the most general example of the filter processing executed by the filter processing unit 13, there is a method of taking an average value of the filter target pixel and the reference pixel. The calculation formula is shown in Formula (1). Here, Y cur represents a filter target pixel value, Y ref represents a filter reference pixel value, and Y ′ represents a pixel value after filtering.

Ｙ′＝（Ｙcur ＋Ｙref ）／２ …式（１）
また，フィルタ対象画素値などからフィルタ強度ａ（０≦ａ≦１）を決定し，フィルタ処理を行う場合もある。計算式を式（２）に示す。フィルタ強度ａは任意に設定できる。ａ＝０．５の場合，式（２）は式（１）と等価になる。 Y ′ = (Y cur + Y ref ) / 2 (1)
In some cases, the filter strength a (0 ≦ a ≦ 1) is determined from the filter target pixel value and the like, and the filter processing is performed. The calculation formula is shown in Formula (2). The filter strength a can be set arbitrarily. When a = 0.5, equation (2) is equivalent to equation (1).

Ｙ′＝ａ×Ｙcur ＋（１−ａ）×Ｙref …式（２）
［実験結果］
本発明による効果を検証するために，画像サイズが１９２０×１０８０画素の画像を用いて，本発明による動き補償付きテンポラルフィルタ処理方法を用いた場合と，本発明を用いない従来の動き補償付きテンポラルフィルタ処理方法を用いた場合とで，フィルタ後画像の視覚実験を行った。 Y '= a * Ycur + (1-a) * Yref ... Formula (2)
[Experimental result]
In order to verify the effect of the present invention, an image having an image size of 1920 × 1080 pixels is used, and the temporal filter processing method with motion compensation according to the present invention is used. A visual experiment of the filtered image was performed using the filtering method.

動き補償ブロックサイズは，４×４画素とした。閾値ＴＨの値は，ＴＨ＝７とした。   The motion compensation block size was 4 × 4 pixels. The value of the threshold TH is TH = 7.

従来方法を用いて，原画像のすべてのブロックについて動き補償付きテンポラルフィルタの処理を実行した場合，画像中の歩行者の像に残像が生じ，一部の主観画質が損なわれた。これに対し，本発明を用いて動き補償付きテンポラルフィルタの処理を行った場合に，従来技術のような残像は見られず，動きの小さい領域におけるノイズが除去される一方，動きの大きな領域では自然な画像が得られることが確認できた。   When the temporal filter with motion compensation was executed for all blocks of the original image using the conventional method, afterimages were generated in the pedestrian image in the image, and some subjective image quality was impaired. On the other hand, when the temporal filter with motion compensation is performed using the present invention, no afterimage as in the prior art is seen and noise in a region with small motion is removed, while in a region with large motion. It was confirmed that a natural image was obtained.

以上の動き補償付きテンポラルフィルタの処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。   The above-described temporal filter processing with motion compensation can be realized by a computer and a software program, and the program can be provided by being recorded on a computer-readable recording medium or via a network. is there.

本発明の構成例を示すブロック図である。It is a block diagram which shows the structural example of this invention. 本発明の実施の形態の処理フローチャートである。It is a processing flowchart of an embodiment of the invention. 本発明の実施の形態の詳細な構成例を示す図である。It is a figure which shows the detailed structural example of embodiment of this invention. 動き補償付きテンポラルフィルタの利用例を示す図である。It is a figure which shows the usage example of the temporal filter with motion compensation.

符号の説明Explanation of symbols

１０，２０ 画像メモリ
１１，２１ 動き予測部
１２，２２ フィルタ処理判定部
１３，２３ フィルタ処理部
１４，２４ 出力切替え部 10, 20 Image memory 11, 21 Motion prediction unit 12, 22 Filter processing determination unit 13, 23 Filter processing unit 14, 24 Output switching unit

Claims (4)

動き予測に従って過去の画像を参照することにより，入力画像に対して時間方向のフィルタ処理を施す動き補償付きテンポラルフィルタ処理装置であって，
フィルタ処理対象の入力画像と参照画像とを記憶する画像メモリと，
フィルタ処理対象の入力画像における各ブロックごとに，前記参照画像を所定の動き探索範囲内で探索して動き予測誤差を算出し，動きベクトルを検出する動き予測部と，
フィルタ処理対象のブロック内の画素の輝度平均値と，前記動き予測部で算出された動きベクトルが示す参照画像のブロック内の画素の輝度平均値との差が，所定の閾値以上であるか否かを判定するフィルタ処理判定部と，
前記動き予測部で算出された動きベクトルを入力し，フィルタ処理対象の入力画像に対し，前記画像メモリに格納された参照画像を動きベクトルに従って参照することにより動き補償付きテンポラルフィルタの処理を実行するフィルタ処理部と，
前記フィルタ処理判定部の判定結果が真である場合に，前記フィルタ処理部によるフィルタ処理を行わない画像をフィルタ後画像として出力し，前記フィルタ処理判定部の判定結果が偽である場合に，前記フィルタ処理部によるフィルタ処理を行った画像をフィルタ後画像として出力する切替え部とを備える
ことを特徴とする動き補償付きテンポラルフィルタ処理装置。 A temporal filter processing apparatus with motion compensation that performs temporal filtering on an input image by referring to a past image according to motion prediction,
An image memory for storing an input image to be filtered and a reference image;
For each block in the input image to be filtered, a motion prediction unit that searches the reference image within a predetermined motion search range, calculates a motion prediction error, and detects a motion vector;
Whether or not the difference between the average luminance value of the pixels in the block to be filtered and the average luminance value of the pixels in the block of the reference image indicated by the motion vector calculated by the motion prediction unit is greater than or equal to a predetermined threshold value A filter processing determination unit for determining whether or not
The motion vector calculated by the motion prediction unit is input, and the process of the temporal filter with motion compensation is executed by referring to the reference image stored in the image memory according to the motion vector for the input image to be filtered. A filter processing unit;
When the determination result of the filter processing determination unit is true, an image that is not filtered by the filter processing unit is output as a filtered image, and when the determination result of the filter processing determination unit is false, A temporal filter processing apparatus with motion compensation, comprising: a switching unit that outputs an image subjected to the filter processing by the filter processing unit as a filtered image. 動き予測に従って過去の画像を参照することにより，入力画像に対して時間方向のフィルタ処理を施す動き補償付きテンポラルフィルタ処理方法であって，
フィルタ処理対象の入力画像における各ブロックごとに，画像メモリに格納された参照画像を所定の動き探索範囲内で探索して動き予測誤差を算出し，動きベクトルを検出する動き予測ステップと，
フィルタ処理対象のブロック内の画素の輝度平均値を算出するステップと，
前記動き予測ステップで算出された動きベクトルが示す参照画像のブロック内の画素の輝度平均値を算出するステップと，
前記フィルタ処理対象のブロック内の画素の輝度平均値と，前記動き予測ステップで算出された動きベクトルが示す参照画像のブロック内の画素の輝度平均値との差が，所定の閾値以上であるか否かを判定するフィルタ処理判定ステップと，
前記フィルタ処理判定ステップの判定結果が偽である場合に，前記動き予測ステップで算出された動きベクトルを入力し，フィルタ処理対象の入力画像に対し，前記画像メモリに格納された参照画像を動きベクトルに従って参照することにより動き補償付きテンポラルフィルタの処理を実行してフィルタ後画像を出力し，前記フィルタ処理判定ステップの判定結果が真である場合に，フィルタ処理を行わない画像をフィルタ後画像として出力するステップとを有する
ことを特徴とする動き補償付きテンポラルフィルタ処理方法。 A temporal filter processing method with motion compensation for performing temporal filtering on an input image by referring to a past image according to motion prediction,
For each block in the input image to be filtered, a motion prediction step for searching a reference image stored in the image memory within a predetermined motion search range to calculate a motion prediction error and detecting a motion vector;
Calculating a luminance average value of pixels in a block to be filtered;
Calculating a luminance average value of pixels in a block of a reference image indicated by the motion vector calculated in the motion prediction step;
Whether the difference between the average luminance value of the pixels in the block to be filtered and the average luminance value of the pixels in the block of the reference image indicated by the motion vector calculated in the motion prediction step is greater than or equal to a predetermined threshold value A filter processing determination step for determining whether or not,
When the determination result of the filter processing determination step is false, the motion vector calculated in the motion prediction step is input, and the reference image stored in the image memory is used as the motion vector for the input image to be filtered. The temporal filter processing with motion compensation is executed by referencing according to the above, and the filtered image is output, and when the determination result of the filtering processing determination step is true, the image without the filtering processing is output as the filtered image A temporal filter processing method with motion compensation. 請求項２記載の動き補償付きテンポラルフィルタ処理方法をコンピュータに実行させるための動き補償付きテンポラルフィルタ処理プログラム。   A temporal filter processing program with motion compensation for causing a computer to execute the temporal filter processing method with motion compensation according to claim 2. 請求項３記載の動き補償付きテンポラルフィルタ処理プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which the motion compensation temporal filter processing program according to claim 3 is recorded.
JP2007217734A 2007-08-24 2007-08-24 Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium Active JP4484910B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007217734A JP4484910B2 (en) 2007-08-24 2007-08-24 Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007217734A JP4484910B2 (en) 2007-08-24 2007-08-24 Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium

Publications (2)

Publication Number Publication Date
JP2009055145A JP2009055145A (en) 2009-03-12
JP4484910B2 true JP4484910B2 (en) 2010-06-16

Family

ID=40505843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007217734A Active JP4484910B2 (en) 2007-08-24 2007-08-24 Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium

Country Status (1)

Country Link
JP (1) JP4484910B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206928A1 (en) * 2021-04-01 2022-10-06 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Also Published As

Publication number Publication date
JP2009055145A (en) 2009-03-12

Similar Documents

Publication Publication Date Title
US7899122B2 (en) Method, apparatus and computer program product for generating interpolation frame
JP5281891B2 (en) Adaptive motion search range
CN104219533B (en) A kind of bi-directional motion estimation method and up-conversion method of video frame rate and system
JP5068265B2 (en) Select motion vector
KR101756842B1 (en) Method and apparatus for image frame interpolation
EP2330817A1 (en) Video signal converting system
JP2012516637A5 (en)
TWI408620B (en) Image processing method for determining motion vectors of interpolated picture and related apparatus thereof
US7868946B2 (en) Adaptive motion compensated interpolating method and apparatus
EP2377324A1 (en) One step sub-pixel motion estimation
EP2204982A1 (en) Method of generating motion vectors of images of a video sequence
JP2007181674A (en) Method of forming image using block matching and motion compensated interpolation
JP5081898B2 (en) Interpolated image generation method and system
WO2005109897A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
EP2330818A1 (en) Frame rate converting apparatus and corresponding point estimating apparatus, corresponding point estimating method and corresponding point estimating program
JP2005012799A (en) Apparatus to provide block-based motion compensation and method thereof
JP5927051B2 (en) Image processing apparatus, image processing method, and program
JP4484910B2 (en) Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium
JP2008109270A (en) Moving image regeneration apparatus with camera shake correction function
JP4452734B2 (en) Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium
JP2012227791A (en) Image processor, image processing method, program and recording medium
JP4250598B2 (en) Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method
US9165380B2 (en) Image encoding method using binary partition tree
JP4523626B2 (en) Temporal filter processing apparatus with motion compensation, processing method, processing program, and computer-readable recording medium
KR100772405B1 (en) Methods for adaptive noise reduction based on global motion estimation and video processing system therefore

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100323

R150 Certificate of patent or registration of utility model

Ref document number: 4484910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350