WO2011004427A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2011004427A1
WO2011004427A1 PCT/JP2009/003145 JP2009003145W WO2011004427A1 WO 2011004427 A1 WO2011004427 A1 WO 2011004427A1 JP 2009003145 W JP2009003145 W JP 2009003145W WO 2011004427 A1 WO2011004427 A1 WO 2011004427A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
motion vector
pixel value
image
reliability
Prior art date
Application number
PCT/JP2009/003145
Other languages
English (en)
French (fr)
Inventor
小野利幸
金子敏充
松本信幸
井田孝
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/003145 priority Critical patent/WO2011004427A1/ja
Priority to JP2011521703A priority patent/JP5490117B2/ja
Publication of WO2011004427A1 publication Critical patent/WO2011004427A1/ja
Priority to US13/344,069 priority patent/US8929675B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Definitions

  • the present invention relates to an image processing apparatus that removes image noise.
  • the ⁇ filter is a filter that determines a threshold value ( ⁇ ) for a difference in pixel value between a processing target pixel and a reference pixel used for averaging, and averages the reference pixel and the target pixel whose difference is equal to or less than the threshold value.
  • the ⁇ filter prevents deterioration of image quality if there is an impulsive noise or if the pixel to be processed and the reference pixel indicate an object in the image and the pixel value fluctuates beyond the threshold. Can do.
  • Non-Patent Document 1 A method of applying an ⁇ filter in the time direction in order to generate a smooth image in which flicker is suppressed in a compressed moving image has been proposed (for example, Non-Patent Document 1).
  • the pixel to be processed and the pixel at the same coordinate position on the image are filtered in the time direction. Therefore, although flickering is suppressed in a region where there is no motion, filtering is performed in a region where there is motion by a pixel of an object different from the processing target pixel or a pixel at a different position in the same object. For this reason, there is a problem that flickering in the time direction cannot be resolved in a region where there is movement.
  • the present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide an image processing apparatus capable of obtaining a high-quality noise-removed image even in a moving region. To do.
  • the present invention provides an estimation unit that estimates, for each reference image, a motion vector from a target pixel of a processing target image in an input video to one or more reference images in the input video, A difference amount between the first calculation means for calculating the candidate pixel value corresponding to the position in the reference image indicated by the motion vector and the pixel value of the target pixel among the candidate pixel values is equal to or less than a predetermined reference. From the arithmetic means or weighted sum of the candidate pixel value determined to be equal to or less than the reference and the pixel value of the target pixel, a corrected pixel value of the target pixel is determined from the determination unit that determines the candidate pixel value.
  • An image processing apparatus comprising: a second calculation means for calculating.
  • the present invention it is possible to generate a high-quality noise-removed image with less blur and artifacts even in a moving region.
  • FIG. 1 is a diagram illustrating a configuration of an image processing apparatus according to a first embodiment.
  • FIG. 3 is a schematic diagram for explaining the operation of the image processing apparatus according to the first embodiment.
  • 6 is a flowchart illustrating the operation of the image processing apparatus according to the first embodiment.
  • the flowchart which shows operation
  • the image processing apparatus removes noise from a moving image. For example, on a television, it is possible to display a received video or an externally input video with high image quality.
  • an image is described as a frame, but this embodiment can be applied to an interlaced image.
  • FIG. 1 is a diagram illustrating an image processing apparatus according to the present embodiment.
  • the image processing apparatus includes a motion estimation unit 101 that calculates a motion vector from a target pixel in a processing target frame to a plurality of reference frames, and half a matching error among the motion vectors calculated for the target pixel.
  • a selection unit 102 that selects a small motion vector, a reliability calculation unit 1301 that calculates the reliability of the selected motion vector, a selection unit 1032 that selects a motion vector with high reliability, and a motion in the reference frame
  • a corresponding pixel value calculation unit 104 that calculates a corresponding pixel value at a position corresponding to the vector, a determination unit 105 that uses a difference between the corresponding pixel value and the pixel value of the target pixel as a reference pixel value, and a target pixel value.
  • An averaging unit 106 that calculates the average of the pixel value of the pixel and the reference pixel value is provided.
  • FIG. 2 is a schematic diagram showing the relationship between the processing target frame, the reference frame, the corresponding pixel Qj, and the target pixel P.
  • the horizontal axis indicates the display time.
  • the corresponding pixel Q j indicates a pixel at a position corresponding to the motion vector obtained by the motion estimation unit 101 for each reference frame.
  • the plurality of reference frames are preferably set to frames displayed at a time close to the time t of the processing target frame.
  • N frames displayed before the time immediately before the processing target frame (t ⁇ 1) and N frames displayed after the time immediately following the processing target frame (t + 1) are selected as reference frames. It illustrates about.
  • FIG. 2 shows an example in which N is 2.
  • the subscript j indicates the time during which the frame of each corresponding pixel is displayed.
  • FIG. 3 is a flowchart showing the operation of the image processing apparatus of this embodiment.
  • the motion estimation unit 101 sets one pixel in the processing target frame as the target pixel P (S11).
  • the motion estimation unit 101 calculates a motion vector from the target pixel P to the reference frame (S12).
  • the motion vector may be calculated with pixel accuracy or may be calculated with accuracy (subpixel accuracy) finer than one pixel. A method of calculating a motion vector with subpixel accuracy will be described with reference to the flowchart of FIG.
  • the motion vector with pixel accuracy is calculated by the following procedure.
  • a motion search range is set around the same position as the spatial position of the target pixel in the target frame (S21).
  • the motion search range is, for example, a rectangular block.
  • this difference in pixel value pattern is referred to as a matching error between center pixels of each block.
  • a matching error an SAD value (Sum of Absolute Differences) is used in this embodiment, but an SSD value (Sum of Squared Differences) can also be used.
  • SAD value Sud of Absolute Differences
  • SSD value SSD value
  • a matching error is calculated for the pixels within the search range, and a pixel position within the search range where the matching error is minimum is set as a pixel indicated by a motion vector with pixel accuracy (S22).
  • the speed can be increased using diamond search.
  • the position of the motion vector with sub-pixel accuracy is calculated by the following method with the motion vector with pixel accuracy as the center.
  • the horizontal movement is calculated (S23). Assume that the coordinates of a pixel indicated by a motion vector with pixel accuracy are (x, y). Then, the motion amount X sub of the horizontal sub-pixel accuracy of the image can be obtained by the following equation by a method called equiangular straight line fitting, with the SAD value at the coordinates (i, j) as SAD (i, j). .
  • FIG. 5 is a schematic diagram showing how subpixel estimation is performed by equiangular straight line fitting.
  • the horizontal axis in FIG. 5 represents the coordinates in the image, and the vertical axis represents the SAD value at each coordinate.
  • equation (1) connects SAD values at three points (x-1, y), (x, y), and (x + 1, y) with straight lines having the same slope. The position where straight lines intersect is calculated.
  • the SSD value is used as the degree of difference between the pixel value patterns, it is desirable to calculate the amount of motion using the following equation by a method called parabolic fitting.
  • FIG. 6 is a schematic diagram showing how sub-pixel estimation is performed by parabolic fitting.
  • a sub-pixel accurate motion amount y sub is obtained (S24).
  • the motion vector with subpixel accuracy from the target pixel to the reference frame is calculated as (x + xsub , y + ysub ).
  • the motion estimation may be calculated for each small region of the processing target frame in addition to calculating for each target pixel.
  • the processing target frame is divided into blocks, and motion estimation is performed for each block, and the motion vectors of the pixels in the block are the same.
  • the selection unit 102 and the reliability calculation unit 1031 also perform common selection and determination processing in units of blocks. By performing motion estimation collectively for each small area, it is possible to reduce the time and processing amount required for processing of the entire apparatus.
  • the selection unit 102 selects half of the number of reference frames (2N), that is, N in order from the motion vector calculated by the motion estimation unit 101, for example, in ascending order of matching error (S14).
  • N the number of reference frames
  • S14 ascending order of matching error
  • a matching error between a pixel (corresponding pixel Q j ) at a position corresponding to each motion vector and the target pixel P is calculated.
  • a block centered on the pixel Q and a block centered on the pixel of interest P are used.
  • the pixel Q since the position of the pixel Q is given with sub-pixel accuracy, the pixel Q does not become the center position simply by setting the peripheral pixels of the pixel Q in the reference frame as a block.
  • a block centered on the pixel Q is generated by interpolating or interpolating a reference frame and shifting the sub-pixels of the coordinates so that the pixel Q is at the center position and resampling.
  • a block centered on a pixel at a position corresponding to a motion vector with pixel accuracy may be approximated and substituted.
  • the motion vector having a small matching error can prevent an occlusion area that occurs when an object moves between frames and image quality deterioration that occurs at the time of a scene change.
  • FIG. 7 is a schematic diagram showing occlusion.
  • FIG. 7 shows a case where one pixel of the background is the target pixel, and the object moves in the upper left direction of the frame with time on the background.
  • a pixel corresponding to the target pixel P is visible at a time before the time t, whereas a pixel corresponding to the target pixel P is hidden at a later time.
  • a pixel corresponding to the target pixel P exists at either the previous time or the later time of the processing target frame.
  • the pixel values in the occlusion area are not referred to by the averaging unit 106 described later, so that the image quality is hardly deteriorated. .
  • the motion vector is selected using the magnitude of the matching error as a selection criterion, but the selection criterion is not limited to the matching error.
  • a reliability calculated by a reliability calculation unit 1031 described later may be used.
  • a criterion representing the reliability of the motion vector can be used.
  • the reliability calculation unit 1031 calculates the reliability of each motion vector, and the selection unit 1032 selects a motion vector with high reliability from among them (S15).
  • S15 The operation of S15 of the reliability calculation unit 1031 and selection unit 1032 will be described in detail with reference to FIG.
  • FIG. 8 is a diagram showing details of the operation of S15 of the reliability calculation unit 1031 and the selection unit 1032.
  • the coordinate of the position corresponding to the motion vector with pixel accuracy is (x, y).
  • the reliability calculation unit 1031 obtains a matching error SAD (x, y) between the pixel of interest P and a pixel at coordinates (x, y) in the reference frame (S31).
  • the matching error calculated in S14 may be used.
  • the reliability calculation unit 1031 has positions (x ⁇ 1, y), (x + 1, y), (x, y ⁇ 1), (x, y +) adjacent to (x, y) in the vertical and horizontal directions.
  • the matching error in 1) is calculated (S32).
  • the reliability calculation unit 1031 calculates the reliability Conf of the motion vector (S33). In calculating the reliability, first, the maximum value of four matching errors at adjacent positions is obtained. This is SAD (x, y) _max. Next, the reliability Conf of the motion vector is calculated by the following equation.
  • the functions f 1 and f 2 are functions that return a larger value as the argument is smaller.
  • a monotonically decreasing function f k (z) can be used for the value of z.
  • f k (z) c k ⁇ a k z (4)
  • the lower limit of the decrease in reliability may be provided and the following formula may be used.
  • the first term of Conf shows the absolute reliability of movement.
  • the second term indicates the relative reliability from the peripheral position of the motion, and is calculated based on the ratio of SAD (x, y) _max and SAD (x, y) _.
  • the smaller the ratio the higher the reliability. That is, an increase in the second term corresponds to a decrease in the angle of the two straight lines in the equiangular straight line fitting, and the reliability of motion estimation can be highly evaluated.
  • As the relative reliability a difference between SAD (x, y) and SAD (x, y) _max can also be used. In this case, the reliability Conf is obtained by the following equation (6).
  • the corresponding pixel value calculation unit 104 calculates a pixel value at a position corresponding to the motion vector selected by the selection unit 1032 in the reference frame (S16). This is called a corresponding pixel value. If the motion vector has pixel accuracy, the pixel value at the corresponding position on the reference frame may be read. When the motion vector has sub-pixel accuracy, a pixel value is calculated by interpolation or interpolation from surrounding pixels at a position corresponding to the motion vector. Simply, the pixel value is calculated by bilinear interpolation using the surrounding four pixels.
  • the determination unit 105 selects a corresponding pixel value whose difference from the pixel value of the target pixel P is smaller than a predetermined threshold value (S17). This is called a reference pixel value.
  • a predetermined threshold value S17
  • the threshold value may be fixed, or may be variable, for example, determined according to the noise level estimated from the image.
  • the averaging unit 106 takes the arithmetic average of the pixel value of the target pixel P and the n reference pixel values and sets it as the pixel value of the processing result of the target pixel P (S18).
  • the averaging means may be a weighted sum in addition to the arithmetic mean. As a weight to be given at the time of the weighted sum, for example, a higher weight can be given as the reliability calculated by the reliability calculation unit 1031 is higher.
  • the processing from S11 to S18 is performed on all the pixels of the processing target frame, and the noise removal processing by the image processing apparatus of this embodiment is finished (S19).
  • the corresponding pixel value is obtained by selecting and using a motion vector with high reliability, and the corresponding pixel value close to the target pixel P is referred to by averaging. By doing so, it is possible to generate a high-quality noise-removed image with little image quality deterioration such as blur and artifact even in a moving region.
  • the present invention is not limited to the use of removing noise by a single device, but can also be used as pre-processing or post-processing of various image processing apparatuses.
  • pre-processing or post-processing of various image processing apparatuses For example, when combined with an apparatus for enlarging an image, there is an effect of suppressing noise present in an input video that is easily viewed by the image enlarging process.
  • an apparatus for sharpening an image if the present invention is used for preprocessing, it is possible to sharpen original image components such as edges and textures while suppressing noise amplification.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

　動きのある領域がある領域でも高画質なノイズ除去画像を得ることを可能とする画像処理装置を提供する。処理対象フレーム中の注目画素から参照フレームへ動きベクトルの推定を行い、参照フレーム中で動きベクトルに対応する位置の参照画素を求める。参照画素のうち注目画素との画素値の差分量が所定の基準以下となるものを用いて注目画素との相加平均をとり、注目画素の処理後の画措値とする。このとき、動きベクトルは、参照フレームそれぞれにつき推定したもののうち半数以下を選択し、さらに信頼度が高いと判定されたものを用いる。

Description

画像処理装置
　本発明は、映像のノイズを除去する画像処理装置に関する。
　映像中に存在するランダムノイズや圧縮動画にみられるモスキートノイズなどの時間方向のちらつきは、画質劣化の要因となる。そのため、これらのノイズを除去する手法が開発されてきた。εフィルタは、処理対象画素と、平均化に用いる参照画素との画素値の差を閾値（ε）判定し、差が閾値以下の参照画素と注目画素の平均をとるフィルタである。εフィルタは、インパルス性のノイズが存在する場合や、処理対象画素と参照画素が異なる画像中のオブジェクトを示している場合に、閾値を超える画素値の変動があれば、画質の劣化を防ぐことができる。
　圧縮動画において、ちらつきが抑制され滑らかな画像を生成するために時間方向にεフィルタを適用する手法が提案されている（例えば非特許文献１）。提案手法では、処理対象画素と画像上の同じ座標位置の画素を時間方向にフィルタリングしていた。そのため、動きのない領域ではちらつきが抑制されるものの、動きのある領域では、処理対象画素とは異なるオブジェクトの画素、または同じオブジェクト内の異なる位置の画素によってフィルタリングが行われる。そのため、動きのある領域で時間方向のちらつきを解消できないという課題があった。
久光秀明，荒川薫，「画像の局所的性質を考慮した時空間ε-フィルタによる圧縮動画像画質改善」信学技報SIS2004-15，2004年．
　上記従来技術では、映像中の動きのある領域で時間方向のちらつきを解消できないという課題があった。
　本発明は、上記従来技術の課題を解決するためになされたものであって、動きのある領域においても高画質なノイズ除去画像を得ることを可能とする画像処理装置を提供することを目的とする。
　上記課題を解決するために、本発明は入力映像中の処理対象画像の注目画素から、前記入力映像中の１以上の参照画像への動きベクトルを前記参照画像毎に推定する推定手段と、前記動きベクトルが示す、前記参照画像内の位置に対応する候補画素値を算出する第１の算出手段と、前記候補画素値のうち、注目画素の画素値との差分量が所定の基準以下となる前記候補画素値を判定する判定手段と、前記基準以下と判定された前記候補画素値と、前記注目画素の画素値との相加平均または加重和から、前記注目画素の補正後の画素値を算出する第２の算出手段と、を備えることを特徴とする画像処理装置。
を提供する。
　本発明によれば、動きのある領域においても、ぼけやアーチファクトの少ない、高画質なノイズ除去画像の生成が可能となる。
第１の実施形態の画像処理装置の構成を示す図。 第１の実施形態の画像処理装置の動作を説明するための模式図。 第１の実施形態の画像処理装置の動作を示すフローチャート。 動き推定部の動作を示すフローチャート。 等角直線フィッティングを説明するための模式図。 パラボラフィッティングを説明するための模式図。 オクルージョンの発生を説明するための模式図。 信頼度算出部と選択部の動作を示すフローチャート。
　以下、本発明の実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
　（第１の実施形態）
　本実施形態の画像処理装置は、動画像からノイズ除去を行う。例えばテレビにおいて、受信した映像や外部入力された映像を高画質化して表示することを可能とするものである。なお、以下の実施形態では画像をフレームと記載するが、インターレース画像に対しても本実施形態は適用できる。
　図１は、本実施形態の画像処理装置を示す図である。
　本実施形態の画像処理装置は、処理対象フレーム中の注目画素から複数の参照フレームへの動きベクトルを算出する動き推定部１０１と、注目画素に対して算出した動きベクトルの中から半数のマッチング誤差の小さな動きベクトルを選択する選択部１０２と、選択された動きベクトルの信頼度をそれぞれ算出する信頼度算出部１３０１と、信頼度の高い動きベクトルを選択する選択部１０３２と、参照フレーム中で動きベクトルに対応する位置の対応画素値を算出する対応画素値算出部１０４と、対応画素値のうち注目画素の画素値との差が閾値以下のものを参照画素値とする判定部１０５と、注目画素の画素値と参照画素値の平均を算出する平均化部１０６とを備えている。
　図２は、処理対象フレーム、参照フレーム、対応画素Ｑｊ及び注目画素Ｐの関係を示した模式図である。横軸は表示時刻を示す。対応画素Ｑｊは、それぞれの参照フレームに対して動き推定部１０１が求めた動きベクトルに対応する位置の画素を示す。複数の参照フレームは、処理対象フレームの時刻ｔに近い時刻に表示されるフレームに設定することが望ましい。本実施形態では、処理対象フレームの直前時刻（ｔ－１）以前に表示されるフレームＮ枚と、処理対象フレームの直後時刻（ｔ＋１）以降に表示されるフレームＮ枚を参照フレームとして選択した場合について例示する。図２は、Nが２である例を示している。添え字ｊは各対応画素のフレームが表示される時間を示す。
　次に、本実施形態の画像処理装置の動作について説明する
　図３は、本実施形態の画像処理装置の動作を示すフローチャートである。
　まず、動き推定部１０１が処理対象フレーム中の１画素を注目画素Pに設定する（S１１）。
　次に、動き推定部１０１は、注目画素Pから参照フレームへの動きベクトルを算出する（Ｓ１２）。動きベクトルは、画素精度で算出しても良いし、１画素よりも細かい精度（サブピクセル精度）で算出しても良い。サブピクセル精度で動きベクトルを算出する方法を図４のフローチャートを参照しながら説明する。
　まず、画素精度での動きベクトルを次の手順で算出する。参照フレームにおいて、注目画素の対象フレーム内での空間的位置と同じ位置を中心として、動き探索範囲を設定する（Ｓ２１）。動き探索範囲は、例えば矩形のブロックである。
　次に、探索範囲内の各画素を中心とするブロックと、注目画素を中心とするブロックの画素値の変化パターンの相違度を算出する。以降では、この画素値パターンの相違度をそれぞれのブロックの中心画素間のマッチング誤差と呼ぶものとする。マッチング誤差として、本実施形態ではＳＡＤ値（Sum of Absolute Differences）を用いるが、他にもＳＳＤ値（Sum of Squared Differences）を用いることもできる。マッチング誤差が大きいブロック程、注目画素を中心とするブロックの画素値パターンとの相違度が大きい。マッチング誤差を探索範囲内の画素について算出し、マッチング誤差が最小であった探索範囲内の画素位置を画素精度での動きベクトルの示す画素とする（Ｓ２２）。このとき、探索範囲内の全画素を探索する他に、ダイヤモンドサーチを用いて高速化することもできる。
　次に、画素精度での動きベクトルを中心にして、次の方法でサブピクセル精度での動きベクトルの位置を算出する。まず、水平方向の動きを算出する（Ｓ２３）。画素精度での動きベクトルの示す画素の座標が(x,y)であったとする。すると、画像の水平方向サブピクセル精度の動き量Xsubは、座標(i,j)におけるSAD値をSAD(i,j)として、等角直線フィッティングと呼ばれる手法により、次式で求めることができる。
Figure JPOXMLDOC01-appb-M000001
　図５は、等角直線フィッティングでサブピクセル推定を行う様子を示した模式図である。図５の横軸が画像内の座標、縦軸が各座標におけるSAD値を表している。式（１）は、図５に示されているように、傾きの等しい直線で(x-1,y),(x,y),(x+1,y)の３点におけるSAD値を結んだときの、直線が交差する位置を求めている。なお、画素値パターンの相違度としてSSD値を使う時は、パラボラフィッティングと呼ばれる手法により、次の式を使って動き量を算出することが望ましい。
Figure JPOXMLDOC01-appb-M000002
図６は、パラボラフィッティングでサブピクセル推定を行う様子を示した模式図である。
次に、画像の垂直方向についても、同様にサブピクセル精度の動き量ｙｓｕｂを求める（S24）。以上の処理により、注目画素から参照フレームへのサブピクセル精度での動きベクトルは（x＋xsub，y＋ysub）と算出される。
　なお、動き推定は１つの注目画素毎に算出する他に、処理対象フレームの小領域毎にまとめて算出しても良い。例えば、処理対象フレームをブロック分割し、各ブロック単位で動き推定を行い、ブロック内の画素の動きベクトルは同じとする。この場合、後述の選択部１０２と信頼度算出部１０３１の動作も、ブロック単位で共通の選択及び判定の処理がなされる。動き推定を小領域毎にまとめて行うことで、装置全体の処理にかかる時間・処理量を少なくすることができる。
　以上で、図3における、Ｓ１２の処理を終了する。
次に、注目画素Pからあらかじめ設定された全ての参照フレームに対して動きベクトルの推定Ｓ１２が行われたか判定する（Ｓ１３）。注目画素Pに対する動きベクトルが２N個算出されていない場合（Ｓ１３，Ｎｏ）、Ｓ１２に戻る。注目画素に対する動きベクトルが２N個算出された場合（Ｓ１３，Ｙｅｓ）、Ｓ１４に進む。
　次に、選択部１０２は、動き推定部１０１で算出した動きベクトルのうち、例えばマッチング誤差の少ないものから順に、参照フレームの数（２Ｎ）の半数、つまりN個を選択する（S１４）。まず、それぞれの動きベクトルに対応する位置の画素（対応画素Ｑｊ）と、注目画素Ｐとのマッチング誤差を算出する。マッチング誤差を算出するための２つのブロックには、画素Ｑを中心とするブロックと、注目画素Ｐを中心とするブロックを用いる。いま、画素Ｑの位置はサブピクセル精度で与えられているため、単純に参照フレーム中の画素Ｑの周辺画素をブロックとするだけでは、画素Ｑが中心位置とはならない。そこで、画素Ｑを中心とするブロックは、参照フレームを補間あるいは内挿することにより、画素Ｑが中心位置となるように、座標のサブピクセル分をずらしてリサンプリングして作成する。ただし、計算を簡略化するために、リサンプリングを用いずに、画素精度での動きベクトルに対応する位置の画素を中心とするブロックで近似して代用しても良い。
　次に、マッチング誤差の小さい順番に、N個の動きベクトルを選択する。マッチング誤差の小さい動きベクトルを参照フレームの数の半数だけ用いることで、フレーム間でオブジェクトが動いている時に生じるオクルージョン領域や、シーンチェンジ時に生じる画質劣化を防ぐことができる。
　図７は、オクルージョンを示した模式図である。図７では、背景の１画素を注目画素とし、その背景上をオブジェクトが時刻と共にフレームの左上方向へ移動していく場合を示している。時刻ｔより前の時刻では注目画素Ｐに対応する画素が見えているのに対して、後の時刻では注目画素Ｐに対応する画素は隠れている。このように、オブジェクトがある一定の方向に動いているとき、処理対象フレームの前時刻もしくは後時刻のどちらかには、注目画素Ｐに対応する画素が存在する。半数以下の動きベクトルを使用した場合、オクルージョン領域（オブジェクトにより注目画素Ｐに対応する画素が遮蔽されている領域）の画素値を後述の平均化部１０６で参照されなくなるため画質劣化を生じにくくする。シーンチェンジにおいても同様で、処理対象フレームの前時刻もしくは後時刻のどちらかは、処理対象フレームと同じシーンである。そのため、半数以下の動きベクトルを使用すれば、処理対象フレームと同じシーンの参照フレームから優先して画素値が参照されることになる。また、参照フレームが処理対象フレームの前と後の時刻で異なる数設定されている場合でも、前時刻と後時刻の参照フレーム数の少ない方の数以下の動きベクトルを選択することで、同様の効果が得られる。例えば、前時刻と後時刻の参照フレーム数Ｎがそれぞれ２枚と４枚の時、６つの動きベクトルから２つ以下を選択すれば良い。
なお、ここでは、マッチング誤差の大きさを選択の基準として動きベクトルを選択したが、選択の基準はマッチング誤差に限らない。基準として、例えば、後述の信頼度算出部１０３１で算出される信頼度を用いても良い。他にも、動きベクトルの信頼度を表す基準を用いることができる。
　次に、信頼度算出部１０３１が各動きベクトルの信頼度を算出し、選択部１０３２がその中から信頼度の高い動きベクトルを選択する（S１５）。信頼度算出部１０３１・選択部１０３２のS１５の動作を、図８を参照しながら詳細に説明する。
　図８は信頼度算出部１０３１と選択部１０３２のS１５の動作の詳細を示す図である。なお、参照フレーム中で、動きベクトルに対して画素精度で対応する位置の座標を(x,y)とする。まず、信頼度算出部１０３１は注目画素Ｐと参照フレーム中の座標(x,y)の画素とのマッチング誤差SAD(x,y)を求める（Ｓ３１）。Ｓ３１では、Ｓ１４で算出したマッチング誤差を利用しても良い。次に、信頼度算出部１０３１は(x,y)の上下左右に隣接する位置(x-1,y),(x+1,y),(x,y-1),(x,y+1)におけるマッチング誤差を算出する（Ｓ３２）。なお、上記(x,y)とその隣接位置におけるマッチング誤差は、動き推定部１０１の処理で既に算出されているから、処理結果を流用することもできる。次に、信頼度算出部１０３１動きベクトルの信頼度Confを算出する（Ｓ３３）。信頼度の算出には、まず、隣接する位置における４つのマッチング誤差の最大値を求める。これをSAD(x,y)_maxとする。次に、次式により動きベクトルの信頼度Confを算出する。
Figure JPOXMLDOC01-appb-M000003
ただし、関数ｆ１、ｆ２は、引数が小さいほど大きな値を返す関数である。例えばｚの値に対して、単調減少する関数ｆｋ（ｚ）を用いることができる。　
　ｆｋ（ｚ）＝ｃｋ－ａｋｚ　・・・式（４）　
　また、信頼度の低下の下限を設けて、次式を用いても良い。
Figure JPOXMLDOC01-appb-M000004
ただし、ａｋ≧０，ｃｋ，ｚｔｈ，ｋは定数である。Confの、第１項は動きの絶対的な信頼度を示している。SAD(x,y)_の値が小さいほど、信頼度は高くなる。第２項は動きの周辺位置からの相対的な信頼度を示しており、SAD(x,y)_maxとSAD(x,y)_の比に基づいて算出される。比が小さいほど信頼度は高くなる。つまり、第２項が大きくなることは、等角直線フィッティングにおける２本の直線の角度が狭くなることに対応しており、動き推定の信頼度を高く評価することができる。相対的な信頼度としては、他にSAD(x,y)とSAD(x,y)_maxの差を用いることもでき、その場合、信頼度Confは次の式（６）で求まる。
　　　 Conf=f１(SAD(x,y))+f2(SAD(x,y)-SAD(x,y)_max) ・・・式（６）　
また、マッチング誤差としてSSD値を使用している場合は、相対的な信頼度を次式に基づいて設定することが望ましい。
　max{SAD(x-1,y)-2SAD(x,y)+SAD(x+1,y),SAD(x,y+1)-2SAD(x,y)+SAD(x,y+1)}・・・式（７）　
式（７）の値が大きくなることは、パラボラフィッティングにおいて、SSD値を結ぶ曲線が急峻になることを意味する。つまり、動きベクトルの信頼度が高くなることに対応する。最後に、選択部１０３２がConfが閾値よりも大きくなる動きベクトルを選択する（Ｓ３４）。
　以上では、動きベクトルの画素精度での対応位置(x,y)とのその上下左右の４位置のマッチング誤差を用いてConfを算出する方法を示したが、マッチング誤差を計算する位置はこれに限らない。例えば、サブピクセル精度での対応位置（x＋xsub，y＋ysub）とその周辺位置でのマッチング誤差を算出し、相対的な大小関係からConfを算出しても良い。また、Confは相対的な信頼度の項のみで定義しても良い。以上で、Ｓ１５の処理を終了する。
　次に、対応画素値算出部１０４は、参照フレーム中で、選択部１０３２で選択された動きベクトルに対応する位置の画素値を算出する（S１６）。これを対応画素値と呼ぶ。もし、動きベクトルが画素精度であれば、参照フレーム上で対応する位置の画素値を読み出せば良い。動きベクトルがサブピクセル精度の時は、動きベクトルに対応する位置の周辺画素から、補間や内挿により画素値を算出する。単純には、周辺の４画素を用いて双直線補間により画素値を算出する。
　次に、判定部１０５では、対応画素値のうち注目画素Ｐの画素値との差が所定の閾値よりも小さいものを選択する（S１７）。これを参照画素値と呼ぶ。ここでは、対応画素値の数がn個であった場合について説明する。閾値は、固定でも良いし、例えば画像から推定したノイズレベルに応じて決定するなど、可変でも良い。
　次に、平均化部１０６では、注目画素Ｐの画素値とｎ個の参照画素値の相加平均をとり、注目画素Ｐの処理結果の画素値とする（S１８）。なお、平均化の手段は相加平均の他に、加重和でも良い。加重和の際に付与する重みとしては、例えば信頼度算出部１０３１で算出した信頼度が高いほど大きい重みを付与することができる。
　以上、S１１からＳ１８の処理を処理対象フレームの全ての画素に行い本実施形態の画像処理装置によるノイズ除去の処理を終了する（S１９）。
　このように、実施形態の画像処理装置によれば、信頼度の高い動きベクトルを選択して用いることで対応画素値を求め、さらに注目画素Ｐと画素値の近い対応画素値を平均化で参照することによって、動きのある領域でも、ぼけやアーチファクトなどの画質劣化の少ない、高画質なノイズ除去画像を生成することが可能となる。
　本発明は装置単体でのノイズ除去の用途に限らず、各種画像処理装置の前処理または後処理として使用することもできる。例えば、画像を拡大する装置と組み合わせた場合、画像拡大処理により視認されやすくなる入力映像に存在するノイズを、抑制する効果がある。また、画像を鮮鋭化する装置と組み合わせた場合、本発明を前処理に使えば、ノイズの増幅を抑えつつ、エッジやテクスチャといった本来の画像成分を鮮鋭化する処理が可能となる。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１０１・・・動き推定部、１０２・・・選択部、１０３１・・・信頼度算出部、１０３２・・・選択部、１０４・・・対応画素値算出部、１０５・・・判定部、１０６・・・平均化部

Claims (6)

  1. 入力映像中の処理対象画像の注目画素から、前記入力映像中の１以上の参照画像への動きベクトルを前記参照画像毎に推定する推定手段と、
    前記動きベクトルが示す、前記参照画像内の位置に対応する候補画素値を算出する第１の算出手段と、
    前記候補画素値のうち、注目画素の画素値との差分量が所定の基準以下となる前記候補画素値を判定する判定手段と、
    前記基準以下と判定された前記候補画素値と、前記注目画素の画素値との相加平均または加重和から、前記注目画素の補正後の画素値を算出する第２の算出手段と、
    を備えることを特徴とする画像処理装置。
  2. 　前記動きベクトル毎に、前記注目画素の周辺領域での画素値の変化パターンと、前記動きベクトルが示す前記参照画像内の位置の周辺領域での画素値の変化パターンとの誤差を算出する算出手段と、
    　前記動きベクトルのうち、前記誤差が小さいものを、前記注目画素について求めた前記動きベクトルの数よりも少ない数、選択する第１の選択手段と、
    をさらに備え、
    　前記判定手段は、前記選択手段が選択した前記動きベクトルに対応する候補画素値について判定する、ことを特徴とする請求項１記載の画像処理装置。
  3. 　前記推定手段は、前記処理対象画像よりも時間的に前に表示すべき画像と、後に表示すべき画像とで同数の前記参照画像について前記動きベクトルを推定し、
    　前記第１の選択手段は、前記注目画素について求めた前記動きベクトルの半数の前記動きベクトルを選択することを特徴とする請求項２記載の画像処理装置。
  4. 　前記注目画素の周辺領域での画素値の変化パターンと、前記動きベクトルが示す前記参照画像内の位置の周辺領域での画素値の変化パターンとの第１誤差を算出する算出手段と、
    　前記注目画素を中心とする周辺領域での画素値の変化パターンと、前記動きベクトルが示す前記参照画像内の位置の周辺の複数の位置を中心とする領域での画素値の変化パターンとの第２誤差を複数の算出する算出手段と、
    　前記第１誤差が、前記第２誤差に対して小さい程、前記動きベクトルの信頼度を高く算出する信頼度算出手段と、
    前記動きベクトルのうち、前記信頼度が所定の基準以上のものを選択する第２の選択手段と、
    をさらに備え、
    前記判定手段は、前記第２の選択手段が選択した前記動きベクトルに対応する候補画素値について判定する、ことを特徴とする請求項３記載の画像処理装置。
  5. 前記信頼度算出手段は、前記第１誤差の、前記第２誤差の最大の値に対する比が小さい程高い前記信頼度を算出することを特徴とする請求項４記載の画像処理装置。
  6. 前記信頼度算出手段は、前記第１誤差の小さい程、高い前記信頼度を算出する、
    ことを特徴とする請求項４記載の画像処理装置。
PCT/JP2009/003145 2009-07-07 2009-07-07 画像処理装置 WO2011004427A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2009/003145 WO2011004427A1 (ja) 2009-07-07 2009-07-07 画像処理装置
JP2011521703A JP5490117B2 (ja) 2009-07-07 2009-07-07 画像処理装置
US13/344,069 US8929675B2 (en) 2009-07-07 2012-01-05 Image processing device for video noise reduction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/003145 WO2011004427A1 (ja) 2009-07-07 2009-07-07 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/344,069 Continuation US8929675B2 (en) 2009-07-07 2012-01-05 Image processing device for video noise reduction

Publications (1)

Publication Number Publication Date
WO2011004427A1 true WO2011004427A1 (ja) 2011-01-13

Family

ID=43428869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003145 WO2011004427A1 (ja) 2009-07-07 2009-07-07 画像処理装置

Country Status (3)

Country Link
US (1) US8929675B2 (ja)
JP (1) JP5490117B2 (ja)
WO (1) WO2011004427A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737857A (zh) * 2012-09-10 2018-11-02 谷歌有限责任公司 媒体概括

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013041387A (ja) * 2011-08-15 2013-02-28 Sony Corp 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
US11300646B2 (en) 2014-11-10 2022-04-12 Canon Medical Systems Corporation Magnetic resonance imaging apparatus, image processing apparatus, and image processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348018A (ja) * 1999-06-07 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
JP2001126061A (ja) * 1999-10-28 2001-05-11 Sony Corp 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
JP2005160071A (ja) * 2003-11-22 2005-06-16 Samsung Electronics Co Ltd ノイズ減衰装置及び順次走査変換装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2344615A1 (en) * 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
US7330218B2 (en) * 2004-09-02 2008-02-12 Samsung Electronics Co., Ltd. Adaptive bidirectional filtering for video noise reduction
US8374464B2 (en) * 2006-05-31 2013-02-12 Nec Corporation Method, apparatus and program for enhancement of image resolution
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP4702312B2 (ja) * 2007-03-22 2011-06-15 カシオ計算機株式会社 相違度評価装置、相違度評価方法及びプログラム
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP5200788B2 (ja) * 2008-09-09 2013-06-05 富士通株式会社 映像信号処理装置、映像信号処理方法および映像信号処理プログラム
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
JP4883223B2 (ja) * 2009-01-09 2012-02-22 コニカミノルタホールディングス株式会社 動きベクトル生成装置および動きベクトル生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348018A (ja) * 1999-06-07 2000-12-15 Sony Corp データ処理装置およびデータ処理方法、媒体、並びにノイズ除去装置およびノイズ除去方法
JP2001126061A (ja) * 1999-10-28 2001-05-11 Sony Corp 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
JP2005160071A (ja) * 2003-11-22 2005-06-16 Samsung Electronics Co Ltd ノイズ減衰装置及び順次走査変換装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737857A (zh) * 2012-09-10 2018-11-02 谷歌有限责任公司 媒体概括
CN108737857B (zh) * 2012-09-10 2021-03-30 谷歌有限责任公司 媒体概括

Also Published As

Publication number Publication date
JP5490117B2 (ja) 2014-05-14
US20120105718A1 (en) 2012-05-03
JPWO2011004427A1 (ja) 2012-12-13
US8929675B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP5385969B2 (ja) 画像の超解像のための方法及び装置
JP5342068B2 (ja) 多重フレームへのアプローチ方法および画像アップスケール処理システム
US8792746B2 (en) Image processing apparatus, image processing method, and program
US8483515B2 (en) Image processing method, image processor, integrated circuit, and recording medium
JP5367667B2 (ja) 画像処理装置
JP2008244846A (ja) フレーム補間装置及びその方法
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6485068B2 (ja) 画像処理方法および画像処理装置
JP5490117B2 (ja) 画像処理装置
JP5781370B2 (ja) 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体
JP5927051B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8830394B2 (en) System, method, and apparatus for providing improved high definition video from upsampled standard definition video
JP5289540B2 (ja) 画像処理装置、及び画像処理方法
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
JP6135937B2 (ja) 画像処理方法および画像処理装置
US9008463B2 (en) Image expansion apparatus for performing interpolation processing on input image data, and image expansion method thereof
JP5927053B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4674528B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR100772405B1 (ko) 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템
WO2015159778A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2011244129A (ja) 画像処理装置及び画像処理方法
JP4235217B2 (ja) フィルタリング型画像補正装置およびフィルタリング型画像補正方法
KR100889935B1 (ko) 렌즈 왜곡 보정으로 흐려진 영상의 선명화 방법 및 장치
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09847032

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011521703

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09847032

Country of ref document: EP

Kind code of ref document: A1