WO2019106877A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2019106877A1
WO2019106877A1 PCT/JP2018/026383 JP2018026383W WO2019106877A1 WO 2019106877 A1 WO2019106877 A1 WO 2019106877A1 JP 2018026383 W JP2018026383 W JP 2018026383W WO 2019106877 A1 WO2019106877 A1 WO 2019106877A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
image processing
pixels
unit
Prior art date
Application number
PCT/JP2018/026383
Other languages
English (en)
French (fr)
Inventor
鈴木　雅弘
上田　智章
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to US16/766,072 priority Critical patent/US20200351456A1/en
Publication of WO2019106877A1 publication Critical patent/WO2019106877A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program, and more particularly to a technique for reducing noise in a digital image.
  • Priority is claimed on Japanese Patent Application No. 2017-227701, filed Nov. 28, 2017, the content of which is incorporated herein by reference.
  • Patent Document 1 includes a process of performing non-linear conversion processing on a plurality of band-limited images representing components of a plurality of different frequency bands of a digital image. For this reason, the amount of calculation is large, and processing may take time to apply to a large amount of frame data such as, for example, a moving image.
  • the present invention has been made in view of these points, and it is an object of the present invention to provide a noise suppression technique having a high noise reduction effect on the amount of calculation.
  • a first aspect of the present invention is an image processing apparatus.
  • This device sets a region setting unit that sets a region including a pixel of interest selected from a plurality of pixels constituting an image, and a modeling unit that models the distribution of pixel values of a plurality of pixels constituting the region with a curved surface
  • a pixel value changing unit which replaces the pixel value of the target pixel with the value of the position corresponding to the target pixel in the modeled curved surface.
  • the pixel values of the plurality of pixels forming the image have three values corresponding to respective axes of a three-dimensional color space, and the modeling unit configures the set region. For each of the three values corresponding to each axis of the three-dimensional color space in a plurality of pixels, the distribution of the values is modeled by the curved surface, and the pixel value changing unit determines the three of the pixel values of the target pixel. One value may be replaced with the value of the position corresponding to the pixel of interest in the surface modeled for each of the three values.
  • the image processing apparatus further includes a target pixel selection unit that selects a plurality of different target pixels while scanning the image, and the area setting unit includes each target pixel for each of the plurality of target pixels selected by the target pixel selection unit.
  • the area may be set.
  • the modeling unit may model the distribution of pixel values of the plurality of pixels constituting the set region by N (N is an integer of 2 or more) quadratic surface.
  • the area setting unit may increase the number of the plurality of pixels forming the area as the magnitude of noise in the image is larger.
  • a second aspect of the present invention is an image processing method.
  • a processor sets an area including a target pixel selected from a plurality of pixels forming an image, and models distribution of pixel values of the plurality of pixels forming the area with a curved surface, The pixel value of the pixel is replaced with the value of the position corresponding to the target pixel in the modeled curved surface.
  • a third aspect of the present invention is a program.
  • This program sets, in a computer, an area including a target pixel selected from a plurality of pixels forming an image, and models distribution of pixel values of the plurality of pixels forming the area by a curved surface.
  • a process is performed to replace a pixel value with a value of a position corresponding to the target pixel in the modeled curved surface.
  • An image processing apparatus is an apparatus for reducing noise of a processing target image.
  • the image to be processed may be a color image having three color components of red (R), green (G), and blue (B), or may be a gray scale image such as a radiation image.
  • the image may be a still image such as a photograph or may be a moving image.
  • the processing target image is a moving image
  • the image of each frame constituting the moving image is the processing target image.
  • FIG. 1 is a diagram for explaining the outline of the embodiment.
  • the process of the process performed by the image processing apparatus according to the embodiment will be described in (1) to (6) with reference to FIG. 1, but the description thereof will be described in (1) to (6) in FIG. And correspond.
  • the image processing apparatus acquires the processing target image I.
  • the image processing apparatus separates the processing target image I into three image planes corresponding to the respective axes of the three-dimensional color space.
  • the rectangles indicated by reference numerals P1, P2, and P3 are a first image plane P1, a second image plane P2, and a third image plane P3, respectively.
  • the color space is an RGB color space
  • the first image plane P1, the second image plane P2, and the third image plane P3 are an R plane, a G plane, and a B plane, respectively.
  • the image processing apparatus may use an image of another color space (for example, a space using a color difference signal such as YUV or YCbCr) as the processing target image I.
  • the image processing apparatus selects one image plane from the three image planes in order.
  • FIG. 1 shows an example in which the image processing apparatus selects the third image plane (B plane) P3 as an image plane.
  • the image processing apparatus selects the pixel of interest G from the pixels constituting the image plane, and sets the region A including the pixel of interest G.
  • the image processing apparatus selects a plurality of different target pixels G while scanning the image plane, and sets an area A including each target pixel G.
  • the set area A is a unit area for the image processing apparatus to execute the noise reduction process.
  • the image processing apparatus models the distribution of pixel values of each pixel constituting the region A by using a curved surface. Specifically, the image processing apparatus sets a quadric surface obtained by approximating the distribution of pixel values of a plurality of pixels forming the region A as a model of the distribution of pixel values using the least squares method. (6) The image processing apparatus replaces the pixel value Gr of the pixel of interest G with the value Gm of the position corresponding to the pixel of interest G on the curved surface.
  • the processing target image I handled by the image processing apparatus according to the embodiment is a digital image.
  • a digital image includes various noises such as block noise accompanying compression and noise due to an imaging device such as a CCD or a CMOS image sensor. These noises generally take random values.
  • the image processing apparatus according to the embodiment approximates the distribution of pixel values with a smooth curved surface. As a result, it is possible to restore the pixel distribution whose smoothness is lost due to the superposition of noises to a smooth pixel distribution. As a result, the image processing apparatus according to the embodiment can reduce the noise of the processing target image I.
  • FIG. 2 is a view schematically showing a functional configuration of the image processing apparatus 1 according to the embodiment.
  • An image processing apparatus 1 according to the embodiment includes a storage unit 10 and a control unit 11.
  • the storage unit 10 is a ROM (Read Only Memory) for storing a Basic Input Output System (BIOS) of a computer for realizing the image processing apparatus 1, a RAM (Random Access Memory) serving as a work area of the image processing apparatus 1, an OS ( It is a mass storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) that stores an Operating System, an application program, and various information referred to when the application program is executed.
  • BIOS Basic Input Output System
  • RAM Random Access Memory
  • OS It is a mass storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) that stores an Operating System, an application program, and various information referred to when the application program is executed.
  • the control unit 11 is a processor such as a central processing unit (CPU) or a graphics processing unit (GPU) of the image processing apparatus 1, and executes the program stored in the storage unit 10 to obtain an image acquisition unit 110 and an image decomposition unit. It functions as a target pixel selection unit 112, an area setting unit 113, a modeling unit 114, and a pixel value changing unit 115.
  • CPU central processing unit
  • GPU graphics processing unit
  • the image acquisition unit 110 acquires a processing target image I to be subjected to noise reduction processing.
  • the image separation unit 111 separates the processing target image I acquired by the image acquisition unit 110 into three image planes corresponding to the respective axes of the three-dimensional color space.
  • the target pixel selection unit 112 selects a plurality of different target pixels G in order while scanning one image plane selected in order from among the three image planes constituting the processing target image I.
  • the area setting unit 113 sets an area A including the pixel of interest G selected by the pixel of interest selection unit 112 among the pixels forming the image plane.
  • the region setting unit 113 selects the region A including each pixel of interest G for each of the plurality of pixels of interest selected by the pixel of interest selection unit 112.
  • the modeling unit 114 models the distribution of pixel values of a plurality of pixels forming the region A with a curved surface. Specifically, the modeling unit 114 models the distribution of pixel values of a plurality of pixels forming the region A with an N (N is an integer of 2 or more) quadratic surface using the least squares method. The details of the pixel value distribution by the modeling unit 114 will be described later.
  • the pixel value changing unit 115 replaces the pixel value of the target pixel G with the value of the position corresponding to the target pixel G in the curved surface modeled by the modeling unit 114. Modeling of the pixel distribution by the least squares method is sufficient with simple arithmetic operations. Therefore, according to the image processing according to the embodiment, it is possible to reduce the noise of the processing target image I with low calculation cost.
  • the processing target image I acquired by the image acquisition unit 110 is, for example, a color image generated by a digital still camera
  • the pixel values of the pixels constituting the processing target image I correspond to each axis of the three-dimensional color space. It has three values.
  • the pixel values of the pixels constituting the processing target image I have pixel values corresponding to the respective colors of R, G, and B.
  • the pixel value of each pixel forming the processing target image I may have a pixel value corresponding to the components of the luminance and the color difference signal.
  • the modeling unit 114 curves the distribution of the three values corresponding to each axis of the three-dimensional color space in the pixels constituting the region A set by the region setting unit 113.
  • Model with The pixel value changing unit 115 replaces each of the three values with the value of the position corresponding to the target pixel G in the curved surface modeled for each of the three values.
  • FIG. 3A and 3B are schematic diagrams showing an example of the area A set by the area setting unit 113.
  • FIG. 3A is a schematic view showing a coordinate system to be set to the area A and the area A
  • FIG. 3B is a schematic view showing coordinates of each pixel of the area A.
  • the region A is a rectangular region of 5 ⁇ 5 pixels centered on the pixel of interest G (indicated by hatching). Region A includes a total of 25 pixels. Further, a two-dimensional orthogonal coordinate system is set in which the pixel of interest G located at the center of the region A is set as the origin. In FIG. 3A, a coordinate system in which the horizontal axis is the X axis and the vertical axis is the Y axis is set.
  • the 25 pixels included in the region A may be assigned serial numbers 1 to 25, and the pixel corresponding to the jth may be described as the pixel j.
  • the size of the region A may be selected as the optimal numerical value (number of pixels) to obtain the processing result to be obtained.
  • the region setting unit 113 may increase the number of pixels forming the region A in the region A where the magnitude of noise in the processing target image I is large.
  • the area setting unit 113 sets the number of pixels forming the area A such that the size of the area A is larger than the size of the block noise.
  • the area setting unit 113 may increase the number of pixels forming the area A as the number of pixels forming the processing target image I increases.
  • the ratio of the number of pixels constituting the processing object image I to the number of pixels constituting the region A is smaller than in the case where the size of the region A is constant regardless of the number of pixels constituting the processing object image I Leveled. For this reason, the image processing apparatus 1 can stabilize the processing result of noise reduction.
  • the modeling unit 114 models the pixel values of the pixels forming the region A with a quadric surface. That is, the modeling unit 114 models the pixel value S of the pixel forming the region A as a function S (x, y) of the XY coordinate of the pixel using the following equation (1).
  • S (x, y) m 1 x 2 + m 2 x + m 3 y 2 + m 4 y + m 5 (1)
  • equation (1) is written down to obtain equation (2).
  • s 1 m 1 x 1 2 + m 2 x 1 + m 3 y 1 2 + m 4 y 1 + m 5
  • s 2 m 1 x 2 2 + m 2 x 2 + m 3 y 2 2 + m 4 y 2 + m 5
  • s 25 m 1 x 25 2 + m 2 x 25 + m 3 y 25 2 + m 4 y 25 + m 5
  • equation (3) is obtained.
  • d j be the actual pixel value of pixel j
  • vector d be a vertical vector having d j as an element.
  • Modeling the distribution of pixel values in the region A with a quadric surface means expressing the vector d with the right side of the equation (3) as shown in the equation (5).
  • d Xm (5)
  • Equation (5) the left side is known because it is the pixel value of the region A.
  • the first term on the right side is known because it is based on the coordinates of each pixel.
  • the second term on the right side is unknown because it is a modeling parameter.
  • Equation (5) is an overdetermined problem because the number of data is larger than the number of modeling parameters that are unknowns.
  • a vector m opt which minimizes e T e which is a 2 norm of the error vector e is known as a least square solution, and is expressed by the following equation (7).
  • m opt (X T X) -1 X T d (7)
  • T represents transpose of a matrix
  • ⁇ 1 represents an inverse matrix.
  • the xy coordinates of each pixel included in the region A are set so that the center, ie, the pixel of interest G is the origin. Substituting coordinates on the right side of equation (7) and writing it yields equation (8).
  • the modeling unit 114 can obtain an optimal modeling parameter in the sense of minimizing the two norms of the equation (6).
  • serial numbers j (1 to 25) are assigned to 25 pixels included in the region A.
  • the other pixels are as shown in FIGS. 3A and 3B.
  • the value Gm of the position corresponding to the target pixel G in the modeled curved surface is m 5 which is one of the modeling parameters.
  • FIG. 4A and FIG. 4B are diagrams for explaining pixel replacement processing by the pixel value changing unit 115 according to the embodiment.
  • FIG. 4A is a schematic view showing an overview of the quadric surface M generated by the modeling unit 114
  • FIG. 4B is a diagram showing the quadric surface M in the XS plane (plane where Y coordinate is 0). It is.
  • the quadric surface M in the XS plane is a parabola.
  • the pixel value changing unit 115 replaces the pixel value Gr of the pixel of interest G with Gm (that is, the value of m 5 of the modeling parameter).
  • the pixel value changing unit 115 generates a new image in which the pixel value Gr of the pixel of interest G is replaced by m 5 for all the regions A set by the region setting unit 113, thereby reducing the noise to be processed image I You can get
  • the pixel value changing unit 115 only needs to obtain the value of m 5 among the five modeling parameters. Therefore, when equation (8) is expanded and cut out for m 5 , the following equation (10) is obtained.
  • the vector v (-0.074286, 0.011429, 0.0410000, 0.014286, 0.011429, 0.097143, 0.125714, 0.019742, 0.010714, 0.010 714, 0.154286, 0.12714, 0.011429, 0. 017. , 0.040000, 0.011429, -0.074286) T.
  • the vector v can be calculated by substituting the coordinates of each pixel shown in FIG. 3B into Equation (10). Equation (10) can also be understood as replacing the pixel value Gr of the pixel of interest G with a weighted average value of the pixel values of a plurality of pixels constituting the region A. In this case, the vector v can be said to be the kernel of the smoothing filter. It can be seen that the absolute value of the weight of each pixel is a larger value as it is closer to the pixel of interest G.
  • the storage unit 10 may hold the vector v.
  • the pixel value changing unit 115 refers to the storage unit 10 to acquire a vector. Thereby, the operation of the inverse matrix can be omitted. Thereby, the image processing apparatus 1 according to the embodiment can speed up the noise reduction processing of the processing target image I.
  • FIG. 5 is a schematic view for explaining the effect of the noise reduction processing of the image processing apparatus 1 according to the embodiment.
  • the Y coordinate is fixed, and the pixel value S is plotted with respect to the X coordinate of the processing target image I.
  • a graph indicated by a broken line indicates pixel values of the processing target image I before the noise reduction processing by the image processing device 1.
  • the graph indicated by the solid line indicates the pixel value of the processing target image I after the noise reduction processing by the image processing device 1.
  • the change in pixel value becomes large.
  • the pixel value of the processing target image I after the noise reduction processing by the image processing device 1 is compared with the pixel value of the processing target image I before the noise reduction processing by the image processing device 1. Is smaller, indicating that the noise is reduced.
  • FIG. 6 is a flowchart for explaining the flow of the noise reduction process performed by the image processing apparatus 1 according to the embodiment. The processing in this flowchart starts, for example, when the image processing apparatus 1 is activated.
  • the image acquisition unit 110 acquires the processing target image I to be subjected to the noise reduction processing (S2).
  • the image separation unit 111 separates the processing target image I into an image plane for each color space (S4).
  • the pixel-of-interest selection unit 112 sequentially selects the image planes one by one (S6).
  • the pixel-of-interest selection unit 112 selects one of the plurality of pixels constituting the image plane as the pixel-of-interest G while scanning the selected image plane (S8).
  • the area setting unit 113 sets an area A including the pixel of interest G selected by the pixel of interest selection unit 112 (S10).
  • the modeling unit 114 models the pixel value of each pixel forming the region A according to a quadric surface (S12).
  • the pixel value changing unit 115 replaces the pixel value Gr of the pixel of interest G with the value Gm of the position corresponding to the pixel of interest G in the quadric surface modeled by the modeling unit 114 (S14).
  • the image processing apparatus 1 repeats the processing from step S8 to step S14 until the target pixel selection unit 112 finishes selecting the target pixel G from the image plane (No in S16). While the target pixel selection unit 112 ends the selection of the target pixel G for one image plane (Yes in S16) and all image planes are selected (No in S18), the image processing apparatus 1 performs step S6. The processing from step S6 to step S16 is repeated.
  • the order of the curved surface modeled by the modeling unit 114 is not limited to the second order, and may be a third order or more. As the order of the curved surface modeled by the modeling unit 114 is higher, it is possible to model a large change in the pixel values of the pixels constituting the processing target image I. Therefore, in the case where it is obtained that the image of the processing target image I contains a large amount of high-frequency components as the look-ahead information, the modeling unit 114 sets a plurality of pixels constituting the region A with curved surfaces of third or higher orders. The distribution of pixel values may be modeled.
  • equation (11) the equation corresponding to the equation (1) is as shown in equation (11).
  • S (x, y) m 1 x 4 + m 2 x 3 + m 3 x 2 + m 4 x + m 5 y 4 + m 6 y 3 + m 7 y 2 + m 8 y + m 9 (11)
  • equation (12) an equation corresponding to equation (3) is as shown in equation (12).
  • equation (12) Assuming that the left side of the equation (12) is a vector s, the first term of the right side is a matrix X, and the second term of the right side is a vector m, the equation (12) has the same form as the equation (4). Therefore, the least squares error solution m opt of equation (12) also takes the same form as equation (7). Thus, regardless of the order of the curved surface modeling the distribution of the pixel values of the plurality of pixels constituting the region A, the equation (7) has the same form.
  • v (-0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, -0.04, -0.04, -0.16, -0.04,- It becomes 0.04, 0.16, 0.16, 0.36, 0.16, 0.16, -0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, -0.16, -0.04, -0.04) T.
  • the storage unit 10 may hold in advance the calculation result of the vector v in different orders.
  • the pixel value changing unit 115 refers to the storage unit 10 to obtain the vector v corresponding to each order.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

画像を構成する複数の画素から選択された注目画素を含む領域を設定する領域設定部と、前記領域を構成する複数の画素の画素値の分布を曲面でモデル化するモデル化部と、前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する画素値変更部と、を備える画像処理装置。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、デジタル画像のノイズを軽減する技術に関する。
　本願は、２０１７年１１月２８日に、日本に出願された特願２０１７－２２７７０１号に基づき優先権を主張し、その内容をここに援用する。
　近年、ＣＣＤ（Charged-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ等の固体撮像素子が急速に発展し、膨大な数のデジタル画像が生成されるようになった。これらのデジタル画像は、圧縮に伴うブロックノイズ、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子に起因するノイズ等、多種多様なノイズを含むことがある。デジタル画像は計算機等による処理が容易であるため、デジタル画像に含まれるノイズを軽減するためのノイズ軽減処理が種々提案されている（例えば、特許文献１を参照）。
特開２００７－４２１２４号公報
　特許文献１に開示されている技術は、デジタル画像の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像に対して非線形変換処理を施す処理を含む。このため計算量が多く、例えば動画像のような大量のフレームデータに対して適用するためには処理に時間がかかることも起こり得る。
　本発明はこれらの点に鑑みてなされたものであり、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することを目的とする。
　本発明の第１の態様は、画像処理装置である。この装置は、画像を構成する複数の画素から選択された注目画素を含む領域を設定する領域設定部と、前記領域を構成する複数の画素の画素値の分布を曲面でモデル化するモデル化部と、前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する画素値変更部と、を備える。
　前記画像を構成する前記複数の画素の前記画素値は、３次元の色空間の各軸に対応する３つの値を持っており、前記モデル化部は、前記設定された前記領域を構成する前記複数の画素における前記３次元の色空間の各軸に対応する前記３つの値それぞれについて、当該値の分布を前記曲面でモデル化し、前記画素値変更部は、前記注目画素の画素値の前記３つの値を、前記３つの値それぞれについてモデル化された前記曲面における前記注目画素に対応する前記位置の値に置換してもよい。
　前記画像を走査しながら複数の異なる前記注目画素を選択する注目画素選択部をさらに備え、前記領域設定部は、前記注目画素選択部が選択した複数の前記注目画素それぞれについて、各注目画素を含む前記領域を設定してもよい。
　前記モデル化部は、前記設定された前記領域を構成する前記複数の画素の画素値の前記分布を、Ｎ（Ｎは２以上の整数）次曲面でモデル化してもよい。
　前記領域設定部は、前記画像におけるノイズの大きさが大きいほど、前記領域を構成する前記複数の画素の数を多くしてもよい。
　本発明の第２の態様は、画像処理方法である。この画像処理方法において、プロセッサが、画像を構成する複数の画素から選択された注目画素を含む領域を設定し、前記領域を構成する複数の画素の画素値の分布を曲面でモデル化し、前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する。
　本発明の第３の態様は、プログラムである。このプログラムは、コンピュータに、画像を構成する複数の画素から選択された注目画素を含む領域を設定し、前記領域を構成する複数の画素の画素値の分布を曲面でモデル化し、前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する、処理を実行させる。
　本発明によれば、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することができる。
実施の形態の概要を説明するための図である。 実施の形態に係る画像処理装置の機能構成を模式的に示す図である。 領域設定部が設定する領域の一例を模式的に示す図である。 領域設定部が設定する領域の各画素の座標を示す模式図である。 実施の形態に係る画素値変更部による画素置換処理を説明するための第１の図である。 実施の形態に係る画素値変更部による画素置換処理を説明するための第２の図である。 実施の形態に係る画像処理装置のノイズ軽減処理の効果を説明するための模式図である。 実施の形態に係る画像処理装置が実行するノイズ軽減処理の流れを説明するためのフローチャートである。
＜実施の形態の概要＞
　実施の形態に係る画像処理装置は、処理対象画像のノイズを軽減するための装置である。ここで処理対象画像は、Ｒ（赤色）、Ｇ（緑色）、及びＢ（青色）の３色の色成分を持つカラー画像でもよいし、放射線画像のようなグレースケールの画像でもよい。また、画像は写真等の静止画像でもよいし、動画像であってもよい。処理対象画像が動画像である場合、動画像を構成する各フレームの画像がそれぞれ処理対象画像となる。以下、本明細書では、処理対象画像がカラーの静止画像であることを前提として説明する。
　図１は、実施の形態の概要を説明するための図である。以下、図１を参照して、実施の形態に係る画像処理装置で行われる処理の過程を（１）から（６）で説明するが、その説明は図１中の（１）から（６）と対応する。
　（１）実施の形態に係る画像処理装置は、処理対象画像Ｉを取得する。
　（２）画像処理装置は、処理対象画像Ｉを３次元の色空間の各軸に対応する３つの画像平面に分解する。図１においては、符号Ｐ１、Ｐ２、及びＰ３で示す矩形が、それぞれ第１画像平面Ｐ１、第２画像平面Ｐ２、及び第３画像平面Ｐ３である。なお、図１は、色空間がＲＧＢ色空間であり、第１画像平面Ｐ１、第２画像平面Ｐ２、及び第３画像平面Ｐ３がそれぞれＲ平面、Ｇ平面、及びＢ平面である。しかしながら、画像処理装置は、処理対象画像Ｉとして他の色空間（例えば、ＹＵＶ、ＹＣｂＣｒ等の色差信号を用いる空間）の画像を用いてもよい。
　（３）画像処理装置は、３つの画像平面から一つの画像平面を順番に選択する。図１は、画像処理装置が、画像平面として第３画像平面（Ｂ平面）Ｐ３を選択した場合の例を示している。
　（４）画像処理装置は、画像平面を構成する画素の中から注目画素Ｇを選択するとともに、注目画素Ｇを含む領域Ａを設定する。なお、画像処理装置は、画像平面を走査しながら複数の異なる注目画素Ｇを選択するとともに、各注目画素Ｇを含む領域Ａをそれぞれ設定する。設定された領域Ａは、画像処理装置がノイズ軽減処理を実行するための単位領域となる。
　（５）画像処理装置は、領域Ａを構成する各画素の画素値の分布を曲面でモデル化する。具体的には、画像処理装置は、最小二乗法を用いて、領域Ａを構成する複数の画素の画素値の分布を近似した２次曲面を、画素値の分布のモデルとする。
　（６）画像処理装置は、注目画素Ｇの画素値Ｇｒをモデル化された曲面における注目画素Ｇに対応する位置の値Ｇｍに置換する。
　実施の形態に係る画像処理装置が扱う処理対象画像Ｉはデジタル画像である。デジタル画像は、圧縮に伴うブロックノイズ、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子に起因するノイズ等の種々のノイズを含んでいる。これらのノイズは一般にランダムな値を取る。一方、実施の形態に係る画像処理装置は、画素値の分布を滑らかな曲面で近似する。これにより、ノイズが重畳することによって滑らかさが失われた画素分布を、滑らかな画素分布に戻すことができる。結果として、実施の形態に係る画像処理装置は、処理対象画像Ｉのノイズを軽減することができる。
＜画像処理装置の機能構成＞
　図２は、実施の形態に係る画像処理装置１の機能構成を模式的に示す図である。実施の形態に係る画像処理装置１は、記憶部１０と制御部１１とを備える。
　記憶部１０は、画像処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や画像処理装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。
　制御部１１は、画像処理装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって画像取得部１１０、画像分解部１１１、注目画素選択部１１２、領域設定部１１３、モデル化部１１４、及び画素値変更部１１５として機能する。
　画像取得部１１０は、ノイズ軽減の処理対象とする処理対象画像Ｉを取得する。画像分解部１１１は、画像取得部１１０が取得した処理対象画像Ｉを３次元の色空間の各軸に対応する３つの画像平面に分解する。
　注目画素選択部１１２は、処理対象画像Ｉを構成する３つの画像平面の中から順に選択した一つの画像平面を走査しながら、複数の異なる注目画素Ｇを順番に選択する。領域設定部１１３は、画像平面を構成する画素の中から注目画素選択部１１２が選択した注目画素Ｇを含む領域Ａを設定する。具体的には、領域設定部１１３は、注目画素選択部１１２が選択した複数の注目画素それぞれについて、各注目画素Ｇを含む領域Ａを選択する。
　モデル化部１１４は、領域Ａを構成する複数の画素の画素値の分布を曲面でモデル化する。具体的には、モデル化部１１４は、領域Ａを構成する複数の画素の画素値の分布を、最小二乗法を用いてＮ（Ｎは２以上の整数）次曲面でモデル化する。なお、モデル化部１１４による画素値分布の詳細は後述する。
　画素値変更部１１５は、注目画素Ｇの画素値をモデル化部１１４がモデル化した曲面における注目画素Ｇに対応する位置の値に置換する。最小二乗法による画素分布のモデル化は単純な算術演算で足りる。このため、実施の形態に係る画像処理によると、少ない計算コストによって処理対象画像Ｉのノイズを軽減することができる。
　画像取得部１１０が取得する処理対象画像Ｉが例えばデジタルスチルカメラによって生成されたカラー画像である場合、処理対象画像Ｉを構成する画素の画素値は、３次元の色空間の各軸に対応する３つの値を持っている。一般的には、処理対象画像Ｉを構成する画素の画素値は、Ｒ、Ｇ、及びＢそれぞれの色に対応する画素値を持っている。ただし、処理対象画像Ｉを構成する各画素の画素値は、画像の圧縮手法によっては、輝度及び色差信号の成分に対応する画素値を持つ場合もある。
　いずれの場合にしても、モデル化部１１４は、領域設定部１１３が設定した領域Ａを構成する画素における３次元の色空間の各軸に対応する３つの値それぞれについて、当該値の分布を曲面でモデル化する。画素値変更部１１５は、３つの値それぞれについてモデル化された曲面における注目画素Ｇに対応する位置の値で、３つの値それぞれを置換する。これにより、画像処理装置１は、処理対象画像Ｉがカラー画像であってもノイズを軽減することができる。
　続いて、画像処理装置１が実行する画素分布のモデル化処理について説明する。
　図３Ａ及び図３Ｂは、領域設定部１１３が設定する領域Ａの一例を示す模式図である。具体的には図３Ａは領域Ａ及び領域Ａに設定する座標系を示す模式図であり、図３Ｂは領域Ａの各画素の座標を示す模式図である。
　図３Ａに示す例では領域Ａは、注目画素Ｇ（斜線で示される）を中心とする５×５画素の矩形の領域である。領域Ａには合計で２５個の画素が含まれる。また、領域Ａの中央に位置する注目画素Ｇを原点とする２次元の直交座標系が設定される。図３Ａでは、横軸をＸ軸、縦軸をＹ軸とする座標系が設定されている。以下、説明の便宜上、領域Ａに含まれる２５個の画素について１から２５までの通し番号を付し、ｊ番に対応する画素を画素ｊと記載することがある。
　以下では５×５画素の領域Ａを用いる場合を説明する。しかしながら、例えば３×３画素、７×７画素、９×９画素、１１×１１画素、３×５画素、７×３画素など任意の大きさの領域Ａを用いてもよいことは、本明細書に触れた当業者には明らかである。あるいはまた、領域Ａの大きさは、求める処理結果を得るために最適な数値（画素の数）が選択されてもよい。例えば、領域設定部１１３は、処理対象画像Ｉにおけるノイズの大きさが大きい領域Ａについて、領域Ａを構成する画素の数を多くしてもよい。
　例えば、所定のサイズの部分領域を単位として圧縮された画像には、その部分領域の大きさと同程度の大きさのブロックノイズが発生する。領域設定部１１３は、領域Ａの大きさをブロックノイズの大きさより大きくなるように、領域Ａを構成する画素の数を設定する。これにより、モデル化部１１４が画素分布のモデル化処理を実行する際に、領域Ａにおけるノイズの影響が過度にモデルに反映されることを抑制できる。結果として、モデル化部１１４は、画素分布のモデル化の精度を向上することができる。
　領域設定部１１３は、処理対象画像Ｉを構成する画素の数が多いほど、領域Ａを構成する画素の数を多くしてもよい。処理対象画像Ｉを構成する画素の数によらず領域Ａのサイズを一定とする場合と比較して、処理対象画像Ｉを構成する画素の数と領域Ａを構成する画素の数との比が平準化される。このため、画像処理装置１は、ノイズ軽減の処理結果を安定化させることができる。
　モデル化部１１４は、領域Ａを構成する画素の画素値を、２次曲面でモデル化する。すなわち、モデル化部１１４は、領域Ａを構成する画素の画素値Ｓを、その画素のＸＹ座標の関数Ｓ（ｘ，ｙ）として以下の式（１）を用いてモデル化する。
Ｓ（ｘ，ｙ）＝ｍ１ｘ２＋ｍ２ｘ＋ｍ３ｙ２＋ｍ４ｙ＋ｍ５　　（１）
ここで、ｍｉ（ｉ＝１，・・・、５）はモデル化パラメータである。
　画素ｊのＸ座標をｘｊ、Ｙ座標をｙｊとし、Ｓ（ｘｊ，ｙｊ）をｓｊとして式（１）を書き下すと式（２）を得る。
ｓ１＝ｍ１ｘ１ ２＋ｍ２ｘ１＋ｍ３ｙ１ ２＋ｍ４ｙ１＋ｍ５
ｓ２＝ｍ１ｘ２ ２＋ｍ２ｘ２＋ｍ３ｙ２ ２＋ｍ４ｙ２＋ｍ５
　・・・　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（２）
ｓ２５＝ｍ１ｘ２５ ２＋ｍ２ｘ２５＋ｍ３ｙ２５ ２＋ｍ４ｙ２５＋ｍ５
　式（２）を行列を用いて表現すると式（３）を得る。
Figure JPOXMLDOC01-appb-M000001
　式（３）の左辺をベクトルｓ、右辺第１項を行列Ｘ、右辺第２項をベクトルｍとすると、式（３）は以下の式（４）となる。
ｓ＝Ｘｍ　　（４）
　画素ｊの実際の画素値をｄｊとし、ｄｊを要素とする縦ベクトルをベクトルｄとする。領域Ａにおける画素値の分布を２次曲面でモデル化することは、式（５）に示すようにベクトルｄを式（３）の右辺で表現することを意味する。
ｄ＝Ｘｍ　　（５）
　式（５）において、左辺は領域Ａの画素値であるため既知である。また、右辺第１項は、各画素の座標に基づくため既知である。右辺第２項はモデル化パラメータであるため未知である。ここで、モデル化誤差を示す誤差ベクトルｅを以下の式（６）で定義する。
ｅ＝ｄ－Ｘｍ　　（６）
　式（５）は、未知数であるモデル化パラメータの数よりもデータの数が多いため優決定問題となる。このとき、誤差ベクトルｅの２ノルムであるｅＴｅを最小とするベクトルｍｏｐｔは最小二乗解として既知であり、以下の式（７）で表される。
　ｍｏｐｔ＝（ＸＴＸ）－１ＸＴｄ　　（７）
ここで、Ｔは行列の転置を表し、－１は逆行列を表す。
　図３Ｂに示すように、領域Ａに含まれる各画素のｘｙ座標は中央すなわち注目画素Ｇが原点となるようにとられている。式（７）の右辺に座標を代入して書き下すと式（８）を得る。
Figure JPOXMLDOC01-appb-M000002
　式（８）を計算することにより、モデル化部１１４は、式（６）の２ノルムを最小にするという意味において最適なモデル化パラメータを得ることができる。図３Ａに示すとおり、領域Ａに含まれる２５個の画素について、通し番号ｊ（１から２５まで）が付されている。図３Ｂに示すとおり、画素（ｊ＝１）の座標（ｘ１，ｙ１）は（－２，２）である。同様にして、画素（ｊ＝２）の座標（ｘ２，ｙ２）は（－１，２）、画素（ｊ＝３）の座標（ｘ３，ｙ３）は（０，２）である。他の画素についても図３Ａ及び図３Ｂに示したとおりである。なお、注目画素Ｇ（ｊ＝１３）の座標（ｘ１３，ｙ１３）は（０，０）である。
　領域Ａにおいて注目画素Ｇ（ｊ＝１３）は原点であるため、座標（ｘ１３，ｙ１３）は（０，０）である。したがって、式（１）より、モデル化された曲面における注目画素Ｇに対応する位置の値Ｇｍ＝Ｓ（０，０）は、以下の式（９）となる。
Ｇｍ＝Ｓ（０，０）＝ｍ１×０２＋ｍ２×０＋ｍ３×０２＋ｍ４×０＋ｍ５＝ｍ５　　（９）
結局、モデル化された曲面における注目画素Ｇに対応する位置の値Ｇｍは、モデル化パラメータの一つであるｍ５となる。
　図４Ａ及び図４Ｂは、実施の形態に係る画素値変更部１１５による画素置換処理を説明するための図である。具体的には、図４Ａはモデル化部１１４が生成した２次曲面Ｍの概観を示す模式図であり、図４Ｂは、ＸＳ平面（Ｙ座標が０の平面）における２次曲面Ｍを示す図である。
　図４Ｂに示すように、ＸＳ平面における２次曲面Ｍは放物線となる。画素値変更部１１５は、注目画素Ｇの画素値ＧｒをＧｍ（すなわちモデル化パラメータのｍ５の値）に置き換える。画素値変更部１１５は、領域設定部１１３が設定したすべての領域Ａについて注目画素Ｇの画素値Ｇｒをｍ５で置き換えた新たな画像を生成することにより、ノイズが軽減された処理対象画像Ｉを得ることができる。
　このように、画素値変更部１１５は、５つのモデル化パラメータのうち、ｍ５の値のみ取得できればよい。したがって、式（８）を展開してｍ５について切り出すと、以下の式（１０）を得る。
Figure JPOXMLDOC01-appb-M000003
ただし、ベクトルｖ＝（-0.074286, 0.011429, 0.040000, 0.011429, 0.074286, 0.011429, 0.097143, 0.125714, 0.097143, 0.011429, 0.040000, 0.125714, 0.154286, 0.125714, 0.040000, 0.011429, 0.097143, 0.125714, 0.097143, 0.011429, 0.074286, 0.011429, 0.040000, 0.011429, -0.074286）Ｔである。
　ベクトルｖは、式（１０）に図３Ｂに示す各画素の座標を代入することで算出できる。式（１０）は、注目画素Ｇの画素値Ｇｒを、領域Ａを構成する複数の画素の画素値の重み付平均値で置換すると捉えることもできる。この場合、ベクトルｖは、平滑化フィルタのカーネルということができる。各画素の重みの絶対値は、注目画素Ｇに近いほど大きい値となっていることが分かる。
　記憶部１０は、ベクトルｖを保持してもよい。この場合、領域Ａを構成する複数の画素の画素値の分布を２次曲面でモデル化する際に、画素値変更部１１５は記憶部１０を参照してベクトルを取得する。これにより、逆行列の演算等を省略することができる。これにより、実施の形態に係る画像処理装置１は、処理対象画像Ｉのノイズ軽減処理を高速化することができる。
　図５は、実施の形態に係る画像処理装置１のノイズ軽減処理の効果を説明するための模式図である。図示の都合上、図５は、Ｙ座標を固定し、処理対象画像ＩのＸ座標に対する画素値Ｓをプロットしている。図５において、破線で示すグラフは画像処理装置１によるノイズ軽減処理前の処理対象画像Ｉの画素値を示している。一方、実線で示すグラフは、画像処理装置１によるノイズ軽減処理後の処理対象画像Ｉの画素値を示している。
　一般に、画像データにノイズが重畳すると、画素値の変化が大きくなる。図５に示すように、画像処理装置１によるノイズ軽減処理後の処理対象画像Ｉの画素値は、画像処理装置１によるノイズ軽減処理前の処理対象画像Ｉの画素値と比較して値の変化が小さくなっており、ノイズが軽減されていることを示している。
＜画像処理装置１によるノイズ軽減処理の処理フロー＞
　図６は、実施の形態に係る画像処理装置１が実行するノイズ軽減処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置１が起動したときに開始する。
　画像取得部１１０は、ノイズ軽減処理の対象とする処理対象画像Ｉを取得する（Ｓ２）。画像分解部１１１は、処理対象画像Ｉがカラー画像である場合、処理対象画像Ｉを色空間毎の画像平面に分解する（Ｓ４）。注目画素選択部１１２は、画像平面を一つずつ順に選択する（Ｓ６）。
　注目画素選択部１１２は、選択した画像平面を走査しながら、画像平面を構成する複数の画素のうち一つの画素を注目画素Ｇとして選択する（Ｓ８）。領域設定部１１３は、注目画素選択部１１２が選択した注目画素Ｇを含む領域Ａを設定する（Ｓ１０）。モデル化部１１４は、領域Ａを構成する各画素の画素値を２次曲面にしたがってモデル化する（Ｓ１２）。画素値変更部１１５は、注目画素Ｇの画素値Ｇｒを、モデル化部１１４によってモデル化された２次曲面における注目画素Ｇに対応する位置の値Ｇｍに置換する（Ｓ１４）。
　注目画素選択部１１２が画像平面の中から注目画素Ｇを選択し終わるまでの間（Ｓ１６のＮｏ）、画像処理装置１はステップＳ８からステップＳ１４までの処理を繰り返す。注目画素選択部１１２が一つの画像平面について注目画素Ｇの選択を終了し（Ｓ１６のＹｅｓ）、かつ、すべての画像平面を選択するまでの間（Ｓ１８のＮｏ）、画像処理装置１はステップＳ６に戻ってステップＳ６からステップＳ１６までの処理を繰り返す。
　注目画素選択部１１２がすべての画像平面を選択すると（Ｓ１８のＹｅｓ）、本フローチャートにおける処理は終了する。
＜実施の形態に係る画像処理装置１が奏する効果＞
　以上説明したように、実施の形態に係る画像処理装置１によれば、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。以下そのような変形例を説明する。
＜第１の変形例＞
　上記では、モデル化部１１４が領域Ａを構成する複数の画素の画素値の分布を２次曲面でモデル化する場合について説明した。ただし、モデル化部１１４がモデル化する曲面の次数は２次に限られず、３次以上であってもよい。モデル化部１１４がモデル化する曲面の次数が高いほど、処理対象画像Ｉを構成する画素の画素値の大きな変化をモデル化することができる。したがって、処理対象画像Ｉの画像が高周波成分を多く含むことが先見情報として得られている場合には、モデル化部１１４は、３次以上の次数の曲面で領域Ａを構成する複数の画素の画素値の分布をモデル化してもよい。
　例えば、モデル化部１１４が領域Ａを構成する画素の画素値の分布を４次曲面でモデル化する場合、式（１）に対応する式は、式（１１）のようになる。
Ｓ（ｘ，ｙ）＝ｍ１ｘ４＋ｍ２ｘ３＋ｍ３ｘ２＋ｍ４ｘ＋ｍ５ｙ４＋ｍ６ｙ３＋ｍ７ｙ２＋ｍ８ｙ＋ｍ９　　（１１）
　また、式（３）に対応する式は、式（１２）のようになる。
Figure JPOXMLDOC01-appb-M000004
　式（１２）の左辺をベクトルｓ、右辺第１項を行列Ｘ、右辺第２項をベクトルｍとすると、式（１２）は式（４）と同じ形となる。したがって、式（１２）の最小二乗誤差解ｍｏｐｔも式（７）と同じ形となる。このように、領域Ａを構成する複数の画素の画素値の分布をモデル化する曲面の次数によらず、式（７）は同じ形となる。
　なお、モデル化部１１４が領域Ａを構成する画素の画素値の分布を４次曲面でモデル化する場合、式（８）に対応する式は、式（１３）のようになる。
Figure JPOXMLDOC01-appb-M000005
　なお、式（１３）において、式（９）におけるベクトルｖに相当するベクトルは、ｖ＝（-0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, 0.16, -0.04, -0.04, 0.16, 0.16, 0.36, 0.16, 0.16, -0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, 0.16, -0.04,-0.04）Tとなる。
　記憶部１０は、あらかじめ異なる次数におけるベクトルｖの計算結果を保持してもよい。この場合、画素値変更部１１５は記憶部１０を参照して各次数に対応するベクトルｖを取得する。結果として、領域Ａを構成する複数の画素の画素値の分布を異なる次数でモデル化する場合であっても、モデル化部１１４による逆行列の演算等を省略することができる。
＜第２の変形例＞
　上記では、処理対象画像Ｉを２次曲面でモデル化することによってノイズを軽減する場合について説明した。これに加えて、一度ノイズ軽減処理を施すことによって得られた画像を２次曲面でモデル化することによって、さらにノイズ軽減処理を重複させてもよい。これにより、より効果的にノイズ軽減を実行することができる。
　本発明によれば、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することができる。
１・・・画像処理装置
１０・・・記憶部
１１・・・制御部
１１０・・・画像取得部
１１１・・・画像分解部
１１２・・・注目画素選択部
１１３・・・領域設定部
１１４・・・モデル化部
１１５・・・画素値変更部

Claims (7)

  1. 　画像を構成する複数の画素から選択された注目画素を含む領域を設定する領域設定部と、
    　前記領域を構成する複数の画素の画素値の分布を曲面でモデル化するモデル化部と、
    　前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する画素値変更部と、
    　を備える画像処理装置。
  2. 　前記画像を構成する前記複数の画素の前記画素値は、３次元の色空間の各軸に対応する３つの値を持っており、
    　前記モデル化部は、前記設定された前記領域を構成する前記複数の画素における前記３次元の色空間の各軸に対応する前記３つの値それぞれについて、当該値の分布を前記曲面でモデル化し、
    　前記画素値変更部は、前記注目画素の画素値の前記３つの値を、前記３つの値それぞれについてモデル化された前記曲面における前記注目画素に対応する前記位置の値に置換する、
    　請求項１に記載の画像処理装置。
  3. 　前記画像を走査しながら複数の異なる前記注目画素を選択する注目画素選択部をさらに備え、
    　前記領域設定部は、前記注目画素選択部が選択した複数の前記注目画素それぞれについて、各注目画素を含む前記領域を設定する、
    　請求項１又は２に記載の画像処理装置。
  4. 　前記モデル化部は、前記設定された前記領域を構成する前記複数の画素の画素値の前記分布を、Ｎ（Ｎは２以上の整数）次曲面でモデル化する、
    　請求項１から３のいずれか一項に記載の画像処理装置。
  5. 　前記領域設定部は、前記画像におけるノイズの大きさが大きいほど、前記領域を構成する前記複数の画素の数を多くする、
    　請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　プロセッサが、
    　画像を構成する複数の画素から選択された注目画素を含む領域を設定し、
    　前記領域を構成する複数の画素の画素値の分布を曲面でモデル化し、
    　前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する、
    　画像処理方法。
  7. 　コンピュータに、
    　画像を構成する複数の画素から選択された注目画素を含む領域を設定し、
    　前記領域を構成する複数の画素の画素値の分布を曲面でモデル化し、
    　前記注目画素の画素値を前記モデル化された前記曲面における前記注目画素に対応する位置の値に置換する、
    　処理を実行させるプログラム。
PCT/JP2018/026383 2017-11-28 2018-07-12 画像処理装置、画像処理方法、及びプログラム WO2019106877A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/766,072 US20200351456A1 (en) 2017-11-28 2018-07-12 Image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-227701 2017-11-28
JP2017227701A JP7140491B2 (ja) 2017-11-28 2017-11-28 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2019106877A1 true WO2019106877A1 (ja) 2019-06-06

Family

ID=66665515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026383 WO2019106877A1 (ja) 2017-11-28 2018-07-12 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200351456A1 (ja)
JP (1) JP7140491B2 (ja)
WO (1) WO2019106877A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777507B2 (ja) * 2016-11-15 2020-10-28 Kddi株式会社 画像処理装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998293A (ja) * 1995-09-29 1997-04-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2009082565A (ja) * 2007-10-01 2009-04-23 Konica Minolta Medical & Graphic Inc 異常陰影検出装置とプログラム
JP2015121888A (ja) * 2013-12-20 2015-07-02 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
JP2017111595A (ja) * 2015-12-16 2017-06-22 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054606A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, and computer program product

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998293A (ja) * 1995-09-29 1997-04-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2009082565A (ja) * 2007-10-01 2009-04-23 Konica Minolta Medical & Graphic Inc 異常陰影検出装置とプログラム
JP2015121888A (ja) * 2013-12-20 2015-07-02 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
JP2017111595A (ja) * 2015-12-16 2017-06-22 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAKOSHI, TORU ET AL.: "An approximation method for real images using quadratic curved surface units", ITE TECHNICAL REPORT, vol. 27, no. 8, 3 February 2003 (2003-02-03), pages 103 - 108, XP055615294 *

Also Published As

Publication number Publication date
US20200351456A1 (en) 2020-11-05
JP2019096264A (ja) 2019-06-20
JP7140491B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
US20200143516A1 (en) Data processing systems
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11948279B2 (en) Method and device for joint denoising and demosaicing using neural network
CN102638639A (zh) 图像处理装置、摄像装置以及图像处理方法
CN109817170B (zh) 像素补偿方法、装置和终端设备
US11004427B2 (en) Method of and data processing system for providing an output surface
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2022002376A5 (ja)
WO2018039936A1 (en) Fast uv atlas generation and texture mapping
US20190005622A1 (en) Image processing apparatus, control method thereof, and storage medium
WO2019106877A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2018234817A1 (en) APPARATUS AND METHOD FOR ASSEMBLING MULTIPLE IMAGES
WO2021161513A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JPWO2020166596A1 (ja) 画像処理システム及びプログラム
JP2017016511A (ja) 歪み補正画像処理装置及びプログラム
KR102522566B1 (ko) 전자 기기 내에서 이미지 와핑을 위한 메모리 전송을 구현하기 위한 전자 기기 및 방법
WO2023163219A1 (ja) 情報処理装置、ロボット制御システム及びプログラム
JP2011227864A (ja) 画像視点変換装置、画像視点変換方法、画像視点変換プログラム
JP5176067B1 (ja) 画像処理装置及び画像処理方法
WO2021053735A1 (ja) アップスケーリング装置、アップスケーリング方法、及び、アップスケーリングプログラム
JP2022069197A (ja) 画像処理装置及びその制御方法及びプログラム
JP2024024863A (ja) 画像解析装置、画像解析装置の制御方法、プログラム、及び画像解析システム。
US9129447B2 (en) Method and device for generating graphic images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18882947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18882947

Country of ref document: EP

Kind code of ref document: A1