WO2017077680A1 - 画像処理システム、画像処理方法、および画像処理プログラム記録媒体 - Google Patents

画像処理システム、画像処理方法、および画像処理プログラム記録媒体 Download PDF

Info

Publication number
WO2017077680A1
WO2017077680A1 PCT/JP2016/004197 JP2016004197W WO2017077680A1 WO 2017077680 A1 WO2017077680 A1 WO 2017077680A1 JP 2016004197 W JP2016004197 W JP 2016004197W WO 2017077680 A1 WO2017077680 A1 WO 2017077680A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel value
instruction function
pixel
updated
Prior art date
Application number
PCT/JP2016/004197
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
正行 田中
正敏 奥富
Original Assignee
日本電気株式会社
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立大学法人東京工業大学 filed Critical 日本電気株式会社
Priority to US15/772,239 priority Critical patent/US10699455B2/en
Priority to JP2017548626A priority patent/JP6909979B2/ja
Publication of WO2017077680A1 publication Critical patent/WO2017077680A1/ja

Links

Images

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing technique, and relates to an image processing system, an image processing method, and an image processing program recording medium.
  • cameras using sensors that are suitable for imaging various target objects are widely used.
  • a monitoring camera using a visible light sensor is widely used.
  • cameras using non-visible light sensors such as a near infrared camera and a far infrared camera are widely used for nighttime monitoring.
  • a near ultraviolet camera is also commercially available.
  • devices for imaging wavelengths longer than the visible light wavelength region such as terahertz waves and radio waves are also commercially available as other cameras.
  • Non-Patent Document 1 discloses a method of performing processing based on image gradient information (difference value between adjacent regions) as image processing useful for such applications.
  • Non-Patent Document 1 a target gradient is calculated from a group of images to be referenced, and the target gradient and the gradient of the output image are calculated.
  • the output image is obtained by updating the pixel value of the input image so that they match.
  • Non-Patent Document 1 there is no restriction on the absolute value (pixel value) of the output image itself. For this reason, the method of Patent Document 1 has a problem in that details such as collapse of the structure, collapse of white, blackout, artifacts such as a halo effect and ringing occur.
  • An object of the present invention is to provide an image processing system, an image processing method, and an image processing program recording medium that solve the above-described problems.
  • the image processing system of the present invention calculates a gradient calculation unit that calculates a desired gradient from an input image, and calculates an instruction function that defines a range that an output image can take and a pixel value of a reference image for the input image.
  • An instruction function calculation unit that performs the update, a pixel value update unit that updates the pixel value of the input image so as to approximate a desired gradient, and outputs an updated image, and a reference image that is within a possible range of the output image
  • a pixel value restriction unit that obtains the output image by using the pixel value of the updated image so as to be close to the pixel value.
  • An image processing method of the present invention is an image processing method of an image processing system that obtains an output image by analyzing input images acquired from various sensors, and a gradient calculation unit calculates a desired gradient from the input image.
  • a gradient calculating step, an indicator function calculating unit that defines, for an input image, a range that the output image can take and a pixel value of a reference image, an indicator function calculating step of calculating an indicator function, and a pixel value update The pixel value updating step of updating the pixel value of the input image and outputting the updated image so that the unit approaches a desired gradient, and the pixel value constraint unit is within a range that the output image can take and A pixel value constraining step of updating the pixel value of the updated image to obtain an output image so as to be close to the pixel value of the image.
  • An image processing program recording medium of the present invention is a recording medium that records an image processing program of an image processing system that causes a computer to analyze an input image acquired from various sensors and obtain an output image.
  • a gradient calculation procedure for calculating a desired gradient from the input image an instruction function calculation procedure for calculating an instruction function that defines a range that the output image can take and a pixel value of a reference image for the input image,
  • an image processing program for executing a pixel value restriction procedure for updating the pixel value of the updated image to obtain an output image is recorded.
  • the output image in order to easily analyze input images acquired from various sensors, the output image can be improved to an image quality suitable for the user.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing system of related technology disclosed in Non-Patent Document 1.
  • FIG. It is a figure which shows the subject which should be solved by this invention.
  • 1 is a block diagram showing a schematic configuration of an image processing system according to a first embodiment of the present invention.
  • 3 is a flowchart for explaining the operation of the image processing system shown in FIG. 2. It is a figure which shows the effect by the image processing system shown in FIG. It is a block diagram which shows schematic structure of the image processing system which concerns on the 2nd Embodiment of this invention.
  • Non-Patent Document 1 First, in order to facilitate understanding of the present invention, a related art image processing system disclosed in Non-Patent Document 1 will be described.
  • FIG. 1 is a block diagram showing an image processing system of related technology described in Non-Patent Document 1.
  • the image processing system described in Non-Patent Document 1 includes an image input unit 100, a gradient calculation unit 201, a pixel value update unit 202, and an image output unit 300.
  • the image input unit 100 receives one or more image groups. Then, the image input unit 100 records the input image in a memory (not shown) or the like.
  • the gradient calculation unit 201 calculates a target gradient from a reference image group.
  • the pixel value updating unit 202 updates the pixel value of the input image so as to obtain the output image so that the target gradient matches the gradient of the output image.
  • the pixel value update unit 202 updates the pixel value as shown in the following formula 2 so as to minimize the following formula 1.
  • Represents the i-th pixel value of the output image Represents the gradient of the i-th pixel of the output image, Represents the gradient at pixel i of the target image, Represents parameters related to updating, which are predetermined by the user.
  • the image output unit 300 outputs an output image to a display or the like.
  • Non-Patent Document 1 shown in FIG. 1 has no restriction on the absolute value (pixel value) of the output image itself. For this reason, the image processing system of Patent Document 1 shown in FIG. 1 has a drawback in that details such as collapse of the structure, collapse of white, blackout, or artifacts such as a halo effect and ringing occur.
  • the input image shown in FIG. 2 has a large dynamic range (difference between dark and bright areas). For this reason, when the input image of FIG. 2 is processed using the related technique disclosed in Non-Patent Document 1, overexposure and blackout occur in the output image obtained by processing.
  • FIG. 3 is a block diagram showing a schematic configuration of the image processing system according to the first embodiment of the present invention.
  • an image processing system includes an image input unit 100, a computer (central processing unit; processor; data processing unit) 200 that operates under program control, and an image output. Part 300.
  • the illustrated image processing system is a system that obtains an output image by analyzing input images obtained from various sensors.
  • the computer (central processing unit; processor; data processing unit) 200 includes a gradient calculation unit 201, a pixel value update unit 202, an instruction function calculation unit 203, and a pixel value restriction unit 204.
  • the illustrated image processing system has a configuration in which an instruction function calculation unit 203 and a pixel value restriction unit 204 are further added to the related art image processing system shown in FIG.
  • the image obtained by a camera or the like is input to the image input unit 100.
  • images to be input color images and images acquired from other sensors may be input separately.
  • the image input unit 100 records the input image in a memory (not shown) or the like.
  • the red, green, and blue pixel values of the i-th pixel are represented as Ri, Gi, and Bi. Also, these ingredients are put together, It shall be expressed as Furthermore, when there is an image acquired from another sensor other than the input color image, the pixel value of the i-th pixel is also expressed by using a subscript. For example, in the case where a near-infrared image is input in addition to the input color image, the pixel value of the i-th near-infrared image may be expressed as Ni.
  • the output image is represented by a matrix in which the pixel values of the pixels are arranged in the raster scan order. More specifically, when an RGB image is considered as the output color image, the red, green, and blue pixel values of the i-th pixel are represented as Ri, Gi, and Bi.
  • the image output unit 300 is an output device that outputs a reconstructed image (output image).
  • the image output unit 300 is realized by, for example, a display device.
  • the gradient calculation unit 201 determines a desired gradient from the input image input by the image input unit 100.
  • the gradient of an input image may be simply multiplied by a constant, the gradient may be normalized by some method, or the gradient is weighted from two or more images. It may be expressed as a sum.
  • the gradient calculation unit 201 may multiply the gradient of the input image by a constant value to obtain a desired gradient.
  • the pixel value update unit 202 updates the pixel value of the input image so that the target gradient is close to the gradient of the output image, and outputs an updated image. Specifically, as described above, the pixel value update unit 202 updates the pixel value of the input image as in the above equation 2 so as to minimize the above equation 1, for example. That is, the pixel value update unit 202 in the embodiment of the present invention may be the same as the related technology described above.
  • the pixel value update unit 202 has described the method of updating the pixel value of the output image so that the target gradient and the gradient of the output image are close to each other.
  • the first embodiment is not limited to this.
  • a term corresponding to a reconstruction constraint (or data term or faithful term) used in super-resolution, noise removal, inpainting, etc. is adopted, and a pixel value updating method corresponding to this is adopted.
  • the value update unit 202 may perform this.
  • the instruction function calculation unit 203 calculates an instruction function for defining a definition area that restricts a range that the pixel value of the output image can take in order to suppress white-out, black-out, ringing, halo effect, and the like. .
  • an instruction function that is uniform over the entire image may be used for the input image, as shown in the following Equation 3.
  • an adaptive instruction function for each pixel which is determined from the minimum value and the maximum value of the pixel of interest with respect to the input image, as shown in Equation 4 below, is used. Also good.
  • the instruction function calculation unit 203 does not need to use the same function for the entire image for the input image.
  • the instruction function calculation unit 203 uses an instruction function that is uniform over the entire image for a part of the input image as the instruction function, and an adaptive instruction function for each pixel for the remaining part of the input image May be used.
  • the instruction function calculated by the instruction function calculation unit 203 may be any function that defines a range that can be taken by the pixel value of the output image in any sense.
  • the first embodiment the case where the same instruction function is used for the entire image or an adaptive instruction function for each pixel is described.
  • the first embodiment is not limited to this.
  • a range that can be taken by the pixel value may be defined using a function such as the following Expression 5.
  • ⁇ is a parameter defined in advance by the user.
  • Zi is an image serving as a guide.
  • Zi may be calculated using an edge-preserving spatial filter.
  • the pixel value restriction unit 204 updates the pixel value of the update image so that the pixel value of the output image is within the definition area according to the defined instruction function, and obtains the output image.
  • the updated image may be updated using a uniform instruction function for the entire image.
  • the update amount of the pixel value of the updated image is corresponding to an adaptive instruction function for each pixel determined from the minimum value and the maximum value of the target pixel, as shown in Equation 7 below. You may decide.
  • the pixel value restriction unit 204 does not need to use the same instruction function for the entire image. For example, the pixel value restriction unit 204 updates the pixel value of the update image corresponding to a uniform instruction function for the entire image for a part of the input image, and for the remaining part of the input image. The pixel value of the updated image may be updated in correspondence with an adaptive instruction function for each pixel. In any case, the instruction function used in the pixel value restriction unit 204 may be any function that defines a range that the pixel value of the output image can take in some sense.
  • the input image acquired from one or more sensors is input in the image input unit 100 (step S200).
  • the gradient calculation unit 201 calculates a desired gradient from the input image (step S201).
  • the instruction function calculation unit 203 calculates an instruction function that defines a range that can be taken by the pixel value of the output image and a reference pixel value for the input image (step S202).
  • the pixel value update unit 202 updates the pixel value of the input image so as to bring the gradient of the updated image closer to a desired gradient, and outputs an updated image (step S203).
  • the pixel value restriction unit 204 updates the pixel value of the update image so that the pixel value calculated by the instruction function calculation unit 203 can be obtained, thereby obtaining an output image (step S204).
  • the computer 200 calculates the pixel value of the output image. It is determined whether the value of is sufficiently converged (step S205). If enough pixel value of the output image Is not converged (No in step S205), the computer 200 repeats the processing from step S203 to S204 again (step S205).
  • step S205 If the pixel value of the output image Is sufficiently converged (Yes in step S205), the image output unit 300 outputs an output image consisting of the pixel value (step S206).
  • the output image can be improved to an image quality suitable for the user in order to easily analyze the input image acquired from various sensors.
  • the reason is that the instruction function calculation unit 203 calculates the range that the output image can take and the pixel value of the reference image, and the pixel value restriction unit 204 falls within the range that the output image can take and becomes the reference. This is because the pixel value of the updated image is updated so as to be close to the pixel value of the image.
  • the input image shown in FIG. 2 is compared with the output image shown in FIG. It can be displayed as an image.
  • an image processing program is expanded in RAM (random access memory), and hardware such as a control unit (CPU (central processing unit)) is operated based on the program.
  • CPU central processing unit
  • Each part is realized as various means.
  • the program may be recorded on a recording medium and distributed.
  • the program recorded on the recording medium is read into a memory via a wired, wireless, or recording medium itself, and operates a control unit or the like. Examples of the recording medium include an optical disk, a magnetic disk, a semiconductor memory device, and a hard disk.
  • a computer that operates as an image processing system is based on an image processing program developed in a RAM, a gradient calculating unit 201, a pixel value updating unit 202, an instruction function calculation. It can be realized by operating as the unit 203 and the image value restriction unit 204.
  • the output image can be improved to an image quality suitable for the user.
  • FIG. 6 is a block diagram showing a schematic configuration of an image processing system according to the second embodiment of the present invention.
  • an image processing system includes an image input unit 100, a computer (central processing unit; processor; data processing unit) 200A that operates under program control, and an image output. Part 300.
  • the illustrated image processing system is a system that obtains an output image by analyzing input images obtained from various sensors.
  • a computer (central processing unit; processor; data processing unit) 200A includes a gradient calculation unit 201, a pixel value update unit 202, an instruction function calculation unit 203a, a pixel value restriction unit 204, a color information separation unit 205, a color And an information adding unit 206.
  • the illustrated image processing system has a configuration in which a color information separating unit 205 and a color information adding unit 206 are further added to the image processing system according to the first embodiment shown in FIG.
  • the operation of the instruction function calculation unit is changed as described later.
  • the gradient calculation unit 201, the pixel value update unit 202, the pixel value restriction unit 204, and the image output unit 300 are the same operations as those in the first embodiment, and thus description thereof is omitted.
  • a color image is input to the image input unit 100, and the lightness component and luminance component of the image are input to the gradient calculation unit 201, the pixel value update unit 202, and the pixel value restriction unit 204.
  • the image input unit 100 may input a multispectral image
  • the gradient calculation unit 201, the pixel value update unit 202, and the pixel value restriction unit 204 may use other values instead of the lightness component or the luminance component of the image.
  • a saturation component, a hue component, or a part of a band of a multispectral image may be processed.
  • the color information separation unit 205 separates color components and brightness from the color image input by the image input unit 100. More specifically, for example, when a pixel value defined in the RGB color space is input as a color image in the image input unit 100, the color information separation unit 205 defines each color defined in the RGB color space. The pixel value of the pixel is converted into a pixel value in the YUV color space and the Lab color space. Then, the color information separation unit 205 extracts a lightness component, that is, a Y component or an L component, from pixel values defined in the YUV color space or the Lab color space. Then, the color information separation unit 205 may separate the lightness component and the color component by extracting the UV component or the ab component as the color component. Then, the color information separation unit 205 delivers the lightness component to the gradient calculation unit 201 and the color component to the instruction function calculation unit 203a and the color information addition unit 206.
  • a lightness component that is, a Y component or an L component
  • the instruction function calculation unit 203a calculates, as an instruction function, a range in which brightness can be obtained for each pixel under the constraint of storing the color of the input image, from the color components calculated by the color information separation unit 205. For example, when the color component is represented as an ab component in the Lab space, the instruction function calculation unit 203a calculates a range that L can take under the constraint of storing the color of the input image.
  • the instruction function calculation unit 203a first sets the L value that is the brightness to all possible ranges (ie, from 0 to A plurality of pixel values are obtained by sampling N discretely within (up to 100).
  • these sampled pixel values in the Lab space are represented as ⁇ (L 1 , a 0 , b 0 )... (L N , a 0 , b 0 ) ⁇ .
  • the instruction function calculation unit 203a converts the pixel values represented in the Lab space into pixel values in the RGB space.
  • this is expressed as ⁇ (r 1 , g 1 , b 1 )...
  • the instruction function calculation unit 203a has one of the converted pixel values in the RGB space within a predetermined range (that is, a range from 0 to 255 in an 8-bit image). If not, that is, if any one of the components has a saturated pixel value (that is, 0 or less or 255 or more in an 8-bit image), the sample is rejected. Finally, the instruction function calculation unit 203a represents the minimum value and the maximum value of the brightness component among all the samples that are not rejected as R min and R max, and this range is a constraint for storing the color of the input image. In the following, it is assumed that the brightness can be taken, and the indicator function is defined based on this range. At this time, the pixel value update unit 202 updates the pixel value corresponding to the instruction function by the following equation (16).
  • the instruction function calculation unit 203a has described the case where the possible range of brightness can be obtained from the sampled values under the constraint of storing the color of the input image.
  • the operation of the instruction function calculation unit 203a is as follows. It is not limited to this.
  • the color information adding unit 206 synthesizes a color image from the brightness obtained by the pixel value restriction unit 204 and the color component obtained by the color information separation unit 205.
  • the instruction function calculation unit 203a determines the range in which the brightness can be taken under the constraint of saving the color of the input image. And calculated as an instruction function. Based on the instruction function, the lightness component is calculated by the pixel value restriction unit 204. Then, the color information adding unit 206 synthesizes the output image from the calculated brightness component and the color component of the input image.
  • the second embodiment uses the output image to easily analyze the input image acquired from various sensors while preserving the color component of the input image. Image quality suitable for the user.

Abstract

様々のセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる画像処理システムを提供する。画像処理システムは、入力画像から所望の勾配を算出する勾配算出部と；入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と；所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新部と；出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約部と；を備える。

Description

画像処理システム、画像処理方法、および画像処理プログラム記録媒体
　本発明は、画像処理技術に関し、画像処理システム、画像処理方法、および画像処理プログラム記録媒体に関する。
　昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。
　また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
　このような背景の中、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画像に改善することが必要になる。非特許文献１は、このような用途に有用な画像処理として、画像の勾配情報（隣接間の差分値）に基づいた処理を行う方法を開示している。
　この非特許文献１に開示された方法では、後で図１を参照して詳細に説明するように、参照する画像群から目的となる勾配を算出し、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得ている。
Perez, Patrick, Michel Gangnet, and Andrew Blake. "Poisson image editing." ACM Transactions on Graphics (TOG). Vol. 22. No. 3. ACM, 2003.
　しかしながら、非特許文献１の方法では、出力画像の絶対値（画素値）そのものに対する制約がない。このため、特許文献１の方法では、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトが生じるという課題がある。
　本発明の目的は、上述した課題を解決する、画像処理システム、画像処理方法、画像処理プログラム記録媒体を提供することにある。
　本発明の画像処理システムは、入力画像から所望の勾配を算出する勾配算出部と、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新部と、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値をして前記出力画像を得る画素値制約部と、を備える。
　本発明の画像処理方法は、種々のセンサより取得された入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、勾配算出部が、入力画像から所望の勾配を算出する勾配算出工程と、指示関数算出部が、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、画素値更新部が、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新工程と、画素値制約部が、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約工程と、を含む。
　本発明の画像処理プログラム記録媒体は、コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムを記録した記録媒体であって、コンピュータに、入力画像から所望の勾配を算出する勾配算出手順と、入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する画素値更新手順と、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新して出力画像を得る画素値制約手順と、を実行させる画像処理プログラムを記録する。
　本発明によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
非特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。 本発明によって解決すべき課題を示す図である。 本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。 図２に示した画像処理システムの動作を説明するためのフローチャートである。 図２に示した画像処理システムによる効果を示す図である。 本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
［関連技術］
　まず、本発明の理解を容易にするために、上記非特許文献１に開示された関連技術の画像処理システムについて説明する。
　図１は、非特許文献１に記載された、関連技術の画像処理システムを示すブロック図である。非特許文献１に記載された画像処理システムは、画像入力部１００、勾配算出部２０１、画素値更新部２０２、および画像出力部３００から成る。
　画像入力部１００には、１枚以上の画像群が入力される。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
　勾配算出部２０１は、参照する画像群から目的となる勾配を算出する。
　画素値更新部２０２は、目的となる勾配と出力画像の勾配とが一致するように、入力画像の画素値を更新して出力画像を得る。
　具体的には、画素値更新部２０２は、例えば、以下の数１を最小化させるように、画素値を下記の数２のように更新する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　なお、ここで、
Figure JPOXMLDOC01-appb-M000003
 は出力画像のi番目の画素値を表し、
Figure JPOXMLDOC01-appb-M000004
 は出力画像のi番目の画素の勾配を表し、
Figure JPOXMLDOC01-appb-M000005
 は目的となる画像の画素iにおける勾配を表し、
Figure JPOXMLDOC01-appb-M000006
 は、利用者があらかじめ定めた、更新に関するパラメータを表す。
　画像出力部３００では、ディスプレイなどへ出力画像を出力する。
　しかしながら、図１に示した非特許文献１の画像処理システムでは、出力画像の絶対値（画素値）そのものに対する制約がない。このため、図１に示した特許文献１の画像処理システムでは、細部の構造の潰れ、白潰れ、黒とび或いはハロー効果やリンギングなどのアーチファクトを生じるという欠点がある。
　次に、本発明が解決しようとする課題を、図２を用いてより詳細に説明する。
　図２に図示された入力画像は、ダイナミックレンジ（暗部と明部の差）が大きい。このため、非特許文献１に開示された関連手法を用いて図２の入力画像を処理した場合、処理して得られた出力画像に白とびや黒潰れが発生する。
［実施の形態] 
　次に、発明を実施するための形態について図面を参照して詳細に説明する。
[第１の実施の形態の構成の説明]
　図３は、本発明の第１の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
　図３を参照すると、本発明の第１の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００と、画像出力部３００とから成る。
　図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
　コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００は、勾配算出部２０１と、画素値更新部２０２と、指示関数算出部２０３と、画素値制約部２０４とから成る。
　すなわち、図示の画像処理システムは、図１に示した関連技術の画像処理システムに、指示関数算出部２０３と画素値制約部２０４とを更に付加した構成をしている。
　これらの手段は、それぞれ概略、次のように動作する。
　画像入力部１００には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
　ここで、以下では、入力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi，Gi，Biと表すこととする。また、これらの成分をまとめて、
Figure JPOXMLDOC01-appb-M000007
 と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
　また、出力画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi，Gi，Biと表すこととする。
　画像出力部３００は、再構成画像（出力画像）を出力する出力装置である。画像出力部３００は、例えば、ディスプレイ装置などによって実現される。
　勾配算出部２０１は、画像入力部１００にて入力した入力画像から、所望とする勾配を決定する。勾配を決定する方法としては、例えば、単純にある入力画像の勾配を定数倍してもよいし、何らかの方法で勾配を正規化してもよいし、あるいは２つ以上の画像から勾配を重み付の和として表してもよい。例えば、画像強調の場合には、勾配算出部２０１は、入力画像の勾配を定数倍し、これを所望の勾配とすればよい。
　画素値更新部２０２は、目的となる勾配と出力画像の勾配とが近くなるように、入力画像の画素値を更新して、更新画像を出力する。具体的には、前述したように、画素値更新部２０２は、例えば、上記数１を最小化させるように、入力画像の画素値を上記数２のように更新する。すなわち、本発明の実施形態における画素値更新部２０２は、前述した関連技術と同様でよい。
　なお、本第１の実施の形態では、画素値更新部２０２は、目的となる勾配と出力画像の勾配が近くなるように、出力画像の画素値の値を更新する方法について述べたが、本第１の実施の形態はこれに限定されない。例えば、超解像、ノイズ除去、インペインティングなどで使用する再構成制約（或いはデータ項、或いは忠実項とも呼ばれる）に相当する項を採用し、これに対応する画素値の更新方法を、画素値更新部２０２が行ってもよい。
　指示関数算出部２０３は、白潰れや黒とび、あるいはリンギングやハロー効果などを抑制するために、出力画像の画素値が取りうる範囲を制約する定義域を規定するための、指示関数を算出する。指示関数を算出する方法としては、例えば、下記の数３に示すように、入力画像に対して画像全体で一様な指示関数を用いてもよい。
Figure JPOXMLDOC01-appb-M000008
　その代わりに、指示関数を算出する方法としては、下記の数４に示すように、入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を用いてもよい。
Figure JPOXMLDOC01-appb-M000009
　また、指示関数算出部２０３は、入力画像に対して画像全体において同じ関数を用いる必要はない。例えば、指示関数算出部２０３は、指示関数として、入力画像の一部分に対して、画像全体で一様な指示関数を用い、入力画像の残りの部分に対して、画素毎に適応的な指示関数を用いてもよい。いずれにせよ、指示関数算出部２０３で算出された指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
　なお、本第１の実施形態では、画像全体で同一の指示関数、或いは画素毎に適応的な指示関数を用いる場合について述べたが、本第１の実施の形態はこれに限定されない。例えば、指示関数の替わりに、以下の数５のような関数を用いて、画素値が取りうる範囲を規定してもよい。
Figure JPOXMLDOC01-appb-M000010
　ただし、λは利用者があらかじめ定義するパラメータである。また、Ziは、ガイドとなる画像であり、例えばエッジ保存型の空間フィルタを用いて、このZiを算出してもよい。このような指示関数を用いることで、画像中のノイズを抑制しつつ、画素値を定義域内に収まるように、再構成画像を合成することができる。
　画素値制約部２０４は、定義した指示関数に応じて、出力画像の画素値が定義域内に収まるように、更新画像の画素値を更新して、出力画像を得る。更新する方法としては、例えば、下記の数６に示すように、画像全体で一様な指示関数を用いて、更新画像を更新してもよい。
Figure JPOXMLDOC01-appb-M000011
　その代わりに、更新する方法として、下記の数７のように、注目画素の極小値と極大値とから定まる画素毎に適応的な指示関数に対応して、更新画像の画素値の更新量を決定してもよい。
Figure JPOXMLDOC01-appb-M000012
　また、画素値制約部２０４は、画像全体において同じ指示関数を用いる必要はない。例えば、画素値制約部２０４は、入力画像の一部分に対しては、画像全体で一様な指示関数に対応して更新画像の画素値の更新を行い、入力画像の残りの部分に対しては、画素毎に適応的な指示関数に対応して更新画像の画素値の更新を行ってもよい。いずれにせよ、画素値制約部２０４で用いる指示関数は、何らかの意味において、出力画像の画素値が取りうる範囲を規定する関数であればなんでもよい。
 [第１の実施の形態の動作の説明]
　次に、図４のフローチャートを参照して、本第１の実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
　まず、画像入力部１００にて、一つ以上のセンサから取得された入力画像を入力する（ステップＳ２００）。
　次に、勾配算出部２０１にて、入力画像から所望の勾配を算出する（ステップＳ２０１）。
　次に、指示関数算出部２０３にて、入力画像に対して、出力画像の画素値が取りうる範囲及び基準となる画素値を規定する、指示関数を算出する（ステップＳ２０２）。
　さらに、画素値更新部２０２にて、更新画像の勾配を所望の勾配に近づけるように、入力画像の画素値を更新して更新画像を出力する（ステップＳ２０３）。
　画素値制約部２０４にて、指示関数算出部２０３にて算出した画素値が取りうる値を満足するように、更新画像の画素値を更新して、出力画像を得る（ステップＳ２０４）。
　次に、コンピュータ２００は、出力画像の画素値
Figure JPOXMLDOC01-appb-M000013
 の値が十分に収束しているかを判定する（ステップＳ２０５）。もしも、十分に出力画像の画素値
Figure JPOXMLDOC01-appb-M000014
 の値が収束していない場合（ステップＳ２０５のＮｏ）、コンピュータ２００は、再度ステップＳ２０３からＳ２０４までの処理を繰り返し行う（ステップＳ２０５）。
　もしも、出力画像の画素値
Figure JPOXMLDOC01-appb-M000015
 の値が十分に収束していれば（ステップＳ２０５のｙｅｓ）、その画素値からなる出力画像を画像出力部３００にて出力する（ステップＳ２０６）。
[第１の実施の形態の効果の説明] 
　次に、本第１の実施の形態の効果について説明する。
　本発明の第１の実施の形態によれば、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。その理由は、指示関数算出部２０３が、出力画像が取りうる範囲及び基準となる画像の画素値を算出し、画素値制約部２０４が、出力画像が取りうる範囲内に収まりかつ、基準となる画像の画素値に近くなるように、更新画像の画素値を更新しているからである。
　例えば、本発明の第１の実施の形態の効果の具体的な一例としては、図２に図示された入力画像に対し、図５に図示された出力画像のように、画像全体を１枚の画像で表示可能にすることができる。
　尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　上記第１の実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、勾配算出部２０１、画素値更新部２０２、指示関数算出部２０３、および画像値制約部２０４として動作させることで実現することが可能である。
　以上説明したように、本発明の第１の実施の形態によれば、出力画像を利用者にとって適した画質に改善することができる。
[第２の実施の形態の構成の説明]
　図６は、本発明の第２の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
　図６を参照すると、本発明の第２の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００Ａと、画像出力部３００とから成る。
　図示の画像処理システムは、種々のセンサより取得された入力画像を解析して、出力画像を得るシステムである。
　コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００Ａは、勾配算出部２０１と、画素値更新部２０２と、指示関数算出部２０３ａと、画素値制約部２０４と、色情報分離部２０５と、色情報付加部２０６とから成る。
　すなわち、図示の画像処理システムは、図３に示した第１の実施の形態に係る画像処理システムに、色情報分離部２０５と、色情報付加部２０６とを更に付加した構成をしていると共に、指示関数算出部の動作が後述のように変更されている。
　以下では、各構成の動作について説明する。なお、勾配算出部２０１、画素値更新部２０２、画素値制約部２０４、および画像出力部３００については、第１の実施の形態と同様の動作であるため、それらの説明を省略する。
　また、以下では、説明を簡単にするために、画像入力部１００ではカラー画像が入力され、勾配算出部２０１、画素値更新部２０２、及び画素値制約部２０４では、画像の明度成分や輝度成分のみを処理する場合について述べるが、本第２の実施の形態はそれに限定されない。例えば、画像入力部１００では，マルチスペクトル画像が入力されてもよいし、勾配算出部２０１、画素値更新部２０２、及び画素値制約部２０４では、画像の明度成分或いは輝度成分のかわりに、他の成分（例えば彩度成分や色相成分、或いはマルチスペクトル画像のうちの一部のバンド）を処理するのでもよい。
　色情報分離部２０５は、画像入力部１００で入力されたカラー画像から、色成分と明度とを分離する。より具体的には、例えば、画像入力部１００にて、カラー画像として、ＲＧＢ色空間で定義された画素値が入力された場合、色情報分離部２０５は、ＲＧＢ色空間にて定義された各画素の画素値を、ＹＵＶ色空間、Ｌａｂ色空間における画素値へ変換する。そして色情報分離部２０５は、ＹＵＶ色空間やＬａｂ色空間で定義された画素値のうちの明度成分、すなわちＹ成分あるいはＬ成分を抽出する。そして、色情報分離部２０５は、色成分として、ＵＶ成分あるいはａｂ成分を抽出することで、明度成分と色成分とを分離すればよい。そして、色情報分離部２０５は、明度成分を勾配算出部２０１へ、色成分を指示関数算出部２０３a及び色情報付加部２０６へ受け渡す。
　指示関数算出部２０３aは、色情報分離部２０５にて算出した色成分から、画素毎に、入力画像の色を保存する制約下で明度が取りうる範囲を、指示関数として算出する。例えば、色成分をＬａｂ空間におけるａｂ成分として表した場合、指示関数算出部２０３aは、入力画像の色を保存する制約下でＬが取りうる範囲を算出する。
　より具体的には、例えば、ある画素のａｂ成分がａ０及びｂ０であった場合、指示関数算出部２０３aは、まず、明度であるＬの値を、取りうるすべての範囲（すなわち0から100までの間）内にて、離散的にＮだけサンプリングすることで、複数の画素値を得る。以下では、これらサンプリングしたＬａｂ空間における画素値を｛（Ｌ1,ａ０,ｂ０）…（ＬN,ａ０,ｂ０）｝と表す。次に、指示関数算出部２０３aは、これらＬａｂ空間で表された画素値を、ＲＧＢ空間の画素値へ変換する。以下ではこれを、｛（ｒ1,ｇ1,ｂ1）…（ｒＮ,ｇＮ,ｂＮ）｝と表す。次に、指示関数算出部２０３aは、これら変換されたＲＧＢ空間上での画素値のうち、どれか一つの成分が、あらかじめ規定された範囲（すなわち８ビット画像において０から２５５までの範囲）に収まっていない場合、すなわち、どれか一つの成分においても、画素値が飽和している（すなわち８ビット画像において、０以下或いは２５５以上である）場合は、そのサンプルを棄却する。最後に、指示関数算出部２０３aは、棄却されなかった全てのサンプルの中で、明度成分の最小値と最大値をＲｍｉｎ及びＲｍａｘと表し、この範囲を、入力画像の色を保存する制約下で明度が取りうる範囲であるとし、この範囲に基づき指示関数を定義する。なお、この時、画素値更新部２０２において、この指示関数に対応した画素値の更新は、下記の数１６により表される。
Figure JPOXMLDOC01-appb-M000016
　なお、上記では、指示関数算出部２０３aは、サンプリングされた値から、入力画像の色を保存する制約下で明度が取りうる範囲を算出した場合について述べたが、指示関数算出部２０３aの動作はこれに限定されない。
　色情報付加部２０６は、画素値制約部２０４にて得られた明度と、色情報分離部２０５にて得られた色成分とから、カラー画像を合成する。
[第２の実施の形態の効果の説明] 
　次に、本第２の実施の形態の効果について説明する。
　本第２の実施の形態では、色情報分離部２０５にて分離された色成分をもとに、指示関数算出部２０３aにて、入力画像の色を保存する制約下で明度がとりうる範囲を、指示関数として算出する。そして、その指示関数をもとに、画素値制約部２０４にて明度成分を算出する。そして、算出された明度成分と、入力画像の色成分とから、色情報付加部２０６にて、出力画像を合成する。以上のような構成を有することで、本第２の実施の形態は、入力画像の色成分を保存しながら、様々なセンサより取得された入力画像を容易に解析するために、出力画像を利用者にとって適した画質に改善することができる。
　また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年１１月５日に出願された日本出願特願２０１５－２１７３２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　１００　　画像入力部
　　２００、２００Ａ　　コンピュータ（中央処理装置；プロセッサ；データ処理装置）
　　２０１　　勾配算出部
　　２０２　　画素値更新部
　　２０３、２０３ａ　　指示関数算出部
　　２０４　　画素値制約部
　　２０５　　色情報分離部
　　２０６　　色情報付加部
　　３００　　画像出力部

Claims (12)

  1. 　入力画像から所望の勾配を算出する勾配算出部と、
    　前記入力画像に対して、出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出部と、
    　前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新部と、
    　前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約部と、
    　を備える画像処理システム。
  2. 　前記指示関数算出部は、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
    　前記画素値制約部は、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
    請求項１に記載の画像処理システム。
  3. 　前記指示関数算出部は、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
    　前記画素値制約部は、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
    請求項１に記載の画像処理システム。
  4. 　前記指示関数算出部は、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
    　前記画素値制約部は、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
    請求項１に記載の画像処理システム。
  5. 　種々のセンサより取得された入力画像を解析して、出力画像を得る画像処理システムの画像処理方法であって、
    　勾配算出部が、前記入力画像から所望の勾配を算出する勾配算出工程と、
    　指示関数算出部が、前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出工程と、
    　画素値更新部が、前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新工程と、
    　画素値制約部が、前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約工程と、
    を含む画像処理方法。
  6. 　前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出し、
    　前記画素値制約工程では、前記画素値制約部が、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得る、
    請求項５に記載の画像処理方法。
  7. 　前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出し、
    　前記画素値制約工程では、前記画素値制約部が、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得る、
    請求項５に記載の画像処理方法。
  8. 　前記指示関数算出工程では、前記指示関数算出部が、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出し、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出し、
    　前記画素値制約工程では、前記画素値制約部が、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得る、
    請求項５に記載の画像処理方法。
  9. 　コンピュータに、種々のセンサより取得された入力画像を解析して、出力画像を得させる画像処理システムの画像処理プログラムを記録した記録媒体であって、前記画像処理プログラムは前記コンピュータに、
    　前記入力画像から所望の勾配を算出する勾配算出手順と、
    　前記入力画像に対して、前記出力画像が取りうる範囲及び基準となる画像の画素値を規定する、指示関数を算出する指示関数算出手順と、
    　前記所望の勾配に近づけるように、前記入力画像の画素値を更新して更新画像を出力する画素値更新手順と、
    　前記出力画像が取りうる範囲内に収まりかつ、前記基準となる画像の画素値に近くなるように、前記更新画像の画素値を更新して前記出力画像を得る画素値制約手順と、
    　を実行させる画像処理プログラム記録媒体。
  10. 　前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して画像全体で一様な指示関数を算出させ、
    　前記画素値制約手順は、前記コンピュータに、前記画像全体で一様な指示関数を用いて、前記更新画像の画素値を更新して前記出力画像を得させる、
    請求項９に記載の画像処理プログラム記録媒体。
  11. 　前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像に対して注目画素の極小値と極大値とから定まる、画素毎に適応的な指示関数を算出させ、
    　前記画素値制約手順は、前記コンピュータに、前記画素毎に適応的な指示関数に対応して、前記更新画像の画素値の更新量を決定して前記出力画像を得させる、
    請求項９に記載の画像処理プログラム記録媒体。
  12. 　前記指示関数算出手順は、前記コンピュータに、前記指示関数として、前記入力画像の一部分に対して、画像全体で一様な指示関数を算出させ、前記入力画像の残りの部分に対して、画素毎に適応的な指示関数を算出させ、
    　前記画素値制約手順は、前記コンピュータに、前記入力画像の一部分に対しては、前記画像全体で一様な指示関数に対応して前記更新画像の画素値の更新を行い、前記入力画像の残りの部分に対しては、前記画素毎に適応的な指示関数に対応して前記更新画像の画素値の更新を行って、前記出力画像を得させる、
    請求項９に記載の画像処理プログラム記録媒体。
PCT/JP2016/004197 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム記録媒体 WO2017077680A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/772,239 US10699455B2 (en) 2015-11-05 2016-09-14 Image processing system, image processing method, and image processing program recording medium
JP2017548626A JP6909979B2 (ja) 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015217328 2015-11-05
JP2015-217328 2015-11-05

Publications (1)

Publication Number Publication Date
WO2017077680A1 true WO2017077680A1 (ja) 2017-05-11

Family

ID=58663146

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004197 WO2017077680A1 (ja) 2015-11-05 2016-09-14 画像処理システム、画像処理方法、および画像処理プログラム記録媒体

Country Status (3)

Country Link
US (1) US10699455B2 (ja)
JP (1) JP6909979B2 (ja)
WO (1) WO2017077680A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087461B2 (en) * 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
CN110909750B (zh) * 2019-11-14 2022-08-19 展讯通信（上海）有限公司 图像差异检测方法及装置、存储介质、终端
US11756210B2 (en) 2020-03-12 2023-09-12 Adobe Inc. Video inpainting via machine-learning models with motion constraints
US11823357B2 (en) * 2021-03-09 2023-11-21 Adobe Inc. Corrective lighting for video inpainting

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844863A (ja) * 1994-07-27 1996-02-16 Dainippon Printing Co Ltd 画像拡大方法
JP2003060916A (ja) * 2001-08-16 2003-02-28 Minolta Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2005095328A (ja) * 2003-09-24 2005-04-14 Toshiba Corp 超解像処理装置及び医用画像診断装置
JP2013218660A (ja) * 2012-03-14 2013-10-24 Fujitsu Ltd 画像処理方法、プログラム及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492967B2 (en) 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
EP2398224B1 (en) * 2004-10-01 2016-01-13 The Board of Trustees of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7443443B2 (en) * 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
JP2010055487A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 画像処理方法、装置、およびプログラム
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
JP5445363B2 (ja) * 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
TWI602152B (zh) * 2013-02-06 2017-10-11 聚晶半導體股份有限公司 影像擷取裝置及其影像處理方法
US10311552B2 (en) * 2017-04-06 2019-06-04 Pixar De-noising images using machine learning
US10540749B2 (en) * 2018-03-29 2020-01-21 Mitsubishi Electric Research Laboratories, Inc. System and method for learning-based image super-resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844863A (ja) * 1994-07-27 1996-02-16 Dainippon Printing Co Ltd 画像拡大方法
JP2003060916A (ja) * 2001-08-16 2003-02-28 Minolta Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2005095328A (ja) * 2003-09-24 2005-04-14 Toshiba Corp 超解像処理装置及び医用画像診断装置
JP2013218660A (ja) * 2012-03-14 2013-10-24 Fujitsu Ltd 画像処理方法、プログラム及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATRICK PEREZ: "Poisson Image Editing", ACM TRANSACTIONS ON GRAPHICS (TOG, vol. 22, no. 3, 27 July 2003 (2003-07-27), pages 313 - 318, XP058249525 *

Also Published As

Publication number Publication date
US20180322672A1 (en) 2018-11-08
US10699455B2 (en) 2020-06-30
JPWO2017077680A1 (ja) 2018-08-23
JP6909979B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
JP4481333B2 (ja) 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ
Guo et al. Low-light image enhancement via breaking down the darkness
JP6351903B1 (ja) 画像処理装置、画像処理方法、及び撮影装置
WO2017077680A1 (ja) 画像処理システム、画像処理方法、および画像処理プログラム記録媒体
US11265490B2 (en) Systems and methods of spatiotemporal image noise reduction for multispectral image data
US20060269270A1 (en) Photography apparatus, photography method and photography program
JP2010218110A (ja) ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US20120200733A1 (en) Image processing apparatus, imaging apparatus, computer readable storage medium storing image processing program, and image processing method
US9177396B2 (en) Image processing apparatus and image processing method
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
US20110001842A1 (en) Method of and apparatus for processing images
Kao High dynamic range imaging by fusing multiple raw images and tone reproduction
JP2005039460A (ja) 画像処理方法および装置
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP4126297B2 (ja) 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
JP2006024176A5 (ja)
JP6826277B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP2019008408A (ja) 検出装置、画像処理装置、検出方法、及び画像処理方法
JP2010252265A (ja) 画像処理装置
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
JP2011095110A (ja) 光源推定装置および光源推定方法
JP2008160210A (ja) 情報処理方法および撮像装置
EP3483831A1 (en) Method and device for modifying a contrast of a visual content
JP5836878B2 (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16861758

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017548626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15772239

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16861758

Country of ref document: EP

Kind code of ref document: A1