WO2016208142A1 - 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体 - Google Patents

画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
WO2016208142A1
WO2016208142A1 PCT/JP2016/002813 JP2016002813W WO2016208142A1 WO 2016208142 A1 WO2016208142 A1 WO 2016208142A1 JP 2016002813 W JP2016002813 W JP 2016002813W WO 2016208142 A1 WO2016208142 A1 WO 2016208142A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradient
band
image processing
weight
Prior art date
Application number
PCT/JP2016/002813
Other languages
English (en)
French (fr)
Inventor
剛志 柴田
正行 田中
正敏 奥富
Original Assignee
日本電気株式会社
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立大学法人東京工業大学 filed Critical 日本電気株式会社
Priority to US15/738,189 priority Critical patent/US11010876B2/en
Priority to JP2017524597A priority patent/JP6826277B2/ja
Publication of WO2016208142A1 publication Critical patent/WO2016208142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing technique, and relates to an image processing system, an image processing method, and a computer-readable recording medium.
  • cameras using sensors that are suitable for imaging various target objects are widely used.
  • a monitoring camera using a visible light sensor is widely used.
  • cameras using non-visible light sensors such as a near infrared camera and a far infrared camera are widely used for nighttime monitoring.
  • a near ultraviolet camera is also commercially available.
  • devices for imaging wavelengths longer than the visible light wavelength region such as terahertz waves and radio waves are also commercially available as other cameras.
  • Patent Document 1 discloses a method of expressing information of an image group of a plurality of bands using a single color image in order to easily analyze an image group acquired from a plurality of sensors.
  • a structure tensor is calculated from gradient information of a plurality of band image groups, and an output image is synthesized using the structure tensor. is doing.
  • An object of the present invention is to provide an image processing system capable of displaying one image including important information of each band in order to easily analyze an image group acquired from a plurality of sensors.
  • An image processing method and a computer-readable recording medium are provided.
  • One aspect of the present invention is a weight determination means for determining a band including important information from an image group acquired from a plurality of sensors, and expressing the importance of the band as a weight; Calculating means for calculating an amount calculated based on the gradient of the image in order to constrain the gradient of the output image from the gradient of each image calculated from the group; calculated based on the gradient of the image And an image optimizing unit that synthesizes the output image using the amount.
  • an image processing system that can display one image including important information of each band is provided. it can.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing system of related technology disclosed in Patent Literature 1.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing system according to an embodiment of the present invention. It is a block diagram which shows schematic structure of the image optimization part used for the image processing system shown in FIG. 3 is a flowchart for explaining the operation of the image processing system shown in FIG. 2.
  • FIG. 1 is a block diagram showing an image processing system described in Patent Document 1 and related technology.
  • the image processing system described in Patent Document 1 includes an image input unit 10, a gradient constraint calculation unit 21, a gradient calculation unit 22, an image composition unit 23, and an image output unit 30.
  • the image input unit 10 receives a plurality of band image groups and a reference color image. Then, the image input unit 10 records the input image in a memory (not shown) or the like.
  • the gradient constraint calculation unit 21 calculates a total sum of gradients, called a structure tensor, for each pixel from gradient information of a plurality of band image groups.
  • the gradient calculation unit 22 strictly matches the output image and the calculated structure tensor from the structure tensor calculated by the gradient constraint calculation unit 21 and the gradient of the color image to be referenced, and the gradient of the input color image.
  • the gradient of the output image is calculated so that the least square error of the gradient of the output image is minimized.
  • the image synthesizer 23 synthesizes the output image from the gradient calculated by the gradient calculator 22 using Poisson synthesis.
  • Patent Document 1 shown in FIG. 1 when calculating the structure tensor, the structure tensor is simply calculated based on the sum of gradients without considering the characteristics of each band. For this reason, the image processing system of Patent Document 1 shown in FIG. 1 has a problem that important information included in a specific band is not reflected in the output color image.
  • the structure tensor is calculated as the sum of the gradient calculated from the visible image and the gradient calculated from the near-infrared image. For this reason, in the image processing system of Patent Document 1 shown in FIG. 1, as a result, the output color image becomes an unclear image due to the influence of the gradient information of the input visible image.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing system according to the embodiment of the present invention.
  • an image processing system includes an image input unit 100, a computer (central processing unit; processor; data processing unit) 200 that operates by program control, an image output unit 300, and the like. Consists of.
  • the computer (central processing unit; processor; data processing unit) 200 includes a band weight determination unit 210, a gradient constraint calculation unit 220, and an image optimization unit 230. Further, as shown in FIG. 3, the image optimization unit 230 includes a gradient optimization unit 231 and a pixel value optimization unit 232.
  • the image obtained by a camera or the like is input to the image input unit 100.
  • images to be input color images and images acquired from other sensors may be input separately.
  • the image input unit 100 records the input image in a memory (not shown) or the like.
  • the red, green, and blue pixel values of the i-th pixel are represented as Ri, Gi, and Bi. Also, these ingredients are put together, It shall be expressed as Furthermore, when there is an image acquired from another sensor other than the input color image, the pixel value of the i-th pixel is also expressed by using a subscript. For example, in the case where a near-infrared image is input in addition to the input color image, the pixel value of the i-th near-infrared image may be expressed as Ni.
  • the composite image is represented by a matrix in which the pixel values of each pixel are arranged in the raster scan order as in the input image. More specifically, when an RGB image is considered as an output color image, the red, green, and blue pixel values of the i-th pixel are represented as Ri, Gi, and Bi.
  • the image output unit 300 is an output device that outputs a reconstructed image.
  • the image output unit 300 is realized by, for example, a display device.
  • the band weight determination unit 210 determines a weight indicating which band is important among the input images input by the image input unit 100.
  • the importance of each band may be given in advance by the user as a parameter, or may be automatically calculated using a technique such as machine learning. Also, the importance of each band may be the same for the entire image, or a different value may be used for each pixel.
  • a multiband image group includes a visible image and a near-infrared image in which a fog region is captured.
  • the fog area is unclear and noisy, but in the near-infrared image, there is little noise and a distant landscape is clearly captured.
  • the band weight determination unit 210 is set so that the importance of the band of the near-infrared image is increased only in the fog region, and the importance of the band of the visible image (that is, RGB) is large in the other region. What is necessary is just to set.
  • a band weight matrix having the i-th band weight determined by the band weight determination unit 210 as the diagonal component of each band weight It shall be expressed using.
  • a case where a near infrared image is input in addition to the input color image will be described as an example.
  • the weights of the i-th RGB and near-infrared images are determined as W Ri , W Gi , W Bi , and W Ni .
  • the i-th band weight matrix Can be expressed as shown in Equation 4 below, for example.
  • the gradient constraint calculation unit 220 is a band weight matrix that represents the importance of each band obtained by the input image group input by the image input unit 100 and the band weight determination unit 210.
  • the gradient constraint calculation unit 220 includes the i-th gradient matrix. May be calculated as in the following Expression 9.
  • ⁇ x is a differential value in the horizontal direction
  • ⁇ y is a differential value in the vertical direction.
  • the gradient constraint calculation unit 220 uses a band weight matrix that represents the importance of each band. And gradient matrix And the structure tensor May be calculated as shown in Equation 13 below.
  • the image optimization unit 230 calculates the structure tensor calculated by the gradient constraint calculation unit 220 based on the value corresponding to the structure tensor calculated from the output composite image.
  • the combined image is generated so that the colors of the input color image and the output color image match as much as possible.
  • the composite image Represented by Since the composite image has three RGB components for each pixel, Is an N ⁇ 3 matrix when the number of pixels of the composite image is N.
  • the image optimization unit 230 specifically calculates, for example, an optimization function represented by the following Expression 18. It is sufficient to generate a composite image by minimizing.
  • the first term on the right side of Equation 18 is the structure tensor calculated by the gradient constraint calculation unit 220.
  • the value corresponding to the structure tensor calculated from the composite image Is a term that constrains to match.
  • the subscript F means the Frobenius norm of the matrix.
  • Equation 18 is a term that restricts the colors of the input color image and the synthesized image to match as much as possible.
  • Equation 18 The third term on the right side of Equation 18 is a term for matching the pixel value of the input image with the pixel value of the composite image as much as possible.
  • the subscript “2” means the L2 norm of the vector.
  • ⁇ , ⁇ , and ⁇ are parameters determined in advance by the user.
  • the image optimization unit 230 calculates the optimization function expressed by Equation 18.
  • Equation 18 are further composed of a gradient optimization unit 231 and a pixel value optimization unit 232.
  • the image optimization unit 230 uses the gradient optimization unit 231 and the pixel value optimization unit 232 to perform image gradient. And pixel value Optimize alternately. More specifically, the image optimization unit 230 To optimize about The gradient of Are minimized independently for each pixel.
  • the gradient optimization unit 231 extends the optimization function expressed by Expression 18 as shown in Expression 31 below.
  • Equation 18 In the equation 31, In addition to Optimize at the same time.
  • Equation 31 since the first term, the third term, and the fourth term on the right side of Equation 31 are equivalent to Equation 18, description thereof is omitted.
  • Equation 31 The second term on the right side of Equation 31 is When Is a term for constraining to match, and ⁇ is the gradient of the image in the gradient optimization unit 231 and the pixel value optimization unit 232. And pixel value Is a parameter that increases each time the values are alternately optimized, and finally has a very large value.
  • the gradient optimization unit 231 calculates, for example, the following formula 46:
  • the gradient of the composite image may be calculated by minimizing the.
  • the part corresponding to can be calculated independently for each pixel, for example, by using a technique such as parallel calculation Can be calculated at high speed.
  • the pixel value of the image can be calculated at high speed by using, for example, Fourier transform.
  • the image optimization unit 230 includes the gradient optimization unit 231 and the pixel value optimization unit 232, and in addition to Equation 18, a new auxiliary variable Is added, and an optimization function corresponding to Equation 31 is configured, and a portion (Equation 46) that can be optimized independently for each pixel and image transformation such as Fourier transformation can be efficiently calculated for the entire image.
  • Equation 50 the optimization function corresponding to Eq. 18 can be minimized efficiently.
  • the image input unit 100 inputs a color image and a multiband image acquired from a plurality of sensors (step S200).
  • the band weight determination unit 210 determines the importance of each band (step S201).
  • the structure tensor Is calculated (step S202).
  • Auxiliary variable corresponding to the gradient of the composite image in the gradient optimization unit 231 Is optimized using, for example, Equation 46 (step S203).
  • the pixel value optimization unit 232 the pixel value of the composite image Is optimized using, for example, Formula 50 (step S204).
  • the image optimization unit 230 uses auxiliary variables. And the pixel value of the composite image Is increased (step 205).
  • the image optimization unit 230 calculates the pixel value It is determined whether the value of is sufficiently converged (step S206). If enough pixel value Is not converged (No in step S206), the image optimization unit 230 repeats the processing from step S203 to S205 again (step S206).
  • step S207 If the pixel value Is sufficiently converged (Yes in step S206), the image output unit 300 outputs a composite image composed of the pixel values (step S207).
  • a composite image in which important information included in each band is aggregated can be generated from a plurality of images having different properties.
  • the reason is that the band weight determination unit 210 determines a weight indicating which of the input images is important, and the gradient constraint calculation unit 220 calculates the structure tensor using the determined band weight. This is because, by calculating, a composite image in which the gradient information of the band is more reflected can be generated.
  • a composite image can be generated at higher speed and higher accuracy by alternately optimizing the gradient of the output image and the pixel value of the output image.
  • the image optimization unit 230 includes a gradient optimization unit 231 and a pixel value optimization unit 232, configures an optimization function in which auxiliary variables are added to the original optimization function, and further, for each pixel.
  • an image processing program is expanded in RAM (random access memory), and hardware such as a control unit (CPU (central processing unit)) is operated based on the program.
  • CPU central processing unit
  • Each part is realized as various means.
  • the program may be recorded on a computer-readable recording medium and distributed.
  • the program recorded in the computer-readable recording medium is read into a memory via a wired, wireless, or computer-readable recording medium itself, and operates a control unit and the like.
  • Examples of computer-readable recording media include optical disks, magnetic disks, semiconductor memory devices, and hard disks.
  • a band weight determination unit 210 a gradient constraint calculation unit 220, and an image optimization unit are based on an image processing program developed in a RAM. It can be realized by operating as 230.
  • the embodiment of the present invention it is possible to generate a composite image in which important information included in each band is aggregated from a plurality of images having different properties. Further, according to the embodiment of the present invention, it is possible to generate a composite image with higher speed and higher accuracy by alternately optimizing the gradient of the output image and the pixel value of the output image.
  • the specific configuration of the present invention is not limited to the above-described embodiment, and changes in a range not departing from the gist of the present invention are included in the present invention.
  • the structure tensor is used as the amount calculated based on the gradient of the image, but the present invention is not limited to this.
  • the band weight determination unit determines that the image quality that the image analyst thinks is optimal. Adjustments can be made by determining the weights that represent which bands are important.
  • the image quality that the analyst thinks is optimal is used to adjust the weight in the band weight determination unit and analyze the image. Is also applicable.
  • the band weight adjusted by each image analyst is used by other image analysts, so that each image analyst can share the experience and know-how of image analysis. It can also be applied to.
  • image input unit 200 computer (central processing unit; processor; data processing unit) 210 Band weight determination unit 220 Gradient constraint calculation unit 230 Image optimization unit 231 Gradient optimization unit 232 Pixel value optimization unit 300 Image output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする、画像処理システムを提供する。画像処理システムは、複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と；重みを用いて、画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と；画像の勾配をもとに算出された量を用いて、出力画像を合成する画像最適化手段と；を備える。

Description

画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体
　本発明は、画像処理技術に関し、画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体に関する。
　昨今、様々な画像合成手法が開発されている。また、様々な設定（例えば露光量や露出時間）で動作する様々なカメラがあり、それらカメラは波長帯域に対する様々な感度特性で画像を取得する。また、同一の設定のカメラでも、撮影時にフラッシュを焚くか焚かないかで、実質的に異なる画像を取得する。
　また、様々な目的対象を撮像するために、各々適したセンサを用いたカメラが広く普及している。例えば、人物などを監視するために、可視光センサを用いた監視カメラが広く普及している。一方、夜間における監視に対して、近赤外線カメラや遠赤外線カメラなどの非可視光センサを用いたカメラも広く普及している。また、他のカメラとして、近紫外線カメラも市販されている。或いは、他のカメラとして、テラヘルツ波や電波など可視光の波長領域よりも長い波長をイメージングするデバイスも市販されている。
　このような背景の中、複数のセンサより取得された画像群を容易に解析するために、１枚の画像として表示することが必要になる。特許文献１は、複数のセンサより取得された画像群を容易に解析するために、複数バンドの画像群の情報を、１枚のカラー画像を用いて表現する方法を開示している。
　この特許文献１に開示された方法では、後で図１を参照して詳細に説明するように、複数バンドの画像群の勾配情報から構造テンソルを算出し、構造テンソルを用いて出力画像を合成している。
米国特許第８６８２０９３号明細書
　しかしながら、特許文献１の方法では、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、特許文献１の方法では、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。
　本発明の目的は、複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする、画像処理システム、画像処理方法、コンピュータ読取可能な記録媒体を提供することにある。
　本発明の一形態は、複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と；前記重みを用いて、画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と；前記画像の勾配をもとに算出された量を用いて、出力画像を合成する画像最適化手段と、から構成される画像処理システムである。
　本発明によれば、複数のセンサより取得された画像群を容易に解析するために、各バンドの重要な情報が含まれた１枚の画像を表示することを可能にする画像処理システムを提供できる。
特許文献１に開示された関連技術の画像処理システムの概略構成を示すブロック図である。 本発明の一実施の形態に係る画像処理システムの概略構成を示すブロック図である。 図２に示した画像処理システムに使用される画像最適化部の概略構成を示すブロック図である。 図２に示した画像処理システムの動作を説明するためのフローチャートである。
［関連技術］
　まず、本発明の理解を容易にするために、上記特許文献１に開示された関連技術の画像処理システムについて説明する。
　図１は、特許文献１に記載され関連技術の画像処理システムを示すブロック図である。特許文献１に記載された画像処理システムは、画像入力部１０、勾配制約算出部２１、勾配算出部２２、画像合成部２３、および画像出力部３０からなる。
　画像入力部１０には、複数バンドの画像群と参照するカラー画像とが入力される。そして、画像入力部１０は、入力された画像をメモリ（図示せず）等に記録する。
　勾配制約算出部２１は、複数バンドの画像群の勾配情報から構造テンソルと呼ばれる、勾配の総和を画素毎に算出する。
　勾配算出部２２は、勾配制約算出部２１にて算出した構造テンソルと、参照するカラー画像の勾配とから、出力画像と算出した構造テンソルが厳密に一致し、さらに入力されたカラー画像の勾配と出力画像の勾配の最小二乗誤差が最小となるように、出力画像の勾配を算出する。
　画像合成部２３は、勾配算出部２２にて算出した勾配より、ポアソン合成を用いて、出力画像を合成する。
　しかしながら、図１に示した特許文献１の画像処理システムでは、構造テンソルを算出する際に、各バンドの特性を考慮せず、単純に勾配の総和により、構造テンソルを算出している。このため、図１に示した特許文献１の画像処理システムでは、特定のバンドに含まれている重要な情報が、出力されるカラー画像に反映されないという課題がある。
　次に、本発明の課題について具体例を用いて説明する。以下では、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあり、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像ではノイズが少なく遠方の風景が鮮明に撮影されている、場合を例にとって説明する。
　この場合、霧領域においては、近赤外画像の方が鮮明な画像となっているため、近赤外画像の勾配をもとに出力されるカラー画像を生成することが望ましい。しかしながら、図１に示した特許文献１の画像処理システムでは、可視画像から算出された勾配と、近赤外画像から算出された勾配の総和として構造テンソルを算出する。このため、図１に示した特許文献１の画像処理システムでは、結果として、出力されるカラー画像は、入力した可視画像の勾配情報の影響により不鮮明な画像となる。
［実施の形態] 
　次に、発明を実施するための形態について図面を参照して詳細に説明する。
[構成の説明]
　図２は、本発明の実施の形態に係る画像処理システムの概略構成を示すブロック図である。
　図２を参照すると、本発明の実施の形態に係る画像処理システムは、画像入力部１００と、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）２００と、画像出力手段３００とから成る。
　コンピュータ（中央処理装置；プロセッサ；データ処理装置）２００は、バンド重み決定部２１０と、勾配制約算出部２２０と、画像最適化部２３０とから成る。さらに、図３に示されるように、画像最適化部２３０は、勾配最適化部２３１と、画素値最適化部２３２とから成る。
　これらの手段は、それぞれ概略、次のように動作する。
　画像入力部１００には、カメラなどによって得られた画像が入力される。入力する画像としては、カラー画像とその他のセンサから取得された画像とを別々に入力してもよい。そして、画像入力部１００は、入力された画像をメモリ（図示せず）等に記録する。
　ここで、以下では、入力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi，Biと表すこととする。また、これらの成分をまとめて、
Figure JPOXMLDOC01-appb-M000001
 と表すこととする。さらに、入力カラー画像以外の他のセンサから取得された画像が存在する場合には、その画像についても、i番目の画素の画素値を下付き添え字を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、i番目の近赤外画像の画素値をNiと表せばよい。
　また、合成画像についても入力画像と同様に、各画素の画素値をラスタスキャン順に並べた行列により表すこととする。より具体的には、出力カラー画像としてＲＧＢ画像を考えた場合、i番目の画素の赤，緑，青の画素値をRi,Gi,Biと表すこととする。
　画像出力部３００は、再構成画像を出力する出力装置である。画像出力部３００は、例えば、ディスプレイ装置などによって実現される。
　バンド重み決定部２１０は、画像入力部１００にて入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定する。重みを決定する方法としては、例えば、各バンドの重要度を、利用者がパラメータとして予め与えてもよいし、機械学習などの技術を用いて、自動的に算出してもよい。また、各バンドの重要度は、画像全体で同じであってもよいし、画素毎に異なる値を用いてもよい。
　以下では、各バンドの重要度が画素毎に異なる値を持つ場合の例として、次の場合を例にとって説明する。まず、多バンドの画像群として、霧領域が撮影された可視画像と近赤外画像とがあるとする。そして、可視画像では霧領域が不鮮明でノイジーであるが、近赤外画像では、ノイズが少なく、遠方の風景が鮮明に撮影されているとする。
　この場合、バンド重み決定部２１０は、霧領域でのみ近赤外画像のバンドの重要度が大きくなるように設定し、それ以外の領域では、可視画像（すなわちＲＧＢ）のバンドの重要度が大きくなるように設定すればよい。
　以下では、バンド重み決定部２１０にて決定したi番目のバンド重みを、各バンドの重みを対角成分として持つバンド重み行列
Figure JPOXMLDOC01-appb-M000002
 を用いて表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明する。この場合、i番目のＲＧＢ及び近赤外画像の重みをWRi，WGi，WBi，WNiと決定した場合、i番目のバンド重み行列
Figure JPOXMLDOC01-appb-M000003
 を、例えば以下の数４のように表せばよい。
Figure JPOXMLDOC01-appb-M000004
　勾配制約算出部２２０は、画像入力部１００にて入力された入力画像群と、バンド重み決定部２１０にて得られた各バンドの重要さを表すバンド重み行列
Figure JPOXMLDOC01-appb-M000005
 より、出力カラー画像の勾配を制約する構造テンソル
Figure JPOXMLDOC01-appb-M000006
 を画素毎に算出する。構造テンソルを算出するために、勾配制約算出部２２０は、まず、入力画像群より、画像空間における垂直方向と水平方向の微分値を算出する。
　以下では、i番目の画素の勾配を以下の勾配行列
Figure JPOXMLDOC01-appb-M000007
 により表すこととする。例えば、入力カラー画像に加え、近赤外画像を入力する場合を例にとって説明すると、勾配制約算出部２２０は、i番目の勾配行列
Figure JPOXMLDOC01-appb-M000008
 を、以下の数９のように算出すればよい。
Figure JPOXMLDOC01-appb-M000009
 ここで、∇ｘは、水平方向の微分値であり、∇ｙは垂直方向の微分値である。
　次に、勾配制約算出部２２０は、各バンドの重要さを表すバンド重み行列
Figure JPOXMLDOC01-appb-M000010
 と勾配行列
Figure JPOXMLDOC01-appb-M000011
 とを用いて、構造テンソル
Figure JPOXMLDOC01-appb-M000012
 を、以下の数１３のように算出すればよい。
Figure JPOXMLDOC01-appb-M000013
　画像最適化部２３０は、出力する合成画像から算出した構造テンソルに相当する値が、勾配制約算出部２２０にて算出した構造テンソル
Figure JPOXMLDOC01-appb-M000014
 となるべく一致し、さらに入力カラー画像の色と出力カラー画像の色がなるべく一致するように、合成画像を生成する。
　以下では、合成画像を
Figure JPOXMLDOC01-appb-M000015
 で表す。合成画像は画素毎にＲＧＢの３つの成分を持つため、
Figure JPOXMLDOC01-appb-M000016
 は、合成画像の画素数がＮである場合、Ｎ×３の行列となる。
　以下では、画像最適化部２３０は、具体的には、例えば、以下の数１８で表される最適化関数を
Figure JPOXMLDOC01-appb-M000017
 について最小化することで、合成画像を生成すればよい。
Figure JPOXMLDOC01-appb-M000018
 ここで、数１８の右辺第一項は、勾配制約算出部２２０にて算出した構造テンソル
Figure JPOXMLDOC01-appb-M000019
 と、合成画像から算出した構造テンソルに相当する値
Figure JPOXMLDOC01-appb-M000020
 が一致するように制約する項である。なお、添え字のFは、行列のフロベニウスノルムを意味している。
　また、数１８の右辺第二項は、入力カラー画像と合成画像の色がなるべく一致するように制約する項であり、行列
Figure JPOXMLDOC01-appb-M000021
 は、色の一致の程度を調整する行列である。例えば、色の輝度成分に比べ、式差成分については、入力カラー画像と合成画像をより強く一致させるためには、行列
Figure JPOXMLDOC01-appb-M000022
 は、例えば以下の数２３のように与えればよい。
Figure JPOXMLDOC01-appb-M000023
 ただしここで、
Figure JPOXMLDOC01-appb-M000024
 は、色空間を変換する行列であり、例えば、ｓＲＧＢ色空間からＹＵＶ色空間に変換する行列などを用いればよい。
　数１８の右辺第三項は、入力画像の画素値と、合成画像の画素値をなるべく一致させるための項である。なお、下付き添え字の「２」は、ベクトルのL2ノルムを意味している。ここで、α，ε，δは利用者があらかじめ決定したパラメータである。
　そして、画像最適化部２３０は、数１８で表される最適化関数を
Figure JPOXMLDOC01-appb-M000025
 について最小化するために、さらに勾配最適化部２３１と、画素値最適化部２３２から成る。
　そして、画像最適化部２３０では、勾配最適化部２３１と画素値最適化部２３２とを用いて、画像の勾配
Figure JPOXMLDOC01-appb-M000026
 と画素値
Figure JPOXMLDOC01-appb-M000027
 を交互に最適化する。より具体的には、画像最適化部２３０は、
Figure JPOXMLDOC01-appb-M000028
 について最適化するために、
Figure JPOXMLDOC01-appb-M000029
 の勾配、すなわち
Figure JPOXMLDOC01-appb-M000030
 を画素毎に独立に最小化する。そのために、勾配最適化部２３１は、数１８で表される最適化関数を、以下の数３１のように拡張する。
Figure JPOXMLDOC01-appb-M000031
ここで、数１８では、
Figure JPOXMLDOC01-appb-M000032
 についての最適化関数であったが、数３１では、
Figure JPOXMLDOC01-appb-M000033
 に加え
Figure JPOXMLDOC01-appb-M000034
 を同時に最適化する。
　ここで、数３１の右辺第１項，第３項，第４項は、数１８と同等であるため、説明を省略する。
　数３１の右辺第２項は、
Figure JPOXMLDOC01-appb-M000035
 と
Figure JPOXMLDOC01-appb-M000036
 が一致するように制約するための項であり、βは、勾配最適化部２３１と画素値最適化部２３２にて、画像の勾配
Figure JPOXMLDOC01-appb-M000037
 と画素値
Figure JPOXMLDOC01-appb-M000038
 を交互に最適化するたびに大きくなるパラメータであり、最終的には非常に大きな値をもつパラメータである。
　なお、βが大きくなる場合には、
Figure JPOXMLDOC01-appb-M000039
 と
Figure JPOXMLDOC01-appb-M000040
 がほぼ一致するように、画像最適化部２３０は動作するため、数３１を
Figure JPOXMLDOC01-appb-M000041
 及び
Figure JPOXMLDOC01-appb-M000042
 で最適化することで、数１８を
Figure JPOXMLDOC01-appb-M000043
 について最適化することと同等になる。
　勾配最適化部２３１では、例えば、数３１の
Figure JPOXMLDOC01-appb-M000044
 に相当する部分だけを、画素毎に最小化すればよい。より具体的には、勾配最適化部２３１は、例えば以下の数４６を
Figure JPOXMLDOC01-appb-M000045
 について最小化することで、合成画像の勾配を算出すればよい。
Figure JPOXMLDOC01-appb-M000046
　勾配最適化部２３１では、
Figure JPOXMLDOC01-appb-M000047
 に相当する部分は、画素毎に独立に算出できるため、例えば並列計算などの技術を用いることで
Figure JPOXMLDOC01-appb-M000048
 を高速に算出することができる。
　次に、画素値最適化部２３２では、例えば、数３１の
Figure JPOXMLDOC01-appb-M000049
 に相当する部分だけを、以下の数５０で示されるように、画像全体で最小化すればよい。
Figure JPOXMLDOC01-appb-M000050
　なお、画素値最適化部２３２において、
Figure JPOXMLDOC01-appb-M000051
 に相当する部分は、２次形式になっているため、例えばフーリエ変換などを用いることで、画像の画素値を高速に算出することができる。
　以上のように、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、数１８に加え新しい補助変数
Figure JPOXMLDOC01-appb-M000052
 を追加し、数３１に相当する最適化関数を構成し、画素毎に独立に最適化が可能な部分（数４６）と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分（数５０）とに分離することで、数１８に相当する最適化関数の最小化を効率的に行うことができる。
[動作の説明]
　次に、図４のフローチャートを参照して、本実施の形態に係る画像処理システムの全体の動作について詳細に説明する。
　まず、画像入力部１００にて、カラー画像と複数センサから取得された多バンド画像とを入力する（ステップＳ２００）。
　次に、バンド重み決定部２１０にて、各バンドの重要度を決定する（ステップＳ２０１）。
　さらに、勾配制約算出部２２０にて、構造テンソル
Figure JPOXMLDOC01-appb-M000053
 を算出する（ステップＳ２０２）。
　勾配最適化部２３１にて、合成画像の勾配に相当する補助変数
Figure JPOXMLDOC01-appb-M000054
 を、例えば数４６を用いて最適化する（ステップＳ２０３）。
　次に、画素値最適化部２３２にて、合成画像の画素値
Figure JPOXMLDOC01-appb-M000055
 を、例えば数５０を用いて最適化する（ステップＳ２０４）。
　次に、画像最適化部２３０は、補助変数
Figure JPOXMLDOC01-appb-M000056
 と合成画像の画素値
Figure JPOXMLDOC01-appb-M000057
 とが一致させることを制約するパラメータβの値を増加させる（ステップ２０５）。
　次に、画像最適化部２３０は、画素値
Figure JPOXMLDOC01-appb-M000058
 の値が十分に収束しているかを判定する（ステップＳ２０６）。もしも、十分に画素値
Figure JPOXMLDOC01-appb-M000059
 の値が収束していない場合（ステップＳ２０６のＮｏ）、画像最適化部２３０は、再度、ステップＳ２０３からＳ２０５までの処理を繰り返し行う（ステップＳ２０６）。
　もしも、画素値
Figure JPOXMLDOC01-appb-M000060
 の値が十分に収束していれば（ステップＳ２０６のＹｅｓ）、その画素値からなる合成画像を画像出力部３００にて出力する（ステップＳ２０７）。
[効果の説明] 
　次に、本実施の形態の効果について説明する。
　本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まる重要な情報が集約された合成画像を生成することができる。その理由は、バンド重み決定部２１０にて、入力した入力画像のうち、どのバンドが重要であるかを表す重みを決定し、勾配制約算出部２２０で、決定したバンド重みを用いて構造テンソルを算出することで、そのバンドの勾配情報がより反映された合成画像を生成できるためである。
　さらに、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することできる。その理由は、画像最適化部２３０は、勾配最適化部２３１と画素値最適化部２３２とを有し、本来の最適化関数に補助変数を追加した最適化関数を構成し、さらに画素毎に独立に最適化が可能な部分と、フーリエ変換などの画像変換を用いて画像全体で効率的に計算が可能な部分とに分離し、これらを交互に最適化することで、本来の最適化関数の最小化を効率的に行うことができるためである。
　尚、画像処理システムの各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該プログラムは、コンピュータ読取可能な記録媒体に記録されて頒布されても良い。当該コンピュータ読取可能な記録媒体に記録されたプログラムは、有線、無線、又はコンピュータ読取可能な記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、コンピュータ読取可能な記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
　上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させるコンピュータを、ＲＡＭに展開された画像処理プログラムに基づき、バンド重み決定部２１０、勾配制約算出部２２０、および画像最適化部２３０として動作させることで実現することが可能である。
　以上説明したように、本発明の実施の形態によれば、性質の異なる複数の画像から、各々のバンドに含まれる重要な情報が集約された合成画像を生成することができる。また、本発明の実施の形態によれば、出力画像の勾配と、出力画像の画素値とを交互に最適化することで、より高速かつ高精度に合成画像を生成することが可能となる。
　また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。例えば、上記実施の形態では、画像の勾配をもとに算出された量として、構造テンソルを用いているが、それに限定されないのは勿論である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　本発明を用いることで、例えば、衛星画像といった画像を、画像分析者が分析する際に、画像解析者が最適と思う画質になるように、バンド重み決定部にて、入力した入力画像のうちどのバンドが重要であるかを表す重みを決定することで、調整することができる。
　また、医療画像を医療従事者、研究者等が分析する際にも同様に、分析者が最適と思う画質を、バンド重み決定部にて重みを調整し、その画像を分析する、といった用途にも適用可能である。
　さらに，本発明を用いることで、それらの各画像分析者が調整したバンド重みを、他の画像分析者が利用することで、各画像分析者の画像分析に対する経験やノウハウを共有する、といった用途にも適用できる。
　この出願は、２０１５年６月２６日に出願された日本特許出願２０１５－１２９１２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　１００　　画像入力部
　　２００　　コンピュータ（中央処理装置；プロセッサ；データ処理装置）
　　２１０　　バンド重み決定部
　　２２０　　勾配制約算出部
　　２３０　　画像最適化部
　　２３１　　勾配最適化部
　　２３２　　画素値最適化部
　　３００　　画像出力部
 
 

Claims (18)

  1. 　複数のセンサより取得された画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手段と、
    　前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手段と、
    　前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化手段と、
    を含む画像処理システム。
  2. 　前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項１に記載の画像処理システム。
  3. 　前記画像最適化手段は、
    　前記出力画像の勾配を画素毎に独立に最適化する勾配最適化手段と、
    　前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化手段と、
    を含む請求項１又は２に記載の画像処理システム。
  4. 　前記重み決定手段は、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項１から３の何れか１つに記載の画像処理システム。
  5. 　前記重み決定手段は、各バンドの重要度を画素毎に決定する、請求項１から４の何れか１つに記載の画像処理システム。
  6. 　前記算出手段は、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出する、請求項１から５の何れか１つに記載の画像処理システム。
  7. 　複数のセンサより取得された画像群を解析して、１枚の画像を得る画像処理システムの画像処理方法であって、
    　重み決定部が、前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定工程と、
    　算出部が、前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出工程と、
    　画像最適化部が、前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化工程と、
    を含む画像処理方法。
  8. 　前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項７に記載の画像処理方法。
  9. 　前記画像最適化工程は、
    　勾配最適化部が、前記出力画像の勾配を画素毎に独立に最適化する勾配最適化工程と、
    　画素値最適化部が、前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化工程と、
    を含む請求項７又は８に記載の画像処理方法。
  10. 　前記重み決定工程では、前記重み決定部が、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出する、請求項７から９の何れか１つに記載の画像処理方法。
  11. 　前記重み決定工程では、前記重み決定部が各バンドの重要度を画素毎に決定する、請求項７から１０の何れか１つに記載の画像処理方法。
  12. 　前記算出工程では、前記算出部が、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出する、請求項７から１１の何れか１つに記載の画像処理方法。
  13. 　コンピュータに、複数のセンサより取得された画像群を解析させて、１枚の画像を得させる画像処理システムの画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、前記画像処理プログラムは、前記コンピュータに、
    　前記画像群から、重要な情報を含むバンドを決定し、そのバンドの重要度を重みとして表現する重み決定手順と、
    　前記重みを用いて、前記画像群から算出された各画像の勾配から、出力画像の勾配を制約するために、画像の勾配をもとに算出された量を算出する算出手順と、
    　前記画像の勾配をもとに算出された量を用いて、前記出力画像を合成する画像最適化手順と、
    を実行させるコンピュータ読取可能な記録媒体。
  14. 　前記画像の勾配をもとに算出された量が、構造テンソルから成る、請求項１３に記載のコンピュータ読取可能な記録媒体。
  15. 　前記画像最適化手順は、前記コンピュータに、
    　前記出力画像の勾配を画素毎に独立に最適化する勾配最適化手順と、
    　前記最適化された勾配を用いて画像全体で前記出力画像の画素値を最適化する画素値最適化手順と、
    を実行させる請求項１３又は１４に記載のコンピュータ読取可能な記録媒体。
  16. 　前記重み決定手順は、前記コンピュータに、各バンドの重要度を、パラメータとして予め与えるか、又は機械学習技術を用いて自動的に算出させる、請求項１３から１５の何れか１つに記載のコンピュータ読取可能な記録媒体。
  17. 　前記重み決定手順は、前記コンピュータに、各バンドの重要度を画素毎に決定させる、請求項１３から１６の何れか１つに記載のコンピュータ読取可能な記録媒体。
  18. 　前記算出手順は、前記コンピュータに、各バンドの重要度を表すバンド重み行列と、各画素の勾配を表す勾配行列とを用いて、前記画像の勾配をもとに算出された量を算出させる、請求項１３から１７の何れか１つに記載のコンピュータ読取可能な記録媒体。
     
PCT/JP2016/002813 2015-06-26 2016-06-10 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体 WO2016208142A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/738,189 US11010876B2 (en) 2015-06-26 2016-06-10 Image processing system, image processing method, and computer-readable recording medium
JP2017524597A JP6826277B2 (ja) 2015-06-26 2016-06-10 画像処理システム、画像処理方法、および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015129122 2015-06-26
JP2015-129122 2015-06-26

Publications (1)

Publication Number Publication Date
WO2016208142A1 true WO2016208142A1 (ja) 2016-12-29

Family

ID=57585522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002813 WO2016208142A1 (ja) 2015-06-26 2016-06-10 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体

Country Status (3)

Country Link
US (1) US11010876B2 (ja)
JP (1) JP6826277B2 (ja)
WO (1) WO2016208142A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706188A (zh) * 2019-09-23 2020-01-17 北京航天宏图信息技术股份有限公司 一种影像融合方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656107B (zh) * 2019-01-30 2020-05-26 北京理工大学 一种采用变换l1范数约束的光刻光源图形优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224971A (ja) * 2008-03-14 2009-10-01 Omron Corp 画像処理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778698B1 (en) * 1999-06-11 2004-08-17 Pts Corporation Method and apparatus for digital image segmentation
EP1530156B1 (en) * 2003-11-07 2012-03-14 Mitsubishi Electric Information Technology Centre Europe B.V. Visual object detection
US8233705B2 (en) * 2008-10-03 2012-07-31 Eastman Kodak Company Potential field-based gamut mapping
JP2010103740A (ja) 2008-10-23 2010-05-06 Panasonic Corp デジタルカメラ
GB0914982D0 (en) 2009-08-27 2009-09-30 Univ East Anglia Methods and apparatus for generating accented image data
US8903130B1 (en) * 2011-05-09 2014-12-02 Google Inc. Virtual camera operator
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
CN104700381B (zh) * 2015-03-13 2018-10-12 中国电子科技集团公司第二十八研究所 一种基于显著目标的红外与可见光图像融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009224971A (ja) * 2008-03-14 2009-10-01 Omron Corp 画像処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIN YOSHIZAWA ET AL.: "Seamless Cloning with Texture Restoration via Poisson Image Analogy", IPSJ SIG NOTES COMPUTER GRAPHICS AND CAD(CG, vol. 2014 -CG, no. 6, 13 February 2014 (2014-02-13), pages 1 - 10 *
TAKASHI SHIBATA ET AL.: "Kashi Gazo to Kinsekigai Gazo no Togo ni yoru Gazo no Shininsei Kojo", SSII2015 DAI 21 KAI SYMPOSIUM ON SENSING VIA IMAGE INFORMATION KOEN RONBUNSHU, 10 June 2015 (2015-06-10), pages 1 - 6 *
YOSUKE NAGATOMO ET AL.: "A Fast Poisson Image Synthesis Algorithm using Image Subsampling and Gradient-based Interpolation", IEICE TECHNICAL REPORT, vol. 114, no. 172, 25 July 2014 (2014-07-25), pages 47 - 52 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706188A (zh) * 2019-09-23 2020-01-17 北京航天宏图信息技术股份有限公司 一种影像融合方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20180174282A1 (en) 2018-06-21
JPWO2016208142A1 (ja) 2018-04-12
JP6826277B2 (ja) 2021-02-03
US11010876B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
Maurer How to pan-sharpen images using the gram-schmidt pan-sharpen method–A recipe
JP4767718B2 (ja) 画像処理方法および装置ならびにプログラム
JP2019534520A (ja) 画像処理用のニューラルネットワークモデルのトレーニング方法、装置、及び記憶媒体
US20060269270A1 (en) Photography apparatus, photography method and photography program
JP7328096B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
US20150332434A1 (en) Demosaicking System and Method for Color array Based Multi-Spectral Sensors
JP2010062672A (ja) 画像処理装置およびその方法
WO2021106853A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム
JP6909979B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP2018036960A (ja) 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体
JP7370922B2 (ja) 学習方法、プログラム及び画像処理装置
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
WO2016208142A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ読取可能な記録媒体
US11543644B2 (en) Digital imaging device and method for generating a digital color image
JP4615430B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP6835227B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム
JP5846885B2 (ja) 画像処理装置及び画像処理方法
JP6230504B2 (ja) 画像処理装置、方法、及びプログラム
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP2011095110A (ja) 光源推定装置および光源推定方法
US20230088317A1 (en) Information processing apparatus, information processing method, and storage medium
US10943561B2 (en) Image data display system, image data display method, and image data display program recording medium
Barzel et al. SEL-CIE: Knowledge-Guided Self-Supervised Learning Framework for CIE-XYZ Reconstruction from Non-Linear sRGB Images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813916

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524597

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15738189

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16813916

Country of ref document: EP

Kind code of ref document: A1