WO2021145168A1 - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
WO2021145168A1
WO2021145168A1 PCT/JP2020/047917 JP2020047917W WO2021145168A1 WO 2021145168 A1 WO2021145168 A1 WO 2021145168A1 JP 2020047917 W JP2020047917 W JP 2020047917W WO 2021145168 A1 WO2021145168 A1 WO 2021145168A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
value
color camera
temperature
Prior art date
Application number
PCT/JP2020/047917
Other languages
English (en)
French (fr)
Inventor
二郎 大野
Original Assignee
みどり精密工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by みどり精密工業株式会社 filed Critical みどり精密工業株式会社
Publication of WO2021145168A1 publication Critical patent/WO2021145168A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F27—FURNACES; KILNS; OVENS; RETORTS
    • F27D—DETAILS OR ACCESSORIES OF FURNACES, KILNS, OVENS, OR RETORTS, IN SO FAR AS THEY ARE OF KINDS OCCURRING IN MORE THAN ONE KIND OF FURNACE
    • F27D21/00—Arrangements of monitoring devices; Arrangements of safety devices
    • F27D21/02—Observation or illuminating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44—Electric circuits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present invention relates to an image generator and an image generation method for generating an image of a high temperature object.
  • the target is the inside of an electric furnace for steelmaking at a temperature of 1000 ° C. or higher.
  • Patent Document 1 discloses an automatic operation control method for a melting furnace, which includes a step of photographing the vicinity of the surface of the melting slag of the melting furnace with a TV camera to obtain an electronic image.
  • Patent Document 1 has the following description.
  • the operation control method of the present invention can preferably include the following features.
  • the predetermined temperature is about 1300 ° C.
  • the step of distinguishing the high temperature region from the low temperature region is an electronic image.
  • the high temperature region is an image portion having a brightness equal to or higher than a predetermined value
  • the low temperature region is an image portion having a brightness less than a predetermined value ((c).
  • the step of distinguishing the high temperature region from the low temperature region is determined by the chromaticity of the electronic image.
  • the high temperature region is an image portion having a predetermined chromaticity, and the low temperature region does not have a predetermined chromaticity. It is an image part. " As described above, in Patent Document 1, the image is used to estimate the temperature of the object including the high temperature region.
  • Patent Document 2 has a furnace body in which the inner wall of the furnace formed of an insulating refractory is covered with an iron skin, and a plasma arc is generated between a main electrode and a furnace bottom electrode inserted facing the furnace body. It discloses an operation control method of a plasma arc type melting furnace in which the inside of the furnace is kept at a high temperature. Patent Document 2 has the following description.
  • “Plasma arc type melting furnace 50 having such a configuration generally uses cyclic graphite electrodes, and a voltage is applied between the electrodes while supplying plasma arc generating gas into the furnace to generate a plasma arc.
  • the material to be melted is melted.
  • the temperature inside the furnace is maintained at 1000 ° C. or higher, and a slag layer consisting of a slag layer and a metal layer in which the material to be melted is melted is formed in layers at the bottom of the furnace.
  • the plasma arc generated in the melting furnace has an inherent emissivity, and the amount of infrared radiation differs depending on the emissivity and temperature. Therefore, the plasma arc detecting means is an infrared image captured by the infrared camera.
  • the signal is taken into the image processing device, the image processing device generates a shade image with the infrared emissivity as the brightness value from the infrared image signal, and the plasma arc state such as the plasma arc shape and temperature distribution is analyzed based on this image data. It is configured to be. " As described above, in Patent Document 2, the infrared camera generates a shade image in which the infrared radiation amount is used as the brightness value.
  • images of objects with a high temperature of 1000 ° C or higher are mainly used for temperature estimation, and image generators and image generators that generate clear monochrome images of objects with a high temperature of 1000 ° C or higher, such as inside an electric furnace for steelmaking.
  • the method was not developed.
  • the clear monochrome image described above is particularly useful for image analysis.
  • a technical object of the present invention is to provide an image generation device and an image generation method for generating a clear monochrome image of a high temperature object.
  • the image generator includes a dimming filter, an infrared cut filter, a color camera, and a processor.
  • the processor is connected to the color camera, and using the image data received from the color camera, each pixel is the sum of the values obtained by multiplying the R value, the G value, and the B value of each pixel by weights. It is configured to generate a monochrome image of the target with the value of.
  • the image generator of this embodiment includes a dimming filter and an infrared cut filter, it is possible to prevent halation of the color camera from occurring, and to effectively function the gain adjustment and the exposure time adjustment of the color camera. Further, in the image generation device of this embodiment, the processor uses the image data received from the color camera and adds the values obtained by multiplying the R value, the G value, and the B value of each pixel by weights, respectively.
  • the image generation device of the first embodiment of the first aspect of the present invention further includes a display, and is configured so that the weight can be adjusted while observing the image on the display.
  • the dimming filter is an ND filter having a wavelength range of 400-700 nanometers.
  • the image generation method of the second aspect of the present invention includes a step of generating image data of a target having a maximum temperature of 1000 ° C. or higher while suppressing halation by using a dimming filter, an infrared cut filter, and a color camera.
  • the processor is configured to generate a monochrome image of the target whose value is the sum of the R value, G value, and B value of each pixel multiplied by weights from the image data. Has been done.
  • the dimming filter and the infrared cut filter can be used to prevent the occurrence of halation of the color camera, and the gain adjustment and the exposure time adjustment of the color camera can be effectively functioned.
  • a monochrome image in which the value obtained by adding weights to the R value, G value, and B value of each pixel from the image data is used as the value of each pixel by the processor. Since it is generated, by appropriately determining the weight of each, as an example, when an image of a high-temperature steelmaking electric furnace is imaged, an object in a wide temperature range from a relatively low temperature furnace wall part to a relatively high temperature furnace bottom part. A clear monochrome image can be obtained.
  • the image generation method of the first embodiment of the second aspect of the present invention when the image data of the object is generated, only the R value is partially saturated in a relatively high temperature region, and the G value and B are The dimming filter is selected so that the values do not saturate over the entire temperature range.
  • the output of the R pixel does not change in the region where the R pixel is saturated, but the output of the G pixel and the B pixel changes and the color changes, and the image is bright over a wide temperature range. Is realized.
  • FIG. 1 It is a figure which shows the structure of the image generation apparatus by one Embodiment of this invention. It is a figure which shows one Embodiment of the structure of a color camera and ancillary member. It is a figure which shows one Embodiment of the structure of a color camera. It is a figure which shows the structure of a color camera, a processor and a display. It is a flow chart for demonstrating the function of the image generation apparatus by one Embodiment of this invention. It is a figure which shows the transmittance of the R, G and B filters and the quantum efficiency (wavelength sensitivity) of a CMOS element.
  • FIG. 1 is a diagram showing a configuration of an image generator 1000 according to an embodiment of the present invention.
  • the image generator 1000 includes a dimming filter 110, an infrared cut filter 120, a color camera 200, a processor 310, and a display 320.
  • the dimming filter 110, the infrared cut filter 120, and the color camera 200 are housed in a dustproof / heat resistant case 251 as will be described later.
  • FIG. 2 is a diagram showing an embodiment of the configuration of the color camera 200 and the incidental members.
  • the color camera 200 is housed in a dustproof / heat-resistant case 251 provided with a wall surface including a heat insulating material.
  • a power supply and a temperature sensor 253 are further provided in the dustproof / heat resistant case 251.
  • the color camera 200 and the temperature sensor 253 are connected to an external device such as the processor 310 via the connector 255.
  • Cooling air is sent from the air cooler 259 to the dustproof / heat resistant case 251 via the cooling air nozzle 257.
  • High-pressure air is supplied to the air cooler 259 through the supply port 261.
  • the dustproof / heat resistant case 251 is provided with an opening 2511 for the color camera 200.
  • the diameter of the aperture 2511 is 10 millimeter
  • the viewing angle of the color camera 200 is 90 degrees.
  • the dimming filter 110 and the infrared cut filter 120 may be arranged between the opening 2511 and the color camera 200 in the dustproof / heat resistant case 251.
  • the neutral density filter 110 is a so-called ND (Neutral Density) filter, which has a constant transmittance in the visible light range of 400-700 nanometers and uniformly reduces the amount of light.
  • ND Neutral Density
  • the infrared cut filter 120 is formed so as to transmit light in the wavelength range of 400-700 nanometers.
  • FIG. 3 is a diagram showing an embodiment of the configuration of the color camera 200.
  • the color camera 200 includes an optical system 210, an imaging system 220, a signal processing system 230, and a control system 240.
  • the optical system 210, the imaging system 220, the signal processing system 230, and the control system 240 will be described later with reference to FIG.
  • the dimming filter 110 and the infrared cut filter 120 are arranged between the optical system 210 and the imaging system 220. Further, the optical system 210 is partially covered with the cover 211. As shown in FIG. 1, the dimming filter 110 and the infrared cut filter 120 may be arranged on the object side of the color camera 200.
  • FIG. 4 is a diagram showing the configurations of the color camera 200, the processor 310, and the display 320.
  • the optical system 210 of the color camera 200 includes a lens, an aperture, and the like, and supplies light rays from an imaging target to the imaging system 220.
  • the aperture is fixed.
  • the imaging system 220 of the color camera 200 is composed of a CMOS element having an R (red), G (green) or B (blue) filter attached to its surface.
  • CMOS elements to which R, G and B filters are attached are referred to as R pixel, G pixel and B pixel, respectively.
  • the R pixel, G pixel, and B pixel are regularly and discretely arranged on the light receiving surface.
  • the outputs of the R pixel, G pixel, and B pixel generated by the light beam from the outside are A / D converted and then supplied to the signal processing system 230.
  • the signal processing system 230 of the color camera 200 generates image data based on the signal supplied from the imaging system 220.
  • the control system 240 of the color camera 200 automatically adjusts the analog gain and the exposure time of the CMOS image sensor of the image pickup system 220 based on the information from the signal processing system 230.
  • the signal processing system 230 receives the output values of the R pixel, the G pixel, and the B pixel from the image pickup system 220 as a time series signal.
  • the signal processing system 230 processes this time-series signal to generate image data.
  • the image data is composed of RGB values of each pixel of the image.
  • the processor 310 may be a personal computer as an example.
  • the processor 310 receives image data from the color camera 200.
  • the processor 310 is connected to a display 320 for image output.
  • FIG. 5 is a flow chart for explaining the function of the image generator 1000 according to the embodiment of the present invention.
  • step S1010 of FIG. 5 the color camera 200 generates image data.
  • FIG. 6 is a diagram showing the transmittance of the R, G and B filters and the quantum efficiency (wavelength sensitivity) of the CMOS element.
  • the horizontal axis of FIG. 6 indicates the wavelength of light, and the unit is a nanometer.
  • the vertical axis of FIG. 6 shows the transmittance of the R, G, and B filters (scale on the left side) and the quantum efficiency of the CMOS element (scale on the right side).
  • Equation (4) is Planck's equation.
  • ⁇ is the wavelength of light
  • T is the absolute temperature of the furnace
  • k is the Boltzmann constant.
  • a, b1 and b2 represent constants.
  • fr', fg', and fb' are the products of the transmittance fr, fg, and fb of the filters of R pixel, G pixel, and B pixel and the quantum efficiency (QE) of the CMOS element, respectively, and are a function of the wavelength ⁇ .
  • R (T), G (T), and B (T) are 8-bit output signals of R pixels, G pixels, and B pixels of a color camera at an absolute temperature T.
  • the transmittances of the R, G and B filters are almost the same in the wavelength region longer than 800 nanometers. It is considered that the transmittance in this wavelength region depends on the wavelength transmission characteristics of the glass and the laminated structure of the filter. As a result, in the wavelength region longer than 800 nanometers, the influence of infrared light on the R pixel, G pixel, and B pixel becomes similarly large.
  • FIG. 7 is a diagram showing the relationship between the temperature and the output of the R pixel, G pixel, and B pixel of the color camera to which the filter is not attached, and the relationship between the temperature and the color obtained by the color camera.
  • the horizontal axis of the graph on the left side of FIG. 7 indicates the temperature (° C.), and the vertical axis of the graph on the left side of FIG. 7 expresses the 8-bit output of the R pixel, G pixel, and B pixel of the color camera. ) Is shown.
  • the output is defined so that the maximum value of the output of the largest R pixel among the outputs of the R pixel, the G pixel, and the B pixel is the upper limit (256).
  • FIG. 8 shows the relationship between the temperature and the output of the R pixel, G pixel, and B pixel of a color camera equipped with an infrared light cut filter that cuts light having a wavelength exceeding 700 nanometers, and the temperature and the color obtained by the color camera. It is a figure which shows the relationship of.
  • the horizontal axis of the graph on the left side of FIG. 8 indicates the temperature (° C.), and the vertical axis of the graph on the left side of FIG. 8 expresses the 8-bit output of the R pixel, G pixel, and B pixel of the color camera. ) Is shown.
  • the output is defined so that the maximum value of the output of the largest R pixel among the outputs of the R pixel, the G pixel, and the B pixel is the upper limit (256). According to the figure on the right side of FIG. 8, the image becomes red at 1500 ° C., but the image becomes dark and difficult to see at 1300 ° C. or lower.
  • FIG. 9 shows the relationship between the temperature and the output of the R pixel, G pixel, and B pixel of a color camera equipped with an infrared light cut filter and a dimming filter that cuts light having a wavelength exceeding 700 nanometers, and the temperature and the color camera. It is a figure which shows the relationship with the obtained color.
  • the horizontal axis of the graph on the left side of FIG. 9 indicates the temperature (° C.), and the vertical axis of the graph on the left side of FIG. 9 expresses the 8-bit output of the R pixel, G pixel, and B pixel of the color camera. ) Is shown.
  • the output is defined so that the maximum value of the output of the largest R pixel among the outputs of the R pixel, the G pixel, and the B pixel is the upper limit (256).
  • the dimming filter is set so that the output of the R pixel is partially saturated in a relatively high temperature region and the output of the other pixels is not saturated in the entire temperature region. Specifically, the transmittance of the dimming filter 110 was set to 10%. According to the figure on the right side of FIG. 9, a bright image is realized over a wide temperature range. When the temperature exceeds 1350 ° C., the output of the R pixel is saturated and does not change, but the output of the G pixel and the B pixel changes and the color changes.
  • FIG. 10 is a diagram showing a blackbody locus on the xy chromaticity diagram.
  • the chromaticity of the figure on the right side of FIG. 9 is similar to the chromaticity of the blackbody locus at the corresponding temperature.
  • the output of the R pixel, G pixel, and B pixel of the color camera equipped with the infrared light cut filter that cuts light with a wavelength exceeding 700 nanometers and the above dimming filter produces a color similar to the visual color. can get.
  • the transmittance of the dimming filter 110 was 10%
  • the median value of the analog gain span was 30%
  • the median value of the exposure time span was 3000 microseconds.
  • the filter and color camera are adjusted so that they receive an appropriate amount of light in the visible light region, the color tone correction function and automatic gain adjustment function of the color camera can be used as designed, and the inside of the furnace can be used. Even if the temperature changes, the color camera's adjustment function enables a clear image to be output.
  • the processor 310 receives image data composed of RGB values of each pixel of the image from the color camera 200 and stores it in the memory.
  • the processor 310 generates R image data, G image data, and B image data from the image data.
  • the R image data, the G image data, and the B image data are data in which the values of each pixel are the R value, the G value, and the B value, respectively.
  • the amount of data of the pixels of the color image including the RGB value is 24 bits, while the amount of data of each pixel of the R image, the G image and the B image is 8 bits.
  • FIG. 11 is a diagram showing an R image of a high-temperature electric furnace for steelmaking.
  • FIG. 12 is a diagram showing a G image of a high-temperature electric furnace for steelmaking.
  • FIG. 13 is a diagram showing a B image of a high-temperature electric furnace for steelmaking.
  • step S1030 of FIG. 5 the processor 310 sets a monochrome image in which the value obtained by multiplying the R value, the G value, and the B value of each pixel by the weights c1, c2, and c3 is the value of each pixel.
  • the pixel positions in the image are represented by (i, j), and the pixel values at the (i, j) position of the R image, G image, B image, and monochrome image are represented by R (i, j) and G (i, respectively, respectively.
  • B (i, j) and M (i, j) the following relationship holds.
  • M (i, j) c1 ⁇ R (i, j) + c2 ⁇ G (i, j) + c3 ⁇ B (i, j)
  • the sum of c1, c2, and c3 is 1.0.
  • the values of c1, c2, and c3 are set so that the monochrome image becomes as clear as possible while displaying and observing the generated monochrome image on the display 320 connected to the processor 310.
  • the values of c1, c2 and c3 are in the range 0 to 0.8, respectively.
  • the values of c1, c2 and c3 are 0.2, 0.5 and 0.3, respectively.
  • the sum of c1, c2 and c3 is 1.0 and the values of c1, c2 and c3 are in the range 0 to 0.8, respectively, respectively.
  • the value may be defined as a function of R value, a function of G value, a function of B value, or a function of the total value of R value, G value, and B value.
  • the sum of c1, c2 and c3 may be a positive constant. Assuming that the positive constant is c0, the values of c1, c2 and c3 are in the range of 0 to 0.8 ⁇ c0, respectively.
  • the amount of data in the pixels of the color image including the RGB values is 24 bits, whereas the amount of data in each pixel of the monochrome image is 8 bits. Therefore, monochrome images are suitable for applications such as image analysis.
  • the processor 310 may display the above R image, G image, B image, and monochrome image on the display 320 so that the operator can observe them.
  • FIG. 14 is a diagram showing a monochrome image of a high-temperature electric furnace for steelmaking generated by the above-mentioned image generation method of the present invention.
  • FIG. 15 is a diagram showing a color image of a high-temperature steelmaking electric furnace generated by a color camera 200 equipped with a dimming filter and an infrared cut filter.
  • a monochrome image having a smaller amount of data than a color image is advantageous for the purpose of image analysis.
  • the image generation device and the image generation method of the present invention it is possible to generate a clear monochrome image suitable for use in image analysis.

Abstract

高温の対象の鮮明なモノクロム画像を生成する画像生成方法を提供する。減光フィルタと、赤外カットフィルタと、カラーカメラと、によって、ハレーションを抑えながら最高温度が１０００℃以上の対象の画像データを生成するステップと、プロセッサによって該画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とする該対象のモノクロム画像を生成するステップと、を含む画像生成方法。

Description

画像生成装置及び画像生成方法
　本発明は、高温の対象の画像を生成する画像生成装置及び画像生成方法に関する。対象は一例として、１０００℃以上の温度の製鋼用電気炉の内部である。
　１０００℃以上の温度の製鋼用電気炉の内部を通常のカラーカメラで撮影すると、取得した画像は色が変化し、または色がにじんだものとなる。その理由はカラーカメラのゲイン調整及び露光時間調整が正常に機能せずハレーションが生じるためである。１０００℃以上の温度の製鋼用電気炉の内部から発生する光のうちでは赤外光の比率が圧倒的に大きい。通常のカラーカメラは可視光フィルタなどのフィルタを備えているがこのようなフィルタは圧倒的に大きな比率の赤外光をカットするには十分ではなく、赤外光がカラーカメラに大きな影響を与える。
　特許文献１は、溶融炉の熔融スラグの表面付近をテレビカメラにより撮影し電子画像を得る工程を含む溶融炉の自動運転制御方法を開示している。特許文献１には以下の記載がある。
　「本発明の運転制御方法は、好ましくは次の特徴を含むことができる。（ａ）所定温度は、約１３００°Ｃである。（ｂ）高温領域を低温領域から区別する工程は、電子画像の部分的明るさに基づいて遂行される。（ｃ）高温領域は、所定値以上の明るさを有する画像部分であり、低温領域は、所定値未満の明るさを有する画像部分である。（ｄ）高温領域を低温領域から区別する工程は、電子画像の色度により決定される。（ｅ）高温領域は、所定色度を有する画像部分であり、低温領域は、所定色度を有しない画像部分である。」
　このように特許文献１において画像は高温領域を含む対象の温度を推定するために使用されている。
　特許文献２は、絶縁性耐火物で形成された炉内壁を鉄皮で被覆した炉本体を有し、該炉本体に対向して挿入した主電極及び炉底電極間にプラズマアークを発生させて炉内を高温に保持してなるプラズマアーク式溶融炉の運転制御方法を開示している。特許文献２には以下の記載がある。
　「かかる構成のプラズマアーク式溶融炉５ ０ は、一般的に環状黒鉛電極が用いられることが多く、炉内にプラズマアーク生成ガスを供給しながら電極間に電圧を印加してプラズマアークを生成し被溶融物を溶融処理する。炉内温度は１０００℃以上に維持され、炉底部には被溶融物が溶融したスラグ層とメタル層とからなる出滓物が層状に形成される。」
　「溶融炉内に発生したプラズマアークは固有の放射率を有しており、この放射率と温度に応じて赤外線放射量が異なる。そこで前記プラズマアーク検知手段は、前記赤外線カメラで撮像した赤外線画像信号を前記画像処理装置に取り込み、該画像処理装置により赤外線画像信号から赤外線放射量を輝度値とした濃淡画像を生成し、この画像データに基づきプラズマアーク形状、温度分布等のプラズマアーク状態を解析する構成とする。」
　このように特許文献２において赤外線カメラによって赤外線放射量を輝度値とした濃淡画像が生成される。
　従来、１０００℃以上の高温の対象の画像は主に温度推定に使用されており、製鋼用電気炉の内部など１０００℃以上の高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法は開発されていなかった。上記の鮮明なモノクロム画像は特に画像解析に有用である。
WO98/054514 JP2004-156865A
　したがって、高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法に対するニーズがある。本発明の技術的課題は、高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法を提供することである。
　本発明の第１の態様の画像生成装置は、減光フィルタと、赤外カットフィルタと、カラーカメラと、プロセッサと、を含む。該プロセッサは該カラーカメラに接続され、該カラーカメラから受け取った画像データを使用して、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とする対象のモノクロム画像を生成するように構成されている。
　本態様の画像生成装置は、減光フィルタ及び赤外カットフィルタを備えているのでカラーカメラのハレーションの発生を防止し、カラーカメラのゲイン調整及び露光時間調整を有効に機能させることができる。また、本態様の画像生成装置においてプロセッサは、カラーカメラから受け取った画像データを使用して、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とするモノクロム画像を生成するように構成されているので、それぞれの重みを適切に定めることにより、一例として、高温の製鋼用電気炉を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分まで広い温度範囲の対象が鮮明なモノクロム画像が得られる。
　本発明の第１の態様の第１の実施形態の画像生成装置は、ディスプレイをさらに備え、該ディスプレイの画像を観察しながら該重みを調整することができるように構成されている。
　本発明の第１の態様の第２の実施形態の画像生成装置において、該減光フィルタが４００-７００ナノメータの波長範囲のＮＤフィルタである。
　本発明の第２の態様の画像生成方法は、減光フィルタと、赤外カットフィルタと、カラーカメラと、によって、ハレーションを抑えながら最高温度が１０００℃以上の対象の画像データを生成するステップと、プロセッサによって該画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とする該対象のモノクロム画像を生成するように構成されている。
　本態様の画像生成方法において、減光フィルタ及び赤外カットフィルタを使用してカラーカメラのハレーションの発生を防止し、カラーカメラのゲイン調整及び露光時間調整を有効に機能させることができる。また、本態様の画像生成方法においてプロセッサによって、画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とするモノクロム画像を生成するので、それぞれの重みを適切に定めることにより、一例として、高温の製鋼用電気炉を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分まで広い温度範囲の対象が鮮明なモノクロム画像が得られる。
　本発明の第２の態様の第１の実施形態の画像生成方法において、該対象の画像データを生成する際にＲ値のみが比較的高温の温度領域で部分的に飽和し、Ｇ値及びＢ値が全温度領域で飽和しないように該減光フィルタを選択する。
　本実施形態の画像生成方法において、Ｒ画素が飽和している領域ではＲ画素の出力は変化しなくなるが、Ｇ画素及びＢ画素の出力が変化して色が変化し、広い温度範囲にわたって明るい画像が実現される。
本発明の一実施形態による画像生成装置の構成を示す図である。 カラーカメラ及び付帯部材の構成の一実施形態を示す図である。 カラーカメラの構成の一実施形態を示す図である。 カラーカメラ、プロセッサ及びディスプレイの構成を示す図である。 本発明の一実施形態による画像生成装置の機能を説明するための流れ図である。 Ｒ、Ｇ及びＢフィルタの透過率及びＣＭＯＳ素子の量子効率(波長感度)を示す図である。 温度とカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。 温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。 温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。 ｘｙ色度図上の黒体軌跡を示す図である。 高温の製鋼用電気炉のＲ画像を示す図である。 高温の製鋼用電気炉のＧ画像を示す図である。 高温の製鋼用電気炉のＢ画像を示す図である。 上述の本発明の画像生成方法によって生成された高温の製鋼用電気炉のモノクロム画像を示す図である。 減光フィルタ及び赤外カットフィルタを備えたカラーカメラで生成された高温の製鋼用電気炉のカラー画像を示す図である。
　図１は、本発明の一実施形態による画像生成装置１０００の構成を示す図である。画像生成装置１０００は、減光フィルタ１１０と赤外カットフィルタ１２０とカラーカメラ２００とプロセッサ３１０とディスプレイ３２０とを含む。減光フィルタ１１０と赤外カットフィルタ１２０とカラーカメラ２００とは後で説明するように防塵・耐熱用ケース２５１に収納される。
　図２はカラーカメラ２００及び付帯部材の構成の一実施形態を示す図である。本実施形態において撮像対象は高温の製鋼用電気炉であるので、カラーカメラ２００は断熱材を含む壁面を備える防塵・耐熱用ケース２５１に収納される。防塵・耐熱用ケース２５１内にはさらに電源及び温度センサ２５３が備わる。カラーカメラ２００及び温度センサ２５３はコネクタ２５５を介してプロセッサ３１０など外部の機器と接続される。防塵・耐熱用ケース２５１には冷却エアノズル２５７を介してエアクーラ２５９から冷却エアが送られる。エアクーラ２５９には供給口２６１を介して高圧エアが供給される。防塵・耐熱用ケース２５１にはカラーカメラ２００用の開口２５１１が備わる。一例として、開口２５１１の直径は１０ミリメータであり、カラーカメラ２００の視野角度は９０度である。
　図２に図示していないが、減光フィルタ１１０及び赤外カットフィルタ１２０は、防塵・耐熱用ケース２５１内において開口２５１１とカラーカメラ２００との間に配置してもよい。
　減光フィルタ１１０は、いわゆるＮＤ（Neutral Density）フィルタであり４００-７００ナノメータの可視光域で一定の透過率を有し一様に光量を減少させる。
　赤外カットフィルタ１２０は、４００-７００ナノメータの波長範囲の光を透過させるように形成されている。
　図３はカラーカメラ２００の構成の一実施形態を示す図である。カラーカメラ２００は、光学系２１０と撮像系２２０と信号処理系２３０と制御系２４０とを含む。光学系２１０と撮像系２２０と信号処理系２３０と制御系２４０については後で図４を使用して説明する。本実施形態では、光学系２１０と撮像系２２０との間に減光フィルタ１１０及び赤外カットフィルタ１２０が配置されている。また、光学系２１０はカバー２１１で部分的に覆われている。図1に示すように減光フィルタ１１０及び赤外カットフィルタ１２０は、カラーカメラ２００の物体側に配置してもよい。
　図４はカラーカメラ２００、プロセッサ３１０及びディスプレイ３２０の構成を示す図である。
　カラーカメラ２００の光学系２１０はレンズ、絞りなどを含み、撮影対象からの光線を撮像系２２０へ供給する。本実施形態において絞りは固定である。
　カラーカメラ２００の撮像系２２０は、表面にＲ（赤色）、Ｇ（緑色）またはＢ（青色）のフィルタを取り付けられたＣＭＯＳ素子から構成される。Ｒ、Ｇ及びＢフィルタを取り付けたＣＭＯＳ素子をそれぞれＲ画素、Ｇ画素及びＢ画素と呼称する。Ｒ画素、Ｇ画素及びＢ画素は、受光面上に規則的かつ離散的に配列されている。外部からの光線によって生成されたＲ画素、Ｇ画素及びＢ画素の出力はＡ／Ｄ変換された後、信号処理系２３０へ供給される。
　カラーカメラ２００の信号処理系２３０は撮像系２２０から供給された信号に基づいて画像データを生成する。
　カラーカメラ２００の制御系２４０は信号処理系２３０からの情報に基づいて、撮像系２２０のＣＭＯＳ撮像素子のアナログゲイン及び露光時間を自動調整する。
　信号処理系２３０の処理についてさらに詳細に説明する。信号処理系２３０は、撮像系２２０からＲ画素、Ｇ画素及びＢ画素の出力値を時系列信号として受け取る。信号処理系２３０は、この時系列信号を処理して画像データを生成する。画像データは画像の各画素のＲＧＢ値から構成される。
　プロセッサ３１０は、一例としてパソコンであってもよい。プロセッサ３１０は、カラーカメラ２００から画像データを受け取る。プロセッサ３１０は、画像出力用のディスプレイ３２０と接続されている。
　図５は、本発明の一実施形態による画像生成装置１０００の機能を説明するための流れ図である。
　図５のステップＳ１０１０において、カラーカメラ２００は画像データを生成する。
　図６は、Ｒ、Ｇ及びＢフィルタの透過率及びＣＭＯＳ素子の量子効率(波長感度)を示す図である。図６の横軸は光の波長を示し単位はナノメータである。図６の縦軸はＲ、Ｇ及びＢフィルタの透過率（左側の目盛）及びＣＭＯＳ素子の量子効率（右側の目盛）を示す。
　高温の炉内の放射光の波長分布は黒体分布に類似しているのでＲ画素、Ｇ画素及びＢ画素の出力はプランクの式を含む以下の式（１）－（３）で近似できる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
式（４）はプランクの式である。ここで、λは光の波長、Ｔは炉の絶対温度、ｋはボルツマン定数である。ａ、ｂ１及びｂ２は定数を表す。ｆｒ’、ｆｇ’及びｆｂ’はそれぞれ、Ｒ画素、Ｇ画素及びＢ画素のフィルタの透過率ｆｒ、ｆｇ及びｆｂとＣＭＯＳ素子の量子効率(ＱＥ)との積であり波長λの関数である。Ｒ（Ｔ）、Ｇ（Ｔ）及びＢ（Ｔ）は絶対温度ＴにおけるカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力信号である。
　図６によると、８００ナノメータよりも長い波長領域において、Ｒ、Ｇ及びＢフィルタの透過率はほぼ同じである。この波長領域の透過率は、ガラスの波長透過特性やフィルタの積層構造に依存するものと考えられる。この結果、８００ナノメータよりも長い波長領域においては、Ｒ画素、Ｇ画素及びＢ画素において赤外光の影響が同じように大きくなる。
　図７は、温度とフィルタを取り付けていないカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図７の左側のグラフの横軸は温度（℃）を示し、図７の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）に従って計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。Ｒ画素、Ｇ画素及びＢ画素の出力の間に大きな差は生じない。図７の右側の図によると１４００℃を超えると画像は白っぽくなる。この状態で、制御系２４０の自動調整は正常に機能せず、いわゆるハレーションが生じる。
　図８は、温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図８の左側のグラフの横軸は温度（℃）を示し、図８の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）に従って計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。図８の右側の図によると、１５００℃で画像は赤くなるが、１３００℃以下では画像は暗くて見えにくくなる。
　図９は、温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図９の左側のグラフの横軸は温度（℃）を示し、図９の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）にしたがって計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。減光フィルタはＲ画素の出力が比較的高温の温度領域で部分的に飽和しその他の画素の出力がすべての温度領域で飽和しないように定める。具体的に減光フィルタ１１０の透過率は１０％とした。図９の右側の図によると広い温度範囲にわたって明るい画像が実現されている。１３５０℃を超えるとＲ画素の出力は飽和して変化しなくなるが、Ｇ画素及びＢ画素の出力が変化して色が変化してゆく。
　図１０は、ｘｙ色度図上の黒体軌跡を示す図である。図９の右側の図の色度は、対応する温度の黒体軌跡の色度と類似する。このように、７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び上記の減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力によって目視による色と同様の色が得られる。
　上述のように減光フィルタ１１０の透過率を１０％としたときに、アナログゲインのスパンの中間値は３０パーセントであり、露光時間のスパンの中間値は３０００マイクロ秒であった。
　このように、可視光領域において適正な光量を受光するようにフィルタ及びカラーカメラを調整すると、カラーカメラが備えている色調補正機能や自動ゲイン調整機能が設計通りに使用できるようになり、炉内温度が変化してもカラーカメラの調整機能によってきれいな画像を出力できるようになる。
　図５のステップＳ１０２０において、プロセッサ３１０はカラーカメラ２００から画像の各画素のＲＧＢ値から構成される画像データを受け取りメモリに記憶する。プロセッサ３１０は画像データからＲ画像データ、Ｇ画像データ及びＢ画像データを生成する。Ｒ画像データ、Ｇ画像データ及びＢ画像データは、各画素の値が、それぞれＲの値、Ｇの値及びＢの値であるデータである。ＲＧＢ値を含むカラー画像の画素のデータ量が２４ビットであるのに対し、Ｒ画像、Ｇ画像及びＢ画像の各画素のデータ量は８ビットである。
　図１１は高温の製鋼用電気炉のＲ画像を示す図である。
　図１２は高温の製鋼用電気炉のＧ画像を示す図である。
　図１３は高温の製鋼用電気炉のＢ画像を示す図である。
　Ｒ画像、Ｇ画像及びＢ画像を比較すると、Ｒ画像にのみ飽和した領域があり、エッジがボケた画像になっている。
　図５のステップＳ１０３０において、プロセッサ３１０は、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成する。画像内の画素の位置を(i,j)で表し、Ｒ画像、Ｇ画像、Ｂ画像及びモノクロム画像の(i,j)の位置の画素値をそれぞれ R(i,j)、G(i,j)、B(i,j)及びM(i,j)で表すと以下の関係が成立する。

M(i,j)=c1・R(i,j)＋c2・G(i,j)＋c3・B(i,j)

ここで、c1、c2及びc3の和は１．０である。プロセッサ３１０に接続されたディスプレイ３２０に生成されたモノクロ画像を表示させて観察しながらモノクロ画像ができるだけ鮮明になるようにc1、c2及びc3の値を定める。c1、c2及びc3の値は、それぞれ０から０．８の範囲である。一例として、c1、c2及びc3の値は、それぞれ０．２，０．５及び０．３である。
　他の実施形態において、c1、c2及びc3の和は１．０であり、c1、c2及びc3の値は、それぞれ０から０．８の範囲である場合に、c1、c2及びc3のそれぞれの値をＲ値の関数、Ｇ値の関数、Ｂ値の関数またはＲ値、Ｇ値、及びＢ値の合計値の関数として定めてもよい。
　一般的にc1、c2及びc3の和は正の定数であればよい。該正の定数をc0とすると、c1、c2及びc3の値は、それぞれ０から0.8×c0の範囲である。
　上述のようにＲＧＢ値を含むカラー画像の画素のデータ量が２４ビットであるのに対し、モノクロム画像の各画素のデータ量は８ビットである。したがって、モノクロム画像は画像解析などの用途に適している。
　c1、c2及びc3の値を適切に定めることにより、一例として、高温の製鋼用電気炉の内部を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分までを含む広い温度範囲の製鋼用電気炉の内部の鮮明な画像が得られる。
　プロセッサ３１０は、上記のＲ画像、Ｇ画像、Ｂ画像及びモノクロム画像をオペレータが観察できるようにディスプレイ３２０に表示してもよい。
　図１４は上述の本発明の画像生成方法によって生成された高温の製鋼用電気炉のモノクロム画像を示す図である。
　図１５は減光フィルタ及び赤外カットフィルタを備えたカラーカメラ２００で生成された高温の製鋼用電気炉のカラー画像を示す図である。
　図１４のモノクロム画像と図１５のカラー画像とを比較すると、図１４のモノクロム画像において炉底部及び側壁部の細かな濃淡のパターンが図１５のカラー画像よりも鮮明に表現されている。
　また、上述のように画像解析の用途にはカラー画像よりもデータ量の少ないモノクロム画像が有利である。
　本発明の画像生成装置及び画像生成方法によれば、画像解析の使用に適した鮮明なモノクロム画像を生成することができる。

Claims (4)

  1. 　減光フィルタと、赤外カットフィルタと、カラーカメラと、によって、ハレーションを抑えながら最高温度が１０００℃以上の対象の画像データを生成するステップと、
    　プロセッサによって該画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みを掛けた値を合算した値を各画素の値とする該対象のモノクロム画像を生成するステップと、を含む画像生成方法。
  2. 　各画素のＲ値、Ｇ値、及びＢ値の重みをｃ１、ｃ２及びｃ３として、ｃ１、ｃ２及びｃ３の和は正の定数ｃ０であり、ｃ１、ｃ２及びｃ３はそれぞれ０以上０．８×ｃ０以下である請求項１に記載の画像生成方法。
  3. 　該対象の画像データを生成する際にＲ値のみが比較的高温の温度領域で部分的に飽和し、Ｇ値及びＢ値が全温度領域で飽和しないように該減光フィルタを選択する請求項１または２に記載の画像生成方法。
  4. 　減光フィルタと、赤外カットフィルタと、カラーカメラと、プロセッサと、を含み、請求項１から３のいずれかに記載の画像生成方法を実施するように構成された画像生成装置であって、該プロセッサは該カラーカメラに接続され、該カラーカメラから受け取った画像データを使用してモノクロム画像を生成するように構成された画像生成装置。
PCT/JP2020/047917 2020-01-14 2020-12-22 画像生成装置及び画像生成方法 WO2021145168A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020003664A JP6734999B1 (ja) 2020-01-14 2020-01-14 画像生成装置及び画像生成方法
JP2020-003664 2020-01-14

Publications (1)

Publication Number Publication Date
WO2021145168A1 true WO2021145168A1 (ja) 2021-07-22

Family

ID=71892335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047917 WO2021145168A1 (ja) 2020-01-14 2020-12-22 画像生成装置及び画像生成方法

Country Status (2)

Country Link
JP (1) JP6734999B1 (ja)
WO (1) WO2021145168A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08318619A (ja) * 1995-05-25 1996-12-03 Dainippon Printing Co Ltd 印刷物検査装置
JP2004096633A (ja) * 2002-09-03 2004-03-25 Minolta Co Ltd 撮像装置および撮像方法
JP2019196845A (ja) * 2018-05-07 2019-11-14 一般財団法人電力中央研究所 燃焼場の観察方法、観察装置、及び観察プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08318619A (ja) * 1995-05-25 1996-12-03 Dainippon Printing Co Ltd 印刷物検査装置
JP2004096633A (ja) * 2002-09-03 2004-03-25 Minolta Co Ltd 撮像装置および撮像方法
JP2019196845A (ja) * 2018-05-07 2019-11-14 一般財団法人電力中央研究所 燃焼場の観察方法、観察装置、及び観察プログラム

Also Published As

Publication number Publication date
JP2021111899A (ja) 2021-08-02
JP6734999B1 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6186900B2 (ja) 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
JP3190983B2 (ja) 溶接状況遠隔監視装置及び溶接状況遠隔監視方法
EP3709268A1 (en) An image processing arrangement
US20100045824A1 (en) Video image pickup apparatus and exposure guide display method
JP2010093472A (ja) 撮像装置および撮像装置用信号処理回路
WO2011001672A1 (ja) 撮像装置および撮像方法
KR101990367B1 (ko) 영상 융합 방법
JP6000133B2 (ja) 撮像装置、撮像システム及び撮像方法
US20100188526A1 (en) Imaging device and imaging method
JP2016163052A (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
WO2021145168A1 (ja) 画像生成装置及び画像生成方法
CN101790037B (zh) 成像设备和成像方法
JP2009253447A (ja) 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
JP5956935B2 (ja) 画像処理方法及び画像処理装置
JP2010098553A (ja) 階調補正装置、階調補正方法、プログラム、撮像装置および画像処理装置
JP3966866B2 (ja) 撮像装置、カメラ、及び信号処理方法
CN115022530A (zh) 图像处理设备、其控制方法和存储介质
CN105830433B (zh) 图像处理设备
US11549849B2 (en) Image processing arrangement providing a composite image with emphasized spatial portions
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
JP4396225B2 (ja) ホワイトバランス制御装置及び電子機器
US20100259606A1 (en) Imaging device and method for controlling imaging device
JP2016063391A (ja) 撮像装置、表示装置、及び、電子機器
JP5458776B2 (ja) 画像処理装置、および画像処理プログラム
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20913760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20913760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP