WO2019181125A1 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- WO2019181125A1 WO2019181125A1 PCT/JP2018/047340 JP2018047340W WO2019181125A1 WO 2019181125 A1 WO2019181125 A1 WO 2019181125A1 JP 2018047340 W JP2018047340 W JP 2018047340W WO 2019181125 A1 WO2019181125 A1 WO 2019181125A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- wavelength region
- spectral reflection
- image processing
- region
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Definitions
- the technology disclosed in this specification relates to an image processing apparatus and an image processing method for processing an infrared image.
- a specific wavelength eg, R, G, B, etc.
- Proposals have been made (see, for example, Patent Document 1).
- it is considered difficult to restore a color image unless a linear correspondence is established between a specific wavelength in the visible light region and an infrared wavelength.
- the correspondence between the specific wavelength in the visible light region and the infrared wavelength is not unique and differs depending on the substance (or the material of the subject), so the correspondence between all materials must be known. Because of insufficient information, it is difficult to uniquely identify visible light from an infrared image.
- An object of the technology disclosed in the present specification is to provide an image processing apparatus and an image processing method for executing processing for restoring a visible light image from an infrared image.
- the technology disclosed in the present specification has been made in consideration of the above-mentioned problems, and the first aspect thereof is An input unit for inputting a captured image;
- a processing unit that performs processing relating to spectral reflection characteristics over a wavelength region including a first wavelength region and a second wavelength region of a subject in the captured image;
- the first wavelength region is an infrared light region
- the second wavelength region is a visible light region.
- the processing unit is configured to predict a weight of each of a plurality of bases, each of which is a representative spectral reflection characteristic, for expressing the spectral reflection characteristic in the first wavelength region of the subject, and the first of the subject.
- a spectral characteristic prediction unit configured to predict a spectral reflection characteristic of the subject in a second wavelength region different from the first wavelength region based on a weight of each base in the one wavelength region;
- the spectral characteristic prediction unit predicts a spectral reflection characteristic of the subject in the second wavelength region by linearly combining spectral reflection characteristics in the second wavelength region of each base based on the weight.
- the processing unit determines a region of the captured image based on spectral reflection characteristics, calculates a plurality of bases that are representative spectral reflection characteristics from the spectral reflection characteristics for each region, and creates a database. .
- the second aspect of the technology disclosed in this specification is: An input step for inputting a captured image; A processing step for executing processing related to spectral reflection characteristics over a wavelength region including a first wavelength region and a second wavelength region of a subject in the captured image; Is an image processing method.
- an image processing apparatus and an image processing method for executing processing for restoring a visible light image from an infrared image it is possible to provide an image processing apparatus and an image processing method for executing processing for restoring a visible light image from an infrared image.
- FIG. 1 is a diagram illustrating the spectral reflection characteristics of a plurality of bases.
- FIG. 2 is a diagram schematically illustrating the configuration of the image processing system 100 according to the first embodiment.
- FIG. 3 is a flowchart showing an example of a processing procedure for acquiring spectral data in the image processing system 100 shown in FIG.
- FIG. 4 is a flowchart showing a detailed processing procedure of illuminance determination.
- FIG. 5 is a flowchart showing a detailed processing procedure of the spectral prediction process.
- FIG. 6 is a diagram schematically illustrating a configuration of an image processing system 200 according to the second embodiment.
- FIG. 7 is a flowchart showing the above.
- FIG. 8 is a flowchart showing a detailed processing procedure of the database creation processing.
- spectral reflection characteristics means reflection characteristics such as reflectance for each wavelength component.
- Spectral reflection characteristics of each substance are different (or each substance has a unique spectral reflection characteristic), and all elements (all substances) constituting the real world.
- Spectral reflection characteristics can be expressed by a combination of a finite number (for example, three types) of representative spectral reflection characteristics (that is, can be expressed by weighting and combining linear spectral reflection characteristics). It is based on two principles.
- FIG. 1 illustrates spectral reflection characteristics of three types of bases (base 1, base 2, and base 3). Each base is a curve representing a continuous reflection intensity that gradually changes in a wide wavelength range from the visible light region to the infrared region. Therefore, the “base” referred to in the present specification is a discrete consisting of a wavelength intensity distribution in the infrared region corresponding to a specific visible light wavelength component (R, G, B, etc.) as shown in FIG. It is different from typical data.
- the spectral reflection characteristics of all elements constituting the real world can be expressed by linearly combining three types of bases, but of course, even if four or more types of bases are defined. Good.
- the weight given to each base for expressing the spectral reflection characteristics for each substance can be obtained by prior learning and can be made into a database.
- the spectral reflection characteristics of a certain substance can be expressed by linearly combining base 1, base 2, and base 3 with weights of 0.7, 0.2, and 0.1, respectively. Even in a dark place, infrared light is projected onto the substance and the reflected light is analyzed, and the weights of the bases 1 to 3 are 0.7, 0.2, and 0.1, respectively. Can be predicted. The weight predicted in the infrared region is applied as it is in the visible light region. That is, it is possible to predict the spectral reflection characteristics in the visible light region of the substance obtained by photographing the infrared image.
- the visible light image of the substance can be restored by linearly combining the spectral reflection characteristics in the visible light region of each base based on the weight predicted in the infrared light region.
- the entire visible light region that is, an intermediate wavelength other than R, G, and B
- it combines spectral reflectance properties across the wavelength range (including the region).
- FIG. 2 schematically shows the configuration of the image processing system 100 according to the first embodiment of the technique disclosed in this specification.
- the illustrated image processing system 100 includes an infrared light projector 101, an infrared light control unit 102, an infrared light imaging unit 103, a captured image processing unit 104, a weight prediction unit 105, and a spectral characteristic prediction unit 106.
- a database 107 and an image processing unit 108 are provided. That is, the image processing system 100 shown in FIG. 2 includes an irradiation system that projects infrared light onto a subject, an imaging system that captures reflected light of infrared light from the subject, and a spectral analysis of the subject from the infrared light captured image.
- the system configuration integrates an image processing system that predicts characteristics.
- the infrared light projector 101 can project three or more types of infrared rays having different wavelengths in a time division manner or simultaneously.
- the infrared light control unit 102 controls the light projection operation of the infrared light projector 101 including exposure and light projection timing.
- the infrared light projector 101 may be capable of projecting not only infrared light but also light having a wavelength component other than infrared light such as visible light.
- the infrared light imaging unit 103 captures an infrared reflected image of the subject on which infrared light is projected by the infrared light projector 101 in synchronization with the timing at which the infrared light projector 101 projects light.
- the infrared light imaging unit 103 displays an infrared light image for each wavelength component as the infrared light projector 101. An image is taken in synchronism with each light projection timing. Further, when the infrared light projector 101 simultaneously projects infrared light having a plurality of wavelength components, the infrared light imaging unit 103 displays an infrared light image including the plurality of wavelength components as the infrared light projector 101. An image is taken in synchronism with one light projection timing.
- the infrared light projector 101 and the infrared light imaging unit 103 are arranged so that there is a subject on which infrared light is projected by the infrared light projector 101 in the optical axis direction of the infrared light imaging unit 103. Although necessary, detailed description is omitted.
- the infrared light imaging unit 103 may be configured by an imaging element that can capture not only infrared light but also a visible light image.
- the captured image processing unit 104 performs amplification, AD conversion, demosaicing, and other signal processing of the pixel signal read from each pixel of the infrared light imaging unit 103.
- the processed infrared image may be recorded in a recording unit (not shown).
- the database 107 stores data that has been learned in advance, such as “basis”, which is a representative spectral reflection characteristic constituting the real world, and weighting factors for linearly combining the respective bases for each substance. .
- the weight prediction unit 105 reads the base data of the infrared light region from the database 107, and predicts the weight for linearly combining the bases for each subject (substance) included in the captured infrared image. In other words, the weight predicting unit 105 predicts the weight when the spectral reflection characteristics of each subject in the infrared light region are decomposed into the bases 1 to 3.
- the infrared image captured by the infrared light imaging unit 103 is composed of reflected light of a plurality of wavelength components projected from the infrared light projector 101 in the infrared light region. Therefore, only discrete spectral reflection characteristics in the infrared light region of the subject can be acquired from the infrared image processed by the captured image processing unit 104.
- This spectral reflection characteristic can be acquired from the captured image processing unit 104.
- the weight prediction unit 105 expresses the spectral reflection characteristics of the subject by linearly combining the bases 1 to 3 based on the captured image and the discrete spectral reflection characteristics of the bases 1 to 3 in the infrared wavelength region. Therefore, the weights w 1 , w 2 , and w 3 of the bases 1 to 3 are predicted. If the prediction is accurate, the following formula (1) is established.
- the spectral characteristic prediction unit 106 reads the base data of the visible light region from the database 107, and is included in the captured infrared image based on the weights of the bases 1 to 3 predicted by the weight prediction unit 105 in the infrared light region. Spectral reflection characteristics of each subject (substance) in the visible light region are predicted. For example, if the spectral reflection characteristics of the bases 1 to 3 of a certain subject are as shown in FIG. 1, each of the spectral reflection characteristics of the visible light regions of the bases 1 to 3 predicted by the weight prediction unit 105 is obtained. By linearly combining with the weights w 1 , w 2 , and w 3 , the spectral reflection characteristics of the subject in the visible light region can be predicted.
- B 1 (f v ), B 2 (f v ), and B 3 (f v ) be the spectral reflection characteristics of the visible light regions of the bases 1 to 3 read from the database 107 (provided that B 1 (f v ) is a function indicating the reflectance at the visible light wavelength component f v , and B 2 (f v ) and B 3 (f v ) are also the reflectance at the visible light wavelength component f v .
- These three types of bases 1 to 3 are linearly combined with the above prediction weights w 1 , w 2 , and w 3 to obtain the spectral reflection characteristics of the subject as shown in the following equation (2).
- O (f v ) can be predicted.
- the image processing unit 108 performs processing of the infrared image captured by the infrared light imaging unit 103 based on the spectral reflection characteristics for each subject predicted by the spectral characteristic prediction unit 106. For example, the visible light image is restored based on the spectral reflection characteristics predicted for each subject (substance) included in the captured infrared image.
- the image processing unit 108 also controls the infrared light projector 101, instructs the infrared light control unit 102 what kind of infrared light to project, and outputs the infrared light projector 101. To control.
- FIG. 3 shows an example of a processing procedure for acquiring spectral data in the image processing system 100 shown in FIG. 2 in the form of a flowchart.
- the brightness of the periphery of the image processing system 100 is determined (step S301), and illuminance data for the output light source is acquired. Specifically, the brightness of each wavelength component in the infrared light region is determined based on the infrared image captured while adjusting the exposure by the infrared light imaging unit 103, and the illuminance of each wavelength component in the infrared light region. Get the data.
- the infrared light control unit 102 controls the light intensity for each wavelength component in the infrared light region, while the infrared light projector 101 transmits the infrared light.
- illuminance determination for AE setting is performed (step S303). Specifically, infrared light of each wavelength component in the infrared light region is projected from the infrared light projector 101, and based on the infrared image captured while performing exposure adjustment by the infrared light imaging unit 103 at that time. The brightness of each wavelength component in the infrared light region is determined, and illuminance data that eliminates overexposure in each wavelength component in the infrared light region is acquired.
- the infrared light imaging unit 103 captures an infrared image while the infrared light control unit 102 controls the intensity of the infrared light projected from the infrared light projector 101 based on the illuminance data obtained in step S303. Processing is performed (step S304), and an infrared image is output from the captured image processing unit 104.
- the weight prediction unit 105 and the spectral characteristic prediction unit 106 predict the spectral reflection characteristics of each subject in the infrared image (step S305), and output spectral data.
- FIG. 4 shows a detailed processing procedure of illuminance determination executed in steps S301 and S303 in the flowchart shown in FIG. 3 in the form of a flowchart.
- step S405 the exposure of the infrared light imaging unit 103 is set (step S402), an infrared light image is captured (step S403), and an overexposure detection process is performed.
- step S404 When overexposure does not occur (step S405), the process exits the exposure adjustment loop, outputs illuminance data, and ends this process.
- step S303 in the flowchart shown in FIG. 3 is pre-processing such as AE for performing infrared image capturing and spectral prediction processing with high accuracy.
- FIG. 5 shows a detailed processing procedure of the spectral prediction processing executed in step S305 in the flowchart shown in FIG. 3 in the form of a flowchart.
- the spectral data is calculated for each pixel of the infrared image acquired in the photographing process in step S304 in the flowchart shown in FIG.
- step S ⁇ b> 502 image data is read pixel by pixel from the captured image processing unit 104 into the weight prediction unit 105. For example, when imaging of infrared light having three types of wavelength components is performed from the infrared light projector 101, each imaging data of these three wavelength components is read by one pixel.
- the weight prediction unit 105 reads base data from the database 107.
- the base is a finite number (for example, three types) of representative spectral reflection characteristics that can express the spectral reflection characteristics of all elements (all substances) constituting the real world by a combination (see the above and the drawings). 1).
- step S504 the weight prediction unit 105 calculates the weight of each base for expressing the spectral reflection characteristic in the infrared light region of the pixel to be processed.
- step S505 the spectral characteristic prediction unit 106 reads the base data of the visible light region from the database 107, and based on the weights of the bases 1 to 3 predicted by the weight prediction unit 105 in the infrared light region, The spectral reflection characteristics in the visible light region of the formed pixel are predicted.
- B 1 (f v ), B 2 (f v ), and B 3 (f v ) be the functions of the visible light wavelength component f v representing the spectral reflection characteristics of the visible light regions of the bases 1 to 3, respectively, and weights
- a function spectral reflection characteristic O (f v ) that represents the spectral reflection characteristics of the visible light regions of the bases 1 to 3 is obtained. It is possible to predict the spectral reflection characteristic O (f v ) of the pixel that is the processing target by the linear combination with the weights w 1 , w 2 , and w 3 as the above-described equation (2).
- step S505 based on the weights of the respective bases 1 to 3 predicted by the weight prediction unit 105 in the infrared light region, the spectral reflection in the arbitrary wavelength region other than the infrared light of the pixel to be processed. Characteristics can be predicted.
- each pixel value of the original infrared image is converted into a pixel value of the visible light region (that is, color space conversion),
- the infrared image can be rewritten to a visible light image (ie, restoration to a visible light image).
- Patent Document 1 The technology disclosed in this specification is common to Patent Document 1 from the viewpoint of restoring a visible light image from an infrared image.
- the spectrum in the visible light region is based on the correspondence relationship between the unique (discrete) visible light component such as R, G, and B and the infrared light component. Since the prediction is performed, there is a problem that the prediction accuracy is lowered for a subject (substance) to which the corresponding relationship does not correspond.
- the technology disclosed in this specification performs spectral prediction based on a database, so that prediction performance for predicting spectral reflection characteristics in the visible light region is improved.
- the technique disclosed in the present specification is not limited to specific (discrete) visible light components such as R, G, and B because the spectrum prediction is performed by combining bases that are representative spectral reflection characteristics. It is possible to predict the spectral reflection characteristics over the entire visible light region. In other words, the accuracy of spectral prediction can be further improved by learning the base data (deep learning).
- a highly sensitive photographing result can be obtained even in a dark place where conditions for photographing a visible light image are severe. Moreover, according to the technique disclosed in this specification, since the spectral calculation using the database is performed, it can be diverted to various applications.
- the region information for each material having the same characteristics on the captured image is generated by using the unique weight when linearly combining the bases for each substance. And can be used for semantic segmentation.
- FIG. 6 schematically shows a configuration of an image processing system 200 according to the second embodiment of the technique disclosed in this specification.
- the illustrated image processing system 200 includes a projector 201, a light control unit 202, an infrared light imaging unit 203, a visible light imaging unit 204, a captured image processing unit 205, a spectral region calculation unit 206, and a spectral characteristic detection unit. 207, a database creation unit 208, a database 209, and a database creation control unit 210. That is, the image processing system 200 shown in FIG.
- the system 6 includes an irradiation system that projects light in a wavelength region including infrared light and visible light onto a subject, an imaging system that captures reflected light from the subject, infrared light, and The system configuration integrates a database creation system that creates a predetermined database by detecting the spectral characteristics of each subject (substance or material) from a captured image of reflected light in a wavelength region including visible light.
- the projector 201 can project a plurality of types of light having different wavelengths in a wavelength region including visible light and infrared light in a time division manner or simultaneously.
- the light control unit 202 controls the light projection operation of the light projector 201 including exposure and light projection timing.
- the infrared light imaging unit 203 captures an infrared reflected image of the subject on which infrared light is projected by the projector 201 in synchronization with the timing at which the projector 201 projects infrared light.
- the visible light imaging unit 204 captures a visible light reflection image of a subject on which visible light is projected by the projector 201 in synchronization with the timing at which the projector 201 projects visible light.
- the infrared light imaging unit 203 and the visible light imaging unit 204 need to image a subject in the same line-of-sight direction, and high positioning accuracy is required during installation.
- the infrared light imaging unit 203 and the visible light imaging unit 204 may be configured by a single camera device capable of imaging over a wide wavelength region including visible light and infrared light.
- the captured image processing unit 205 performs amplification, AD conversion, demosaicing, and other signal processing of pixel signals read from each pixel of the infrared light imaging unit 203 and the visible light imaging unit 204.
- the processed infrared image may be recorded in a recording unit (not shown).
- the spectral region calculation unit 206 performs region determination on the captured image based on the spectral data, and generates spectral region data. Specifically, using the principle that the same substance or material has the same spectral reflection characteristics, pixels having the same or similar spectral reflection characteristics are determined as the same area, and one or more areas are extracted from the captured image. To do.
- the spectral characteristic detection unit 207 generates spectral characteristic data of each region determined based on the spectral reflection characteristics. Specifically, noise reduction is performed on the spectral reflection characteristics of all the pixels in the area by a process such as averaging, and the spectral reflection characteristics for each area are output.
- the database creation unit 208 is a representative that can express the spectral reflection characteristics of all elements (all substances) constituting the real world in combination from the spectral reflection characteristics for each region acquired from one or a plurality of captured images.
- a base (see FIG. 1) which is a spectral reflection characteristic is calculated and stored in the database 209.
- the database creation unit 208 calculates a base from a large number of captured images using a method such as machine learning, for example. By performing deep learning, it is possible to set an appropriate number of bases and calculate a rule including more accurate spectral reflection characteristics.
- the database creation control unit 210 controls processing such as default calculation by the database creation unit 208 and recording in the database 209. In addition, the database creation control unit 210 also controls the projector 201, and instructs the light control unit 202 what wavelength component of light to project to control the output of the projector 201.
- FIG. 7 shows an example of a processing procedure for acquiring a spectral data database in the image processing system 200 shown in FIG. 6 in the form of a flowchart.
- the brightness around the image processing system 200 is determined (step S701), and illuminance data for the output light source is acquired. Specifically, the brightness for each wavelength component in the infrared light region and the visible light region is determined based on the infrared image and the visible light image captured while adjusting the exposure by the infrared light imaging unit 203 and the visible light imaging unit 204. Determination is made, and illuminance data of each wavelength component in the infrared light region and the visible light region is acquired.
- the light control unit 202 controls the light intensity for each wavelength component in the infrared light region or the visible light region, while the infrared light is transmitted from the light projector 201. While projecting light of each wavelength component in the region or visible light region (step S702), illuminance determination for AE setting is performed (step S703). Specifically, light of each wavelength component in the infrared light region or visible light region is projected from the projector 201, and the infrared light imaging unit 203 and the visible light imaging unit 204 at that time take an image while adjusting exposure.
- the brightness of each wavelength component in the infrared light region and the visible light region is judged, and the illuminance data that eliminates overexposure in each wavelength component of the infrared light region and the visible light region is acquired. To do.
- the infrared light imaging unit 203 performs an infrared image photographing process and visible light imaging.
- the unit 204 performs a visible light image capturing process (step S704), and the captured image processing unit 205 outputs an infrared image and a visible light image.
- the spectral region calculation unit 206 performs region determination on the captured image based on the spectral data to generate spectral region data
- the spectral characteristic detection unit 207 generates spectral characteristic data of each region
- the database creation unit 208 Calculates a base which is a representative spectral reflection characteristic by machine learning or the like. The data created in this way is stored in the database 210, and this process ends.
- FIG. 8 shows the detailed processing procedure of the database creation processing executed in step S705 in the flowchart shown in FIG. 7 in the form of a flowchart.
- step S801 to S804 region determination is performed based on the spectral data for each pixel of the captured image acquired by the imaging processing in step S704 in the flowchart illustrated in FIG.
- step S802 image data is read pixel by pixel from the captured image processing unit 205 into the spectral region calculation unit 206.
- the spectral region calculation unit 206 performs region determination on the captured image based on the spectral data, and generates spectral region data. Specifically, using the principle that the same substance or material has the same spectral reflection characteristics, pixels having the same or similar spectral reflection characteristics are determined as the same area, and one or more areas are extracted from the captured image. To do.
- a labeling process for attaching the same label to pixels having the same or similar spectral reflection characteristics is performed on all pixels in the captured image. Then, at the time when the all pixel processing loop is completed (step S804), spectral region data including regions of pixels having the same or similar spectral reflection characteristics is generated by spatially coupling pixels having the same label. Can do.
- step S806 spectral reflection characteristic data of all pixels in one region is read from the spectral region data created in the above all pixel loop.
- the spectral characteristic detection unit 207 generates spectral characteristic data of each region determined based on the spectral reflection characteristics. Specifically, the spectral characteristic detection unit 207 performs noise reduction on the spectral reflection characteristics of all the pixels in the area by a process such as averaging, and outputs the spectral reflection characteristics for each area. Then, when the entire area processing loop is completed (step S808), spectral reflection characteristic data for each area can be generated.
- the database creation unit 208 can express the spectral reflection characteristics of all elements (all substances) constituting the real world in combination from the spectral reflection characteristics for each region acquired from one or a plurality of captured images.
- a base (see FIG. 1), which is a representative spectral reflection characteristic, is calculated using a method such as machine learning (step S809).
- the database creation unit 208 generates data for the database based on the calculated data such as the base (step S810), stores it in the database 209, and ends this process.
- a highly sensitive visible light image can be obtained from an infrared photographed image even in a dark place where the conditions for photographing a visible light image are severe. Can be restored. Further, the spectroscopic calculation using the database created according to the second embodiment can be diverted to various uses.
- the spectral reflection characteristic in the visible light wavelength region is predicted based on the spectral reflection characteristic in the infrared light region of the subject, and the description is focused on the embodiment used for restoration of the visible light image, etc.
- the technology disclosed in the present specification is not limited to this.
- the spectral reflection in the second wavelength region other than the visible light region of the subject based on the spectral reflection characteristics in the first wavelength region other than the infrared light region of the arbitrary subject. Characteristics can also be predicted.
- spectral characteristics obtained by the technology disclosed in this specification it is possible to restore not only visible light images but also images taken under various light sources.
- a visible light image can be taken to restore the infrared light image.
- an image in a wavelength region other than visible light from a captured image in a wavelength region other than infrared light it is possible to restore an image in a wavelength region other than visible light from a captured image in a wavelength region other than infrared light.
- the region information for each material having the same characteristics on the captured image is generated by using the unique weight when linearly combining the bases for each substance. And can be used for semantic segmentation.
- an input unit for inputting a captured image A processing unit that performs processing relating to spectral reflection characteristics over a wavelength region including a first wavelength region and a second wavelength region of a subject in the captured image;
- An image processing apparatus comprising: (2) The first wavelength region is an infrared light region, and the second wavelength region is a visible light region.
- the processing unit includes: A weight prediction unit for predicting each weight of a plurality of bases, each of which is a representative spectral reflection characteristic, for expressing the spectral reflection characteristic in the first wavelength region of the subject; A spectral characteristic prediction unit that predicts a spectral reflection characteristic in a second wavelength region different from the first wavelength region of the subject, based on a weight of each base in the first wavelength region of the subject; An image processing apparatus according to any one of (1) and (2), comprising: (4) The spectral characteristic prediction unit predicts the spectral reflection characteristic of the subject in the second wavelength region by linearly combining the spectral reflection characteristics in the second wavelength region of each base based on the weight. , The image processing apparatus according to (3) above.
- the image processing apparatus further includes an image processing unit that processes the captured image based on the predicted spectral reflection characteristic in the second wavelength region.
- the image processing apparatus according to any one of (3) to (5) above.
- the image processing unit restores the image of the second wavelength region from the captured image of the first wavelength region based on the predicted spectral reflection characteristic in the second wavelength region.
- the image processing unit generates region information for each material having the same spectral reflection characteristics from the captured image.
- the image processing apparatus according to any one of (1) to (8), further including: (10) The processing unit determines the region of the captured image based on spectral reflection characteristics, and calculates a plurality of bases that are representative spectral reflection characteristics from the spectral reflection characteristics for each region, The image processing apparatus according to any one of (1) and (2) above. (11) The processing unit calculates the plurality of bases by machine learning. The image processing apparatus according to (10) above. (12) It further comprises a database for storing the calculated information of the plurality of bases. The image processing apparatus according to any one of (10) and (11) above.
- the image processing apparatus according to any one of (10) to (12), further including: (14) an input step of inputting a captured image; A processing step for executing processing related to spectral reflection characteristics over a wavelength region including a first wavelength region and a second wavelength region of a subject in the captured image; An image processing method.
- DESCRIPTION OF SYMBOLS 100 ... Image processing system 101 ... Infrared projector, 102 ... Infrared light control part 103 ... Infrared light imaging part, 104 ... Captured image processing part 105 ... Weight prediction part, 106 ... Spectral characteristic prediction part 107 ... Database, 108 ... Image Processing unit 200 ... Image processing system 201 ... Projector, 202 ... Light control unit 203 ... Infrared light imaging unit, 204 ... Visible light imaging unit 205 ... Captured image processing unit, 206 ... Spectral region calculation unit 207 ... Spectral characteristic detection unit, 208 ... Database creation unit 209 ... Database, 210 ... Image processing unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
赤外線画像から可視光画像を復元するための処理を実行する画像処理装置及び画像処理方法を提供する。 画像処理装置は、撮像画像を入力する入力部と、前記撮像画像中の被写体の分光反射特性に関する処理を実行する処理部を具備する。前記処理部は、被写体の第１の波長領域における分光反射特性を表現するための、それぞれ代表的な分光反射特性である複数の基底の各重みを予測し、前記被写体の前記第１の波長領域における各基底の重みに基づいて、前記被写体の前記第１の波長領域とは異なる第２の波長領域における分光反射特性を予測する。
Description
本明細書で開示する技術は、赤外線画像を処理する画像処理装置及び画像処理方法に関する。
被写体に反射された赤外線や被写体が放射する赤外線を撮影した赤外線画像から被写体のカラー画像を復元する撮像装置について、数多の提案がなされている。
例えば可視光領域の特定波長（例えば、Ｒ、Ｇ、Ｂなど）と赤外線波長との対応関係に着目して、赤外線画像を表色することによってカラー画像を復元する画像撮影装置及び画像撮影方法について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、可視光領域の特定波長と赤外線波長との間に線形的な対応関係が成立しなければ、カラー画像の復元は難しいと考えられる。また、可視光領域の特定波長と赤外線波長との間の対応関係は、一意ではなく、物質（若しくは、被写体の素材）毎に相違するため、すべての素材の対応関係が既知でなければならず、情報が十分に足りないことにより、赤外線画像から可視光を一意に特定することは困難である。
本明細書で開示する技術の目的は、赤外線画像から可視光画像を復元するための処理を実行する画像処理装置及び画像処理方法を提供することにある。
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
撮像画像を入力する入力部と、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理部と、
を具備する画像処理装置である。例えば、前記第１の波長領域は赤外光領域であり、前記第２の波長領域は可視光領域である。
撮像画像を入力する入力部と、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理部と、
を具備する画像処理装置である。例えば、前記第１の波長領域は赤外光領域であり、前記第２の波長領域は可視光領域である。
前記処理部は、被写体の第１の波長領域における分光反射特性を表現するための、それぞれ代表的な分光反射特性である複数の基底の各重みを予測する重み予測部と、前記被写体の前記第１の波長領域における各基底の重みに基づいて、前記被写体の前記第１の波長領域とは異なる第２の波長領域における分光反射特性を予測する分光特性予測部を備える。前記分光特性予測部は、前記重みに基づいて各基底の前記第２の波長領域における分光反射特性を線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する。
あるいは、前記処理部は、分光反射特性に基づいて前記撮像画像を領域判定し、領域毎の分光反射特性から、それぞれ代表的な分光反射特性である複数の基底を算出して、データベースを作成する。
また、本明細書で開示する技術の第２の側面は、
撮像画像を入力する入力ステップと、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理ステップと、
を有する画像処理方法である。
撮像画像を入力する入力ステップと、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理ステップと、
を有する画像処理方法である。
本明細書で開示する技術によれば、赤外線画像から可視光画像を復元するための処理を実行する画像処理装置及び画像処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
本明細書では、赤外線画像から可視光画像を予測する際の精度不足の問題に鑑みて、赤外線と可視光との対応関係に基づく方法（例えば、特許文献１を参照のこと）ではなく、さまざまな被写体の可視光及び赤外光を含むすべての波長領域にわたる分光反射特性（波長成分毎の反射率などの反射特性）を事前に学習してデータベースを構築し、ある被写体の赤外線画像を構成する代表的な分光反射特性の各々の重みを求めることによって、より高精度で色予測を実現する技術について、以下で開示する。なお、本明細書では、「分光反射特性」は、波長成分毎の反射率などの反射特性という意味である。
本明細書で開示する技術は、物質毎に分光反射特性が相違すること（若しくは、物質毎に固有の分光反射特性を持つこと）と、実世界を構成するすべての要素（すべての物質）の分光反射特性は有限数（例えば、３種類）の代表的な分光反射特性の組み合わせで表現可能であること（すなわち、代表的な分光反射特性の重み付けして線形結合することにより表現できること）、の２つの原理に基づくものである。
本明細書では、有限数の「代表的な分光反射特性」のことを「基底」とも呼ぶ。図１には、３種類の基底（基底１、基底２、基底３）の分光反射特性を例示している。各基底は、可視光領域から赤外線領域にわたる広範な波長領域において緩やかに変化する連続的な反射強度を表した曲線である。したがって、本明細書で言う「基底」は、特許文献１の図９に示したような、特定の可視光波長成分（Ｒ、Ｇ、Ｂなど）に対応する赤外線領域における波長強度分布からなる離散的なデータとは相違する。
ここでは、説明の簡素化のため３種類の基底を線形結合して、実世界を構成するすべての要素の分光反射特性を表現できるとしたが、もちろん、４種類以上の基底を定義してもよい。物質毎の分光反射特性を表現するための各基底に付ける重みは、事前学習により得ることができ、データベース化することができる。
例えば、ある物質の分光反射特性を、基底１、基底２、基底３をそれぞれ０．７、０．２、０．１の重みで線形結合して表現できるとする。暗所であっても、その物質に赤外線を投光してその反射光を撮影した赤外線画像を解析して、各基底１～３の重みがそれぞれ０．７、０．２、０．１であると予測することができる。赤外線領域において予測した重みは、可視光領域においてもそのまま当てはまる。すなわち、赤外線画像を撮影した物質の可視光領域の分光反射特性を予測することができる訳である。したがって、赤外光領域で予測した重みに基づいて、各基底の可視光領域における分光反射特性を線形結合することで、その物質の可視光画像を復元することができる。ここで、Ｒ、Ｇ、Ｂなどの可視光のうち特定の（離散的な）分光反射特性を結合するのではなく、可視光領域全体の（すなわち、Ｒ、Ｇ、Ｂ以外の中間的な波長領域を含む）波長領域にわたる分光反射特性を結合する、という点にも十分理解されたい。
図２には、本明細書で開示する技術の第１の実施例に係る画像処理システム１００の構成を模式的に示している。図示の画像処理システム１００は、赤外光投光器１０１と、赤外光制御部１０２と、赤外光撮像部１０３と、撮影画像処理部１０４と、重み予測部１０５と、分光特性予測部１０６と、データベース１０７と、画像処理部１０８を備えている。すなわち、図２に示す画像処理システム１００は、被写体に赤外光を投光する照射系と、被写体からの赤外光の反射光を撮像する撮像系と、赤外光撮像画像から被写体の分光特性を予測する画像処理系を統合したシステム構成となっている。
赤外光投光器１０１は、波長の異なる３種類以上の赤外線を、時分割で、又は同時に投光することができる。赤外光制御部１０２は、露出や投光タイミングを含めた赤外光投光器１０１の投光動作を制御する。但し、赤外光投光器１０１は、赤外光だけでなく、可視光など赤外光以外の波長成分の光も投光可能であってもよい。
赤外光撮像部１０３は、赤外光投光器１０１によって赤外光が投光された被写体の赤外線反射画像を、赤外光投光器１０１が投光するタイミングと同期して撮影する。
赤外光投光器１０１が波長の異なる３種類以上の赤外光を時分割で投光する場合には、赤外光撮像部１０３は、波長成分毎の赤外光画像を、赤外光投光器１０１の各々の投光タイミングと同期して撮像する。また、赤外光投光器１０１が複数の波長成分の赤外光を同時に投光する場合には、赤外光撮像部１０３は、複数の波長成分を含む赤外光画像を、赤外光投光器１０１の１回の投光タイミングと同期して撮像する。
なお、赤外光撮像部１０３の光軸方向に赤外光投光器１０１によって赤外光が投光された被写体が存在するように、赤外光投光器１０１及び赤外光撮像部１０３は配置される必要があるが、詳細な説明は省略する。但し、赤外光撮像部１０３は、赤外光のみならず可視光画像も撮影できる撮像素子で構成されてもよい。
撮影画像処理部１０４は、赤外光撮像部１０３の各画素から読み出した画素信号の増幅、ＡＤ変換、デモザイク、その他の信号処理を実行する。処理後の赤外線画像は、記録部（図示しない）に記録しておいてもよい。
データベース１０７は、実世界を構成する代表的な分光反射特性である「基底」や、物質毎の各基底を線形結合する際の重み係数など、事前に学習しておいたデータを格納している。
重み予測部１０５は、データベース１０７から赤外光領域の基底データを読み出して、撮影した赤外線画像に含まれる各被写体（物質）について、各基底を線形結合する際の重みを予測する。言い換えれば、重み予測部１０５は、各被写体の赤外光領域における分光反射特性を、基底１～３に分解したときの重みを予測する。
ここで、赤外光撮像部１０３で撮像した赤外線画像は、赤外光領域のうち、赤外光投光器１０１から投光した複数の波長成分の反射光からなる。したがって、撮像画像処理部１０４で処理した赤外線画像からは、被写体の赤外光領域における離散的な分光反射特性しか取得できない。
例えば、赤外線画像中のある被写体の、３つの（離散的な）赤外光波長成分において測定された分光反射特性がそれぞれＭ＝（ＩM
1，ＩM
2，ＩM
3）であったとする。この分光反射特性は、撮像画像処理部１０４から取得することができる。他方、データベース１０７から読み出した基底１～３の、上記の各赤外光波長成分の分光反射特性がそれぞれＢ1＝（ＩB1
1，ＩB1
2，ＩB1
3）、Ｂ2＝（ＩB2
1，ＩB2
2，ＩB2
3）、Ｂ3＝（ＩB3
1，ＩB3
2，ＩB3
3）であったとする。重み予測部１０５は、撮像画像、及び各基底１～３の赤外光波長領域における離散的な分光反射特性を基に、各基底１～３を線形結合して被写体の分光反射特性を表現するための、各基底１～３の重みｗ1、ｗ2、ｗ3を予測する。予測が正確であれば、以下の式（１）が成り立つ。
分光特性予測部１０６は、データベース１０７から可視光領域の基底データを読み出して、重み予測部１０５が赤外光領域において予測した各基底１～３の重みに基づいて、撮影した赤外線画像に含まれる各被写体（物質）の可視光領域における分光反射特性を予測する。例えば、ある被写体の各基底１～３の分光反射特性が図１に示した通りであるとすれば、これら基底１～３の可視光領域の分光反射特性を、重み予測部１０５が予測した各重みｗ1、ｗ2、ｗ3で線形結合することによって、その被写体の可視光領域の分光反射特性を予測することができる。
例えば、データベース１０７から読み出された各基底１～３の可視光領域の分光反射特性をそれぞれＢ1（ｆv）、Ｂ2（ｆv）、Ｂ3（ｆv）とすると（但し、Ｂ1（ｆv）は、可視光波長成分ｆvにおける反射率を示す関数である。Ｂ2（ｆv）、Ｂ3（ｆv）も同様に、可視光波長成分ｆvにおける反射率を示す関数である。）、これら３種類の基底１～３を、上記の予測重みｗ1、ｗ2、ｗ3で線形結合することによって、下式（２）に示すように、被写体の分光反射特性Ｏ（ｆv）を予測することができる。
画像処理部１０８は、分光特性予測部１０６が予測した被写体毎の分光反射特性に基づいて、赤外光撮像部１０３によって撮影した赤外線画像の処理を実施する。例えば、撮影した赤外線画像に含まれる被写体（物質）毎に予測された分光反射特性に基づいて、可視光画像を復元する。
また、画像処理部１０８は、赤外光投光器１０１の制御も行っており、どのような赤外光を投光するかを赤外光制御部１０２に指示して、赤外光投光器１０１の出力を制御する。
図３には、図２に示した画像処理システム１００において分光データを取得するための処理手順の一例をフローチャートの形式で示している。
まず、画像処理システム１００の周辺の明るさを判定して（ステップＳ３０１）、出力光源のための照度データを取得する。具体的には、赤外光撮像部１０３で露出調整をかけながら撮像した赤外線画像に基づいて赤外光領域における波長成分毎の明るさを判定して、赤外光領域の各波長成分の照度データを取得する。
次いで、ステップＳ３０１の照度判定に基づいて取得した照度データに基づいて、赤外光制御部１０２が赤外光領域の波長成分毎の光強度を制御しながら、赤外光投光器１０１から赤外光領域の各波長成分の赤外光を投光しながら（ステップＳ３０２）、ＡＥ設定のための照度判定を行う（ステップＳ３０３）。具体的には、赤外光投光器１０１から赤外光領域の各波長成分の赤外光を投光し、そのときの赤外光撮像部１０３で露光調整をかけながら撮像した赤外線画像に基づいて赤外光領域における波長成分毎の明るさを判定して、赤外光領域の各波長成分において露出オーバーがなくなる照度データを取得する。
そして、赤外光制御部１０２がステップＳ３０３で得られた照度データに基づいて赤外光投光器１０１から投光する赤外光の強度を制御しながら、赤外光撮像部１０３は赤外線画像の撮影処理を実施して（ステップＳ３０４）、撮影画像処理部１０４から赤外線画像が出力される。
そして、重み予測部１０５及び分光特性予測部１０６により、赤外線画像の各被写体の分光反射特性を予測して（ステップＳ３０５）、分光データを出力する。
図４には、図３に示したフローチャート中のステップＳ３０１及びＳ３０３で実行される、照度判定の詳細な処理手順をフローチャートの形式で示している。
ステップＳ４０１～Ｓ４０５で形成される露出調整ループでは、赤外光撮像部１０３の露出を設定して（ステップＳ４０２）、赤外光画像の撮像を実行し（ステップＳ４０３）、露出オーバーの検出処理を実施する（ステップＳ４０４）。そして、露出オーバーが発生しなくなると（ステップＳ４０５）、露出調整ループを抜け出して、照度データを出力し、本処理を終了する。
図３に示したフローチャート中のステップＳ３０３までは、赤外線画像の撮影および分光予測処理を高精度で実施するための、ＡＥなどの前処理である。
図５には、図３に示したフローチャート中のステップＳ３０５で実行される、分光予測処理の詳細な処理手順をフローチャートの形式で示している。
ステップＳ５０１～Ｓ５０６で形成される全画素処理ループでは、図３に示したフローチャート中のステップＳ３０４の撮影処理で取得された赤外線画像の画素単位で、分光データの計算を実施する。
ステップＳ５０２では、１画素ずつ撮像データが、撮影画像処理部１０４から重み予測部１０５に読み込まれる。例えば、赤外光投光器１０１から３種類の波長成分の赤外光の撮影が行われた場合には、これら３波長成分の各撮像データが１画素分だけ読み込まれる。
ステップＳ５０３では、重み予測部１０５は、データベース１０７から、基底データを読み込む。基底は、実世界を構成するすべての要素（すべての物質）の分光反射特性を、組み合わせにより表現することができる有限数（例えば、３種類）の代表的な分光反射特性である（前述並びに図１を参照のこと）。
ステップＳ５０４では、重み予測部１０５は、処理対象となっている画素の赤外光領域における分光反射特性を表現するための、各基底の重みを計算する。
例えば、処理対象となっている画素の３つの（離散的な）赤外光波長成分における分光反射特性がそれぞれＭ＝（ＩM
1，ＩM
2，ＩM
3）であったとし、データベース１０７から読み出した３種類の基底１～３の上記の３つの赤外光波長成分に該当する分光反射特性がそれぞれＢ1＝（ＩB1
1，ＩB1
2，ＩB1
3）、Ｂ2＝（ＩB2
1，ＩB2
2，ＩB2
3）、Ｂ3＝（ＩB3
1，ＩB3
2，ＩB3
3）であったとする。そして、重み予測部１０５が予測した各基底１～３の重みｗ1、ｗ2、ｗ3が正確であれば、前述した式（１）が成り立つ。
ステップＳ５０５では、分光特性予測部１０６は、データベース１０７から可視光領域の基底データを読み出して、重み予測部１０５が赤外光領域において予測した各基底１～３の重みに基づいて、処理対象となっている画素の可視光領域における分光反射特性を予測する。
例えば、各基底１～３の可視光領域の分光反射特性をそれぞれ表す可視光波長成分ｆvの関数をＢ1（ｆv）、Ｂ2（ｆv）、Ｂ3（ｆv）とし、重み予測部１０５が予測した各基底１～３の重みをｗ1、ｗ2、ｗ3とすると、各基底１～３の可視光領域の分光反射特性を表す関数分光反射特性Ｏ（ｆv）を重みｗ1、ｗ2、ｗ3で線形結合して、処理対象となっていの画素の分光反射特性Ｏ（ｆv）を前述した式（２）の通り予測することができる。
もちろん、ステップＳ５０５では、重み予測部１０５が赤外光領域において予測した各基底１～３の重みに基づいて、処理対象となっている画素の、赤外光以外の任意の波長領域における分光反射特性を予測することができる。
そして、赤外線画像のすべての画素について分光計算、すなわち可視光領域の分光反射特性の予測が終了すると、全画素についての分光反射特性を出力して、本処理を終了する。
このようにして画素毎に予測された可視光領域の分光反射特性を利用して、元の赤外線画像の各画素値を可視光領域の画素値に変換して（すなわち、色空間の変換）、赤外線画像を可視光画像にリライトすることができる（すなわち、可視光画像への復元）。
本明細書で開示する技術は、赤外線画像から可視光画像を復元するという観点では、特許文献１と共通する。しかしながら、特許文献１に記載された技術では、Ｒ、Ｇ、Ｂなど特定の（離散的な）可視光成分と赤外光成分との一意な反射特性の対応関係に基づいて可視光領域の分光予測を行うため、その対応関係が該当しない被写体（物質）については予測精度が低下するという問題がある。
これに対し、本明細書で開示する技術は、データベースに基づいて分光予測を行うことから、可視光領域の分光反射特性を予測する予測性能が向上する。また、本明細書で開示する技術は、代表的な分光反射特性である基底を組み合わせて分光予測を行うことから、Ｒ、Ｇ、Ｂなど特定の（離散的な）可視光成分に限定されず、可視光領域全体にわたって分光反射特性を予測することが可能である。付言すれば、基底データを学習（深層学習）していくことにより、分光予測の精度をさらに向上させることができる。
本明細書で開示する技術によれば、可視光画像の撮影には条件の厳しい暗所でも、感度の高い撮影結果を得ることができる。また、本明細書で開示する技術によれば、データベースを利用した分光計算を行うことから、さまざまな用途に転用することができる。
本明細書で開示する技術により求めた分光特性（上式（２）を参照のこと）を使って、可視光画像に限らず、さまざまな光源下で撮影された画像を復元することができる。もちろん、可視光画像を撮影して、赤外光画像を復元することもできる。また、赤外光以外の波長領域の撮影画像から、可視光以外の波長領域の画像を復元することもできる。
また、本明細書で開示する技術によれば、物質毎に各基底を線形結合する際の重みが固有であることを利用して、撮影した画像上で同じ特性の材料毎の領域情報を生成したり、セマンティックセグメンテーションに活用したりすることができる。
図６には、本明細書で開示する技術の第２の実施例に係る画像処理システム２００の構成を模式的に示している。図示の画像処理システム２００は、投光器２０１と、光制御部２０２と、赤外光撮像部２０３及び可視光撮像部２０４と、撮像画像処理部２０５と、分光領域算出部２０６と、分光特性検出部２０７と、データベース作成部２０８及びデータベース２０９と、データベース作成制御部２１０を備えている。すなわち、図６に示す画像処理システム２００は、被写体に赤外光及び可視光を含む波長領域の光を投光する照射系と、被写体からの反射光を撮像する撮像系と、赤外光及び可視光を含む波長領域の反射光の撮像画像から被写体（物質若しくは材料）毎の分光特性を検出して既定のデータベースを作成するデータベース作成系を統合したシステム構成となっている。
投光器２０１は、可視光及び赤外光を含む波長領域のうち波長の異なる複数種類の光を、時分割で、又は同時に投光することができる。光制御部２０２は、露出や投光タイミングを含めた投光器２０１の投光動作を制御する。
赤外光撮像部２０３は、投光器２０１によって赤外光が投光された被写体の赤外線反射画像を、投光器２０１が赤外光を投光するタイミングと同期して撮影する。また、可視光撮像部２０４は、投光器２０１によって可視光が投光された被写体の可視光反射画像を、投光器２０１が可視光を投光するタイミングと同期して撮影する。
なお、赤外光撮像部２０３と可視光撮像部２０４は、同じ視線方向で被写体を撮像する必要があり、設置時には高い位置決め精度が要求される。この問題を解消するために、赤外光撮像部２０３と可視光撮像部２０４を、可視光及び赤外光を含む広い波長領域にわたって撮像可能な、単一のカメラ装置で構成してもよい。
撮影画像処理部２０５は、赤外光撮像部２０３及び可視光撮像部２０４の各画素から読み出した画素信号の増幅、ＡＤ変換、デモザイク、その他の信号処理を実行する。処理後の赤外線画像は、記録部（図示しない）に記録しておいてもよい。
分光領域算出部２０６は、撮像画像に対して分光データに基づいて領域判定を行って、分光領域データを生成する。具体的には、同じ物質若しくは材料は同じ分光反射特性を持つという原理を利用して、分光反射特性が同じ若しくは近似する画素を同じ領域と判定して、撮像画像から１又は複数の領域を抽出する。
分光特性検出部２０７は、分光反射特性に基づいて判定した各領域の分光特性データを生成する。具体的には、領域内の全画素の分光反射特性に対して平均化などの処理によりノイズリダクションを施して、領域毎の分光反射特性を出力する。
データベース作成部２０８は、１又は複数の撮像画像から取得した領域毎の分光反射特性から、実世界を構成するすべての要素（すべての物質）の分光反射特性を組み合わせにより表現可能な、代表的な分光反射特性である基底（図１を参照のこと）を算出して、データベース２０９に記憶する。データベース作成部２０８は、例えば機械学習などの手法を利用して、多数の撮像画像から基底を算出する。深層学習を行うことにより、基底の適切な個数を設定し、且つ、より正確な分光反射特性からなる規定を算出することができる。
データベース作成制御部２１０は、データベース作成部２０８による既定の算出並びにデータベース２０９への記録などの処理を制御する。また、データベース作成制御部２１０は、投光器２０１の制御も行っており、どのような波長成分の光を投光するかを光制御部２０２に指示して、投光器２０１の出力を制御する。
図７には、図６に示した画像処理システム２００において分光データのデータベースを取得するための処理手順の一例をフローチャートの形式で示している。
まず、画像処理システム２００の周辺の明るさを判定して（ステップＳ７０１）、出力光源のための照度データを取得する。具体的には、赤外光撮像部２０３及び可視光撮像部２０４で露出調整をかけながら撮像した赤外線画像並びに可視光画像に基づいて赤外光領域及び可視光領域における波長成分毎の明るさを判定して、赤外光領域及び可視光領域の各波長成分の照度データを取得する。
次いで、ステップＳ７０１の照度判定に基づいて取得した照度データに基づいて、光制御部２０２が赤外光領域又は可視光領域の波長成分毎の光強度を制御しながら、光投光器２０１から赤外光領域又は可視光領域の各波長成分の光を投光しながら（ステップＳ７０２）、ＡＥ設定のための照度判定を行う（ステップＳ７０３）。具体的には、投光器２０１から赤外光領域又は可視光領域の各波長成分の光を投光し、そのときの赤外光撮像部２０３並びに可視光撮像部２０４で露光調整をかけながら撮像した赤外線画像及び可視光画像に基づいて赤外光領域及び可視光領域における波長成分毎の明るさを判定して、赤外光領域及び可視光領域の各波長成分において露出オーバーがなくなる照度データを取得する。
なお、ステップＳ７０１及びＳ７０３において実行される照度判定処理の内容は、図４に示した通りであり、ここでは詳細な説明を省略する。
そして、光制御部２０２がステップＳ７０３で得られた照度データに基づいて投光器２０１から投光する光強度を制御しながら、赤外光撮像部２０３は赤外線画像の撮影処理を実施するとともに可視光撮像部２０４は可視光画像の撮影処理を実施して（ステップＳ７０４）、撮影画像処理部２０５から赤外線画像及び可視光画像が出力される。
そして、分光領域算出部２０６が撮像画像に対して分光データに基づいて領域判定を行って分光領域データを生成し、分光特性検出部２０７が各領域の分光特性データを生成し、データベース作成部２０８が機械学習などにより代表的な分光反射特性である基底を算出する。このようにして作成されたデータが、データベース２１０に記憶され、本処理が終了する。
図８には、図７に示したフローチャート中のステップＳ７０５で実行される、データベース作成処理の詳細な処理手順をフローチャートの形式で示している。
ステップＳ８０１～Ｓ８０４で形成される全画素ループでは、図７で示したフローチャート中のステップＳ７０４の撮影処理で取得された撮像画像の各画素について、分光データに基づいて領域判定を行う。
ステップＳ８０２では、１画素ずつ撮像データが、撮像画像処理部２０５から分光領域算出部２０６に読み込まれる。
続くステップＳ８０３において、分光領域算出部２０６は、撮像画像に対して分光データに基づいて領域判定を行って、分光領域データを生成する。具体的には、同じ物質若しくは材料は同じ分光反射特性を持つという原理を利用して、分光反射特性が同じ若しくは近似する画素を同じ領域と判定して、撮像画像から１又は複数の領域を抽出する。
例えば、同じ若しくは近似する分光反射特性を持つ画素に同じラベルを付けるラベリング処理を撮像画像中の全画素にわたって実施する。そして、全画素処理ループが終了した時点で（ステップＳ８０４）、同じラベルを持つ画素同士を空間結合することで、同じ若しくは近似する分光反射特性を持つ画素の領域からなる分光領域データを生成することができる。
続いて、ステップＳ８０５～Ｓ８０８で形成される全領域処理ループでは、上記の全画素ループを通じて撮像画像から抽出された各領域の分光特性の作成を行う。
ステップＳ８０６では、上記の全画素ループで作成された分光領域データから、１つの領域内の全画素の分光反射特性データが読み込まれる。
続くステップＳ８０７では、分光特性検出部２０７は、分光反射特性に基づいて判定した各領域の分光特性データを生成する。具体的には、分光特性検出部２０７は、領域内の全画素の分光反射特性に対して平均化などの処理によりノイズリダクションを施して、領域毎の分光反射特性を出力する。そして、全領域処理ループが終了した時点で（ステップＳ８０８）、領域毎の分光反射特性データを生成することができる。
続いて、データベース作成部２０８は、１又は複数の撮像画像から取得した領域毎の分光反射特性から、実世界を構成するすべての要素（すべての物質）の分光反射特性を組み合わせにより表現可能な、代表的な分光反射特性である基底（図１を参照のこと）を、機械学習などの手法を利用して算出する（ステップＳ８０９）。そして、データベース作成部２０８は、算出した基底などのデータに基づいて、データベース用のデータを生成して（ステップＳ８１０）、データベース２０９に記憶し、本処理を終了する。
上述した第２の実施例により作成したデータベースに基づいて分光予測を行うことにより、可視光領域を始め任意の波長領域の分光反射特性を予測する予測性能が向上する。また、第２の実施例において、深層学習を実施することにより、代表的な分光反射特性である基底をより精密に算出することができ、これによって予測性能がさらに向上する。
また、上述した第２の実施例により作成したデータベースを利用して分光計算を行うことにより、可視光画像の撮影には条件の厳しい暗所でも、赤外線の撮影画像から高感度の可視光画像を復元することができる。また、第２の実施例により作成したデータベースを利用する分光計算を、さまざまな用途に転用することができる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、被写体の赤外光領域における分光反射特性に基づいて可視光波長領域の分光反射特性を予測して、可視光画像の復元などに利用する実施形態を中心に説明してきたが、本明細書で開示する技術はこれに限定されるものではない。本明細書で開示する技術によれば、任意の被写体の赤外光領域以外の第１の波長領域における分光反射特性に基づいて、その被写体の可視光領域以外の第２の波長領域における分光反射特性を予測することもできる。
本明細書で開示する技術により求めた分光特性を使って、可視光画像に限らず、さまざまな光源下で撮影された画像を復元することができる。もちろん、可視光画像を撮影して、赤外光画像を復元することもできる。また、赤外光以外の波長領域の撮影画像から、可視光以外の波長領域の画像を復元することもできる。
また、本明細書で開示する技術によれば、物質毎に各基底を線形結合する際の重みが固有であることを利用して、撮影した画像上で同じ特性の材料毎の領域情報を生成したり、セマンティックセグメンテーションに活用したりすることができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像画像を入力する入力部と、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理部と、
を具備する画像処理装置。
（２）前記第１の波長領域は赤外光領域であり、前記第２の波長領域は可視光領域である、
上記（１）に記載の画像処理装置。
（３）前記処理部は、
被写体の第１の波長領域における分光反射特性を表現するための、それぞれ代表的な分光反射特性である複数の基底の各重みを予測する重み予測部と、
前記被写体の前記第１の波長領域における各基底の重みに基づいて、前記被写体の前記第１の波長領域とは異なる第２の波長領域における分光反射特性を予測する分光特性予測部と、
を備える、上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）前記分光特性予測部は、前記重みに基づいて各基底の前記第２の波長領域における分光反射特性を線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
上記（３）に記載の画像処理装置。
（５）各基底の前記第１の波長領域及び前記第２の波長領域を含む分光反射特性を保持するデータベースをさらに備え、
前記重み予測部は、前記データベースから読み出した各基底の第１の波長領域における分光反射特性に基づいて、各基底の重みを予測し、
前記分光特性予測部は、前記データベースから読み出した各基底の第２の波長領域における分光反射特性を重み付け線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
上記（４）に記載の画像処理装置。
（６）予測した前記第２の波長領域における分光反射特性に基づいて前記撮像画像を処理する画像処理部をさらに備える、
上記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）前記画像処理部は、予測した前記第２の波長領域における分光反射特性に基づいて、前記第１の波長領域の撮像画像から前記第２の波長領域の画像を復元する、
上記（６）に記載の画像処理装置。
（８）前記画像処理部は、前記撮像画像上から、同じ分光反射特性からなる材料毎の領域情報を生成する、
上記（６）に記載の画像処理装置。
（９）前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域の反射光を撮像する撮像部と、
をさらに備える、上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）前記処理部は、分光反射特性に基づいて前記撮像画像を領域判定し、領域毎の分光反射特性から、それぞれ代表的な分光反射特性である複数の基底を算出する、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（１１）前記処理部は、機械学習により前記複数の基底を算出する、
上記（１０）に記載の画像処理装置。
（１２）算出した前記複数の基底の情報を記憶するデータベースをさらに備える、
上記（１０）又は（１１）のいずれかに記載の画像処理装置。
（１３）少なくとも前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域及び前記第２の波長領域の反射光を撮像する撮像部と、
をさらに備える、上記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４）撮像画像を入力する入力ステップと、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理ステップと、
を有する画像処理方法。
（１）撮像画像を入力する入力部と、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理部と、
を具備する画像処理装置。
（２）前記第１の波長領域は赤外光領域であり、前記第２の波長領域は可視光領域である、
上記（１）に記載の画像処理装置。
（３）前記処理部は、
被写体の第１の波長領域における分光反射特性を表現するための、それぞれ代表的な分光反射特性である複数の基底の各重みを予測する重み予測部と、
前記被写体の前記第１の波長領域における各基底の重みに基づいて、前記被写体の前記第１の波長領域とは異なる第２の波長領域における分光反射特性を予測する分光特性予測部と、
を備える、上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）前記分光特性予測部は、前記重みに基づいて各基底の前記第２の波長領域における分光反射特性を線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
上記（３）に記載の画像処理装置。
（５）各基底の前記第１の波長領域及び前記第２の波長領域を含む分光反射特性を保持するデータベースをさらに備え、
前記重み予測部は、前記データベースから読み出した各基底の第１の波長領域における分光反射特性に基づいて、各基底の重みを予測し、
前記分光特性予測部は、前記データベースから読み出した各基底の第２の波長領域における分光反射特性を重み付け線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
上記（４）に記載の画像処理装置。
（６）予測した前記第２の波長領域における分光反射特性に基づいて前記撮像画像を処理する画像処理部をさらに備える、
上記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）前記画像処理部は、予測した前記第２の波長領域における分光反射特性に基づいて、前記第１の波長領域の撮像画像から前記第２の波長領域の画像を復元する、
上記（６）に記載の画像処理装置。
（８）前記画像処理部は、前記撮像画像上から、同じ分光反射特性からなる材料毎の領域情報を生成する、
上記（６）に記載の画像処理装置。
（９）前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域の反射光を撮像する撮像部と、
をさらに備える、上記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）前記処理部は、分光反射特性に基づいて前記撮像画像を領域判定し、領域毎の分光反射特性から、それぞれ代表的な分光反射特性である複数の基底を算出する、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（１１）前記処理部は、機械学習により前記複数の基底を算出する、
上記（１０）に記載の画像処理装置。
（１２）算出した前記複数の基底の情報を記憶するデータベースをさらに備える、
上記（１０）又は（１１）のいずれかに記載の画像処理装置。
（１３）少なくとも前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域及び前記第２の波長領域の反射光を撮像する撮像部と、
をさらに備える、上記（１０）乃至（１２）のいずれかに記載の画像処理装置。
（１４）撮像画像を入力する入力ステップと、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理ステップと、
を有する画像処理方法。
１００…画像処理システム
１０１…赤外線投光器、１０２…赤外光制御部
１０３…赤外光撮像部、１０４…撮像画像処理部
１０５…重み予測部、１０６…分光特性予測部
１０７…データベース、１０８…画像処理部
２００…画像処理システム
２０１…投光器、２０２…光制御部
２０３…赤外光撮像部、２０４…可視光撮像部
２０５…撮像画像処理部、２０６…分光領域算出部
２０７…分光特性検出部、２０８…データベース作成部
２０９…データベース、２１０…画像処理部
１０１…赤外線投光器、１０２…赤外光制御部
１０３…赤外光撮像部、１０４…撮像画像処理部
１０５…重み予測部、１０６…分光特性予測部
１０７…データベース、１０８…画像処理部
２００…画像処理システム
２０１…投光器、２０２…光制御部
２０３…赤外光撮像部、２０４…可視光撮像部
２０５…撮像画像処理部、２０６…分光領域算出部
２０７…分光特性検出部、２０８…データベース作成部
２０９…データベース、２１０…画像処理部
Claims (14)
- 撮像画像を入力する入力部と、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理部と、
を具備する画像処理装置。 - 前記第１の波長領域は赤外光領域であり、前記第２の波長領域は可視光領域である、
請求項１に記載の画像処理装置。 - 前記処理部は、
被写体の第１の波長領域における分光反射特性を表現するための、それぞれ代表的な分光反射特性である複数の基底の各重みを予測する重み予測部と、
前記被写体の前記第１の波長領域における各基底の重みに基づいて、前記被写体の前記第１の波長領域とは異なる第２の波長領域における分光反射特性を予測する分光特性予測部と、
を備える、請求項１に記載の画像処理装置。 - 前記分光特性予測部は、前記重みに基づいて各基底の前記第２の波長領域における分光反射特性を線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
請求項３に記載の画像処理装置。 - 各基底の前記第１の波長領域及び前記第２の波長領域を含む分光反射特性を保持するデータベースをさらに備え、
前記重み予測部は、前記データベースから読み出した各基底の第１の波長領域における分光反射特性に基づいて、各基底の重みを予測し、
前記分光特性予測部は、前記データベースから読み出した各基底の第２の波長領域における分光反射特性を重み付け線形結合して、前記被写体の前記第２の波長領域における分光反射特性を予測する、
請求項４に記載の画像処理装置。 - 予測した前記第２の波長領域における分光反射特性に基づいて前記撮像画像を処理する画像処理部をさらに備える、
請求項３に記載の画像処理装置。 - 前記画像処理部は、予測した前記第２の波長領域における分光反射特性に基づいて、前記第１の波長領域の撮像画像から前記第２の波長領域の画像を復元する、
請求項６に記載の画像処理装置。 - 前記画像処理部は、前記撮像画像上から、同じ分光反射特性からなる材料毎の領域情報を生成する、
請求項６に記載の画像処理装置。 - 前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域の反射光を撮像する撮像部と、
をさらに備える、請求項１に記載の画像処理装置。 - 前記処理部は、分光反射特性に基づいて前記撮像画像を領域判定し、領域毎の分光反射特性から、それぞれ代表的な分光反射特性である複数の基底を算出する、
請求項１に記載の画像処理装置。 - 前記処理部は、機械学習により前記複数の基底を算出する、
請求項１０に記載の画像処理装置。 - 算出した前記複数の基底の情報を記憶するデータベースをさらに備える、
請求項１０に記載の画像処理装置。 - 少なくとも前記第１の波長領域の光を投光する投光器と、
前記投光器が投光する被写体からの前記第１の波長領域及び前記第２の波長領域の反射光を撮像する撮像部と、
をさらに備える、請求項１０に記載の画像処理装置。 - 撮像画像を入力する入力ステップと、
前記撮像画像中の被写体の第１の波長領域及び第２の波長領域を含む波長領域にわたる分光反射特性に関する処理を実行する処理ステップと、
を有する画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018055384 | 2018-03-22 | ||
| JP2018-055384 | 2018-03-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019181125A1 true WO2019181125A1 (ja) | 2019-09-26 |
Family
ID=67987137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/047340 WO2019181125A1 (ja) | 2018-03-22 | 2018-12-21 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019181125A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012068762A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 検出装置、検出方法、プログラム、及び電子機器 |
| WO2014065053A1 (ja) * | 2012-10-23 | 2014-05-01 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
| JP2015173451A (ja) * | 2009-07-30 | 2015-10-01 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
| JP2017216678A (ja) * | 2016-05-27 | 2017-12-07 | パナソニックＩｐマネジメント株式会社 | 撮像システム |
| WO2017222021A1 (ja) * | 2016-06-24 | 2017-12-28 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 |
-
2018
- 2018-12-21 WO PCT/JP2018/047340 patent/WO2019181125A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015173451A (ja) * | 2009-07-30 | 2015-10-01 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
| JP2012068762A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 検出装置、検出方法、プログラム、及び電子機器 |
| WO2014065053A1 (ja) * | 2012-10-23 | 2014-05-01 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
| JP2017216678A (ja) * | 2016-05-27 | 2017-12-07 | パナソニックＩｐマネジメント株式会社 | 撮像システム |
| WO2017222021A1 (ja) * | 2016-06-24 | 2017-12-28 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20150185434A1 (en) | Image pickup apparatus, control method thereof, and program | |
| US20030002746A1 (en) | Image creating device and image creating method | |
| US10872434B2 (en) | Image processing apparatus and method | |
| KR20210089166A (ko) | 신경망을 사용한 밝은 반점 제거 | |
| JP6467516B2 (ja) | 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法 | |
| JP2014056065A5 (ja) | ||
| EP3204812B1 (en) | Microscope and method for obtaining a high dynamic range synthesized image of an object | |
| JP2006279546A (ja) | 電子カメラ、画像処理プログラム、および画像処理方法 | |
| JP2004222231A (ja) | 画像処理装置および画像処理プログラム | |
| WO2013171840A1 (ja) | 撮像装置及び撮像装置の制御方法 | |
| US9449234B2 (en) | Displaying relative motion of objects in an image | |
| JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| KR101701138B1 (ko) | 해상도 및 초점 향상 | |
| WO2019181125A1 (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
| US11575841B2 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
| EP3194886A1 (en) | Positional shift amount calculation apparatus and imaging apparatus | |
| JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP5794665B2 (ja) | 撮像装置 | |
| JP2004222233A (ja) | 画像処理装置および画像処理プログラム | |
| US9906705B2 (en) | Image pickup apparatus | |
| US11037316B2 (en) | Parallax calculation apparatus, parallax calculation method, and control program of parallax calculation apparatus | |
| JP2007166142A (ja) | 撮像装置 | |
| JP2004222232A (ja) | 画像処理装置および画像処理プログラム | |
| US20210385390A1 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and memory medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18910754 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18910754 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |